Les ermites es van bastir, tradicionalment, en la part alta de la muntaya. De bon principi s'utilitzaven les coves naturals, abans de les construccions d'obra que, contínuament apliades, presentaven als segles XVII i XVIII l'aspecte de petits monestirs, amb capelles, habitacions, cisternes i hort. Llur nombre fou fixat en dotze a principi del segle XV. En els primers anys del segle XVI algunes foren canviades de lloc i altres abandonades, alhora que les advocacions eren definitivament establertes.
L'ermita original de Sant Antoni estava situada en un altre indret, en un paratge proper però agrest i fins i tot perillós. Això va obligar a traslladar-la.
Durant la guerra del Francès va ser utilitzada com a dipòsit de municions i destruïda.
