Les ermites es van bastir, tradicionalment, en la part alta de la muntaya. De bon principi s'utilitzaven les coves naturals, abans de les construccions d'obra que, contínuament apliades, presentaven als segles XVII i XVIII l'aspecte de petits monestirs, amb capelles, habitacions, cisternes i hort. Llur nombre fou fixat en dotze a principi del segle XV. En els primers anys del segle XVI algunes foren canviades de lloc i altres abandonades, alhora que les advocacions eren definitivament establertes.
S'explica que en aquesta ermita va viure durant deu anys Bernat de Boïl, el primer missioner que va acompanyar Cristòfor Colom en els seus viatges a Amèrica.
El 1581, una ambaixada de Venècia a Felip II passà i s'aturà a Montserrat. Els més ardits visitaren les ermites. El cronista explica que en arribar a la de la Santíssima Trinitat fou rebut "per un pare gentilíssim i graciosíssim; que havia estat patge de Carles V i s'interessà molt per saber els noms dels ambaixadors i del seguici". Li mostrà l'ermita i els seus contorns. El colpí una conca d'aigua excavada a la roca viva, "piena -textualment- di molto pesce". Era una peixera o potser millor un viver? El P. Albareda diu que és anomenada el Palau de les ermites, per les seves proporcions molt més grans que les altres.
L'estiu de 1812, el coronel anglès Eduard Green es fortificà a l'ermita de Sant Dimes. La nit del 28 de juliol del mateix any, els homes del general francès Maurice Mathieu, aconseguiren muntar un canó en el pla de l'ermita de la Santíssima Trinitat que domina la de Sant Dimes. L'endemà Green va capitular, amb el seu batallò anglo-català.
Continuava habitada el 27 d'abril de 1821, quan el P. Gaspar Soler hi fou assassinat i llançat a la cisterna per uns bandolers. Els superiors del monestir decidiren acabar amb la vida eremítica, pels perills de viure sol.
