Ca l'Ermità està adossat a la façana oest de l'església parroquial de Santa Maria de Merlès. Es tracta d'una petita casa de planta rectangular formada per planta baixa i dos pisos, amb teulada d'una vessant ja que allarga la de l'església. Està construïda amb murs de maçoneria de pedra i cantonades diferenciades.
La façana principal, orientada al sud, presenta un portal emmarcat amb brancals i llinda de pedra treballada amb la inscripció gravada a la llinda on hi posa: JOAN OBRADORS RECTOR / 17 + 24. Al primer pis s'hi obre un finestra emmarcada amb pedra bisellada i a les golfes hi ha una finestra balconera emmarcada amb maó i una finestra a l'esquerra que combina en el seu emmarcament pedra i maó.
A la façana oest, arrebossada, s'hi obre una gran finestra a nivell de primer pis emmarcada amb brancals i llinda de pedra bisellada i ampit motllurat, així com tres finestres de menors dimensions, reformades. També en sobresurt un desaigua de pedra.
A la part del darrere de ca l'Ermità s'erigeix el campanar barroc de l'església parroquial de Santa Maria de Merlès.
