Ca l'Ermità és la rectoria de Sant Joan de les Torres i està adossada a migdia de la capella. És un edifici de planta rectangular que s'estructura en tres crugies. La coberta i part de l'estructura interior es troben enderrocats, així com el tram central de la façana principal, on hi hauria hagut el portal d'accés. Al seu costat en sobresurt un cos quadrangular fet amb carreus de mitjanes dimensions. La majoria d'obertures que conserva són amb llinda de fusta, concentrades especialment a la façana de llevant, on hi ha un portal reformat d'arc rebaixat amb pedra col·locada a plec de llibre. A la façana de ponent s'hi adossa un cos annex, també en estat ruïnós. L'interior és ple de runa procedent de l'enderroc, i s'observen restes d'obertures, de l'embigat i d'un forn de pa. El parament dels murs és de pedra lligada amb argamassa. A pocs metres en direcció migdia hi ha les restes d'un altre annex, cobert amb volta de canó de pedra, probablement corresponent al femer.
