La Rectoria es troba situada al nucli de Sant Martí d'Albars, adossada a la façana nord de l'església parroquial.
És un edifici de mitjanes dimensions allargat format per planta baixa, un pis, golfes i una estructura de pedra que sobresurt de la teulada i s'adossa a l'església, que constituïa el colomer. Els murs són de maçoneria de pedra amb arrebossat parcialment degradat i teulada de doble vessant amb aigües a la façana principal i posterior.
La façana oest presenta dues finestres emmarcades amb monòlits de pedra a la planta baixa i una escala central, de pedra, de moderna construcció que condueix a l'accés principal del primer pis. Aquest accés és una reforma d'una antiga finestra que conserva els brancals i la llinda de pedra bisellada i que ha estat reconvertida en porta, modificada amb brancals de maó. La flanquegen dues finestres emmarcades amb pedra bisellada i ampit motllurat força desgastat. A les golfes hi ha quatre petites finestres emmarcades amb monòlits de pedra i protegides amb estripagats de ferro forjat.
La façana posterior, orientada a l'est, està dominada per un portal emmarcat amb brancals i llinda de pedra motllurada on hi ha la data de "17 IHS 25", amb una creu intercalada. A la part esquerra, sota l'estructura del colomer i sobre la sagristia, hi ha dues finestres alineades verticalment emmarcades amb brancals i llinda de pedra treballada i ampit de pedra motllurat desgastat. Al primer pis hi ha dues finestres emmarcades amb pedra bisellada, la de sobre el portal amb ampit de pedra motllurat escrostonat. A les golfes s'hi obren tres finestres de petites dimensions emmarcades amb monòlits de pedra. A la part dreta de la façana hi sobresurt una estructura de pedra on s'hi ubica un pou o cisterna també de pedra. Aquesta façana queda tancada per un mur de pedra que delimita una antiga zona d'horts, actualment plena de bardisses. L'accés a aquesta zona es feia a través d'un portal emmarcat amb pedra treballada i amb data gravada a la llinda de 1738.
La Rectoria es troba tancada pel nord amb un edifici de moderna construcció que havia tingut la funció de casa de colònies.
