La rectoria es troba situada a la banda sud de l'església parroquial de Sant Pere de Perafita. Es tracta d'un edifici format per diversos cossos adossats de teulada de doble vessant amb aigües a les façanes principal i posterior. Els murs són de maçoneria de pedra irregular, parcialment arrebossats, amb cantonades diferenciades de carreus de majors dimensions.
La façana principal, orientada a nord, presenta un cos adossat que sobresurt perpendicularment a la dreta de la façana. A nivell de planta baixa presenta dues petites espitlleres, una petita finestra quadrada i un mortal modern. El portal principal es troba a nivell de primer pis al qual s'accedeix a partir d'una escala de graons i barana de pedra. El portal està emmarcat amb brancals i llinda de pedra bisellada; la llinda es troba decorada a mode d'arc fistonat convex. A la banda esquerra del portal hi ha una finestra emmarcada amb pedra bisellada i una finestra de nova obertura, i a la banda dreta hi ha una finestra emmarcada amb pedra bisellada i una petit finestra emmarcada amb maó. A les golfes s'obren tres finestres de menors dimensions emmarcades amb pedra, una de les quals es troba tapiada, i una finestra emmarcada amb fusta.
La façana est presenta, a la planta baixa, un antic portal d'accés central, actualment reconvertit en finestra, emmarcat amb brancals de pedra bisellada i coronament d'arc deprimit còncau, flanquejat per dues finestres modernes. Al primer pis hi ha una finestra balconera central emmarcada amb brancals i llinda de pedra treballada, flanquejada per dues finestres emmarcades amb pedra treballada.
La façana sud forma diverses terrasses i balcons i presenta forces obertures modernes o bé reformades. A nivell de planta baixa s'obre un portal i una finestra emmarcades amb maó. A nivell de primer pis destaca un pilar, de cantells bisellats, format per dos cossos monolítics de pedra. Presenta una base de pedra i capitell rectangular.
