La rectoria d'Olost es troba situada a la plaça Major davant de la façana sud de l'església parroquial de Santa Maria d'Olost. Es tracta d'un edifici de planta rectangular coronat amb teulada de quatre vents i construït amb murs de maçoneria de pedra parcialment arrebossats que en algunes parts es troben disposats en filades regulars. Presenta cantonades diferenciades amb grans carreus i està format per planta baixa, un pis i golfes.
La façana principal, orientada al nord, està totalment arrebossada i pintada de color ocre, deixant a la vista els carreus de pedra de les cantonades. El nivell de primer pis de l'edifici, que en aquesta façana dóna arran de carrer, presenta dos portals, un d'arc rebaixat i l'altre rectangular, els dos emmarcats amb pedra bisellada. El portal de forma rectangular presenta una inscripció al centre de la llinda: CASA PARROQUIAL RESTAURADA 1977. Als dos portals s'accedeix a través d'una ampla base de pedra formada amb tres graons. A la part dreta dels portals s'hi obre una finestra emmarcada amb brancals i llinda de pedra bisellada. Al nivell de golfes hi ha dues finestres de menors dimensions emmarcades amb brancals i llinda de pedra bisellada. A la part esquerra de la façana hi ha una porta de lliça que presenta brancals de pedra bisellada, llinda de fusta i coronada amb barbacana de doble vessant.
La façana est, antiga façana principal, es troba tancada per un mur de pedra, el portal de lliça i una eixida, formant un pati al davant. La façana presenta el mur bastit amb filades regulars de pedra en tota la planta baixa, en la qual s'hi obre un portal d'accés principal emmarcat amb brancals i llinda de pedra motllurada i obertures apaïsades a la dreta. A l'esquerra del portal s'adossa un cos que sobresurt perpendicularment de la façana, una eixida. A la part superior de l'eixida hi ha un pou i a la par inferior hi ha un pas en volta de canó que comunica amb la façana sud. Al primer pis, sobre el portal principal, hi ha un finestra baconera emmarcada amb brancals i llinda de pedra motllurada i coronada amb un guardapols força desgastat. A l'esquerra hi ha un accés a l'eixida emmarcat amb brancals i llinda de pedra motllurada. A la part dreta s'obren tres finestres, una de les quals reconvertida en finestra balconera, emmarcades amb brancals i llinda de pedra bisellada. A les golfes s'obren cinc finestres que segueixen la mateixa disposició verticals que les obertures del primer pis. Són de menors dimensions i estan emmarcades amb brancals i llinda de pedra bisellada.
A la façana sud hi ha, a la planta baixa, dos contraforts, dues grans finestres protegides amb una reixa de ferro, dues finestres quadrangulars de menors dimensions i un portal a l'extrem esquerra emmarcat amb pedra bisellada. Al primer pis hi ha un balcó emmarcat amb brancals i llinda de pedra motllurada, dues finestres emmarcades amb pedra bisellada i dues finestres emmarcades amb maó arrebossat. A nivell de golfes s'obren quatre finestres emmarcades amb brancals i llinda de pedra bisellada.
A la façana oest s'hi adossa un cos amb teulada d'una sola vessant que presenta una terrassa i diverses obertures. La part baixa de la terrassa està construïda amb obra.
