Casal corresponent a l'antiga rectoria de la parròquia de Castelltallat, situat al costat de l'església, gairebé al cim del turó on hi havia el castell del mateix nom. Es tracta d'una edificació força gran, assentada en un terreny on hi ha una petita cinglera que formava part segurament del perimetre fortificat entorn del castell. Té una planta més o menys rectangular, però formada per multiples cossos, fruit de successives ampliacions als segles XVII, XVIII i XIX. El casal té tres plantes, la inferior adaptada al terreny rocós de la cinglera. La façana més alta i vistosa és la de migdia, que dóna a una petita esplanada. La part més antiga és la de ponent, que té l'aspecte d'una muralla, amb petites finestres a la part alta. En una d'elles hi ha una interessant llinda amb una inscipció decorada amb un sol, estrelles i altres símbols religiosos. La part de llevant, probablement ja del segle XIX, té dues grans arcades que donen accés a una mena de porxo amb una escala sobre la roca. A la part superior hi ha una galeria amb tres arcs d'angles oberts. La casa, però, tenia altres portals més ben comunicats amb l'església. Per exemple a la façana nord hi trobem un portal dovellat amb un petit patí davanter i un pou. A la façana de llevant hi ha un altre portal adovellat. En diverses façanes es conserven finestrals emmarcats amb llindes i brancals de pedra, alguns amb inscripcions. A les feixes que hi ha al sector sud-est es conserven uns sòlids murs de contenció que podrien formar part de la muralla exterior del castell.
La casa estava equipada amb estables, celler, tines i altres elements d'una pairalia. També hi havia una gran cisterna, i un sistema de canalitzacions que conduïa l'aigua de les teulades cap al Viver del Rector, situat uns 150 m al sud-est.
