Al segle X hi havia un primer edifici en aquest indret, probablement un hospital per acollir pobres i pelegrins, el qual més tard es va traslladar a l’altre costat de la plaça d’Octavià. Al segle XIII es va construir l’edifici actual, ampliat al segle XIV. En un principi tenia forma de castell. Acollia les estades que hi feien els reis catalans, era residència de l’abat i també la seu de l’arxiu monàstic. L’edifici tenia tres plantes i una terrassa amb merlets. A l’interior hi havia una masmorra als soterranis de la torre de l’Abat i un pati gòtic amb escala. Aquesta fortalesa va esdevenir tot un símbol del poder feudal exercit pels abats del monestir.
Al segle XIV el creixement de l’edifici cap a l’església, amb la construcció de l’ala sud, va ocasionar l’ocultació del rosetó de l’esquerra. Entre l’església i el palau hi havia una escala secreta que comunicava els dos espais, però aquesta part es va enderrocar l’any 1910 a causa de l’estat en què es trobava l’edifici.
Al segle XVIII, després de la guerra de Successió, Felip V va manar destruir les fortificacions catalanes. Aleshores Jeroni Oliver va transformar l’edifici, que va passar de castell a palau. Es va modificar la façana amb la incorporació de les obertures actuals, en forma de finestres i balcons. El 1735 l’abat Llupià va construir sobre l’antic pati i escala, i va fer un nou portal d’entrada amb el seu escut heràldic.
El 1835, després de la desamortització de Mendizábal, la parròquia de Sant Pere d’Octavià es traslladà al monestir. Aquest edifici actualment acull la rectoria amb els seus serveis, així com l’oficina de turisme.
