1-. Edifici anterior al 1590: D'aquest edifici només en resta part de la base dels seus murs i tres cantoneres. Aquestes defineixen un espai que coincideix amb els cossos 1 i 2 de l'actual edifici.
2-. Edifici de 1590: Moment en què s'acaben les obres d'ampliació i remodelació del castell, adquirint l'aspecte que manté actualment. L'antic edifici s'afegeix dos cossos nous.
3-. Modificacions del segle XVII: Només s'hi fan modificacions de tipus d'ornamental o decoratiu.
4-. Modificacions dels segles XVIII i XIX: S'afegeix l'arc corresponent a la tercera planta o golfes actuals juntament amb les garites i el matacà. A principis del segle XIX es construïren diversos murs de compartimentació per tal d'utilitzar les golfes com a zona residencial o magatzem. En la segona meitat del segle XVIII l'edifici s'utilitzava com a hostal, i durant la Guerra de la Independència (1808-1814) com a caserna militar.
5-. Modificacions del segle XX. Destaca la construcció del teatre durant els anys 50 i l'habilitació de diverses dependències pel museu municipal als anys 70 i per altres entitats de tipus cultural als anys 80.
