El Castell, que devia tenir considerables dimensions a finals del s. XII, es va construir sobre el turó que li dona nom, el Puig, que forma tres nivells naturals esglaonats i al cingle de ponent, al sector del Llobregat, que el feia inexpugnable, per aquest sector. Documentat des del 907, el terme casteller incloïa tot l'actual terme municipal dins el qual tenien importants propietats els comtes de Cerdanya, els de Barcelona, els del monestir de Ripoll, Sarrateix i la Portella, i també, a partir del segle XI, la família vescomtal del Berguedà que el va fer créixer, molt especial del trobador Guillem de Berguedà, que en va fer la seva residència i fortalesa, defensada pel mateix Llobregat i els tres nivells de muralla que tancaven un gran recinte casteller dins el qual es va formar, al segle XIII la vila de Puig-reig; l'any 1145 s'estava construint la nova església de Sant Martí.
L'any 1282 els Templers atorgaren una carta de franqueses als habitants del castell i de la vila de Puig-reig amb la clara intenció d'estimular-ne el poblament, i eximint els nous i antics pobladors dels mals usos d'exorquia, cugúcia, intestia i remensa. Fou aleshores quan es va parcel·lar l'actual carrer i al peu dels portal es van construir els primers habitatges, alguns dels quals es van mantenir, reformats, fins al s. XVIII.
