Des del seu inici el projecte de Palà de Torroella era crear una colònia, i en paral·lel als permisos de la fàbrica s’havien sol·licitat les llicències urbanístiques per als habitatges. El 24 de juny de 1876 es va autoritzar l’inici de la construcció dels blocs de pisos de la carretera, els més antics de la colònia. Eren onze blocs de 4 pisos cadascun, amb un total de 44 habitatges. Van ser construïts per fases entre 1876 i 1889.
L’any 1877 es va construir damunt la fàbrica una altra filada d’habitatges, coneguts com les Galeries. Comprenien deu habitatges. Es trobaven concentrats i a poca distancia de la fàbrica i de la “casa de l’amo”, i als baixos disposaven de serveis. També es volia construir una paret o muralla que aïllés la fàbrica de la carretera, però l’Ajuntament va denegar-la. No va ser fins el 1883 que s’hi van instal·lar, segons sembla, els primers obrers. Anteriorment el mas Palà acollia un bon nombre de treballadors i tècnics de la fàbrica. L’any 1885 es va demanar permís per acabar les edificacions també per als obrers que es van aixecar al barri conegut com la Rata, a tocar de la carretera però a una certa distància.
Ja a la postguerra, els anys 1940 es van emprendre moltes obres, pràcticament totes en mans del constructor Sala, de Cardona. Entre d’altres, es va construir el pont d’accés als pisos de les Galeries i es van renovar cases. Així mateix, el 1957 es va col·locar la primera pedra d’un nou sector d’habitatges, situats al sud de la colònia, i anomenats Pisos Nous. Eren quatre edificis amb 22 pisos, als quals seguirien les 10 torres o xalets per als encarregats i majordoms, a l’altre voral de la carretera. Van ser projectades per l’arquitecte manresà Jesús Borràs, i les obres es van encarregar a Construccions Barau. En aquests anys (el 1966) es van iniciar també obres de reconstrucció dels pisos de la carretera.
Després de molts anys de bonança, a la dècada de 1960 va començar una crisi per al sector tèxtil que conduí al tancament de la fàbrica a finals de 1971. L’any 1980 va sortir a subhasta bona part de la colònia, i en els anys posteriors el poble va restar pràcticament abandonat. El 1992 l’empresa de Madrid Masters-5 Internacional va comprar Palà de Torroella en subhasta. Dies després representants de l’empresa van intentar desnonar 23 famílies que ocupaven els pisos de l’antiga colònia. L’alcalde de Navàs, Jaume Pons, va frenar aquesta temptativa i el 1992 va anunciar que l’Ajuntament comprava Palà. El 1994 s’arribava a un acord: els pisos quedaven pe les famílies i el camp de futbol, el cinema, l’oficina municipal i l’església van passar a propietat municipal.
