La família dels Peguera, senyors de Foix, van tenir casa senyorial a Torrelles de Foix des de la segona meitat del segle XVI, amb una capella dedicada a la Mare de déu del Roser, beneïda l'any 1579. El març de 1593 va ser concedida llicència per beneir la campana de la capella de N. D del Roser al castell de Torrelles (Català i Roca, 1971). El 26 de maig d 1693, el visitador, en inspeccionar la capella de la Verge del Roser, va autoritzar l'obertura d'una porta, a la part més apta per obrar una sagristia (Iglésies, Santasusagna, 1934: 256). Se sap que en aquesta capella s'hi van enterrar membres d'aquella família. L'any 1781, poc després de bastir-se l'església de Sant Genís, es va arribar a l'acord de deixar de fer funerals a la capella del Roser, cosa que fins aquell moment s'havia efectuat abans de dur els difunts, primer a Foix i després al cementiri parroquial. L'any 1881, en morir Maria Manuela de Pedrolo, hereva dels Peguera, sense descendència, va deixat en testament la capella del Roser a les salesianes de Barcelona. Més endavant va passar a mans del consistori torrellenc.