L'origen de la confraria del Roser i, per tant, de les seves administradores, es remunta a l'any 1601 o una mica abans. Amb aquesta data es conserva a l'església parroquial un pergamí amb el segell del Papa Climent VIII. En aquest document el Papa concedeix diverses indulgències als membres de la confraria del Roser de Sant Mateu de Bages. Segons es diu explícitament en el document, la confraria ja existia aquest any. Possiblement es va fundar l'any anterior, el 1600, ja que a l'arxiu parroquial el llibre de comptes de la confraria comença en aquesta data, mentre que el volum denominat "Llibre dels confrares del Roser" s'inicia el 1603. Sembla, doncs, que el 1601 la confraria havia estat fundada feia poc i els feligresos van voler obtenir la benedicció i els beneficis papals. A la parròquia hi havia també altres confraries; concretament, la de Sant Isidre (documentada des de 1667), la de Sant Pere, Sant Salvador i Sant Antoni (documentada des de 1683) i la de sant Mateu (documentada des de 1771). Entre totes, però, la que tenia més arrelament era la del Roser. La confraria del Roser participava en l'organització d'una de les celebracions principals que es feia a la parròquia i que es coneixia com "fer la gala del ciri" (NOGUERA, 1905: 28). No sabem exactament en què consistia, però podria tenir relació amb el ball del ciri que es feia en altres poblacions, com ara a Castellterçol, i que simbolitzava el traspàs de poders entre els administradors vinculats a la parròquia d'un any i els del següent.
Ja a la primera meitat del segle XX hi va haver també la confraria de les Noies (sota l'advocació de la Puríssima) i la de les Filles de Maria. En aquesta època les Priores i els confrares portaven atxes enceses en les diferents processons que es celebraven. Fins els volts de l'any 2000 la tradició de les atxes es va mantenir. L'any 2001 es va celebrar una festa per commemorar el 400 aniversari de la Butlla papal que va marcar l'inici de la confraria.