Sant Antoni Abat, dit popularment del porquet perquè sol representar-se amb l’atribut d’aquest animal, era el patró dels animals domèstics, especialment del porcí i el bestiar de peu rodó. Ja des del segle XV va assumir el patronatge dels gremis de llogaters de mules, traginers i bastaixos de ribera. El dia de la seva festivitat, el 17 de gener, no només els traginers i carreters portaven a beneir les seves cavalleries, també ho feien els pagesos i ramaders en general. A Balsareny el gremi de traginers i carreteres que organitzava la festa ja funcionava al final del segle XIX, abans de 1897.
Tanmateix, aquest oratori és modern i data de la dècada de 1940, quan després de la Guerra Civil es va potenciar de nou la festa de Sant Antoni Abat que ara coneixem com la Festa dels Traginers. La persona que va impulsar la construcció de l’oratori fou Llorenç Planas Vilella, molt vinculat a l’organització de la festa i promotor també de l’Associació d’Amics del Castell. El cert és que l’any 1949 l’oratori ja hi era i el camí que anava cap al castell es coneixia com a “Pujada de Sant Antoni” (Soler, 1989: 44). L’any 1963 arran d’un greu accident l’autoritat va prohibir la celebració de la cursa de cavalls de la Festa dels Traginers que es feia a la mateixa carretera, i el 1964 va començar a fer-se en aquest indret, a la pujada del castell.
En el transcurs dels anys l’oratori ha estat malmès i reparat en dues ocasions. La primera vegada per un accident de tractor i la segona per un cotxe. Entorn de 1997 es va encarregar a Breda un nou plafó de sant Antoni.