L'edifici és conegut amb aquest nom pel fet que, durant els anys 40 del segle XX, Juan Zamora de las Vacas, alcalde i metge del poble, hi va voler fer una biblioteca pública, tot i que finalment, el projecte no es dugué a terme. La primera referència documental apareix en una pintura de la família Fàbregas Rigola, comprada a Madrid entre els anys 1867-70. L'any 1892, l'edifici funcionava com a escola pública de nenes. Posteriorment, i fins a la Guerra Civil espanyola (1936-39), fou la seu de la barberia del poble i la primera sala de ball del municipi (durant el primer terç del segle XX). Durant la dècada dels anys 1964-65 a 1974-75, es convertí en local pels joves. L'any 1981, l'edifici fou reformat interiorment per l'arquitecte Jordi Estrany i Castany. Un cop finalitzada la reforma, i fins l'any 1991, la construcció albergà diferents serveis de l'ajuntament com magatzem de documentació de l'arxiu històric municipal, seu del grup d'esplai, correus, etc. Des del curs 1994-95 i fins al 1996-97 s'utilitzà com a l'aula de parvulari del CEIP del Pi, i posteriorment, s'hi instal·laren les bústies dels apartats de correus (a l'entrada), s'organitzaren algunes exposicions i s'hi instal·là el Punt d'Informació Juvenil l'any 2001. L'edifici passà a ser propietat del Bisbat de Barcelona mitjançant una permuta realitzada a finals del mandat de l'alcalde Josep Jo (1999-2015).