Aquest casal és d’origen antic, i el 1910 fou reformat per l’arquitecte Manuel Joaquim Raspall i Mayol, que hi va introduir certs elements d’estil modernista. El treball de forja va fer-se a Can Guidons de Granollers.
Amb el nom de can Puntes era coneguda tan aquesta casa com la fàbrica del carrer de Sant Jaume, la qual també ho era com a can Jaume (actualment pàrquing Vila Oberta). Ambdues eren propietat de la família Puntes. La casa també es coneixia com cal Xic Moltó (GARCÍA-PEY, 1990).
Assassinat durant la Guerra Civil per la seva militància carlina, Manuel Puntas Viñas va ser un dirigent local del partit tradicionalista que al 1910 va encarregar la reforma d'un casal en cantonada, construït al segle XVII o XVIII i adossat a la muralla medieval. Tot i la firma Eduard Maria Balcells, la reforma s'atribueix a Manuel Joaquim Raspall –cosí segon de Balcells–, una pràctica habitual a l'època per eludir les incompatibilitats del càrrec d'arquitecte municipal.
Anteriorment sembla que hi havia viscut Maties Llobet, més conegut per "en Torreta", qui baixà l'any 1880 del Barri de la Torreta d'una casa situada a cavall dels termes de la Roca i Granollers i va anar a viure en aquesta de Santa Elisabet, que es va conèixer amb aquest nom "Can Torreta" (GARCIA PEY, 1990).
El 1986 l'edifici va ser reformat per l'equip d'arquitectes Codina-Prats-Valls per a adaptar-lo a les necessitats de l'Escola Municipal de Música, que s'hi va ubicar el 1989. El 2005 l'Escola de Música va canviar d'ubicació i l'edifici va allotjar els serveis municipals d'esports i educació. El 2016 es va fer una nova reforma per a millorar-ne l'accessibilitat i ubicar-hi també el servei municipal de cultura.
