Josep Puig i Cunyer va concebre la idea de la construcció d'una granja escola per a orfes pobres, i va facilitar els recursos econòmics necessaris.
El seu cunyat, Francesc de Paula Benessat i Folch, que va ser qui va materialitzar el seu designi, va encarregar el projecte d'edificació a l'arquitecte Manuel Vega i March (1871-1931), i va confiar la direcció de l'educació de l'escola a l'Ordre de Fills de la Sagrada Família. Finalment l'any 1894 va ser inaugurat el Col·legi d'Orfes.
Un d'aquests educadors, el pare Manuel Cazador i López, va instal·lar-hi un observatori meteorològic i, temps després, un museu de ciències naturals.
L'edificació del Col·legi d'Orfes va facilitar la construcció d'avingudes i carrers a la part nord del municipi, que era ocupada per torres i xalets amb grans jardins, fruit de la tradició de Sant Julià de Vilatorta com a lloc d'estiueig durant el segle XIX.
L'any 1958, un incendi va destruir part de les dependències de l'escola, però l'ex-alumne Conrat Vilarrubia, va aconseguir salvaguardar algunes peces del museu i algunes dades de l'observatori meteorològic.
Finalment, l'any 1972, l'escola va ser objecte d'obres de reforma, que van modificar parcialment la seva estructura interna.
