Els orígens de Can Rafart s'han de buscar a l'antic mas Riera (del Pou), capbrevat al segle XIV com un domini del castell de Vilassar. La família Riera està documentada des de l'any 1229 per Dolça de Riera.
En aquest mas va néixer Salvador Riera, domèstic del virrei de Sardenya, Alfons d'Erill, que l'any 1623 portà les relíquies dels Sants Màrtirs a Vilassar. El germà i la germana d'en Salvador contrauen matrimoni amb un fill i una filla del mas Rafart de Cabrils. Des d'aquell moment es produeix el canvi de denominació de mas Riera per mas Rafart que ha perdurat fins avui.
A principis del segle XVIII, hereta el mas en Francesc de Bassols i Rafart, conseller quart de Barcelona en representació de l'estament dels mercaders (169-99), fabricant de teles i prohom de la causa austriacista en la Guerra de Successió. Mor durant el setge i després de la capitulació, els seus béns, inclòs el mas, són confiscats.
A principis del segle XIX, Can Rafart i Can Vehil de la Serra formen una única finca que a principis del segle XIX és adquirida per la família de Can Bruguera.
Josep de Bruguera Alemany, entre els anys 1888 i 1891 transforma l'antic mas i li dona l'aspecte actual.
Mitjançant un vitalici atorgat per la darrera propietària de la família Bruguera, passa a mans del que aleshores era alcalde de Barcelona, Josep Maria de Porcioles i Colomer.
L'any 1998, l'Ajuntament compra la propietat a la Caixa de Barcelona, com entitat creditora de la família Porcioles i la reforma com equipament municipal que acull diverses entitats.
