Documentat des del s. XVII amb el nom de mas Vilardell, el casal es va construir sobre les terres i la masia baix medieval de cal Sala, situada prop de l'església parroquial. Al costat de la masia es va construir dues cases, per cadascun dels dos fills que es dedicaren a fer de paraires i teixidors. Les cases comptaven amb un pati, una era i un hort i a la planta baixa hi havia la botiga i el taller dels fadristerns Vilardell que aleshores eren teixidors de lli. Al primer pis de la casa hi havia la cuina, el menjador i dues cambres i a les golfes la matèria primera i el producte elaborat, a punt de vendre. Al s. XVIII figuren com una de les famílies benestants de Borredà i com a tals l'hereu de cal Vilardell es nomenat, l'any 1709, administrador de la batllia de Borredà. Els Vilardell foren al llarg del s. XVIII regidors del Comú de Borredà, propietaris del molí del Vilardell, a la riera de Merlès, i de la masia del mateix nom, situada a la parròquia de Santa Maria de la Quar (avui municipi de la Quar). A finals del s. XVIII els Vilardell s'enfrontaren amb el rector, el gremi de Paraires i Teixidors, i el Comú de Borredà en un plet que impedí la construcció de l'Hospital de Borredà que s'havia d'alçar prop de l'església i en terres dels Vilardell.
En aquesta casa va néixer Miquel Vilardell i Picas (1904-1986) metge rural de Borredà i alcalde entre 1963 i 1975.
