No es coneix amb exactitud l'origen del nucli de can Rossell de la Serra, tot i que existeix un document datat del dia 30 d'abril de 1081 on s'esmenta la vila de Ros, anomenada Mirambell, al terme de Lavit. No coneixem el llistat del fogatge de 1497, però al de 1515 el lloc estava habitat per un tal Fontanals. El 1553 apareix un Salvador Rossell, cognom que ja està documentat el 1386 (Berenguer Rossell de Galimanys). Fou aquest llinatge el qui va donar nom a l'actual nucli de població, ja que aquesta nissaga, des de mitjan segle XVI, s'ha mantingut en aquest lloc, essent un dels propietaris més importants del terme, fins al punt que un membre d'aquesta família, Antoni Rossell, consta documentat l'any 1803 com a familiar del Sant Ofici, és a dir, membre del Tribunal de la Santa Inquisició, estatus que comportava gaudir de certs privilegis. A començaments del segle XIX, la nissaga va passar, per vincles familiars, a Cardús, continuant actualment; ara bé, de l'antiga casa pairal no en queda res, per haver estat completament refeta durant el segle XX. Sembla ser que al seu voltant s'edificà, a finals del segle XVIII o inicis del XIX, una casa de camp per a la família Cols, fet que comportà, posteriorment, que en seguissin d'altres. Segons el cens de Madoz (vers el 1842), dins l'heretat de Can Rossell hi havia de set a vuit cases; més tard, el 1887, ja havien passat a 33 edificis; l'augment havia estat espectacular i havia esdevingut un dels nuclis més poblats del municipi de Lavit, anomenant-se Carrer del Rossell. L'any 1961el nombre d'edificis era de 37, ja que hi havia hagut un considerable estancament de la població. El nom correcte, però, és Can Rossell de la Serra, tal i com consta documentat en un capbreu de la comanda de Sant Joan de l'Hospital de Jerusalem, datat el 1737, on s'esmenta Josep Rossell, pagès, de la Serra de Lavit.
