El terme de la Llavinera es troba documentat l'any 1015 en la donació que el bisbe Borrell de Vic fa al levita Guillem d'Oló del lloc de la Segarra, amb els puig de Carat, Calafell i Farrera, en les afrontacions del lloc hi ha el terme de la Llavinera.
El castell es trobava sota el control dels bisbes de Vic qui cediren el control del castell a la família Cervera i els castlans en van ser els Rocafort.
Les primeres noticies referents al castell corresponen a l'any 1022 en el testament de Randulf, de la família Rocafort, el qual deixa al seu fill, Sunyer Randulf, el castell de Llavinera i l'any 1050 aquest ho va cedir al seu germà Ot Randulf. A inicis del segle XII (1116) el castell apareix relacionat amb el cognom Llavinera, sota el nom de Ramon de Llavinera, cavaller dels Rocafort.
L'any 1064 es documenta un conveni entre Hug Dalmau de Cervera i la seva muller Adalendis amb els bisbes de Vic i dels de Cervera amb el qual se'ls encomana els castells d'Aguilar de Segarra i de Llavinera en feu. L'any 1096 el castell de Llavinera estava sota el domini de Ponç Hug, fill d'Hug Dalmau de Cervera.
Entre finals del segle XII - inicis del segle XIII el domini del castell va passar a ser de la família Boixadors, qui posseïa els tres castells termenats: Boixadors, Fortesa i Llavinera.
Des de finals del segle XIII el nucli de població a redós del castell es coneixia com a Llavinera Grossa, diferenciant-se de Sant Pere Sallavinera.
