Se'n tenen notícies des del segle X: "castro voltregane" el 902; "castro voltregano", el 916. És, per tant, un dels castells primerencs del comtat d'Osona. A partir d'aquestes dates l'aparició del terme del castell de Voltregà sovinteja en la documentació. El domini eminent del castell era en mans dels comtes de Barcelona, i com a tals, el comte Ramon Borrell donà aquest castell a la seva muller Ermessenda, de la casa comtal de Carcassona, formant part d'un lot de castells que eren la dotació nupcial. Aquesta dama, el 1023, empenyorà al seu fill Berenguer Ramon I aquest castell, entre altres, com a garantia de la pau que li havia jurat. El domini feudal del castell aviat es complicà amb diverses infeudacions. El 1055 l'escala feudal era la següent: els comtes de Barcelona, el bisbe de Vic, Guillem de Balsareny, Amat Elderic d'Orís, senescal dels comtes, Sal·la de Voltregà i Arnau Argemir. En la castlania apareix al segle XII el llinatge Sant Hipòlit. El 1171 figura la senyoria dels Montcada, i més tard els Queralt, com a continuadors dels Montcada i dels Amat, a reserva dels drets episcopals de Vic. El 1358 el vescomte de Cabrera, ja comte d'Osona, declarava tenir el castell de Voltregà amb tota la jurisdicció. Però els Cabrera no dominaren gaire el castell, ja que el 1370 el vengueren, junt amb la quadra de Conanglell i la parròquia de Sant Miquel d'Ordeig. A partir d'aquest moment, el castell de Voltregà no patí cap més alteració en el domini superior, ja que fins a la desaparició dels senyorius jurisdiccionals els bisbes de Vic foren els senyors del castell de Voltregà. La documentació no proporciona cap altra referència sobre l'edifici del castell que la seva utilització com a tal a la guerra entre la Generalitat i el rei Joan II, durant una part de la qual serví a les forces de la Generalitat, però al final de la guerra estava enderrocat i segurament no es reconstruí més.