El casal de Castelltort el trobem senyorejant una llenca de terra a l'extrem sudoest de l'actual terme de Calonge, entre el terme de Calaf i l'antic terme de Conill. El 1093 ens apareix documentada per primera vegada una torre de Castelltort. Al segle XII apareix com a castell termenat i és cedit per Sant Vicenç de Cardona a la seva filial de Sant Jaume de Calaf. Més endavant s'acabà integrant als dominis dels Cardona, i va esdevenir una quadra vinculada al terme del castell de Mirambell. D'aquest casal prové el llinatge dels Castelltort que el posseiran des del segle XII fins al XVII. Un membre notable en va ser Berenguer de Castelltort, que ostentava el títol de Ciutadà Honrat de Barcelona, i el 1389 fundava l'hospital de Castelltort a la ciutat de Cervera. Al segle XVII, Castelltort va passar a mans del Priorat de Sant Jaume de Calaf, que per poder explotar millor les terres més allunyades de la seva extensa propietat hi va aixecar la masoveria de la Casanova o Casanova dels capellans. La propietat de Castelltort continua en mans de Sant Jaume de Calaf i per tant, del Bisbat de Vic. L'actual masia de Castelltort és un gran casal de pedra de planta completament irregular, amb diversos volums i annexos que mostra una gran diversitat de moments constructius. Malgrat que fa segles que va perdre la funció militar, l'emplaçament, l'estructura, o les parets altes, massisses i tancades, li confereixen un aire de fortificació. Conserva una de les poques mostres a les nostres contrades de finestra coronella gòtica, amb trencaigües, llindes lobulades i una columneta amb capitell esculpit. A la mateixa façana s'adivinen restes d'una altra finestra coronella. El seu interior conserva l'espai de l'antiga capella de la Concepció, que ja fa anys fou secularitzada i destinada a usos agrícoles. Aquesta Capella no es troba documentada fins a la visita pastoral del bisbe Pasqual de 1685, però segurament té un origen molt més antic vinculat a la capella del primitiu castell.
