Originàriament, formava part d'una línia defensiva de primer ordre del castell de Sant Esteve, juntament amb la Torre del Raval i la Torre del Cap Xic. La torre quedà molt malmesa l'any 1822, quan el general Mina, durant la persecució contra la Regència d'Urgell, va executar una voladura que li va obrir vàries esquerdes i un esvoranc a la base. És coneguda amb el nom de torre del Ballester perquè, davant i a l'altre costat del riu, hi ha l'antiga masia de la Ballesteria, avui anomenada Cal Ballester. D'aquesta torre també se li havia dit la torre del Felip, pel nom del propietari d'una part del terreny on s'assenta. Modernament també se la coneix com torre del Balet, personatge de Manresa que havia tingut alguns drets sobre la casa de Cal Frare, al portal de Sant Roc, i posteriorment comprà la torre. El nou propietari, que volia viure a la torre, va fer-la enguixar, va apedaçar l'escala interior i va reparar l'esvoranc que hi havia a la part exterior. També va col·locar-hi una porta de ferro i alguns mobles. Un temps després, sense saber-se'n el perquè, va desaparéixer i no va retornar mai a Castellfollit.
