L'actual nucli antic de Castellfollit de Riubregós no es diferencia molt de l'entramat urbà del que havia estat l'antiga vila closa, la qual es trobava dins un recinte emmurallat. De la muralla no se'n conserven vestigis a simple vista, ja que els pocs que quedaven foren destruïts a finals del s. XX. Tot i així, es coneix que tenia cinc portals: el de Soldevila, el de Capdevila, el Portal d'en Tàcies, el del carrer Hospital i el Portal del Magrà. A més, la fisonomia de la vila permet intuir el traçat de la muralla. Aquest comença a baix, a la carretera, arrancant de la guixera del castell, i segueix cap a l'indret on actualment hi ha l'edifici del restaurant La Torre, on gira seguint el mateix camí reial de Cervera. A partir d'aquí, els murs de les cases s'assentaven sobre un rengle de boteres amb les quals es compensava el desnivell que hi havia entre carrers i cases i l'esmentat camí fins a l'indret del portal del Magrà. Desprès d'aquest portal, un nou rengle de boteres sostenia el mur de la vila a l'indret conegut com La Muralla, fins a la part baixa del carrer Hospital. El mur de la vila arribava al portal de Capsavila i per l'altre costat continuava fins a les guixeres del castell, on encara es veuen les restes d'un parell de boteres. És interessant remarcar que fins inicis del s. XIX, les cases dels carrers Hospital i Escorralls utilitzaven la muralla com a mur posterior dels edificis.
El casc antic, de fisonomia allargassada, s'estructurava a l'entorn de dues places, la Plaça Major, centre neuràlgic de la vila i on hi havia l'antiga església, i la plaça de Sant Joan, a l'est de la població. Alguns dels carrers que conformen el casc antic estan coberts amb voltes, entre ells la Volta de Cal Sitges, la Volta del Tresona i l'anomenat carrer de Sant Vicenç. Joan Farell, autor d'una monografia sobre la vila de Castellfollit, apunta la possible existència d'un call jueu, que quedaria reduït a un grup de cases comprès entre el Carreró, la part baixa del carrer Major i la placeta darrera del Portal de Soldevila, on actualment hi ha la casa del Litet i el restaurant de La Torre.
