La vila de Pujalt va créixer a redós del seu castell i quedava protegida per les seves muralles. Entre els vestigis que es conserven, destaca el portal de migdia, denominat portal de Baix, situat al costat de la capella de la Concepció. Aquest s'obre en un extrem de la casa de Cal Franquesa, obert amb un arc rebaixat per costat, fet de pedra col·locada a plec de llibre. Està cobert amb volta de creueria, sota la qual hi ha un portal que condueix a la casa, amb llinda de fusta i brancals de pedra carejada. El portal antic va ser ampliat vers al sud i va acabar-se amb un gran arc rebaixat. Pel que fa a la muralla es desconeix el seu estat de conservació, ja que discorre entre les cases del carrer Major i del Call.