Diferents historiadors assenyalen l'any 1584 com la data en la qual es van reconstruir els portals de la vila i per tant, les muralles. Malgrat que no hi ha dubte que en aquesta data es van produir obres, sobretot en el portal del Vall ( el carrer del Carme s'anomenava anteriorment carrer del Vall, ja que en aquest indret hi havia un fossar ), sembla que la reconstrucció comença anys abans. D'aquesta manera observem que es parla de diferents actuacions fetes l' any 1571, com un "preufet" per construir un nou portal, uns adobs fets a un pany i també que s'havien tapiat els portals de la Vall i del Xuriguera. També, una de les anotacions del Racional esmenta que s'han de tirar pedres del portal nou de Sant Jaume, al portal vell. Tot això ens fa suposar que no sols es va tractar d'una reconstrucció, sinó que també hi va haver un eixamplament de les muralles per encabir el creixement urbanístic que s'havia produït al llarg de la centúria. D'aquesta manera podem dir que, un cop acabades les obres, van quedar a la nostra vila 5 portals. Un era interior, el de l'hospital, el qual encara existeix, i segurament havia estat porta d'entrada d'una primitiva muralla que només hauria encerclat del carrer Xuriguera fins al castell. Els altres quatre eren els següents: El portal del Vall, situat al final del carrer del Carme i que era la porta d'entrada de la banda Oest; el de Sant Jaume, situat aproximadament a la casa Giralt, on actualment hi ha l'administració de loteria.
