Cal Fiter es troba en el nucli format per vàries masies: cal General, cal Xesc, cal Monclar, cal Josepó, cal Mestre, cal Papa, cal Tinet i cal Fiter, situades al Clot del Tufau. Cal Fiter es troba sobre el serrat, dominant geogràficament les altres cases. La majoria eren cases de parcers que treballaven per cal Fiter, el mas més important, i que al 1865 comptava amb 22 parcers (AMSVC, Amillarament), era propietat de Martín Vall, essent un dels masos importants del Clot del Tufau junt a cal Cases i cal Fabrés. L'any 1756, la viuda de Josep Singla de Monistrol de Montserrat, va comprar a Francesc Fiter i Jaume Plans, pagesos de Sant Vicenç, el "Campet de la Beguda" (VALLS, 2001). El besavi de l'actual propietari vivia a cal Xesc i va comprar cal Tinet l'any 1876. El gendre d'aquest és el que va comprar cal Fiter i va saldar la hipoteca d'aquesta casa l'any 1939. El comprador, Miquel Bosch Abadal que procedia de Castellfollit del Boix, i va fer moltes de les barraques de vinya del terme així com va reconstruir moltes altres. Aquest va ser qui va construir la font del Fiter quan ja estava jubilat i no treballava el camp. El nom de Fiter pot procedir de fita, final de terme, ja que la finca arriba al final del terme de Sant Vicenç. Desconeixem des de quan tenia aquest topònim.
