Segons la documentació consultada, hi ha constància de l'edifici des de mitjans del segle XIX (apareix grafiat en un plànol datat l'any 1863, en relació a un expedient de reclamació d'agravi que està dipositat a l'Arxiu de la Corona d'Aragó).
Des de mitjans del segle XX, la casa es coneix com a can Ballester que era el cognom dels seus residents. En Josep Ballester i Vinyeta tenia l'ofici de pintor i decorador, i alhora tovaca amb la cobla-orquestra Els Angelets, i durant un temps també amb l'orquestrina Fòlies Jazz. Aquest personatge també era conegut com en Reus ja que l'avi de la família, en Ramon Ballester, va portar el cafè de can Reus durant força temps (aquest cafè, actualment desaparegut, estava situat al carrer de Mossèn Jacint Verdaguer, en el mateix solar que actualment ocupa la biblioteca Marquès de Remisa). Aquest fet va provocar que l'edifici que ens ocupa també fos anomenat can Reus o cal Cafeter.
Posteriorment, en Pepet Font i Niubó va tenir una barberia en aquest mateix edifici. Aquest personatge era conegut com el Barber de sota missa.
Finalment, pels voltants dels anys 60, l'edifici fou conegut com a can Mílio en referència a l'Emílio Cirera, procedent de Torelló. Tenia una botiga de llegums cuits i cafè mòlt, motiu pel qual també l'anomenaven cal Cafeter.
La transformació de la finestra de la primera planta és fruit d'una reforma duta a terme durant el segle XIX. Les obertures de planta baixa, per contra, van ser reformades durant el segle XX.