Encara que l'edifici de la rectoria va ser construït al segle XVIII igual que l'església, l'any 1919 el pàrroc Mn. José Espel Casals va fer reparar la rectoria perquè amenaçava ruïna, amb un pressupost de quinze mil pessetes (ADS). El fet més rellevant que va viure la rectoria d'Avià va ser el 26 d'octubre de 1839, ja que fou destituït i empresonat el comte d'Espanya (títol que li va atorgar el 1819 el rei Ferran VII), Charles d'Espargnac, per ordre de la Junta Carlina de Berga, que anys enrera l'havia fet capità general de la zona carlina. El comte d'Espanya es va guanyar una fama d'home estrambòtic i sanguinari, portant a terme innombrables injustícies: despotisme general, manca de respecte envers tothom, destrucció injustificada de bens,.... Aquests motius van provocar l'ordre de destitució donada pel Rei, i els seus companys li van parar una emboscada a la Rectoria d'Avià aprofitant que s'havia convocat reunió de la Junta de Berga. Li van treure l'espasa i amenaçant-lo amb un ganivet per l'esquena li van comunicar la decisió del Rei. A la nit, i després d'un viatge de quatre dies, van arribar a Organyà on el van retenir fins el dia 2 de novembre en què, de camí cap a La Seu d'Urgell per ajusticiar-lo, el van escanyar amb una corda i després el llançaren al Segre amb una pedra lligada al coll. Dies més tard el cadàver es va trobar a Coll de Nargó, lloc on va ser enterrar. A la novela de Pio Baroja, "La senda dolorosa" (1928), que forma part del conjunt de novel·les "Memorias de un hombre de acción" (22 novel·les), fa una descripció de la rectoria d'Avià i dels fets ocorreguts en relació al Comte d'Espanya (RAFART, 1984). L'any 1989, el que llavors era capellà d'Avià, Mn.Ramon Alsina, va trobar a un armari de la rectoria un exemplar de les "Efemérides Berguedanas" de Jacinto Vilardaga editat l'any 1919, amb unes notes manuscrites als marges fetes durant la guerra pel capellà beneficiat de Berga Mn. Francesc Rodergas. Aquestes notes es van publicar l'any 1990 en forma de llibre per part de l'Ateneu d'Avià i constitueixen una important crònica dels fets ocorreguts a la zona.
