Hi ha una certa confusió sobre la datació d'aquesta ermita. La primera referència històrica del lloc és del segle XIII. El 1419 la capella de Sant Jaume Salerm era possessió del castell de Boixadors. Però sembla que la construcció actual és del segle XVIII (1790, segons indica una de les inscripcions). Possiblement la confusió es deu a l'existència d'un antic monestir medieval, que està situat al cim del mateix turó, 100 m al sud-est, i tot sembla indicar que la construcció de l'ermita és posterior.
Pel que fa al topònim Salerm, segons l'historiador Albert Fàbrega s'ha de relacionar amb l'existència del monestir medieval. El nom es refereix en realitat a Sant Jaume de l'Erm o Sant Jaume sa l'Erm, i d'aquí hauria passat a Salerm. En documents antics se l'anomena Sancti Jacobi de Heremo. El topònim "Erm" suggereix un tipus de monestir senzill, més proper a un eremitori que a un monestir convencional, fet que coincideix a les restes modestes del monestir. La tradició oral de la gent de les rodalies mantenia viu el record d'un antic convent al cim del turó, per damunt de l'actual ermita. Recentment, Albert FÀBREGA (2007) ha donat a conèixer un document que prova de manera clara l'existència d'aquest monestir. En aquest document del 3 de novembre de 1297 un tal Ramon de Torremalús reconeix que deu 18 sous a Pere Mercer per un ase que li havia comprat, i especifica que és deodat de Sant Jaume Salerm i que l'ase era per al servei del monestir.
Aquest monestir medieval de deodats va durar pocs anys. El 1790 es devia construir la capella actual. Durant el segle XIX i primera meitat del XX la devoció a Sant Jaume va créixer i s'hi feien moltes misses i prometences. Durant aquests anys s'hi celebrava un gran aplec. Al matí es deia missa i es resava el rosari. La gent es quedava a dinar i a la tarda, a l'indret conegut encara com la plaça de Sant Jaume, s'hi feia el ball. Hi ahava gent de tots els pobles del voltant: la Molsosa, Prades, Aguilar, Fonollosa... S'hi muntava un bar que gestionaven els estadants de la Casa Nova (al nucli de Castelltallat). Tal com diu una inscripció, durant la Guerra Civil la capella es devia malmetre i el 1939 l'edifici fou reconstruït per Miquel Camps. L'aplec es va reemprendre després de la guerra, però actualment tan sols s'hi fa la missa, per Sant Jaume.
