Hi ha una certa confusió entre l'ermita actual de Sant Jaume Salerm i aquest antic monestir medieval. La primera referència històrica del lloc és del segle XIII. El 1419 la capella de Sant Jaume Salerm era possessió del castell de Boixadors, en una situació relativament propera. Però sembla que la construcció actual de l'ermita és del segle XVIII (1790, segons indica una de les inscripcions). Possiblement la confusió es deu a l'existència d'aquest antic monestir medieval, que està situat al cim del mateix turó, 100 m al sud-est, i tot sembla indicar que la construcció de l'ermita és posterior.
Pel que fa al topònim Salerm, segons l'historiador Albert Fàbrega s'ha de relacionar amb l'existència del monestir medieval. El nom es refereix en realitat a Sant Jaume de l'Erm o Sant Jaume sa l'Erm, i d'aquí hauria passat a Salerm. En documents antics se l'anomena Sancti Jacobi de Heremo. El topònim "Erm" suggereix un tipus de monestir senzill, més proper a un eremitori que a un monestir convencional, fet que coincideix a les restes modestes del monestir. La tradició oral de la gent de les rodalies mantenia viu el record d'un antic convent al cim del turó, per damunt de l'actual ermita. Recentment, Albert FÀBREGA (2007) ha donat a conèixer un document que prova de manera clara l'existència d'aquest monestir. En aquest document del 3 de novembre de 1297 un tal Ramon de Torremalús reconeix que deu 18 sous a Pere Mercer per un ase que li havia comprat, i especifica que és deodat de Sant Jaume Salerm i que l'ase era per al servei del monestir.
Aquest monestir medieval de deodats va durar pocs anys. El 1790 es devia construir la capella actual. Durant el segle XIX i primera meitat del XX la devoció a Sant Jaume va créixer i s'hi feien moltes misses i prometences. Durant aquests anys s'hi celebrava un gran aplec. En l'actualitat la gent del voltant sol netejar una mica les restes de l'antic monestir perquè no se'n perdi el record.
