Les restes de l'antiga capella de Sant pelegrí es troben al camí a Paller de Baix, una mica abans d'arribar, a la riba dreta del torrent de Paller i al peu del camí; a uns 300 metres del santuari. Es troba en un lloc en que el terreny fa un desnivell, per tant es va aterraplenar l'espai que ocupa l'edifici per tal d'adaptar-lo. Es conserva part del mur perimetral que permet veure un edifici de planta rectangular (6,8 x 3,8 m), sense absis i amb un porxo davant de l'entrada. Els murs estan fets amb pedra sense treballar unida amb morter de calç, fan uns 70cm de gruix. Es trobava coberta de vegetació fins que l'any 1999 un grup de persones de Bagà es va dedicar a netejar l'entorn deixant al descobert les ruïnes. No es van identificar restes de ceràmica o d'altres materials que donessin indicis de la cronologia de l'edifici.