Segons Joan Amades, la Mare de Déu del Castell Galí va donar nom al poble que va formar-se al seu voltant. La llegenda explica que "el senyor del castell hagué d'anar a la guerra contra els moros i la seva muller, abans de marxar, el requerí perquè davant de la imatge de la Mare de Déu que es venerava al castell, li jurés fidelitat. El cavaller va jurar-la-hi i la dama li donà un reliquiari perquè es recordés d'ella. Van passar anys sense saber res al castell del cavaller. Quan més desesperada estava la senyora, un dia va presentar-se un joglar que cantant li va contar que el seu marit no es recordava d'ella, perquè prou bé passava les hores en braços d'una dama que havia enamorat en terres de Moreria. Pocs dies després d'arribada al castell aquesta nova tan trista, va presentar-se el cavaller. Quan la dama li parlà de les seves sospites d'infidelitat, ell va irritar-se molt i no tingué inconvenient a tornar a comparèixer davant de la imatge i jurar que mai no havia mancat a la fidelitat que devia a la seva esposa. La dama va demanar a la Mare de Déu que vetllés per ella i que castigués al seu marit si li era infidel. Quan el matrimoni va sortir de la capella, els servents van anunciar que un desconegut que deia arribar de terres de moros demanava per veure al senyor. El senyor sortí al pati del castell i trobà un moro vestit com els cristians que li lliurà un reliquiari que havia rebut de la seva muller quan va marxar cap a la guerra, i li digué: - Teniu, la meva germana ha comprès per aquesta penyora que éreu casat i que l'enganyàveu i me la fa tornar perquè li repugna. I mentre el cavaller, atordit, allargava la mà per agafar el reliquiari, el moro li clavà una punyalada que el va deixar mort a l'acte. El cavaller havia estat traïdor al jurament fet dues vegades davant de la Mare de Déu, i la Verge el va castigar".