La llegenda del castell d'Olvan fou recollida per Joan Amades i diu així: "Els moros se'n volien apoderar i el van tenir voltat durant set mesos lluitant sense no parar mai. La majoria dels defensors havien mort, uns de ferides, altres de cansament i de fam. El senyor del castell estava desanimat i més encara la poca gent que li restava, puix que cada dia els moros eren més i major la seva fúria, mentre que els del castell, anaven perdent gent i forces cada dia. El senyor estava decidit a rendir el castell, i quan va sortir dalt de la muralla per aixecar bandera blanca, va veure dalt del cel una gran creu platejada com d'argent. Va creure que era un avís que el cel li enviava perquè no es donés i seguís lluitant, i així va fer-ho i, com obra de miracle, amb les quatre pedres que tenien els del castell queien sobre els moros com a mosques; aquests van agafar por i van fugir, i el castell restà lliure i salvat. En record d'aquest prodigi el senyor d'Olvan va adoptar pel seu escut una creu platejada damunt d'uns fons de blau cel".
