Segons una llegenda que recull Joan Amades, però sense que tingui una base històrica, la destrucció del castell de les Espases s'hauria produït de la següent manera: durant l'enfrontament entre el rei Joan contra el seu fill, el príncep de Vian, l'any 1460 en el context de la Guerra Civil catalana del segle XV, el cavaller de les Espases va ser un ferm partidari del príncep.Amb la guerra el rei va posar-se en contra bona part de la noblesa, i la victòria del rei hauria estat deguda a la traïdoria d'un cavaller que es va vendre secretament al monarca. Fetes les paus, el cavaller traïdor anava vora el castell de les Espases i va demanar-hi acollida. Però va sortir el mateix cavaller de les Espases i contestà secament que el seu castell no servia de posada a cap traïdor. Indignat, el cavaller traïdor va acudir al rei, i aquest manà al cavaller de les Espases que li donés acollida. El cavaller de les Espases va manar a la seva gent que desallotgessin el castell i quan s'hi va presentar el cavaller traïdor el camarlenc li va donar hostatge. Tres dies després el castell va cremar amb grans flamarades, mentre el senyor del castell i la seva gent anaven dient: "Val més el castell cremat que deshonrat".