La història de l'escut episcopal cal lligar-la a la història del castell de Sant Adrià, tan sovint controvertida. Són vàries les especulacions sobre aquest castell, i sembla que encara ara costa saber la seva ubicació. No obstant, segons el cronista adrianenc Rovira i Costa, la versió més acceptada seria situar-lo molt a prop de l'antiga església. La denominació de castell també podria referir-se a palau episcopal o alberg. Són diferents documents els que corroboren l'existència del castell de Sant Adrià. En el foli 183 de l'"Speculum Officialatus" a l'arxiu episcopal, hi consta que el 2 de novembre de 1372, s'hi va albergar el rei Pere IV "el cerimoniós" i el seu seguit, de camí a Sant Andreu del Palomar. Un document de la parròquia de Sant Adrià també ens diu que el 1430 el bisbe-baró va fer cessió del palau amb la seva peça de terra al rector amb la intenció que es construís una església parroquial al costat del palau. Gairebé 200 anys més tard, el 1625 el palau estava en un estat de bastant degradació, i la mesa episcopal decidí llogar-lo al senyor Onofre Coromines, ja que era el propietari de les terres del voltant.