La gent de mar de Sitges sempre ha tingut molta devoció a la Mare de Déu del Vinyet, a qui se li atribueix la protecció a les embarcacions sitgetanes. La tradició diu que mai no ha desaparegut cap embarcació de gent de Sitges, i d'aquesta idea neixen al voltant seu tot un seguit de llegendes, que situen a la Verge com a protectora i salvadora dels mariners sitgetans. Fins i tot en els Goigs a la Verge es fa referència a alguns dels seus miracles, com per exemple quan la Verge apareix amb el vestit moll i amb olor de mar per haver sortit a salvar alguna embarcació perduda.
Una llegenda explica com va aparèixer la Verge del Vinyet. Un dia hi havia un esclau moro cavant en una vinya propietat de Can Milans dels Ferrers, sota d'un cep va veure una imatge que li va semblar una nina, així que la desenterrà i se l'emportà a casa per regalar-la al fill de l'amo. Quan anava a fer-ho se n'adonà que ja no la tenia. Tornà cap a la vinya creient que potser se l'havia deixada i, efectivament la va torbar allà. Se l'endugué de nou i de nou a mig camí se n'adonà que ja no la duia. Disculpant-se de nou amb l'amo, tornà a la vinya i allí trobà entre llums la imatge de la Verge. L'amo, en senyal de reverència, feu aixecar una ermita a la Santa imatge en ell lloc on havia estat trobada. S'explica a través d'aquesta llegenda el fet de que Sitges sigui productora d'un vi exquisit, suposadament la malvasia, ja que es diu que la imatge de la Verge fou trobada sota un cep que produïa un vi especial.
Una altra versió de la mateixa llegenda diu que l'esclau moro aconseguí portar la imatge de la Verge a casa, i com que estava tant bruta de terra decidí llançar-la dins d'una bujola d'aigua per netejar-la. Conten que només tocar l'aigua aquesta es tornà vermella com la sang. En veure-ho, l'amo va comprendre que la Verge volia tenir un santuari allà on havia estat localitzada.
Una versió més diu que la família Milans estigué molt contenta de trobar l'imatge, així que van decidir posar-la en la capella que tenien al menjador. Un dia, quan Milans tornava cap a casa des del Vinyet, va creuar-se amb una senyora que duia un infant als braços, el pagès amb la foscor del vespre no va reconèixer a la verge i la saludà. La Verge contestà: "Déu et do bona nit, que jo me'n torno a casa meva". Quan el pagès arribà a casa lligà caps en veure la capelleta buida i tornà a la vinya on trobà la Verge sota el cep on havia estat trobada.
