Une légende voudrait que Saint-Valery-en-Caux fut fondé au VIIe siècle par Wallerich, roi des Francs. Certains documents anciens en attriburaient plutôt la paternité aux bénédictins de Fécamp. En effet, ces derniers y établirent un prieuré au Xe siècle, autour duquel se développa vraissemblablement le village.
Quoi qu'il en soit, un bassin fut rapidement creusé (au XIIIe siècle), marquant le début des activités portuaires de ce petit village du pays de Caux.
Aujourdhui, le port tient toujours la place principale. Les temps ont changé, les bateaux de pêche sont devenus de plaisance, mais la station balnéaire reste chaleureuse avec ses vieux quartiers, ses maisons fleuries et sa plage de galets...