Las Tourelles son el último vestigio de las siete puertas de la muralla que rodeaba Dieppe. Esta puerta se llamó Porte du Port d'Ouest y después Tour Jumelle antes de convertirse en las Tourelles que conocemos hoy. Era una de las cinco puertas que daban al mar cuando se construyó la muralla de la ciudad en el siglo XIV. El objetivo de esta obra defensiva era proteger Dieppe de los ataques ingleses y flamencos durante la Guerra de los Cien Años (1337-1453). La finalidad de las puertas era permitir el abastecimiento de Dieppe y controlar el paso de personas por tierra y mar.
A finales del siglo XVIII, la insólita muralla fue cayendo poco a poco en la ruina, hasta que fue demolida en 1837 para dar paso a la construcción del actual Boulevard de Verdun. La torre se convirtió en prisión hasta el siglo XIX, lo que la salvó de la destrucción. Las Tourelles están catalogadas como Monumento Histórico desde 1886.
