El Collège des Oratoriens, situado en el Quai Henri IV, fue construido en 1614 en el emplazamiento de la antigua casa del armador de Dieppe Jehan Ango "La Pensée".
Tras el Gran Bombardeo, un ataque anglo-holandés que provocó la destrucción del centro de Dieppe en 1694, incluido el colegio. A principios del siglo XVIII, se levantó un nuevo edificio de ladrillo y sillería en tres cuerpos, rodeando un patio rectangular.
El Colegio Oratoriano tuvo una función educativa hasta la Revolución, cuando el edificio fue requisado antes de volver a su función educativa original, convirtiéndose a su vez en colegio público y después en instituto. Tras un incendio en 1938, en 1959 se construyó un nuevo colegio en las alturas de Dieppe.
En la actualidad, una parte del edificio está ocupada por la escuela infantil, cuyo comedor se encuentra en la antigua capilla. La otra parte está ocupada por pisos.
