El Hôtel d'Anvers fue construido en 1697, tras la destrucción de Dieppe por la Grande Bombarderie, un ataque anglo-holandés que casi destruyó la ciudad.
Su arquitectura clásica es representativa del estilo de Ventabren, el arquitecto encargado por Luis XIV de reconstruir Dieppe: las tiendas se sitúan en la planta baja y el entresuelo, ambos porticados, y están rematados por dos plantas de viviendas. La fachada se caracteriza por su simetría y sus referencias a la arquitectura antigua de estilo clásico: un frontón triangular y pilastras que unen los pisos, que recuerdan a las de los templos griegos. Se supone que el Hôtel d'Anvers perteneció a un rico comerciante, que vivía en la mansión y almacenaba sus mercancías en los edificios del patio.
A principios del siglo XX, se añadieron las columnas que sostienen los balcones cuando se restauró el edificio. Esta adición recuerda el cuadro pintado por William Turner en 1826, durante su estancia en Dieppe, en el que añadió columnas a ambos lados del porche del Hôtel d'Anvers. Otro elemento arquitectónico destacado es el friso que representa una vista de Amberes del siglo XVII en el pasillo cubierto que da al patio.
En 1991, el Hôtel d'Anvers y su friso se incluyeron en el inventario suplementario de monumentos históricos.
