Le musée rend hommage à l'homme de lettres humaniste, et républicain, à l'archéologue et au fervent défenseur de l'école laïque que fut Alfred Canel au XIXe siècle.
Né en 1803, il débuta sa carrière en tant qu'avocat. Mais à cause de son discours trop libéral au goût de certains, il abandonna très vite sa profession et entreprit une vie politique plutôt mouvementée. Le 1 er juin 1836, il créa la bibliothèque publique avec l'aide, entre autres, d'un député de l'Eure qui lui obtint les douze volumes de La Description de l'Egypte, et les ouvrages des monastères du voisinage lui furent confiés.

En 1851, son opposition politique à Napoléon III lui valut quelques ennuis. Destitué de son poste de bibliothécaire et assigné à résidence, il se consacra alors à sa passion : la collecte de livres. A sa mort, il légua sa maison avec l'intégralité de sa collection à la municipalité.
En 1884, sa maison ouvrit ses portes pour accueillir la bibliothèque de Pont-Audemer.