Si des fouilles archéologiques indiquent une occupation du site depuis la préhistoire, la ville apparaît "officiellement" pour la première fois dans des documents de la période gallo-romaine. Point de passage obligé entre les centres de Lillebonne et Lisieux, le bourg alors nommé les "Deux Ponts" commence à se développer.

À la fin du IXe siècle, les Normands envahissent la cité qui sera libérée par le comte "Aldemar". La ville est alors rebaptisée et prend son appelation définitive.

L'importance stratégique de la place justifie la construction d'un fort au XIe siècle, puis le renforcement des défenses avec l'édification de remparts. Les premières pierres de l'église Saint-Ouen sont également posées à cette époque.

Dans le même temps, de nombreux artisans s'installent, créant notamment des ateliers de tannerie. C'est que l'endroit est propice. L'eau et le bois sont présents en abondance, tandis que les éleveurs des alentours fournissent la matière première. Il reste encore de nos jours une tannerie à Pont-Audemer qui perpétue le savoir-faire de cet ancien métier.

La guerre de Cent Ans causera de grands ravages. Le château est détruit, de même qu'une grande partie des remparts. L'église Saint-Ouen doit également être reconstruite à la fin du XVe siècle.

Au XVIIe siècle, début de l'industrialisation, une communauté anglaise relativement importante s'installe à Pont-Audemer, transformant les méthodes de travail traditionnelles de tanneries alors pratiquées. C'est le début d'une nouvelle prospérité pour la ville. Cette activité ne déclinera qu'au début du XIXe siècle, remplacée par l'essort des métiers de la papeterie.

Aujourd'hui l'économie s'est diversifiée, et reste très équilibrée entre métiers industriels et services. Cet équilibre est d'ailleurs un trait dominant de Pont-Audemer, qui a traversé les siècles sans grands éclats ni drames, poursuivant son développement d'un rythme mesuré et finalement harmonieux. La ville n'a jamais souffert de longues périodes de dépressions, ce qui explique peut-être la sentation de vie et d'animation qui s'en dégage toujours. Enfin, elle est passée à travers les grandes destructions, préservant ainsi son beau centre-ville si agréable à arpenter.