L'origine de l'église Notre-Dame de Pontoise remonte au XIIe siècle.
A cette époque, c'est une chapelle construite hors les murs de la ville. La statue de la Vierge qu'elle renferme en fait un lieu de pélerinage. Devenue trop petite, elle est remplacée par un bâtiment plus grand au XIIIe siècle, qui devient paroisse.
Puis l'église subit les conséquences de sa position hors les murs : tous les sièges que subit Pontoise l'endommagent ou la détruisent. Elle est démolie partiellement pendant la guerre de Cent Ans, puis restaurée sous Charles XII. Elle est détruite pendant les guerres de Religion, reconstruite, puis à nouveau détruite en1 589 quand la ville est assiégée par Henri III et le roi de Navarre. Enfin, en 1599, le cycle prend fin et l'église actuelle voit le jour. D'après les sources et les vestiges encore visibles au XIXe siècle, l'ancienne église devait mesurer près de 130m de long. Le nouvel édifice est bien plus modeste. Avec un porche construit après coup et une façade rénovée au XVIIIe, son aspect architectural est assez hétéroclite.
A la Révolution, l'édifice est transformé en magasin à fourrage, puis menacé de destruction. En 1801, il est rendu au culte sous la pression de ses paroissiens.