C’est à cette époque que se met en place l’artisanat du drap dont la prospérité sera grandissante jusqu’au XIVème siècle. Les draps de Montivilliers acquièrent une renommée européenne grâce à leur qualité et leurs couleurs spécifiques allant du rouge au violet : les « écarlates » ainsi nommées deviennent un produit de luxe. C’est alors une période d’expansion et de prospérité. La fondation du port du Havre de Grâce par la volonté du roi François 1er préfigure le déclin de Montivilliers. L’écart se creuse dès lors entre l’abbaye et le peuple.
Le XVIème siècle est également une période troublée sur le plan religieux. La révocation de l’Edit de Nantes en 1685, provoque le départ de nombreux drapiers vers une Angleterre plus accueillante et tolérante, concurrençant de fait Montivilliers avec une production de draps plus fins et plus faciles à travailler. La Révolution supprime définitivement l’enclos abbatiale vendu alors par lots. En 1792, les moniales se dispersent. L’abbatiale, temporairement transformée en magasin, reprend rapidement sa fonction d’église paroissiale. L’infirmerie est convertie en école.