En 1863, l’école devenant de plus en plus importante, c’est la construction de « la maison d’en haut ». Au début du XXème siècle, l’école traverse une très dure période, au moment des sécularisations. Les religieuses sont aidées efficacement par un groupe de pères de famille. Leur action permet que les bâtiments restent la propriété de Saint Charles.