O výstavbe kláštora paulánov tu nie je veľa dôkazov, ale najpravdepodobnejší je predpoklad, že sakrálna stavba na druhej strane údolia, hrad a dedina, neexistovali spolu a že niektoré stavebné kamene kláštora mohli pochádzať zo samotného hradu. Najsmutnejšou kapitolou v dejinách tejto oblasti bola turecká okupácia v 30. rokoch 15. storočia. Kostol a dedina boli zničené a nikdy neboli obnovené. Budova presne kopíruje pôdorys kostola pri bývalom kláštore a svojím tvarom pripomína jeho pôvodnú svätyňu. ALEBO Palatínsky kláštor svätého Michala z Tormony, patriaci vikárovi z Nostry, bol pravdepodobne založený na prelome 14. a 15. storočia s použitím kameňov z veže Pustorony a malého lomu. Budova s rozlohou 682 metrov štvorcových, postavená ďaleko od obytných zón, bola stredne veľká. Ku kláštoru patril aj mlyn a rybník a bola vykopaná takmer 20 metrov hlboká studňa, ktorá priniesla množstvo artefaktov: drevené nože, srpy, časť voza, visiaci zámok, dva železné krompáče a cínový kotlík. Posledná zmienka o kláštore pochádza z roku 1538, keď Budín v roku 1541 padol do rúk Turkov a v nasledujúcich rokoch pohania dobyli aj okolité hrady – Esztergom v roku 1543, Visegrád a Nógrád v roku 1544. Pravdepodobne v tomto čase bol paulínsky kláštor opustený.
