Az újjáépült királyi palota területén kívül rekedt régi, Szt. Györgynek szentelt királyi kápolnát Zsigmond király az obszerváns ferenceseknek adományozta és mellé házat építetett számukra. 1425-után új kolostort és egy Szűz Mária templomot építtetett. A boltozott templom északi oldalán épült a kerengőfolyosó. A famennyezetes, nyitott árkádos folyosó keleti és nyugati oldalához csatlakoztak a kolostor helyiségei: keleten a sekrestye, káptalanterem és a pince, nyugaton talán a refektórium. A szerzetesi cellák az emeletén lehettek.

  A XV. század közepén elhagyott kolostor helyreállítását Mátyás király kezdte meg de a munka nagyobb részét már I. Ulászló korában, a XVI. század első évtizedében végezték el. Új, nagyobb szentélyt építettek pompás hálóboltozattal. A kolostor kerengőjét valamint káptalantermét is beboltozták és a sekrestye fölé tornyot emeltek. 1513-ban már itt tartották az obszerváns rendtartomány közgyűlését. Az építkezés vezető mestere valószínűleg Csehországból érkezett. 1535-ben a kolostorban nyolc szerzetes élt, közülük négyen voltak papok. 1540-ben említették utoljára a működő rendházat.