A palota Mátyás korabeli átépítése az 1480-as évek közepe felé fejeződhetett be. A pompás épületet Mátyás király utódai, a Jagellók is gyakran használták, helyreállításra azonban ekkor még nem volt szükség. 1526-ban, a mohácsi csata után menekítették először a palota kincseit Pozsonyba. Ekkor érték az első károk az épületet is, mikor egy portyázó török csapat a várost fosztogatta. 1539-ban Szapolyai János király renoválta a palotát és itt töltött egy nyarat feleségével. 1544-ben Visegrád a törökök kezére került, és végérvényesen megindult az elhagyott palota pusztulása.