A palota előzménye Károly Róbert városi háza volt. Komoly palotává csak I. Lajos fejlesztette uralkodása első felében. A romjaiban ma is álló épületeket még szintén I. Lajos kezdte meg építeni élete végén de már csak utódai?: Mária és Zsigmond fejezték be a XIV. század végén. A XV. század első évtizedéig, míg Zsigmond az udvarát Budára nem költöztette, a visegrádi királyi palota maradt a magyar uralkodók hivatalos székhelye. A XV. században háttérbe szorult palotát csak Mátyás állítatta helyre a XV. század végén. Ettől kezdve, az 1544-es török hódításig a magyar királyok vidéki rezidenciája volt. A török időkben rommá vált épületet a XVIII. század közepén lebontották. 1934 óta folyó feltárása és helyreállítása során maradványait múzeummá alakították.