Az Árpád-ház kihalását követően a visegrádi vár Vencel király kezére került, majd tőle Csák Máté szerezte meg. Károly Róbert híveinek csak ostrommal sikerült 1317-ben megszerezniük az erősséget. Csák Máté halála után, 1323-ban érezte Károly Róbert elég biztonságosnak az ország közepét, hogy ide helyezze át székhelyét Temesvárról. Rezidenciául mégsem a nagyvárosnak számító Budát, hanem a jól védhető visegrádi várat választotta. Itt helyezték el a korábban Székesfehérváron őrzött koronaékszereket is. A királyi udvar ideköltözésével a település igen gyorsan várossá vált. 1330-ban, a király városi házában támadt rá az uralkodóra és családjára Zach Felicián. 1335-ben nagyjelentőségű királytalálkozót rendeztek Visegrádon. Károly Róbert 1342-ben a visegrádi fellegvárban hunyt el.

Uralkodása első éveiben I. Lajos Visegrádon maradt. 1347-ben, a nápolyi hadjáratok megindulásával azonban az ország kormányzását öccsének István hercegnek adta át, aki Budára telepítette az udvart.

Az első nápolyi hadjáratban foglyul ejtett nápolyi Anjou hercegeket 1348-ban Visegrád várában őrizték. Az udvar 1355-ben visszaköltözött, de az uralkodó ezután is igen gyakran tartózkodott Budán, és élete végén mindkét városban közel azonos méretű hatalmas palota kiépítésébe kezdett. Lajos halála után, 1386-ban a Budán merénylet áldozatává vált, haldokló II. Károly királyt Visegrádra hozták, ahol valószínűleg megfojtották. Testét a Szt. András monostorban temették el. (BG)