1355-ben, a székhely Visegrádra helyezésével az építkezések tovább folytatódtak. Az új palota 1366-ra nagyjából készen állhatott, de a befejező munkák még az 1370-es években is folytak. Ezekben az évtizedekben alakult ki a palota ma is mert formája: a 123 x 123 m-es területen fekvő, fallal övezett, szabályos elrendezésű épületegyüttes középpontjában a kápolna állt, tőle északra emelkedett a középudvaros, négyzetes alaprajzú, kétemeletes királyi lakóépület, délre pedig a pénzverőkamara, a kincstár és az udvarbíró épületei. Az alsó nagy fogadóudvar északi felét a nagytermek, konyhák és raktárak övezték. A királyi lakóépülethez két fallal övezett virágoskert, a palota épülettömbjéhez pedig nagy kiterjedésű gyümölcsöskert csatlakozott. A kerteket és a palota udvarait gótikus csorgókutak ékesítették amelyeket vízvezeték látott el forrásvízzel.