Az I. Lajos által már nagyrészt felépített palotát Luxemburgi Zsigmond király fejezte be a XV. század első évtizedében. Ekkor épült fel a kaputoronytól délre eső nagy konyha. Alighogy elkészült a palota Zsigmond az udvarát 1408 körül Budára költöztette, de Visegrád ezután vált igazán a király kedvelt tartózkodási helyévé. Az 1420-as években a palota mellé egy obszerváns ferences kolostort is alapított. Utódai azonban elhanyagolták Visegrádot. A város és a palota a XV. század közepén hanyatlásnak indult.