Az 1320-as években Károly Róbert korában a mai homlokzat helyén egy nagyméretű kő-fa szerkezetű udvarház állt. Ennek déli végénél I. Lajos uralkodásának elején, 1347 körül egy templomot kezdtek építeni, de a munka félbemaradt. Az 1350-es években a megkezdett templom helyére egy palotaszárny épült, támpilléres homlokzattal. A XIV. század végén, Zsigmond király lebontatta a korábbi épületeket és az új királyi palota építése során megépítette a mai támpilléres homlokzatot. Az építkezés egy későbbi fázisában a déli szakaszba, a pince bejárata fölé kétszintes zárterkély épült, a második szakaszba pedig egy lépcsőház.

Mátyás király idején épült fel a harmadik homlokzati szakasz elé az alsó fogadóudvar loggiájára felvezető lépcső, a homlokzat emeleti ablakait és erkélyeit pedig kicserélték. Ekkor valószínűleg a homlokzatot fel is magasították.

A XVI-XVIII. században a palota homlokzata elpusztult, csak a Ny-i szárny padlószintje alatti, alsó szakasza maradt fenn. A pusztulás során a fölső szintekről kidőlt nyíláskeretek, erkélytöredékek a bontási törmelék alatt fennmaradtak.