Mátyás király csak Beatrixxal kötött házassága, 1476 után fogott hozzá a palota helyreállításához, melynek során vidéki rezidenciájává alakította át. A munka mintegy 10 évig tarthatott. A régi épületeket teljesen felújították de új szárnyat csak az utcai fronton emeltek. Kicserélték a nyíláskereteket, kandallókat, födémeket, díszkutakat, loggiákat, erkélyeket. Az építkezést a budai udvarbírók irányításával egy helyi későgótikus építőműhely végezte, de néhány részfeladatra reneszánsz stílusban dolgozó olasz mesterek kaptak megbízást.