Mikor 1323-ban I. Károly udvarát Visegrádra költöztette a település hirtelen fejlődésnek indult. A későbbi királyi palota területén, az egykori faházak helyére ekkor épült fel az első királyi kúria. A rezidencia több házból állhatott. Az északi részen egy nagyteremépület, mellette egy emeletes lakóház állt. Talán ez lehetett az a királyi ház, ahol 1330-ban Zách Felicián sikertelen merényletet kísérelt meg az uralkodó és családja ellen. Délebbre a hegyoldalban két emeletes kőház alattuk pedig egy félig kőből, félig fából épült nagyobb lakóépület.