Az alsóvár már a török-kori háborúk kezdeti időszakában nagyobb sérülést szenvedett: védművei megrongálódtak, a lakótorony déli sarka pedig leomlott. Ásatások tanúbizonysága szerint falai közé betelepültek (korabeli lakóépületek és szemetesgödrök), XVII. századi metszetek pedig mecseteket mutatnak a várbelsőben. Védelmi szerepét fokozatosan elveszítette, a XVII. század végi felszabadító harcok alatt Visegrádon már csak a fellegvárat, és a palánkkal erősített alsó várost említik. A törökök végleges kivonulása, 1685 után évszázadokig lakatlan rom.