Los jardines fueron adquiridos por Tiberio y conservados durante muchos siglos por los emperadores romanos como servicio público. El Emperador Nerva murió de una fiebre en una villa situada en los jardines en el año 98. Según Procopio, continuaron siendo un lugar de descanso imperial hasta ser saqueados por los godos en 410.
A comienzos del siglo XVII, el Cardenal Ludovico Ludovisi, sobrino del Papa Gregorio XV, adquirió el lugar y construyó la Villa Ludovisi; durante los trabajos en el lugar, se redescubrieron muchas esculturas romanas importantes. Luego de la disolución de la Villa Ludovisi después de 1894, a mayor parte del área ocupada por los jardines fue dividida en parcelas que fueron edificadas, mientras que Roma crecía como capital del país tras su unificación de Italia.