Башня получила своё имя в честь Елизаветы Людовики Баварской — супруги короля ПруссииФридриха Вильгельма IV. Текстильный фабрикант и член муниципалитета города Эльберфельд (тогда ещё не включенного в состав Вупперталя) Энгельберт Эллер приобрел в 1820 году в районе Хардт земельный участок, где построил виллу, оранжерею и фабричное здание. В 1838 году он на фундаменте старой ветряной мельницы, построенной в 1812 году, сооружает башню, которую использует как обсерваторию.
Примерно с 1850 года башня становится доступной широкой общественности как смотровая вышка. Вдова Энгельберта Эллера завещает владение в Хардте немецкомуКрасному кресту, который передает его в 1907 году городу Эльберфельду. Окружающий башню парк был в 1910 году включен в состав основанного в 1890 году ботанического сада.
После второй мировой войны башня Элизы вновь используется народным университетом как обсерватория, однако, вскоре обсерваторию закрывают в связи с ветхостью башни. После основательной реставрации башни в 60-х годах XX века её вновь открывают как смотровую площадку, а также для периодического проведения выставок и экспозиций.