Вокзал впервые открыт в 1871 году и назван в честь австрийского императора Франца Иосифа I. Современное здание в стиле модерн выстроено в 1901-1909 годах по проекту чешского архитектора Йозефа Фанты, в стороне от предыдущего здания, построенного в 1866—1871 гг. в стиле неоренессанс архитектором Игнацем Ульманом.
Во времена Первой республики (а также в 1948—1953 годы) вокзал носил имя американского президента Вудро Вильсона, памятник которому стоял в парке перед вокзалом. Нацисты снесли памятник после вступления США во Вторую мировую войну (конец 1941 года).
Территория вокзала была расширена за счёт постройки в 1971—1979 годах нового здания, включающего станцию метро. В результате строительства застроена значительная часть парка, а историческое здание в стиле нео-ренессанс оказалось недоступным для обозрения со стороны автодороги.