En la época del Imperio carolingio, los territorios que formarían el futuro archiducado componían una marca, la llamada marchia orientalis. Tras la batalla de Lechfeld, en 955, los germanos fueron desplazando a la etnia eslava de la región y hacia 960 crearon un margraviato. Desde el 976, el territorio estuvo bajo el dominio de la Casa de Babenberg, que llamaron a la región Ostarrîchi. Este término derivaría posteriormente en el nombre alemán de Austria: Österreich ('reino del este').
En 1359, el Privilegium Maius fue un falso documento utilizado por Rodolfo IV de Austria para elevar su estatus al de archiduque, pero esto no fue reconocido por el Sacro Imperio. El archiducado no sería reconocido hasta que en 1453 Federico III tomó el control imperial para la casa de Habsburgo. De esta manera, Austria se convirtió en el primer Estado en designarse como archiducado. En los siglos xiv y xv, los Habsburgo empezaron a acumular otras provincias en las proximidades.
Asimismo, los Habsburgo comenzaron a acumular territorios lejos de sus tierras hereditarias. En 1477, el archiduque Maximiliano, hijo único del emperador Federico III, se casó con la heredera de Borgoña, adquiriendo por tanto la mayor parte de los actuales Países Bajos y del Franco Condado para la familia.
En los siglos xvii y xviii los Habsburgo extendieron enormemente sus territorios ante la descomposición del poder otomano (1699 y 1718) y por los repartos de la herencia hispana (1713-1714) y de Polonia (1772 y 1795).
Proclamación del imperio
Dicha expansión propició que, en 1804, el emperador del Sacro Imperio y archiduque de Austria, Francisco I, promoviese su elevación a la categoría de imperio, como reacción a la proclamación de Napoleón I como emperador de Francia. Dos años después, el propio Francisco I disolvería el Sacro Imperio Romano Germánico y solo se mantendría el incipiente Imperio austríaco.
Tras varios intentos fallidos de reforma constitucional, el Imperio Austríaco se transformó en el Imperio austrohúngaro como consecuencia directa de la derrota sufrida en la guerra de las Siete Semanas y gracias al compromiso austrohúngaro de 1867 bajo el reinado de Francisco José I, otorgando igualdad de estatus a los territorios húngaros. El título de archiduque de Austria continuaría siendo usado por la familia imperial hasta su desaparición en 1918 al disolverse el Imperio austrohúngaro.