Speer tog sin arkitektexamen vid tekniska universitetet i München år 1960. Därefter fick han anställning vid olika arkitektkontor runt om i världen, bland annat i Tyskland, Sverige, USA och Japan. År 1964 startade han eget kontor i Frankfurt am Main och år 1984 grundade han AS&P (Albert Speer und Partners).
Till största delen arbetade Speer med planuppdrag. Bland dessa kan nämnas Expo 2000 i Hannover och Shanghai International Automobile City.
