Aiken menempuh pendidikansarjananya di Universitas Wisconsin-Madison, dan memperoleh gelar Doktor Filsafat di bidang fisika di Universitas Harvard pada tahun 1939. Pada masa dia menyelesaikan program doktornya, Aiken menemukan beberapa persamaan diferensial yang hanya dapat diselesaikan secara numerik. Dari sinilah ia menargetkan untuk membuat alat komputasi elektro-mekanik yang dapat membantunya menyelesaikan persamaan-persamaan tersebut. Alat ini awalnya disebut sebagai Automatic Sequence Controlled Calculator (ASCC) dan belakangan diberi nama Harvard Mark I. Dengan dibantu oleh Grace Hopper dan pendanaan dari IBM, mesin ini berhasil diselesaikan pada tahun 1944. Pada tahun 1947, Aiken menyelesaikan pembuatan komputer generasi berikutnya yang bernama Harvard Mark II. Versi-versi berikutnya kemudian terus dikembangkan, mulai dari Mark III yang masih sebagian menggunakan komponen mekanik dan Harvard Mark IV yang telah semuanya berisi komponen elektronik.
Aiken mendapat inspirasi untuk membangun mesin-mesin tersebut dari mesin diferensial milik Charles Babbage.