Arheolozi sa sigurnošću mogu potvrditi da je područje na kojem se danas nalazi Sarajevo, kontinuirano bilo naseljivano, još od neolita. Najpoznatiji dokaz naseljavanja sarajevskog područja u neolitu je butmirska kultura. Iskopine u Butmiru se otkrivene na području Ilidže, današnjeg predgrađa Sarajeva, još 1893. godine od strane austro-ugarskih vlasti tokom izgradnje poljoprivredne škole. Sarajevsko područje je, bez sumnje privlačilo neolitskog čovjeka, najviše zbog prirodnog bogatstva kremena kojeg su nalazili u izobilju. Također izgleda da su neolitski ljudi ukrašavali svoje naseobine. Ali sigurno najzanimljivija činjenica je da su pronađeni jedinstveni keramčki predmeti, te lončano posuđe koje butmirsku kulturu čine unikatnom i jedinstvenom u svijetu. Upravo zbog ovih otkrića je organizovan Međunarodni kongres arheologa i antropologa1894. godine u Sarajevu.
Sljedeće poznate naseobine na području Sarajeva su ilirska naselja. Ilirska plemena, narod koji se naseljavao na zapadnom Balkanu, (smatra se njihovom domovinom), imali su nekoliko ključnih naselja na području Srednje Bosne, pretežno uz obalu rijeke Miljacke. Iliri na području Sarajeva su pripadali plemenu "Dezitijati", ratobornom plemenu koje je najduže pružalo otpor prodoru Rimljana. Njihov poraz od strane rimskog imperatora Tiberija9. godine je označio početak rimske vladavine na tom prostoru. Rimljani nisu nikad mnogo gradili u okolini današnjeg Sarajeva, međutim, poznata je rimska kolonija Aquae Sulfurae, izgrađena na području Ilidže koja je u to vrijeme bila najvažnije naselje.
Sarajevo je u srednjem vijeku bilo dio srednjovjekovne bosanske župeVrhbosna, u blizini tradicionalne prijestolnice kraljevstva u Visokom. Dokumenati iz razvijenog srednjeg vijeka bilježe da je na sarajevskom području postojalo mjesto "Tornik". Izgleda da je Tornik bio mali trg ili pazarište okuženo malim selima, te prema zapisima dubrovačkih trgovaca, nije bio previše važno trgovačko mjesto.
Papinski dokumenti navode da je 1238. godine izgrađena katedrala Svetog Pavla na području Vrhbosne.
Sarajevo koje poznajemo danas je osnovano u Osmanskom carstvo1450-ih tokom osvajanja regiona, a godina 1461. se najčešće koristi kao godina osnivanja grada. Prvi osmanski vladar Bosne i Hercegovine, Isa-beg Ishaković, je pretvorio par zaselaka koji su tada bili tu u grad i centar države gradnjom jednog broja ključnih objekata, uključujući džamije, zatvorenu tržnicu, javno kupatilo, hostel, i naravno vladarov dvor (Saraj) koji je gradu dao njegovo trenutno ime. Džamija je nazvana «Careva Džamija» u čast sultana Mehmeda II. Sa napretkom Sarajevo je brzo naraslo u najveći grad u regionu. Mnogi kršćani, posebno pripadnici Bosanske crkve, su prešli na islam u to vrijeme.
Pod mudrim vodstvom ljudi poput Gazi Husrev-bega (najveći vakif grada koji je podigao većinu današnjeg starog dijela grada), Sarajevo je raslo velikom brzinom. Postalo je poznato po svojim velikim tržnicama i brojnim džamijama, kojih je bilo preko stotinu sredinom 16. vijeka. Tada je Sarajevo bilo najveći i najvažniji osmanski grad na Balkanu poslije Istanbula. Godine 1660. u Sarajevu je bilo preko 80000 stanovnika. Poređenja radi, Beograd je 1838. godine imao samo 12963 stanovnika, a Zagreb kasne 1851. mali broj od 14000 ljudi. Događaji su većinom krenuli nizbrdo od tada.
1699. godine, princ Eugen Savojski je poveo uspješan napad na Sarajevo. nakon što je njegova vojska opljačkala sve što je mogla, zapalio je Grad. U samo jednom danu, skoro cijeli grad je uništen osim nekoliko mahala, nekoliko džamija i pravoslavne crkve. Brojni požari koji su uslijedili su oslabili grad, pa je sarajevo 1807. godine imalo oko 60 000 stanovnika (i tada je Sarajevo imalo više stanovnika nego New York u to vrijeme).
Na tlu Sarajeva, 1830ih se dogodilo nekoliko bitaka, za vrijeme Bosanskog ustanka, organizovanog i vođenog od bošnjačkog vojskovođe, Huseina kapetana Gradaščevića. Danas je jedna od glavnih ulica Sarajeva, Ulica "Zmaja od Bosne", dobila ime u Gradaščevićevu čast. Ustanak je nažalost propao, i Bosna je opet pala pod kontrolu Osmanlijskog carstva, pod čijom je upravom i ostala, sljedećih nekoliko decenija.
Po odluci Berlinskog kongresa, Sarajevo je 1878. godine okupirano od strane Austro-Ugarske. U Sarajevo su došli arhitekti i inžinjeri kako bi obnovili grad i od njega učinili modernu evropsku metropolu. Bili su potpomognuti požarom koji je uništio veći dio glavnog dijela grada (čaršije). Nakon toga je Sarajevo postalo mješavina osmanlijskog trgovačkog grada i moderne zapadnjačke arhitekture. U Sarajevu se može pronaći nekoliko primjera maruijskog i secesijskog stila iz tog perioda.
Austro-Ugarski period je bio veliki napredak za grad jer je zapadnjačka snaga donijela prihvaćanje standarda Viktorijanske epohe. Brojne tvornice i druge zgrade su izgrađene u ovo vrijeme, i veliki broj institucija je moderniziran i prilagođen zapadnjačkim standardima. Po prvi put u svojoj historiji, stanovništvo Sarajeva je počelo pisati latinicom.
U događaju koji je započeo Prvi svjetski rat, Franjo Ferdinand, prijestolonasljednik Austro-Ugarske i njegova žena Sofia su ubijeni u atentatu u Sarajevu 28. juna1914. od strane srpskog nacionaliste i pripadnika organizacije Mlada Bosna, Gavrila Principa. Anti-srpsko nasilje je bilo primjetno u gradu, iako su se bosanskohercegovačke vjerske vođe povukli i čak lično dali utočište nekim srpskim porodicama.
Jugoslavija
Nakon Prvog svjetskog rata, Sarajevo je postalo dijelom Kraljevine Srba, Hrvata i Slovenaca (kasnije poznata kao Kraljevina Jugoslavija). Iako je tada Sarajevo bilo centar Bosanske regije, a kasnije Drinske banovnine, nije mu se pridavao veliki značaj i nije bio toliko bitan kao u prošlosti. Osim zgrade današnje Centralne banke Bosne i Hercegovine, u tom periodu nije bilo značajnijih doprinosa gradu u tom periodu.
Otpor u Sarajevu je vođen od strane Partizana predvođenih Valterom Perićem. Prema legendi, njemački oficir je došao u Sarajevo, kako bi pronašao Valtera, i naredio svojim podređenim da mu ga pokažu. Jedan čovjek je odveo oficra na jedno brdo iznad Sarajeva i rekao "Vidiš li grad?", "Das Ist Valter". Valter je ubijen u borbi na dan oslobođenja Sarajeva, 6. aprila1945. godine. Od tada je postao jedna od ikona grada.
Rekonstrukcija grada je počela samim krajem rata u 1995. godini. Krajem 2003. većina grada je ponovno izgrađena, sa samo par vidljivih ruševina u centru grada. Moderne poslovne zgrade i neboderi su izgrađeni širom grada, i razvoj Bosmal City Centra od strane bosansko-malezijske firme je pri samom kraju, a predstavlja najvišu zgradu na Balkanu. Sarajevo je ponovo ponudilo da bude domaćin zimskih Olimpijskih igara, i analitičari predviđaju da će nakon nekoliko godina razvoja i rekunstrukcije, Sarajevo imati velike šanse da opet bude grad - domaćin Zimskih olimpijskih igara.
