칸다하르주의 포팔자이족 출신인 카르자이는 카불에서 공부한 뒤 인도로 유학해 대학을 마쳤다. 포팔자이족은 18세기 중반부터 1973년 자히르 샤 전 국왕이 축출때까지 아프간을 통치한 왕족이 속한 부족으로써 그는 1999년 부친의 피살 이후이 부족의 족장이 됐다.
인도에서 돌아온 뒤인 1980년대에 그는 옛 소련군의 침공에 맞선 무장투쟁에 나섰으며 파키스탄의 페샤와르에서 망명생활을 해야 했다. 소련군이 아프간에서 물러가자 무자헤딘(이슬람 전사)의 지원 아래 수립된 정권에서 1992년 외무차관을 지낸적이 있다.
탈레반 정권 초기에는 탈레반에 대해 호의적인 입장이었고 1996년엔 탈레반 정권으로부터 유엔 주재 대사직을 제의받을 정도로 관계가 좋았다. 하지만 아랍계 이슬람교도들의 득세에 염증을 느낀 그는 이 제의를 거부함으로써 탈레반과 거리를 두기 시작했다. 그러다가 1999년 부친이 탈레반의 소행으로 추정되는 의문의 암살을 당한 뒤부터는 본격적인 반탈레반 활동에 나섰다.
2001년 10월 미국의 아프간 공습이 시작되자 그는 아프간 남부로 들어가 반탈레반 세력 규합 활동을 펼쳤으며 탈레반 정권의 마지막 붕괴에 커다란 역할을 해낸 것으로 평가받았다. 결국 2001년말 아프간에서 탈레반 정권이 붕괴되고 독일 본에서 6개월 임시정부 수립을 위한 정파회의가 열렸다. 본 회의에서 그는 미국의 강력한 지원 아래 수반으로 선출되었다.
그러나 모하마드 카심 파힘 국방장관과 유누스 카누니 내무, 압둘라 압둘라 외무장관 등 북부동맹 세력이 권력핵심을 장악하고 있었던 당시 카르자이는 단지 과도정부 수반이라는 타이틀만 얻었을 뿐이라는 분석이 많았다. 부르하누딘 랍바니 전대통령이 권력복귀를 노리는 가운데 자히르샤 전국왕이 부족대표회의(로야 지르가)에서 국가 수반이 될 것이란 관측도 끊이지 않았다.
그러나 아프간 내 최대 종족인 파슈툰족 출신이라는 것 외에는 별다른 권력기반도 없는 그는 6개월간 임시정부 수반직을 훌륭히 수행해 탁월한 지도자라는 평가받았다. 그는 국제무대를 누비며 수십억달러의 재건 원조를 받아내는 뛰어난 외교적수완을 발휘했고 국내 정치에서도 권력배분을 놓고 치열한 각축을 벌이는 군벌들의 이해관계를 막후에서 조정했다.
결국 2002년 6월 종족대표자 회의에서 카르자이가 압도적인 지지를 받아 또 다시 차기 과도정부 수반으로 재선출됐다. 그리고 2004년 12월에는 과도정부 수반에서 대통령으로 승격되었다.