라우는 구스타프 하이네만이 설립한 전독일국민당(GVP)의 당원이었다. 이 당은 독일의 재통일을 제한하기 위한 당으로 알려졌으며, 1957년에 해산되었다.
1958년 그와 하이네만이 사회민주당에 입당하자, 라우는 부페르탈 총회에서 활동하였다. 그는 부페르탈 사회민주당의 의장에 이어, 시의회(1964~67)에 선출되고 시장(1969~70)을 지냈다.
1958년에 노르트라인베스트팔렌주 의회의 의원으로 처음 선출되었고, 1967년에 주의회 사민당 의장, 1970년에는 주의회 회장 하인츠 퀸의 내각에서 과학교육상이 되었다. 곧 그는 개혁인으로서 평판을 얻었다. 1970년대에 일어난 대규모 교육 캠페인의 한 부분으로서 노르트라인베스트팔렌 주에 5개의 대학교를 설립하였고, 하겐에 독일의 첫 거리 학문 대학교를 시작하였다.
1977년 라우는 노르트라인베스트팔렌 주의 사민당 의장이 되었고, 1978년부터 1998년까지 주의회 회장을 지냈다.
1987년 라우는 사민당 소속의 총리가 되려고 하였으나, 녹색당과의 연합내각을 이루는 데 거절하여 선거에서 패하고 말았다. 1994년 대통령 선거에 출마하였으나, 로만 헤어초크에게 패하였다.
1998년 사민당 의장과 주의회 회장에서 물러나면서, 1999년 5월 23일 8대 대통령으로 선출되어 2004년 6월 30일까지 재임하였다.
2000년 홀로코스트 이래 독일 국가원수 처음으로 이스라엘 국회에서 연설을 하였다. 이 논쟁적 단계는 어떤 이스라엘 사절단들을 항의 퇴장을 하도록 자극하였다. 하지만, 모셰 카차브 이스라엘 대통령은 두 국가 사이의 공간에 다리를 세운 공헌에 그를 후원하고 칭찬하였다.
말년
대통령 직을 떠난 후, 라우는 그의 가족과 함께 베를린에서 살았다. 2006년 1월 27일 베를린에서 오랫동안 앓아온 심장병으로 사망하였다.