1996 valdes Johnson till USA:s senat genom att besegra en sittande republikansk senator, Larry Pressler. 2002, ett år då republikanerna seglade i stark medvind, vann han ett knappt omval med endast 524 rösters marginal mot republikanen John Thune. I senaten tillhörde han den mer moderata falangen, vilket reflekterar att han representerade en i huvudsak agrar och konservativdelstat.
Johnson, en politiker med relativt låg nationell profil, hamnade i medias blickfång i december 2006 då han drabbades av en hjärnblödning. Hans sjukdom reste frågan om majoritetsförhållandet i senaten då mellanårsvalen i november hade givit demokraterna en mycket knapp majoritet i senaten (51–49). Johnson tillfrisknade dock gradvis och återupptog sin aktivitet i senaten.
Johnson var gift och hade två barn. Han var lutheran.
