Seine politische Laufbahn begann mit der Mitgliedschaft im Senat von Colorado zwischen 1972 und 1976. Im Jahr 1980 wurde Brown dann ins US-Repräsentantenhaus gewählt, dem er bis 1991 angehörte, ehe er innerhalb des Kongresses in den Senat wechselte. Bei der Wahl im November 1990 setzte er sich mit 55,7 Prozent der Stimmen gegen die Demokratin Josie Heath durch. Nach einer Amtsperiode entschied er sich, 1996 nicht erneut zu kandidieren.
Nachdem Brown zwischen 1998 und 2002 als Präsident der University of Northern Colorado amtiert hatte, wurde er im April 2005 zum kommissarischen Nachfolger von Elizabeth Hoffman als Präsident des University of Colorado System berufen. Das Leitungsgremium entschied sich im Mai 2006, ihn als dauerhaften Präsidenten zu nominieren. Im Januar 2007 kündigte Brown dann bereits wieder seinen Rücktritt von dem Posten an, welchen er letztlich am 10. März 2008 vollzog.