Il fut drafté en 2000 à la 1re place (premier tour) par les Browns de Cleveland, juste avant LaVar Arrington. Sa première saison fut excellente mais sa deuxième fut écourté à la suite d'une blessure. De 2002 à 2004, il ne jouera que 26 matchs à cause de blessures.
Il signa en 2005 aux Broncos de Denver comme remplaçant. Les Broncos jouèrent cette année les playoffs et échouèrent contre les Steelers de Pittsburgh à un match du Super Bowl XL. Le départ de la franchise de Trevor Pryce aurait dû laisser plus de temps de jeu pour Brown. Il signa même le une prolongation de contrat mais une blessure au ligament croisé antérieur d'un genoux pendant la présaison 2006 le cloua une nouvelle fois hors des terrains pour toute la saison.
Brown fut mis à l'écart de l'équipe à cause de ses problèmes physiques. Mike Shanahan, l'entraîneur principal des Broncos, lui demanda même de prendre sa retraite. Après s'être placé en tant qu'agent libre, il a pris sa retraite sportive.
