Il collegio fu fondato nel 1509 dall'avvocato Sir Richard Sutton e dal vescovo di LincolnWilliam Smyth. Costui elargì la donazione necessaria per la fondazione del collegio mentre Sutton si occupò dell'acquisto della proprietà. Il palazzo del Collegio venne edificato nella costruzione della Brasenose Hall (una delle istituzioni medievali di Oxford). Ancora oggi è vivo per tradizione lo stretto legame con il Vescovato di Lincoln.
Il nome Brasenose si suppone sia originato dai termini brazen e nose in inglese rispettivamente ottone e naso) che si riferiscono ad un battente in bronzo in foggia di naso presente originariamente sul portale d'ingresso.
Il battente in bronzo a forma di naso che ha dato il nome a questa istituzione.
La tradizione vuole che nel 1330 un gruppo di studenti che lasciarono Oxford per l'università di Stamford nel Lincolnshire abbiano sottratto il battente dal portale e lo abbiano portato via con sé.