De 1597 à 1765, après un siècle d'existence difficile, les notables de Besançon décident de confier leur collège à la compagnie de Jésus, les jésuites. Le , ils cèdent le collège aux jésuites qui vont en assurer la direction jusqu'à la suppression de leur ordre en 1765.
Sous la Révolution française (1789-1799), le collège devient un lieu de réunion publique, et la Société des amis de la constitution, club affilié à celui des Jacobins, s'installe dans la chapelle du collège.
Au XIXe siècle, le collège change de nom avec les mutations politiques françaises : il devient le collège royal sous la Restauration et la Monarchie de Juillet (1815-1848). Louis Pasteur (inventeur du vaccin contre la rage) est élève de terminale dans l'établissement comme maître d'études jusqu'en 1842.
Sous le Second Empire (1852-1870), le collège redevient lycée impérial et accueille 500 élèves. Stéphane Mallarmé (un poète du XIXe siècle) y enseigne de 1866 à 1867. En 1865, l'établissement s'agrandit : la maison des Capucins et l'hôtel particulier de Grosbois sont rachetés.
Redevenu lycée de Besançon pendant la guerre de 1870, le collège sert d'hôpital. Durant cette guerre, de nombreux professeurs et élèves meurent. Un monument aux morts leur est consacré dans le hall d'entrée.
En 1885, le lycée prend le nom de Victor Hugo. Il est inauguré par le président de la République Jules Grévy.
Pendant la Seconde Guerre mondiale, le lycée connaît durant six ans, l'occupation de ses locaux (hôpital militaire en 1939, occupation allemande en , troupes françaises et américaines à la Libération).
De 1939 à 1945, 74 élèves et membres du personnel y demeurent. Dans les années 1960, sous la conduite de l'architecte Maximilien Painchaux, le dernier corps de bâtiment est construit rue Girod de Chantrans.
En 1980, l'établissement perd son second cycle ; il est désormais un collège mixte : le collège du Centre ; en 1986, il change de nom et devient le collège Victor-Hugo.
Monuments, architecture et ornements
Il y a trois cours, dont une grande cour qui mesure environ 500 m2, une plus petite, la cour d'honneur, et enfin, la cour Saint François-Xavier, accolée à l'église du même nom.
Le monument est un chef-d'œuvre de ferronnerie, certaines barrières et grilles sont d'époque, notamment une des grilles du grand escalier, qui comporte le sigle "AM" (Ave Maria).
Une fontaine fait partie du patrimoine ornemental, elle est située dans la cour d'honneur.
Plusieurs plaques commémoratives des élèves morts pour la patrie durant les guerres mondiales et durant d'autres guerres.
.svg){kind=small}
