Yves Rome s'installe dans l'Oise en 1972. Il exerce comme professeur de lettres-histoire au collège de Froissy jusque 1982.
De 1982 à 1997, il travaille sur des missions d’ingénierie pédagogique en tant que conseiller en formation continue pour adultes au groupement d'établissements publics d'enseignement (GRETA) de Beauvais.
Yves Rome entre au conseil municipal de Bailleul-sur-Thérain en 1977, puis est élu maire de la commune en 1989. Il conserve ce mandat jusqu'en 2004, où il devient premier adjoint au maire. Jusqu’en 2004, il exerce la fonction de vice-président de l’Union des maires de l’Oise. En 1997, Yves Rome fonde la Communauté de communes rurales du Beauvaisis, qu’il a présidée jusque 2014.
Yves Rome est élu député de la première circonscription de l'Oise en 1997 et siège à la commission des affaires culturelles et sociales.
Yves Rome, tête de liste de l’union des forces de gauche « Pour des territoires solidaires », est élu sénateur de l’Oise le . Il siège à la commission Développement durable, infrastructures, équipement, et aménagement du territoire. En , il rejoint la Commission des affaires économiques.
Yves Rome est élu président de l'Association des villes et collectivités pour les communications électroniques et l'audiovisuel (Avicca) entre 2008 et 2015. Il a présidé la Conférence nationale des services d'incendie et de secours (CNSIS) entre 2011 et 2015.