Nel 1987 fu eletto al consiglio comunale di Rosario, carica che tornò ad occupare nel 2002, servendo come Presidente del consiglio stesso nel 1991 e tra il 2004 e il 2005.
Nel 2013 nel governo di Cristina Fernández de Kirchner, moglie di Néstor, Rossi fu nominato Ministro della difesa. Durante il suo mandato furono acquistate e immesse in servizio quattro navi da guerra di origini russe ribattezzate: ARA Estrecho de San Carlos, ARA Puerto Argentino, ARA Islas Malvinas e ARA Bahía Agradable.[1] A partire dal 2013 incrementò inoltre l'organico delle forze armate nel nord del paese e l'ampliamento del controllo aereo anche grazie ad un contratto siglato con l'impresa INVAP.[2]
Dal 2015 al 2017 è stato deputato al Parlamento del Mercosur. Fu rieletto deputato alla Camera per la provincia di Santa Fe nelle elezioni parlamentari del 2017.
Il 10 dicembre 2019 il neoeletto presidente Alberto Fernández lo ha nominato ministro della difesa.
Il 15 febbraio 2023, in seguito ad un rimpasto di governo, è stato nominato capo di gabinetto al posto di Juan Manzur.
