Der Vorläufer des heutigen RSV Köln wurde am 1. März 1951 als erste Ergänzungsabteilung des primär in der Leichtathletik aktiven ASV Köln von Egon Paulmann, Peter P. Sures und Joseph H. Fischenich gegründet. Unterstützend wirkte sich auf den Aufbau der ersten Herrenmannschaft zugleich der Kontakt zu britischen Militärmannschaften aus dem Kölner Umland und anderen Rugby-Vereinen aus Belgien aus. 1953 nahm man schließlich erstmals an der Deutschen Rugby-Meisterschaft teil.
Seit 1953 sind ununterbrochen mehrere Mannschaften aus Köln in den Spielbetrieb des Deutschen Rugby-Verbandes integriert. Aktuell existieren mehrere Herrenmannschaften sowie je eine Frauenmannschaft im 15er- und 7er-Rugby, mehrere Jugend- und Kindermannschaften sowie eine Seniorenmannschaft. 2013 wurde zudem Deutschlands zweite schwule Rugby-Mannschaft, die Cologne Crushers, in den Spielbetrieb und die Vereinsstruktur integriert. Mitspielen können bei dieser vor allem breitensportlich orientierten Mannschaft sowohl homo- als auch heterosexuelle Männer.
Die erste Herrenmannschaft stieg in der Saison 2015/16 aus der 1. Rugby-Bundesliga in die 2. Rugby-Bundesliga ab, 2023 glückte jedoch der Wiederaufstieg. Die erste Damenmannschaft spielt ebenfalls in der 1. Rugby-Bundesliga und der Deutschen 7er-Bundesliga. 2005 wurde sie erstmals Deutscher Meister im olympischen 7er-Rugby, 2014 holte sie erneut den Titel. 2008 gelang ihr wiederum der Gewinn der Deutschen Meisterschaft im inoffiziellen 10er-Rugby.
Nach 66 Jahren löste man sich nach intensiven Gesprächen einvernehmlich vom ASV Köln und wird seit dem 1. Januar 2018 im Vereinsregister als eigenständiger Verein geführt. Zum Jahreswechsel 2017/18 wurde durch übertragene Spiellizenzen dem neuen RSV Köln anstelle des ASV Köln die nahtlose Teilnahme am Spielbetrieb des Deutschen Rugby-Verbandes bestätigt.
2019 feierte die Damenmannschaft in der 1. Rugby-Bundesliga im klassischen 15er-Rugby erstmals in der Vereinsgeschichte den Sieg der Deutschen Meisterschaft. Wenige Wochen später holten die Damen mit dem Turniersieg bei der Deutschen Meisterschaft im olympischen 7er-Rugby das Doppel.
