Allerdings gab es bei den Olympischen Sommerspielen 1900 in Paris keine rumänische Mannschaft, sondern mit Gheorghe Plagino nur einen einzigen Teilnehmer, der in Paris lebte. An den nachfolgenden Spielen nahm Rumänien nicht teil. 1914 wurde dann das Nationale Olympische Komitee (NOK), das Comitetul Olimpic Român, gegründet. Wegen des Ersten Weltkriegs fielen die Olympischen Spiele 1916 aus, und auch an den ersten Spielen nach dem Krieg 1920 in Antwerpen nahm Rumänien noch nicht teil.
Die erste Teilnahme Rumäniens unter der Hoheit des NOKs war dann bei den Olympischen Sommerspielen 1924 in Paris. 1928 in St. Moritz war die erste Teilnahme an Winterspielen, damals mit zwei Bob-Mannschaften. Seitdem hat Rumänien an allen Spielen teilgenommen, mit Ausnahme der Sommerspiele von 1932 und 1948 und der Winterspiele von 1960. Auch an den Olympischen Sommerspielen 1984 in Los Angeles nahm Rumänien trotz des Boykotts der meisten kommunistischen Staaten Osteuropas und der Sowjetunion teil.
Die erste olympische Medaille gewann 1924 die Rugby-Mannschaft, die in Paris Dritte wurden. Vier Jahre später nahmen in Amsterdam zum ersten Mal Frauen teil. Die erste und bis heute einzige Medaille bei Winterspielen, gewann der rumänische Zweierbob mit Bronze 1968 in Grenoble. Der Kanute Aurel Vernescu im Sommer und die Biathletin Éva Tófalvi im Winter waren je dreimal Fahnenträger bei der Eröffnungsfeier.
Die erfolgreichste Olympiateilnehmerin ist die Turnerin Nadia Comăneci. Sie erhielt auch als erste Turnerin der Geschichte bei den Olympischen Spielen 1976 die perfekte Note 10,0.
