Rom werd op zestienjarige leeftijd soldaat in het Belgische leger. In 1886, op vijfentwintigjarige leeftijd, vertrok hij naar de Onafhankelijke Congostaat om daar deel te nemen aan de Force Publique. Hij werd districtscommissaris van het district Matadi en werd later bevorderd tot commandant van de Force Publique.
Rom was berucht wegens zijn hardhandige optreden. Voor zijn kantoor in Stanley Falls stond permanent een galg opgesteld, en er werd verteld over zijn bloemperken die menselijke schedels als omlijning hadden. De Britse schrijver Joseph Conrad heeft Rom tijdens zijn reis naar de Congo in 1890 naar alle waarschijnlijkheid ontmoet, en zou hem als bron hebben gebruikt voor het personage van kolonel Kurtz. Adam Hochschild noemt echter nog drie anderen die mogelijk model hebben gestaan voor Kurz, onder wie Willem Frans Van Kerckhoven.[3]
