Kształcił się w seminarium watykańskim, a także Almo Collegio Capranica. Na Uniwersytecie Gregoriańskim uzyskał doktorat z filozofii i licencjat z teologii. 6 czerwca1868 przyjął święcenia kapłańskie, po czym rozpoczął pracę jako sekretarz w nuncjaturach w Portugalii (1868–1872) i Belgii (1872-1880). Był następnie chargé d'affaires a od 1887 audytorem. Po przejęciu władzy w Belgii przez liberalny gabinet stosunki dyplomatyczne z Watykanem zostały zerwane, a nuncjusz Serafino Vannutelli musiał opuścić kraj. Rinaldini powrócił tam wtedy jako "prywatny agent". W latach 1887–1893 był internuncjuszem w Holandii, a od 1891 także w Luksemburgu. W 1893 został substytutem w Sekretariacie Stanu.