Carlucci arbetade för USA:s utrikesdepartement1956-1969. 1961 deltog han i CIA:s uppdrag i Kongo. Det året mördades politikern Patrice Lumumba och en rollgestalt vid namn Carlucci förekommer i filmen Lumumba från år 2000 i diskussioner mellan kongoleser och amerikaner. Carlucci, som hade en tjänst på USA:s ambassad i Kongo, förnekar att ha varit medveten om vad som pågick i fallet Lumumba och lyckades 2002 med hjälp av ett domslut förhindra omnämnandet vid namn då filmen visades i amerikansk tv. I filmscenen muttrar gestalten Carlucci att USA inte blandar sig i andra länders interna angelägenheter. Carlucci bedyrar att en sådan scen aldrig hände i verkligheten.
I början av 1970-talet gjorde Carlucci ämbetsmannakarriär på flera högre poster. Han var biträdande minister på departementet för hälsa, utbildning och välfärd då Caspar Weinberger var minister i Richard Nixons kabinett. Carlucci var USA:s ambassadör i Portugal1974-1977. Han var biträdande chef för CIA, Deputy Director of the CIA, 1978-1981.