Ta valiti Riigikogu III koosseisu liikmeks ning 1927. aastal sai temast Jaan Tõnissoni juhitud valitsuse välisminister. Seda ametit pidas Rebane 1928. aastani.
Seejärel nimetati ta saadikuks Soome Vabariiki, kus ta rajas tänini Eesti suursaatkonna kasutatava saatkonnahoone. 1936. aastal nimetati ta saadikuks Läti Vabariiki, kus ta töötas kuni saatkonna sulgemiseni Nõukogude Liidu okupatsioonivõimude poolt.
Sarnaselt paljude teiste Eesti diplomaatidega arreteeriti Rebane 1940. aastal, kuid tal õnnestus vange transportinud laevalt Jaen Teär merre hüpata ja kaldale ujuda. 1944. aastal põgenes Rootsi. Ta nimetati ministriks ja välisministri kohuste täitjaks eksiilis August Rei poolt salaja 15. jaanuaril1945, kuid August Rei tühistas nimetamise kui teostamatu 24. juunil1949. Hans Rebane ei ole kunagi olnud eksiilvalitsuse välisminister. Rebane maeti 1961. aastal Stockholmi.