Unrug syntyi Preussin armeijassa palvelleen saksalaistuneen Thaddäus Gustav von Unruhin perheeseen. Puolan itsenäistyttyä Józef Unrug muutti Puolaan, astui vapaaehtoisena Puolan armeijan palvelukseen ja sai pian siirroon tuoreeseen laivastoon. Puutteellisesta kielitaidosta huolimatta hänestä tuli 1925 Puolan merivoimien komentaja.