Narodil se 4. března 1915 v Kunovicích. Otec Jan (1879–1931) byl pomocný dělník, matka Kateřina (1876–1944), rozená Komínková, byla v domácnosti. Měl tři starší sourozence; dva bratry a sestru. Absolvoval obecnou a měšťanskou školu. Vyučil se číšníkem ve Zlíně a později také pracoval jako číšník.
Vojenská služba
Dne 1. října 1937 nastoupil základní vojenskou službu u hraničářského praporu v Trebišově. O rok později byl povýšen do hodnosti svobodníka. Po okupaci Čech a MoravynacistickýmNěmeckem byl k 1. dubnu 1939 propuštěn na trvalou dovolenou. 8. května 1939 se přihlásil na práci do Německa a dostal se do Kielu. V roce 1940 při dovolené v protektorátu se se dvěma kamarády pokusil o útěk.
V exilu
Přes Slovensko se dostali do Maďarska, kde byli ale zadrženi a vráceni zpět. Druhý pokus byl již úspěšný a přes Jugoslávii, Řecko, Turecko a Bejrút se dostali do Francie. 4. června 1940 byl zařazen k 1. pěšímu pluku, v jehož řadách se účastnil bojů o Francii. Po pádu Francie byl 13. července 1940 spolu s dalšími evakuován do Anglie. Tam byl zařazen k 1. pěšímu praporu. 28. října 1940 byl povýšen na četaře a krátce nato vybrán pro plnění zvláštních úkolů.
Společně s Bohuslavem Koubou a Josefem Bublíkem byli vysazeni 28. dubna1942 u hospodářského dvora Požáry na Křivoklátsku. Nejprve se společně s Bublíkem pohybovali na Uherskohradišťsku, ale protože se jim nepodařilo navázat kontakt s odbojem, přesunuli se do Prahy, kde se podřídili velení Adolfa Opálky a za pomoci odbojářů se ukrývali v konspiračních bytech. Po atentátu na zastupujícího říšského protektora Heydricha se společně s dalšími výsadkáři ukrýval v kryptě pravoslavného kostela Cyrila a Metoděje v Resslově ulici, kde po boji v obklíčení jednotkami okupační moci18. června 1942 spáchal sebevraždu.
Po válce
1. prosince1945 byl in memoriam jmenován podporučíkem pěchoty a zároveň povýšen do hodnosti poručíka pěchoty. 17. června1948 byl povýšen do hodnosti nadporučíka pěchoty a 30. června2002 do hodnosti podplukovníka pěchoty in memoriam. V Kunovicích a Praze-Kobylisích jsou po něm pojmenovány ulice, na rodném domě je umístěna pamětní deska.
Jeho tělo bylo po identifikaci a pitvě pohřbeno v hromadném hrobě na hřbitově v Ďáblicích. Rodina Jana Hrubého nebyla perzekvována. Jan Hrubý byl hodnocen v armádě jako naprosto spolehlivý, samostatný a vzor pro mužstvo.
Část pozůstalosti po Janu Hrubém a dalších parašutistech je vystavena v Armádním muzeu na Žižkově.
K 1. září 2015 daroval městu Kunovice akademický malíř Pavel Vavrys pietní dílo – památník připomínající parašutistu Jana Hrubého. Památník je tvořen kruhovým obrazem (terčem o průměru 84 cm) a podkladovou deskou, pevně osazenou do stěny v tamní základní škole, kterou Jan Hrubý v mládí navštěvoval. Dílo je součástí Vavrysova obrazového cyklu „Česká paměť“.[1]