Nogi was de zoon van een samoerai van de Chofu-clan.
In november 1869 nam hij dienst bij de Fushimi Goshin Heisha. Na zijn opleiding ging hij als instructeur naar Kawatō-kazerne te Kioto en daarna naar Toyōra als instructeur van de kustverdediging.
Op 27 augustus 1876 huwde Nogi met de twintigjarige Shizuko, de vierde dochter van samoerai Yuji Sadano van de Satsumaclan.
Op 28 augustus 1877 werd hun eerste zoon Katsunori geboren en kocht Nogi een huis in Nizakamachi (Tokio).
In 1887 reisde Nogi met Kawakami Soroku naar Duitsland om westerse strategie en tactiek te bestuderen.
In 1878 werd hij kolonel. In 1879 werd hun tweede zoon, Yasunori, geboren.
Nogi werd gouverneur-generaal van Taiwan van 14 oktober 1896 tot februari 1898. Hij verhuisde met heel zijn familie. Zijn moeder kreeg er malaria en stierf.
Russisch-Japanse Oorlog
In 1904 bij uitbraak van de Russisch-Japanse Oorlog kreeg Nogi als generaal het bevel over het Japanse Derde Leger van 90.000 man. Hij moest de Russische marinehaven Port Arthur innemen in het zuiden van het schiereiland Liaodong van Mantsjoerije. Nogi landde kort na de slag bij Nanshan, waarin zijn oudste zoon sneuvelde op 27 mei 1904 tijdens een operatie na een buikwond. Ook Nogi's jongste zoon sneuvelde op 30 november 1904 nadat hij met zijn hoofd op een rots viel bij de verovering van de strategische heuvel 203.
Een snelle verovering van Port Arthur bleek onmogelijk en Nogi begon een belegering van Port Arthur van 1 augustus 1904 tot 2 januari 1905.
Na de oorlog bracht Nogi verslag uit bij Keizer Meiji in een Gozen Kaigi.
Hij weende en verontschuldigde zich voor de 56.000 dode soldaten en verzocht om seppuku te mogen plegen. Keizer Meiji antwoordde dat alle verantwoordelijkheid bij de keizerlijke bevelen lag en dat Nogi moest blijven leven totdat de keizer zou sterven.
Kort na de dood van keizer Meiji pleegden Nogi en zijn vrouw seppuku.
In zijn afscheidsbrief schreef hij dat hij de oneer te Kyūshū wilde uitwissen en zich verontschuldigde voor de duizenden doden te Port Arthur. Hij schonk zijn lichaam aan de wetenschap.
Alles binnen tien li stinkt naar bloed op het slagveld.
Mijn dapper paard staat stil, soldaten zwijgen.
Ik sta buiten Jinzhou in de ondergaande zon.
Na de slag om de 203 meter heuvel van 1904-05, waarin zijn tweede zoon sneuvelde, klaagde hij:
爾靈山
Berg van zielen
爾靈山嶮豈難攀
男子功名期克艱
鐵血覆山山形改
萬人齊仰爾靈山
Was het zwaar om de heuvel van 203 meter te beklimmen?
Was het moeilijk voor mannen om eer te behalen?
De heuvel ziet er anders uit, gehuld in ijzer en bloed.
Wij kijken met ontzag op naar de berg van zielen.