Inouye wurde 1924 in Honolulu als Sohn japanischer Einwanderer der ersten Generation, Kame Imanaga und Hyōtarō Inouye, geboren. Er wuchs im Bingham Tract auf, einer chinesisch-amerikanischen Enklave im von japanischen Einwanderern dominierten Stadtteil Moiliili. Beim Angriff auf Pearl Harbor war er ein freiwilliger Sanitäter.[3] Als die US Army 1943 das Dienstverbot für japanischstämmige Amerikaner aufhob, unterbrach Inouye seine medizinische Ausbildung und meldete sich bei der Army.[3] Er wurde dem 442nd Infantry Regiment zugeteilt, das aus asiatischen Amerikanern – überwiegend japanischen Nisei – bestand. Sie wurde im Laufe des Zweiten Weltkrieges die am höchsten ausgezeichnete Einheit der Army. Inouye erhielt für seinen Einsatz in Europa den Bronze Star und das Distinguished Service Cross, das später zur Medal of Honor aufgewertet wurde.
Während Inouye sich im Percy Jones Army Hospital von seinen Kriegsverletzungen erholte, traf er Bob Dole, der ebenfalls dort Patient war. Dole erwähnte ihm gegenüber, dass er plane, nach dem Krieg Mitglied des US-Kongresses zu werden. Inouye schaffte dies einige Jahre vor Dole. Obwohl die beiden verschiedenen Parteien angehörten, unterhielten sie eine lebenslange Freundschaft. Zu Ehren der Senatoren Dole, Inouye und Philip Hart, der ebenfalls dort behandelt worden war, wurde das Percy Jones Army Hospital 2003 in Hart-Dole-Inouye Federal Center umbenannt.
Obwohl Inouye im Krieg seinen rechten Arm verloren hatte, blieb er bis 1947 beim Militär; er wurde im Rang eines Captain entlassen. Wegen des amputierten Arms gab er seinen ursprünglichen Plan auf, Chirurg zu werden[3], und kehrte auf Grundlage der GI Bill aufs College zurück. 1950 schloss er sein Studium an der University of Hawaii in Manoa mit einem B.A. in Politikwissenschaften ab. Anschließend erwarb er einen J.D. an der George Washington University Law School, wo er in die Juristenverbindung Phi Delta Phi aufgenommen wurde.
Bald nach seinem Abschluss 1953 war Inouye zunächst Stellvertretender Bezirksstaatsanwalt der Stadt und des Kreises Honolulu. Von 1954 bis 1958 war er Mitglied des Abgeordnetenhauses des Territoriums Hawaii. Als Hawaii 1959 zum Staat erhoben wurde, wurde Inouye am 21. August Hawaiis erster vollberechtigter Abgeordneter im Repräsentantenhaus der Vereinigten Staaten. 1960 wurde er wiedergewählt.
Bei den Senatswahlen 1962 wurde Inouye als Nachfolger des demokratischen Senators Oren E. Long gewählt und danach achtmal, zuletzt 2010, bestätigt. Mit Ausnahme der Wahl von 1992, als die grüne Kandidatin Linda Martin rund 13 Prozent der Stimmen erhielt, wurde er immer mit über 70 Prozent der Stimmen wiedergewählt.
Nach fast 57 Jahren Ehe verstarb Inouyes Frau Maggie am 13. März 2006. Im Mai 2008 heiratete er Irene Hirano, die Direktorin des Japanese American National Museum in Los Angeles.
Inouye starb im Dezember 2012 im Alter von 88 Jahren im Walter Reed National Military Medical Center an Atemwegsproblemen. Zu seinem Nachfolger im Senat bis zu einer Nachwahl im November 2014 ernannte Hawaiis Gouverneur Neil Abercrombie am 26. Dezember 2012 Brian Schatz, der bis dahin stellvertretender Gouverneur des Staates war. Abercrombie entsprach damit nicht dem Wunsch Inouyes, der sich kurz vor seinem Tod in einem Brief an den Gouverneur für Colleen Hanabusa, Abgeordnete im US-Repräsentantenhaus, als seine Nachfolgerin ausgesprochen hatte.[4] Er wurde am 23. Dezember 2012 auf dem National Memorial Cemetery of the Pacific in Honolulu unter Anwesenheit von US-Präsident Barack Obama beigesetzt.[5]
Am 23. Mai 2005 war Inouye Teil der Gang of 14, einer Gruppe gemäßigter Senatoren, die sich im Streit zwischen Republikanern und Demokraten um den Filibuster auf einen Kompromiss einigten: Im Gegenzug für den Verzicht der Republikaner auf die „nukleare Option“, nach der ein Filibuster durch Mehrheitsbeschluss hätte beendet werden können, sollten die Demokraten die drei konservativsten Vorschläge von Präsident George W. Bush für das Appellationsgericht (Janice Rogers Brown, Priscilla Owen und William Pryor) bei der Abstimmung im Senat akzeptieren.
Die drei Richter wurden als Ergebnis der Vereinbarung bestätigt (Owen 53-43, Brown 56-43, Pryor 53-43).