O’Brien studierte an der University of California, Los Angeles, mit dem Bachelor-Abschluss in Politologie 1988 und Jura an der University of California, Berkeley, mit dem J.D. 1991. Im selben Jahr wurde er als Anwalt in Kalifornien zugelassen und war 1991 bis 1996 Associate in der Anwaltsfirma Skadden, Arps, Slate, Meagher & Flom. 1996 bis 1998 arbeitete er in der in Genf angesiedelten Kommission der UN zur Kompensation der Schäden bei der Besetzung Kuwaits durch den Irak. Außerdem war er 1992 bis 2005 als Major im Justizdienst der US Army, unter anderem beim Foreign Military Studies Office in Fort Leavenworth und in der Reserve. Er war 2007 bis 2016 bei der Anwaltsfirma Arent Fox, deren kalifornische Dependance er aufbaute und bei der er Managing Partner war, und war seit 2016 Partner in der Anwaltskanzlei Larson O’Brien in Los Angeles, die er mit dem ehemaligen Richter Stephen G. Larson gründete.[2]
Unter George W. Bush war er 2005/06 einer der Vertreter der USA bei der UN unter anderem in einem Komitee zum internationalen Terrorismus. Außerdem war er ab Dezember 2007 einer der beiden Leiter der US-Berater (Public-Private Partnership for Justice Reform) für eine Justizreform in Afghanistan, was er auch unter der Regierung von Barack Obama bis November 2011 blieb. 2008 bis 2011 war er im Cultural Property Advisory Committee des US-Außenministeriums.
2016 veröffentlichte er das Buch While America Slept: Restoring American Leadership to a World in Crisis, das sich kritisch mit der Sicherheits- und Außenpolitik von Barack Obama auseinandersetzt.
In der Regierung von Donald Trump wurde er im Mai 2018 Sondergesandter für Geiselfragen. Ein Jahr später erhielt er den Rang eines Botschafters. Im August 2019 verhandelte er im Auftrag der US-Regierung beim Fall des Rappers ASAP Rocky in Schweden, der dort in Untersuchungshaft saß. Am 18. September 2019 wurde er National Security Advisor des US-Präsidenten als Nachfolger von John R. Bolton. Seine Amtszeit als Nationaler Sicherheitsberater endete am 20. Januar 2021, dem Tag der Amtseinführung des neuen Präsidenten Joe Biden.