Po etapie grywania w Anglii z różnymi muzykami bluesowymi, rockowymi i jazzowymi (płyta Extrapolation nagrana z Johnem Surmanem), w roku 1969 przeniósł się do Stanów Zjednoczonych, gdzie dołączył do grupy LifetimeTony’ego Williamsa.
W roku 1971 stworzył grupę The Mahavishnu Orchestra, obejmującą m.in. skrzypka Jerry’ego Goodmana, klawiszowca Jana Hammera, basistę Ricka Lairda i perkusistę Billy’ego Cobhama. Grupa zasłynęła przede wszystkim z wirtuozerii i monumentalnych form, takich jak utwór „Meeting of the Spirits” czy nagrane z udziałem orkiestry symfonicznej „Birds of Fire”. Jego znakiem rozpoznawczym w tamtych latach stała się dwugryfowa gitara oraz już niepowtarzalnie na gitarach szybko-groovowy sposób grania.
Po nagraniu 2 studyjnych płyt (w roku 1999 została odnaleziona i wydana również trzecia) oraz zagraniu setek koncertów, z których jeden został oficjalnie wydany (reszta do dziś istnieje w fanowskim obiegu jako bootlegi), McLaughlin w roku 1973 rozwiązał zespół.
McLaughlin znajdował się pod wpływem hinduskiego guru Śri Chinmoya (stąd pochodzi jego drugie imię – Mahavishnu). Został poznany z jego innym uczniem – Devadipem Carlosem Santaną. Już w roku 1972 wspólnie nagrali płytę będącą z jednej strony hołdem dla wielkiego saksofonisty – Johna Coltrane'a i jego mistycznej płyty A Love Supreme, a z drugiej wielkim pokazem wirtuozerii obu muzyków. W kolejnym roku McLaughlin współpracował z Santaną przy jego płycie Welcome. W drugiej połowie tego roku wyruszyli na wspólną trasę koncertową, z której bootlegowe nagrania przeszły do historii.
Po tej krótkiej przerwie od prowadzenia własnego zespołu McLaughlin sformował ponownie Mahavishnu Orchestrę. W jej składzie znaleźli się: skrzypek Jean-Luc Ponty (już wcześniej uznany w środowisku jazzowej i rockowej awangardy za solowe płyty oraz współpracę z Frankiem Zappą i George’em Duke'em), młody perkusista Narada Michael Walden, operowa śpiewaczka i pianistka Gayle Moran i basista Ralphe Armstrong. Wspólnie nagrali 2 kolejne płyty studyjne i McLaughlin ponownie zmienił skład. W roku 1975 pojawiła się ostatnia płyta (już bez skrzypiec) MO ze Stu Goldbergiem na klawiszach. Po tym niezwykle intensywnym okresie elektrycznym McLaughlin zmienił trochę koncepcję muzyki.
W roku 1975 zawiązał razem z kilkoma hinduskimi muzykami akustyczną grupę Shakti. Poprosił wtedy o skonstruowanie specjalnej gitary (specjalne wyżłobienia nadawały jej bardziej hinduskie brzmienie, a przymocowane na pudle dodatkowe 7 strun – szersze tło brzmieniowe). W składzie znaleźli się przede wszystkim skrzypek L. Shankar i tablistaZakir Hussain. Wspólnie grali przez 3 lata. Potem McLaughlin ponownie wrócił do muzyki elektrycznej choć już w znacznie innej formie niż przedtem i z wyraźnym wpływem muzyki hinduskiej.
Po krótkim okresie elektrycznym, wraz z zespołem One Truth Band ponownie wrócił na szczyty kariery dzięki akustycznemu triu gitarowemu. Guitar Trio zostało sformowane z wirtuozem flamencoPaco De Lucią oraz jazzrockowym gitarzystą Larrym Coryellem. Nie zdążyli jednak nagrać płyty (wydane zostało tylko DVD z roku 1979 z koncertu w Anglii zatytułowane Meeting of the Spirits) ze względu na problemy z narkotykami Larry’ego. Chętna do wydania płyty z koncertu wytwórnia poleciła poszukać kogoś mniej kontrowersyjnego i wybór padł na innego jazzrockowego gitarzystę Ala Di Meolę (współgrajcy w legendarnym Return to Forever i wielokrotnie nagradzanego za autorskie albumy). Wspólnie udali się na światowe tournée i wydali płytę Friday Night in San Francisco w roku 1981. Rok później pojawił się również album studyjny Passion, Grace & Fire. Formacja koncertowała do 1983 r.
W późniejszym czasie McLaughlin podejmował się współpracy z wieloma innymi muzykami, nieraz tymi, z którymi grał w przeszłości. Do ważniejszych wydarzeń należy reaktywacja Guitar Trio w roku 1996, powtórzenie hinduskich klimatów wraz z Remember Shakti w latach 1997-2004 czy współuczestniczenie w koncercie SantanyHymns for Peace.
Ostatnio wydanymi płytami są utrzymane w klimatach współczesnego jazzrocka z elementami muzyki etnicznej płyty Industrial Zen i Floating Point oraz firmowana przez Chicka Coreę i Johna McLaughlina jazzrockowa podwójna płyta koncertowa Five Peace Band.