In den USA hatte die von King Mitte der 1960er Jahre mitbegründete Band Strawberry Alarm Clock bereits 1967 kommerziellen Erfolg mit dem von ihm mitgeschriebenen Song Incense and Peppermints, für den er ursprünglich nicht als Mitautor angegeben wurde. Bei einigen gemeinsamen Auftritten von Strawberry Alarm Clock und Lynyrd Skynyrd lernte King im Februar 1970 die Band kennen, zu der er aber erst 1972 wechselte.[1] Nachdem er zu Anfang nur den ausgestiegenen Bassisten Leon Wilkeson ersetzen sollte, kehrte King nach dessen Rückkehr an die Gitarre zurück, und so entstand das für Lynyrd Skynyrd typische Line-Up mit drei Gitarristen. Um neben den beiden anderen Gitarren aus dem Bandsound noch gehört zu werden, wechselte er zu einer Fender Stratocaster. Er spielte diesen Gitarrentyp bis zuletzt und so gut wie ausschließlich.
King schrieb zusammen mit Sänger Ronnie Van Zant einige bekannte Songs der Band, darunter das unter Mitwirkung von Gary Rossington entstandene Lied Sweet Home Alabama, das auf dem zweiten Album Second Helping erschienen ist. Er nahm außerdem noch am Debütalbum (Pronounced ’Lĕh-’nérd ’Skin-’nérd) und dem dritten Studioalbum der Band Nuthin’ Fancy teil. Alle drei Alben erreichten in den USA 1974 bzw. 1975 Goldstatus. Auf dem Debütalbum spielt King außer beim Song Mississippi Kid nur Bass, bei den anderen beiden Alben fast ausschließlich Gitarre. Im Juni 1975 entschied sich King aufgrund von zunehmenden Drogen-, Alkohol- und personellen Problemen in der Gruppe dafür, die Band zu verlassen. King machte für die negativen Veränderungen in der Band vor allem die Neuverpflichtung von Peter Rudge als Manager, der dies auch bei der britischen Rockband The Who war, verantwortlich. Unabhängig davon entkam er so dem Flugzeugabsturz am 20. Oktober 1977, bei dem zwei Bandmitglieder den Tod fanden.
Bei der Wiedervereinigung Lynyrd Skynyrds im Jahre 1987 war King erneut dabei, musste aber aufgrund von Herzproblemen 1996 wieder pausieren. Kings Wunsch nach einem Wiedereinstieg in die Band nach seiner Genesung wurde von der Gruppe nicht entsprochen, obwohl es nach Kings Angaben eine solche Vereinbarung gegeben haben soll. Es kam zu einem Rechtsstreit.[2] 2006 wurde King zusammen mit allen anderen Bandmitgliedern aus der Zeit vor dem Flugzeugabsturz in die Rock and Roll Hall of Fame aufgenommen.
Im Frühjahr 2012 wurde bei ihm eine Herztransplantation durchgeführt.[3] King lebte mit seiner Frau in Nashville, wo er im August 2018 im Alter von 68 Jahren starb.[4]