Leur premier single, Marry Me (Lie! Lie!) et leur premier album, Get Lost (Don't Lie!), parurent la même année chez Mute Records, et furent suivis d'une tournée européenne (Pays-Bas, Belgique, Allemagne, Autriche, France, Scandinavie, Angleterre) et une tournée de 35 dates à travers les USA, où la firme SST avait fait paraître l'album. Howard, McGuckin et Lydia Lunch ont également collaboré à l'album Honeymoon In Red de 1982. Paru sur le label de Lydia Lunch en , avec en vedette le bassiste Tracy Pew du groupe The Birthday Party, Mick Harvey et Nick Cave, ainsi que Thurston Moore. Le groupe est resté silencieux jusqu'en , année de parution de King Of Kalifornia et de l'album I'm Never Gonna Die Again et de reprise de leurs tournées à la suite de cet événement.
Le groupe These Immortal Souls fit paraître son premier album Get Lost, (Don't Lie!) en 1987 avec un succès remarquable en Europe et aux USA, ne revenant en Australie que de manière brève en 1988/89. Ils n'ont tourné que deux clips vidéo, et on leur connaît une apparition sur la chaîne ABC, dans une émission de clips vidéo appelée Rage : "Marry Me (Lie! Lie!)" et "King of Kalifornia".
À l'instar de Howard en solo, These Immortal Souls utilisent la promotion de MTV de manière minimale, et font très peu de représentations télévisées ou promotionnelles. En , These Immortal Souls a offert son interprétation de la chanson de Tom WaitsYou Can't Unring a Bell dans un album en hommage : Step Right Up.
Harry et Genevieve ont suivi Rowland, retournant en Australie en , et ils assurèrent quelques concerts dont le batteur fut le seul membre changeant sur scène, Epic Soundtracks étant décédé peu avant. Ils terminèrent la tournée au Greyhound Hotel de St. Kilda (en Australie), le , et c'est Lydia Lunch qui fit le premier acte.
