Conrad a fost cel de-al doilea fiu al împăratului Henric al IV-lea și al soției sale, Berta de Savoia. Fratele său mai mare, Henric, se născuse și murise în august 1071. Ca moștenitor al tatălui său, Conrad a fost numit duce de Lotharingia Inferioară și margraf de Torino în 1076, de la vârsta de doi ani. În același an, l-a însoțit pe tatăl său în drum spre Canossa. Conrad a fost dat spre grijă arhiepiscopului Tedald de Milano și a rămas în Italia. În 1087 Conrad a fost ales rege romano-german, fiind încoronat la 30 mai în Aachen, fapt care l-a consacrat oficial ca moștenitor al tronului ocupat de tatăl său. În 1093 Conrad a fost încoronat și rege al Italiei la Milano de arhiepiscopul Anselm al III-lea. Potrivit istoricului milanez Landulf Iuniore, Conrad a fost încoronat și la Monza, unde era păstrată Coroana de fier a regilor longobarzi.
Sub influența marchizei (margrafei) Matilda de Toscana și a mamei sale vitrege (a doua soție a lui Henric al IV-lea) Eupraxia, care l-a părăsit pe Henric și a fugit la Canossa, Conrad s-a raliat în 1093 taberei papale, acționând astfel împotriva tatălui său.
În 1095 el a fost prezent la Conciliul de la Piacenza și a confirmat acuzațiile Eupraxiei potrivit cărora Henric ar fi fost membru al sectei nicolaiților, ar fi participat la orgii și ar fi oferit-o pe Eupraxia lui Conrad,[3] considerând că acesta era motivul pentru care s-a întors împotriva tatălui său, împăratul. La puțină vreme după acest conciliu, Conrad a jurat credință papei Urban al II-lea la Cremona și a servit ca strator al suveranului pontif, conducând calul papei ca gest simbolic de umilință. În schimb, Urban i-a promis lui Conrad coroana imperială. În același an papa a aranjat căsătoria lui Conrad cu Constanța, fiică a contelui normand din dinastia HautevilleRoger I de Sicilia.
Tatăl său a reacționat în cadrul Dietei de la Mainz din aprilie 1098 prin destituirea lui Conrad și desemnarea fiului său mai mic, Henric, ca succesor. Din acel moment, Conrad putea doar cu mare greutate să influențeze evenimentele politice din Italia. În 1101 Conrad a murit la vârsta de 27 de ani la Florența și a fost înmormântat în Catedrala Santa Reparata pe locul căreia astăzi se află Domul Santa Maria del Fiore.
