A editora discográfica foi fundada por Rick Rubin no dormitório na Universidade de Nova Iorque[3] e o seu primeiro lançamento foi de um single do seu grupo de punk rock, Hose. Russell Simmons juntou-se a Rubin logo depois e foram apresentados um ao outro por DJ Jazzy Jay. O primeiro single lançado com um logótipo da Def Jam Recordings foi "It's Yours" de T La Rock & Jazzy Jay. Os primeiros lançamentos com número de catálogo da editora foram "I Need a Beat" de LL Cool J, e "Rock Hard" dos Beastie Boys, ambos em 1984. As canções venderam bem, levando a um acordo de distribuição com a CBS Records (que mais tarde se tornaria Sony Music Entertainment) Columbia Records no ano seguinte. O primeiro álbum, lançado pela Def Jam foi Radio, em Novembro de 1985. No ano seguinte, foi criada uma editora subsidiária chamada OBR Records, agregando artistas de R&B, sendo que o primeiro artista que assinou contrato foi Juice "Oran" Jones, que viu o seu single "The Rain", alcançar um estatuto positivo. A editora também assinou com a banda de Thrash Metal,Slayer. À medida que a década se aproximava do fim, foi fechado contracto com o conjunto Public Enemy, cujo conteúdo controverso lírico garantiu à empresa tanta aclamação da crítica e desdém.
Lyor Cohen tornou-se presidente em 1988, depois de vencer uma disputa de poder com Rubin, que viria a deixar a companhia para formar a Def American Recordings (agora conhecida como American Recordings).
Aquisição por parte da PolyGram
No início de 1990, a empresa criou "Rush Associated Labels," uma maior empresa em que Def Jam e os seus diversos rótulos auxiliares funcionam como filiais. Até 1992, apesar de recente libera de venda de multi-platina pela ONYX, LL Cool J, Public Enemy, e EPMD, Def Jam enfrentou graves problemas financeiros e foi confrontado com dobradura. A salvação veio em 1994, no entanto, quando Polygram adquiriu participação de 50% da Sony na Def Jam - posteriormente, adicionando no seu rótulo. Após a aquisição da PolyGram, foi lançado o álbum Regulate... G Funk Era de Warren G, que alcançou a tripla platina e efectivamente revivido no rótulo.[4]
PolyGram adquiriu um adicional de 9,8% da Def Jam Recordings em 1995, fortalecendo ainda mais a propriedade da empresa.[4] Pouco tempo depois, "Rush Associated Labels" foi renomeada "Def Jam Music Group." Permaneceram no preto, até ser lançado o álbum Mr. Smith de LL Cool J no mesmo ano. A editora mais tarde assinou um então adolescente Foxy Brown, cujo álbum de estreia foi Ill Na Na, tornando-se platina em 1997.
Aquisição por parte da Universal Music Group
Em 1998, a PolyGram foi comprada pela Seagrams e fundidas na Universal Music Group. Na sequência da aquisição da Universal Music Group da PolyGram, que adquiriu as acções restantes da Def Jam Recordings de Russell Simmons por 100 milhões de dólares americanos. Simmons passou a concentrar-se mais mais na sua linha de roupas e na Hip-Hop Summit Action Network (HSAN).[5] Universal mesclou a Def Jam com Island Records para formar The Island Def Jam Music Group.
Em 2000, Lyor Cohen anunciou a Def Jam Germany, a primeira empresa internacional da companhia. Isto aumentou a presença da editora internacionalmente. Def Jam Germany assinou com rappers alemães como Spezializtz e Philly MC. A sede foi estabelecida em Berlim, Alemanha e abriu no dia 23 de Maio. Além de assinar contractos e comercializar artistas locais, Def Jam Germany também promoveu artistas americanos no território alemão.
Em 2002, Def Soul foi absorvida pela sua editora-mãe Def Jam. Um ano depois, Murder Inc. tornou-se o centro de uma investigação de lavagem de dinheiro,envolvendo lucros ilegais a partir de tráfico de drogas,[6] levando à eventual libertação da editora a partir do seu contracto de distribuição em 2005. Roc-A-Fella Records foi vendida para a empresa em 2004, altura em que tinha Kanye West tinha iniciado a sua carreira de cantor e produtor musical.
DMX ajudou a empresa em grandes alturas durante 1998 e 1999, vendendo milhões de discos de hip hop e hardcore revividos durante este tempo.
No mesmo ano, Cohen deixou IDJMG para vigorar na Warner Music Group, e foi substituído pelo ex-executivo da Arista, LA Reid.[7] Uma guerra de licitação para a contratação de Jay-Z começou, e Reid nomeou-o presidente da Def Jam.[7]
Sob a liderança de Jay-Z, a editora lançou novos actos de sucesso, cantores de R&B como Rihanna[8] e Ne-Yo.[9] Mesmo assim o contracto não foi renovado, obrigando o rapper a demitir-se no final do ano de 2007, permanecendo como artista da Roc-a-Fella/Def Jam.[10] Após esta demissão, LA Reid assumiu a liderança, em vez de contratar um substituto. Foi anunciado no início de Junho de 2008, que o executivo da Def Jam A&R, Shakir Stewart, tinha-se tornado vice-presidente da Def Jam. A 1 de Novembro de 2008, veio a público a notícia do seu suicídio.[11][12]