O zagueiroSchiavi começou a carreira profissional no pequeno Club Atlético Argentino, da cidade de Rosario, em 1993. Em 1995, foi contratado pelo Argentinos Juniors, onde permaneceu até o final do Torneo Clausura de 2001.
Boca Juniors
Para o Torneo Apertura de 2001, sua contratação foi indicada ao Boca Juniors, da Argentina, pelo então treinador Carlos Bianchi, que estava preocupado com a reposição à saída do zagueiro colombiano Jorge Bermúdez, principal líder defensivo da equipe que havia conquistado, no ano 2000, a Taça Libertadores da América e o Mundial Interclubes e que acabara de conquistar a Taça Libertadores da América de 2001. Foi titular imediato do time e virou ídolo por ter conquistado vários títulos importantes pelo clube. Durante sua passagem pelo Boca Juniors, o ano de 2003 foi o mais marcante, pois o time argentino conquistou pela quinta vez em sua história o título da Taça Libertadores da América, em final contra o Santos FC. Em dezembro, na decisão do Mundial Interclubes, contra o então campeão da UEFA Champions League, o Milan, da Itália, após empate em 1 a 1 no tempo normal e na prorrogação, o zagueiro marcou um gol na decisão por pênaltis, vencida pelo Boca Juniors por 3 a 1 e que marcou a terceira conquista mundial do clube argentino.
Hercules
Depois de fazer história nos Xeneizes, Schiavi foi atuar no futebol espanhol, mais precisamente no pequeno Hércules CF, de Alicante, onde jogou durante o ano de 2006 na Segunda Divisão espanhola. Não teve muito sucesso durante sua passagem pela Espanha, mas a torcida de seu time nutria imensa simpatia por ele, tanto que, no seu último jogo pelo Hércules CF, muitos torcedores mostravam placas revelando a saudade.
Gremio
Em janeiro de 2007, o zagueiro argentino foi contratado pelo Grêmio Foot Ball Porto Alegrense, do Brasil, para a disputa da Taça Libertadores da América. Em Porto Alegre, era muito querido pela torcida gremista e, embora tenha começado a temporada como titular, acabou perdendo a vaga na equipe para o zagueiro Teco. Durante sua passagem pelo time gaúcho, Schiavi conquistou o título do Campeonato Gaúcho e foi vice da Taça Libertadores, perdendo exatamente para o seu clube do coração, o Boca Juniors. No jogo final, em Porto Alegre, substituiu o lesionado zagueiro Teco e, no final do jogo, cometeu um pênalti que o centroavante Martin Palermo desperdiçou. Quatro dias após a decisão, Schiavi foi o principal jogador em campo, com uma atuação impecável, na vitória do Grêmio por 2 a 0, no clássico contra o Internacional, no jogo disputado no Estádio Beira-Rio. Sua melhor fase no clube ocorreu após a final da Libertadores, quando participou de uma sequência de 8 jogos sem derrota no Campeonato Brasileiro de 2007.
Newell's Old Boys
Em meados de agosto de 2007, Schiavi voltou ao futebol argentino para jogar no Newell's Old Boys.
Estudiantes
No ano de 2009, foi contratado pelo Estudiantes para a disputa das fases semifinal (contra o Nacional, do Uruguai) e final (contra o Cruzeiro, do Brasil) da Taça Libertadores. E Schiavi teve atuações decisivas, formando a dupla de zaga com Leandro Desábato, chegando à sua quinta final e conquistando seu terceiro título. Bastante admirado pelo então técnico da Seleção Argentina, Diego Maradona, foi convocado para o último jogo das Eliminatórias, contra o Uruguai, em Montevidéu. Schiavi foi titular do time e um dos destaques do time na vitória por 1 a 0 que valeu a classificação da Seleção Argentina para a Copa do Mundo de 2010.
Apesar do desempenho regular na Libertadores de 2012, Schiavi ficou marcado por ter falhado na final contra o Corinthians num passe simples que facilitou a arrancada de Emerson Sheik para fazer o 2º gol.