Родился в еврейской семье, переселившейся в Аргентину с Украины. Когда Хосе было 12 лет, его семья перебралась в Буэнос-Айрес[2]. Футбольную карьеру начал в молодёжной команде клуба «Архентинос Хуниорс», в которой в разные годы играли Диего Марадона и Хуан Рикельме. 12 июля 1970 года дебютировал в основном составе взрослой команды. Затем выступал за колумбийский клуб «Индепендьенте Медельин». Из-за травмы колена завершил карьеру игрока в возрасте 28 лет.
Тренерская карьера
Клубная
Первым клубом, в котором работал Пекерман, был «Чакарита Хуниорс», а затем он 10 лет проработал в родном клубе «Архентинос Хуниорс». После этого работал тренером чилийской команды «Коло-Коло». Во всех трёх клубах он работал с молодёжью. С 1994 по 2001 год был тренером молодёжной сборной Аргентины. В 2003 году работал в испанском клубе «Леганес». В 2007 году возглавил мексиканский клуб «Толука». В том сезоне «Толука» заняла второе место. В мае 2008 года, после того, как команда заняла пятое место в чемпионате Мексики, Пекерман ушёл в отставку.
Тренер сборной Аргентины
Был координатором сборной Аргентины на чемпионате мира 2002 года. После ухода в отставку Марсело Бьелсы назначен главным тренером сборной Аргентины. Под руководством Пекермана сборная Аргентины заняла второе место на Кубке конфедераций 2005, а затем завоевала путёвку на чемпионат мира 2006 года в Германии. В своей группе сборная Аргентины разгромила сборную Сербии со счётом 6:0, а в 1/8 финала победила сборную Мексики со счётом 2:1. В четвертьфинале аргентинцы проиграли хозяевам чемпионата, немцам, по пенальти. После этого был отправлен в отставку.
Тренер сборной Колумбии
В 2012 году возглавил сборную Колумбии. Под его руководством команда впервые за шестнадцать лет квалифицировалась на чемпионат мира, а на самом мундиале добилась лучшего результата в своей истории, выйдя в четвертьфинал. На групповом этапе ЧМ-2014 колумбийцы смогли добиться максимального результата, одержав победы во всех трёх матчах, а в 1/8 финала выбили из турнира сборную Уругвая. Лишь в четвертьфинале подопечных Пекермана остановили хозяева турнира бразильцы. На следующий год в Кубке Америки сборная Колумбии проиграла в четвертьфинале по пенальти сборной Аргентины. На Кубке Америки 2016 колумбийцы сумели завоевать бронзовые медали. На ЧМ-2018 сборная Колумбии вышла из группы с первого места, но в 1/8 финала, попав на сборную Англии, проиграла по пенальти.