Народився біля Ґнєзно, у родині шахтаря Казімєжа Ґлемпа — учасника Великопольського повстання (1918—1919). Під час Другої світової війни був вивезений на примусові роботи в нацистську Німеччину. Лише по закінченні війни зміг одержати середню освіту.
22 травня 1950 — поступив у Ґнезненську семінарію. 25 травня 1956 — у Ґнезненському кафедральному соборі був висвячений у священики. 1956—1958 — пастирське служіння в Познані.
1958 — продовжив навчання у Римі, де закінчив Папський Латеранський університет, одержавши в 1964 році ступінь доктора канонічного права. Після практики отримав звання адвоката Трибуналу Римської Роти (найвищий церковний апеляційний суд). Тоді ж вивчав латинську мову й церковну адміністрацію в Папському Григоріанському університеті.
1964 — повернувся до Ґнєзна, де працює секретарем місцевої семінарії й нотаріусом єпархіяльної курії й трибуналу.
З 1967 — у секретаріаті примаса Польщі кардинала Стефана Вишинського у Варшаві. Протягом майже 15 років був одним з найближчих соратників глави Польської Католицької Церкви як особистий духівник і глава секретаріату, супроводжуючи його в поїздках Польщею й за її межі. Брав участь у роботі різних комісій польського єпископату й викладав канонічне право в Академії католицького богослов'я у Варшаві.
1972 — був призначений капеланом Його Святості, а в березні 1976 — каноніком архієпископської кафедри в Гнезні.
Єпископ
4 березня 1979 року Папа римський Іван Павло ІІ призначив Глемпа єпископом Вармінським. 7 липня 1981 року після смерті кардинала Вишинського Юзеф Глемп був призначений його спадкоємцем на постах архієпископа Гнезненського і Варшавського, примаса Польщі. З 18 вересня 1981 року також став ординарієм вірних східного обряду, що живуть у Польщі, цю посаду обіймав до 9 червня 2007 року. В 1981—2004 роках був головою Єпископської конференції Польщі.
25 березня 1992 року в результаті реформи дієцезій, папа Іван Павло ІІ розділив гнезненську і варшавську митрополії. Глемп був призначений архієпископом Варшавським, а кафедру в Гнезно зайняв Генрик Мушинський. Глемп як опікун мощей Святого Адальберта як і раніше залишився примасом Польщі, оскільки цей титул пов'язаний з історичною спадщиною одного з найшанованіших у Польщі святих.
Кардинал
Зведений у сан кардинала папою Іваном Павлом ІІ на консисторії 2 лютого 1983. Кардинал-священик з титулом церквиСанта Марія ін Трастевере (італ. Santa Maria in Trastevere), однієї з найстарших римських церков. Брав участь у конклаві 2005 року, на якому папою римським був обраний Бенедикт XVI.
6 грудня 2006 року Папа римський прийняв відставку кардинала Глемпа з посади архієпископа-митрополита Варшавського, зберігаючи однак титул примаса Польщі. Спадкоємцем на посту архієпископа став Станіслав Войцех Вельгус. Після недовгого архієпископства Вельгуса і його відмови від Варшавської кафедри, 6 січня 2007 року Ґлемп знову став архієпископом Варшавським до 1 квітня 2007 року. 9 грудня 2008 року разом з кардиналами Ечегараєм і Каспером представляв делегацію Святого Престолу на похоронах патріарха московського Алєксія ІІ.
18 грудня 2009 йому виповнилося 80 років і таким чином він втратив право обирати Папу в конклаві. Того ж дня, відповідно до рішення Папи Бенедикта XVI, завершив 28-річне служіння як примас Польщі. Його наступником став архієпископ Генрик Мушинський — нинішній архієпископ Ґнєзна. З цього моменту титул примаса Польщі повернувся до єпископа Ґнєзна, з яким історично був пов'язаний. Кардинал Ґлемп має пожиттєвий титул почесного примаса.