Паходзіў з магнацкага роду Глябовічаў. Сын Юрыя Глябовіча, ваяводы смаленскага, маці невядомая. З 1516 г. — маршалак каралеўскі. Належаў да прыхільнікаў двара, быў даверанай асобай кар. Боны. У 1522 г. падтрымаў гарантаванне Жыгімонту Аўгусту заняцця вялікакняжацкага стальца. Староста мсціслаўскі і радашковіцкі (узг. 1527). У 1529 г. Я. Ю. Глябовіч у ліку камісараў па ўдакладненні мяжы паміж ВКЛ і Каронай. З 1529 г. — ваявода віцебскі. Вялікі пісар літоўскі (узг. 1530). З 1532 г. — ваявода полацкі.
Паводле Попісу 1528 года, з сваіх і жонкавых маёнткаў выстаўляў 148 коней, а з маёнткаў сваіх «паней» яшчэ 88 коней. Прымаў удзел у вайне з Маскоўскай дзяржавай (1534—1537). Перад пачаткам ваенных дзеянняў, дасылаў з Полацка здабытыя праз шпегаў даведкі пра падзеі ў Маскоўскай дзяржаве. Улетку 1535 Я. Ю. Глябовiч разам з Янам Радзiвілам і Юрыем Алелькавічам, кіраваў адной з трох груповак войска ВКЛ, якая павінна была пад Полацкам падтрымаць дзеянні галоўнай арміі, але прадухіліць страты Себежа не здолела. У лютым 1536 разам з гетманам А. Неміровічам Я. Ю. Глябовіч спрабаваў вярнуць Себеж, але няўдала.
У снежні 1536 на чале пасольства ездзіў у Маскву, куды прыбыў 11 студзеня 1537 г. Пасольству не ўдалося заключыць мір з вяртаннем страчанага ў 1514 Смаленска. Было заключанае перамір'е на 5 гадоў, пры гэтым за ВКЛ заставаўся Гомель, а за Маскоўскай дзяржавай — Себеж і Севершчына. У 1542 зноў з пасольствам у Маскве, перамір'е працягнутае на 7 гадоў. Па вяртанні з Масквы, атрымаў староствы Бабруйскае і Барысаўскае. У тым жа 1542, пасля смерці Альбрэхта Гаштольда, прызначаны ваяводам віленскім. З 1546 — вялікі канцлер літоўскі.
Падтрымліваў каралеву Бону ў яе канфлікце з літоўскімі магнатамі, на Берасцейскім сойме (1544) гэтая яго пазіцыя выклікала галоснае абурэнне, з гэтае прычыны быў у ізаляцыі сярод паноў-рады, хоць і займаў сярод іх вышэйшае палажэнне. У 1540-х паўстала пытанне пра аб'яднанне ВКЛ з Польшчай і вакол яго разгарнулася барацьба груповак, пазіцыя Я. Ю. Глябовіча мяняліся, спачатку ён выступаў за больш цесную сувязь ВКЛ з Каронаю, пазней быў супраць гэтага.
Варагаваў з Радзівіламі. Так, пасля безпатомнай смерці Станіслава Гаштольда, міма ўдавы — Барбары з Радзівілаў — перавёў усю яго маёмасць на скарб, матываючы вымарачным правам гаспадара. Разам з Хадкевічамі і Осцікавічамі ствараў апазіцыю ўзмацненню Радзівілаў. Пасля смерці Я. Ю. Глябовіча гэтая барацьба не мела вынікаў, усе ўрады, у т.л. староства Барысаўскае за ім пераняў Мікалай Радзівіл Чорны, які сваю непрыязь да Я. Ю. Глябовіча перанёс на яго ўдаву.
Быў у трох шлюбах, першы з Ганнай з Барташэвічаў, другі з Соф'яй з Пяткевічаў, трэці з Ганнай Фёдараўнай з Заслаўскіх (з 1537 г., паводле інш. з сяр. 1540-х). За Ганнай з Заслаўскіх як пасаг атрымаў частку Заслаўя і Заслаўскага княства. Меў 10 дзяцей — (1) Ядвігу, (2) Станіслава, Крысціну, Соф'ю, Ганну, Эльжбету, (3) Яна, Эльжбету, Барбару і Дароту.
