Народився 30 грудня1927 року в місті Сус. Після вивчення медицини у Франції з докторантом пізніше працював пульмонологом в обласній лікарні в Сусі. Пізніше він розпочав свою політичну кар'єру мером рідного міста Сус, якого він також представляв як член парламенту.
З 8 липня 1986 року по 2 жовтня 1987 року він був міністром молоді та спорту в кабінеті Рахіда Сфара.
Після державного перевороту Зін аль-Абідін бен Алі 7 листопада 1987 року, який призвів до повалення президента Хабіба Бургіби, він став міністром юстиції.
27 вересня 1989 р. Каруї був призначений прем'єр-міністром президентом Зіном ель-Абідіном Бен Алі, змінивши при цьому Еді Баккуша.
17 листопада 1999 року Мухаммед Ґаннуші замінив його на посаді прем'єр-міністра. З десятирічним правлінням Каруї був другим по часу перебування на посаді прем'єр-міністром Туніської Республіки.
На даний момент Каруї є першим віце-президентом «Демократичний конституційний вибір» (RCD), до центрального комітету якого він входить з 1988 року.