Родился 21 апреля (1 мая) 1668 в Базеле. Происходил из древнего рода Хубер.
Первые уроки рисования Хубер получил в десятилетнем возрасте в семье. Затем обучался в мастерской базельского живописца-портретиста Johann Caspar Meyer (1645—1705). В 1683 году Иоганн Хубер вошёл в домашнюю академию живописца и гравёра Жозефа Вернера[нем.] в Берне. В 1685 году учился у немецкого мастера Niklaus Dachselhofer (1634—1707). В этом же году он отправился в Венецию. Здесь в 1686 году нашёл работу у выходца из Голландии художника Cavaliere Tempesta (1637—1701), написал много портретов. В 1689 году Хубер поступил в римскую Академию Святого Луки, где стал учеником знаменитого Карло Маратты. После шести лет пребывания в Италии, через Женеву и Лион он приехал в Париж.
Весной 1693 года он вернулся в Базель и вскоре был записан в гильдию Zunft zum Himmel. В следующем году был избран в правление гильдии и одновременно в Большой Совет Базеля. В 1694 году Хубер познакомился с маркграфом Баден-Дурлаха Фридрихом VII и в 1696 году — с герцогом Вюртемберга Эберхардом Людвигом. Получил заказ на портрет невесты герцога — принцессы Иоганны Елизаветы Баден-Дурлахской. В июне 1697 года Иоганн Рудольф отправился в Штутгарт к герцогу, где стал его придворным художником. Также он принимал участие в росписи части помещений его замка в Штутгарте в 1698 году (почти все они были повреждены во время я пожара в 1931 году). В 1699 году Хубер покинул Вюртембергский двор по неизвестным причинам. В Штутгарте он познакомился с немецким поэтом и переводчиком Карлом Дроллингером[нем.], с которым у него сложилась многолетняя дружба.
С осени 1702 года Хубер работал по большей части в Берне, посещая при этом часто Базель. В 1705 году он создал портрет Сюзанны Штюрлер (нем.Susanna Margaretha Stürler, 1668—1740) в образе наяды. Сюзанна и её супруг Иоганн Фришинг (нем.Johann Frisching) были одними из лучших клиентов Хубера в Берне. В это время Иоганн Рудольф Хубер принимал участие и в политических делах, в частности был участником Баденского договора после войны за испанское наследство. Работал в бернской регистратуре, был избран в Малый Совет Базеля, занимая этот пост до своей смерти.