Секст Юлий принадлежал к древнему патрицианскому роду, представители которого возводили свою генеалогию к богине Венере через Энея[1]. Это первый упомянутый в источниках представитель рода Юлиев с когноменомЦезарь[2]. Отец Секста предположительно носил преноменЛуций, но его когномен античные авторы не называют.
У Секста Юлия было по крайней мере двое детей: Луций Юлий Цезарь, претор 183 года до н. э., и Секст Юлий Цезарь, консул 157 года до н. э. Вполне вероятно, что у Секста был ещё один сын, Гай, написавший приблизительно в 143 году до н. э. труд по истории Рима на греческом языке[7]. Этот Гай, вероятно, был прадедом диктатораГая Юлия Цезаря, отец и дед которого носили тот же преномен.