حكى عنه المرتضى أن أباه كان من أصحاب السلطان خلف له ثروة من ضياع ومال فتجرد عنها، كما حُكي أنه كان يحضر مجلس الواثق للمناظرة، فحضر مرة وحضر وقت الصلاة فقاموا لها، وتقدم الواثق وصلى بهم، وتنحى جعفر فنزع خفّيه وصلّى وحده (أي أنه لا يرى الخليفة الواثق أهلاً للإمامة حتى يصلي وراءه)، فقال له أحمد بن أبي دؤاد: إن هذا (يشير إلى الواثق) لا يحتملك على هذا الفعل، فإن عزمت عليه فلا تحضر مجلسه، فقال جعفر: ما أريد الحضور لولا انك حملتني عليه.
