واستمر في هذا طيلة حكم هارون (23 سنة) وبعده في أيام محمد الأمين حيث أصبحت كل الأمور بيده، ولما انهزم محمد الأمين وقتل على يد أخيه غير الشقيق المأمون، أبعد الفضل عن المناصب إلى أن مات في سنة 208 هـ.

ولأنّه كان في عهد هارون حاجبًا، فقد سلمه الإمام موسى بن جعفر الكاظم عليه السلام بعدما قضى نحو سنة مسجونًا في البصرة عند عيسى بن جعفر المنصور، كما مر، فأُخذ بعد ذلك إلى الفضل وبقي عنده مدة من الزمان لم تحددها المصادر التاريخية أو الروايات بالدقة إلى أن رأى هارون رؤيا أدت به إلى إطلاق سراح الإمام عليه السلام من السجن ليبقى في بغداد تحت رقابة الخليفة وأجهزته.

وقد رأى بعض الباحثين[1] أن الفضل «كان من الموالين لآل البيت عليهم السلام ومحبيهم ومن المعتقدين بإمامتهم، وكانت بينه وبين البرامكة خصومة شديدة. صحب الإمام الصادق عليه السلام وروى عنه أيضا. أمره هارون العباسي بحبس الإمام الكاظم عليه السلام في بيته، فبقي عنده مدة من الزمن، ثم أمره بقتل الإمام عليه السلام فأبى وامتنع..»

[1] الشبستري، عبد الحسين: أحسن التراجم لأصحاب الإمام موسى الكاظم ٢/ ١٧