عليه بالتوقّف عن ذلك و الاستعفاء منه، فكتب عيسى بن جعفر إلى الرشيد يقول له: (إنّه) قد طال أمر موسى بن جعفر و مقامه في حبسي، و قد اختبرت حاله و وضعت عليه العيون طول [هذه] المدّة، فما وجدته يفتر عن العبادة، و وضعت من يسمع منه ما يقول في دعائه، فما دعا عليك و لا عليّ، و لا ذكرنا [في دعائه] بسوء، و ما يدعو إلى نفسه إلّا بالمغفرة و الرحمة، فإن أنت أنفذت إليّ من يتسلّمه منّي و إلّا خلّيت سبيله، فإنّي متحرّج من حبسه.

و روي أنّ بعض عيون عيسى بن جعفر رفع إليه أنّه يسمعه كثيرا يقول في دعائه و هو محبوس عنده: اللهمّ إنّك تعلم أنّي كنت أسألك أن تفرّغني لعبادتك، اللهمّ و قد فعلت (ذلك) فلك الحمد.

فوجّه الرشيد من تسلّمه من عيسى بن جعفر و صيّر به إلى بغداد، فسلّمه إلى الفضل بن الربيع فبقي عنده مدّة طويلة فأراده الرشيد على شيء من أمره فأبى، فكتب إليه بتسليمه إلى الفضل بن يحيى، فتسلّمه [منه]، و جعله في بعض حجر داره و وضع عليه الرصد، و كان- (عليه السلام) - مشغولا بالعبادة يحيي الليل كلّه صلاة و قراءة للقرآن و دعاء