ولما وَلِيَ الرشيدُ أكرمه وأعظمه، ثم قبض عليه وحبسه عند الفضل بن يحيى، ثم أخرجه من عنده وسلمه إلى السُندي بن شاهك، ومضى الرشيد إلى الشام فأمر يحيى بن خالد السُندي بقتله، فقيل إنه سُمّ، وقيل: غُم في بساط، وقيل: خنق حتى مات، لخمس بقين من شهر رجب سنة (١٨٣) هـ ثلاث وثمانين ومائة، عن خمس وخمسين سنة.

  ثم أخرج للناس وعمل محضراً أنه مات حتف أنفه، وتُرِك ثلاثة أيام على الطريق على حراسه يأتي من يأتي فينظر إليه ثم يكتب في المحضر، ودفن بمقابر قريش، انتهى مختصراً من عمدة الطالب، وغيره.

  روى ابن الجوزي في الصفوة قال: بعث موسى بن جعفر الكاظم إلى الرشيد من الحبس برسالة كتب فيها: بأنه لم ينقص عني يوم من البلاء إلا نقص معه يوم من الحبس عنك من الرخاء، حتى نمضي جميعاً إلى يوم ليس له انقضاء، هنالك يخسر المبطلون.

  ورُوي أنه لما حضرته الوفاة سأل ابن السُندي أن يحضر مولى له مدنياً ينزل عند دار العباس بن محمد ليتولى غسله ودفنه وتكفينه.

  فقال السُندي: أنا أقوم لك على أحسن شيء وأتمه، فقال: إنا أهل بيت مهور نسائنا، وحج مبرورنا، وكفن موتانا وجهازنا، من خالص أموالنا، وأريد أن يتولى ذلك مولاي هذا، فأجابه إلى ذلك وأحضره له فوصاه بجميع ما يفعل ... الخ.

  توفي في العراق مدينة الكاظمية، وبها مشهده # مشهور مزور.