و روى أبو جعفر محمد بن جرير الطبري: قال: كان سبب وفاته أنّ يحيى بن خالد سمّه في رطب و ريحان أرسل بهما إليه مسمومين بأمر الرشيد، و لمّا سمّ وجّه الرشيد إليه بشهود حتّى يشهدون عليه بخروجه عن أملاكه، فلمّا دخلوا قال: يا فلان بن فلان، سقيت السمّ في يومي هذا، و في غد يصفرّ بدني و يحمرّ، و بعد غد يسودّ و أموت، فانصرف الشهود من عنده، فكان كما قال، و تولّى أمره ابنه علي الرضا- (عليه السلام)-، و دفن في بغداد في مقابر قريش في بقعة كان قبل وفاته ابتاعها لنفسه، و كانت وفاته في حبس المسيّب و هو في المسجد الذي بباب الكوفة الذي فيه السدرة.