مرض السفاح بالجدري وهو بالانبار، وتوفي يوم 13 من شهر ذي الحجة سنة 136هـ عن عمر ناهز اثنين وثلاثين سنة، وخلفه أخوه أبو جعفر المنصور.

كان السفاح ذا قدر وفير من الذكاء والدهاء والعزم والفهم، وقال عنه ابن دحية الكلبي: ” كان السفاح كريمًا سخيًّا بالأموال، حسن الأخلاق، متألفًا للرجال، ماضيَ العزيمة، صعبَ الشكيمة، ذا سطوة على الأعداء، متواضعًا للأولياء والأصحاب، زاد في أعطيات الناس، وكان يأكل معهم الطعام”.

لم يهدأ السفاح حتى هزم عمُّه عبد الله الخليفةَ مروان الثاني وطارده حتى مصر وقتله، ثم حاصر أبو جعفر المنصور ابن هبيرة وقتله مع أتباعه، ثم تتبّع أمراء بني أمية ومؤيّديهم فقضى عليهم حتى لم يكد ينجو منهم أحد، وهكذا صارت كل أراضي الدولة الأموية تابعة لبني العباس عدا الأندلس التي استقل بها بعد ذلك عبد الرحمن بن معاوية الأموي وأسس فيها دولته.

قامت الدعوة العباسية على أكتاف الدعاة والنقباء فهم الذين توغّلوا في المدن لدعوة الناس وهم الذين قادوا الجيوش في ساحات القتال، لذا فقد ارتأى أبو العباس بعد تولّيه الخلافة أن يُقحم أفراد عائلته في شؤون الحكم وأمور الحرب حتى يوطّد دعائم البيت العباسي ولا ينفرد الآخرون بالسلطة دونهم، فعيّن عمّه عبد الله بن علي قائدًا للجيش الذي توجّه لقتال مروان بن محمد آخر خلفاء بني أمية، وأرسل أخاه أبي جعفر المنصور لقتال يزيد بن عمر بن هبيرة، وجعل عمّه سليمان بن علي واليًا على البصرة وأعمالها، وعمّه إسماعيل بن علي واليًا على كور الأهواز، وولّى عمّه داوود بن علي على اليمن والحجاز.

قد رُوي عن عم السفاح عيسى بن علي أنه وجد في وجهه يوم عيد الأضحى في آخر النهار حبتان صغيرتان ثم كبرتا حتى امتلأ وجهه بالحبوب البيضاء الصغيرة، فعرفوا أنه جدري، وفي اليوم الثاني اشتد المرض به حتى أصبح لا يعرف أي أحد، وفي مساء هذا اليوم انتفخ وجهه، وتوفي في اليوم الثالث، وقد كانت وفاته في يوم 11 ذو الحجة وقيل 13 ذو الحجة من العام 136 هـ عن عمر ناهز الثلاثة والثلاثين، وقيل اثنان وثلاثون، وقيل ثمانٍ وعشرون عامًا، وصلى عليه عمه عيسى بن علي، ودفنه في الأنبار.