وحين نجحت الدعوة العباسية وأطاحت بالدولة الأموية؛ تولى أبو العباس السفّاح الخلافة سنة (132 هـ/750 م) واستعان بأخيه أبي جعفر في محاربة أعدائه والقضاء على خصومه وتصريف شؤون الدولة، وأرسله كذلك لقتال إسحاق بن مسلم العقيلي في سميساط في الجزيرة الفراتية وأحد قادة مروان بن محمد وكان عند حسن ظنه قدرة وكفاءة فيما تولى، حتى إذا مرض أوصى له بالخلافة من بعده، فوليها في ذي الحجة 136 هـ/ يونيو 754 م) وهو في الحادية والأربعين من عمره.