لما علم أهل الكوفة أن إبراهيم بن محمد قد قُتِل أراد أبو سلمة الخلال أن يجعل الخلافة في آل علي بن أبي طالب، فتواصل مع جعفر الصادق، وعبد الله بن الحسن المثنى، وعمر الأشرف بن علي زين العابدين، فلم يستجيبوا ويستمعوا له، وغلبه النقباء والأمراء أيضًا، وبعدما غلب الأمراء أبو سلمة الخلال أتوا بأبي العباس السفاح، وسلموا عليه بالخلافة، وكان عمره حينئذٍ ستة وعشرون عاماً، وكان أبو سلمة الخلال أول من سلم عليه بالخلافة.