وأخذوه إلى إبراهيم بن الإمام محمد من بني العباس، وكان الإمام إبراهيم يوكل إلى أبي مسلم حمل رسائله إلى خراسان والكوفة، وضعفت الدولة الأموية في خراسان طلب النقباء الخراسانيون من إبراهيم بن الإمام إرسال من ينوب عنه، وكان هذا هو أول صدام عسكري بين العباسيين والأمويين. وأبو مسلم يصالح بعضهم ويضرب هذا بذاك حتى قضى على الجميع، وبويع أبو العباس بالخلافة في الكوفة سنة 132هـ، وكان أبو العباس يرى في أبي مسلم الركن الذي أقام الدولة العباسية فلما تولى الخلافة كأول خليفة عباسي أبقى أبا مسلم والياً على خراسان مما زاد من قوته ونفوذه، وكان أبو العباس يعتمد على ثلاثة أبو مسلم الخراساني بالمشرق، وأبو جعفر المنصور بالجزيرة، وعبدالله بن علي بالشام ومصر، فادعى انتسابه إلى سليط بن عبدالله بن عباس كخطوة أولى لطلبه الخلافة ثم خطب عمة المنصور آمنة بنت علي. وحدث الصدام الأول بين أبي مسلم والمنصور عندما كتب أبو مسلم لأبي العباس يطلب منه الإذن بإمرة الحج في 136هـ، ولما علم أبو جعفر المنصور ذلك طلب الإذن من أخيه أبي العباس إمرة الحج فأذن لكليهما، وفي موسم الحج تقدم أبو مسلم في الطريق على المنصور، وأثناء السير جاءت الأخبار بموت أبي العباس وتولي المنصور فلم يكتب أبو مسلم يهنئه بالخلافة. فقضى أبو مسلم على عبدالله، ثم اشتعل الخلاف بينهما، وكتب المنصور لأبي مسلم ليوليه على مصر والشام ليصرفه عن خراسان التي بها أنصاره، توجه أبو مسلم إلى خراسان، فأرسل المنصور إلى خليفة أبي مسلم في خراسان أن يعطيه ولاية خراسان طوال حياته، ثم أرسل إلى أبي مسلم رسالة تهديد حتى يأتيه، وفي ذلك الوقت جاء أبو مسلم كتاب من خليفته على خراسان والذي استماله المنصور. فلما دخل أبو مسلم، بدأ المنصور يعاتبه في أشياء صدرت عنه مثل تقدمه في طريق الحج وعدم تهنئته بالخلافة وخطبته لعمته وادعائه أنه ابن سليط بن عبدالله بن عباس، حتى وصل المنصور لسؤاله عن سبب قتله لسليمان بن كثير وإبراهيم بن ميمون، وصفق أبو جعفر بيديه فخرج الحرس على أبي مسلم وضربوه بسيوفهم وقتلوه عام 137 هجرية.