وكان والده واليًا على المدينة.  وفي عام 151 هـ وبعد وفاة جعفر الابن الأكبر للخليفة أبو جعفر المنصور عادت أسر المهدي إلى بغداد، 8]
 9]
  وخرج الجيش عام 163 هـ إلى أراضي الروم وتوغل فيها وأظهر هارون براعة في قيادته وحاصر قلعة رومية اسمها "سمالوا" ثمانية وثلاثين يومًا حتى انتهى الأمر بفتحها، وفي عام 165 هـ تزوج الرشيد ابنة عمه زبيدة بنت جعفر،  وهي وصية العرش لابنها قنسطنطين البالغ من العمر تسع سنوات،  بعد أن رأت القتل في الروم،  على أن تدفع له سبعين ألف دينار كل سنة، ولاية العهد ومبايعة أخيه الهادي	عدل
  وتسلم الهادي أمر الخلافة وتوجه إلى بغداد لممارسة مهام عمله وأخذ البيعة بنفسه وكان ذلك في عام 168 هـ.