واشتهرت بالخروج بالسيف علي عثمان بن عفان وقتله[2]،  وخروجهم بالسيف على علي بن أبي طالب بعد معركة صفين سنة 37هـ؛  لرفضهم التحكيم بعد أن عرضوه عليهم وقتل علي بن أبي طالب عبر ضرب عنقه وهو يصلي علي يد عبد الرحمن بن ملجم المذحجي ثأراً لقتلى جيش الخوارج في معركة حروراء. 3][4][5][6][7] وقد عرف الخوارج على مدى تاريخهم بالمغالاة في الدين وبالتكفير والتطرف. 11][12][13] وسموا شراة لأنهم قالوا شرينا أنفسنا في طاعة الله،  وسموا البغاة لأنهم يبغون علي المسلمين ويقتلونهم بغير الحق،  وسموا مارقة وذلك للحديث النبوي الذي أنبأ بأنه سيوجد مارقة من الدين كما يمرق السهم من الرمية،  إلا أنهم لا يرضون بهذا اللقب لأنهم يعتبرون أنفسهم على الهدى والحق وأما غيرهم فإنهم أهل كفر،  وسموا المحكمة لإنكارهم الحَكَمين (عمرو بن العاص وأبو موسى الأشعري) وقالوا لا حكم إلا لله.  ولقد توالت الأحداث بعد ذلك بين علي والذين خرجوا عليه بالسيف،  ومحاولته إقناعهم بالحجة والرد علي شبهاتهم عبر مناظرة بن عباس لجيشهم فعاد أكثرهم وتابوا إلا قلة، 14] ثم قيام الحرب وهزيمتهم وهروبهم إلى سجستان وحضرموت، 15][15][16][17] وقد أوضح علي بن أبي طالب منهج التعامل معهم وهو «لن نمنعكم مساجد الله،  ولا نقاتلكم حتى تقاتلونا» وقال كذلك «إن خالفوا إمامًا عدلًا فقاتلوهم، 18]
 ولا يعد كل من يخرج علي الحاكم بالسيف من الخوارج فهناك أهل حق وهم من خرجوا بالسيف علي الحكام الظالمين والذين يتركون العمل بالسنة النبوية والحدود ويحلون شرب الخمر والزنا كما قال ابن حجر العسقلاني: «وقسمٌ خرجوا غضبًا للدين،  فهؤلاء أهلُ حقٍّ،  وأهل المدينة في الحرَّة،