تأسست جمعية العلماء المسلمين الجزائريين يوم 5 مايو 1931 في (نادي الترقي) بالعاصمة جزائر إثر دعوة وجهت إلى كلعالم من علماء الإسلام في الجزائر,  أعلنوا : أن الجمعية دينية تهذيبية تسعى لخدمة الدينوالمجتمع, لبّى الدعوة وحضر الاجتماعالتأسيسي أكثر من سبعين عالما,  من مختلف جهات الجزائر ،  ومن شتى الاتجاهات الدينيةوالمذهبية : (مالكيين واباضيين,  وانتخبوامجلسا إداريا للجمعية من أكفأ الرجال علما وعملا,  الذي لم يحضر إلا في اليوم الأخير للاجتماع وباستدعاء خاص مؤكد, لم يكن رئيس الجمعية ولا معظم أعضاء مجلسها الإداري منسكان العاصمة,  لذلك عينوا (لجنة للعمل الدائم) ممن يقيمون بالعاصمة,  تتولى التنسيق بين الأعضاء,  وتحضر للاجتماعات الدورية للمجلس الإداري. لم يحضر ابن باديسالاجتماع التأسيسي للجمعية من الأول,  وكان وراء ذلك هدف يوضحه الشيخ خير الدين أحدالمؤسسين الذي حضر الجلسات العامة والخاصة لتأسيس الجمعية,  وتتولى هذه الجماعة توجيه الدعوة إلىالعلماء لتأسيس الجمعية (في نادي الترقي بالعاصمة) حتى يتم الاجتماع في هدوء وسلام,  ويقول الشيخ خير الدين : "وأسر إلينا ابنباديس أنه سوف لا يلبي دعوة الاجتماع ولا يحضر يومه الأول حتى يقرر المجتمعوناستدعاءه ثانية بصفة رسمية,  لحضور الاجتماع العام,  ومن يتحرجون منكل عمل يقوم به ابن باديس".  وتشكل مجلسها الإداري المنبثقعن الاجتماع العام,  وانطلق نشاط الجمعية في تنفيذ برنامجها الذي كان قد ضبط محاورهالإمام ابن باديس في الاجتماع الذي عقد عام 1928 مع صفوة من العلماء الذين رجعوا منالمشرق ومن تونس,  كلف الإمام عبدالحميد بن باديس باقتراح من الجمعية الشيخ الطيب العقبي بأن يتولى الإشراف علىالعمل الذي يجري في العاصمة وما جاورها,  وكلف الشيخ البشير الإبراهيمي بأن يتولىالعمل الذي يجري بالجهة الغربية من البلاد,  وهكذا تقاسم الثلاثة العمل في القطر كله. وتنفيذا لماتضمنهالقانون الأساسي للجمعية تم إحداث فروع لها (شعب) في جهات مختلفة من القطر, وبعد مضي ست سنوات من عمر الجمعية,  بادرالإمام عبد الحميد بن باديس بوضع إطار حرّ وشامل للجمعية وهو أشبه بميثاق أو دستوروضعه لتسير على هديه الجمعية في نشاطها الإصلاحي والتعليمي,  فحدد من خلال هذاالإطار ما اسماه "بدعوة جمعية العلماء وأصولها" ونشره في مجلة الشهاب العدد الرابع,