ولد في الكوفة في بيت من بيوت شيوخ قبيلة كندة. ثم انتقل إلى بغداد، حيث حظي بعناية الخليفتين المأمون والمعتصم، حيث جعله المأمون مشرفًا على بيت الحكمة - الذي كان قد أنشئ حديثًا لترجمة النصوص العلمية والفلسفية اليونانية القديمة - في بغداد. عرف الكندي أيضًا بجمال خطه،عندما خلف المعتصم أخيه المأمون، أفل نجم الكندي في بيت الحكمة. هناك عدة نظريات لتفسير سبب حدوث ذلك، فقد رجح البعض أن ذلك بسبب التنافس في بيت الحكمة، والبعض قال أن السبب تشدد المتوكل في الدين، حتى أن الكندي تعرّض للضرب، فقد قال هنري كوربين - الباحث في الدراسات الإسلامية - أن الكندي توفي في بغداد وحيدًا عام 259 هـ/873 م في عهد الخليفة المعتمد. اندثر الكثير من أعمال الكندي الفلسفية، يشير فيليكس كلاين فرانكه إلى وجود عدة أسباب لذلك، فبصرف النظر عن تشدد المتوكل الديني، فقد دمّر المغول عددًا لا يحصى من الكتب، عند اجتياحهم بغداد. إضافة إلى سبب أكثر احتمالاً وهو أن كتاباته لم تعد تلقى قبولاً بين أشهر الفلاسفة اللاحقين كالفارابي وابن سينا.