رغم أن أغلب المصادر لم تذكر تأريخاً محددا لميلاد زرياب، إلا أن الراجح آنه ولد عام 777م في الموصل ونشأ في بغداد وكان تلميذا لإسحق الموصلي بصورة سرية إلى أن أتقن فن الغناء، وفي ذات يوم طلب الخليفة هارون الرشيد من إسحق الموصلي أن يأتي معه بمغني جديد يجيد الغناء، فأحضر إسحق زرياب فاستأذن من الخليفة بأن يغني فأذن له:يا أيها الملك الميمون طائره هارون راح إليك الناس وابتكرواإلى أن أكمل نوبته، فطار الرشيد فرحا وتعجب منه كثيرا وطلب من أستاذه إسحاق أن يعتز به، إلا أن إسحاق داخله الحسد والحقد فهدد زرياب وخيره اما ان يخرج من بغداد أو أن يغتاله، المعروف بالحكم الربضي، يعرض عليه خدماته، فوافق الأمير على الفور. وحين وصل زرياب إلى الأندلس كان الحكم بن هشام قد توفي ووجد خليفتهم عبد الرحمن الثاني، وبعد أن دخل بلاط الخليفة وأصبح من حاشيته غنى بحضرته وما أن سمعه الخليفة حتى شغف به وقربه إليه وأصبح نديمه ومن أقرب الناس إليه. عرض عليه الخليفة قصراً وراتباً شهرياً قدره مائتا دينار،