لخّصلي

قد يبدو هذا تعريفا أولا سخيفا، وعادة ما يكون النص أو الصوت الخام / الإشارات التي يجب تحليلها بشكل أكبر لتصبح منظمة. كلما فتحت Excel (أو أي برنامج آخر لجداول البيانات)، معالجة الأشكال غير المنظمة للبيانات. علم البيانات هو فن وعلم اكتساب المعرفة من خلال البيانات. وهذا صحيح! يغطي علم البيانات الكثير من الأشياء التي ستستغرق صفحات لإدراجها جميعا (يجب أن أعرف، واستخدامها لاكتساب المعرفة، • إنشاء صناعات/منتجات جديدة بما في ذلك كيفية معالجة البيانات وجمع الأفكار واستخدام تلك الأفكار لاتخاذ قرارات وتنبؤات مستنيرة. يدور علم البيانات حول استخدام البيانات من أجل الحصول على رؤى جديدة كنت ستفتقدها لولا ذلك هذا هو السبب في أن علم البيانات لن يحل محل الدماغ البشري، لا ينبغي اعتبار علم البيانات حلا نهائيا لمشاكل بياناتنا؛ ولكن لماذا يجب أن يستلزم ذلك مجموعة جديدة كاملة من المفردات؟ ما الخطأ في أشكالنا السابقة من التحليل؟ أولا، الحجم الهائل للبيانات يجعل من المستحيل حرفيا على الإنسان تحليلها في وقت معقول. ضع في اعتبارك أننا نبحث في البيانات المتعلقة بتسعير السيارات المستعملة. إحدى خصائص السيارة هي السنة التي صنعت فيها وأخرى قد تكون عدد الأميال على تلك السيارة. بمجرد تنظيف بياناتنا (التي نقضي الكثير من الوقت في النظر إليها في هذا الكتاب)، وتظهر المعرفة التي كانت مدفونة ذات مرة في عمق ملايين الصفوف من البيانات ببساطة. أحد الأهداف الرئيسية لعلوم البيانات هو وضع ممارسات وإجراءات واضحة لاكتشاف هذه العلاقات وتطبيقها في البيانات. مثال - تقنيات سيجما الرئيس التنفيذي لشركة سيغما تكنولوجيز، تفقد الشركة باستمرار عملاء منذ فترة طويلة. إنه مقتنع بأنه من أجل الحد من تسربه، يجب عليه إنشاء منتجات وميزات جديدة، • "أين الزر الذي يصنع قائمة جديدة؟" نظم رونكل وهيون إصلاحا جماعيا لواجهة المستخدم / تجربة المستخدم ولم تكن مبيعاتهما أفضل من أي وقت مضى. يريد الرئيس التنفيذي المشترك اليوم اتخاذ جميع القرارات بسرعة وتكرار الحلول حتى ينجح شيء ما. يدور علم البيانات حول تطبيق مهارات العقل التحليلي واستخدامها كما يفعل السائق. فإن طريقة تفكير هاغون هي التي تهيمن على أفكار علم البيانات - باستخدام البيانات التي تولدها الشركة كمصدر للمعلومات بدلا من مجرد التقاط حل والذهاب معه. مخطط فين لعلوم البيانات من المفاهيم الخاطئة الشائعة أن الحاصلين على درجة الدكتوراه أو العباقرة فقط هم الذين يمكنهم فهم الرياضيات / البرمجة وراء علم البيانات. • الرياضيات/الإحصاء: هذا هو استخدام المعادلات والصيغ لإجراء التحليل • برمجة الكمبيوتر: هذه هي القدرة على استخدام التعليمات البرمجية لإنشاء نتائج على الكمبيوتر • معرفة المجال: يشير هذا إلى فهم مجال المشكلة (الطب والتمويل والعلوم الاجتماعية وما إلى ذلك) ضع في اعتبارك أنك ماهر جدا في الترميز ولديك تدريب رسمي في التداول اليومي. قد تقوم بإنشاء نظام آلي للتداول في مكانك ولكنك تفتقر إلى مهارات الرياضيات لتقييم خوارزمياتك، وبالتالي ينتهي بك الأمر إلى خسارة المال على المدى الطويل. فقط عندما يمكنك التباهي بالمهارات في الترميز والرياضيات ومعرفة المجال يمكنك أداء علم البيانات حقا. فقد يحتاج إلى مساعدة طبيب القلب لفهم الكثير من الأرقام. فهل من الأفضل إنشاء ملف PDF للمعلومات أو تطبيق حيث يمكنك كتابة الأرقام والحصول على تنبؤ سريع؟ يجب أن يتخذ عالم البيانات كل هذه القرارات. لاحظ أيضا أن تقاطع الرياضيات والترميز هو التعلم الآلي. يمكنك التنبؤ بالسرطان بدقة تزيد عن 99٪ استنادا إلى بيانات مرضى السرطان السابقة ولكن إذا كنت لا تفهم كيفية تطبيق هذا النموذج بالمعنى العملي بحيث يمكن للأطباء والممرضات استخدامه بسهولة،

لنبدأ بتحديد ماهية البيانات. قد يبدو هذا تعريفا أولا سخيفا، ولكنه مهم جدا. كلما استخدمنا كلمة "بيانات"، نشير إلى مجموعة من المعلومات إما بتنسيق منظم أو غير منظم:

• البيانات المنظمة: يشير هذا إلى البيانات التي يتم فرزها في بنية صف / عمود، حيث يمثل كل صف ملاحظة واحدة وتمثل الأعمدة خصائص تلك الملاحظة.

• البيانات غير المنظمة: هذا هو نوع البيانات التي تكون في شكل حر، وعادة ما يكون النص أو الصوت الخام / الإشارات التي يجب تحليلها بشكل أكبر لتصبح منظمة.

كلما فتحت Excel (أو أي برنامج آخر لجداول البيانات)، فأنت تنظر إلى بنية صف / عمود فارغة في انتظار البيانات المنظمة. هذه البرامج لا تعمل بشكل جيد مع البيانات غير المنظمة. بالنسبة للجزء الأكبر، سنتعامل مع البيانات المنظمة لأنها الأسهل للحصول على نظرة ثاقبة، لكننا لن نخجل من النظر إلى النص الخام وطرق
معالجة الأشكال غير المنظمة للبيانات.
علم البيانات هو فن وعلم اكتساب المعرفة من خلال البيانات.

يا له من تعريف صغير لمثل هذا الموضوع الكبير، وهذا صحيح! يغطي علم البيانات الكثير من الأشياء التي ستستغرق صفحات لإدراجها جميعا (يجب أن أعرف، لقد حاولت وتم تحريرها).

يدور علم البيانات حول كيفية أخذ البيانات، واستخدامها لاكتساب المعرفة، ثم استخدام تلك المعرفة للقيام بما يلي:
• اتخاذ القرارات

• توقع المستقبل

• فهم الماضي/الحاضر

• إنشاء صناعات/منتجات جديدة

يدور هذا الكتاب حول طرق علم البيانات، بما في ذلك كيفية معالجة البيانات وجمع الأفكار واستخدام تلك الأفكار لاتخاذ قرارات وتنبؤات مستنيرة.

يدور علم البيانات حول استخدام البيانات من أجل الحصول على رؤى جديدة كنت ستفتقدها لولا ذلك
على سبيل المثال، تخيل أنك تجلس حول طاولة مع ثلاثة أشخاص آخرين. يجب عليكم الأربعة اتخاذ قرار بناء على بعض البيانات. هناك أربعة آراء يجب أخذها في الاعتبار. ستستخدم علم البيانات لجلب الرأي الخامس والسادس وحتى السابع إلى الطاولة.

هذا هو السبب في أن علم البيانات لن يحل محل الدماغ البشري، ولكنه يكمله، ويعمل إلى جانبه. لا ينبغي اعتبار علم البيانات حلا نهائيا لمشاكل بياناتنا؛ إنه مجرد رأي، ورأي مستنير للغاية، ولكنه رأي مع ذلك. إنه يستحق مقعدا على الطاولة. لماذا علم البيانات؟

في عصر البيانات هذا، من الواضح أن لدينا فائضا من البيانات. ولكن لماذا يجب أن يستلزم ذلك مجموعة جديدة كاملة من المفردات؟ ما الخطأ في أشكالنا السابقة من التحليل؟ أولا، الحجم الهائل للبيانات يجعل من المستحيل حرفيا على الإنسان تحليلها في وقت معقول. يتم جمع البيانات بأشكال مختلفة ومن مصادر مختلفة، وغالبا ما تأتي بشكل غير منظم للغاية.

يمكن أن تكون البيانات مفقودة أو غير مكتملة أو خاطئة تماما. في كثير من الأحيان، لدينا بيانات على مقاييس مختلفة جدا وهذا يجعل من الصعب مقارنتها. ضع في اعتبارك أننا نبحث في البيانات المتعلقة بتسعير السيارات المستعملة. إحدى خصائص السيارة هي السنة التي صنعت فيها وأخرى قد تكون عدد الأميال على تلك السيارة. بمجرد تنظيف بياناتنا (التي نقضي الكثير من الوقت في النظر إليها في هذا الكتاب)، تصبح العلاقات بين البيانات أكثر وضوحا، وتظهر المعرفة التي كانت مدفونة ذات مرة في عمق ملايين الصفوف من البيانات ببساطة. أحد الأهداف الرئيسية لعلوم البيانات هو وضع ممارسات وإجراءات واضحة لاكتشاف هذه العلاقات وتطبيقها في البيانات.

في وقت سابق، نظرنا إلى علم البيانات من منظور تاريخي أكثر، ولكن دعونا نأخذ دقيقة لمناقشة دوره في الأعمال التجارية اليوم، من خلال مثال بسيط جدا.
مثال - تقنيات سيجما

يحاول بن رونكل، الرئيس التنفيذي لشركة سيغما تكنولوجيز، حل مشكلة كبيرة. تفقد الشركة باستمرار عملاء منذ فترة طويلة. إنه لا يعرف سبب مغادرتهم، ولكن يجب أن يفعل شيئا سريعا. إنه مقتنع بأنه من أجل الحد من تسربه، يجب عليه إنشاء منتجات وميزات جديدة، وتوحيد التقنيات الحالية. لكي يكون آمنا، يستدعي كبير علماء البيانات، الدكتور. جيسي هوغان.

ومع ذلك، فهي غير مقتنعة بأن المنتجات والميزات الجديدة وحدها ستنقذ الشركة. بدلا من ذلك، تلجأ إلى النصوص الخاصة بتذاكر خدمة العملاء الأخيرة. إنها تعرض على رونكل أحدث النصوص وتجد شيئا مفاجئا:
• "

• "أين الزر الذي يصنع قائمة جديدة؟"

• "انتظر، هل تعرف حتى أين شريط التمرير؟"

• "إذا لم أتمكن من معرفة هذا اليوم، فهذه مشكلة حقيقية..."

من الواضح أن العملاء كانوا يواجهون مشاكل مع واجهة المستخدم/تجربة المستخدم الحالية، ولم يكونوا مستاءين بسبب نقص الميزات. نظم رونكل وهيون إصلاحا جماعيا لواجهة المستخدم / تجربة المستخدم ولم تكن مبيعاتهما أفضل من أي وقت مضى. بالطبع، كان العلم المستخدم في المثال الأخير ضئيلا، لكنه يوضح نقطة.

نميل إلى استدعاء أشخاص مثل رونكل، سائق. يريد الرئيس التنفيذي المشترك اليوم اتخاذ جميع القرارات بسرعة وتكرار الحلول حتى ينجح شيء ما.

دكتور. هاغون أكثر تحليلا بكثير. إنها تريد حل المشكلة بقدر ما تريد رونكل، لكنها تتحول إلى البيانات التي ينشئها المستخدم بدلا من شعورها الغريزي بالإجابات.

يدور علم البيانات حول تطبيق مهارات العقل التحليلي واستخدامها كما يفعل السائق.

كلتا هاتين العقليتين لهما مكانهما في شركات اليوم؛ ومع ذلك، فإن طريقة تفكير هاغون هي التي تهيمن على أفكار علم البيانات - باستخدام البيانات التي تولدها الشركة كمصدر للمعلومات بدلا من مجرد التقاط حل والذهاب معه.

مخطط فين لعلوم البيانات

من المفاهيم الخاطئة الشائعة أن الحاصلين على درجة الدكتوراه أو العباقرة فقط هم الذين يمكنهم فهم الرياضيات / البرمجة وراء علم البيانات. هذا غير صحيح تماما. يبدأ فهم علم البيانات بثلاثة مجالات أساسية:

• الرياضيات/الإحصاء: هذا هو استخدام المعادلات والصيغ لإجراء التحليل

• برمجة الكمبيوتر: هذه هي القدرة على استخدام التعليمات البرمجية لإنشاء نتائج على الكمبيوتر

• معرفة المجال: يشير هذا إلى فهم مجال المشكلة (الطب والتمويل والعلوم الاجتماعية وما إلى ذلك)

             يمكن لأولئك الذين لديهم مهارات القرصنة تصور وبرمجة الخوارزميات المعقدة باستخدام لغات الكمبيوتر. يتيح لك وجود قاعدة معارف للرياضيات والإحصاء وضع نظرية وتقييم الخوارزميات وتعديل الإجراءات الحالية لتناسب مواقف محددة. يتيح لك امتلاك الخبرة الجوهرية (خبرة المجال) تطبيق المفاهيم والنتائج بطريقة ذات مغزى وفعالة.

في حين أن امتلاك اثنين فقط من هذه الصفات الثلاث يمكن أن يجعلك ذكيا، إلا أنه سيترك أيضا فجوة. ضع في اعتبارك أنك ماهر جدا في الترميز ولديك تدريب رسمي في التداول اليومي. قد تقوم بإنشاء نظام آلي للتداول في مكانك ولكنك تفتقر إلى مهارات الرياضيات لتقييم خوارزمياتك، وبالتالي ينتهي بك الأمر إلى خسارة المال على المدى الطويل. فقط عندما يمكنك التباهي بالمهارات في الترميز والرياضيات ومعرفة المجال يمكنك أداء علم البيانات حقا.

الشخص الذي ربما كان مفاجأة لك هو معرفة المجال. إنها حقا مجرد معرفة بالمنطقة التي تعمل فيها. إذا بدأ المحلل المالي في تحليل البيانات حول النوبات القلبية، فقد يحتاج إلى مساعدة طبيب القلب لفهم الكثير من الأرقام.

علم البيانات هو تقاطع المجالات الرئيسية الثلاثة المذكورة سابقا. من أجل اكتساب المعرفة من البيانات، يجب أن نكون قادرين على استخدام برمجة الكمبيوتر للوصول إلى البيانات، وفهم الرياضيات وراء النماذج التي نستمدها، وقبل كل شيء، فهم مكان تحليلاتنا في المجال الذي نحن فيه. يتضمن ذلك عرض البيانات. إذا كنا ننشئ نموذجا للتنبؤ بالنوبات القلبية لدى المرضى، فهل من الأفضل إنشاء ملف PDF للمعلومات أو تطبيق حيث يمكنك كتابة الأرقام والحصول على تنبؤ سريع؟ يجب أن يتخذ عالم البيانات كل هذه القرارات.

لاحظ أيضا أن تقاطع الرياضيات والترميز هو التعلم الآلي.

سينظر هذا الكتاب في التعلم الآلي بتفصيل كبير لاحقا ولكن من المهم ملاحظة أنه بدون القدرة الصريحة على تعميم أي نماذج أو نتائج على مجال ما، تظل خوارزميات التعلم الآلي مجرد خوارزميات تجلس على جهاز الكمبيوتر الخاص بك. قد يكون لديك أفضل خوارزمية للتنبؤ بالسرطان. يمكنك التنبؤ بالسرطان بدقة تزيد عن 99٪ استنادا إلى بيانات مرضى السرطان السابقة ولكن إذا كنت لا تفهم كيفية تطبيق هذا النموذج بالمعنى العملي بحيث يمكن للأطباء والممرضات استخدامه بسهولة، فقد يكون نموذجك عديم الفائدة.

يتم تغطية كل من برمجة الكمبيوتر والرياضيات على نطاق واسع في هذا الكتاب. تأتي معرفة المجال مع كل من ممارسة علم البيانات وأمثلة القراءة لتحليلات الآخرين.