لخّصلي

ينتمي هينتون إلى عائلة إنجليزية علمية من نوع خاص: راديكالية سياسياً، و فوقه في شجرة العائلة يوجد عمه الأكبر سيباستيان هينتون، عالم الرياضيات الذي ابتكر مفهوم التسراكت، و هو مدخل إلى البعد الرابع (يظهر أحدها في فيلم "بين النجوم")؛ جراح الأذن الرائد و المدافع عن تعدد الزوجات. عالم الرياضيات الإنجليزي جورج بول، بتطوير نظام الاستدلال الثنائي، المعروف الآن باسم الجبر البولي، كان بول متزوجاً من ماري إيفرست، عالمة الرياضيات و المؤلفة و ابنة أخت جورج إيفرست، المساح الذي سمي جبل إيفرست باسمه. "ولد جيف في مجال العلوم"، في المكسيك خلال الثورة المكسيكية، في منجم للفضة كان يديره والده. قال هينتون عن والده: «لقد كان قاسياً. تقول تقاليد العائلة إن هوارد، هدد بإطلاق النار على مدرب الملاكمة الخاص به لأنه كان شديد القسوة، فأخذه المدرب على محمل الجد لدرجة أنه غادر المدينة. كانت لغة هوارد الأولى هي الإسبانية، حيث ذهب إلى الكلية، قال هينتون: "لقد كان يرافق مجموعة من الفلبينيين، و أصبح متطرفاً في بيركلي". و لم تكن سياسات هوارد الناضجة ماركسية فحسب، بل كانت سياسات ستالينية أيضاً: ففي عام 1968، عندما دخلت الدبابات السوفييتية إلى براغ، لكن لأسباب أيديولوجية منعه والده من دراسة علم الأحياء. فإن إمكانية الحتمية الجينية تتعارض مع الاعتقاد الشيوعي في القدرة المطلقة للطبيعة البشرية. (قال هينتون و هو يتذكر هذه الفترة: "أنا أكره الأديان بجميع أنواعها). أشبه بعالم الحشرات في إنديانا جونز: فقد قام بتهريب مخلوقات نادرة من جميع أنحاء العالم إلى إنجلترا في أمتعته، و يتذكر أن والده قال له: "إذا كنت تعمل بجهد مضاعف مثلي، فعندما يكون عمرك ضعفي قد تصبح أفضل بنصف عمري". ترك الكلية لفترة وجيزة "لقراءة الروايات المحبطة" و القيام بأعمال غريبة في لندن، ثم عاد ليحاول الهندسة المعمارية لمدة يوم تقريباً. بعد الانغماس في الفيزياء و الكيمياء و علم وظائف الأعضاء و الفلسفة، استقر على شهادة في علم النفس التجريبي. كان يطارد ساعات مكتب الفيلسوف الأخلاقي برنارد ويليامز، الذي تبين أنه كان مهتماً بالكمبيوتر و العقل. حيث كان البرنامج مستقلاً عن الأجهزة. و تذكر كيف أخبره أحد الأصدقاء في المدرسة الثانوية أن الذاكرة يمكن تخزينها في الدماغ "بصورة ثلاثية الأبعاد" - أي منتشرة، ما كان يواجهه هو "الاتصالية" - و هو نهج يجمع بين علم الأعصاب و الرياضيات و الفلسفة و البرمجة لاستكشاف كيف يمكن للخلايا العصبية أن تعمل معاً من أجل "التفكير". كان هناك بعض التقدم: جهاز بيرسيبترون، و هو جهاز تم بناؤه في الخمسينيات من قبل عالم نفس و رائد في مجال الاتصال يدعى فرانك روزنبلات، يمكن للجهاز التعرف على الحروف و الأشكال من خلال تتبع الخلايا العصبية الاصطناعية التي تم تنشيطها بواسطة أنماط مختلفة من الضوء. و يتحرك ذهاباً و إياباً خلف طاولة المطبخ و في جميع أنحاء الطابق الأول. ثم قام بإعداد طاولة معززة صغيرة لنفسه باستخدام مقعد متدرج. كان لضغوط الأسرة تأثير في إبعاده عن الإشباع المؤقت. يتذكر بحزن بينما كنا نأكل: "لطالما أحببت الأعمال الخشبية". و كثيراً ما تساءلت عما إذا كنت سأكون أكثر سعادة كمهندس معماري، لأنني لم أضطر إلى إجبار نفسي على القيام بذلك. رن جهاز الكمبيوتر المحمول الخاص بهينتون. كان صندوق الوارد الخاص به مليئاً بطلبات التعليق على الذكاء الاصطناعي. لقد تجول و نظر إلى البريد الإلكتروني، قال: "انظر إلى هذا". تظهر هينتون في الأعلى مع طلابه و طلابهم المصطفين في الأسفل. قال هينتون و هو يستكشف: "أوه يا عزيزي". "لقد كان رائعاً و لكنه لم يكن جيداً كمستشار، لأنه كان بإمكانه دائماً القيام بذلك بشكل أفضل بنفسه". يستمتع بتفوق طلابه عليه: فعند تقييم المرشحين للوظائف، كان يسأل مستشاريهم: "لكن هل هم أفضل منك؟" متذكراً والده الذي توفي عام 1977، قال هينتون: "إنه كانت تنافسية للغاية. يعد هينتون الآن ثاني أكثر الباحثين استشهاداً بين علماء النفس، و إذا كانت بدايته بطيئة و غريبة الأطوار في كامبريدج، فذلك يرجع جزئياً إلى أنه كان يدور في مجال ناشئ. قال و هو يغلق جهاز الكمبيوتر المحمول: "الشبكات العصبية، كان هناك عدد قليل جداً من الأشخاص في الجامعات الجيدة الذين فعلوا ذلك". لا يمكنك فعل ذلك في بيركلي. لا يمكنك فعل ذلك في جامعة ستانفورد». جاء إليه العديد من أفضل العقول. "يجب أن نقطع شجرة. في الجزيرة، المنزل أيضاً هو عمل قيد التقدم. و عندما زرتها، كان هينتون قد ألحق بها ملاحظات صغيرة لمساعدة مقاول جديد، في حمام الطابق الأول، " في خزانة غرفة الضيوف، دع الرف الأساسي. من المفيد للعقول تسمية الأشياء؛ فهو يساعدهم على السيطرة على الواقع. و لكن ماذا يعني أن يفعل العقل الاصطناعي ذلك بينما كان هينتون يحصل على درجة الدكتوراة؟ حصل على درجة الدكتوراة في الذكاء الاصطناعي من جامعة إدنبرة، على سبيل المثال، و ""البطاطا المقلية"" و "المايونيز" و "الخردل"؛ منظمة ذكاء اصطناعي كبيرة و ممولة جيداً. و تركز الجهد المسمى Cyc على بناء مستودع معرفي واسع يستطيع العلماء، باستخدام لغة خاصة، إدخال المفاهيم و الحقائق و القواعد، لكن هينتون كان متشككاً في هذا النهج. بدأ الأمر جامداً للغاية، و ركز أيضاً على مهارات التفكير التي يمتلكها الفلاسفة و اللغويون. كان يعلم أن العديد من الحيوانات في الطبيعة تتصرف بذكاء دون الوصول إلى المفاهيم التي يمكن التعبير عنها بالكلمات. كان محرك الذكاء. لكن هينتون و معاونوه، جيمس إل ماكليلاند و ديفيد روميلهارت، أنه "إذا علمت حقيقة جديدة عن شيء ما، على سبيل المثال، أيضاً. و يشير هذا إلى أنه من المحتمل أن تكون المعرفة "موزعة" في العقل، أي أنها مكونة من وحدات بناء أصغر يمكن تقاسمها بين الأفكار ذات الصلة. و بدلاً من ذلك، و الوحشية، يمكن إضافة الإعجاب بالبصل. إن العقل المبني بهذه الطريقة يخاطر بالوقوع في الارتباك و الخطأ: امزج الصفات معاً في ترتيب خاطئ و ستحصل على مخلوق خيالي ليس غوريلا و لا شمبانزي. ثم في كامبريدج، ثم في جامعة كارنيجي ميلون في بيتسبرغ، و هناك، أنفق الكثير من ميزانية بحثه على جهاز كمبيوتر واحد قوي بما يكفي لتشغيل شبكة عصبية. حقق هينتون تقدماً كبيراً. و من خلال العمل مع تيرينس سينوفسكي، عالم الكمبيوتر و عالم الأعصاب، أنتج شبكة عصبية تسمى آلة بولتزمان. رياضياً، كان هينتون متردداً في شرح آلة بولتزمان لي. قال: "سأخبرك كيف يكون هذا". "يشبه الأمر أن يكون لديك طفل صغير، و هناك جبل أمامك، من أن يتم تضليلي من خلال تفسير مبسط و من ثم تضليل الآخرين. أولاً، عليك أن تفهم كيف يعمل شيء ما. أخيراً، (قبل زيارتي، كنت قد أنهيت دورة أكاديمية خان حول الجبر الخطي). و الأذنين الكبيرة، لكي تعمل مجموعة Identi-Kit، يجب تصميم الميزات نفسها بشكل مناسب. بل تصميمها، عن طريق تغيير أوزان الوصلات بين خلاياها العصبية الاصطناعية. سيبدأ بملامح عشوائية تبدو كالثلج على شاشة التلفاز، أثناء الاستيقاظ، يتخيل وجهاً غير موجود، ثم يغير الملامح بحيث تصبح أسوأ. أخبرته أحلامه بما لا يجب أن يتعلمه. كانت هناك أناقة في النظام: مع مرور الوقت، كان بإمكانه الابتعاد عن الخطأ و نحو الواقع، وصف هينتون و سيجنوفسكي آلة بولتزمان في ورقة بحثية عام 1983. قال لي يان ليكون: "قرأت تلك الورقة عندما كنت أبدأ دراستي العليا، "لا بد لي من التحدث إلى هؤلاء الأشخاص - إنهم الأشخاص الوحيدون في العالم الذين يفهمون أننا بحاجة إلى خوارزميات التعلم". الرائد في معالجة اللغات الطبيعية و الرؤية الحاسوبية و الذي يشغل الآن منصب المدير العلمي في ميلا، قام بتدريب معهد بولتزمان في كيبيك على التعرف على المقاطع المنطوقة كجزء من أطروحة الماجستير الخاصة به. يتذكر قائلاً: "كان ججيف أحد المراجعين الخارجيين". "و كتب شيئاً مثل: "هذا لا ينبغي أن ينجح". كانت نسخة بينجيو من آلة بولتزمان أكثر فعالية مما توقع هينتون؛ و هذا من شأنه أن يصبح نمطاً مألوفاً. و في العقود التالية، يتذكر بنجيو أن "الجزء التجريبي من العمل جاء قبل النظرية". في كثير من الأحيان، كان الأمر يتعلق بتجربة أساليب جديدة و رؤية ما توصلت إليه الشبكات. صبي و فتاة، من أمريكا اللاتينية، و عاشوا في منزل بالمدينة. قال هينتون: «كنت من هذا النوع من الأساتذة الاشتراكيين الذين كانوا مخلصين لعملهم. ربما كنتيجة لذلك، اتبعت طريق المعالجة المثلية عندما تم تشخيص إصابتها بسرطان المبيض لاحقاً. قال هينتون: "لم يكن الأمر منطقياً". " لم يستطع أن يرى كيف يمكن لعالم الأحياء الجزيئي أن يصبح معالجاً تجانسياً. و مع ذلك، رفضت روزاليند إجراء عملية جراحية حتى بعد أن وجد الفحص ورماً بحجم ثمرة الجريب فروت. في وقت لاحق، أولاً في كندا ثم في سويسرا. أصيبت بأورام ثانوية. فقلت: لا، لأنه إذا مت فسأضطر إلى الاعتناء بالأطفال، لقد انتظرت بضعة أشهر، لأنها لم تكن تريدهم أن يرونها مريضة إلى هذا الحد. و كان ابنه في الخامسة من عمره، و كانت ابنته في الثالثة من عمرها. ملأ صوت الأمواج هدوء منتصف الظهيرة. وقف هينتون لبعض الوقت، و هو يجمع نفسه. و من أحدهم، استعاد هينتون منشاراً أخضراً صغيراً و بعض نظارات السلامة. و قال: "تقول روزماري إنه غير مسموح لي بقطع الأشجار عندما لا يكون هناك أي شخص آخر هنا، في حالة قطع ذراعي أو شيء من هذا القبيل". قلت: "هل قمت بقيادة القوارب من قبل؟" قلت: "لا". "لا يجب أن أقطع ذراعي اليمنى إذن. " كان يرتدي زوجاً من الفواصل الواقية. قال: "لا أريد أن أعطيك الانطباع بأنني أعرف ما أفعله". عبر هينتون الطريق إلى الشجرة التي كانت في ذهنه، و هو يتفقد الشجيرات بحثاً عن الثعابين أثناء سيرنا. ربما يبلغ طولها عشرين قدماً؛ نظر هينتون إلى الأعلى ليرى في أي اتجاه كان يميل، و لن يعلق النصل". في نهاية الطريق، و إذا اختفت الشجرة غير الضرورية، و في نهاية المطاف، سيطرت الجاذبية. و تدفق الضوء. كان هينتون مغرماً بآلة بولتزمان. و أعرب عن أمله في أن يكون هذا، أو شيء من هذا القبيل، قال لي: "يجب أن يكون صحيحاً". "لو كنت الله لجعلت الأمر حقيقة. أصبحت تميل إلى أن تطغى عليها العشوائية المضمنة فيها. "اعتقد جيف أنها كانت أجمل خوارزمية. اعتقدت أنها كانت قبيحة. لقد كانت عشوائية» أي أنها كانت مبنية جزئياً على العشوائية. على النقيض من ذلك، قال ليكون: "اعتقدت أن الدعامة الخلفية كانت نظيفة للغاية. حتى عندما كان هينتون يعمل مع سيجنوفسكي على آلة بولتزمان، رونالد ويليامز، في الدعامة الخلفية. لقد اشتبهوا في أن هذه التقنية لديها إمكانات غير مستغلة للتعلم؛ و على وجه الخصوص، أرادوا دمجها مع الشبكات العصبية التي تعمل عبر العديد من الطبقات. إحدى الطرق لفهم الدعامة الخلفية هي تخيل نظام قضائي كافكائي. تخيل أن الطبقة العليا من الشبكة العصبية هي هيئة محلفين يجب أن تنظر في القضايا إلى الأبد. في الواقع المرير الذي تتكشف فيه الدعامة الخلفية، يحدد المحلفون الثلاثة المخطئون كيف أصبحوا هم أنفسهم مضللين. إنهم يأخذون في الاعتبار التأثيرات الخاصة بهم - الآباء و المعلمين و النقاد و ما شابه - و يحددون الأفراد الذين كذبوا عليهم. و يترتب على ذلك جولات متكررة من توجيه أصابع الاتهام، حيث تستدعي كل طبقة من المؤثرين تأثيراتها الخاصة في الاعتبار، في سلسلة متتالية من الخلف. تقوم الشبكة بتعديل نفسها بشكل متناسب، تتكرر العملية برمتها مراراً و تكراراً، بدقة رياضية، في عام 1986، و أشاروا إلى أن الدعامة الخلفية، لكن الدعامة الخلفية لا تزال تمكن من التخصص العصبي الشبيه بالدماغ. يتم ترتيب الخلايا العصبية أحياناً في هياكل تهدف إلى حل مشكلات محددة: في النظام البصري، تتعرف "أعمدة" مختلفة من الخلايا العصبية على الحواف فيما نراه. تُخضع الطبقات العليا الطبقات السفلية لنوع من الضغط التطوري؛ فإن طبقات معينة من الشبكة المكلفة بفك رموز الكتابة اليدوية، يستطيع النظام ككل تطوير "تمثيلات داخلية مناسبة". و تستفيد من معرفتها. في الخمسينيات و الستينيات من القرن الماضي، رافق قدر كبير من الإثارة جهود البيرسبترون و الجهود الاتصالية الأخرى؛ لكن العمل الفعلي لبناء شبكات الدعم الخلفي كان بطيئاً، لأسباب عملية و مفاهيمية. يتذكر هينتون قائلاً: "كان معدل التقدم في الأساس هو مقدار ما يمكن أن يتعلمه الكمبيوتر بين عشية و ضحاها". "الجواب في كثير من الأحيان لم يكن كثيراً. لا يمكنك الدخول و تعديل أوزان الاتصالات بين الخلايا العصبية الاصطناعية. لأنها تكيفت و غيرت نفسها من خلال التدريب. على سبيل المثال، تحفظ الشبكة بيانات التدريب بشكل فعال بدلاً من تعلم التعميم منها. لم يكن تجنب المخاطر المختلفة أمراً سهلاً دائماً، و لكن ليس كثيراً). يمكنهم "التدريب المسبق" للنظام، ثم وضع شبكة داعمة خلفية فوقها، بحيث لا يبدأ التدريب "الخاضع للإشراف" للنظام إلا بعد اكتساب بعض العناصر الأساسية. المعرفة في حد ذاتها. ثم يتركون الشبكة تتعلم، تم تطوير "بنيات" جديدة للشبكة العصبية: سمحت الشبكات "المتكررة" و "الالتفافية" للأنظمة بإحراز تقدم من خلال البناء على عملها بطرق مختلفة. لقد قاموا بإدارة مكعب روبيك بهذه الطريقة و ذاك، في محاولة لإخراج النظام من الضوضاء. "لم يكن الإيمان حقاً، بل كان واضحاً تماماً بالنسبة لي. " يستخدم الدماغ الخلايا العصبية للتعلم؛ و لذلك، يجب أن يكون التعلم المعقد من خلال الشبكات العصبية ممكناً. كان سيعمل بجهد مضاعف لمدة أطول. عندما تم تدريب الشبكات من خلال الدعامة الخلفية، كان لا بد من إخبارها متى كانت مخطئة و بأي حجم؛ و التي من شأنها أن تسمح للشبكات برؤية الفرق بين الرقم "7" المكتوب بخط اليد و الرقم "1"، أو بين المسترد الذهبي و الجهاز الأحمر. و التي استخدموها لاحقاً لتدريب الشبكات التي يمكنها قراءة نماذج الرموز البريدية المقدمة من خدمة البريد الأمريكية. في جامعة ستانفورد، جهداً هائلاً يسمى ImageNet؛ و مع نمو الشبكات العصبية بشكل أكبر، "في المدرسة، و هذا فان جوخ، و هذا ويليام بليك". لكن لنفترض أن مدرس الفنون يقول لك: "حسناً، هذا تيتيان. و هو أمر غير معتاد بالنسبة لتيتيان. ' إنهم لا يخبرونك بالإجابة الصحيحة فحسب، بل يخبرونك بإجابات معقولة أخرى. في التعلم بالتقطير، توفر إحدى الشبكات العصبية للشبكة الأخرى ليس فقط الإجابات الصحيحة و لكن أيضاً مجموعة من الإجابات المحتملة و احتمالاتها. كانت جاكي مثقفة، فضولية، بدأ هو و جاكي في استكشاف الجزر في الخليج الجورجي. و قال: "لقد وجدناها في الغابة، و كانت فاسدة تماماً، كل شيء فيها كان فاسداً". "لكن جاكي قررت إنقاذها على أي حال، لسوء الحظ، أصبحت قوة الدعامة الخلفية لا يمكن إنكارها. أخبرني هينتون أنه في أوائل السبعينيات، و خلص لايتهيل إلى أن الأمر لم يكن كذلك، و قال هينتون: "و كان على حق، إذا قبلت الافتراض الذي طرحه الجميع، أجرى هينتون عملية حسابية في رأسه. لنفترض أنه في عام 1985 بدأ تشغيل برنامج على كمبيوتر بحثي سريع، إذا بدأ تشغيل نفس البرنامج اليوم، في أوائل الألفية الثانية، عندما بدأت الشبكات العصبية متعددة الطبقات المجهزة بأجهزة كمبيوتر قوية في التدريب على مجموعات بيانات أكبر بكثير، بدأ هينتون، و بينجيو، تجاوز هذا العمل العتبة في عام 2012، عندما توصل هينتون و أليكس كريزيفسكي و إيليا سوتسكيفر إلى AlexNet،

ينتمي هينتون إلى عائلة إنجليزية علمية من نوع خاص: راديكالية سياسياً، و مبتكرة بشكل لا يهدأ. و فوقه في شجرة العائلة يوجد عمه الأكبر سيباستيان هينتون، مخترع صالة الألعاب الرياضية في الغابة، و ابن عمه جوان هينتون، الذي عمل فيزيائياً في مشروع مانهاتن. و بالعودة إلى الوراء، فقد سبقته لوسي إيفرست، و هي أول امرأة تصبح عضواً منتخباً في المعهد الملكي للكيمياء؛ تشارلز هوارد هينتون، عالم الرياضيات الذي ابتكر مفهوم التسراكت، و هو مدخل إلى البعد الرابع (يظهر أحدها في فيلم "بين النجوم")؛ و جيمس هينتون، جراح الأذن الرائد و المدافع عن تعدد الزوجات. (يقال أنه قال: "كان المسيح مخلص الرجال، و لكن أنا مخلص النساء".). و في منتصف القرن التاسع عشر، قام الجد الأكبر لهينتون، عالم الرياضيات الإنجليزي جورج بول، بتطوير نظام الاستدلال الثنائي، المعروف الآن باسم الجبر البولي، و الذي يشكل أهمية أساسية لكل أنواع الحوسبة. كان بول متزوجاً من ماري إيفرست، عالمة الرياضيات و المؤلفة و ابنة أخت جورج إيفرست، المساح الذي سمي جبل إيفرست باسمه.

"ولد جيف في مجال العلوم"، هكذا قال يان ليكون، الطالب السابق و المتعاون مع هينتون و الذي يدير الآن شركة الذكاء الاصطناعي في ميتا، أخبرني. و مع ذلك، كانت عائلة هينتون أغرب من ذلك. نشأ والده، هوارد إيفرست هينتون، في المكسيك خلال الثورة المكسيكية، في التسعينيات، في منجم للفضة كان يديره والده. قال هينتون عن والده: «لقد كان قاسياً. تقول تقاليد العائلة إن هوارد، عندما كان في الثانية عشرة من عمره، هدد بإطلاق النار على مدرب الملاكمة الخاص به لأنه كان شديد القسوة، فأخذه المدرب على محمل الجد لدرجة أنه غادر المدينة. كانت لغة هوارد الأولى هي الإسبانية، و في بيركلي، حيث ذهب إلى الكلية، تعرض للسخرية بسبب لهجته. قال هينتون: "لقد كان يرافق مجموعة من الفلبينيين، الذين تعرضوا أيضاً للتمييز، و أصبح متطرفاً في بيركلي". و لم تكن سياسات هوارد الناضجة ماركسية فحسب، بل كانت سياسات ستالينية أيضاً: ففي عام 1968، عندما دخلت الدبابات السوفييتية إلى براغ، قال هوارد: "حان الوقت!".

في المدرسة، كان هينتون يميل نحو العلوم. لكن لأسباب أيديولوجية منعه والده من دراسة علم الأحياء. و من وجهة نظر هوارد، فإن إمكانية الحتمية الجينية تتعارض مع الاعتقاد الشيوعي في القدرة المطلقة للطبيعة البشرية. (قال هينتون و هو يتذكر هذه الفترة: "أنا أكره الأديان بجميع أنواعها). كان هوارد، الذي قام بالتدريس في جامعة بريستول، أشبه بعالم الحشرات في إنديانا جونز: فقد قام بتهريب مخلوقات نادرة من جميع أنحاء العالم إلى إنجلترا في أمتعته، و قام بتحرير مجلة مهمة في مجاله. شعر هينتون، و اسمه الأوسط أيضاً إيفرست، بضغوط هائلة ليترك بصمته الخاصة. و يتذكر أن والده قال له: "إذا كنت تعمل بجهد مضاعف مثلي، فعندما يكون عمرك ضعفي قد تصبح أفضل بنصف عمري".

في كامبريدج، جرب هينتون مجالات مختلفة، لكنه شعر بالفزع عندما اكتشف أنه لم يكن أبداً الطالب الأكثر ذكاءً في أي فصل دراسي. ترك الكلية لفترة وجيزة "لقراءة الروايات المحبطة" و القيام بأعمال غريبة في لندن، ثم عاد ليحاول الهندسة المعمارية لمدة يوم تقريباً. أخيراً، بعد الانغماس في الفيزياء و الكيمياء و علم وظائف الأعضاء و الفلسفة، بحثاً عن التركيز، استقر على شهادة في علم النفس التجريبي. كان يطارد ساعات مكتب الفيلسوف الأخلاقي برنارد ويليامز، الذي تبين أنه كان مهتماً بالكمبيوتر و العقل. في أحد الأيام، أشار ويليامز إلى أن أفكارنا المختلفة يجب أن تعكس ترتيبات فيزيائية مختلفة داخل أدمغتنا؛ كان هذا مختلفاً تماماً عن الوضع داخل الكمبيوتر، حيث كان البرنامج مستقلاً عن الأجهزة. لقد أذهل هينتون بهذه الملاحظة. و تذكر كيف أخبره أحد الأصدقاء في المدرسة الثانوية أن الذاكرة يمكن تخزينها في الدماغ "بصورة ثلاثية الأبعاد" - أي منتشرة، و لكن بطريقة يمكن الوصول إليها بالكامل من خلال أي جزء واحد. ما كان يواجهه هو "الاتصالية" - و هو نهج يجمع بين علم الأعصاب و الرياضيات و الفلسفة و البرمجة لاستكشاف كيف يمكن للخلايا العصبية أن تعمل معاً من أجل "التفكير". كان أحد أهداف الاتصالية هو إنشاء نظام يشبه الدماغ في الكمبيوتر. كان هناك بعض التقدم: جهاز بيرسيبترون، و هو جهاز تم بناؤه في الخمسينيات من قبل عالم نفس و رائد في مجال الاتصال يدعى فرانك روزنبلات، استخدم أجهزة كمبيوتر بسيطة لمحاكاة شبكة من مئات الخلايا العصبية. عند توصيله بجهاز استشعار للضوء، يمكن للجهاز التعرف على الحروف و الأشكال من خلال تتبع الخلايا العصبية الاصطناعية التي تم تنشيطها بواسطة أنماط مختلفة من الضوء.

في الكوخ، كان هينتون يقف و يتمشى، و يتحرك ذهاباً و إياباً خلف طاولة المطبخ و في جميع أنحاء الطابق الأول. لقد صنع بعض الخبز المحمص، و أحضر لكل منا تفاحة، ثم قام بإعداد طاولة معززة صغيرة لنفسه باستخدام مقعد متدرج. كان لضغوط الأسرة تأثير في إبعاده عن الإشباع المؤقت. يتذكر بحزن بينما كنا نأكل: "لطالما أحببت الأعمال الخشبية". "في المدرسة، يمكنك القيام بذلك طوعاً في المساء. و كثيراً ما تساءلت عما إذا كنت سأكون أكثر سعادة كمهندس معماري، لأنني لم أضطر إلى إجبار نفسي على القيام بذلك. بينما، مع العلم، كان عليَّ دائماً أن أجبر نفسي. بسبب عائلتي، كان عليَّ أن أنجح في ذلك، كان عليَّ أن أجد طريقاً. كان هناك فرح في ذلك، و لكن كان في الغالب القلق. و الآن أشعر بارتياح كبير لأنني نجحت».

رن جهاز الكمبيوتر المحمول الخاص بهينتون. منذ أن ترك جوجل، كان صندوق الوارد الخاص به مليئاً بطلبات التعليق على الذكاء الاصطناعي. لقد تجول و نظر إلى البريد الإلكتروني، ثم ضاع مرة أخرى في غابة أشجار العائلة، التي بدت جميعها خاطئة بطريقة أو بأخرى.

قال: "انظر إلى هذا".
مشيت و نظرت إلى الشاشة. لقد كانت عبارة عن "شجرة عائلة أكاديمية"، تظهر هينتون في الأعلى مع طلابه و طلابهم المصطفين في الأسفل. و كانت الشجرة عريضة جداً لدرجة أنه اضطر إلى التمرير أفقياً لمعرفة مدى تأثيره. قال هينتون و هو يستكشف: "أوه يا عزيزي". "لم تكن حقاً تلميذتي." لقد انتقل أكثر. "لقد كان رائعاً و لكنه لم يكن جيداً كمستشار، لأنه كان بإمكانه دائماً القيام بذلك بشكل أفضل بنفسه". يبدو أن هينتون، الذي يرعى المواهب بعناية، يستمتع بتفوق طلابه عليه: فعند تقييم المرشحين للوظائف، كان يسأل مستشاريهم: "لكن هل هم أفضل منك؟" متذكراً والده الذي توفي عام 1977، قال هينتون: "إنه كانت تنافسية للغاية. و لقد تساءلت كثيراً، إذا كان موجوداً لرؤيتي أنجح، و ما إذا كان سيكون سعيداً تماماً. لأنني الآن أصبحت أكثر نجاحاً مما كان عليه.

وفقًا لـ Google Scholar، يعد هينتون الآن ثاني أكثر الباحثين استشهاداً بين علماء النفس، و
الأكثر استشهاداً بين علماء الكمبيوتر و علماء الإدراك. إذا كانت بدايته بطيئة و غريبة الأطوار في كامبريدج، فذلك يرجع جزئياً إلى أنه كان يدور في مجال ناشئ. قال و هو يغلق جهاز الكمبيوتر المحمول: "الشبكات العصبية، كان هناك عدد قليل جداً من الأشخاص في الجامعات الجيدة الذين فعلوا ذلك". "لا يمكنك فعل ذلك في معهد ماساتشوستس للتكنولوجيا. لا يمكنك فعل ذلك في بيركلي. لا يمكنك فعل ذلك في جامعة ستانفورد». كانت هناك مزايا لكونها مركزاً في شبكة ناشئة. لسنوات عديدة، جاء إليه العديد من أفضل العقول.

قال هينتون في صباح اليوم التالي: "الطقس جيد". "يجب أن نقطع شجرة." كان يرتدي قميصاً مدسوساً باللون الكاكي و لا يبدو كثيراً مثل الحطاب؛ و مع ذلك، كان يفرك يديه معاً. في الجزيرة، يقوم دائماً بقطع الأشجار لإنشاء لوحات أكثر تنظيماً و جمالاً.

المنزل أيضاً هو عمل قيد التقدم. قليل من المقاولين يسافرون إلى مكان بعيد جداً، و قد ارتكب الأشخاص الذين استأجرهم هينتون أخطاء لا داعي لها (تشغيل أنبوب الصرف الصحي صعوداً، و ترك الطوابق نصف مكتملة) و التي لا تزال تثير غضبه حتى اليوم. تضم كل غرفة تقريباً مشروعاً تصحيحياً صغيراً، و عندما زرتها، كان هينتون قد ألحق بها ملاحظات صغيرة لمساعدة مقاول جديد، و غالباً ما كان يكتب على مواد البناء نفسها. في حمام الطابق الأول، توجد قطعة من اللوح مثبتة على الحائط مكتوب عليها "يجب أن يحتوي الحمام على هذا النوع من اللوح (زخرفة خشب القيقب أمام الدش فقط)." في خزانة غرفة الضيوف، كان هناك شريط لاصق يمتد على طول الرف: "لا تضع الرف الأساسي، دع الرف الأساسي."

من المفيد للعقول تسمية الأشياء؛ فهو يساعدهم على السيطرة على الواقع. و لكن ماذا يعني أن يفعل العقل الاصطناعي ذلك بينما كان هينتون يحصل على درجة الدكتوراة؟ حصل على درجة الدكتوراة في الذكاء الاصطناعي من جامعة إدنبرة، و فكر في كيفية محاكاة "المعرفة" في الدماغ في الكمبيوتر. في ذلك الوقت، في السبعينيات، كانت الغالبية العظمى من الذكاء الاصطناعي. كان الباحثون "رمزيين". من وجهة نظرهم، فإن معرفة الكاتشب، على سبيل المثال، قد تنطوي على عدد من المفاهيم، مثل "الطعام"، و "الصلصة"، و "البهار"، و "الحلو"، و "أومامي"، و "الأحمر"، و "الطماطم"، و "الأمريكية"، و ""البطاطا المقلية"" و "المايونيز" و "الخردل"؛ و يمكن لهذه الأمور معاً أن تخلق سقالة يمكن أن يُعلق عليها مفهوم جديد مثل "الكاتشب". منظمة ذكاء اصطناعي كبيرة و ممولة جيداً. و تركز الجهد المسمى Cyc على بناء مستودع معرفي واسع يستطيع العلماء، باستخدام لغة خاصة، إدخال المفاهيم و الحقائق و القواعد، إلى جانب استثناءاتها الحتمية. (الطيور تطير، و لكن ليس طيور البطريق أو الطيور ذات الأجنحة التالفة أو . . .).
لكن هينتون كان متشككاً في هذا النهج. بدأ الأمر جامداً للغاية، و ركز أيضاً على مهارات التفكير التي يمتلكها الفلاسفة و اللغويون. كان يعلم أن العديد من الحيوانات في الطبيعة تتصرف بذكاء دون الوصول إلى المفاهيم التي يمكن التعبير عنها بالكلمات. لقد تعلموا ببساطة كيف يكونوا أذكياء من خلال التجربة. التعلم، و ليس المعرفة، كان محرك الذكاء.

غالباً ما يبدو أن التفكير البشري المتطور يحدث من خلال الرموز و الكلمات. لكن هينتون و معاونوه، جيمس إل ماكليلاند و ديفيد روميلهارت، اعتقدوا أن الكثير من الأحداث حدثت على مستوى دون مفاهيمي. لاحظوا، كما كتبوا، أنه "إذا علمت حقيقة جديدة عن شيء ما، فإن توقعاتك بشأن أشياء أخرى مماثلة تميل إلى التغيير": إذا قيل لك أن الشمبانزي يحب البصل، على سبيل المثال، فقد تخمن أن الغوريلا تحبه، أيضاً. و يشير هذا إلى أنه من المحتمل أن تكون المعرفة "موزعة" في العقل، أي أنها مكونة من وحدات بناء أصغر يمكن تقاسمها بين الأفكار ذات الصلة. لن يكون هناك شبكتان منفصلتان من الخلايا العصبية لمفهومي "الشمبانزي" و "الغوريلا". و بدلاً من ذلك، تمثل حزم من الخلايا العصبية "سمات" ملموسة أو مجردة مختلفة - الفراء، و الرباعية، و البدائية، و الحيوانية، و الذكاء، و الوحشية، و ما إلى ذلك - قد يتم تفعيلها بطريقة ما للدلالة على "الشمبانزي" و بطريقة مختلفة قليلاً للدلالة على "الغوريلا". إلى هذه السحابة من الميزات، يمكن إضافة الإعجاب بالبصل. إن العقل المبني بهذه الطريقة يخاطر بالوقوع في الارتباك و الخطأ: امزج الصفات معاً في ترتيب خاطئ و ستحصل على مخلوق خيالي ليس غوريلا و لا شمبانزي. لكن الدماغ الذي يمتلك خوارزمية التعلم الصحيحة قد يضبط الأوزان بين خلاياه العصبية لتفضيل المجموعات المعقولة على المجموعات غير المتماسكة.

واصل هينتون استكشاف هذه الأفكار، أولاً في جامعة كاليفورنيا، سان دييجو، حيث أجرى أبحاث ما بعد الدكتوراه (و تزوج من جوان، التي كان يدرسها في مجال الرؤية الحاسوبية)؛ ثم في كامبريدج، حيث عمل باحثاً في علم النفس التطبيقي؛ ثم في جامعة كارنيجي ميلون في بيتسبرغ، حيث أصبح أستاذاً لعلوم الكمبيوتر في عام 1982. و هناك، أنفق الكثير من ميزانية بحثه على جهاز كمبيوتر واحد قوي بما يكفي لتشغيل شبكة عصبية. و سرعان ما تزوج للمرة الثانية من روزاليند زالين، عالمة الأحياء الجزيئية. و في جامعة كارنيجي ميلون، حقق هينتون تقدماً كبيراً. و من خلال العمل مع تيرينس سينوفسكي، عالم الكمبيوتر و عالم الأعصاب، أنتج شبكة عصبية تسمى آلة بولتزمان. تم تسمية النظام على اسم لودفيج بولتزمان، الفيزيائي النمساوي في القرن التاسع عشر الذي وصف، رياضياً، كيف يرتبط سلوك الغازات على نطاق واسع بالسلوك على نطاق صغير للجسيمات المكونة لها. قام هينتون و سيجنوفسكي بدمج هذه المعادلات مع نظرية التعلم.

كان هينتون متردداً في شرح آلة بولتزمان لي. قال: "سأخبرك كيف يكون هذا". "يشبه الأمر أن يكون لديك طفل صغير، و تقرر الذهاب في نزهة على الأقدام. و هناك جبل أمامك، و عليك أن تأخذ هذا الطفل الصغير إلى قمة الجبل و تعود به. نظر إليَّ – الطفل في الاستعارة – و تنهد. لقد كان قلقاً، بشكل معقول، من أن يتم تضليلي من خلال تفسير مبسط و من ثم تضليل الآخرين. "لا فائدة من محاولة شرح الأفكار المعقدة التي لا تفهمها. أولاً، عليك أن تفهم كيف يعمل شيء ما. و إلا فإنك تنتج فقط هراء ". أخيراً، أخذ بعض الأوراق و بدأ في رسم مخططات للخلايا العصبية المتصلة بواسطة الأسهم و كتابة المعادلات، التي حاولت اتباعها. (قبل زيارتي، كنت قد أنهيت دورة أكاديمية خان حول الجبر الخطي).

اقترح أن إحدى الطرق لفهم آلة بولتزمان هي تخيل مجموعة الهوية: نظام يمكن من خلاله تحديد سمات الوجه المختلفة - الحواجب الكثيفة، و العيون الزرقاء، و الأنوف الملتوية، و الشفاه الرقيقة، و الأذنين الكبيرة، و ما إلى ذلك - مجتمعة لإنتاج رسم تخطيطي مركب، من النوع الذي تستخدمه الشرطة. لكي تعمل مجموعة Identi-Kit، يجب تصميم الميزات نفسها بشكل مناسب. يمكن لآلة بولتزمان أن تتعلم ليس فقط تجميع الميزات، بل تصميمها، عن طريق تغيير أوزان الوصلات بين خلاياها العصبية الاصطناعية. سيبدأ بملامح عشوائية تبدو كالثلج على شاشة التلفاز، ثم يمضي على مرحلتين - "الاستيقاظ" و "النوم" - لتحسينها. أثناء الاستيقاظ، سيتم تعديل الميزات بحيث تناسب الوجه الفعلي بشكل أفضل. أثناء النوم، يتخيل وجهاً غير موجود، ثم يغير الملامح بحيث تصبح أسوأ.

أخبرته أحلامه بما لا يجب أن يتعلمه. كانت هناك أناقة في النظام: مع مرور الوقت، كان بإمكانه الابتعاد عن الخطأ و نحو الواقع، و لم يكن على أحد أن يخبره إذا كان على صواب أم على خطأ - كان يحتاج فقط إلى رؤية ما هو موجود، والحلم بما هو غير موجود.

وصف هينتون و سيجنوفسكي آلة بولتزمان في ورقة بحثية عام 1983. قال لي يان ليكون: "قرأت تلك الورقة عندما كنت أبدأ دراستي العليا، و قلت:
"لا بد لي من التحدث إلى هؤلاء الأشخاص - إنهم الأشخاص الوحيدون في العالم الذين يفهمون أننا بحاجة إلى خوارزميات التعلم". في منتصف الثمانينات، ظهر يوشوا بينجيو، الرائد في معالجة اللغات الطبيعية و الرؤية الحاسوبية و الذي يشغل الآن منصب المدير العلمي في ميلا، و هي شركة للذكاء الاصطناعي. قام بتدريب معهد بولتزمان في كيبيك على التعرف على المقاطع المنطوقة كجزء من أطروحة الماجستير الخاصة به. يتذكر قائلاً: "كان ججيف أحد المراجعين الخارجيين". "و كتب شيئاً مثل: "هذا لا ينبغي أن ينجح". كانت نسخة بينجيو من آلة بولتزمان أكثر فعالية مما توقع هينتون؛ استغرق الأمر من بينجيو بضع سنوات لمعرفة السبب. و هذا من شأنه أن يصبح نمطاً مألوفاً. و في العقود التالية، غالباً ما يكون أداء الشبكات العصبية أفضل من المتوقع، ربما بسبب تشكل هياكل جديدة بين الخلايا العصبية أثناء التدريب. يتذكر بنجيو أن "الجزء التجريبي من العمل جاء قبل النظرية". في كثير من الأحيان، كان الأمر يتعلق بتجربة أساليب جديدة و رؤية ما توصلت إليه الشبكات.

و قال هينتون إن سبب كراهية روزاليند لرونالد ريغان يعود جزئياً إلى ذلك، مما دفعهما إلى الانتقال إلى جامعة تورنتو. لقد تبنوا طفلين، صبي و فتاة، من أمريكا اللاتينية، و عاشوا في منزل بالمدينة. قال هينتون: «كنت من هذا النوع من الأساتذة الاشتراكيين الذين كانوا مخلصين لعملهم.

عانت روزاليند من العقم، و كانت لها تجارب سيئة مع الأطباء القساة. ربما كنتيجة لذلك، اتبعت طريق المعالجة المثلية عندما تم تشخيص إصابتها بسرطان المبيض لاحقاً. قال هينتون: "لم يكن الأمر منطقياً". "لا يمكن أن تجعل الأشياء أكثر تمييعاً و تصبح أكثر قوة." لم يستطع أن يرى كيف يمكن لعالم الأحياء الجزيئي أن يصبح معالجاً تجانسياً. و مع ذلك، عاقدةً العزم على علاج السرطان بنفسها، رفضت روزاليند إجراء عملية جراحية حتى بعد أن وجد الفحص ورماً بحجم ثمرة الجريب فروت. في وقت لاحق، وافقت على إجراء عملية جراحية لكنها رفضت العلاج الكيميائي، و بدلاً من ذلك اتبعت علاجات المعالجة المثلية باهظة الثمن، أولاً في كندا ثم في سويسرا. أصيبت بأورام ثانوية. طلبت من هينتون بيع منزلها حتى تتمكن من دفع تكاليف العلاجات المثلية الجديدة. يتذكر و هو يحدق بألم جديد: "لقد رسمت الخط هناك". فقلت: لا، لن نبيع المنزل. لأنه إذا مت فسأضطر إلى الاعتناء بالأطفال، و من الأفضل لهم أن نبقى».

عادت روزاليند إلى كندا و دخلت المستشفى على الفور. لقد انتظرت بضعة أشهر، لكنها لم تسمح للأطفال بزيارتها إلا في اليوم السابق لوفاتها، لأنها لم تكن تريدهم أن يرونها مريضة إلى هذا الحد. طوال فترة مرضها، كانت مقتنعة بأنها ستتعافى قريباً. عند وصف ما حدث، لا يزال هينتون يبدو مرتبكاً، فهو غاضب، و مذنب، و مجروح، و محير. عندما توفيت روزاليند، كان هينتون في السادسة و الأربعين من عمره، و كان ابنه في الخامسة من عمره، و كانت ابنته في الثالثة من عمرها. و أضاف: "لقد آذت الناس لأنها لم تتقبل فكرة أنها ستموت".

ملأ صوت الأمواج هدوء منتصف الظهيرة. تسربت أشعة الشمس الصفراء القوية عبر نوافذ الغرفة الممتدة من الأرض حتى السقف؛ امتدت عبرهم شبكات عنكبوت باهتة، ظلها الضوء. وقف هينتون لبعض الوقت، و هو يجمع نفسه.

قال: "أعتقد أنني بحاجة إلى قطع شجرة".

خرجنا من الباب الأمامي و أسفل الطريق المؤدي إلى الحظائر. و من أحدهم، استعاد هينتون منشاراً أخضراً صغيراً و بعض نظارات السلامة.

و قال: "تقول روزماري إنه غير مسموح لي بقطع الأشجار عندما لا يكون هناك أي شخص آخر هنا، في حالة قطع ذراعي أو شيء من هذا القبيل". قلت: "هل قمت بقيادة القوارب من قبل؟"

قلت: "لا".

"لا يجب أن أقطع ذراعي اليمنى إذن."

فوق سرواله الكاكي، كان يرتدي زوجاً من الفواصل الواقية.

قال: "لا أريد أن أعطيك الانطباع بأنني أعرف ما أفعله". "لكن الفكرة الأساسية هي أنك تقطع الكثير من أشكال حرف V، و من ثم تسقط الشجرة."

عبر هينتون الطريق إلى الشجرة التي كانت في ذهنه، و هو يتفقد الشجيرات بحثاً عن الثعابين أثناء سيرنا. كانت الشجرة عبارة عن شجرة أرز مورقة، ربما يبلغ طولها عشرين قدماً؛ نظر هينتون إلى الأعلى ليرى في أي اتجاه كان يميل، ثم شغل المنشار و بدأ في قطع الجذع على الجانب المقابل للميل. أزال المنشار، و قام بعمل قطع متقارب آخر ليشكل حرف V. ثم توقف و التفت نحوي. و أوضح: "نظراً لأن الشجرة تميل بعيداً عن القطع، فإن حرف V سوف ينفتح كلما تعمقت أكثر، و لن يعلق النصل".

كان هينتون يشغل المنشار في صمت، و كان يتوقف أحياناً ليمسح جبينه. كان الجو حاراً في الشمس، و احتشد البعوض في كل زاوية مظللة. لقد فتشت جانب السقيفة، حيث كان النمل و العناكب منخرطين في نشاط غامض و متواصل. في نهاية الطريق، أشرق الماء. لقد كانت بقعة جميلة. و مع ذلك، اعتقدت أنني فهمت سبب رغبة هينتون في تغييره: تلة مستديرة جميلة تنحدر إلى جوف لطيف، و إذا اختفت الشجرة غير الضرورية، يمكن أن يتدفق الضوء إليها. كانت الشجرة خطأ.

و في نهاية المطاف، بدأ بقطعٍ ثانٍ على الجانب الآخر من الشجرة، و وجهه نحو الجانب الأول. ثم تحرك ذهاباً و إياباً، معمِّقاً كلا القطعتين، دافعاً الشجرة نحو لحظة انتروبية. و فجأة، و بصمت تقريباً، سيطرت الجاذبية. سقطت الشجرة تحت ثقلها، و هبطت بنعومة مدهشة في قاع الجوف. و تدفق الضوء.

كان هينتون مغرماً بآلة بولتزمان. و أعرب عن أمله في أن يكون هذا، أو شيء من هذا القبيل، أساس التعلم في الدماغ الفعلي. قال لي: "يجب أن يكون صحيحاً". "لو كنت الله لجعلت الأمر حقيقة." لكن المزيد من التجارب كشفت أنه مع نمو آلات بولتزمان، أصبحت تميل إلى أن تطغى عليها العشوائية المضمنة فيها. قال ليكون: "لقد اختلفنا أنا وجيف حول آلة بولتزمان". "اعتقد جيف أنها كانت أجمل خوارزمية. اعتقدت أنها كانت قبيحة. لقد كانت عشوائية» أي أنها كانت مبنية جزئياً على العشوائية. على النقيض من ذلك، قال ليكون: "اعتقدت أن الدعامة الخلفية كانت نظيفة للغاية."

"التراجع الخلفي"أو خوارزمية الانتشار العكسي، كانت خوارزمية تم استكشافها من قبل عدد قليل من الباحثين المختلفين بدءاً من الستينيات. حتى عندما كان هينتون يعمل مع سيجنوفسكي على آلة بولتزمان، كان يتعاون أيضاً مع روملهارت و عالم كمبيوتر آخر، رونالد ويليامز، في الدعامة الخلفية. لقد اشتبهوا في أن هذه التقنية لديها إمكانات غير مستغلة للتعلم؛ و على وجه الخصوص، أرادوا دمجها مع الشبكات العصبية التي تعمل عبر العديد من الطبقات.

الشبكات التي تعمل عبر طبقات عديدة. إحدى الطرق لفهم الدعامة الخلفية هي تخيل نظام قضائي كافكائي. تخيل أن الطبقة العليا من الشبكة العصبية هي هيئة محلفين يجب أن تنظر في القضايا إلى الأبد. لقد توصلت هيئة المحلفين للتو إلى حكم. في الواقع المرير الذي تتكشف فيه الدعامة الخلفية، يستطيع القاضي أن يخبر المحلفين بأن حكمهم كان خاطئاً، و أنهم سوف يعاقبون حتى يصلحوا أساليبهم. يكتشف المحلفون أن ثلاثة منهم كان لهم تأثير خاص في قيادة المجموعة إلى الطريق الخطأ. إن توزيع اللوم على هذا النحو هو الخطوة الأولى في الانتشار العكسي.

في الخطوة التالية، يحدد المحلفون الثلاثة المخطئون كيف أصبحوا هم أنفسهم مضللين. إنهم يأخذون في الاعتبار التأثيرات الخاصة بهم - الآباء و المعلمين و النقاد و ما شابه - و يحددون الأفراد الذين كذبوا عليهم. و يجب على هؤلاء المؤثرين الذين يستحقون اللوم، بدورهم، تحديد التأثيرات الخاصة بكل منهم و توزيع اللوم فيما بينهم. و يترتب على ذلك جولات متكررة من توجيه أصابع الاتهام، حيث تستدعي كل طبقة من المؤثرين تأثيراتها الخاصة في الاعتبار، في سلسلة متتالية من الخلف. في نهاية المطاف، بمجرد معرفة من الذي قام بتضليل من و بأي حجم، تقوم الشبكة بتعديل نفسها بشكل متناسب، بحيث يستمع الأفراد إلى تأثيراتهم "السيئة" بشكل أقل قليلاً و إلى تأثيراتهم "الجيدة" أكثر قليلاً. تتكرر العملية برمتها مراراً و تكراراً، بدقة رياضية، حتى تصبح الأحكام - ليس فقط في هذه الحالة وحدها و لكن في جميع الحالات - مجتمعة "صحيحة" قدر الإمكان.

في عام 1986، نشر هينتون و روملهارت و ويليامز بحثاً من ثلاث صفحات في مجلة Nature يوضح كيف يمكن لمثل هذا النظام أن يعمل في شبكة عصبية. و أشاروا إلى أن الدعامة الخلفية، مثل آلة بولتزمان، لم تكن "نموذجاً معقولاً للتعلم في الأدمغة": على عكس الكمبيوتر، لا يستطيع الدماغ إرجاع الشريط لمراجعة أدائه السابق. لكن الدعامة الخلفية لا تزال تمكن من التخصص العصبي الشبيه بالدماغ. في الأدمغة الحقيقية، يتم ترتيب الخلايا العصبية أحياناً في هياكل تهدف إلى حل مشكلات محددة: في النظام البصري، على سبيل المثال، تتعرف "أعمدة" مختلفة من الخلايا العصبية على الحواف فيما نراه. يظهر شيء مماثل في شبكة backprop. تُخضع الطبقات العليا الطبقات السفلية لنوع من الضغط التطوري؛ و نتيجة لذلك، فإن طبقات معينة من الشبكة المكلفة بفك رموز الكتابة اليدوية، على سبيل المثال، قد تصبح مركزة بشدة على تحديد الخطوط أو المنحنيات أو الحواف. و في نهاية المطاف، يستطيع النظام ككل تطوير "تمثيلات داخلية مناسبة". الشبكة تعرف، و تستفيد من معرفتها.

في الخمسينيات و الستينيات من القرن الماضي، رافق قدر كبير من الإثارة جهود البيرسبترون و الجهود الاتصالية الأخرى؛ تضاءل الحماس للاتصالية في السنوات التالية. كانت الورقة الخلفية جزءاً من إحياء الاهتمام و حظيت باهتمام واسع النطاق. لكن العمل الفعلي لبناء شبكات الدعم الخلفي كان بطيئاً، لأسباب عملية و مفاهيمية. و من الناحية العملية، كانت أجهزة الكمبيوتر بطيئة. يتذكر هينتون قائلاً: "كان معدل التقدم في الأساس هو مقدار ما يمكن أن يتعلمه الكمبيوتر بين عشية و ضحاها". "الجواب في كثير من الأحيان لم يكن كثيراً." من الناحية النظرية، كانت الشبكات العصبية غامضة. و لم يكن من الممكن برمجة واحدة بالطريقة التقليدية. لا يمكنك الدخول و تعديل أوزان الاتصالات بين الخلايا العصبية الاصطناعية. و على أية حال، كان من الصعب فهم ما تعنيه الأوزان، لأنها تكيفت و غيرت نفسها من خلال التدريب.

كانت هناك العديد من الطرق التي يمكن أن تسوء بها عملية التعلم. في حالة "التجهيز الزائد"، على سبيل المثال، تحفظ الشبكة بيانات التدريب بشكل فعال بدلاً من تعلم التعميم منها. لم يكن تجنب المخاطر المختلفة أمراً سهلاً دائماً، لأن الأمر متروك للشبكة للتعلم. كان الأمر أشبه بقطع شجرة: كان بإمكان الباحثين إجراء عمليات قطع هنا و هناك، و لكن كان عليهم بعد ذلك ترك العملية تتكشف. و يمكنهم تجربة تقنيات مثل "التجميع" (الجمع بين الشبكات الضعيفة لإنشاء شبكة قوية) أو "الإيقاف المبكر" (السماح للشبكة بالتعلم، و لكن ليس كثيراً). يمكنهم "التدريب المسبق" للنظام، عن طريق استخدام آلة بولتزمان، و جعلها تتعلم شيئاً ما، ثم وضع شبكة داعمة خلفية فوقها، بحيث لا يبدأ التدريب "الخاضع للإشراف" للنظام إلا بعد اكتساب بعض العناصر الأساسية. المعرفة في حد ذاتها. ثم يتركون الشبكة تتعلم، على أمل أن تصل إلى المكان الذي يريدونه.

تم تطوير "بنيات" جديدة للشبكة العصبية: سمحت الشبكات "المتكررة" و "الالتفافية" للأنظمة بإحراز تقدم من خلال البناء على عملها بطرق مختلفة. و لكن يبدو الأمر كما لو أن الباحثين اكتشفوا تقنية غريبة لا يعرفون كيفية استخدامها. لقد قاموا بإدارة مكعب روبيك بهذه الطريقة و ذاك، في محاولة لإخراج النظام من الضوضاء. قال هينتون: «كنت مقتنعاً دائماً بأن الأمر لم يكن هراءً. "لم يكن الإيمان حقاً، بل كان واضحاً تماماً بالنسبة لي." يستخدم الدماغ الخلايا العصبية للتعلم؛ و لذلك، يجب أن يكون التعلم المعقد من خلال الشبكات العصبية ممكناً. كان سيعمل بجهد مضاعف لمدة أطول.

عندما تم تدريب الشبكات من خلال الدعامة الخلفية، كان لا بد من إخبارها متى كانت مخطئة و بأي حجم؛ و هذا يتطلب كميات هائلة من البيانات المصنفة بدقة، و التي من شأنها أن تسمح للشبكات برؤية الفرق بين الرقم "7" المكتوب بخط اليد و الرقم "1"، أو بين المسترد الذهبي و الجهاز الأحمر. و لكن كان من الصعب العثور على مجموعات بيانات جيدة التصنيف و كبيرة بما يكفي، و كان بناء المزيد أمراً شاقاً. قام ليكون و معاونوه بتطوير قاعدة بيانات عملاقة من الأرقام المكتوبة بخط اليد، و التي استخدموها لاحقاً لتدريب الشبكات التي يمكنها قراءة نماذج الرموز البريدية المقدمة من خدمة البريد الأمريكية. قاد عالم كمبيوتر يدعى Fei Fei Li، في جامعة ستانفورد، جهداً هائلاً يسمى ImageNet؛ يتطلب إنشاؤها جمع أكثر من أربعة عشر مليون صورة و فرزها يدوياً إلى عشرين ألف فئة.

و مع نمو الشبكات العصبية بشكل أكبر، ابتكر هينتون طريقة لنقل المعرفة من شبكة كبيرة إلى شبكة أصغر يمكن تشغيلها على جهاز مثل الهاتف المحمول. و أوضح في مطبخه: "إنه يسمى التقطير". "في المدرسة، كان مدرس الفنون يعرض لنا بعض الشرائح و يقول: "هذا روبنز، و هذا فان جوخ، و هذا ويليام بليك". لكن لنفترض أن مدرس الفنون يقول لك: "حسناً، هذا تيتيان."، و لكنه تيتيان غريب لأن جوانبه تشبه إلى حد كبير رافائيل، و هو أمر غير معتاد بالنسبة لتيتيان.' إنهم لا يخبرونك بالإجابة الصحيحة فحسب، بل يخبرونك بإجابات معقولة أخرى. في التعلم بالتقطير، توفر إحدى الشبكات العصبية للشبكة الأخرى ليس فقط الإجابات الصحيحة و لكن أيضاً مجموعة من الإجابات المحتملة و احتمالاتها. لقد كان نوعاً أكثر ثراءً من المعرفة.

و بعد سنوات قليلة من وفاة روزاليند، عاود هينتون التواصل مع جاكلين فورد، و هي مؤرخة فنية واعدها لفترة وجيزة قبل انتقاله إلى الولايات المتحدة. كانت جاكي مثقفة، دافئة، فضولية، جميلة. قالت أخته: "إنها بعيدة كل البعد عن مستواك". و مع ذلك، تخلت جاكي عن وظيفتها في المملكة المتحدة للانتقال إلى تورونتو. تزوجا في 6 ديسمبر 1997، و هو عيد ميلاد هينتون الخمسين. ستكون العقود التالية هي الأسعد في حياته. كانت عائلته كاملة مرة أخرى. أحب أطفاله أمهم الجديدة. بدأ هو و جاكي في استكشاف الجزر في الخليج الجورجي. و تذكر هذه المرة، حدق في الزورق في غرفة معيشته. و قال: "لقد وجدناها في الغابة، مقلوبة و مغطاة بالقماش، و كانت فاسدة تماماً، كل شيء فيها كان فاسداً". "لكن جاكي قررت إنقاذها على أي حال، كما فعلت معي و مع الأطفال."

لم يكن هينتون يحب الانتشار العكسي. قال لي: "إنه أمر غير مُرضٍ على المستوى الفكري". على عكس آلة بولتزمان، “الأمر كله حتمي. لسوء الحظ، إنه يعمل بشكل أفضل." ببطء، مع تفاقم التقدم العملي، أصبحت قوة الدعامة الخلفية لا يمكن إنكارها. أخبرني هينتون أنه في أوائل السبعينيات، قامت الحكومة البريطانية بتعيين عالم رياضيات يُدعى جيمس لايتهيل لتحديد ما إذا كان الذكاء الاصطناعي أم لا. كان للبحث أي فرصة معقولة للنجاح. و خلص لايتهيل إلى أن الأمر لم يكن كذلك، و قال هينتون: "و كان على حق، إذا قبلت الافتراض الذي طرحه الجميع، و هو أن أجهزة الكمبيوتر قد تصبح أسرع بألف مرة، لكنها لن تصبح أسرع بمليار مرة". أجرى هينتون عملية حسابية في رأسه. لنفترض أنه في عام 1985 بدأ تشغيل برنامج على كمبيوتر بحثي سريع، و تركه قيد التشغيل حتى الآن. إذا بدأ تشغيل نفس البرنامج اليوم، على أسرع الأنظمة المستخدمة حالياً في الذكاء الاصطناعي، فسيستغرق الأمر أقل من ثانية للحاق به.

في أوائل الألفية الثانية، عندما بدأت الشبكات العصبية متعددة الطبقات المجهزة بأجهزة كمبيوتر قوية في التدريب على مجموعات بيانات أكبر بكثير، بدأ هينتون، و بينجيو، و ليكون في الحديث عن إمكانات "التعلم العميق". تجاوز هذا العمل العتبة في عام 2012، عندما توصل هينتون و أليكس كريزيفسكي و إيليا سوتسكيفر إلى AlexNet، و هي شبكة عصبية مكونة من ثماني طبقات تمكنت في النهاية من التعرف على الكائنات من ImageNet بدقة تصل إلى المستوى البشري. أسس هينتون شركة مع كريزيفسكي و سوتسكيفير و باعها لشركة جوجل. و قال هينتون إن هو و جاكي اشتريا الجزيرة الواقعة في خليج جورجيان، و هو ما يعتبر "متعة حقيقية بالنسبة لي".