ينتمي هينتون إلى عائلة إنجليزية علمية من نوع خاص: راديكالية سياسياً، و فوقه في شجرة العائلة يوجد عمه الأكبر سيباستيان هينتون، عالم الرياضيات الذي ابتكر مفهوم التسراكت، و هو مدخل إلى البعد الرابع (يظهر أحدها في فيلم "بين النجوم")؛ جراح الأذن الرائد و المدافع عن تعدد الزوجات. عالم الرياضيات الإنجليزي جورج بول، بتطوير نظام الاستدلال الثنائي، المعروف الآن باسم الجبر البولي، كان بول متزوجاً من ماري إيفرست، عالمة الرياضيات و المؤلفة و ابنة أخت جورج إيفرست، المساح الذي سمي جبل إيفرست باسمه. "ولد جيف في مجال العلوم"، في المكسيك خلال الثورة المكسيكية، في منجم للفضة كان يديره والده. قال هينتون عن والده: «لقد كان قاسياً. تقول تقاليد العائلة إن هوارد، هدد بإطلاق النار على مدرب الملاكمة الخاص به لأنه كان شديد القسوة، فأخذه المدرب على محمل الجد لدرجة أنه غادر المدينة. كانت لغة هوارد الأولى هي الإسبانية، حيث ذهب إلى الكلية، قال هينتون: "لقد كان يرافق مجموعة من الفلبينيين، و أصبح متطرفاً في بيركلي". و لم تكن سياسات هوارد الناضجة ماركسية فحسب، بل كانت سياسات ستالينية أيضاً: ففي عام 1968، عندما دخلت الدبابات السوفييتية إلى براغ، لكن لأسباب أيديولوجية منعه والده من دراسة علم الأحياء. فإن إمكانية الحتمية الجينية تتعارض مع الاعتقاد الشيوعي في القدرة المطلقة للطبيعة البشرية. (قال هينتون و هو يتذكر هذه الفترة: "أنا أكره الأديان بجميع أنواعها). أشبه بعالم الحشرات في إنديانا جونز: فقد قام بتهريب مخلوقات نادرة من جميع أنحاء العالم إلى إنجلترا في أمتعته، و يتذكر أن والده قال له: "إذا كنت تعمل بجهد مضاعف مثلي، فعندما يكون عمرك ضعفي قد تصبح أفضل بنصف عمري". ترك الكلية لفترة وجيزة "لقراءة الروايات المحبطة" و القيام بأعمال غريبة في لندن، ثم عاد ليحاول الهندسة المعمارية لمدة يوم تقريباً. بعد الانغماس في الفيزياء و الكيمياء و علم وظائف الأعضاء و الفلسفة، استقر على شهادة في علم النفس التجريبي. كان يطارد ساعات مكتب الفيلسوف الأخلاقي برنارد ويليامز، الذي تبين أنه كان مهتماً بالكمبيوتر و العقل. حيث كان البرنامج مستقلاً عن الأجهزة. و تذكر كيف أخبره أحد الأصدقاء في المدرسة الثانوية أن الذاكرة يمكن تخزينها في الدماغ "بصورة ثلاثية الأبعاد" - أي منتشرة، ما كان يواجهه هو "الاتصالية" - و هو نهج يجمع بين علم الأعصاب و الرياضيات و الفلسفة و البرمجة لاستكشاف كيف يمكن للخلايا العصبية أن تعمل معاً من أجل "التفكير". كان هناك بعض التقدم: جهاز بيرسيبترون، و هو جهاز تم بناؤه في الخمسينيات من قبل عالم نفس و رائد في مجال الاتصال يدعى فرانك روزنبلات، يمكن للجهاز التعرف على الحروف و الأشكال من خلال تتبع الخلايا العصبية الاصطناعية التي تم تنشيطها بواسطة أنماط مختلفة من الضوء. و يتحرك ذهاباً و إياباً خلف طاولة المطبخ و في جميع أنحاء الطابق الأول. ثم قام بإعداد طاولة معززة صغيرة لنفسه باستخدام مقعد متدرج. كان لضغوط الأسرة تأثير في إبعاده عن الإشباع المؤقت. يتذكر بحزن بينما كنا نأكل: "لطالما أحببت الأعمال الخشبية". و كثيراً ما تساءلت عما إذا كنت سأكون أكثر سعادة كمهندس معماري، لأنني لم أضطر إلى إجبار نفسي على القيام بذلك. رن جهاز الكمبيوتر المحمول الخاص بهينتون. كان صندوق الوارد الخاص به مليئاً بطلبات التعليق على الذكاء الاصطناعي. لقد تجول و نظر إلى البريد الإلكتروني، قال: "انظر إلى هذا". تظهر هينتون في الأعلى مع طلابه و طلابهم المصطفين في الأسفل. قال هينتون و هو يستكشف: "أوه يا عزيزي". "لقد كان رائعاً و لكنه لم يكن جيداً كمستشار، لأنه كان بإمكانه دائماً القيام بذلك بشكل أفضل بنفسه". يستمتع بتفوق طلابه عليه: فعند تقييم المرشحين للوظائف، كان يسأل مستشاريهم: "لكن هل هم أفضل منك؟" متذكراً والده الذي توفي عام 1977، قال هينتون: "إنه كانت تنافسية للغاية. يعد هينتون الآن ثاني أكثر الباحثين استشهاداً بين علماء النفس، و إذا كانت بدايته بطيئة و غريبة الأطوار في كامبريدج، فذلك يرجع جزئياً إلى أنه كان يدور في مجال ناشئ. قال و هو يغلق جهاز الكمبيوتر المحمول: "الشبكات العصبية، كان هناك عدد قليل جداً من الأشخاص في الجامعات الجيدة الذين فعلوا ذلك". لا يمكنك فعل ذلك في بيركلي. لا يمكنك فعل ذلك في جامعة ستانفورد». جاء إليه العديد من أفضل العقول. "يجب أن نقطع شجرة. في الجزيرة، المنزل أيضاً هو عمل قيد التقدم. و عندما زرتها، كان هينتون قد ألحق بها ملاحظات صغيرة لمساعدة مقاول جديد، في حمام الطابق الأول، " في خزانة غرفة الضيوف، دع الرف الأساسي. من المفيد للعقول تسمية الأشياء؛ فهو يساعدهم على السيطرة على الواقع. و لكن ماذا يعني أن يفعل العقل الاصطناعي ذلك بينما كان هينتون يحصل على درجة الدكتوراة؟ حصل على درجة الدكتوراة في الذكاء الاصطناعي من جامعة إدنبرة، على سبيل المثال، و ""البطاطا المقلية"" و "المايونيز" و "الخردل"؛ منظمة ذكاء اصطناعي كبيرة و ممولة جيداً. و تركز الجهد المسمى Cyc على بناء مستودع معرفي واسع يستطيع العلماء، باستخدام لغة خاصة، إدخال المفاهيم و الحقائق و القواعد، لكن هينتون كان متشككاً في هذا النهج. بدأ الأمر جامداً للغاية، و ركز أيضاً على مهارات التفكير التي يمتلكها الفلاسفة و اللغويون. كان يعلم أن العديد من الحيوانات في الطبيعة تتصرف بذكاء دون الوصول إلى المفاهيم التي يمكن التعبير عنها بالكلمات. كان محرك الذكاء. لكن هينتون و معاونوه، جيمس إل ماكليلاند و ديفيد روميلهارت، أنه "إذا علمت حقيقة جديدة عن شيء ما، على سبيل المثال، أيضاً. و يشير هذا إلى أنه من المحتمل أن تكون المعرفة "موزعة" في العقل، أي أنها مكونة من وحدات بناء أصغر يمكن تقاسمها بين الأفكار ذات الصلة. و بدلاً من ذلك، و الوحشية، يمكن إضافة الإعجاب بالبصل. إن العقل المبني بهذه الطريقة يخاطر بالوقوع في الارتباك و الخطأ: امزج الصفات معاً في ترتيب خاطئ و ستحصل على مخلوق خيالي ليس غوريلا و لا شمبانزي. ثم في كامبريدج، ثم في جامعة كارنيجي ميلون في بيتسبرغ، و هناك، أنفق الكثير من ميزانية بحثه على جهاز كمبيوتر واحد قوي بما يكفي لتشغيل شبكة عصبية. حقق هينتون تقدماً كبيراً. و من خلال العمل مع تيرينس سينوفسكي، عالم الكمبيوتر و عالم الأعصاب، أنتج شبكة عصبية تسمى آلة بولتزمان. رياضياً، كان هينتون متردداً في شرح آلة بولتزمان لي. قال: "سأخبرك كيف يكون هذا". "يشبه الأمر أن يكون لديك طفل صغير، و هناك جبل أمامك، من أن يتم تضليلي من خلال تفسير مبسط و من ثم تضليل الآخرين. أولاً، عليك أن تفهم كيف يعمل شيء ما. أخيراً، (قبل زيارتي، كنت قد أنهيت دورة أكاديمية خان حول الجبر الخطي). و الأذنين الكبيرة، لكي تعمل مجموعة Identi-Kit، يجب تصميم الميزات نفسها بشكل مناسب. بل تصميمها، عن طريق تغيير أوزان الوصلات بين خلاياها العصبية الاصطناعية. سيبدأ بملامح عشوائية تبدو كالثلج على شاشة التلفاز، أثناء الاستيقاظ، يتخيل وجهاً غير موجود، ثم يغير الملامح بحيث تصبح أسوأ. أخبرته أحلامه بما لا يجب أن يتعلمه. كانت هناك أناقة في النظام: مع مرور الوقت، كان بإمكانه الابتعاد عن الخطأ و نحو الواقع، وصف هينتون و سيجنوفسكي آلة بولتزمان في ورقة بحثية عام 1983. قال لي يان ليكون: "قرأت تلك الورقة عندما كنت أبدأ دراستي العليا، "لا بد لي من التحدث إلى هؤلاء الأشخاص - إنهم الأشخاص الوحيدون في العالم الذين يفهمون أننا بحاجة إلى خوارزميات التعلم". الرائد في معالجة اللغات الطبيعية و الرؤية الحاسوبية و الذي يشغل الآن منصب المدير العلمي في ميلا، قام بتدريب معهد بولتزمان في كيبيك على التعرف على المقاطع المنطوقة كجزء من أطروحة الماجستير الخاصة به. يتذكر قائلاً: "كان ججيف أحد المراجعين الخارجيين". "و كتب شيئاً مثل: "هذا لا ينبغي أن ينجح". كانت نسخة بينجيو من آلة بولتزمان أكثر فعالية مما توقع هينتون؛ و هذا من شأنه أن يصبح نمطاً مألوفاً. و في العقود التالية، يتذكر بنجيو أن "الجزء التجريبي من العمل جاء قبل النظرية". في كثير من الأحيان، كان الأمر يتعلق بتجربة أساليب جديدة و رؤية ما توصلت إليه الشبكات. صبي و فتاة، من أمريكا اللاتينية، و عاشوا في منزل بالمدينة. قال هينتون: «كنت من هذا النوع من الأساتذة الاشتراكيين الذين كانوا مخلصين لعملهم. ربما كنتيجة لذلك، اتبعت طريق المعالجة المثلية عندما تم تشخيص إصابتها بسرطان المبيض لاحقاً. قال هينتون: "لم يكن الأمر منطقياً". " لم يستطع أن يرى كيف يمكن لعالم الأحياء الجزيئي أن يصبح معالجاً تجانسياً. و مع ذلك، رفضت روزاليند إجراء عملية جراحية حتى بعد أن وجد الفحص ورماً بحجم ثمرة الجريب فروت. في وقت لاحق، أولاً في كندا ثم في سويسرا. أصيبت بأورام ثانوية. فقلت: لا، لأنه إذا مت فسأضطر إلى الاعتناء بالأطفال، لقد انتظرت بضعة أشهر، لأنها لم تكن تريدهم أن يرونها مريضة إلى هذا الحد. و كان ابنه في الخامسة من عمره، و كانت ابنته في الثالثة من عمرها. ملأ صوت الأمواج هدوء منتصف الظهيرة. وقف هينتون لبعض الوقت، و هو يجمع نفسه. و من أحدهم، استعاد هينتون منشاراً أخضراً صغيراً و بعض نظارات السلامة. و قال: "تقول روزماري إنه غير مسموح لي بقطع الأشجار عندما لا يكون هناك أي شخص آخر هنا، في حالة قطع ذراعي أو شيء من هذا القبيل". قلت: "هل قمت بقيادة القوارب من قبل؟" قلت: "لا". "لا يجب أن أقطع ذراعي اليمنى إذن. " كان يرتدي زوجاً من الفواصل الواقية. قال: "لا أريد أن أعطيك الانطباع بأنني أعرف ما أفعله". عبر هينتون الطريق إلى الشجرة التي كانت في ذهنه، و هو يتفقد الشجيرات بحثاً عن الثعابين أثناء سيرنا. ربما يبلغ طولها عشرين قدماً؛ نظر هينتون إلى الأعلى ليرى في أي اتجاه كان يميل، و لن يعلق النصل". في نهاية الطريق، و إذا اختفت الشجرة غير الضرورية، و في نهاية المطاف، سيطرت الجاذبية. و تدفق الضوء. كان هينتون مغرماً بآلة بولتزمان. و أعرب عن أمله في أن يكون هذا، أو شيء من هذا القبيل، قال لي: "يجب أن يكون صحيحاً". "لو كنت الله لجعلت الأمر حقيقة. أصبحت تميل إلى أن تطغى عليها العشوائية المضمنة فيها. "اعتقد جيف أنها كانت أجمل خوارزمية. اعتقدت أنها كانت قبيحة. لقد كانت عشوائية» أي أنها كانت مبنية جزئياً على العشوائية. على النقيض من ذلك، قال ليكون: "اعتقدت أن الدعامة الخلفية كانت نظيفة للغاية. حتى عندما كان هينتون يعمل مع سيجنوفسكي على آلة بولتزمان، رونالد ويليامز، في الدعامة الخلفية. لقد اشتبهوا في أن هذه التقنية لديها إمكانات غير مستغلة للتعلم؛ و على وجه الخصوص، أرادوا دمجها مع الشبكات العصبية التي تعمل عبر العديد من الطبقات. إحدى الطرق لفهم الدعامة الخلفية هي تخيل نظام قضائي كافكائي. تخيل أن الطبقة العليا من الشبكة العصبية هي هيئة محلفين يجب أن تنظر في القضايا إلى الأبد. في الواقع المرير الذي تتكشف فيه الدعامة الخلفية، يحدد المحلفون الثلاثة المخطئون كيف أصبحوا هم أنفسهم مضللين. إنهم يأخذون في الاعتبار التأثيرات الخاصة بهم - الآباء و المعلمين و النقاد و ما شابه - و يحددون الأفراد الذين كذبوا عليهم. و يترتب على ذلك جولات متكررة من توجيه أصابع الاتهام، حيث تستدعي كل طبقة من المؤثرين تأثيراتها الخاصة في الاعتبار، في سلسلة متتالية من الخلف. تقوم الشبكة بتعديل نفسها بشكل متناسب، تتكرر العملية برمتها مراراً و تكراراً، بدقة رياضية، في عام 1986، و أشاروا إلى أن الدعامة الخلفية، لكن الدعامة الخلفية لا تزال تمكن من التخصص العصبي الشبيه بالدماغ. يتم ترتيب الخلايا العصبية أحياناً في هياكل تهدف إلى حل مشكلات محددة: في النظام البصري، تتعرف "أعمدة" مختلفة من الخلايا العصبية على الحواف فيما نراه. تُخضع الطبقات العليا الطبقات السفلية لنوع من الضغط التطوري؛ فإن طبقات معينة من الشبكة المكلفة بفك رموز الكتابة اليدوية، يستطيع النظام ككل تطوير "تمثيلات داخلية مناسبة". و تستفيد من معرفتها. في الخمسينيات و الستينيات من القرن الماضي، رافق قدر كبير من الإثارة جهود البيرسبترون و الجهود الاتصالية الأخرى؛ لكن العمل الفعلي لبناء شبكات الدعم الخلفي كان بطيئاً، لأسباب عملية و مفاهيمية. يتذكر هينتون قائلاً: "كان معدل التقدم في الأساس هو مقدار ما يمكن أن يتعلمه الكمبيوتر بين عشية و ضحاها". "الجواب في كثير من الأحيان لم يكن كثيراً. لا يمكنك الدخول و تعديل أوزان الاتصالات بين الخلايا العصبية الاصطناعية. لأنها تكيفت و غيرت نفسها من خلال التدريب. على سبيل المثال، تحفظ الشبكة بيانات التدريب بشكل فعال بدلاً من تعلم التعميم منها. لم يكن تجنب المخاطر المختلفة أمراً سهلاً دائماً، و لكن ليس كثيراً). يمكنهم "التدريب المسبق" للنظام، ثم وضع شبكة داعمة خلفية فوقها، بحيث لا يبدأ التدريب "الخاضع للإشراف" للنظام إلا بعد اكتساب بعض العناصر الأساسية. المعرفة في حد ذاتها. ثم يتركون الشبكة تتعلم، تم تطوير "بنيات" جديدة للشبكة العصبية: سمحت الشبكات "المتكررة" و "الالتفافية" للأنظمة بإحراز تقدم من خلال البناء على عملها بطرق مختلفة. لقد قاموا بإدارة مكعب روبيك بهذه الطريقة و ذاك، في محاولة لإخراج النظام من الضوضاء. "لم يكن الإيمان حقاً، بل كان واضحاً تماماً بالنسبة لي. " يستخدم الدماغ الخلايا العصبية للتعلم؛ و لذلك، يجب أن يكون التعلم المعقد من خلال الشبكات العصبية ممكناً. كان سيعمل بجهد مضاعف لمدة أطول. عندما تم تدريب الشبكات من خلال الدعامة الخلفية، كان لا بد من إخبارها متى كانت مخطئة و بأي حجم؛ و التي من شأنها أن تسمح للشبكات برؤية الفرق بين الرقم "7" المكتوب بخط اليد و الرقم "1"، أو بين المسترد الذهبي و الجهاز الأحمر. و التي استخدموها لاحقاً لتدريب الشبكات التي يمكنها قراءة نماذج الرموز البريدية المقدمة من خدمة البريد الأمريكية. في جامعة ستانفورد، جهداً هائلاً يسمى ImageNet؛ و مع نمو الشبكات العصبية بشكل أكبر، "في المدرسة، و هذا فان جوخ، و هذا ويليام بليك". لكن لنفترض أن مدرس الفنون يقول لك: "حسناً، هذا تيتيان. و هو أمر غير معتاد بالنسبة لتيتيان. ' إنهم لا يخبرونك بالإجابة الصحيحة فحسب، بل يخبرونك بإجابات معقولة أخرى. في التعلم بالتقطير، توفر إحدى الشبكات العصبية للشبكة الأخرى ليس فقط الإجابات الصحيحة و لكن أيضاً مجموعة من الإجابات المحتملة و احتمالاتها. كانت جاكي مثقفة، فضولية، بدأ هو و جاكي في استكشاف الجزر في الخليج الجورجي. و قال: "لقد وجدناها في الغابة، و كانت فاسدة تماماً، كل شيء فيها كان فاسداً". "لكن جاكي قررت إنقاذها على أي حال، لسوء الحظ، أصبحت قوة الدعامة الخلفية لا يمكن إنكارها. أخبرني هينتون أنه في أوائل السبعينيات، و خلص لايتهيل إلى أن الأمر لم يكن كذلك، و قال هينتون: "و كان على حق، إذا قبلت الافتراض الذي طرحه الجميع، أجرى هينتون عملية حسابية في رأسه. لنفترض أنه في عام 1985 بدأ تشغيل برنامج على كمبيوتر بحثي سريع، إذا بدأ تشغيل نفس البرنامج اليوم، في أوائل الألفية الثانية، عندما بدأت الشبكات العصبية متعددة الطبقات المجهزة بأجهزة كمبيوتر قوية في التدريب على مجموعات بيانات أكبر بكثير، بدأ هينتون، و بينجيو، تجاوز هذا العمل العتبة في عام 2012، عندما توصل هينتون و أليكس كريزيفسكي و إيليا سوتسكيفر إلى AlexNet،