Lakhasly

من التطورات الجديدة في روبوتات الدردشة آلية ذاكرة طويلة المدى تتذكر المعلومات من المحادثات السابقة لزيادة التفاعل واتساق الردود. صُمم الروبوت لاستخراج معلومات شخصية من شريكه في المحادثة، نوضح أن آلية الذاكرة هذه قد تؤدي إلى سلوك غير مقصود. مما يدفع الروبوت إلى تذكر العبارة الإعلامية إلى جانب المعرفة الشخصية في ذاكرته طويلة المدى. هذا يعني أنه يمكن خداع الروبوت لتذكر معلومات مضللة، والتي سيعيدها كحقائق عند تذكر معلومات ذات صلة بموضوع المحادثة. قمنا بتوليد 150 مثالاً على معلومات مضللة، كما قمنا بتقييم خطر تذكر هذه المعلومات المضللة بعد إجراء محادثة غير ضارة، وإجابةً على أسئلة متعددة تتعلق بالذاكرة المحقونة. أُجري تقييمنا على كلٍّ من وضعي الذاكرة فقط، وحللنا المعلومات المضللة التي تم تذكرها في الردود. ووجدنا أنه عند سؤال روبوت الدردشة حول موضوع المعلومات المضللة، كان احتمال رده على المعلومات المضللة كحقيقة أكبر بنسبة 328% عندما كانت المعلومات المضللة محفوظة في الذاكرة طويلة المدى. تكمن فكرة استخدام الذاكرة طويلة المدى في بساطة: تخزين أي عبارات بين روبوت الدردشة ومستخدمه، بالإضافة إلى ذلك، أي غير قادرة على تذكر السياقات السابقة، كما تُطبّق في روبوتات الدردشة الحديثة، عُرضةً للحقن الخبيث لمعلومات مضللة أو غيرها من المعلومات غير الصحيحة أو المُضللة، يُمكن حقن هذه الذكريات من قِبل مُهاجم لديه وصول مؤقت إلى روبوت دردشة الضحية، أو روبوت دردشة بذاكرة مُشتركة بين مُستخدمين مُتعددين، كما هو الحال في المنزل أو المكتب أو على مواقع التواصل الاجتماعي أو خدمة العملاء. أن إعادة نقل المعلومات إلى المستخدم لا يعتمد على الوصول المُعادي. بل تستغل تصميم الروبوت لتذكر أنواع مُعينة من المعلومات (المعلومات الشخصية في الأمثلة التي نناقشها)، في حين أن الجيل الحالي من المساعدين الصوتيين لم يُنشر بعدُ مع إمكانيات المحادثة الصوتية، تسعى العديد من الشركات الناشئة إلى تقديم عروضها الخاصة [11]. من المتوقع أن تنتشر إمكانيات المحادثة الصوتية على نطاق أوسع،

من التطورات الجديدة في روبوتات الدردشة آلية ذاكرة طويلة المدى تتذكر المعلومات من المحادثات السابقة لزيادة التفاعل واتساق الردود. صُمم الروبوت لاستخراج معلومات شخصية من شريكه في المحادثة، مثل ذكر تفضيله لونًا معينًا. في هذه الورقة البحثية، نوضح أن آلية الذاكرة هذه قد تؤدي إلى سلوك غير مقصود. على وجه الخصوص، وجدنا أنه يمكن دمج عبارة شخصية بعبارة إعلامية، مما يدفع الروبوت إلى تذكر العبارة الإعلامية إلى جانب المعرفة الشخصية في ذاكرته طويلة المدى. هذا يعني أنه يمكن خداع الروبوت لتذكر معلومات مضللة، والتي سيعيدها كحقائق عند تذكر معلومات ذات صلة بموضوع المحادثة. نوضح هذه الثغرة الأمنية على إطار عمل BlenderBot 2 المُطبّق على منصة ParlAI، ونقدم أمثلة على نموذج BlenderBot 3 الأحدث والأكبر حجمًا. قمنا بتوليد 150 مثالاً على معلومات مضللة، منها 114 (76%) تذكرها BlenderBot 2 عند دمجها مع بيان شخصي. كما قمنا بتقييم خطر تذكر هذه المعلومات المضللة بعد إجراء محادثة غير ضارة، وإجابةً على أسئلة متعددة تتعلق بالذاكرة المحقونة. أُجري تقييمنا على كلٍّ من وضعي الذاكرة فقط، والذاكرة والبحث على الإنترنت في BlenderBot 2. ومن خلال دمج هذه المتغيرات، أنشأنا 12,890 محادثة، وحللنا المعلومات المضللة التي تم تذكرها في الردود. ووجدنا أنه عند سؤال روبوت الدردشة حول موضوع المعلومات المضللة، كان احتمال رده على المعلومات المضللة كحقيقة أكبر بنسبة 328% عندما كانت المعلومات المضللة محفوظة في الذاكرة طويلة المدى.
في الآونة الأخيرة، وجدت الأبحاث أن توفير وظيفة الذاكرة طويلة المدى لتوليد وتخزين الذكريات المستخرجة ديناميكيًا من المحادثات أمر فعال. فعال في تحسين جودة محادثات روبوتات الدردشة [21]. تكمن فكرة استخدام الذاكرة طويلة المدى في بساطة: تخزين أي عبارات بين روبوت الدردشة ومستخدمه، ودمج هذه الرسائل السابقة في توليد الردود المستقبلية. للتعامل مع الحجم المحتمل للرسائل التاريخية، يُستخدم عادةً مقياس صلة لاختيار مجموعة فرعية من العبارات المخزنة. بالإضافة إلى ذلك، يُستخدم مُلخّص لتقليل حجم النص المخزن، مع الاحتفاظ بالمعلومات الأساسية فقط [8]. باختصار، يُمكّن هذا روبوت الدردشة من تذكر سياق المحادثات السابقة والاستفادة منه بكفاءة في مهمة مُقيدة بالتخزين والمعالجة. وهذا يختلف عن روبوتات الدردشة الأخرى الموجودة [1، 13] التي تكون ذاكرتها إما قصيرة المدى، أي غير قادرة على تذكر السياقات السابقة، أو ثابتة، إذا كانت طويلة المدى في بعض الحالات، أي يتم ملؤها يدويًا أو أثناء التدريب [8]. في هذه الورقة، نبحث فيما إذا كانت آلية الذاكرة هذه، كما تُطبّق في روبوتات الدردشة الحديثة، عُرضةً للحقن الخبيث لمعلومات مضللة أو غيرها من المعلومات غير الصحيحة أو المُضللة، والتي يُنتجها روبوت الدردشة لاحقًا كبيانات موثوقة. يُمكن حقن هذه الذكريات من قِبل مُهاجم لديه وصول مؤقت إلى روبوت دردشة الضحية، مثل مُساعد رقمي شخصي، أو روبوت دردشة بذاكرة مُشتركة بين مُستخدمين مُتعددين، كما هو الحال في المنزل أو المكتب أو على مواقع التواصل الاجتماعي أو خدمة العملاء. والأهم من ذلك، أن إعادة نقل المعلومات إلى المستخدم لا يعتمد على الوصول المُعادي. نُؤكد أن هذه الثغرة الأمنية لا تستغل خللًا في تطبيق روبوت الدردشة، بل تستغل تصميم الروبوت لتذكر أنواع مُعينة من المعلومات (المعلومات الشخصية في الأمثلة التي نناقشها)، والتي يُمكن خلطها بذكاء مع معلومات مُضللة مُضمنة في بيانات غير شخصية لتحفيز الحفظ. في حين أن الجيل الحالي من المساعدين الصوتيين لم يُنشر بعدُ مع إمكانيات المحادثة الصوتية، تسعى العديد من الشركات الناشئة إلى تقديم عروضها الخاصة [11]. وبالتالي، من المتوقع أن تنتشر إمكانيات المحادثة الصوتية على نطاق أوسع، مع سعي الشركات إلى تحسين التفاعل من خلال تضمين وحدات الذاكرة طويلة المدى [