باحثون بجامعة أكسفورد يقترحون منهجية جديدة لاكتشاف “هلوسة” الذكاء الاصطناعي

إحدى المشكلات المزمنة التي تعاني منها أنظمة الذكاء الاصطناعي التوليدي الحالية، مثل “شات جي بي تي”، هي أنها غالبا تؤكد بثقة على بعض المعلومات الخاطئة، ويطلق الباحثون والخبراء على هذا السلوك اسم “الهلوسة”، وهو يمثل عائقا أساسيا أمام فعالية تلك الأنظمة.

يحاول الباحثون من عدة جامعات ومؤسسات بحثية إيجاد حلول لتلك المشكلة، وفي ورقة بحثية جديدة، نُشرت في دورية “نيتشر” العلمية، يصف الباحثون، في قسم علوم الحاسب بجامعة أكسفورد، أسلوبا جديدا لاكتشاف متى يُحتمل أن تهلوس أنظمة الذكاء الاصطناعي.

تتمكن المنهجية المذكورة في الورقة البحثية من التفرقة بين الإجابات الصحيحة والخاطئة، التي يولدها نموذج الذكاء الاصطناعي بنسبة 79% تقريبا من الوقت، وهي نسبة أعلى بنحو 10 نقاط مئوية من المنهجيات الرائدة الأخرى المتاحة حاليا.

ورغم أن هذا الأسلوب يعالج سببا واحدا فقط من الأسباب العديدة لهلوسة نماذج الذكاء الاصطناعي، ويتطلب قوة حوسبة أكبر بعشر مرات تقريبا من المحادثة العادية مع الروبوت، فإن تلك النتائج قد تمهد الطريق لأنظمة ذكاء اصطناعي موثوقة أكثر في المستقبل القريب، كما يشير تقرير في مجلة تايم.

هلوسة الذكاء الاصطناعي

أصبح مصطلح “الهلوسة” شائعا في مجال الذكاء الاصطناعي، لكنه يعتبر أيضا مصطلحا مثيرا للجدل، فمن ناحية، يشير المصطلح إلى أن لدى النماذج نوعا ما من الخبرة الذاتية للعالم، وهو ما يتفق معظم علماء الحاسب على أنه ليس موجودا.

ومن ناحية أخرى، يشير المصطلح إلى أن تلك الهلوسة هي مشكلة قابلة للحل، وليست مشكلة جوهرية، وربما غير قابلة للحل في النماذج اللغوية الكبيرة، ويظهر هنا اختلاف بين معسكرات الباحثين في مجال الذكاء الاصطناعي حول إجابة هذا السؤال، لكن الأهم من كل ذلك هو أن المصطلح غير دقيق، فهو يصف عدة فئات متباينة من الأخطاء التي يقع بها نموذج الذكاء الاصطناعي، كما يشير التقرير.

ولذا قرر فريق جامعة أكسفورد التركيز على فئة واحدة بعينها من الهلوسة، أطلقوا عليها اسم “التَخْريف” (confabulations)، وهي عندما يصدر نموذج ذكاء اصطناعي إجابات خاطئة غير متوافقة على سؤال يتعلق بالحقائق، على عكس الإجابة الخاطئة المتوافقة نفسها التي تنشأ غالبا من أسباب أخرى مثل مشكلات في بيانات تدريب النموذج، أو عندما يكذب النموذج سعيا وراء الحصول على مكسب ما، أو عندما يعاني من خلل هيكلي في منطقه أو أسلوب استنتاجه.

أسلوب بسيط

الأسلوب الذي استخدمه الفريق البحثي لاكتشاف احتمالية أن يخرف النموذج بسيط نسبيا، في البداية، يطلب الباحثون من روبوت المحادثة أن يصدر مجموعة من الإجابات، تكون عادة ما بين 5 إلى 10 إجابات، على السؤال نفسه، ثم يستخدمون نموذجا لغويا مختلفا لتصنيف تلك الإجابات بناء على معناها.

على سبيل المثال، إجابات “باريس هي عاصمة فرنسا” و”عاصمة فرنسا هي باريس” سيصنفهما النموذج في المجموعة نفسها لأنهما يحملان المعنى ذاته، بالرغم من اختلاف صياغة الجملتين. أما إجابة مثل “عاصمة فرنسا هي روما” فيصنفها النموذج في مجموعة مختلفة.

ثم يحسب الباحثون بعد ذلك رقما أطلقوا عليه اسم “الأنتروبيا الدلالية” (semantic entropy)، وهو مقياس لمدى تشابه أو اختلاف معاني كل إجابة، فإذا كانت كل إجابات النموذج تحمل معاني مختلفة، تصبح قيمة الأنتروبيا الدلالية مرتفعة، مما يشير إلى أن النموذج مشوش ويتعرض لسلوك “التخريف”.

أما إذا كانت كل إجابات النموذج تحمل معاني متطابقة أو متشابهة، فستكون قيمة الأنتروبيا الدلالية منخفضة، مما يشير إلى أن النموذج يقدم إجابة متسقة، ولهذا لا يُحتمل أن يكون النموذج معرضا لسلوك التخريف، قد تظل الإجابة خاطئة باستمرار، لكن هذا يعتبر نوعا مختلفا من الهلوسة، مثلا قد تكون بسبب مشكلات في بيانات تدريب النموذج نفسها.

ذكر الباحثون أن أسلوب رصد الأنتروبيا الدلالية تفوق على العديد من الأساليب الأخرى لاكتشاف هلوسة نماذج الذكاء الاصطناعي، وشملت تلك الأساليب “الأنتروبيا البدائية”، التي تكتشف فقط اختلاف صياغة الجملة وليس معناها، وأسلوب آخر يطلب من النموذج نفسه تقييم مدى صحة إجاباته، بجانب أسلوب آخر يُضبط فيه نموذج الذكاء الاصطناعي على الإجابات الصحيحة لأسئلة محددة.

هل يصلح للتطبيق العملي؟

يطرح الفريق البحثي بعض الأفكار حول كيف يمكن لمنهجية كشف “الأنتروبيا الدلالية” أن تبدأ في الحد من هلوسة روبوتات المحادثة الرائدة في المجال حاليا. يذكر أحد مؤلفي الورقة البحثية أنها من الممكن نظريا أن تسمح لشركة أوبن إيه آي بإضافة خيار إلى روبوت “شات جي بي تي”، حين يضغط المستخدم على إجابة ما، سيحصل على درجة من التأكد تمنحه شعورا أكبر بالثقة حول دقة تلك الإجابة.

كما يوضح أن هذا الأسلوب قد يُدمج أيضا ضمن الأدوات الأخرى التي تعتمد على نماذج الذكاء الاصطناعي في أماكن العمل مرتفعة المخاطر، حيث ترغب الشركة أو المؤسسة في مبادلة السرعة والتكلفة بدقة الإجابة.

في حين أن الفريق البحثي متفائل بشأن قدرة أسلوبهم على تحسين موثوقية أنظمة الذكاء الاصطناعي، إلا أن بعض الخبراء يحذرون من المبالغة في تقدير تأثيره الفوري، وفقا لتقرير تايم.

ويشير بعض الخبراء إلى عدم وضوح إمكانية دمج هذا الأسلوب في تطبيقات حقيقية مثل روبوتات المحادثة المنتشرة حاليا، كما يشير التقرير، ويوضحون أنه كلما أصبحت نماذج الذكاء الاصطناعي أكثر قدرة، سيحاول الناس استخدامها في مهام أكثر صعوبة ربما تزداد فيها احتمالية الفشل.