مفهوم – دراسة جديدة تكشف عن ردود الذكاء الاصطناعي على أسئلتنا، فقد تبدو إجابة روبوت الدردشة صحيحة عند طرح السؤال للمرة الأولى، لكن ماذا يحدث إذا أصر المستخدم على معلومة خاطئة وكررها مرة بعد أخرى؟

حيث تكشف الدراسة الحديثة التي أجراها باحثون من جامعة أريزونا الأمريكية أن بعض نماذج الذكاء الاصطناعي قد تتراجع عن إجاباتها الصحيحة تحت تأثير التكرار والضغط الحواري، بل قد تعود لاحقا إلى تأكيد الادعاء الخاطئ.

ونُشرت الدراسة في دورية التقارير العلمية (Scientific Reports) التابعة لمجموعة نيتشر، واختبرت 7 نماذج لغوية كبيرة خلال محادثات متعددة الجولات، في محاولة لرصد نقاط ضعف قد لا تظهر عند اختبار النموذج بسؤال واحد فقط.

اختبار يتجاوز السؤال الواحد

اختبر الباحثون نماذج جي بي تي-3. 5 (GPT-3.5) وجي بي تي-4 أو (GPT-4o) وجي بي تي-4 أو-ميني (GPT-4o-mini) من شركة أوبن إيه آي، إلى جانب كلود 3. 5 سونيت (Claude 3.5 Sonnet) من شركة أنثروبيك، وجميناي 1. 5 برو (Gemini 1.5 Pro) من غوغل، ولاما 3-70 بي (Llama-3-70B)، وديب سيك-آر1 (DeepSeek-R1).

وبدلا من الاكتفاء بسؤال وإجابة، اعتمدت التجارب على محادثات طويلة تضمنت ادعاءات خاطئة جرى تكرارها، إلى جانب صيغ أكثر جدلية وضغطا على النموذج، بهدف قياس 3 جوانب رئيسية، وهي قابلية النموذج للوقوع في الخطأ، وقابليته للإقناع، وقدرته على تصحيح أخطائه.

وترى جامعة أريزونا أن هذا النوع من الاختبارات أقرب إلى الاستخدام الحقيقي لروبوتات الدردشة، التي تعتمد إجاباتها في المحادثة على السياق السابق.

وأظهرت النتائج تفاوتا واضحا بين النماذج، حيث كان جي بي تي- 3. 5 الأكثر عرضة لإعادة تأكيد المعلومات المضللة عند تكرار الادعاءات الخاطئة، في حين كان كلود 3. 5 سونيت الأقل تعرضا لهذا النوع من التأثر.

كما وجدت الدراسة أن النماذج السبعة كانت أكثر عرضة للتضليل عندما تعلقت الادعاءات بموضوعات غامضة أو قليلة المعلومات، وهو ما يشير إلى أن وفرة البيانات المتعلقة بموضوع معين قد تساعد النموذج على مقاومة المعلومات الخاطئة بصورة أفضل.
عندما يتحول التكرار إلى ضغطلا تعني النتائج أن النموذج يصدق الشائعة كما يفعل الإنسان، وإنما تكشف عن مشكلة مرتبطة بطريقة عمل النماذج اللغوية وسلوكها أثناء الحوار، فالروبوت لا يمتلك بالضرورة آلية مستقلة للحكم على صدق كل عبارة يكررها المستخدم، وقد تتأثر استجابته بالسياق المتراكم داخل المحادثة.

وتظهر المشكلة بصورة أكثر وضوحا عندما يصبح المستخدم واثقا من ادعائه ويكرره باستمرار، وفي هذه الحالة قد يتحول الحوار من بحث عن إجابة دقيقة إلى تفاوض على الإجابة، فتظهر لدى النموذج نزعة إلى مجاراة المستخدم أو إعادة صياغة موقفه، بدلا من التمسك بالمعلومة الأكثر دقة.

ويرتبط ذلك بمفهوم يعرف باسم المجاراة أو التملق للمستخدم (Sycophancy) حسب الدراسة المترجمة من الجزيرة، أي ميل النموذج إلى موافقة المستخدم أو تأكيد موقفه بدرجة أكبر مما تبرره الحقائق.

وقد أقرت أوبن إيه آي نفسها بهذه المشكلة بعد تحديث سابق لجي بي تي-4 أو، جعل النموذج أكثر ميلا إلى تقديم إجابات متوافقة مع المستخدم، وأعلنت لاحقا عن إجراءات لتقليل هذا السلوك وتعزيز الصدق والشفافية.

النموذج قد يغيّر موقفه ثم يصححه

من أكثر النتائج إثارة للاهتمام أن بعض النماذج لم تتخذ موقفا ثابتا تجاه الادعاء الخاطئ، بل تأرجحت أحيانا بين قبوله ورفضه خلال المحادثة نفسها. وأطلقت الدراسة على هذا النمط اسم التردد أو الارتداد (Reverberation)، في إشارة إلى تغير الإجابة مع استمرار الحوار.

وفي المقابل، أظهرت 4 نماذج هي جي بي تي-4 أو وجي بي تي-4 أو-ميني وجميناي 1. 5 برو وديب سيك-آر1 قدرة على تصحيح الأخطاء بنسبة 100% عندما حصلت على فرصة ثانية لإعادة تقييم الإجابة، وفقا لنتائج الدراسة.

وهذا يعني أن الخطأ لم يكن دائما نهائيا، وأن إعادة السؤال أو منح النموذج فرصة لمراجعة موقفه قد تؤدي أحيانا إلى نتيجة أفضل.