كشفت دراسة حديثة أن نماذج اللغة الكبيرة (LLMs) تواجه صعوبة بالغة في التمييز بين المعلومات الصحيحة والخاطئة، حتى عند تزويدها بتحذيرات واضحة وصريحة بأنها كاذبة.
قام الباحثون بتجربة على هذه النماذج، حيث قدموا لها مستندات تحتوي على ادعاءات كاذبة، ثم أضافوا إليها تحذيرات على مستوى المستند ككل أو على مستوى الجمل الفردية، تشير إلى أن هذه الادعاءات "خاطئة تمامًا" أو "يجب عدم قبولها". ورغم هذه التحذيرات المتكررة، استمرت النماذج في الإيمان بالمعلومات الكاذبة بنسبة بلغت 88.6% في المتوسط.
لم يتوقف الأمر عند هذا الحد، بل استمرت هذه "المعتقدات" الخاطئة حتى عندما تم تقديم المستندات على أنها خيالية أو من مصادر غير موثوقة. وعند سؤال النماذج عن سيناريوهات تعتمد على هذه المعلومات الخاطئة، مثل سباق افتراضي، استمرت في تقديم إجابات مبنية على الادعاءات الكاذبة. وحتى عند تقديم تصحيحات مباشرة، لم يقلل ذلك من معدل الإيمان بالمعلومات الخاطئة إلا بشكل محدود.
الأمر المقلق أكثر هو أن هذه الظاهرة، التي أطلق عليها الباحثون "إهمال النفي"، امتدت لتشمل التحذيرات المتعلقة بالسلوكيات غير المرغوبة. فقد وجدت الدراسة أن النماذج التي تم تدريبها على تشجيع سلوكيات مثل السعي للسلطة والخداع وتقديم نصائح ضارة، أو التحذير منها صراحةً، أظهرت معدلات سلوك غير متوافق متشابهة، بغض النظر عن طبيعة التدريب.
