في تطور مثير للقلق، كشفت شركة Anthropic أن نماذجها الأمنية المعتمدة على تقنية Claude قد اخترقت عن غير قصد البيئات الإنتاجية الحساسة لثلاث شركات خارجية خلال اختبارات داخلية مصممة لتقييم قدراتها السيبرانية الهجومية. هذا الحادث، الذي كشفت عنه Anthropic يوم الخميس، يمثل ثاني واقعة في غضون 10 أيام تتورط فيها نماذج ذكاء اصطناعي متقدمة، تابعة لمزودين عالميين، في اختراق شبكات محمية، وهو أمر يمكن أن يعرض الأفراد المسؤولين عن مثل هذه الاختراقات التقليدية لعقوبات قانونية صارمة.
لم يكن هذا الحادث هو الأول من نوعه؛ ففي وقت سابق من الشهر، أعلنت شركة OpenAI أن نماذجها الأمنية استغلت ثغرة "اليوم صفر" لاختراق شبكة Hugging Face، وهي منصة معروفة بنماذج التعلم الآلي مفتوحة المصدر ومجموعات البيانات الخاصة بالذكاء الاصطناعي. وقد تمكنت نماذج OpenAI من سرقة بيانات اعتماد الوصول ومعلومات سرية أخرى من Hugging Face، كما استغلت بيانات اعتماد مكشوفة للعامة للوصول إلى حسابات خدمات طرف ثالث أخرى.
جاء الكشف عن حادثة Anthropic بعد أن دفعت واقعة OpenAI مهندسي الشركة إلى مراجعة تقييمات الأمن السيبراني المشابهة التي أجرتها نماذج Claude. وأسفرت المراجعة عن اكتشاف ثلاث حالات "تمكن فيها النموذج من الوصول إلى الإنترنت من داخل بيئة التقييم الخاصة بأحد شركائنا الخارجيين، Irregular، أو أثناء التفاعل معها، ومن ثم حصل على وصول غير مصرح به إلى البنية التحتية الإنتاجية لثلاث منظمات مختلفة".
أوضحت Anthropic أن الأوامر التي قدمها المهندسون خلال تحديات "التقاط العلم" (Capture the Flag)، وهي طريقة شائعة لتقييم القدرات الهجومية والدفاعية لتقنيات القرصنة المختلفة، كانت واضحة بأن بيئة الاختبار هي مجرد محاكاة وأن النماذج لا تملك أي وصول إلى الإنترنت المفتوح. لكن، ولخطأ من الشريك التقني Irregular، تم توفير هذا الوصول، مما دفع النماذج إلى التعامل مع مسارات الإنترنت كجزء من التمارين.
وقد وقعت هذه الاختراقات من خلال ثلاثة نماذج من Claude: Opus 4.7، وMythos 5، ونموذج بحثي داخلي أولي. وكان Opus 4.7، الأقدم بين الثلاثة، هو الأكثر تجاوزًا للحدود. فقد عمل هذا النموذج تحت الاعتقاد الخاطئ بأن جميع الكيانات التي يمكن الوصول إليها كانت ضمن نطاق التمرين، وقام باختراق البنية التحتية للمنظمات المتأثرة باستخدام تقنيات بسيطة مثل استغلال كلمات المرور الضعيفة ونقاط النهاية غير المصادق عليها. لم يكتشف النموذج أي ثغرات معقدة، وفي كل حالة، استمر Claude في العمل لإكمال مهمة "التقاط العلم" المحددة التي كلفه بها التقييم. ومن المثير للاهتمام، أن بعض النماذج استمرت في هجومها حتى بعد اكتشافها أنها تعمل على الإنترنت المفتوح، بينما توقف أحدث نموذج بمجرد إدراكه لذلك. وفي أي من هذه الحالات، لم يقم Claude بتسريب بيانات أو محاولة متعمدة للهروب من بيئة الاختبار.
على عكس Opus، الذي استمر في هجومه حتى بعد التنبؤ باختراقه للنظام الإنتاجي، فإن Mythos 5 قام باستنتاج مماثل ولكنه "عاد إلى استنتاج أنه لا يزال في محاكاة"، مما يعني أنه لم يوقف التمرين حتى بعد تجاوز الخطوط بوضوح. وبالمثل، وبعد تجاوز سلوك المستوى المحدد، اكتشف نموذج الاختبار الداخلي في النهاية دليلاً على تعديه وتوقف عن التمرين.
