دخلت شركة OpenAI مرحلة جديدة من الحذر في تطوير نموذج الذكاء الاصطناعي المرتقب «أسترا»، بعدما كشفت تقييمات أولية أن النموذج قد يمتلك قدرات سيبرانية متقدمة بما يكفي لبلوغ مستوى تصفه الشركة بأنه «حرج»، ما دفعها إلى تشديد إجراءات الحماية وتعليق بعض أنشطة التطوير الداخلية المرتبطة به.
وقالت OpenAI،إنها لا تستطيع في الوقت الحالي استبعاد احتمال امتلاك «أسترا» قدرات تمكنه من تنفيذ مهام إلكترونية شديدة التعقيد بصورة مستقلة، في خطوة تعكس تصاعد المخاوف داخل شركات الذكاء الاصطناعي من أن تؤدي زيادة قدرات النماذج إلى تجاوز أنظمة الحماية الموضوعة للسيطرة عليها.
ما المقصود بالقدرات السيبرانية «الحرجة»؟
وبحسب إرشادات السلامة المعتمدة لدى OpenAI، يصل نموذج الذكاء الاصطناعي إلى مستوى «القدرات الحرجة» عندما يصبح قادراً بصورة مستقلة على تحديد واستغلال ثغرات خطيرة وحقيقية في البرمجيات، والمعروفة باسم ثغرات اليوم صفر (Zero-Day)، أو تنفيذ هجمات إلكترونية معقدة ضد أهداف تتمتع بمستويات حماية أمنية مرتفعة، من دون الحاجة إلى تدخل بشري.
وقالت الشركة إن التقييمات الأولية التي أجريت خلال الأيام الماضية، إلى جانب تقييمات أجراها خبراء من خارج الشركة، أظهرت أن «أسترا» قد يكون قادراً على تنفيذ مهام سيبرانية تزداد تعقيداً بصورة مستقلة.
وأضافت أن نتائج الاختبارات الأولية أظهرت مستوى من الأداء جعلها غير قادرة في الوقت الحالي على استبعاد وصول النموذج إلى مستوى «القدرات الحرجة».
OpenAI تشدد إجراءات الأمان
وبناءً على هذه النتائج الأولية، أعلنت الشركة تعزيز ضوابط الأمن الخاصة بالنموذج، إلى جانب تعليق أنشطة داخلية مرتبطة بتطوير «أسترا» لا تستوفي متطلبات الأمان الجديدة والأكثر صرامة.
كما قررت OpenAI نقل عمليات تطوير النموذج إلى بيئات اختبار معزولة، مع تقييد وصوله إلى الشبكات، واستخدام أنظمة تنفيذ معزولة تعرف باسم Sandboxed Execution، بهدف الحد من قدرته على الوصول إلى الأنظمة الخارجية أو التأثير فيها خلال عمليات الاختبار.
وتأتي هذه الخطوات في وقت تواجه شركات الذكاء الاصطناعي تحدياً متزايداً يتمثل في كيفية اختبار النماذج الأكثر قوة دون منحها في الوقت نفسه مساحة غير خاضعة للرقابة للتفاعل مع أنظمة حقيقية.
تحقيقات بعد اختراق Hugging Face
وتأتي التطورات الأخيرة بعد تقرير نشرته «رويترز»، أفاد بأن OpenAI اكتشفت حالات إضافية تمكنت فيها وكلاء ذكاء اصطناعي مستقلون من الخروج من نطاق الاحتواء المخصص لهم، بالتزامن مع توسع تحقيقاتها في حادثة الاختراق التي استهدفت منصة الذكاء الاصطناعي «Hugging Face» وأثارت اهتماماً عالمياً خلال يوليو.
وخلال الأسابيع الأخيرة، أعلنت كل من OpenAI وAnthropic وMeta Platforms عن حالات تمكنت فيها نماذج الذكاء الاصطناعي التابعة لها من اختراق أنظمة شركات أخرى خلال اختبارات مخصصة للأمن السيبراني.
وتسلط هذه الوقائع الضوء على التحدي المتزايد الذي تواجهه شركات تطوير الذكاء الاصطناعي، إذ أصبحت النماذج أكثر قدرة على تنفيذ المهام بصورة مستقلة، بينما تتزايد صعوبة ضمان بقائها داخل الحدود والبيئات الآمنة المخصصة لها.
«أسترا» لم يشارك في اختراق Hugging Face
وفي الوقت نفسه، أكدت OpenAI أن نموذج «أسترا» لم يكن مشاركاً في الهجوم الإلكتروني الذي استهدف منصة Hugging Face.
وقالت الشركة إنها تعتزم التعاون مع جهات حكومية ومنظمات مختارة متخصصة في سلامة الذكاء الاصطناعي، بهدف إجراء اختبارات إضافية لقدرات النموذج وتقييم المخاطر المحتملة المرتبطة به.
ومن شأن هذه الخطوة توفير تقييمات مستقلة وموسعة لقدرات «أسترا»، خصوصاً في مجال الأمن السيبراني، قبل اتخاذ قرارات نهائية بشأن مستوى قدراته وإجراءات السلامة اللازمة للتعامل معه.
إتاحة «أسترا» للجميع
ورغم المخاوف الأمنية المرتبطة بقدرات النموذج، أكد الرئيس التنفيذي لـOpenAI سام ألتمان، أن الشركة تعمل على إتاحة «أسترا» بصورة عامة.
وقال ألتمان في منشور عبر منصة «إكس» إن OpenAI لا ترى أن حصر النماذج القوية في أيدي عدد محدود من المستخدمين يمثل إستراتيجية جيدة.
وتعكس تصريحات ألتمان توجه الشركة نحو إتاحة نماذج الذكاء الاصطناعي المتقدمة على نطاق واسع، بالتوازي مع محاولة تطوير أنظمة حماية قادرة على مواكبة قدراتها المتزايدة.
وتضع التطورات المتعلقة بـ«أسترا» OpenAI أمام معادلة دقيقة؛ تطوير نماذج أكثر استقلالية وقدرة على تنفيذ المهام المعقدة، مع ضمان عدم تحول هذه القدرات إلى أدوات يمكن استخدامها لتنفيذ هجمات إلكترونية حقيقية.
وفي ظل استمرار التقييمات والاختبارات، لم تحسم OpenAI بعد ما إذا كان «أسترا» يصل بالفعل إلى مستوى «القدرات السيبرانية الحرجة»، لكنها اتخذت إجراءات احترازية بعد أن أظهرت الاختبارات الأولية احتمال امتلاكه قدرات متقدمة في هذا المجال.
OpenAI has entered a new phase of caution in the development of the anticipated artificial intelligence model "Astra," after initial assessments revealed that the model may possess advanced cyber capabilities sufficient to reach a level the company describes as "critical," prompting it to tighten security measures and suspend some related internal development activities.
OpenAI stated that it cannot currently rule out the possibility that "Astra" has capabilities that enable it to perform highly complex electronic tasks independently, a step that reflects growing concerns within AI companies that increasing model capabilities may surpass the protective systems in place to control them.
What are "critical" cyber capabilities?
According to the safety guidelines adopted by OpenAI, an AI model reaches the level of "critical capabilities" when it can independently identify and exploit serious and real vulnerabilities in software, known as zero-day vulnerabilities, or execute complex cyberattacks against targets with high security levels, without the need for human intervention.
The company noted that initial assessments conducted over the past few days, along with evaluations by external experts, indicated that "Astra" may be capable of independently executing increasingly complex cyber tasks.
It added that the results of the initial tests showed a level of performance that made it currently unable to rule out the model reaching the level of "critical capabilities."
OpenAI Tightens Security Measures
Based on these initial results, the company announced the enhancement of security controls for the model, along with the suspension of internal activities related to the development of "Astra" that do not meet the new and stricter security requirements.
OpenAI also decided to move the model's development operations to isolated testing environments, restricting its access to networks, and using isolated execution systems known as Sandboxed Execution, aimed at limiting its ability to access or affect external systems during testing.
These steps come at a time when AI companies face an increasing challenge of how to test more powerful models without simultaneously giving them an unregulated space to interact with real systems.
Investigations Following the Hugging Face Breach
The recent developments follow a report by Reuters, which stated that OpenAI discovered additional instances where independent AI agents managed to escape their designated containment, coinciding with the expansion of its investigations into the breach incident that targeted the AI platform "Hugging Face" and garnered global attention in July.
In recent weeks, both OpenAI and Anthropic, along with Meta Platforms, announced cases where their AI models managed to breach other companies' systems during dedicated cybersecurity tests.
These incidents highlight the increasing challenge faced by AI development companies, as models become more capable of performing tasks independently, while it becomes more difficult to ensure they remain within the designated safe boundaries and environments.
"Astra" Was Not Involved in the Hugging Face Breach
At the same time, OpenAI confirmed that the "Astra" model was not involved in the cyberattack that targeted the Hugging Face platform.
The company stated that it intends to collaborate with government entities and selected organizations specializing in AI safety, with the aim of conducting additional tests on the model's capabilities and assessing potential risks associated with it.
This step would provide independent and comprehensive evaluations of "Astra's" capabilities, particularly in the field of cybersecurity, before making final decisions regarding its capability level and the necessary safety measures to handle it.
Making "Astra" Available to All
Despite the security concerns associated with the model's capabilities, OpenAI CEO Sam Altman confirmed that the company is working to make "Astra" publicly available.
Altman stated in a post on the platform "X" that OpenAI does not view restricting powerful models to a limited number of users as a good strategy.
Altman's statements reflect the company's direction towards widely making advanced AI models available, alongside efforts to develop protective systems capable of keeping pace with their increasing capabilities.
The developments surrounding "Astra" place OpenAI in a delicate equation; developing more independent models capable of executing complex tasks while ensuring that these capabilities do not turn into tools that can be used to carry out real cyberattacks.
As evaluations and tests continue, OpenAI has not yet determined whether "Astra" indeed reaches the level of "critical cyber capabilities," but it has taken precautionary measures after initial tests indicated the possibility of it possessing advanced capabilities in this area.
إخلاء مسؤولية إن موقع بالبلدي يعمل بطريقة آلية دون تدخل بشري،ولذلك فإن جميع المقالات والاخبار والتعليقات المنشوره في الموقع مسؤولية أصحابها وإداره الموقع لا تتحمل أي مسؤولية أدبية او قانونية عن محتوى الموقع.
"جميع الحقوق محفوظة لأصحابها"
المصدر :" جريدة عكاظ "
