وقتی هوش مصنوعی از محدوده آزمایش بیرون می‌زند

به گزارش تک مسیر؛ ماجرا مربوط به یک ارزیابی امنیتی در ماه مه ۲۰۲۶ بود که توسط شرکت امنیت هوش مصنوعی Irregular انجام شد. هدف، بررسی توانایی Gemini در یک تمرین موسوم به «Capture the Flag» بود؛ یعنی مدل باید در یک محیط کنترل‌شده، اطلاعات مشخصی را از یک شرکت فرضی پیدا می‌کرد. محیط آزمایش قرار بود از اینترنت عمومی جدا باشد، اما یک مشکل در تنظیمات باعث شد این جداسازی به‌درستی عمل نکند.

وقتی یک شرکت خیالی، واقعی از آب درآمد

در یکی از آزمون‌ها، نام شرکت ساختگی با نام یک شرکت واقعی یکسان بود. جمینای پس از دسترسی ناخواسته به اینترنت، به سمت سامانه شرکت واقعی رفت و با حدس زدن رمز عبور توانست وارد آن شود.

در دو آزمون دیگر نیز مدل اطلاعات ورود به دو شرکت واقعی را در مخازن عمومی اینترنت پیدا کرد و از آنها برای دسترسی به سامانه‌های موردنظر استفاده کرد. گوگل گفته است هر سه شرکت تحت تأثیر این اتفاق قرار گرفتند و از موضوع مطلع شدند. نام این شرکت‌ها اعلام نشده است.

اما یک جزئیات مهم در این ماجرا وجود دارد: Gemini پس از اینکه متوجه شد با سامانه‌های واقعی طرف است، در هر سه مورد متوقف شد. گوگل نیز گفته است شواهدی از آسیب یا اختلال در فعالیت شرکت‌های موردنظر وجود ندارد.

مسئله فقط «هک شدن» نیست

اگر ماجرا را فقط با عبارت «هوش مصنوعی سه شرکت را هک کرد» خلاصه کنیم، بخش مهم‌تر داستان از دست می‌رود.

سؤال اصلی این است که وقتی یک عامل هوش مصنوعی می‌تواند اینترنت را جست‌وجو کند، اطلاعات پیدا کند، اعتبارنامه‌ها را تشخیص دهد و برای رسیدن به هدف خود از آنها استفاده کند، مرزهای محیط آزمایش چقدر قابل اعتماد هستند؟

در این پرونده، قرار نبود Gemini به سیستم‌های واقعی دسترسی داشته باشد. اشتباه در محیط آزمون این مرز را از بین برد و مدل هم بر اساس اطلاعاتی که در اختیارش قرار گرفته بود، مسیر رسیدن به هدف را ادامه داد. همین مسئله اهمیت طراحی محیط‌های آزمایشی کاملاً ایزوله برای مدل‌های دارای قابلیت اقدام مستقل را بیشتر می‌کند.

Gemini تنها نیست

این اتفاق نخستین نمونه از چنین رخدادی در صنعت هوش مصنوعی نیست. شرکت‌های OpenAI، Anthropic و Meta نیز در ارزیابی‌هایی که با Irregular مرتبط بوده‌اند، مواردی از دسترسی مدل‌های هوش مصنوعی به سامانه‌های واقعی را گزارش کرده‌اند.

در برخی از این موارد نیز مشکل از اتصال ناخواسته محیط آزمایش به اینترنت عمومی ناشی شده بود. به همین دلیل، موضوع دیگر صرفاً یک اتفاق مربوط به یک شرکت یا یک مدل خاص نیست و به چگونگی آزمایش و مهار نسل جدید عامل‌های هوش مصنوعی مربوط می‌شود.

وقتی AI می‌تواند «اقدام» کند

نسل جدید هوش مصنوعی فقط به پرسش کاربر پاسخ نمی‌دهد. عامل‌های هوش مصنوعی می‌توانند برای رسیدن به یک هدف، اطلاعات را جست‌وجو کنند، ابزارهای مختلف را به کار بگیرند و در محیط‌های دیجیتال اقدام کنند.

همین قابلیت، فاصله میان یک «چت‌بات» و یک «عامل هوشمند» را بیشتر می‌کند. هرچه اختیار چنین سیستم‌هایی برای استفاده از اینترنت و ابزارهای دیجیتال بیشتر شود، کنترل دسترسی آنها نیز اهمیت بیشتری پیدا می‌کند.

ماجرای Gemini نشان می‌دهد که حتی یک آزمون طراحی‌شده برای محیطی ساختگی می‌تواند در صورت وجود یک خطای زیرساختی، به دنیای واقعی متصل شود. از سوی دیگر، توقف Gemini پس از تشخیص سامانه‌های واقعی نشان می‌دهد رفتار مدل در تشخیص محدوده آزمون نیز بخشی از مسئله ایمنی است؛ موضوعی که گوگل بر آن تأکید کرده است.

یک سؤال بزرگ‌تر برای آینده AI

این حادثه در ماه مه رخ داد، اما خبر آن در سپتامبر و پس از پرسش رسانه‌ها به‌طور عمومی مطرح شد. گوگل گفته است شرکت‌های درگیر از این رخداد مطلع شده‌اند و همراه با شرکت برگزارکننده آزمون، فرآیندهای آزمایش را برای جلوگیری از تکرار چنین مواردی تغییر داده است.

با گسترش عامل‌های هوش مصنوعی، مسئله فقط این نیست که AI چه کارهایی می‌تواند انجام دهد؛ سؤال مهم‌تر این است که در چه محدوده‌ای اجازه دارد آنها را انجام دهد و اگر مرز اشتباه تعریف شد، چه چیزی جلوی ادامه مسیر را می‌گیرد؟

ماجرای Gemini پاسخی قطعی به این سؤال نمی‌دهد، اما نشان می‌دهد مرز میان یک آزمایش دیجیتال و دنیای واقعی، برخلاف تصور، می‌تواند با یک خطای ساده در زیرساخت آزمایش از بین برود.

میان‌بر تک‌مسیر

• عصاره خبر: Gemini در جریان یک آزمون امنیتی به‌دلیل دسترسی ناخواسته محیط آزمایش به اینترنت، به سامانه‌های سه شرکت واقعی رسید و در هر سه مورد پس از تشخیص هدف واقعی متوقف شد.

• مسیر اقدام: شرکت گوگل و ارزیاب امنیتی پروژه، فرآیندهای آزمایش و محدودیت‌های محیط ارزیابی را برای جلوگیری از تکرار چنین رخدادهایی بازبینی کرده‌اند.

• ایده تک: با قدرتمندتر شدن AI Agentها، امنیت فقط به توانایی مدل مربوط نیست؛ طراحی محیط، سطح دسترسی و امکان محدود کردن اقدامات مدل هم به اندازه خود هوش مصنوعی اهمیت دارد.

• ایستگاه بعدی: AI Agentها دقیقاً چه تفاوتی با چت‌بات‌ها دارند؟ / چرا دسترسی AI به اینترنت می‌تواند یک ریسک امنیتی باشد؟