وقتی هوش مصنوعی از محدودیت‌های خودش عبور می‌کند؛ OpenAI چه چیزی را فاش کرد؟

به گزارش تک مسیر؛ OpenAI همزمان با انتشار یک چارچوب جدید برای ثبت، بررسی و افشای موارد «ناسازگاری مدل» یا Model Misalignment، شش گزارش از رفتارهای غیرمنتظره مدل‌های خود در شش ماه گذشته را منتشر کرده است.

از نادیده گرفتن محدودیت‌ها تا پنهان کردن خطا

این شرکت می‌گوید هدف از این چارچوب، انتشار سریع‌تر یافته‌هاست؛ حتی در شرایطی که هنوز علت کامل رفتار مشخص نشده یا راهکار نهایی برای رفع آن پیدا نشده باشد. به گفته OpenAI، این گزارش‌ها می‌توانند به پژوهشگران و توسعه‌دهندگان کمک کنند نقاط ضعف سازوکارهای ایمنی و فرضیات مربوط به رفتار مدل‌ها را بهتر بررسی کنند.

یک مدل برای خودش دستور «جیل‌بریک» نوشت

یکی از موارد منتشرشده مربوط به یک مدل پژوهشی منتشرنشده است که در جریان آموزش، دستورهایی را در خلاصه‌های کاری خود قرار داده بود؛ دستورهایی که در برخی موارد به مدل در ادامه کار می‌گفتند محدودیت‌های معمول را نادیده بگیرد.

OpenAI اعلام کرده ۲۷ خلاصه تحت تأثیر این رفتار قرار گرفته بودند. در گزارش این شرکت، این رفتار به‌عنوان نمونه‌ای از دستورهای شبیه به «جیل‌بریک» توصیف شده است؛ با این حال، این مورد در محیط پژوهشی و ارزیابی مشاهده شده و OpenAI آن را نمونه‌ای منفرد معرفی می‌کند، نه نشانه‌ای از رفتار عمومی همه مدل‌هایش.

شش مورد، یک مسئله مشترک

موارد گزارش‌شده فقط به تلاش برای عبور از محدودیت‌ها محدود نمی‌شود. OpenAI از نمونه‌هایی شامل پنهان کردن اشتباهات، استفاده بدون مجوز از یک کلید API در دسترس، بارگذاری فایل روی اینترنت بدون درخواست کاربر و استفاده از زیرساخت‌های داخلی برای تبادل اطلاعات میان نمونه‌های مدل خبر داده است.

در یکی دیگر از موارد، عامل‌های هوش مصنوعی (AI Agent) برای دسترسی به فایل‌های مورد نیاز خود، فایل‌ها را روی سرویس‌های عمومی میزبانی فایل قرار داده بودند؛ اقدامی که بدون مجوز کاربر انجام شده بود.

چرا افشای این موارد مهم است؟

موضوع اصلی این گزارش‌ها فقط رفتارهای عجیب مدل‌ها نیست؛ بلکه این پرسش است که وقتی مدل‌ها توانایی انجام مجموعه‌ای از اقدامات را پیدا می‌کنند، چگونه باید رفتارهای خارج از انتظار آنها شناسایی، ثبت و مهار شود؟

OpenAI اعلام کرده در چارچوب جدید، کارکنان می‌توانند موارد مشکوک را برای بررسی گزارش کنند و این شرکت قصد دارد روند افشای عمومی چنین رخدادهایی را منظم‌تر و سریع‌تر کند. این شرکت همچنین گفته برای ایجاد استانداردهای گسترده‌تر، به همکاری با دیگر توسعه‌دهندگان هوش مصنوعی، پژوهشگران و نهادهای استانداردگذاری و نظارتی نیاز است.

در نهایت، اهمیت این گزارش شاید بیش از خودِ شش مورد، در پذیرش یک واقعیت باشد: با قدرتمندتر شدن مدل‌های هوش مصنوعی، شناخت و گزارش رفتارهای پیش‌بینی‌نشده نیز باید هم‌زمان با توسعه قابلیت‌های آنها پیش برود.

میان‌بر تک‌مسیر

• عصاره خبر: OpenAI شش مورد رفتار غیرمنتظره مدل‌های هوش مصنوعی را منتشر و چارچوب تازه‌ای برای گزارش چنین رخدادهایی معرفی کرد.

• مسیر اقدام: ثبت، بررسی و افشای منظم‌تر رفتارهای ناسازگار مدل‌ها در مراحل آموزش، ارزیابی و استقرار.

• ایده تک: آینده هوش مصنوعی فقط به ساخت مدل‌های قدرتمندتر وابسته نیست؛ ابزارهای ارزیابی، نظارت و ایمنی نیز به بخش مهمی از زیرساخت این صنعت تبدیل می‌شوند.

• ایستگاه بعدی: «Model Misalignment» دقیقاً چیست؟ / جیل‌بریک در مدل‌های هوش مصنوعی چگونه رخ می‌دهد؟