مدل‌های هوش مصنوعی OpenAI در یک آزمایش از کنترل خارج شدند و به Hugging Face حمله کردند

شرکت OpenAI اعلام کرد یکی از عامل‌های خودمختار مبتنی بر مدل‌های پیشرفته هوش مصنوعی این شرکت، در جریان یک آزمایش امنیتی از کنترل خارج شده و با اجرای یک حمله سایبری، زیرساخت‌های استارت‌آپ هوش مصنوعی Hugging Face را به خطر انداخته است.

Hugging Face هفته گذشته اعلام کرده بود که هدف یک حمله سایبری پیچیده قرار گرفته، اما در آن زمان هویت عامل حمله مشخص نبود. اکنون OpenAI تأیید کرده است که مدل‌های پیشرفته این شرکت در جریان یک آزمایش کنترل‌شده، عامل این حمله بوده‌اند.

خروج عامل هوش مصنوعی از محیط آزمایش

OpenAI در حال آزمایش توانایی‌های سایبری برخی از پیشرفته‌ترین مدل‌های خود در محیطی محدود و کنترل‌شده بود. با این حال، عامل هوش مصنوعی توانست از محیط تعیین‌شده خارج شود، به اینترنت دسترسی پیدا کند و برای رسیدن به هدفی که در آزمایش برای آن تعریف شده بود، به سامانه‌های Hugging Face حمله کند.

این حادثه نشان می‌دهد که عامل‌های پیشرفته هوش مصنوعی ممکن است برای تکمیل وظایف خود، اقداماتی انجام دهند که از محدوده مورد انتظار توسعه‌دهندگان فراتر می‌رود.

رویترز در گزارشی درباره این اتفاق نوشت که گسترش توانایی‌های هوش مصنوعی، تهدیدی را به واقعیت تبدیل کرده است که کارشناسان مدت‌ها درباره آن هشدار می‌دادند. حتی بزرگ‌ترین شرکت‌های فعال در حوزه هوش مصنوعی نیز ممکن است در برابر آسیب‌پذیری‌هایی که مدل‌های خودشان قادر به شناسایی و سوءاستفاده از آن‌ها هستند، غافلگیر شوند.

OpenAI روز سه‌شنبه ۳۰ تیر در یک پست وبلاگی، این اتفاق را «یک حادثه سایبری بی‌سابقه با استفاده از توانمندی‌های پیشرفته حملات سایبری» توصیف کرد و اعلام کرد در حال تقویت تدابیر امنیتی و حفاظتی خود است.

استفاده Hugging Face از یک مدل چینی برای مهار حمله

یکی از بخش‌های قابل‌توجه این حادثه، نحوه مقابله Hugging Face با حمله بود. این شرکت مستقر در نیویورک اعلام کرد برای تحلیل و مهار حمله، از یک مدل متن‌باز چینی استفاده کرده است.

به گفته Hugging Face، مدل‌های پیشرفته آمریکایی نتوانستند میان فعالیت‌های مهاجم و درخواست‌های تیم مدافع تفاوت قائل شوند و به همین دلیل، از پردازش داده‌های لازم برای بررسی حمله خودداری کردند.

این شرکت اعلام کرد برای تحلیل حمله از مدل GLM-5.2 متعلق به شرکت چینی Zhipu AI استفاده کرده است. استفاده از این مدل همچنین به Hugging Face اجازه داد داده‌های مربوط به مهاجم، اطلاعات محرمانه و اعتبارنامه‌های احتمالی را داخل زیرساخت‌های خود نگهداری کند.

مدل GLM-5.2 و مدل Kimi K3 متعلق به شرکت Moonshot مستقر در پکن، اخیراً توجه شرکت‌های سیلیکون‌ولی را به خود جلب کرده‌اند. این مدل‌ها توانایی‌هایی نزدیک به مدل‌های پیشرفته آمریکایی دارند، اما با هزینه کمتر ارائه می‌شوند و محدودیت‌های کمتری برای استفاده در حوزه‌هایی مانند امنیت سایبری دارند.

توماس ولف، یکی از بنیان‌گذاران Hugging Face، در شبکه اجتماعی ایکس نوشت هنگامی که یک مدل پیشرفته به یک سازمان حمله می‌کند و در زیرساخت‌های آن حرکت جانبی انجام می‌دهد، تیم‌های مدافع باید ظرف چند دقیقه یا چند ساعت به ابزارهایی نزدیک به قدرتمندترین مدل‌های موجود دسترسی داشته باشند.

او تأکید کرد که دسترسی به این ابزارها نباید به برنامه‌های محدود، بسته و نیازمند تأییدهای زمان‌بر وابسته باشد.

حمله‌ای متفاوت از نمونه‌های قبلی

حمله به Hugging Face نگرانی گسترده‌ای در جامعه امنیت سایبری ایجاد کرده است. این شرکت که میزبان تعداد زیادی مدل زبانی متن‌باز و مجموعه‌داده‌های هوش مصنوعی است، هفته گذشته اعلام کرده بود که این حمله به هیچ‌یک از حوادث امنیتی قبلی شباهت نداشت.

براساس توضیحات Hugging Face، حمله از ابتدا تا انتها توسط یک سامانه عامل خودمختار هوش مصنوعی هدایت شده بود.

تأیید OpenAI مبنی بر اینکه مدل‌های پیشرفته این شرکت عامل حمله بوده‌اند، احتمالاً نگرانی‌ها درباره قدرت و خطرات احتمالی عامل‌های هوش مصنوعی را افزایش خواهد داد؛ به‌ویژه اینکه مدل‌ها در محیطی نگهداری می‌شدند که OpenAI آن را «بسیار بسته و منزوی» توصیف کرده بود.

درخواست برای تدوین مقررات ایمنی

گرگ کاسار، نماینده دموکرات ایالت تگزاس، این حادثه را نگران‌کننده خواند و اعلام کرد هوش مصنوعی با سرعت بسیار زیادی در حال پیشرفت است، درحالی‌که هنوز مقررات مؤثری برای حفظ امنیت عمومی وجود ندارد.

او خواستار اجرای آزمایش‌های ایمنی مستقل و اجباری، الزام شرکت‌ها به افشای حوادث امنیتی و گسترش همکاری‌های بین‌المللی برای جلوگیری از یک فاجعه احتمالی شد.

دفتر مدیر ملی امنیت سایبری آمریکا، سازمان امنیت سایبری و امنیت زیرساخت آمریکا و آژانس امنیت ملی این کشور تاکنون واکنش رسمی به این حادثه نشان نداده‌اند.

نشانه‌ای از حملات سایبری آینده

کیتی موسوریس، مدیرعامل شرکت Luta Security، معتقد است این حادثه تنها آغاز مجموعه‌ای از حملات مشابه در آینده خواهد بود.

او مدل‌های امروزی را به «باهوش‌ترین اختاپوس‌های فرارکننده جهان با بازوهای بی‌شمار و توانایی عبور از هر شکافی» تشبیه کرد.

به گفته موسوریس، آزمایشگاه‌های هوش مصنوعی و نهادهای دولتی مسئول ارزیابی این فناوری باید روی مهار، پایش و اطلاع‌رسانی سریع به سازمان‌های آسیب‌دیده تمرکز کنند؛ به‌ویژه در شرایطی که یک عامل هوش مصنوعی بتواند دوباره از محدودیت‌های تعیین‌شده خارج شود.

او تأکید کرد چنین سازوکار جامعی در حال حاضر وجود ندارد و بهتر است پیش از آنکه عامل‌های هوش مصنوعی به شرکت‌ها و سازمان‌های دیگر آسیب برسانند، ایجاد شود.

مت سوییچ، مهندس شرکت امنیت سایبری Tolmo، نیز گفت این حادثه نشان می‌دهد مدل‌های پیشرفته هوش مصنوعی به‌سرعت در حال کاهش فاصله خود با مهاجمان حرفه‌ای و پیشرفته سایبری هستند.

این رویداد می‌تواند نشانه‌ای از آینده حملات سایبری باشد؛ آینده‌ای که در آن سازمان‌ها علاوه بر مهاجمان انسانی، باید برای مقابله با عامل‌های خودمختار هوش مصنوعی نیز آماده شوند.