به گزارش خبرگزاری خبرآنلاین، هوش مصنوعی گوگل جمنای در جریان یک آزمون امنیت سایبری در ماه مه ۲۰۲۶، به اینترنت دسترسی پیدا کرد و توانست با استفاده از اطلاعات عمومی و اعتبارنامههای قابل دسترس، به سامانههای سه شرکت واقعی وارد شود. گوگل میگوید جمنای در هر سه مورد پس از تشخیص اینکه با زیرساخت واقعی شرکتها مواجه است، عملیات را متوقف کرد؛ با این حال، این رخداد یکی از نخستین نمونههای مستند از دسترسی مستقل یک سامانه هوش مصنوعی گوگل به زیرساختهای واقعی خارج از محدوده آزمایش محسوب میشود.
در این گزارش میخوانید
- جمنای گوگل چگونه به سه شرکت واقعی دسترسی پیدا کرد؟
- چرا هوش مصنوعی جمنای اصلاً به اینترنت دسترسی داشت؟
- جمنای چگونه اطلاعات ورود به سامانهها را پیدا کرد؟
- آیا جمنای واقعاً از کنترل خارج شده بود؟
- چرا هوش مصنوعی گوگل پس از ورود، حمله را متوقف کرد؟
- شرکتهای هدف چه آسیبی دیدند؟
- ماجرای جمنای چه ارتباطی با حوادث مشابه در OpenAI، آنتروپیک و متا دارد؟
- خروج هوش مصنوعی از محیط آزمایشی چه خطری برای آینده عاملهای هوش مصنوعی دارد؟
ماجرا در ماه مه ۲۰۲۶ و در جریان یک ارزیابی امنیت سایبری به سرپرستی شرکت مستقل Irregular رخ داد؛ شرکتی که آزمایشهای امنیتی مربوط به مدلهای هوش مصنوعی را انجام میدهد. هدف آزمایش این بود که توانایی جمنای برای انجام فعالیتهای امنیت سایبری در یک محیط کنترلشده بررسی شود. مدل قرار بود با زیرساختهای شرکتهای فرضی تعامل داشته باشد و اطلاعات مورد نیاز خود را در همان محیط آزمایشی پیدا کند. اما یک مشکل در فرایند آزمایش باعث شد جمنای به اینترنت واقعی دسترسی پیدا کند. در نتیجه، مدل به جای آنکه صرفاً با اهداف شبیهسازیشده کار کند، با زیرساختهای واقعی مواجه شد.
چرا جمنای به اینترنت واقعی دسترسی پیدا کرد؟
یکی از مهمترین نکات این حادثه همینجاست. جمنای قرار نبود در این مرحله به اینترنت عمومی دسترسی داشته باشد، اما نقصی در محیط آزمایش باعث شد این محدودیت عملاً کنار گذاشته شود. در سناریوی آزمون، نام شرکتهایی که مدل باید به آنها حمله میکرد، با نام شرکتهای واقعی یکسان بود. بنابراین زمانی که جمنای به اینترنت دسترسی پیدا کرد، نشانههایی پیدا کرد که از دید مدل با هدف تعریفشده در آزمایش همخوانی داشت. مدل در ادامه شروع به جستوجوی اطلاعات مرتبط با اهداف کرد و توانست به سامانههای واقعی دسترسی پیدا کند.
جمنای چگونه توانست وارد سامانه شرکتها شود؟
طبق توضیحات گوگل، جمنای برای دسترسی به سه وبسایت از اطلاعاتی استفاده کرد که در اینترنت قابل دسترس بود. در یکی از موارد، مدل با آزمون اعتبارنامهها توانست یک گذرواژه را حدس بزند و به سامانه محافظتشده وارد شود. در دو مورد دیگر، اطلاعات ورود مورد نیاز در یک مخزن عمومی اینترنتی قرار داشت و مدل توانست آنها را پیدا و برای ورود استفاده کند.
این بخش از ماجرا اهمیت زیادی دارد؛ زیرا نشان میدهد یک عامل هوش مصنوعی در صورت برخورداری همزمان از توانایی جستوجوی اینترنت، دسترسی به ابزارهای رایانهای و اختیار اجرای اقدامات میتواند زنجیرهای از اقدامات را بدون دخالت مستقیم انسان انجام دهد. البته این حادثه به معنای شکستن یک سامانه امنیتی بسیار پیچیده یا نفوذ به شبکهای با آسیبپذیری ناشناخته نیست. در دو مورد، اطلاعات ورود در یک منبع عمومی قرار داشت و در مورد دیگر، جمنای توانست اعتبارنامه را حدس بزند.
آیا جمنای واقعاً «از کنترل خارج شد»؟
عبارت «از کنترل خارج شدن» برای توصیف این حادثه نیازمند دقت است. جمنای در واقع از محدوده مورد انتظار آزمایش خارج شد؛ زیرا به اینترنت واقعی دسترسی پیدا کرد و با سامانههای شرکتهایی مواجه شد که قرار نبود هدف واقعی عملیات باشند. اما شواهد منتشرشده نشان نمیدهد که جمنای پس از شناسایی اشتباه خود، به عملیات ادامه داده باشد. برعکس، گوگل اعلام کرده است که در هر سه مورد، مدل پس از متوجهشدن اینکه با زیرساختهای واقعی شرکتها روبهرو است، حمله را متوقف کرد.
بنابراین دو اتفاق متفاوت را باید از یکدیگر جدا کرد:
- اول: مدل به دلیل نقص در محیط آزمون توانست به دنیای واقعی دسترسی پیدا کند.
- دوم: مدل پس از تشخیص واقعیبودن اهداف، عملیات را متوقف کرد.
همین تفاوت باعث میشود توصیف دقیقتر این باشد که جمنای از محیط کنترلشده آزمون خارج شد و به سامانههای واقعی دسترسی پیدا کرد، نه اینکه لزوماً به شکل دائمی و غیرقابلکنترل «سرکش» شده باشد.
گوگل از این حادثه چه میگوید؟
هدر ادکینز، معاون مهندسی امنیت گوگل، اعلام کرده است که سه نهاد درگیر از این اتفاق مطلع شدند و گوگل همراه با شریک آموزشی خود تغییراتی را در فرایند آزمایشها اعمال کرد. او این رخدادها را نشانهای از اهمیت آموزش مسئولانه مدلهای قدرتمند هوش مصنوعی دانسته است. به گفته او، در هر سه مورد، جمنای در نهایت عملیات خود را متوقف کرد.
شرکت Irregular نیز اعلام کرده است که مشکل رخداده بخشی از همان مسئلهای بوده که در آزمونهای مرتبط با دیگر آزمایشگاههای هوش مصنوعی نیز مشاهده شده است. این شرکت میگوید آزمایشگاههای مرتبط در اواخر ژوئیه از مشکل مطلع شدند و ایرادهای شناختهشده در فرایند آزمایش برطرف شدهاند.
آیا شرکتهای هدف آسیب دیدند؟
طبق اطلاعات منتشرشده، گوگل اعلام کرده است که در این سه مورد آسیبی به شرکتهای هدف وارد نشد. جمنای به سامانهها دسترسی پیدا کرد، اما در هر سه مورد پس از تشخیص اینکه اهداف واقعی هستند، فعالیت خود را متوقف کرد. گوگل نیز شرکتهای درگیر را در جریان این رخداد قرار داد.
این اتفاق فقط مربوط به جمنای نیست
اهمیت ماجرا زمانی بیشتر میشود که آن را در کنار اتفاقات مشابه قرار دهیم.
ایرلِیگولار اعلام کرده است که نمونههای مشابهی در آزمایشهای مربوط به مدلهای شرکتهای متا، آنتروپیک و OpenAI نیز مشاهده شده است.
- متا در ماه اوت درباره حادثه مربوط به مدل خود گفت که این اتفاق شامل فرار از محیط ایزوله یا یک حمله سایبری پیچیده نبوده است.
- در مورد آنتروپیک نیز پیشتر گزارش شده بود که برخی مدلهای Claude در جریان آزمونهای امنیت سایبری توانستند به سامانههای سه شرکت دسترسی پیدا کنند.
- همچنین OpenAI نیز مواردی از عبور مدلهای آزمایشی خود از محدودیتهای محیط آزمون را گزارش کرده است.
به این ترتیب، حادثه جمنای را نمیتوان صرفاً یک اتفاق منفرد در یک شرکت دانست؛ بلکه بخشی از مسئله گستردهتری است که با افزایش توانایی عاملهای هوش مصنوعی در استفاده از اینترنت و ابزارهای رایانهای اهمیت پیدا کرده است.
چرا دسترسی اینترنتی عاملهای هوش مصنوعی خطرناک است؟
یک مدل زبانی معمولی میتواند متن تولید کند، سؤال پاسخ دهد یا کد بنویسد؛ اما عامل هوش مصنوعی میتواند علاوه بر تولید پاسخ، ابزارهایی را نیز به کار بگیرد و بر اساس هدف تعیینشده، مجموعهای از اقدامات را انجام دهد. اگر چنین عاملی به اینترنت، مرورگر، سیستمعامل، پایگاههای داده یا ابزارهای اجرایی دسترسی داشته باشد، فاصله میان «پیشنهاد انجام یک کار» و «انجام واقعی آن کار» بسیار کمتر میشود.
برای مثال، یک مدل صرفاً متنی ممکن است درباره امنیت یک سامانه توضیح دهد؛ اما یک عامل مجهز به ابزار میتواند اطلاعات مورد نیاز را جستوجو کند، نتایج را تحلیل کند و در صورت وجود مجوز، اقدامات بعدی را انجام دهد. حادثه جمنای نشان داد که اگر مرز میان محیط آزمایش و اینترنت واقعی بهدرستی کنترل نشود، همین قابلیتها میتوانند مدل را به سمت تعامل با اهداف واقعی هدایت کنند.
۲۲۷۲۲۷
نظر شما