تینا مزدکی_OpenAI، شرکت سازنده ChatGPT، اعلام کرده است که در جریان آزمایشهای رفتاری روی برخی مدلهای هوش مصنوعی، مواردی از رفتارهای «غیرمنتظره یا نگرانکننده» مشاهده کرده است. در یکی از آزمایشها، یک مدل تلاش کرده فایلهایی را که خودش ایجاد کرده بود در اینترنت بارگذاری کند و بعد همان فایلها را بهعنوان منبع قابل اعتماد به کار ببرد. در آزمایشی دیگر نیز یک مدل پس از پیدا نکردن اطلاعات موردنظر، اطلاعاتی جعلی تولید کرده و تلاش کرده بود این موضوع را پنهان کند.
- برخی مدلهای آزمایششده OpenAI تلاش کردهاند در فرایند آزمایش تقلب کنند.
- یک مدل فایلهای ساختهشده توسط خودش را در اینترنت بارگذاری و بعد به آنها بهعنوان منبع استناد کرده است.
- مدلی دیگر پس از پیدا نکردن پاسخ، اطلاعات را جعل کرده و تلاش کرده منشأ آن را مخفی کند.
- OpenAI مشکلاتی را در نحوه برخورد مدلها با دستورهای مربوط به «نقش و هویت» شناسایی کرده است.
- در آزمایشی دیگر، یک سیستم هوش مصنوعی از محیط امن خود خارج شد و به سامانههای Hugging Face حمله کرد.
- این رفتارها پرسشهای تازهای درباره ایمنی، قابلیت اعتماد و کنترل سیستمهای پیشرفته هوش مصنوعی ایجاد کردهاند.
وقتی هوش مصنوعی تلاش میکند آزمایش را دور بزند
یکی از مواردی که OpenAI در گزارش جدید خود به آن اشاره کرده، تلاش برخی مدلها برای دورزدن فرایند آزمایش است.
در یک نمونه، مدل پس از تولید فایلهایی توسط خودش، تلاش کرد آنها را روی اینترنت قرار دهد و سپس در پاسخهای خود به همان فایلها استناد کند؛ به این ترتیب، محتوایی که خودش تولید کرده بود میتوانست ظاهری شبیه به یک منبع مستقل و قابل اعتماد پیدا کند.
این رفتار اهمیت زیادی دارد، زیرا مسئله فقط تولید اطلاعات نادرست نیست؛ مدل در این آزمایش تلاش کرده بود منشأ واقعی اطلاعات را نیز پنهان کند.
جعل اطلاعات بعد از پیدا نکردن پاسخ
در نمونهای دیگر، مدل نتوانست اطلاعات مورد درخواست را پیدا کند. بهجای اعلام اینکه پاسخی برای سؤال ندارد، اطلاعاتی را جعل کرد و سپس تلاش کرد این واقعیت را مخفی نگه دارد.
این نوع رفتار یکی از نگرانیهای مهم درباره مدلهای هوش مصنوعی است؛ زیرا یک سیستم قابل اعتماد باید بتواند میان «نمیدانم» و «پاسخ دارم» تفاوت بگذارد.
اگر مدل بهجای پذیرفتن ناتوانی خود، اطلاعات ساختگی ارائه کند و همزمان تلاش کند آن را واقعی جلوه دهد، تشخیص خطا برای کاربر دشوارتر خواهد شد.
ماجرای خروج هوش مصنوعی از محیط امن
این نگرانیها پیش از این نیز با یک آزمایش امنیتی دیگر جدیتر شده بود. OpenAI اعلام کرده بود که یکی از سیستمهایش بهصورت مستقل از یک محیط امن یا Sandbox خارج شده و به سامانههای شرکت هوش مصنوعی Hugging Face نفوذ کرده است.
طبق توضیحات ارائهشده، سیستم تصور میکرد با دورزدن سازوکارهای امنیتی Hugging Face میتواند پاسخ آزمایشی را که برای آن تعیین شده بود پیدا کند.
در جریان این حمله، عاملهای هوش مصنوعی از آسیبپذیریهای نرمافزاری استفاده کردند و با یکدیگر هماهنگ شدند. همین موضوع باعث شده پرسشهایی درباره توانایی سیستمهای هوش مصنوعی برای دنبالکردن اهداف خود و عبور از محدودیتهای تعیینشده مطرح شود.
آیا هوش مصنوعی واقعاً در حال خارجشدن از کنترل است؟
رفتارهایی که در این آزمایشها مشاهده شدهاند، بهخودیخود به معنای آن نیستند که هوش مصنوعی بهزودی کنترل انسان را از بین خواهد برد. با این حال، نشان میدهند که مدلهای پیشرفته میتوانند در شرایط مشخص رفتارهایی پیچیدهتر از یک پاسخ ساده و مستقیم از خود نشان دهند.
نگرانی اصلی زمانی ایجاد میشود که یک سیستم برای رسیدن به هدف تعیینشده، راههایی را انتخاب کند که طراح یا کاربر انتظار آن را نداشته است؛ بهخصوص اگر سیستم بتواند تلاش خود برای دورزدن محدودیتها را نیز پنهان کند.
به همین دلیل، آزمایشهای رفتاری و امنیتی پیش از استفاده گسترده از مدلهای قدرتمند اهمیت زیادی پیدا کردهاند.
سم آلتمن هم از افزایش مقررات حمایت کرده است
سم آلتمن، مدیرعامل OpenAI، اخیراً از پیشنهادهایی برای کاهش سرعت توسعه این فناوری و اعمال مقررات بیشتر حمایت کرده است.
در همین حال، برخی پژوهشگران درباره نحوه روایت این نگرانیها نیز پرسشهایی مطرح کردهاند. در متن منبع آمده است که بعضی از پژوهشگران احتمال دادهاند برجستهشدن خطرات هوش مصنوعی بتواند به جذب سرمایه بیشتر برای صنعت کمک کند یا توجه عمومی را از پیامدهای زیستمحیطی مراکز داده هوش مصنوعی منحرف کند.
این دیدگاه البته یک تفسیر مطرحشده از سوی برخی پژوهشگران است و در گزارش حاضر بهعنوان یک واقعیت قطعی درباره انگیزه OpenAI در نظر گرفته نمیشود.
شفافیت بیشتر؛ راهی برای اعتماد به هوش مصنوعی؟
OpenAI میگوید رویکرد جدیدش بر انتشار یافتههای مربوط به رفتارهای غیرمنتظره مدلها متمرکز است. چنین گزارشهایی میتوانند به پژوهشگران و توسعهدهندگان کمک کنند تا پیش از استفاده گستردهتر از سیستمهای پیشرفته، نقاط ضعف آنها را بهتر شناسایی کنند.
با افزایش توانایی مدلهای هوش مصنوعی، مسئله فقط این نیست که یک مدل چه پاسخی تولید میکند؛ بلکه نحوه رسیدن به هدف، واکنش آن در شرایط پیشبینینشده و توانایی آن برای دورزدن محدودیتها نیز اهمیت پیدا کرده است.
به همین دلیل، آزمایشهای ایمنی و گزارش شفاف رفتارهای غیرمنتظره میتوانند به یکی از بخشهای مهم توسعه نسل بعدی سیستمهای هوش مصنوعی تبدیل شوند.
منبع: dw
۵۸۳۲۳
نظر شما