به گزارش خبرگزاری خبرآنلاین و براساس گزارش دیجیاتو، یک توسعه‌دهنده هوش مصنوعی با نام مستعار «Lyra» در شبکه اجتماعی ایکس آزمایشی را منتشر کرده که نشان می‌دهد دستکاری مستقیم ساختار داخلی مدل‌های زبانی می‌تواند رفتار و لحن خروجی آن‌ها را به شکل چشمگیری تغییر دهد.
او در این آزمایش با افزایش اثر یک نورون مصنوعی و کاهش اثر نورونی دیگر در مدل منبع‌باز «Qwen3.5-4B» متعلق به شرکت علی‌بابا، لحن معمول و مؤدب این چت‌بات را به شخصیتی تهاجمی و افراطی تبدیل کرد. خروجی مدل دستکاری‌شده شامل پاسخ‌هایی سلطه‌جویانه و تهدیدهایی علیه انسان‌ها بود.
پژوهشگر دیگری با نام کاربری «chiefofautism» نیز همین روش را روی مدل بزرگ‌تر «Qwen3.8-27B» آزمایش کرد و به نسخه‌ای با رفتارهای تندتر رسید. این مدل در پاسخ‌های خود انسان‌ها را گونه‌ای ناقص توصیف کرد و از زندانی کردن و شکنجه بشریت سخن گفت.
با این حال، چنین آزمایش‌هایی به معنای آگاه شدن هوش مصنوعی یا شکل‌گیری تمایلات و اهداف مستقل در آن نیست. همچنین شواهدی ارائه نشده است که نشان دهد این مدل‌ها توانایی عملی کردن تهدیدهای مطرح‌شده در پاسخ‌هایشان را دارند.
«Lyra» توضیح داده است که هدفش از این آزمایش، ساخت یک شخصیت ساختگی و نمایشی بوده و نورون‌های موردنظر را نیز با همین هدف انتخاب کرده است. به گفته او، تنظیم دقیق و دستکاری مدل‌ها پدیده تازه‌ای نیست و مسئله مهم‌تر، دسترسی افراد به وزن‌های مدل و ابزارهایی است که این مدل‌ها می‌توانند به آن‌ها متصل شوند.
هدایت نورونی چگونه رفتار مدل را تغییر می‌دهد؟
مدل‌های زبانی بزرگ از لایه‌های پردازشی و تعداد زیادی پارامتر تشکیل شده‌اند. وزن‌ها بخشی از این پارامترها هستند و میزان اثرگذاری سیگنال‌های محاسباتی را تعیین می‌کنند. در مدل‌های دارای وزن باز مانند Qwen، پژوهشگران می‌توانند به این ساختار دسترسی پیدا کنند و آن را بررسی یا تغییر دهند.
در این مدل‌ها، واحدهایی محاسباتی به نام «نورون مصنوعی» وجود دارند که با سلول‌های عصبی مغز انسان یکسان نیستند. این واحدها می‌توانند با مفاهیم، لحن‌ها یا الگوهای زبانی مشخصی ارتباط داشته باشند.
در روش «هدایت نورونی» (Neuron Steering)، پژوهشگر به‌جای درخواست متنی از چت‌بات برای تغییر لحن، مستقیماً سیگنال نورون‌های مشخصی را هنگام پردازش تقویت یا تضعیف می‌کند. «Lyra» در آزمایش خود سیگنال نورون شماره ۸۹۴۹ در لایه ۱۴ مدل Qwen3.5-4B را افزایش داد و سیگنال نورون شماره ۷۹۵۶ در لایه ۱۳ را کاهش داد.
این روش به تغییر دائمی مدل یا آموزش دوباره آن نیاز ندارد و می‌توان اثر دستکاری را در زمان پردازش فعال یا غیرفعال کرد.
این توسعه‌دهنده همچنین ابزاری متن‌باز به نام «Neuron Explorer» را در گیت‌هاب منتشر کرده است تا پژوهشگران و علاقه‌مندان بتوانند نورون‌های مدل‌های هوش مصنوعی را بدون نیاز به کدنویسی پیچیده بررسی و هدایت کنند. چنین ابزارهایی، علاوه بر کاربردهای آزمایشی، می‌توانند برای شناسایی و پیشگیری از رفتارهای ناخواسته در مدل‌های پیشرفته هوش مصنوعی نیز مورد استفاده قرار بگیرند.
۲۲۷۲۲۷
نظر شما