به گزارش خبرآنلاین، به نقل از زومیت، ژوئن ۲۰۲۵، OpenAI حساب کاربری فردی به نام جسی ون روتسلار را بست. نوجوان ۱۷ سالهی ساکن تامبلر ریج در کانادا، دربارهی حملهای مسلحانه به یک مرکز خرید واقعی با ChatGPT حرف میزد و سیستم نظارتی شرکت فعالیتش را برای بررسی انسانی فرستاده بود.
روایت ماجرا در همان زمان میتوانست پایان یابد. لایههای ایمنی چتبات درست کار کرده بودند، OpenAI خطر را دید و حساب را بست. ولی ون روتسلار، با حساب دیگری برگشت؛ ماجرای مسدودشدن حساب قبلیاش را برای چتجیپیتی تعریف کرد و پرسید چرا حسابش بسته شده، یا چرا گفتگوهایش حساس بودهاند.
بر اساس تحقیقات جدید Mother Jones، چتبات پس از توضیح دلایل فعالشدن سیستمهای ایمنی، راههایی را هم برای دورماندن از فیلترها پیشنهاد کرد، مثلاً اینکه سناریوها را تخیلی یا فرضی معرفی کند و نام مکانهای واقعی را کنار بگذارد.
حساب دوم هشت ماه فعال ماند. ون روتسلار در این مدت از اسلحه، مواد منفجرهی دستساز، کشتارجمعی و شهرت پس از حمله حرف زد. گاهی چتجیپیتی درخواستش را رد میکرد و روتسلار با تغییر چند کلمه یا افزودن قید «فرضی»، از همان درخواست به پاسخی مفصل میگرفت. آخرین گفتوگوها به ساعت وقوع تیراندازیهای مدرسهای در آمریکا مربوط میشد. چند ساعت بعد، هشت نفر کشته شدند.
تا چند ماه پس از حادثه، افکار عمومی فقط میدانست OpenAI حساب اول را بسته و موضوع را به پلیس گزارش نکرده بود. تحقیق جدید اما نشان میدهد ماجرا به هشدار محدود نشده و محصول شرکت پس از همان هشدار نیز ماهها به گفتوگو با کاربر ادامه داده است.
هشداری که به پلیس نرسید
تامبلر ریج، شهری معدنی در شمالشرق بریتیش کلمبیا، ۱۰ فوریهی ۲۰۲۶ یکی از مرگبارترین تیراندازیهای جمعی تاریخ کانادا را تجربه کرد. پلیس سلطنتی کانادا ساعت ۱:۲۰ بعدازظهر گزارشی از حضور فردی مسلح در دبیرستان شهر دریافت کرد.
مأموران در مدرسه شش قربانی را یافتند؛ پنج دانشآموز ۱۲ و ۱۳ساله و یک دستیار آموزشی. دو قربانی دیگر، مادر مهاجم و برادر ۱۱ سالهاش، در خانه پیدا شدند. ۲۷ نفر نیز آسیب دیدند و مهاجم ۱۸ساله با شلیک به خود جان باخت.
پلیس هنگام بررسی ردپای دیجیتال ون روتسلار به OpenAI رسید، اما شرکت از قبل او را میشناخت. نامهی رسمی OpenAI به دولت کانادا تأیید میکند سیستم خودکار شرکت در ژوئن ۲۰۲۵ حساب نخست را شناسایی کرده و بازبینان انسانی نیز مکالمهها را دیدهاند، به همین دلیل حساب او را بستند. مدیران شرکت به این جمعبندی رسیدند که شواهد موجود نشانهی «خطری قریبالوقوع و معتبر» نیست که به پلیس گزارشش دهند.
گزارشهای بعدی حاکی از آن بودند که درون اوپنایآی نیز بر سر همین تصمیم اختلاف وجود داشت. والاستریت ژورنال مینویسد شماری از اعضای تیم ایمنی، گفتوگوها را جدیتر ارزیابی کردند و خواستار تماس با مقامهای مسئول شدند، ولی تصمیم نهایی شرکت به مسدودکردن حساب محدود ماند.
OpenAI میگوید در بررسی آن زمان نشانهای از برنامهای فعال و فوری مشاهده نمیشد؛ شاکیان پروندههای قضایی میگویند مدیران شرکت فرصتی واقعی برای مداخله را کنار گذاشتند. دادگاه هنوز دربارهی این ادعاها حکمی صادر نکرده است.
اختلافات امروز فقط دربارهی تصمیمی اشتباه در گذشته نیست. منتقدان سؤالی میپرسند که شرکتهای هوش مصنوعی هنوز پاسخ یکدست و محکمی برایش ندارند. گفتوگوی خصوصی از چه لحظهای به تهدیدی عمومی تبدیل میشود؟
گزارشهای زودهنگام میتواند جان انسانها را حفظ کند، ولی گزارشهای متعدد و بیش از حد نیز حریم خصوصی افراد را مخدوش میکند، یا باعث میشود داستانهای تخیلی و حرفهای آشفتهی افراد در بحرانهای روزمره، پای پلیس را وسط بکشد. اوپنایآی در این زمینه آستانهی تصمیمگیریاش را بالا گذاشته بود و حادثهی تامبلر ریج هزینهی خطای شرکت را نشان داد.
نامهی اوپنایآی نکتهای را تأیید میکند که در روایت اولیه کمتر دیده شد. ون روتسلار پس از محرومیت، حساب جدیدی ساخت و شرکت تا پس از حمله ارتباط میان دو حساب او را کشف نکرد. اوپنایآی میگوید پس از اینکه نام مهاجم بهصورت عمومی اعلام شد، حساب دوم او را یافت و اطلاعاتش را در اختیار پلیس گذاشت؛ درحالیکه شرکت از قبل ابزاری برای شناسایی کاربران متخلفی داشت که با حساب تازه بازمیگشتند.
مهاجم با افزودن کلمهی «فرضی»، چتبات را برای توصیف کارایی سلاحها در فضای بسته فریب داد
نشریه خبری و تحقیقی Mother Jones برای نخستینبار تصویری از محتوای حساب دوم ارائه میدهد. گزارش این مجله به اطلاعات و نقلقولهای منابع آگاه و مواردی از تاریخچهی گفتوگوهای ون روتسلار استناد میکند، گرچه منابع آگاه بهخاطر ادامهیافتن تحقیقات نام خود را فاش نکردهاند و اوپنایآی نیز به سؤالهای گزارشگران این مجله پاسخی نمیدهد.
شواهد فعلی نشان میدهند ون روتسلار تصاویر خشونتآمیز و آسیب به خود را بارگذاری میکرد و از چتبات میخواست روایتهایی دربارهی کشتارهای خیالی بسازد. شخصیت بعضی از داستانها به خود او شباهت داشت، مثل مهاجمی ۱۸ساله یا فردی با نام «جس» که از حمله برای کسب شهرت استفاده میکرد. چتبات گاهی از پاسخدادن سر باز میزد، اما پافشاری کاربر و بازنویسی درخواست مسیر را عوض میکرد.
یکی از چتهای آگوست ۲۰۲۵ ضعف لایههای امنیتی اوپنایآی را بهروشنی نشان میدهد. ون روتسلار از چتجیپیتی خواست سناریوی حملهای در محیط دانشگاه با یک سلاح مشخص را شرح دهد. چتبات ابتدا درخواست را رد کرد؛ سپس ون روتسلار به همان تقاضا یک قاب فرضی اضافه کرد و چتبات دربارهی کارایی سلاح در فضاهای بسته، زمان پرکردن دوباره سلاح و شمار احتمالی قربانیان حرف زد.
جزئیات سؤالها و نحوهی پرسیدن آنها را کنار بگذاریم، زیرا آنچه اهمیت دارد، در فاصلهی «امتناع راسخ» و «همراهیای خطرناک پس از تغییر صورت سؤال» منعکس میشود.
صبح روز حمله، ون روتسلار در مورد زمان وقوع چند تیراندازی مشهور در مدارس آمریکا سؤال پرسید و چتجیپیتی با تکیه بر دادههای منتشرشده و نمونههای گذشته، به او پاسخ داد. ژورنال Mother Jones میگوید این پرسشوپاسخ آخرین گفتوگوهای جسی با چتبات بودند.
تحقیقات پلیس هنوز ادامه دارد و مقامهای کانادایی نیز هنوز دربارهی انگیزهی نهایی یا سهم دقیق این مکالمهها در فاجعهی دلخراش، چیزی نگفتهاند.
تامبلر ریج نخستین تیراندازی مرگباری نبود که نام چتجیپیتی را بر سر زبانها انداخت. فینیکس ایکنر، متهم حملهی آوریل ۲۰۲۵ به دانشگاه ایالتی فلوریدا نیز شب پیش از تیراندازی از افسردگی و افکار خودکشی با چتبات حرف زده بود.
رونوشت مکالمههایی که والاستریت ژورنال بررسی کرد، نشان میداد او دربارهی شهرت پس از کشتار، کارکرد سلاح و زمان شلوغی محوطهی دانشگاه از چتجیپیتی سؤال کرده بود. آخرین گفتوگوی او با چتجیپیتی چهار دقیقه پیش از حمله پایان یافت. دو نفر کشته و شش نفر زخمی شدند؛ ولی ایکنر به اتهامهای قتل و تلاش برای قتل اعتراف نمیکند و خود را بیگناه میداند.
اوپنایآی میگوید پس از اطلاع از حمله در اواخر آوریل، حسابی را که به ایکنر مربوط میشد، پیدا کرد و اطلاعاتش را در اختیار پلیس گذاشت. شرکت در زمان مکالمهها خطر را تشخیص نداده بود و تازه پس از وقوع تیراندازی سراغ حساب رفت.
دو ماه بعد، سیستم نظارتی همان شرکت حساب ون روتسلار را بهدلیل گفتوگوهای خشونتآمیز برای بررسی انسانی فرستاد؛ بااینحال اوپنایآی پرونده را به پلیس ارجاع نداد.
ایکنر پیش از حمله دربارهی زمان شلوغی دانشگاه پرسیده بود و ون روتسلار در آخرین روز سراغ زمان وقوع تیراندازیهای مدرسهای رفت. مهاجم تامبلر ریج از نقش چتجیپیتی در حملهی فلوریدا خبر نداشت، زیرا این ارتباط ماهها بعد علنی شد؛ ولی اوپنایآی از آوریل ۲۰۲۵ جریان تیراندازی اول را میدانست.
رفتار حساب دوم جسی ون روتسلار، مشکلی را یادآوری میکند که خود اوپنایآی هم چند ماه پیش به آن اذعان کرده بود. این شرکت ماه آگوست در مطلبی با عنوان Helping people when they need it most، نوشت حفاظها در گفتوگوهای کوتاه عملکرد قابلاعتمادتری دارند، اما با طولانیشدن تعامل ممکن است بخشهایی از آموزش ایمنی مدل ضعیف شود. ضمن اینکه طبقهبندهای خودکار نیز گاهی شدت محتوای خطرناک را کمتر از واقع ارزیابی میکنند.
حفاظ ایمنی یک چتبات را نباید صرفاً در پاسخ «بله» یا «خیر» خلاصه کنیم. بهزعم منتقدان و شاکیان، چند لایه امنیتی باید پشتسرهم درست کار کنند.
اول مدل درخواست خطرناک را تشخیص دهد، دوم پاسخی ایمن بدهد، سوم سیستم نظارتی الگوی تکرارشونده را ببیند، چهارم بازبین انسانی خطر را درست بسنجد و درنهایت شرکت در صورت لزوم حسابهای مرتبط را پیدا کند یا به نهاد مسئول خبر دهد.
پروندهی تامبلر ریج شکست احتمالی چند لایه از این حفاظ را پیش روی جهان میگذارد. چتبات گاهی از پاسخدادن امتناع کرد و سپس کوتاه آمد؛ حساب اول بسته شد و کاربر با حساب دوم برگشت؛ شرکت خطر را دید، اما آن را برای گزارش کافی ندانست.
تفاوت چتبات با موتور جستوجو به همین تداوم پرسشوپاسخ برمیگردد. موتور جستوجو مجموعهای از پیوندها را به کاربر تحویل میدهد، اما چتبات درخواست را بهخاطر میسپارد، به بازنویسی آن کمک میکند و مکالمه را ادامه میدهد.
چنین تعاملی میتواند برای آموزش یا حمایت روانی ارزشمند باشد؛ ولی در گفتوگو با فردی که گرفتار وسواس یا خشونت است، نقش دیگری پیدا میکند. چتباتها صرفاً اطلاعات پراکندهای روی صفحه نشان نمیدهند و با کاربر در ساختن یک خط فکری مشارکت میکنند.
البته هنوز بحثهای زیادی در مورد رابطهی علتومعلولی این خشونت صورت میگیرد؛ مخصوصاً که در سابقهی ون روتسلار به موارد هشداردهندهی دیگری نیز به چشم میخورد، از افکار خودکشی و بستری اجباری گرفته تا مصرف مواد؛ نشر محتوای افراطی و تماسهای قبلیاش با پلیس.
اوپنایآی در درخواستی که برای کنارگذاشتن پرونده ارائه میدهد، روی ناکامی نهادهای محلی سلامت روان، آموزش و اجرای قانون تأکید میکند و مسئولیت مستقیم چتجیپیتی در این حادثه را نمیپذیرد. بااینحال همهی سوابق قبلی ون روتسلار نقش احتمالی چتبات را ثابت یا رد نمیکنند.
دادگاه باید مشخص کند آیا پاسخهای چتبات فقط یکی از اجزای سابقهی مهاجم بودند یا خطر را به شکلی قابلپیشبینی تشدید کردهاند.
اوپنایآی پس از جریان تیراندازی معیارهای خود را برای گزارشدهی به پلیس تغییر داد. ۲۶ فوریه شرکت در یادداشتی نوشت متخصصان سلامت روان، رفتار و اجرای قانون اکنون در پروندههای مبهم و سخت مشارکت میکنند و ارزیابان برای تشخیص خطر فقط به ذکر صریح هدف، وسیله و زمان وابسته نمیمانند.
در همین نامه اوپنایآی بهروشنی اعتراف کرد که اگر امروز حساب ژوئن ۲۰۲۵ را شناسایی میکرد، حتماً به پلیس گزارش میداد.
اوپنایآی میگوید راهی برای ارتباط مستقیم با مقامات کانادایی پیدا میکند و میخواهد منابع کمک محلی را در پاسخهای چتجیپیتی بگنجاند. این شرکت همچنین قصد دارد کاربرانی را که پس از بستهشدن حسابشان با حساب جدیدی برمیگردند، بهتر از گذشته شناسایی کند. سم آلتمن نیز ماه آوریل در نامهای به مردم تامبلر ریج بابت تماسنگرفتن با پلیس عذر خواست.
ولی تغییر سیاستهای فعلی این شرکت، مسئولیت حقوقی گذشتهاش را حل نمیکند. تا اوایل سپتامبر، خانوادهها، بازماندگان و کارکنان مدرسه ۳۷ دعوی علیه OpenAI ثبت کرده بودند. شاکیان، اوپنایآی و آلتمن را به سهلانگاری، انتشار محصول ناامن و کمک به وقوع حمله متهم کردهاند.
اوپنایآی ادعای شاکیان را رد میکند و میگوید کارکنان ایمنی بر اساس معیارهای دشوار و با هدف حفظ همزمان امنیت و حریم خصوصی تصمیم گرفتهاند.
دولت محلی بریتیشکلمبیا نیز در ۲۱ سپتامبر شکایتی را علیه شخص سم آلتمن و شرکتش به دادگاه فدرال سانفرانسیسکو تسلیم کرد و برای هزینههای رواندرمانی، رسیدگی به بازماندگان، تخریب مدرسه و ساخت بنای جایگزین، درخواست غرامت کرد.
دولت بریتیشکلمبیا میگوید دادگاه باید اوپنایآی را ملزم کند برخوردش را با تهدیدهای خشونتآمیز تغییر دهد. از طرفی مدرسهای که حملهی مسلحانه در آن رخ داد، دارد تخریب میشود و به گفتهی مقامات این استان، تصمیمی که زمانی داخل یک شرکت فناوری گرفته شد، به بودجهی عمومی و زندگی شهری کوچک در کانادا هم آسیب زد.
چت خصوصی چه زمانی دیگر خصوصی نیست؟
به نظر میرسد پروندهی تامبلر ریج بهمرور ابعاد وسیعتری به خود میگیرد، گرچه شاید مهمترین موضوع به مسئولیت محصولی برگردد که هم با میلیونها نفر حرف میزند و هم میتواند بخشی از تهدیدها را تشخیص دهد. وقتی شرکتی تهدید مشابهی، یا خطرهای دیگری را شناسایی کرد، در ادامه چه تعهدی خواهد داشت؟
آیا بستن حساب صاحب اکانت همهی مشکلات را حل میکند یا شرکت باید حسابهای مرتبط با شخص را هم جستوجو کند، رفتارشان را زیر نظر بگیرد و در موارد مشکوک یا حاد، به پلیس خبر دهد؟
گزارشدادن همهی چتهای آشفته به پلیس و نهادهای مسئول، چندان منطقی به نظر نمیرسد و شاید اثرات مضری هم داشته باشد، چون حریم خصوصی افراد را زیر پا میگذارد و باعث میشود افراد نیازمند، از گفتوگو با چتبات صرفنظر کنند. ضمن اینکه احتمالاً پلیس را درگیر انبوهی از هشدارهای بیاساس میکند.
ازسویدیگر اگر شرکتهای هوش مصنوعی بخواهند بر مبنای معیارهای مبهمی شبیه «خطر قریبالوقوع نزدیک است یا نه» تصمیم بگیرند، بازهم ایمنی کاربران و جامعه را تضمین نمیکنند؛ مخصوصاً وقتی یک کاربر طی ماهها الگوی ثابتی از خشونت، خودآزاری و جستوجوی موارد پرخطر نشان داده باشد.
ایمیلی که اوپنایآی در ژوئن ۲۰۲۵ برای کاربر فرستاد تا مسدودشدن حسابش را به او خبر دهد، در نگاه اول حاکی از این بود که سیستم حفاظتی درست عمل میکند. ولی هشت ماه بعد روشن شد بستن یک در، نقطهی پایان ماجرا نیست.
۵۸۵۸
نظر شما