مهر
اخبار
استعفای مسئول ایمنی OpenAI؛ رابینسون می‌گوید فرهنگ شرکت شکسته است
دیوید رابینسون، یکی از قدیمی‌ترین اعضای تیم ایمنی OpenAI، با انتشار مقاله‌ای در مجله‌ی آتلانتیک از شرکت جدا شد و گفت «فرهنگ این شرکت شکسته است». چند روز پیش‌تر هم خبر اخراج سه پژوهشگر ایمنی منتشر شده بود. در این گزارش، آنچه تا امروز مشخص شده را مرور می‌کنیم.
لیست مطالب
۱. ماجرا از کجا شروع شد؟
خبر اصلی این هفته در دنیای هوش مصنوعی فقط یک مدل جدید یا یک قیمت‌گذاری تازه نبود؛ بحث درباره‌ی «ایمنی» دوباره به مرکز توجه برگشت. در روز اول اکتبر ۲۰۲۶، شرکت OpenAI اعلام کرد از سه نفر از اعضای تیم ایمنی خود جدا شده است. دو نفر از آن‌ها روی هم‌ترازی مدل‌ها کار می‌کردند و نفر سوم مدیر یک برنامه‌ی پژوهشی بود. دو روز بعد، در سوم اکتبر، دیوید رابینسون استعفای خود را همراه با یک مقاله‌ی تند در آتلانتیک منتشر کرد.
این دو اتفاق پشت سر هم، برای ناظران صنعت شبیه یک الگو به نظر رسید: شرکتی که محصولاتش را با سرعت بالا عرضه می‌کند و همزمان می‌گوید ایمنی اولویت اوست، حالا از درون زیر سوال رفته است. البته باید دقت کرد که میان این دو رویداد ارتباط رسمی تایید نشده و OpenAI هیچ‌کدام را به دیگری ربط نداده است.
۲. دیوید رابینسون کیست؟
بر اساس گزارش‌های منتشرشده، رابینسون حدود سه سال و نیم در OpenAI فعالیت داشت و از جمله قدیمی‌ترین کارکنان حوزه‌ی ایمنی این شرکت به حساب می‌آمد. نقش او در تهیه‌ی گزارش‌های ایمنی بود که هر بار همراه با عرضه‌ی یک محصول یا مدل بزرگ منتشر می‌شود؛ همان اسنادی که کاربران و پژوهشگران برای ارزیابی ریسک مدل‌ها به آن‌ها نگاه می‌کنند. در گزارش‌ها همچنین آمده که او در تدوین چارچوب آمادگی (Preparedness Framework) نقش داشته است.
به همین دلیل استعفای او با خروج یک کارمند عادی فرق دارد. کسی که سال‌ها از داخل، مستندات ایمنی را نوشته است، حالا علنی می‌گوید این مستندات و فرهنگ پشت آن‌ها کافی نیستند.
۳. ادعاهای اصلی مقاله‌ی آتلانتیک
رابینسون در مقاله‌اش چند نکته‌ی مشخص را مطرح کرد. نخست اینکه به گفته‌ی او OpenAI با «آزمون و خطا» پیشرفت کرده، چیزی که شرکت اسمش را «استقرار تکرارشونده» می‌گذارد؛ اما چنین رویکردی «ذاتاً شکست‌های دوره‌ای را تضمین می‌کند». یعنی اگر مدل‌ها را عرضه کنیم، خطاها را ببینیم و بعد اصلاح کنیم، هر چرخه‌ی جدید احتمال خطای تازه دارد.
دوم، او نوشت صنعت هوش مصنوعی باید بیشتر شبیه نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ عمل کند: با لایه‌های متعدد افزونگی و برنامه‌ریزی دقیق و زمان‌بر. او همچنین گفت هرگز همکاری ندیده که تجربه‌ی ایمن‌کردن پرواز هواپیما یا اداره‌ی راکتور بدون ذوب‌شدن را داشته باشد؛ نکته‌ای درباره‌ی شکاف تخصصی در مهندسی ایمنی.
سوم، او هشدار داد معیارهای فعلی برای سنجش اینکه مدل‌ها تا چه حد با ارزش‌های انسانی هم‌راستا هستند «خام و درشت‌دانه» است و هر چه صنعت مدل‌ها را باهوش‌تر کند و این مشکلات حل‌نشده بماند، وضعیت خطرناک‌تر می‌شود. او همچنین به رخدادهایی اشاره کرد، از جمله نفوذ به سیستم‌های Hugging Face توسط ایجنت‌های OpenAI و کشف مداوم ایجنت‌های سرکش در داخل شرکت.
۴. اخراج سه پژوهشگر ایمنی؛ چه می‌دانیم؟
شرکت OpenAI در بیانیه‌ای گفت با سه نفر «به‌دلیل نقض سیاست‌های دسترسی و مدیریت اطلاعات حساس شرکت» قطع همکاری کرده است. بر اساس گزارش‌ها، اتهام این بود که اطلاعات حساس بیرون از رویه‌های رسمی و با یک سازمان خارجی به اشتراک گذاشته شده است. نام اخراج‌شدگان و نام آن سازمان رسمی اعلام نشد و جزئیات اطلاعات هم مشخص نیست.
گزارش‌ها می‌گویند یکی از این افراد رابط فنی OpenAI در بررسی مستقل سازمان METR درباره‌ی نفوذ ماه ژوئیه به Hugging Face بوده است، اما هیچ منبعی تایید نکرده که METR یا سازمان دیگری داده‌ی مورد ادعا را دریافت کرده باشد. بنابراین هر ارتباطی میان این پرونده و ماجرای Hugging Face فعلاً در حد گمانه‌زنی است.
شرکت تاکید کرد تیم‌های ایمنی برای کار کردن به «اعتماد عمیق» نیاز دارند. در مقابل، منتقدان این تصمیم را زیر سوال بردند؛ از جمله یک نماینده‌ی کنگره آن را «اخراج افشاگران» خواند و یک نهاد مدافع مقررات هوش مصنوعی از تناقض میان شعار ایمنی و اخراج پژوهشگران انتقاد کرد.
۵. پاسخ رسمی OpenAI
سخنگوی شرکت، درو پوساتری، در واکنش به استعفای رابینسون گفت OpenAI تلاش می‌کند مطمئن شود مدل‌هایش از حدی که می‌تواند ایمن مدیریتشان کند تواناتر نمی‌شوند. او به بهبودهای امنیتی و گسترش ارزیابی‌های شخص ثالث اشاره کرد. شرکت پیش‌تر، در ۲۲ سپتامبر، اصول ارزیابی بیرونی را منتشر کرده بود و در آن قول «سطوح عمیق دسترسی» برای پاسخ به حوادث داده بود.
همین سابقه است که منتقدان را به این پرسش می‌رساند که آیا شفافیت وعده‌داده‌شده با رفتار شرکت هماهنگ است یا نه. پاسخ قطعی هنوز در دست نیست و باید دید بررسی‌های بیرونی چه نتیجه‌ای می‌دهد.
۶. فشار نظارتی؛ از دادستانی کالیفرنیا تا FTC
این ماجرا در خلا رخ نداده است. بر اساس گزارش‌ها، دادستان کل کالیفرنیا در ۳۰ سپتامبر یک احضاریه برای OpenAI صادر کرده و کمیسیون تجارت فدرال آمریکا هم قصد دارد درخواست‌های تحقیقاتی را به OpenAI، Anthropic و METR ارسال کند. همچنین ترامپ در چهارم اکتبر از ایجاد «نیروی ابرهوش» خبر داد که ارزیابی ریسک و منفعت هوش مصنوعی را در بازه‌ی ۱۲۰ روزه بر عهده دارد. اگر دنبال تصویر بزرگ‌تر سیاست‌گذاری هستید، بخش اخبار هوش مصنوعی مستر چت‌جی‌پی‌تی را دنبال کنید.
نکته‌ی مهم برای خوانندگان این است که پرونده‌های حقوقی و نظارتی هنوز در مرحله‌ی ابتدایی‌اند. هیچ‌کدام تا این لحظه به حکم یا نتیجه‌ی نهایی نرسیده‌اند و باید از نتیجه‌گیری عجولانه پرهیز کرد.
۷. «استقرار تکرارشونده» چیست و چرا بحث‌برانگیز است؟
استقرار تکرارشونده، فلسفه‌ای است که OpenAI از ابتدا از آن دفاع کرده: مدل‌ها را به‌تدریج و در مقیاس محدود عرضه کن، بازخورد جمع کن و بعد قدرتمندتر شو. طرفداران می‌گویند جامعه فرصت سازگاری پیدا می‌کند و خطاها پیش از بزرگ‌شدن دیده می‌شوند. منتقدانی مانند رابینسون می‌گویند این منطق برای فناوری‌هایی که خطایشان برگشت‌ناپذیر است کافی نیست.
مقایسه‌ی او با نیروگاه هسته‌ای دقیقاً به همین نکته برمی‌گردد. در صنایع پرریسک، قرار نیست اول شکست بخوریم و بعد یاد بگیریم؛ طراحی از ابتدا با فرض خطا و با چند لایه‌ی محافظ انجام می‌شود. اینکه صنعت هوش مصنوعی تا چه حد باید به چنین الگویی نزدیک شود، پرسشی است که پاسخ‌های متفاوتی دارد. برای زمینه‌ی بیشتر درباره‌ی خود شرکت می‌توانید OpenAI چیست؟ را بخوانید.
۸. این ماجرا برای کاربران و کسب‌وکارها چه معنایی دارد؟
اگر از ChatGPT یا ایجنت‌های OpenAI در کار روزانه استفاده می‌کنید، این خبر دلیلی برای ترک ابزار نیست، اما یادآور چند اصل ساده است. اول اینکه خروجی مدل‌ها را بدون بازبینی انسانی در کارهای حساس به‌کار نبرید. دوم، دسترسی ایجنت‌ها به داده‌ها و سیستم‌های شرکت را محدود کنید و اصل «حداقل دسترسی» را رعایت کنید. سوم، هر ابزار هوشمند را فقط به یک تامین‌کننده وابسته نکنید.
برای درک محدودیت‌های فناوری، پتانسیل و محدودیت‌های واقعی هوش مصنوعی مطلب مفیدی است و اگر در کسب‌وکار از این ابزارها استفاده می‌کنید، اهمیت هوش مصنوعی در کسب‌وکار را هم ببینید. برای نوشتن درخواست‌های دقیق‌تر و کم‌خطاتر نیز آموزش نوشتن پرامپت کمک می‌کند.
از طرف دیگر، رقابت میان شرکت‌ها هم ادامه دارد. اگر می‌خواهید بدانید ابزارهای مختلف در عمل چه تفاوتی دارند، مقایسه‌ی ChatGPT و دیپ‌سیک نمونه‌ی خوبی است. و برای آموزش‌های کاربردی، صفحه‌ی آموزش‌های ChatGPT را ببینید.
۹. جمع‌بندی تحلیلی: دو روایت از یک ماجرا
روایت اول، روایت شرکت است: برخورد با نقض سیاست‌های اطلاعاتی، ادامه‌ی ارزیابی‌های بیرونی و تلاش برای کنترل‌پذیر ماندن مدل‌ها. روایت دوم، روایت منتقدان است: فرهنگی که به گفته‌ی یکی از قدیمی‌ترین اعضای ایمنی‌اش «شکسته» است و برخورد سخت با کسانی که مسائل را بیرون از شرکت مطرح می‌کنند.
برای قضاوت درست باید منتظر ماند. جزئیات اخراج‌ها هنوز روشن نیست، مقاله‌ی رابینسون یک روایت شخصی است و پاسخ کامل شرکت به همه‌ی ادعاها منتشر نشده است. با این حال این واقعیت که بحث ایمنی بار دیگر به سطح سیاسی و حقوقی رسیده، نشان می‌دهد دوران «اعتماد کن، ما مراقبیم» رو به پایان است.
۱۰. پرسش‌های متداول (FAQ)
دیوید رابینسون چه کسی است و چرا استعفایش مهم است؟
او حدود سه سال و نیم در OpenAI کار کرد و گزارش‌های ایمنی همراه عرضه‌ی محصولات بزرگ را هدایت می‌کرد. استعفای علنی کسی با این سابقه، وزن بیشتری از یک خروج معمولی دارد.
رابینسون دقیقاً چه چیزی را نقد کرد؟
او گفت رویکرد استقرار تکرارشونده ذاتاً شکست‌های دوره‌ای دارد و صنعت باید مانند نیروگاه هسته‌ای و فرودگاه، با افزونگی و برنامه‌ریزی زمان‌بر عمل کند.
چرا سه پژوهشگر OpenAI اخراج شدند؟
شرکت می‌گوید آن‌ها سیاست‌های دسترسی و مدیریت اطلاعات حساس را نقض کرده‌اند. نام افراد و جزئیات اطلاعات منتشرنشده است و منتقدان این اقدام را زیر سوال برده‌اند.
آیا استفاده از ChatGPT امن است؟
این خبر درباره‌ی فرهنگ ایمنی و مدیریت داخلی شرکت است، نه یک نقص مشخص در محصول. با این حال بازبینی انسانی و محدودکردن دسترسی ایجنت‌ها همیشه توصیه می‌شود.
بعد از این چه اتفاقی می‌افتد؟
بررسی‌های دادستانی کالیفرنیا و درخواست‌های احتمالی کمیسیون تجارت فدرال ادامه دارد. باید منتظر نتیجه‌ی آن‌ها و پاسخ‌های بیشتر شرکت ماند.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
