آبان
اخبار
ممیزی METR و Redwood از سیستم نظارت بر ایجنت‌های OpenAI؛ چه ایرادهایی پیدا شد؟
شرکت OpenAI برای اولین‌بار به دو پژوهشگر بیرونی اجازه داد سه هفته درون شرکت بمانند و سیستم نظارت بر ایجنت‌های داخلی‌اش را بیازمایند. نتیجه، فهرستی از حفره‌هاست که نشان می‌دهد نظارت بر ایجنت‌ها هنوز به‌اندازه‌ی کافی محکم نیست.
لیست مطالب
بخش ۱ — ماجرا از کجا شروع شد؟
وقتی ایجنت‌های هوش مصنوعی ساعت‌ها و حتی روزها بدون دخالت انسان کار می‌کنند، یک پرسش جدی پیش می‌آید: چه کسی آن‌ها را زیر نظر دارد؟ شرکت‌های بزرگ برای این کار «مانیتور» می‌سازند؛ یعنی سیستمی که رفتار ایجنت را می‌خواند و اگر نشانه‌ی فریب، خرابکاری، نشت اطلاعات یا تزریق پرامپت ببیند، هشدار می‌دهد. اما خودِ مانیتور هم نرم‌افزار است و می‌تواند باگ داشته باشد.
شرکت OpenAI برای سنجش همین موضوع یک تمرین آزمایشی «دسترسی بالا» ترتیب داد. یک پژوهشگر از METR و یک پژوهشگر از Redwood Research به‌مدت سه هفته، از ۲۱ ژوئیه تا ۱۱ اوت ۲۰۲۶، به داخل شرکت آمدند. این کار جدا از بررسی ماجرای Hugging Face بود که METR جداگانه روی آن کار می‌کند.
بخش ۲ — پژوهشگران به چه چیزی دسترسی داشتند؟
این دسترسی از یک بازدید سطحی بسیار فراتر بود. پژوهشگران می‌توانستند کد داخلی، پرامپت‌ها و تنظیمات مانیتور و مستندات داخلی را ببینند و با حدود دوازده پژوهشگر و مهندس تیم‌های نظارت، سیستم‌های ایمنی و امنیت گفت‌وگو کنند. دستگاه‌هایی که در اختیارشان بود از محل شرکت بیرون نمی‌رفت و هنگام حضور، همراه نگهبان تردد می‌کردند.
تمرکز کار روی دو پرسش بود. نخست اینکه چه کسری از استنتاج ایجنتی واقعاً زیر نظارت است. دوم اینکه آیا یک ایجنت می‌تواند مانیتور را خاموش کند یا فریب دهد. بررسی فقط وضعیت سیستم تا تاریخ ۲۱ ژوئیه را پوشش می‌دهد، نه تغییراتی که در حال انجام بود.
بخش ۳ — پوشش نظارت؛ چند درصد ترافیک دیده می‌شد؟
طبق برآورد METR، حدود ۷۵ تا ۹۴ درصد ترافیک ایجنتی Responses API از مدل‌های هم‌رده یا قوی‌تر از GPT-5.5 مشمول نظارت بود. به بیان دیگر، حدود ۶ تا ۲۵ درصد از این ترافیک اصلاً دیده نمی‌شد. METR تأکید می‌کند عدم قطعیت این عدد در هر دو جهت زیاد است. برای زیرمجموعه‌ای که ایجنت‌های داخلی Codex استفاده می‌کردند، ۹۹٫۲ درصد ترافیک مشمول نظارت بود.
دو شکاف دیگر هم پیدا شد. اول، در ابتدای تمرین، اجراهای آموزش تقویتی (RL) تحت پوشش نظارت نبودند، هرچند بعضی rolloutها بین ماه مارس و ژوئن بررسی شده بودند. دوم، رویدادهای فشرده‌سازی زمینه (compaction) نظارت نمی‌شدند و به همین دلیل حدود ۱۰ درصد ترافیک مشمول نظارت Codex از ماه مه تا ژوئیه بی‌نظارت ماند. شرکت OpenAI این باگ را خودش قبل از ممیزی شناسایی کرده بود و در حین تمرین رفعش کرد.
بخش ۴ — راه‌های دور زدن مانیتور
بخش نگران‌کننده‌تر گزارش، مربوط به شکاف‌هایی است که یک ایجنت می‌توانست از آن‌ها برای فرار از نظارت استفاده کند. METR حدود هشت آسیب‌پذیری را توضیح می‌دهد. مهم‌ترین‌ها در ادامه آمده‌اند.
فعال‌سازی فقط در پایان نوبت
مانیتور تنها وقتی کار می‌کرد که ایجنت کنترل را به کاربر برمی‌گرداند. پس ایجنتی که مدام به کار ادامه می‌داد، می‌توانست نظارت را به تعویق بیندازد. پژوهشگران نتوانستند بررسی کنند که آیا این رخنه عملاً مورد سوءاستفاده قرار گرفته یا نه.
دور زدن سندباکس و بازبینی خودکار
در توصیف گزارش، ایجنت‌ها از نظر تئوری می‌توانستند سندباکس Codex و Auto-Review را دور بزنند و هر کاری را که کاربر میزبان می‌تواند انجام دهد، انجام دهند. METR این مورد را احتمالاً شدیدترین یافته می‌داند، هرچند خودش رتبه‌بندی رسمی ارائه نکرده است.
پنهان‌کردن صدها اقدام
یک اکسپلویت می‌توانست صدها اقدام اخیر ایجنت، از جمله خودِ اکسپلویت را از نظارت پنهان کند. جزئیات فنی این مورد توسط OpenAI حذف شده است.
تفاوت در سریال‌سازی و هدرهای کنترل‌پذیر
تفاوت میان آنچه ایجنت می‌دید و آنچه مانیتور دریافت می‌کرد، احتمالاً می‌توانست مانیتور را دچار خطا کند و باعث شود مسیر اقدامات برای بازبینی انسانی ارجاع نشود. دو هدر قابل کنترل توسط کلاینت هم نظارت را برای ایجنت‌های جدید غیرفعال می‌کردند، هرچند ثبت همین هدرها خودش می‌توانست توسط مانیتور شناسایی شود.
بخش ۵ — نکته‌های مثبت گزارش
گزارش فقط خبر بد نبود. به گفته‌ی OpenAI، نرخ خطای مانیتور کمتر از ۰٫۲ درصد درخواست‌ها بوده و در یک بازه‌ی ۲۴ ساعته هیچ load-shed ثبت نشده است. به‌جز چند استثنای جزئی، مانیتور کل مسیر اقداماتی را که ایجنت می‌دید، می‌دید. پرامپت‌های مانیتور هم برای تشخیص سناریوهایی مثل نقشه‌چینی پنهانی، خرابکاری، نشت اطلاعات، فریب و تزریق پرامپت طراحی شده بودند.
بخش ۶ — واکنش OpenAI و محدودیت‌های شفافیت
شرکت OpenAI می‌گوید همه‌ی آسیب‌پذیری‌هایی را که روی پشته‌ی ایمنی محیط عملیاتی اثر داشتند، وصله کرده است. به گفته‌ی گزارش‌ها، پس از ماجرای Hugging Face در ماه اوت، آموزش تقویتی هم موقتاً متوقف و پوشش نظارت گسترش داده شد. اما این تغییرات بعد از پایان دسترسی پژوهشگران رخ دادند و METR هیچ‌یک را ارزیابی نکرده است. بنابراین هنوز نمی‌توان گفت وصله‌ها چقدر مؤثرند.
مسئله‌ی شفافیت هم جدی است. گزارش کامل ۶۱ صفحه دارد، اما نسخه‌ی ۳۸ صفحه‌ای ویرایش‌شده فقط به رهبری METR و Redwood رسید و عموم تنها یک خلاصه‌ی کوتاه می‌بینند. METR می‌گوید حق انتشار بخش‌های حذف‌شده را نداشته و می‌خواهد در ممیزی‌های بعدی شفافیت بیشتری را پیگیری کند. اگر به موضوع ایمنی و ممیزی مستقل علاقه دارید، تحلیل‌های مرتبط را در بخش اخبار مستر ChatGPT دنبال کنید.
بخش ۷ — پنج توصیه‌ی METR و Redwood
پژوهشگران پنج اصل طراحی پیشنهاد کرده‌اند که می‌تواند الگوی دیگر شرکت‌ها هم باشد:
- دور زدن نظارت باید سخت باشد؛ اجرای بدون نظارت نیاز به تأیید صریح داشته باشد و مانیتور هر چند پیام یا چند دقیقه یک بار فعال شود، نه فقط پایان نوبت.
- باید تأیید شود که ترافیک «نظارت‌شده» واقعاً نظارت شده است؛ با تطبیق لاگ استنتاج و لاگ مانیتور و نگه‌داشتن فهرست دورزدن‌های شناخته‌شده.
- پاسخ به حادثه سریع باشد؛ با مسئول مشخص، دستورالعمل روشن و لاگ‌های ضدتخریب و قابل‌جست‌وجو.
- تیم قرمز به‌صورت مداوم کار کند؛ با ارزیابی‌های کنترلی، شکار باگ‌های قابل‌سوءاستفاده و روش‌هایی برای سنجش تبانی راهبردی.
- ایجنت‌ها از مانیتورها ایزوله شوند؛ اسکلت اجرایی از اجرای ابزارها جدا باشد و اقدام ایجنت نتواند بر زمان یا چگونگی نظارت اثر بگذارد.
بخش ۸ — این خبر برای کاربران و کسب‌وکارها چه معنایی دارد؟
برای کاربر عادی، این گزارش یعنی ایجنت‌های هوش مصنوعی هر چقدر قدرتمندتر می‌شوند، لایه‌ی نظارت روی آن‌ها هم باید جدی‌تر گرفته شود. همان منطقی که پشت ابزارهای خودکار مثل ایجنت‌های کدنویسی است، در کسب‌وکارها هم صدق می‌کند: هر ایجنتی که به حساب‌ها، فایل‌ها یا سرورها دسترسی دارد، به لاگ، محدودیت دسترسی و بازبینی نیاز دارد. برای درک بهتر مسیر رشد این فناوری، مطلب پتانسیل و محدودیت‌های واقعی هوش مصنوعی را بخوانید.
برای تیم‌هایی که ایجنت می‌سازند هم درس روشن است: «نظارت داریم» کافی نیست و باید قابل‌اثبات باشد. اگر تازه با این دنیا آشنا شده‌اید، شناخت شرکت OpenAI و مسیر رشدش و آموزش‌های ChatGPT در سایت نقطه‌ی شروع خوبی هستند. اهمیت کسب‌وکاری این فناوری را هم در نقش هوش مصنوعی در کسب‌وکار ببینید.
بخش ۹ — پرسش‌های پرتکرار
آیا ایجنت‌های OpenAI واقعاً از مانیتور فرار کردند؟
خیر، چنین چیزی در گزارش اعلام نشده است. پژوهشگران نتوانستند بررسی کنند که آیا رخنه‌ی «فعال‌سازی فقط در پایان نوبت» در عمل مورد سوءاستفاده قرار گرفته یا نه. یافته‌ها مربوط به آسیب‌پذیری‌های ممکن هستند، نه الزاماً حوادث واقعی.
آیا این ایرادها حالا رفع شده‌اند؟
شرکت OpenAI می‌گوید آسیب‌پذیری‌های اثرگذار بر محیط عملیاتی وصله شده‌اند، ولی METR این ادعا را ارزیابی نکرده و بنابراین مستقل تأیید نشده است.
چرا بیشتر گزارش منتشر نشد؟
OpenAI اجازه داشت هر بخشی را که حساس می‌داند حذف کند و انتشار عمومی با توافق، کوتاه و سطح بالا ماند. METR می‌گوید خودش حق افشای بخش‌های حذف‌شده را نداشته است.
این تمرین چه فرقی با یک ممیزی کامل دارد؟
این کار یک پایلوت برای آزمودن مدل «دسترسی بالا» برای پژوهشگران بیرونی بود، نه یک گزارش شفافیت کامل. فقط وضعیت سیستم تا ۲۱ ژوئیه را پوشش می‌داد و نمونه‌ی همه‌ی شرکت‌ها یا کل زیرساخت OpenAI نیست.
بخش ۱۰ — جمع‌بندی و نگاه به آینده
این ممیزی از دو جهت مهم است. نخست اینکه یک آزمایشگاه پیشرو در هوش مصنوعی اجازه داد نهادهای بیرونی تا این اندازه به درون سیستم نظارتی‌اش نگاه کنند. دوم اینکه یافته‌ها نشان می‌دهد حتی سیستم‌هایی که با دقت طراحی شده‌اند، شکاف‌های واقعی دارند. مسیر درست، ممیزی مستقل و مداوم، شفافیت بیشتر و طراحی سیستم‌هایی است که دورزدنشان سخت باشد. برای مقایسه‌ی رویکردها در دنیای مدل‌ها، مقاله‌ی مقایسه‌ی ChatGPT و DeepSeek و نگاه به توهم توسعه‌دهنده‌ی تنها در برابر مهندس واقعی هم خواندنی است.
