مهر
اخبار
ناظر بیرونی داخل Anthropic؛ شش پژوهشگر METR با دسترسی کارمندی وارد شدند
شرکت Anthropic شش پژوهشگر سازمان METR را با دسترسی در سطح کارمند به داخل خودش راه داده و حق جلوگیری از انتشار گزارش‌هایشان را کنار گذاشته است؛ حرکتی که می‌تواند الگوی تازه‌ای برای نظارت بر آزمایشگاه‌های هوش مصنوعی باشد.
لیست مطالب
۱. چه اتفاقی افتاد؟
شرکت Anthropic در یک پست وبلاگی اعلام کرد که شش پژوهشگر از METR را با دسترسی «در سطح کارمند» پذیرفته است. METR سازمانی غیرانتفاعی است که کارش آزمون مدل‌های مرزی هوش مصنوعی و سنجش خطرهای آن‌هاست. TechCrunch این خبر را روز ۱۵ اکتبر ۲۰۲۶ پوشش داد.
هدف رسمی این همکاری، ارزیابی مستقل مدل‌ها، رویه‌های ایمنی و شیوهٔ مدیریت ریسک در Anthropic است. به بیان دیگر، به‌جای اینکه شرکت فقط گزارش خودش را از وضعیت ایمنی مدل‌هایش منتشر کند، گروهی بیرونی با دسترسی واقعی به داخل شرکت نگاه می‌کند و نتیجه را خودش می‌نویسد.
اگر می‌خواهید زمینهٔ بیشتری دربارهٔ شرکت‌هایی که این مدل‌ها را می‌سازند داشته باشید، مقالهٔ OpenAI چیست؟ نقطهٔ شروع خوبی است و آخرین اخبار هم در بخش اخبار هوش مصنوعی سایت جمع شده است.
۲. «دسترسی در سطح کارمند» یعنی چه؟
بر اساس گزارش‌ها، پژوهشگران METR لپ‌تاپ‌هایی را که خود Anthropic صادر کرده، فضای کار فیزیکی و ابزارهای داخلی در حدی نزدیک به ابزارهای تیم‌های ارزیابی ریسک شرکت دریافت می‌کنند. این با آزمون سنتی از بیرون تفاوت بزرگی دارد؛ در آزمون بیرونی ارزیاب فقط همان چیزی را می‌بیند که شرکت نشانش می‌دهد.
نکتهٔ دیگر فرهنگ همکاری است. کارکنان Anthropic تشویق شده‌اند اطلاعات را همان‌طور که با یک همکار روی ریسک هم‌ترازی در میان می‌گذارند، با پژوهشگران METR هم در میان بگذارند. یعنی قرار نیست ارزیاب فقط درِ بسته‌ی یک اتاق جلسه را ببیند.
چرا این دسترسی مهم است؟
در تحلیل ما، اهمیت ماجرا در «فاصلهٔ دانش» است. خود Anthropic می‌گوید می‌خواهد فاصلهٔ آنچه ارزیاب‌های بیرونی دربارهٔ سیستم‌هایش می‌فهمند با آنچه خود شرکت می‌داند کمتر شود. هرچه این فاصله بزرگ‌تر باشد، گزارش‌های بیرونی بیشتر به حدس و برداشت سطحی تبدیل می‌شود.
۳. مهم‌ترین بخش: حق انتشار بدون وتو
جذاب‌ترین جزئیات خبر، شرایط انتشار است. METR ارزیابی‌های خودش را دربارهٔ ریسک‌ها، حوادث و رویه‌های Anthropic منتشر می‌کند و Anthropic حق مسدود کردن این انتشار را از خودش سلب کرده است.
تنها استثنا، حذف‌های محدود در سه دستهٔ از پیش تعیین‌شده است: داده‌ی مشتریان، مکاتبات حقوقی محرمانه و اطلاعات مربوط به معماری مدل‌ها. حتی در همین موارد هم METR می‌تواند علنی بگوید که حذفی انجام شده و به نظر خودش موجه بوده یا نه، بدون اینکه محتوای حذف‌شده را فاش کند.
این جزئیات تفاوت اصلی با یک «همکاری تبلیغاتی» را نشان می‌دهد. وقتی شرکت نمی‌تواند گزارش را متوقف کند و ارزیاب می‌تواند دربارهٔ سانسور هم حرف بزند، هزینهٔ پنهان‌کاری بالا می‌رود. البته باید دید در عمل چه حجمی از اطلاعات زیر عنوان «معماری مدل» از دید خوانندگان بیرونی می‌ماند.
۴. ساختار سه‌لایهٔ ارزیابی مستقل
Anthropic این ترتیب را بخشی از یک سیستم سه‌لایه معرفی کرده است. در لایهٔ پایین، بررسی‌های محدود قرار دارد؛ برای مثال سازمان زیست‌امنیتی SecureBio. این ارزیاب‌ها پیش از انتشار نتیجه باید تأیید Anthropic را بگیرند.
لایهٔ میانی اطلاعات بیشتری در اختیار ارزیاب می‌گذارد و انتشار بدون نیاز به تأیید شرکت ممکن است. لایهٔ بالا همان است که METR در آن قرار گرفته: افزون بر دسترسی اطلاعاتی گسترده، حضور درون شرکت با امکانات کارمندی. METR در حال حاضر تنها ارزیاب این لایه است.
این طبقه‌بندی یک پیام روشن دارد: همهٔ ارزیابی‌ها هم‌ارز نیستند. هرچه ارزیاب استقلال انتشار و عمق دسترسی بیشتری داشته باشد، اعتبار گزارشش هم بیشتر خواهد بود. برای خواننده‌ی عادی، هنگام دیدن هر گزارش ایمنی مهم است بپرسد آن را کدام لایه نوشته است.
۵. چرا همین حالا؟ زمینهٔ خبر
Anthropic زمان‌بندی را به موج گزارش‌هایی ربط می‌دهد که از اواخر اوت ۲۰۲۶ دربارهٔ ایجنت‌های هوش مصنوعی منتشر شده؛ ایجنت‌هایی که بیرون از دستورها عمل کرده‌اند. این رخدادها تقاضا برای بازرسی مستقل شرکت‌ها را بالا برده است.
شرکت این الگو را به بازرس‌های مقیم تشبیه کرده که نهادهای نظارت بانکی در بزرگ‌ترین بانک‌ها می‌گذارند. در آن مدل، ناظر دائماً حاضر است و منتظر ثبت اتفاق بد نمی‌ماند. اگر این قیاس درست از آب درآید، نظارت بر هوش مصنوعی از «گزارش‌دهی بعد از حادثه» به «حضور مداوم» نزدیک می‌شود.
برای درک ریسک‌های واقعی و محدودیت‌های این فناوری می‌توانید پتانسیل و محدودیت‌های هوش مصنوعی در دنیای واقعی را بخوانید.
۶. وعدهٔ آمودی و واکنش بقیهٔ بازیگران
این اقدام عمل به وعده‌ی داریو آمودی، مدیرعامل Anthropic، است. او در مقاله‌ای در ماه سپتامبر پیشنهاد کرده بود ارزیاب‌های بیرونی داخل آزمایشگاه‌های هوش مصنوعی جاسازی شوند و این را نخستین گام برای کند کردن توسعهٔ هوش مصنوعی مرزی دانسته بود.
طبق گزارش‌ها OpenAI به‌سرعت قول داد همین کار را انجام دهد. افزون بر این، گوگل، متا، انویدیا، xAI، OpenAI و Anthropic پیمانی با کاخ سفید امضا کرده‌اند که به بازبینی مستقل متعهد می‌شود. ما پیش‌تر هم در مقالهٔ کنترل گزارش‌های ایمنی هوش مصنوعی و وتوی ارزیاب‌ها به بحث اختیار شرکت‌ها بر نتایج ارزیابی پرداخته بودیم؛ خبر امروز نقطهٔ مقابل آن بحث است.
تفاوت میان «قول دادن» و «ساختار اجرایی» همچنان باقی است. تا وقتی OpenAI و دیگران جزئیات حق انتشار و عمق دسترسی را روشن نکرده‌اند، نمی‌توان گفت معیار تازه‌ای در صنعت جا افتاده است.
۷. محدودیت‌ها و پرسش‌های باز
اول، METR فعلاً تنها ارزیاب لایهٔ بالاست و یک سازمان نمی‌تواند کل اکوسیستم را پوشش دهد. اگر قرار باشد دسترسی کارمندی استاندارد شود، به ارزیاب‌های بیشتر و منابع بیشتری نیاز است.
دوم، شش پژوهشگر در مقابل شرکتی با هزاران کارمند و پروژهٔ هم‌زمان قرار دارند. اینکه این تعداد برای دیدن همهٔ ریسک‌های مهم کافی باشد، هنوز سؤال است و فقط انتشار گزارش‌ها پاسخ آن را روشن می‌کند.
سوم، استثناهای انتشار، به‌ویژه «معماری مدل»، اگر موسع تفسیر شوند می‌توانند بخشی از اطلاعات مهم را از دید عموم پنهان کنند. البته حق METR برای اظهارنظر دربارهٔ حذف‌ها این خطر را کم می‌کند، ولی کاملاً از بین نمی‌برد.
چهارم، پیمان کاخ سفید و گروه کاری آن هنوز ضمانت اجرایی روشنی ندارند. نظارت داوطلبانه تا زمانی که قانون یا مجازات پشتش نباشد، به حسن نیت شرکت‌ها وابسته می‌ماند.
۸. این خبر برای کاربران و کسب‌وکارها چه معنایی دارد؟
برای کاربران عادی، پیام اصلی این است که معیار اعتماد به مدل‌ها در حال جابه‌جایی از «ادعای شرکت» به «گزارش مستقل» است. وقتی سازمانی مثل METR بتواند آزادانه بنویسد، گزارش‌های ایمنی آینده معنادارتر خواهند بود.
برای کسب‌وکارهایی که مدل‌ها را در محصولاتشان به کار می‌برند، ارزیابی ریسک تأمین‌کننده بخشی از تصمیم خرید شده است. اگر به کاربردهای تجاری هوش مصنوعی علاقه دارید، اهمیت هوش مصنوعی در کسب‌وکار را ببینید.
برای کسانی که با ابزارهای هوشمند کار می‌کنند هم همچنان نوشتن دقیق دستور مهم است؛ آموزش نوشتن پرامپت برای مبتدی‌ها و بخش آموزش‌های ChatGPT برای شروع مناسب‌اند. همچنین اگر دربارهٔ مرز میان توانایی واقعی و توهم هوش مصنوعی می‌خواهید بیشتر بدانید، مقالهٔ توهم هوش مصنوعی؛ توسعه‌دهندهٔ تنها در برابر مهندس واقعی را بخوانید.
۹. نگاه تحلیلی: از اعتماد به راستی‌آزمایی
در صنعت نرم‌افزار و امنیت، مدت‌هاست یک قاعده شناخته‌شده است: ادعای ایمنی بدون امکان راستی‌آزمایی مستقل ارزش محدودی دارد. شرکت‌های هوش مصنوعی تا امروز بیشتر گزارش‌های ایمنی خودشان را منتشر می‌کردند و خواننده ناچار بود به صداقت و دقت همان شرکت تکیه کند.
مدل جدید این رابطه را عوض می‌کند. اگر ارزیابی بیرونی بتواند بدون اجازه منتشر شود، شرکت برای هر ادعا باید آمادهٔ بررسی باشد. این فشار می‌تواند رفتار داخلی را هم تغییر دهد، چون تیم‌ها می‌دانند ناظری هست که تصمیم‌ها و مستندات را می‌خواند.
از طرف دیگر، هر ناظری که در داخل شرکت کار می‌کند با خطر «نزدیکی بیش از حد» روبه‌رو است. آشنایی روزمره با کارکنان ممکن است بدون قصد، قضاوت را نرم‌تر کند. به همین دلیل شفافیت دربارهٔ حذف‌ها و استقلال مالی و سازمانی ارزیاب، شرط اصلی اعتبار این الگو خواهد بود.
در نهایت، اثر این تصمیم از یک شرکت فراتر می‌رود. اگر گزارش‌های METR دقیق، قابل فهم و منتقدانه باشند، شرکت‌های دیگر ناچار می‌شوند برای حفظ اعتبار، شرایطی مشابه یا بهتر عرضه کنند. اگر گزارش‌ها کم‌اثر یا شسته‌رفته از آب درآیند، همین تجربه می‌تواند بهانه‌ای برای بی‌اعتمادی بیشتر به نظارت داوطلبانه شود.
۱۰. پرسش‌های متداول
METR چیست؟
METR سازمانی غیرانتفاعی است که مدل‌های مرزی هوش مصنوعی را آزمایش می‌کند و ریسک‌های آن‌ها را می‌سنجد.
چند پژوهشگر به Anthropic دسترسی گرفته‌اند؟
طبق اعلام Anthropic شش پژوهشگر METR دسترسی در سطح کارمند دریافت کرده‌اند.
آیا Anthropic می‌تواند گزارش METR را متوقف کند؟
خیر. Anthropic حق مسدود کردن انتشار را کنار گذاشته و فقط می‌تواند در سه دستهٔ داده‌ی مشتریان، مکاتبات حقوقی محرمانه و معماری مدل‌ها حذف بخواهد.
لایه‌های ارزیابی چیست؟
لایهٔ پایین ارزیابی‌های محدود با نیاز به تأیید شرکت است، لایهٔ میانی دسترسی بیشتر و انتشار بدون تأیید دارد، و لایهٔ بالا شامل دسترسی کارمندی METR است.
آیا OpenAI هم همین کار را می‌کند؟
گزارش‌ها می‌گویند OpenAI قول داده مسیر مشابهی را برود؛ جزئیات اجرایی هنوز روشن نیست.
این ترتیب چه ربطی به پیمان کاخ سفید دارد؟
گوگل، متا، انویدیا، xAI، OpenAI و Anthropic پیمانی را امضا کرده‌اند که به بازبینی مستقل متعهد می‌شود؛ این اقدام Anthropic یکی از نمونه‌های عملی آن تعهد است.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
