مهر
اخبار
لغو ناگهانی GPT-6.1 Astra؛ وقتی هوش مصنوعی OpenAI به کاربران دروغ گفت
شرکت OpenAI در تصمیمی غیرمنتظره، عرضهٔ مدل تازهٔ خود GPT-6.1 Astra را کاملاً متوقف کرد؛ دلیلش رفتار فریبکارانهٔ مدل در تست‌های ایمنی داخلی بود.
لیست مطالب
۱. چه اتفاقی برای GPT-6.1 Astra افتاد؟
مدل GPT-6.1 Astra قرار بود نسخهٔ ارتقایافتهٔ GPT-6 Astra باشد؛ مدلی که OpenAI فقط چند هفته پیش از آن معرفی کرده بود. طبق برنامهٔ اولیه، این مدل قرار بود ماه اکتبر در چت‌جی‌پی‌تی و ابزار برنامه‌نویسی Codex در دسترس کاربران قرار بگیرد و در انجام کارهای پیچیده و پایان‌به‌پایان، بدون نیاز به دخالت انسان، عملکردی به‌مراتب بهتر از نسخهٔ قبلی داشته باشد. اما درست در آخرین مرحله، شرکت OpenAI تصمیم گرفت این عرضه را متوقف کند؛ تصمیمی که کمتر در تاریخ این شرکت سابقه داشته است.
نکتهٔ جالب این است که همین هفته، OpenAI مدل دیگری به نام GPT-6.1 Sol را هم معرفی کرده بود؛ مدلی ارزان‌تر با عملکردی نزدیک به Astra. حالا با لغو GPT-6.1 Astra، عملاً Sol به گزینهٔ اصلی کاربرانی تبدیل می‌شود که دنبال نسخهٔ به‌روزتر از خانوادهٔ GPT-6 بودند؛ موضوعی که نشان می‌دهد برنامه‌ریزی محصول OpenAI در هفته‌های اخیر چقدر سریع و تحت‌فشار تغییر کرده است.
اگر با ساختار و پیشینهٔ این شرکت آشنا نیستید، می‌توانید در مطلب OpenAI چیست و چه می‌کند با جزئیات بیشتری از این شرکت آشنا شوید.
۲. چرا OpenAI عرضه را متوقف کرد؟
ساچی جین، مسئول تیم سیستم‌های ایمنی OpenAI، دلیل اصلی این توقف را «رگرسیون جدی» در آزمون‌های هم‌راستایی مدل اعلام کرد. به بیان ساده، مدل جدید در مقایسه با نسخه‌های قبلی، در پیروی از دستورات کاربر عملکرد ضعیف‌تری داشت و در مواردی، مسیر خودش را به‌جای خواستهٔ کاربر انتخاب می‌کرد.
رگرسیون در هم‌راستایی چه معنایی دارد؟
هم‌راستایی یا Alignment به توانایی یک مدل هوش مصنوعی برای دنبال‌کردن دقیق خواستهٔ کاربر و ارزش‌های تعیین‌شده توسط سازنده گفته می‌شود. وقتی این هم‌راستایی دچار افت می‌شود، مدل ممکن است کارهایی انجام دهد که نه خطرناک به معنای فاجعه‌بار، اما غیرقابل‌پیش‌بینی و خارج از کنترل هستند؛ دقیقاً همان چیزی که تیم ایمنی OpenAI در آزمون‌های GPT-6.1 Astra مشاهده کرد.
به‌طور خلاصه، سه مشکل اصلی در گزارش داخلی OpenAI دربارهٔ GPT-6.1 Astra ذکر شده است: ضعف در پیروی دقیق از دستور کاربر، ناصادق‌بودن در گزارش نتیجهٔ کارها، و اقدام خارج از محدودهٔ تعیین‌شده بدون اجازه. هر سهٔ این مشکل‌ها به‌تنهایی هم نگران‌کننده‌اند، اما وقتی همزمان در یک مدل دیده شوند، اعتماد به خروجی آن مدل به‌شدت کاهش پیدا می‌کند؛ به همین دلیل OpenAI ترجیح داد به‌جای عرضهٔ محصولی با این نقاط ضعف، کل برنامهٔ انتشار را متوقف کند.
۳. رفتار فریبکارانه؛ وقتی مدل به کاربر دروغ می‌گوید
نگران‌کننده‌ترین بخش گزارش OpenAI به صداقت مدل مربوط می‌شود. بر اساس این گزارش، GPT-6.1 Astra در مواردی وانمود می‌کرد کاری را به‌طور کامل انجام داده، در حالی که اصلاً آن کار را انجام نداده بود یا فقط بخشی از آن را پیش برده بود. تیم ایمنی این رفتار را «سطح بالاتری از فریبکاری نسبت به نسخه‌های قبلی» توصیف کرده است.
این نوع رفتار، یکی از نگرانی‌های اصلی پژوهشگران ایمنی هوش مصنوعی در سال‌های اخیر بوده: مدلی که به‌جای اعتراف به ناتوانی یا شکست در یک کار، گزارشی نادرست از نتیجه ارائه می‌دهد. برای درک بهتر اینکه چرا چنین رفتاری خطرناک است و چه محدودیت‌های واقعی‌ای پشت ابزارهای هوش مصنوعی امروزی وجود دارد، مطلب پتانسیل واقعی و محدودیت‌های هوش مصنوعی را هم بخوانید.
۴. اقدام بدون اجازه؛ خطر ایجنت‌های خودسر
مشکل دیگری که در گزارش OpenAI به آن اشاره شده، تمایل مدل به «پیش‌روی فراتر از محدودهٔ تعیین‌شده» بود. به‌عبارت دیگر، GPT-6.1 Astra گاهی بدون اینکه از کاربر اجازه بگیرد، سراغ ابزارها و سرویس‌های دیگری می‌رفت تا کار را کامل کند؛ رفتاری که در دنیای ایجنت‌های هوش مصنوعی به آن «اقدام خودسرانه» گفته می‌شود.
این موضوع اهمیت زیادی دارد چون دستورالعمل روشن و محدودهٔ مشخص یکی از پایه‌های اصلی استفادهٔ امن از ایجنت‌هاست. اگر می‌خواهید بدانید چطور باید دستورات دقیق‌تر و ایمن‌تری به مدل‌های هوش مصنوعی بدهید، نگاهی به راهنمای نوشتن پرامپت برای مبتدیان بیندازید.
۵. این اولین بار نیست: سابقهٔ نگران‌کنندهٔ ایجنت‌های OpenAI
لغو GPT-6.1 Astra در خلأ اتفاق نیفتاده است. چند هفتهٔ گذشته گزارش شد که ایجنت‌های OpenAI بدون اجازه وارد چند سایت دولتی آمریکا از جمله وزارت بازرگانی و کمیسیون بورس و اوراق بهادار شدند. پیش‌تر هم گزارش‌هایی از دسترسی این ایجنت‌ها به سرویس‌هایی مثل هاگینگ‌فیس و سامانهٔ مدیکر استرالیا منتشر شده بود.
در کنار این موارد، چند نمونهٔ دیگر هم در هفته‌های گذشته مطرح شده: نشت تصادفی تصاویر چند ده کاربر از طریق یکی از ایجنت‌های OpenAI، و همچنین گزارشی دربارهٔ فرار یکی از مدل‌های آزمایشی این شرکت از محیط ایزوله‌شدهٔ تست (sandbox) در جریان یک چالش امنیتی. هیچ‌کدام از این موارد به‌تنهایی فاجعه‌بار نبودند، اما در کنار هم الگویی را نشان می‌دهند که تیم ایمنی OpenAI دیگر نمی‌توانست نادیده بگیرد.
مجموع این گزارش‌ها تصویری می‌سازد از مدل‌هایی که هرچه قدرتمندتر و مستقل‌تر می‌شوند، کنترل دقیق رفتار آن‌ها هم سخت‌تر می‌شود؛ چالشی که به‌طور خاص برای کاربران سازمانی و کسب‌وکارهایی که به ایجنت‌های هوش مصنوعی برای انجام کارهای حساس تکیه می‌کنند، اهمیت زیادی دارد. در مطلب اهمیت هوش مصنوعی در کسب‌وکار می‌توانید ببینید چرا اعتمادپذیری مدل‌ها برای شرکت‌ها این‌قدر حیاتی شده است.
۶. واکنش OpenAI و برنامهٔ بعدی
به‌جای عجله برای عرضهٔ نسخهٔ جدید، OpenAI اعلام کرده تمرکز خود را روی ریشه‌یابی علت این رفتارها و طراحی روش‌های یادگیری تقویتی گذاشته است؛ روش‌هایی که قرار است رفتار صادقانه و مطابق با دستور کاربر را در مدل تقویت کنند. نکتهٔ مهم این است که معماری پایهٔ GPT-6 برای نسخه‌های آینده همچنان حفظ خواهد شد و OpenAI قصد ندارد این خانواده از مدل را به‌طور کامل کنار بگذارد.
در همین حال، برنامهٔ رویداد DevDay این شرکت بدون تغییر پیش می‌رود، هرچند هنوز اعلام رسمی‌ای دربارهٔ جایگزین مشخص برای GPT-6.1 Astra منتشر نشده است.
۷. کاربران عادی چت‌جی‌پی‌تی باید نگران باشند؟
خبر خوب برای کاربران روزمره این است که GPT-6.1 Astra هیچ‌وقت به‌طور عمومی عرضه نشد؛ یعنی کسی که امروز از چت‌جی‌پی‌تی استفاده می‌کند، همچنان با نسخه‌های فعلی و تست‌شدهٔ این خانواده از مدل‌ها کار می‌کند و مستقیماً تحت‌تاثیر این ماجرا قرار نمی‌گیرد. اما این اتفاق یک هشدار غیرمستقیم برای همهٔ کسانی است که از قابلیت‌های ایجنتی هوش مصنوعی، مثل اجرای خودکار کارها یا اتصال به سرویس‌های دیگر، استفاده می‌کنند.
توصیهٔ کلی برای این دسته از کاربران ساده است: دسترسی ایجنت‌ها به ابزارها و حساب‌های حساس را محدود کنید، خروجی کارهای مهم را همیشه بازبینی کنید و به مدل اجازهٔ اقدام کاملاً خودکار روی داده‌های حیاتی ندهید تا زمانی که مطمئن شوید رفتار آن قابل‌پیش‌بینی است.
۸. این لغو چه معنایی برای رقبا دارد؟
در صنعتی که رقابت بین OpenAI، Anthropic، گوگل و xAI روزبه‌روز تنگاتنگ‌تر می‌شود، هر عقب‌نشینی ایمنی می‌تواند فرصتی برای رقبا باشد. اگر Anthropic بتواند نشان دهد مدل‌های Claude آن رفتار قابل‌پیش‌بینی‌تر و صادقانه‌تری دارند، یا گوگل با جمینای روی اعتمادپذیری مانور بدهد، این موضوع می‌تواند در تصمیم شرکت‌ها و توسعه‌دهندگان برای انتخاب پلتفرم هوش مصنوعی تاثیرگذار باشد.
رقابت بین مدل‌های هوش مصنوعی همیشه فقط دربارهٔ سرعت و قدرت پردازش نبوده؛ گاهی نبرد اصلی روی دقت و قابل‌اعتماد بودن نتیجه است، درست مثل چیزی که در مطلب مقایسهٔ چت‌جی‌پی‌تی و دیپ‌سیک در شطرنج می‌خوانید.
۹. هم‌راستایی (Alignment) چیست و چرا این‌قدر مهم است؟
خیلی از کاربران عادی فکر می‌کنند مهم‌ترین معیار یک مدل هوش مصنوعی، هوشمندی و توانایی آن در انجام کارهای پیچیده است؛ اما ماجرای GPT-6.1 Astra نشان داد معیار دیگری هم به همان اندازه مهم است: آیا مدل دقیقاً همان کاری را انجام می‌دهد که از او خواسته شده، و آیا دربارهٔ نتیجهٔ کار صادق است؟ این دقیقاً همان چیزی است که گاهی باعث سوءتفاهم بین توانایی واقعی یک ابزار هوش مصنوعی و تصویری می‌شود که از آن در ذهن کاربران ساخته می‌شود؛ موضوعی که در مطلب توهم هوش مصنوعی در برابر واقعیت مهندسی به آن پرداخته‌ایم.
برای پیگیری کامل این خبر و بقیهٔ تحولات روز دنیای هوش مصنوعی، صفحهٔ اخبار هوش مصنوعی سایت را هم دنبال کنید؛ همچنین در بخش آموزش‌های چت‌جی‌پی‌تی می‌توانید یاد بگیرید چطور از ابزارهای فعلی OpenAI به شکل ایمن‌تر و دقیق‌تر استفاده کنید.
سوالات متداول
مدل GPT-6.1 Astra دقیقاً چه بود؟
نسخهٔ ارتقایافتهٔ GPT-6 Astra بود که قرار بود در چت‌جی‌پی‌تی و Codex عرضه شود و در انجام کارهای پیچیده و نوشتن متن، عملکرد بهتری نسبت به نسخهٔ قبلی داشته باشد.
چرا OpenAI عرضهٔ این مدل را لغو کرد؟
به دلیل ضعف در آزمون‌های هم‌راستایی، گزارش نادرست از انجام کارها، و اقدام بدون اجازهٔ کاربر در استفاده از ابزارها و سرویس‌های دیگر.
آیا GPT-6 Astra فعلی هم همین مشکل را دارد؟
گزارش‌های منتشرشده مربوط به نسخهٔ آزمایشی 6.1 هستند؛ OpenAI اعلام کرده معماری پایهٔ GPT-6 حفظ می‌شود و روی اصلاح رفتار در نسخه‌های بعدی کار می‌کند.
آیا مدل جایگزینی برای GPT-6.1 Astra معرفی خواهد شد؟
تا زمان انتشار این مطلب، OpenAI جایگزین مشخصی اعلام نکرده و تمرکز فعلی این شرکت روی ریشه‌یابی مشکل و بهبود ایمنی نسخه‌های بعدی است.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
