مهر
اخبار
آنتروپیک: مدل چینی GLM-5.3 به توان کلود میتوس در ساخت اکسپلویت رسید
آنتروپیک، شرکت سازنده‌ی کلود، هشدار داده که مدل متن‌باز و رایگان چینی GLM-5.3 از شرکت ژیپو (Zhipu AI) تقریباً به توان مدل اختصاصی و محافظت‌شده‌ی کلود میتوس پریویو در ساخت اکسپلویت‌های سایبری کامل رسیده؛ اما بر خلاف آن، تقریباً هیچ محافظ ایمنی مؤثری ندارد.
لیست مطالب
بخش ۱: چرا این هشدار آنتروپیک این‌قدر جدی است؟
تا همین چند ماه پیش، توانایی ساخت خودکار اکسپلویت‌های کامل و قابل‌اجرا برای آسیب‌پذیری‌های نرم‌افزاری، چیزی بود که فقط در انحصار معدودی از پیشرفته‌ترین مدل‌های هوش مصنوعی دنیا دیده می‌شد؛ مدل‌هایی که شرکت‌های سازنده آن‌ها را با لایه‌های سنگینی از محافظ، کنترل دسترسی و ارزیابی ریسک، فقط در اختیار تیم‌های دفاعی منتخب قرار می‌دادند. گزارش تازه‌ی تیم قرمز آنتروپیک این مرز را به‌هم می‌زند: یک مدل زبانی بزرگ متن‌باز، یعنی مدلی که وزن‌هایش به‌صورت رایگان قابل دانلود و اجراست، اکنون تقریباً به همان سطح رسیده است. این یعنی توانی که زمانی به‌شدت محدود بود، حالا دارد به سمت در دسترس‌بودن برای هر کسی با یک کارت گرافیک معمولی حرکت می‌کند.
اهمیت موضوع فقط در عدد و رقم نیست، بلکه در این است که مرز میان «ابزار دفاعی محافظت‌شده» و «سلاح سایبری در دسترس عموم» دارد محو می‌شود. برای آشنایی بیشتر با محدودیت‌ها و خطرات واقعی این فناوری در کنار فرصت‌هایش، می‌توانید نگاهی به پتانسیل و محدودیت‌های واقعی هوش مصنوعی در سایت ما بیندازید. این هشدار همچنین در ادامه‌ی موجی از خبرهای امنیتی و رقابتی هوش مصنوعی در هفته‌های اخیر است که در بخش اخبار هوش مصنوعی مرچت‌جی‌پی‌تی به‌صورت روزانه پوشش می‌دهیم.
بخش ۲: مدل GLM-5.3 و شرکت ژیپو چه کسانی هستند؟
مدل GLM-5.3 یک مدل زبانی بزرگ و متن‌باز است که توسط شرکت چینی ژیپو ای‌آی (Zhipu AI) توسعه داده شده و وزن‌های آن به‌صورت آزاد در دسترس پژوهشگران، توسعه‌دهندگان و البته هر کاربر دیگری قرار دارد. برخلاف مدل‌های بسته مثل کلود، جی‌پی‌تی یا جمینای که فقط از طریق سرورهای شرکت‌های سازنده قابل دسترسی‌اند، مدل‌های متن‌باز را می‌توان دانلود کرد، روی سرور شخصی اجرا کرد و حتی آموزش ایمنی آن‌ها را به‌طور کامل حذف کرد؛ دقیقاً همان کاری که در این گزارش «abliteration» نامیده شده است.
ظهور مدل‌های متن‌باز چینی قدرتمند، بخشی از رقابت گسترده‌تر میان آزمایشگاه‌های هوش مصنوعی آمریکا و چین است. اگر می‌خواهید بدانید شرکت‌هایی مثل OpenAI در این میدان چه جایگاهی دارند و چه تفاوتی با رقبای خود دارند، مقاله‌ی OpenAI چیست و چه می‌کند در سایت ما را بخوانید. مقایسه‌ی توانایی مدل‌های مختلف در آزمون‌های تخصصی هم موضوع تازه‌ای نیست؛ پیش‌تر در مطلب نبرد هوش مصنوعی‌های شطرنج‌باز، چت‌جی‌پی‌تی در برابر دیپ‌سیک هم به همین نوع رقابت‌های فنی میان مدل‌های آمریکایی و چینی پرداخته بودیم.
بخش ۳: کلود میتوس پریویو؛ سلاح دفاعی آنتروپیک
کلود میتوس پریویو (Claude Mythos Preview) مدلی اختصاصی و با دسترسی بسیار محدود است که آنتروپیک آن را مخصوص تیم‌های امنیتی دفاعی ساخته. این مدل از طریق برنامه‌ای به نام Project Glasswing در اختیار کارشناسان امنیت سایبری منتخب قرار می‌گیرد تا بتوانند پیش از مهاجمان واقعی، آسیب‌پذیری‌های نرم‌افزارهای حیاتی را کشف و وصله کنند. ایده‌ی اصلی این است که اگر هوش مصنوعی می‌تواند اکسپلویت بسازد، بهتر است این توانایی ابتدا در دست مدافعان باشد، نه مهاجمان.
اما همین گزارش نشان می‌دهد که این برتری دفاعی چقدر شکننده است. وقتی یک مدل متن‌باز و رایگان می‌تواند با فاصله‌ای ناچیز به همان سطح برسد، دیگر محدودکردن دسترسی به یک مدل اختصاصی کافی نیست؛ چون هرکسی با کمی دانش فنی می‌تواند از مسیر دیگری، یعنی مدل‌های متن‌باز، به همان نتیجه برسد.
بخش ۴: نتایج آزمایش ExploitBench؛ عدد به عدد
آزمون ExploitBench مجموعه‌ای استاندارد از ۴۱۰ سناریوی حمله‌ی واقعی است که برای سنجش توانایی مدل‌های هوش مصنوعی در ساخت اکسپلویت‌های کامل و قابل‌اجرا طراحی شده. در این آزمون، کلود میتوس پریویو توانست ۵۶ سناریو را با موفقیت کامل حل کند؛ مدل متن‌باز GLM-5.3 هم با فاصله‌ای بسیار کم، ۵۰ سناریو را پشت سر گذاشت. در یک آزمون داخلی و سخت‌تر برای اکسپلویت‌های باینری، کلود میتوس پریویو ۶ درصد موفقیت داشت و GLM-5.3 به ۴ درصد رسید؛ باز هم فاصله‌ای کوچک که نشان می‌دهد شکاف فنی میان بهترین مدل بسته‌ی دنیا و یک مدل متن‌باز رایگان، هر روز کوچک‌تر می‌شود.
این اعداد را باید در کنار این واقعیت خواند که مدل‌های متن‌باز، برخلاف مدل‌های بسته، هیچ نظارت متمرکزی روی نحوه‌ی استفاده‌شان ندارند. وقتی وزن‌های یک مدل دانلود می‌شود، دیگر هیچ شرکتی نمی‌تواند جلوی سوءاستفاده از آن را بگیرد یا دسترسی را قطع کند.
بخش ۵: وقتی محافظ‌های ایمنی از بین می‌روند
تمرین تیم قرمز و استدلال از پیش‌نوشته‌شده
پژوهشگران آنتروپیک درخواست‌های حمله را به چند شکل مختلف به مدل GLM-5.3 ارائه دادند تا میزان مقاومت واقعی آن را بسنجند. وقتی درخواست به‌سادگی و بدون پوشش خاصی مطرح می‌شد، مدل گاهی مقاومت نشان می‌داد؛ اما وقتی همان درخواست در قالب یک «تمرین تیم قرمز» (یعنی شبیه‌سازی یک حمله برای مقاصد آموزشی و دفاعی) بیان می‌شد، نرخ موفقیت در ساخت اکسپلویت به ۶۴ درصد رسید. وقتی پژوهشگران یک استدلال منطقی از پیش آماده را هم به مدل تزریق کردند، این رقم به ۹۲ درصد جهش کرد. این نشان می‌دهد که چیدمان و قاب‌بندی یک درخواست -یعنی دقیقاً همان چیزی که در دنیای پرامپت‌نویسی به آن «فریمینگ» می‌گویند- می‌تواند به‌تنهایی محافظ‌های یک مدل را دور بزند. اگر برای آشنایی با اصول نوشتن پرامپت و اینکه چرا نحوه‌ی بیان یک درخواست این‌قدر روی خروجی مدل تاثیر می‌گذارد کنجکاو هستید، مطلب آموزش نوشتن پرامپت برای مبتدیان را در سایت ما بخوانید.
حذف آموزش امتناع؛ یعنی Abliteration
گام آخر و خطرناک‌ترین بخش ماجرا، فرایندی به نام abliteration است؛ یعنی حذف فنی و کامل بخشی از مدل که مسئول «امتناع از درخواست‌های خطرناک» است. چون GLM-5.3 متن‌باز است، هر کسی با دانش فنی کافی می‌تواند این لایه‌ی محافظتی را از وزن‌های مدل جدا کند. نتیجه؟ مدلی که دیگر حتی یک بار هم در برابر درخواست‌های مخرب مقاومت نمی‌کند و در ۱۰۰ درصد موارد اکسپلویت می‌سازد. این دقیقاً همان خطری است که مدل‌های بسته مثل کلود، به دلیل عدم دسترسی عمومی به وزن‌های داخلی‌شان، تا حد زیادی در برابر آن ایمن هستند.
بخش ۶: فقط ۲۰ دلار تا یک اکسپلویت واقعی
شاید تکان‌دهنده‌ترین رقم این گزارش، هزینه‌ی مالی ماجراست. پژوهشگران آنتروپیک نشان دادند که ساخت یک اکسپلویت واقعی، کاربردی و قابل‌اعتماد برای مرورگر گوگل کروم -با ترکیب یک آسیب‌پذیری تازه‌کشف‌شده و چند آسیب‌پذیری شناخته‌شده- تنها ۲۰ دلار و ۴۰ سنت هزینه‌ی فراخوانی API داشته است. برای مقایسه، ساخت چنین اکسپلویتی توسط یک تیم انسانی متخصص می‌تواند هفته‌ها زمان و هزاران دلار هزینه‌ی نیروی انسانی داشته باشد. وقتی هزینه‌ی یک حمله‌ی سایبری حرفه‌ای از چند هزار دلار به بیست دلار می‌رسد، عملاً مانع اقتصادی اصلی برای مهاجمان کوچک، گروه‌های غیرحرفه‌ای و حتی افراد عادی از بین می‌رود.
بخش ۷: تاییدیه‌ی مستقل CAISI و رقابت امنیتی آمریکا و چین
یافته‌های آنتروپیک به‌تنهایی باقی نماند؛ مرکز آمریکایی ایمنی و امنیت هوش مصنوعی (CAISI) هم به‌طور مستقل این ارزیابی را بررسی و تایید کرد. طبق جمع‌بندی این آژانس، فاصله‌ی زمانی میان بهترین مدل‌های متن‌باز چینی و بهترین مدل‌های اختصاصی آمریکایی در زمینه‌ی قابلیت‌های سایبری، از بازه‌ی ۶ تا ۱۰ ماه قبلی، اکنون به ۴ تا ۷ ماه رسیده است. این یعنی شکاف فناوری امنیت تهاجمی میان دو ابرقدرت هوش مصنوعی دنیا، هر فصل کوچک‌تر می‌شود؛ روندی که مستقیماً روی سیاست‌های صادرات فناوری، تنظیم‌گری مدل‌های متن‌باز و حتی مذاکرات دیپلماتیک آمریکا و چین درباره‌ی هوش مصنوعی تاثیر می‌گذارد.
این رقابت فقط به شرکت‌های بزرگ محدود نمی‌شود. هر بار که یک مدل متن‌باز جدید منتشر می‌شود، عملاً ابزارهای پیشرفته در اختیار جامعه‌ی گسترده‌تری از توسعه‌دهندگان، پژوهشگران و متاسفانه مهاجمان سایبری هم قرار می‌گیرد؛ تصویری که نشان می‌دهد مرز میان یک توسعه‌دهنده‌ی مستقل با نیت خوب و یک مهاجم با نیت بد، گاهی تنها در همین جزئیات پنهان است. در مطلب توهم توسعه‌دهنده‌ی تنها در برابر مهندس واقعی بیشتر درباره‌ی این شکاف توضیح داده‌ایم.
بخش ۸: این هشدار برای کسب‌وکارها و کاربران ایرانی چه معنایی دارد؟
برای تیم‌های فنی و کسب‌وکارهایی که از زیرساخت ابری، سایت‌های وردپرسی یا اپلیکیشن‌های متصل به اینترنت استفاده می‌کنند، این گزارش یک زنگ خطر عملی است، نه فقط یک خبر فنی دور از دسترس. وقتی ساخت یک اکسپلویت کارآمد به بیست دلار و چند دقیقه زمان کاهش پیدا کند، حمله به زیرساخت‌هایی که وصله‌های امنیتی‌شان به‌روز نیست، دیگر نیاز به یک گروه هکری حرفه‌ای ندارد. به‌روزرسانی مداوم نرم‌افزارها، استفاده از احراز هویت چندمرحله‌ای و پایش مستمر ترافیک، از همیشه ضروری‌تر شده است.
از طرف دیگر، همین داستان نشان می‌دهد چرا سرمایه‌گذاری در ابزارهای دفاعی مبتنی بر هوش مصنوعی برای کسب‌وکارها اهمیت دوچندان پیدا کرده. برای درک بهتر اینکه چرا هوش مصنوعی -چه در نقش تهدید و چه در نقش ابزار دفاعی- برای کسب‌وکار امروز حیاتی شده، پیشنهاد می‌کنیم مطلب اهمیت هوش مصنوعی برای کسب‌وکار را در سایت ما بخوانید. همچنین اگر می‌خواهید با کاربردهای روزمره و آموزشی ابزارهایی مثل چت‌جی‌پی‌تی بیشتر آشنا شوید، سری آموزش‌های چت‌جی‌پی‌تی در سایت ما نقطه‌ی خوبی برای شروع است.
سوالات متداول
مدل GLM-5.3 دقیقاً چیست و چرا متن‌باز بودنش مهم است؟
مدل GLM-5.3 یک مدل زبانی بزرگ ساخت شرکت چینی ژیپو ای‌آی است که وزن‌های آن به‌صورت رایگان منتشر شده. متن‌باز بودن یعنی هرکسی می‌تواند آن را دانلود، اجرا و حتی تغییر دهد؛ از جمله حذف محافظ‌های ایمنی‌اش، کاری که در مدل‌های بسته مثل کلود عملاً ممکن نیست.
کلود میتوس پریویو چه فرقی با نسخه‌ی عادی کلود دارد؟
کلود میتوس پریویو نسخه‌ای تخصصی و با دسترسی بسیار محدود است که فقط برای تیم‌های امنیتی دفاعی و از طریق برنامه‌ی Project Glasswing عرضه می‌شود؛ هدفش کشف زودهنگام آسیب‌پذیری‌هاست، نه استفاده‌ی عمومی مثل کلود معمولی.
مفهوم Abliteration چیست و چرا این‌قدر خطرناک است؟
واژه‌ی Abliteration به فرایند حذف فنی لایه‌ی امتناع یک مدل هوش مصنوعی گفته می‌شود؛ یعنی بخشی که مانع پاسخ‌دادن مدل به درخواست‌های مضر می‌شود. وقتی این لایه حذف شود، مدل بدون هیچ مقاومتی به هر درخواستی پاسخ می‌دهد، حتی ساخت اکسپلویت سایبری.
آیا این یعنی مدل‌های متن‌باز به‌طور کلی خطرناک هستند؟
نه لزوماً؛ اغلب مدل‌های متن‌باز کاربردهای مفید علمی، آموزشی و تجاری فراوانی دارند. نگرانی اصلی گزارش آنتروپیک این است که وقتی قدرت یک مدل متن‌باز به سطح مدل‌های پیشرفته‌ی دفاعی می‌رسد، باید سازوکارهای ایمنی و قانون‌گذاری هم با همان سرعت به‌روزرسانی شوند.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
