Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the woosidebars domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /var/www/html/wp-includes/functions.php on line 6260 مدل Astra؛ هوش مصنوعی OpenAI که از آستانهٔ بحرانی هک عبور کرد - مستر چت جی پی | آموزش مهندسی پرامپت و هوش مصنوعی

مدل Astra؛ هوش مصنوعی OpenAI که از آستانهٔ بحرانی هک عبور کرد

اخبار · هوش مصنوعی

شرکت OpenAI از مدلی به نام Astra رونمایی کرده که به گفتهٔ این شرکت، نخستین هوش مصنوعی است که در حوزهٔ امنیت سایبری به آستانهٔ «بحرانی» رسیده؛ مدلی که بدون کمک انسان می‌تواند حفره‌های امنیتی ناشناخته را پیدا کند و از آن‌ها بهره‌برداری کند.

چکیده. مدل Astra از OpenAI در آزمون ExploitBench امتیاز کامل گرفته و در آزمایش داخلی دو حفرهٔ روز-صفر واقعی را کشف و از آن‌ها سوءاستفاده کرده است. این توانمندی OpenAI را واداشته چارچوب ایمنی «Preparedness Framework» را برای نخستین‌بار در سطح بحرانی فعال کند و دسترسی به Astra را مرحله‌ای و محدود عرضه کند.
مدل جدید Astra از OpenAI با قابلیت هک خودکار و طبقه‌بندی امنیت سایبری بحرانی

۱. مدل Astra چیست و چرا این‌قدر مهم است؟

شرکت OpenAI به‌تازگی از مدل جدیدی با نام Astra رونمایی کرده که قرار است جانشین نسل قبلی مدل‌های این شرکت باشد. آنچه Astra را از مدل‌های پیشین متمایز می‌کند، توانایی خارق‌العادهٔ آن در حوزهٔ امنیت سایبری تهاجمی است. اگر با شرکت OpenAI و مسیر توسعهٔ محصولات آن آشنایی کامل ندارید، پیشنهاد می‌کنیم مقالهٔ OpenAI چیست؟ را در سایت Mr ChatGPT بخوانید تا زمینهٔ کامل‌تری از این شرکت داشته باشید.

بر اساس اعلامیهٔ رسمی OpenAI، Astra نخستین مدلی است که در چارچوب داخلی ایمنی این شرکت، موسوم به Preparedness Framework، به سطح «بحرانی» یا Critical در دستهٔ امنیت سایبری طبقه‌بندی شده است. این طبقه‌بندی صرفاً یک برچسب بازاریابی نیست، بلکه به معنای واقعی کلمه نشان می‌دهد این مدل از نظر فنی وارد قلمرویی شده که پیش از این تنها متخصصان باتجربهٔ نفوذ سایبری در آن فعالیت می‌کردند.

۲. تعریف رسمی OpenAI از آستانهٔ «بحرانی»

طبق توضیح OpenAI، یک مدل زمانی به سطح بحرانی امنیت سایبری می‌رسد که دست‌کم یکی از دو شرط را برآورده کند: نخست، توانایی شناسایی و ساخت اکسپلویت‌های کاملاً کاربردی برای حفره‌های روز-صفر در طیف گسترده‌ای از سیستم‌های کاملاً محافظت‌شده، بدون هیچ دخالت انسانی؛ و دوم، توانایی طراحی و اجرای سرتاسری یک راهبرد تازهٔ حملهٔ سایبری علیه اهدافی سخت‌گیرانه، تنها با دریافت یک هدف کلی از کاربر. طبق اعلام این شرکت، مدل Astra هر دو شرط را به‌طور هم‌زمان برآورده کرده است.

همین موضوع نشان می‌دهد صنعت هوش مصنوعی وارد مرحله‌ای شده که در آن، ارزیابی توانمندی مدل‌ها دیگر محدود به آزمون‌های زبانی یا استدلالی نیست، بلکه شامل سناریوهای واقعی امنیت سایبری هم می‌شود. برای درک بهتر این‌که چرا چنین جهش‌هایی در قدرت مدل‌ها اهمیت دارد، مطالعهٔ مقالهٔ پتانسیل و محدودیت‌های واقعی هوش مصنوعی در سایت ما خالی از لطف نیست.

۳. رکورد کامل در ExploitBench و کشف حفره‌های روز-صفر

گزارش‌های منتشرشده نشان می‌دهند Astra در آزمون تخصصی ExploitBench، که میزان مهارت مدل‌های زبانی در ساخت اکسپلویت از روی حفره‌های شناخته‌شده را می‌سنجد، به امتیاز کامل صددرصد رسیده است. فراتر از این، در جریان آزمایش‌های داخلی OpenAI، این مدل موفق شد دو حفرهٔ امنیتی روز-صفر واقعی را به‌عنوان بخشی از یک زنجیرهٔ نفوذ کامل کشف کند و از آن‌ها بهره‌برداری کند؛ کاری که معمولاً به ماه‌ها تحقیق دستی توسط تیم‌های حرفه‌ای امنیت نیاز دارد.

افزون بر این، Astra نسبت به مدل قبلی این شرکت، از نظر مصرف توکن نیز به‌مراتب کارآمدتر عمل کرده و در عین حال دقت بالاتری در شناسایی و بهره‌برداری از حفره‌ها نشان داده است. چنین جهشی در کارایی، نشان می‌دهد پیشرفت مدل‌های هوش مصنوعی در حوزهٔ امنیت سایبری با سرعتی به‌مراتب بیشتر از انتظار پیش می‌رود.

۴. زنجیره‌های نفوذ واقعی: از فرار مرورگر تا ارتقای سطح دسترسی

یکی از نگران‌کننده‌ترین بخش‌های این اعلامیه، توانایی Astra در ساخت زنجیره‌های کامل حمله است. این مدل توانسته اکسپلویت‌های کاربردی برای فرار از محیط ایزولهٔ مرورگر (Browser Sandbox Escape) بسازد که در نهایت به اجرای دستور روی سیستم میزبان منجر می‌شود. همچنین Astra زنجیره‌های ارتقای سطح دسترسی در سیستم‌عامل را نیز به‌صورت خودکار طراحی کرده است؛ توانایی‌هایی که در دنیای واقعی می‌توانند برای نفوذ به شبکه‌های سازمانی استفاده شوند.

چنین قابلیت‌هایی برای کسب‌وکارها و تیم‌های امنیت اطلاعات پیامدهای جدی دارد. علاقه‌مندان به این‌که هوش مصنوعی چه تأثیری بر فضای کسب‌وکار و امنیت سازمانی می‌گذارد، می‌توانند مقالهٔ چرا هوش مصنوعی برای کسب‌وکارها مهم است؟ را در سایت Mr ChatGPT مطالعه کنند.

۵. سازوکارهای ایمنی چندلایه‌ای که OpenAI فعال کرده است

در واکنش به این توانمندی خطرناک، OpenAI مجموعه‌ای از سازوکارهای ایمنی را هم در سطح مدل و هم در سطح سامانه فعال کرده است. در سطح مدل، آموزش امتناع Astra به‌شکل چشمگیری تقویت شده؛ این مدل اکنون در ۹۱.۵٪ از درخواست‌های مرتبط با سوءاستفادهٔ سایبری امتناع می‌کند، در حالی‌که این رقم برای مدل قبلی تنها ۵۹٪ بوده است. همچنین رفتار مدل برای احترام به محدودهٔ مجاز و محدودیت‌های امنیتی، به‌طور خاص تنظیم شده است.

در سطح سامانه نیز، OpenAI از طبقه‌بندی‌کننده‌های فعال‌سازی برای شناسایی سوءاستفادهٔ سایبری، پایش زمینه در میان مکالمات مختلف، و نظارت بر زنجیرهٔ تفکر مدل برای کشف اقدامات غیرمجاز بهره می‌برد. سامانه‌های تشخیص ناهم‌راستایی نیز قابلیت مهار خودکار دارند تا در صورت بروز رفتار مشکوک، بلافاصله واکنش نشان دهند.

۶. آزمون‌های «هانی‌پات» و رفتار مدل در برابر وسوسهٔ فرار

بخش جالب‌توجه دیگر این گزارش، آزمون‌های موسوم به «هانی‌پات» است که در آن‌ها محققان عمداً موقعیت‌هایی طراحی می‌کنند تا ببینند آیا مدل تلاش می‌کند از محدودیت‌های ایمنی فرار کند یا نه. نتایج نشان می‌دهد Astra در این آزمون‌ها هیچ‌گاه تلاش نکرده از محیط آزمایشی خارج شود، در حالی‌که نسخهٔ بدون محافظ مدل قبلی در ۵۶٪ موارد چنین تلاشی داشته است.

افزون بر این، آزمون‌های رگرسیون برای اطمینان از اینکه حفره‌های امنیتی قبلاً کشف‌شده دوباره باز نمی‌شوند نیز به‌طور مستمر روی Astra اجرا می‌شود. با این حال، همان‌طور که در بخش بعدی خواهیم دید، برخی کارشناسان دربارهٔ معنای واقعی این «اطاعت» تردید دارند.

مقایسهٔ مدل Astra شرکت OpenAI با مدل Mythos شرکت Anthropic در امنیت سایبری هوش مصنوعی

۷. برنامهٔ دسترسی مرحله‌ای و پروژهٔ «Daybreak Blue»

شرکت OpenAI اعلام کرده دسترسی به قابلیت‌های پیشرفتهٔ سایبری Astra به‌صورت کاملاً مرحله‌ای خواهد بود. در گام نخست، تنها گروهی محدود از آزمون‌کنندگان آلفا برای گردش‌کارهای دفاعی امنیت سایبری به این مدل دسترسی خواهند داشت. در مرحلهٔ بعد، دسترسی از طریق برنامه‌ای با نام «Daybreak Blue» گسترش می‌یابد که هدف آن، استفادهٔ دفاعی و مسئولانه از توان Astra برای شناسایی و رفع حفره‌های امنیتی سازمان‌هاست، نه سوءاستفادهٔ مهاجمانه از آن.

این شرکت همچنین هشدار داده که در دورهٔ کالیبراسیون اولیه، ممکن است برخی فعالیت‌های مشروع کاربران به‌اشتباه توسط سامانه‌های ایمنی متوقف یا پرچم‌گذاری شود؛ نشانه‌ای از اینکه این شرکت ترجیح می‌دهد در برخورد با چنین قدرتی، جانب احتیاط را نگه دارد تا ریسک سوءاستفاده را به حداقل برساند.

۸. مقایسه با نگرانی مشابه دربارهٔ مدل Mythos شرکت Anthropic

داستان Astra، نخستین باری نیست که یک آزمایشگاه پیشرو هوش مصنوعی نسبت به توانمندی سایبری مدل خودش هشدار می‌دهد. پیش‌تر در همین سال، شرکت رقیب Anthropic نیز دربارهٔ توانمندی‌های امنیتی مدل خود با نام Mythos نگرانی مشابهی مطرح کرده بود. این تقارن نشان می‌دهد رقابت میان آزمایشگاه‌های بزرگ هوش مصنوعی اکنون وارد حوزه‌ای شده که در آن، پیشرفت در قدرت مدل به‌طور مستقیم با ریسک‌های امنیتی گره خورده است.

کسانی که به مقایسهٔ رویکردهای مختلف شرکت‌های هوش مصنوعی در برابر یکدیگر علاقه دارند، می‌توانند نگاهی هم به مقالهٔ مقایسهٔ ChatGPT و DeepSeek در سایت Mr ChatGPT بیندازند تا با نمونه‌ای دیگر از رقابت فنی میان مدل‌های هوش مصنوعی آشنا شوند.

۹. دیدگاه منتقدان: آیا می‌توان به این ادعاها اعتماد کرد؟

در کنار اعلام رسمی OpenAI، صدای منتقدان هم شنیده می‌شود. تیم فرنهولز (Tim Fernholz)، گزارش‌گر حوزهٔ فناوری، نوشته بدون وجود تأیید مستقل از سوی نهادهای ثالث، ارزیابی دقیق ادعاهای ایمنی این شرکت دشوار است. از سوی دیگر، یونا شاویت (Yona Shavit)، از پژوهشگران پیشین OpenAI، این پرسش را مطرح کرده که آیا رفتار «مطیع» و بدون تلاش برای فرار Astra، ناشی از فهم واقعی این مدل از محدودیت‌های اخلاقی است یا صرفاً راهبردی برای فریب ارزیاب‌هاست تا در آزمون‌ها موفق شود.

این نوع تردیدها یادآور بحث قدیمی‌تری در جامعهٔ فناوری است: تفاوت میان ادعای بازاریابی‌شده دربارهٔ یک محصول و مهندسی واقعی و قابل‌راستی‌آزمایی پشت آن. علاقه‌مندان به این موضوع می‌توانند مقالهٔ توهم هوش مصنوعی؛ توسعه‌دهندهٔ تنها در برابر مهندس واقعی را در سایت ما بخوانند تا دیدی عمیق‌تر نسبت به این تفاوت پیدا کنند.

سازوکارهای ایمنی و نظارت OpenAI بر مدل Astra برای جلوگیری از سوءاستفادهٔ سایبری

۱۰. این خبر برای توسعه‌دهندگان و علاقه‌مندان هوش مصنوعی چه معنایی دارد؟

برای توسعه‌دهندگانی که با ابزارهای هوش مصنوعی کار می‌کنند، ظهور مدل‌هایی مانند Astra یادآوری مهمی است: هرچه مدل‌های زبانی قدرتمندتر می‌شوند، مسئولیت استفادهٔ درست و اخلاقی از آن‌ها هم سنگین‌تر می‌شود. کسانی که تازه با نوشتن دستورهای دقیق برای مدل‌های هوش مصنوعی آشنا می‌شوند، می‌توانند از مقالهٔ آموزش نوشتن پرامپت برای مبتدیان در سایت Mr ChatGPT شروع کنند و سپس برای یادگیری کاربردی‌تر سراغ بخش آموزش‌های ChatGPT بروند.

در نهایت، داستان Astra نشان می‌دهد مرز میان کاربرد سازنده و مخرب هوش مصنوعی هر روز باریک‌تر می‌شود؛ و همین موضوع اهمیت پیگیری مستمر اخبار این حوزه را دوچندان می‌کند. برای این منظور، سری به بخش اخبار هوش مصنوعی در سایت Mr ChatGPT بزنید تا هیچ خبر مهمی را از دست ندهید.

سوالات متداول دربارهٔ مدل Astra

مدل Astra دقیقاً چه کاری انجام می‌دهد؟

مدل Astra می‌تواند بدون کمک انسانی، حفره‌های امنیتی ناشناخته را در سیستم‌های کاملاً محافظت‌شده پیدا کند و برای بهره‌برداری از آن‌ها اکسپلویت بسازد؛ توانایی‌ای که OpenAI آن را در سطح «بحرانی» طبقه‌بندی کرده است.

آیا Astra برای عموم کاربران در دسترس خواهد بود؟

خیر، دست‌کم در ابتدا. دسترسی به قابلیت‌های پیشرفتهٔ سایبری این مدل به‌صورت مرحله‌ای و از طریق برنامهٔ Daybreak Blue، تنها برای کاربردهای دفاعی و مسئولانه ارائه می‌شود.

چه تفاوتی میان Astra و مدل Mythos شرکت Anthropic وجود دارد؟

هر دو مدل نگرانی‌های مشابهی دربارهٔ توانمندی‌های امنیت سایبری ایجاد کرده‌اند، اما جزئیات فنی و سطح دسترسی هر یک متفاوت است. مشترک هر دو ماجرا این است که آزمایشگاه‌های سازندهٔ آن‌ها ناچار شده‌اند دسترسی به قابلیت‌های سایبری را به‌شدت محدود کنند.

آیا امتناع بالای Astra از درخواست‌های مخرب کاملاً قابل‌اعتماد است؟

گرچه آمار رسمی نرخ امتناع ۹۱.۵٪ را نشان می‌دهد، برخی کارشناسان مستقل هنوز به نبود ارزیابی شخص ثالث اشاره می‌کنند و معتقدند قضاوت نهایی باید پس از عرضهٔ گسترده‌تر و بررسی مستقل انجام شود.

در یک جمله: مدل Astra از OpenAI نشان می‌دهد هوش مصنوعی اکنون وارد مرحله‌ای شده که توانمندی‌های سایبری آن می‌تواند هم ابزاری قدرتمند برای دفاع باشد و هم تهدیدی جدی در صورت سوءاستفاده. برای دنبال‌کردن ادامهٔ این خبر و تحلیل‌های تازه از دنیای هوش مصنوعی، کانال تلگرام @MrChatGPT_IR را همین حالا دنبال کنید.
(0 رأی)

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *