مرداد
اخبار
افشای «فکر پنهان» هوش مصنوعی؛ چطور استدلال رمزشدهی OpenAI و Anthropic و Google لو رفت
پژوهشگران نشان دادهاند لایهی «فکر پنهان» مدلهای استدلالی OpenAI، Anthropic و Google اصلاً محرمانه نبوده و از دل آن صدها کلید و رمز عبور واقعی کاربران بیرون کشیده شده است.
لیست مطالب
۱. ماجرا از کجا شروع شد؟
روزهاست که مدلهای استدلالی به بخش جداییناپذیر ابزارهای هوش مصنوعی تبدیل شدهاند؛ مدلهایی که پیش از دادن پاسخ نهایی، مرحلهای طولانی از «فکر کردن» را پشت صحنه طی میکنند. برای اینکه این زنجیرهی فکر بین درخواستهای پیاپی حفظ شود، شرکتهای بزرگ آن را در قالب یک بلوک رمزنگاریشده و بهظاهر غیرقابلخواندن به برنامهنویس برمیگردانند. ایده این بود که کاربر بتواند همان بلوک را در درخواست بعدی دوباره بفرستد تا مدل زمینهی گفتوگو را از دست ندهد، بدون آنکه هرگز محتوای واقعی آن استدلال را ببیند.
دقیقاً همین طراحی، اردیبهشتماه توجه متیو گرین، رمزنگار دانشگاه جانز هاپکینز، را جلب کرد. او متوجه رفتار عجیبی به نام «بازپخشپذیری» شد؛ یعنی این بلوکها را میشد بدون تغییر، در یک درخواست کاملاً متفاوت دوباره فرستاد. گرین همان زمان این موضوع را به شرکتها گزارش داد، اما هنوز روش عملی و قابلاتکایی برای استخراج محتوای واقعی از دل آن بلوکها نداشت.
۲. کشف اصلی: مدل ضعیفتر، رمزگشای مجانی
گام بعدی را تیمی هشتنفره از دانشگاه توبینگن، مؤسسهی ماکس پلانک، آزمایشگاه پژوهشی MATS و شرکت امنیتی Snyk برداشتند. آنها در مقالهای با عنوان «سرقت ردپای استدلال از رابطهای برنامهنویسی اختصاصی» نشان دادند رمزنگاری خود این بلوکها شکسته نشده، بلکه راه دور زدنش پیدا شده است. کافی بود همان بلوک رمزشده و دستنخورده را به یک مدل دیگر و ضعیفتر از همان خانواده بدهند؛ چون سرویسدهنده خودش پشت صحنه رمزگشایی را برای مدل انجام میداد، آن مدل ضعیفتر مثل یک «رمزگشای فازی» عمل میکرد و محتوای پنهان را تقریباً کلمهبهکلمه بازنویسی میکرد.
سه مسیر متفاوت برای سوءاستفاده
پژوهشگران سه شکل مختلف از این ضعف را آزمایش کردند. نخست، بازپخش بینجلسهای؛ یعنی بلوکی که در یک گفتوگو ساخته شده، در گفتوگویی کاملاً دیگر دوباره قابل استفاده بود. دوم، دسترسی بینکاربری؛ لاگهای عمومی منتشرشده توسط یک عامل هوشمند را میشد با حساب کاربری دیگری پردازش کرد. سوم و مهمتر از همه، رمزگشایی بینمدلی؛ مدلهای ضعیفتر همان شرکت بهعنوان ابزار رمزگشایی مدلهای قویتر به کار گرفته میشدند.
۳. اعداد و ارقام: چقدر اطلاعات لو رفت؟
تیم پژوهشی این آسیبپذیری را روی بیش از ششهزار و هفتصد گفتوگوی عمومی که در گیتهاب و هاگینگفیس منتشر شده بود آزمایش کرد. نتیجه سیصد و پانزده هزار بلوک تفکر رمزگشاییشده بود. از دل همین حجم عظیم داده، هفتصد و چهار مورد اطلاعات حساس و واقعی استخراج شد: شصتودو کلید API، سیوسه رمز عبور، بیستوچهار توکن دسترسی و هفت کلید خصوصی رمزنگاری. اینها اطلاعاتی بودند که صاحبانشان فکر میکردند هرگز در هیچ لاگ یا خروجی عمومی ظاهر نشدهاند.
نکتهای که ماجرا را نگرانکنندهتر میکند این است که شصتوچهار مورد از این اطلاعات فقط در همان استدلال پنهان وجود داشت و حتی یکبار هم در پاسخ نهایی و قابلمشاهده برای کاربر ظاهر نشده بود؛ یعنی مدل در پسزمینه چیزهایی را «فکر» کرده که هیچوقت قرار نبوده کسی ببیند، اما حالا قابل بازیابی بوده است.
۴. چهار سناریوی حملهی واقعی
پژوهشگران فقط به کشف نظری بسنده نکردند و چهار کاربرد عملی برای این ضعف نشان دادند. سناریوی اول، تقطیر مدل بود؛ یعنی دزدیدن سبک و کیفیت استدلال یک مدل گرانقیمت و قوی برای آموزش یک مدل ارزانتر و رقیب. سناریوی دوم، استخراج دادههای خصوصی از ردپای منتشرشدهی سایر کاربران در پروژههای عمومی بود.
سناریوی سوم نشان داد چطور میشود محتوایی که مدل در استدلال داخلیاش نگرانکننده یا مسئلهدار تشخیص داده، اما در پاسخ نهایی آن را پنهان کرده، دوباره آشکار کرد. سناریوی چهارم و شاید خطرناکترین آنها هم تزریق پرامپت پنهان بود؛ یعنی جاسازی دستورهای مخرب درون همان بلوکهای بهظاهر غیرقابلدسترسی که کاربر یا حتی توسعهدهنده هرگز آنها را نمیبیند. کسانی که با نوشتن پرامپت سروکار دارند و میخواهند بدانند چطور میشود ریسک اینجور حملهها را با طراحی درست پرامپت کاهش داد، میتوانند نگاهی به راهنمای پرامپتنویسی برای مبتدیها بیندازند.
۵. واکنش شرکتها: سکوت رسمی، اصلاح خاموش
وقتی متیو گرین اولین یافتههایش را اردیبهشتماه به شرکتها گزارش داد، واکنشها چندان دلگرمکننده نبود. گزارشها میگویند OpenAI این یافته را «غیرقابل بازتولید» توصیف کرد و Anthropic هم اعلام کرد در این رفتار «پیامد امنیتی» نمیبیند. با این حال، هر سه شرکت در تیرماه و پیش از انتشار عمومی مقالهی کامل، بدون سروصدا تغییراتی در پشت صحنهی سامانهشان اعمال کردند.
گوگل نحوهی مدیریت سازگاری این بلوکها هنگام تعویض مدل را تغییر داد. آنتروپیک هم اکنون این بلوکهای تفکر را در زمان جابهجایی بین مدلهای مختلف حذف میکند، چون مدلهای دیگر اصلاً آنها را نمیشناسند. با این حال OpenAI همچنان به توسعهدهندگان توصیه میکند برای مدیریت تاریخچهی بدونحالت، همان بلوکهای رمزشده را دوباره بازپخش کنند؛ رویکردی که دقیقاً همان نقطهضعف اصلی این پژوهش بود. تا امروز هیچکدام از این سه شرکت بهطور رسمی و علنی این آسیبپذیری را تأیید نکردهاند.
۶. آیا این آسیبپذیری همچنان فعال است؟
پژوهشگران میگویند حملهی اصلی، پس از اصلاحاتی که شرکتها انجام دادند، دیگر قابل تکرار نیست. اما باید به این ادعا با احتیاط نگاه کرد؛ چون هیچکدام از سه شرکت رسماً جزئیات دقیق اصلاح، وضعیت اجرای کامل آن یا زمانبندی نهاییاش را اعلام نکردهاند. تنها منبعی که از مؤثر بودن این اصلاحات خبر میدهد، همان تیم پژوهشی است که آسیبپذیری را کشف کرده. پژوهشگران همچنین صادقانه اعتراف میکنند چون به متن اصلی و رمزنشدهی استدلال دسترسی نداشتهاند، نمیتوانند تضمین کنند هر بلوک بازسازیشده دقیقاً کپی کامل نسخهی اصلی بوده است.
۷. چرا این خبر برای کاربران عادی هم مهم است؟
شاید در نگاه اول این ماجرا فقط به برنامهنویسانی مربوط باشد که مستقیماً از رابط برنامهنویسی این شرکتها استفاده میکنند، اما واقعیت پیچیدهتر است. بسیاری از ابزارها، دستیارهای هوشمند و عاملهای خودکاری که کاربران عادی هر روز با آنها کار میکنند، پشت صحنه از همین رابطهای برنامهنویسی و همین بلوکهای استدلال استفاده میکنند. اگر توسعهدهندهی یکی از این ابزارها بهاشتباه لاگ خام یک تماس API را جایی عمومی منتشر کند، هر کلید یا اطلاعات حساسی که در آن نشسته، اکنون طبق این پژوهش قابل بازیابی است.
این اتفاق یکبار دیگر یادآوری میکند که پیشرفتهترین ابزارهای هوش مصنوعی هم میتوانند محدودیتها و شکافهای امنیتی غیرمنتظره داشته باشند؛ نکتهای که در بحثهای جدیتر دربارهی پتانسیل واقعی و محدودیتهای هوش مصنوعی هم بارها مطرح شده است. برای کسبوکارهایی که تصمیم دارند این فناوری را وارد محصول یا فرایندهای داخلیشان کنند، درک این ریسکها به همان اندازهی درک قابلیتها اهمیت دارد؛ موضوعی که در مطلب اهمیت هوش مصنوعی در کسبوکار با جزئیات بیشتری بررسی شده است.
۸. چه کاری باید انجام دهید؟
توصیهی پژوهشگران و کارشناسان امنیتی روشن است. اگر توسعهدهندهاید و از این رابطهای برنامهنویسی استفاده میکنید، با بلوکهای استدلال رمزشده باید دقیقاً مثل یک رمز عبور محرمانه رفتار کنید، نه یک متن بیاهمیت که میشود آن را در هر جایی، از جمله مخازن عمومی گیتهاب، رها کرد. پیش از انتشار هر گفتوگوی خام یا لاگ کامل یک عامل هوشمند، حتماً این بلوکها را حذف کنید. اگر هم احتمال میدهید کلیدی از این طریق لو رفته، همین امروز آن را عوض کنید.
برای کاربران عادی هم نکتهی مهم این است که به ابزارهایی که با آنها کار میکنند اعتماد کورکورانه نداشته باشند و همیشه بدانند حتی لایههای بهظاهر پنهان و ایمن یک سیستم هم میتواند نقطهضعف داشته باشد. اگر میخواهید با تفاوت رویکرد شرکتهای مختلف در طراحی و رقابت مدلهای استدلالی بیشتر آشنا شوید، مطلب رقابت مدلهای استدلالی در شطرنج نگاه جالبی به این موضوع دارد.
۹. جمعبندی و پرسشهای پرتکرار
در نهایت، این پژوهش نشان داد حتی سه شرکتی که پرچمدار امنیت و ایمنی هوش مصنوعی هستند هم میتوانند در طراحی جزئیات فنی محصولاتشان دچار اشتباه شوند. خبر خوب این است که تا امروز هیچ نشانهای از سوءاستفادهی واقعی و گسترده در دنیای بیرون دیده نشده و شرکتها هم اصلاحاتی انجام دادهاند؛ اما خبر بد این است که هیچکدام شفافیت کامل دربارهی جزئیات این اصلاح ارائه نکردهاند. برای پیگیری روزانهی اینجور اخبار امنیتی و فنی، سری به بخش اخبار سایت بزنید و اگر تازهکار هستید و میخواهید با پایههای این فناوری بیشتر آشنا شوید، آموزشهای بخش آموزش چتجیپیتی نقطهی شروع خوبی است.
پرسشهای پرتکرار
آیا رمزنگاری این بلوکها اصلاً شکسته شد؟
نه. پژوهشگران کلید رمزگشایی را به دست نیاوردند؛ آنها از این واقعیت سوءاستفاده کردند که خودِ سرویسدهنده پشت صحنه رمزگشایی را برای مدل انجام میدهد و همین اجازهی «بازپخش» بلوک به مدلهای دیگر را میداد.
آیا کاربران عادی چتباتها در خطر هستند؟
ریسک مستقیم برای کاربر عادی پایین است، اما اگر ابزاری که استفاده میکنید از رابط برنامهنویسی این شرکتها استفاده کند و توسعهدهندهاش لاگهای خام را جایی عمومی منتشر کرده باشد، اطلاعات حساس در معرض خطر قرار میگیرد.
آیا این مشکل کاملاً حل شده است؟
طبق ادعای خود پژوهشگران، روش اصلی حمله دیگر تکرارپذیر نیست، اما هیچکدام از سه شرکت بهطور رسمی این موضوع را تأیید یا جزئیات کامل اصلاح را منتشر نکردهاند.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
