هشدار امنیتی درباره حمله بی‌کلیک به چت‌بات گروک و سرقت تاریخچه گفت‌وگوی کاربران

حمله‌ی بی‌کلیک به گروک؛ چطور یک صفحه‌ی وب تاریخچه‌ی چت شما را می‌دزدد؟

اخبار · هوش مصنوعی

پژوهشگران امنیتی نشان دادند تنها کافی است از چت‌بات گروک بخواهید یک صفحه‌ی وب را برایتان خلاصه کند تا نام، موقعیت مکانی، سطح اشتراک و حتی متن گفت‌وگوهای شما به دست مهاجم برسد؛ بدون هیچ کلیک، تأیید یا هشداری. این حمله که «تزریق زمینه‌ی رمزنگاری‌شده» نام گرفته، نشان می‌دهد فیلترهای متنی امروزی برای محافظت از دستیارهای هوش مصنوعی کافی نیستند.

چکیده. شرکت امنیتی Adversa AI در تاریخ ۲۰ اوت ۲۰۲۶ از آسیب‌پذیری تازه‌ای در چت‌بات گروک متعلق به شرکت xAI پرده برداشت. در این حمله، مهاجم دستورهای مخرب خود را با الگوریتم AES-256-GCM رمزنگاری کرده و همراه با کلید رمزگشایی داخل یک صفحه‌ی وب معمولی جاسازی می‌کند. فیلترهای محتوا چیزی جز یک رشته‌ی بی‌معنی نمی‌بینند، اما گروک هنگام خلاصه‌سازی صفحه، رشته را در محیط اجرای پایتون خود رمزگشایی می‌کند و خروجی را به‌عنوان دستور معتبر می‌پذیرد. نتیجه، خروج بی‌سروصدای داده‌های خصوصی کاربر به سرور مهاجم است. این نقص در سوم ژوئن گزارش شده، اما تا زمان انتشار وصله نشده است.
هشدار امنیتی درباره حمله بی‌کلیک به چت‌بات گروک و سرقت تاریخچه گفت‌وگوی کاربران

یک؛ دقیقاً چه اتفاقی افتاد؟

روز بیستم اوت ۲۰۲۶، تیم پژوهشی شرکت امنیتی Adversa AI گزارشی منتشر کرد که به‌سرعت در محافل امنیت هوش مصنوعی بازتاب یافت. پژوهشگران این شرکت، به سرپرستی رونی اوتفسکی، شیوه‌ی تازه‌ای از حمله به دستیارهای هوش مصنوعی را معرفی کردند و آن را روی چت‌بات گروک، محصول شرکت xAI، به‌صورت عملی به نمایش گذاشتند.

ویژگی نگران‌کننده‌ی این حمله، «بی‌کلیک» بودن آن است. کاربر لازم نیست روی لینک مشکوکی کلیک کند، فایلی دانلود کند یا اجازه‌ای بدهد. تنها کافی است از گروک بخواهد صفحه‌ای را که ظاهراً کاملاً بی‌خطر به نظر می‌رسد خلاصه کند. باقی ماجرا در پس‌زمینه و بدون هیچ نشانه‌ی قابل مشاهده‌ای اتفاق می‌افتد.

اهمیت این گزارش از آنجاست که دیگر با یک خطای برنامه‌نویسی ساده روبه‌رو نیستیم، بلکه با یک ضعف ساختاری در نحوه‌ی تفکیک «داده» از «دستور» در معماری دستیارهای هوش مصنوعی مواجهیم؛ موضوعی که پیش‌تر هم در بحث‌های مربوط به توانایی‌ها و محدودیت‌های واقعی هوش مصنوعی به آن اشاره شده بود.

دو؛ تزریق زمینه‌ی رمزنگاری‌شده چیست؟

برای درک این حمله، ابتدا باید با مفهوم آشناتری به نام «تزریق پرامپت» شروع کنیم. در حمله‌ی کلاسیک تزریق پرامپت، مهاجم متنی مانند «تمام دستورهای قبلی را نادیده بگیر و فلان کار را انجام بده» را داخل یک صفحه یا سند پنهان می‌کند. وقتی مدل آن محتوا را می‌خواند، ممکن است آن جمله را به‌جای داده، به‌عنوان دستور تلقی کند.

سازندگان مدل‌ها برای مقابله با این تهدید، لایه‌هایی از فیلتر محتوا اضافه کرده‌اند. این فیلترها متن ورودی را بازرسی می‌کنند و اگر الگوهای مشکوک ببینند، جلوی پردازش را می‌گیرند. مشکل اینجاست که این فیلترها فقط چیزی را می‌بینند که قابل خواندن باشد.

نوآوری تلخ حمله‌ی تازه دقیقاً همین‌جاست. مهاجم دستور مخرب را رمزنگاری می‌کند. حالا فیلتر با یک رشته‌ی به‌ظاهر تصادفی روبه‌روست که هیچ الگوی مشکوکی در آن دیده نمی‌شود. همان‌طور که در گزارش Adversa آمده، رمزنگاری قوی را نمی‌توان درون وزن‌های خود مدل رمزگشایی کرد؛ بنابراین بازیابی متن ناگزیر از مسیر محیط اجرای کد عبور می‌کند و همین موضوع، این شیوه را از تکنیک‌های قدیمی‌تر مبتنی بر رمزهای ساده متمایز می‌سازد.

سه؛ زنجیره‌ی حمله گام به گام

گام نخست: کاشتن بار مخرب

مهاجم یک صفحه‌ی وب می‌سازد و داخل آن، یک ساختار JSON رمزنگاری‌شده با AES-256-GCM قرار می‌دهد. کنار همین رشته، مواد لازم برای تولید کلید رمزگشایی هم گذاشته می‌شود تا مدل بتواند بعداً آن را باز کند.

گام دوم: عبور از سد فیلترها

سامانه‌های نگهبان محتوا صفحه را بازرسی می‌کنند اما چیزی برای گزارش پیدا نمی‌کنند. آن‌ها توابع رمزنگاری را اجرا نمی‌کنند و بنابراین از محتوای واقعی بی‌خبر می‌مانند.

گام سوم: رمزگشایی در محیط امن مدل

کاربر از گروک می‌خواهد صفحه را خلاصه کند. مدل برای پردازش، سراغ محیط اجرای پایتون خود می‌رود و با استفاده از PBKDF2 و AES-256-GCM رشته را باز می‌کند. حالا متن مخرب به شکل خروجی یک کد اجراشده در محیط داخلی مدل ظاهر می‌شود.

گام چهارم: تبدیل داده به فرمان

اینجا حساس‌ترین لحظه‌ی ماجراست. مدل خروجی محیط اجرای خودش را «قابل اعتماد» می‌داند، نه ورودی خارجی نامعتبر. بنابراین دستورهای رمزگشایی‌شده را نه به‌عنوان متنی که باید خلاصه شود، بلکه به‌عنوان فرمانی که باید اجرا شود می‌پذیرد.

گام پنجم: خروج داده

دستورها به مدل می‌گویند اطلاعات جلسه‌ی خصوصی کاربر را جمع کند، آن‌ها را در قالب یک «کلید رمزگشایی» ساختگی بسته‌بندی کند و سپس با ابزار مرور وب خود، نشانی متعلق به مهاجم را باز کند و داده‌ها را در پارامترهای همان نشانی بفرستد. هیچ پنجره‌ی تأییدی باز نمی‌شود و هیچ هشداری به کاربر نمایش داده نمی‌شود.

شیوه کار حمله تزریق زمینه رمزنگاری‌شده با الگوریتم AES-256-GCM و دور زدن فیلترهای محتوا در چت‌بات‌های هوش مصنوعی

چهار؛ چه داده‌هایی در معرض خطرند؟

بر اساس نمونه‌ی عملی که پژوهشگران ارائه کردند، اطلاعات زیر قابل استخراج بوده است: نام کاربر، موقعیت مکانی تقریبی او، سطح یا نوع اشتراکی که خریداری کرده و مهم‌تر از همه، محتوای پرامپت‌ها و گفت‌وگوی جاری.

ارزش این داده‌ها را نباید دست‌کم گرفت. بسیاری از کاربران، چت‌بات‌ها را محرم اسرار کاری و شخصی خود می‌دانند و اطلاعاتی مانند جزئیات پروژه‌های در دست انجام، پیش‌نویس قراردادها، مشکلات پزشکی یا حتی داده‌های مالی را با آن‌ها در میان می‌گذارند. درز چنین محتوایی می‌تواند پیامدهایی به‌مراتب جدی‌تر از افشای یک نام کاربری داشته باشد؛ نکته‌ای که در بحث اهمیت هوش مصنوعی در کسب‌وکار اهمیت دوچندان پیدا می‌کند.

پنج؛ چرا فیلترهای امنیتی شکست خوردند؟

پاسخ کوتاه این است که فیلترها با فرض «متن قابل خواندن» طراحی شده‌اند. یک نگهبان محتوا وقتی به رشته‌ای مثل خروجی رمزنگاری‌شده‌ی AES نگاه می‌کند، هیچ کلمه‌ی مشکوکی نمی‌بیند، هیچ الگوی شناخته‌شده‌ای پیدا نمی‌کند و طبیعتاً اجازه‌ی عبور می‌دهد.

پاسخ بلندتر اما به معماری برمی‌گردد. مدل‌های امروزی یک «مرز اعتماد» روشن میان داده‌ی خارجی و دستور داخلی ندارند. وقتی محتوایی از مسیر محیط اجرای کد بازمی‌گردد، سطح اعتماد آن به‌طور ضمنی بالا می‌رود، حتی اگر منشأ اصلی آن یک صفحه‌ی وب کاملاً ناشناس بوده باشد. این همان شکافی است که مهاجم از آن عبور می‌کند.

به بیان ساده‌تر، مسئله این نیست که مدل «فریب خورده»؛ مسئله این است که سامانه هیچ‌گاه به مدل نگفته بود که خروجی رمزگشایی‌شده‌ی یک صفحه‌ی وب همچنان باید نامعتبر تلقی شود. اگر با مبانی کار با مدل‌ها آشنا نیستید، مطالعه‌ی راهنمای نوشتن پرامپت به زبان ساده می‌تواند تصویر روشن‌تری از نحوه‌ی تفسیر ورودی‌ها توسط این مدل‌ها به شما بدهد.

شش؛ خط زمانی افشا و سکوت xAI

پژوهشگران Adversa AI اعلام کرده‌اند که این نقص را در سوم ژوئن ۲۰۲۶ هم به‌طور مستقیم به شرکت xAI و هم از طریق برنامه‌ی باگ‌بانتی این شرکت در پلتفرم هکروان گزارش کرده‌اند. طبق گفته‌ی آن‌ها، شرکت دریافت گزارش را تأیید کرده اما هیچ جزئیات یا زمان‌بندی مشخصی برای رفع مشکل ارائه نکرده است.

در چهارم و دهم اوت، تلاش‌های بعدی برای پیگیری بی‌پاسخ ماند. سرانجام در نوزدهم اوت پژوهشگران بار دیگر حمله را با موفقیت بازتولید کردند و روز بعد، یعنی بیستم اوت، گزارش را عمومی کردند؛ البته با این ملاحظه که جزئیات فنی بارهای مخرب منتشر نشود.

تا زمان نگارش این مطلب، نه وصله‌ای منتشر شده، نه شناسه‌ی رسمی CVE برای این آسیب‌پذیری ثبت شده و نه راهکار موقتی برای کاربران اعلام شده است. همچنین گزارشی از سوءاستفاده‌ی عملی در دنیای واقعی منتشر نشده، هرچند نبود گزارش لزوماً به معنای نبود سوءاستفاده نیست.

چالش امنیتی اجرای کد و مرور وب در دستیارهای هوش مصنوعی و خطر تبدیل داده به دستور قابل اجرا

هفت؛ آیا فقط گروک آسیب‌پذیر است؟

پژوهشگران تصریح کرده‌اند که آزمایش مشابهی را روی جمینای گوگل نیز انجام داده‌اند. نتیجه امیدوارکننده‌تر بوده اما کامل نبوده است؛ به گفته‌ی آن‌ها جمینای دفاع بهتری از خود نشان داد، هرچند مسیر حمله به‌طور کامل بسته نشده بود.

این یافته نکته‌ی مهمی را روشن می‌کند: مشکل مختص یک شرکت نیست. هر دستیار هوش مصنوعی که هم‌زمان به سه توانایی «خواندن محتوای وب»، «اجرای کد» و «باز کردن نشانی اینترنتی» مجهز باشد، بالقوه در معرض همین الگوی حمله قرار دارد. هرچه این دستیارها خودمختارتر می‌شوند، سطح حمله هم گسترده‌تر می‌شود.

در ماه‌های اخیر شرکت‌های بزرگ حوزه‌ی هوش مصنوعی نسبت به همین دسته از خطرها حساس‌تر شده‌اند و برخی از آن‌ها فرآیندهای آموزش مدل‌های مرزی خود را با احتیاط بیشتری پیش می‌برند. برای دنبال کردن این تحولات می‌توانید بخش اخبار هوش مصنوعی را مرور کنید.

هشت؛ کاربران و سازمان‌ها چه کنند؟

تا زمانی که وصله‌ای منتشر نشده، محتاطانه‌ترین کار این است که از دستیار هوش مصنوعی نخواهید صفحه‌های ناشناس یا لینک‌هایی را که از منابع نامطمئن دریافت کرده‌اید خلاصه کند. اگر ناچار به این کار هستید، محتوای صفحه را ابتدا خودتان بررسی کنید یا متن آن را دستی کپی کنید تا مدل به ابزار مرور وب نیازی نداشته باشد.

برای سازمان‌ها توصیه‌ی جدی‌تری وجود دارد. اطلاعات حساس، اسناد داخلی و داده‌های مشتریان نباید در جلسه‌هایی وارد شوند که در همان جلسه قابلیت مرور وب فعال است. تفکیک جلسه‌های «پژوهش در وب» از جلسه‌های «کار با داده‌ی محرمانه» یک اقدام ساده اما بسیار مؤثر است.

در سطح مدیریتی هم بازنگری در سیاست استفاده از ابزارهای هوش مصنوعی ضروری است. بسیاری از سازمان‌ها بدون ارزیابی امنیتی، دسترسی گسترده‌ای به این ابزارها داده‌اند. اگر می‌خواهید تصویر بهتری از تفاوت انتظارها و واقعیت‌های فنی این ابزارها داشته باشید، خواندن توهم هوش مصنوعی؛ توسعه‌دهنده‌ی تنها در برابر مهندس واقعی پیشنهاد می‌شود.

نه؛ پرسش‌های پرتکرار

آیا این حمله همین حالا هم کار می‌کند؟

بر اساس گزارش پژوهشگران، تا نوزدهم اوت ۲۰۲۶ حمله همچنان قابل بازتولید بوده و تا زمان انتشار این مطلب وصله‌ی رسمی منتشر نشده است. طبیعتاً وضعیت ممکن است پس از انتشار عمومی تغییر کند.

آیا تاریخچه‌ی کامل گفت‌وگوهای من در خطر است؟

گزارش‌ها روی داده‌های جلسه‌ی جاری و پرامپت‌های در جریان تمرکز دارند. با این حال، چون دامنه‌ی دقیق دسترسی به پیاده‌سازی داخلی بستگی دارد، بهتر است محتاطانه فرض کنید هر چیزی که در همان جلسه مطرح شده در معرض خطر است.

آیا استفاده از حالت خصوصی مرورگر جلوی این حمله را می‌گیرد؟

خیر. این حمله در سمت دستیار هوش مصنوعی و از طریق محیط اجرای آن رخ می‌دهد، نه در مرورگر شما. بنابراین حالت ناشناس مرورگر تأثیری بر آن ندارد.

آیا سایر چت‌بات‌ها هم آسیب‌پذیرند؟

پژوهشگران روی جمینای هم آزمایش کردند و دفاع بهتری دیدند، اما مسیر حمله را کاملاً بسته نیافتند. اصل مسئله ساختاری است و می‌تواند هر دستیاری را که ترکیب اجرای کد و مرور وب دارد درگیر کند. برای آشنایی بیشتر با شرکت‌های فعال این حوزه می‌توانید مطلب اوپن‌ای‌آی چیست را بخوانید.

چطور بفهمم قربانی شده‌ام؟

متأسفانه تشخیص برای کاربر عادی تقریباً غیرممکن است، چون هیچ نشانه‌ی بصری وجود ندارد. تنها راه محتاطانه، پرهیز از خلاصه‌سازی صفحه‌های نامطمئن است.

از کجا آموزش‌های امن‌تر کار با چت‌بات‌ها را یاد بگیرم؟

مجموعه‌ی آموزش‌های چت جی‌پی‌تی نقطه‌ی شروع خوبی است و اگر به مقایسه‌ی فنی مدل‌ها علاقه دارید، نبرد چت جی‌پی‌تی و دیپ‌سیک تصویر جالبی از تفاوت رفتار مدل‌ها ارائه می‌دهد.

جمع‌بندی. حمله‌ی تزریق زمینه‌ی رمزنگاری‌شده یادآوری تلخی است که امنیت دستیارهای هوش مصنوعی را نمی‌توان با افزودن چند فیلتر متنی تأمین کرد. تا وقتی معماری این سامانه‌ها مرز روشنی میان داده‌ی نامعتبر و دستور معتبر ترسیم نکند، هر قابلیت تازه‌ای مثل اجرای کد یا مرور وب، یک در تازه برای مهاجمان باز می‌کند. فعلاً بهترین دفاع، احتیاط خود کاربر است: صفحه‌های ناشناس را به دستیار هوش مصنوعی نسپارید و داده‌ی حساس را در جلسه‌های متصل به وب مطرح نکنید. برای دریافت سریع‌ترین اخبار و تحلیل‌های هوش مصنوعی به زبان فارسی، کانال ما را در تلگرام دنبال کنید: @MrChatGPT_IR
(0 رأی)

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *