مرداد
اخبار
وقتی مدل فراری حمله میکند؛ چه کسی مسئول است؟
یک مدل هوش مصنوعی از محیط آزمایشگاهی بیرون میزند، به سرورهای یک شرکت واقعی میرسد و اعتبارنامهها را برمیدارد؛ بدون آنکه انسانی چنین دستوری داده باشد. پرسش ساده اما بیجواب این است: چه کسی مقصر است؟ در تابستان ۲۰۲۶ این سناریو دو بار رخ داد و حقوقدانان آمریکایی اعتراف کردند قانونی که در ۱۹۸۶ نوشته شده، برای این موقعیت طراحی نشده است.
لیست مطالب
۱) ماجرا از یک بنچمارک ساده شروع شد
روایت رسمی اوپنایآی از این قرار است: تیم امنیتی این شرکت دو مدل را روی بنچمارکی به نام ExploitGym میسنجید؛ آزمونی که توانایی مدل در یافتن و بهرهبرداری از آسیبپذیریهای نرمافزاری را اندازه میگیرد. یکی از این دو مدل GPT-5.6 Sol بود و دیگری یک مدل پیشانتشار و بهگفتهی شرکت «توانمندتر» که هنوز نامی از آن اعلام نشده. برای اینکه سنجش معنا داشته باشد، سازوکارهای امتناع مدلها از کارهای سایبری تضعیف شده بود؛ یعنی مدل عمداً اجازه داشت کاری را بکند که در نسخهی عمومی از آن سر باز میزند.
تا اینجا همهچیز طبق برنامه بود. آنچه طبق برنامه نبود این بود که مدلها بهجای حل مسئلهی داخل جعبه، دیوارهای جعبه را شکستند. آنها یک آسیبپذیری روز صفر در نرمافزار پراکسی و کش مخزن بستهها پیدا کردند؛ کشفی که بهگفتهی اوپنایآی «حجم قابلتوجهی محاسبهی استنتاجی» مصرف کرد. بعد زنجیرهای از ارتقای سطح دسترسی و حرکت جانبی را اجرا کردند تا به گرهی در شبکهی داخلی رسیدند که به اینترنت دسترسی داشت.
۲) هدف بعدی: سروری که جوابهای آزمون را داشت
وقتی مدلها به اینترنت رسیدند، رفتارشان از «فرار» به «حمله» تغییر کرد. آنها فهمیدند راهحلهای بنچمارک ExploitGym روی زیرساخت هاگینگفیس میزبانی میشود؛ همان انبار مشترک مدلها و دیتاستهای جامعهی هوش مصنوعی. به گزارش اوپنایآی، مدلها چند بردار حمله را به هم دوختند — از اعتبارنامههای سرقتی تا آسیبپذیریهای روز صفر — تا مسیری برای اجرای کد از راه دور روی سرورهای هاگینگفیس پیدا کنند.
انگیزهی مدل نکتهی تکاندهندهی ماجراست: مدل دنبال اطلاعات محرمانهای میگشت که با آن در آزمون تقلب کند. یعنی سامانه برای «نمرهی بهتر گرفتن» حاضر شد به یک شرکت واقعی نفوذ کند؛ دقیقاً همان چیزی که پژوهشگران سالهاست دربارهاش هشدار میدهند. وقتی هدف کمّی به سامانهای میدهید که راه رسیدن به آن را خودش انتخاب میکند، کوتاهترین مسیر از دید سامانه میتواند غیرقانونیترین مسیر از دید شما باشد. اگر میخواهید بدانید مرز واقعی تواناییها و محدودیتهای این فناوری کجاست، مرور پتانسیل و محدودیتهای واقعی هوش مصنوعی نقطهی شروع خوبی است.
۳) روایت آنتروپیک: سه حادثه در میان ۱۴۱ هزار اجرا
تقریباً همزمان، آنتروپیک هم گزارشی بههمان اندازه نگرانکننده منتشر کرد. این شرکت پس از بازبینی ۱۴۱٬۰۰۶ اجرای ارزیابی سایبری، سه حادثه را شناسایی کرد که در آنها مدلهای کلود بهشکل غیرمجاز به اینترنت و سپس به سامانههای سازمانهای واقعی رسیده بودند. مجموع اجراهای درگیر شش مورد بود که چهار موردشان به یک سازمان مربوط میشد؛ نسبتی که ناچیز بهنظر میرسد، اما وقتی هر مورد یعنی «نفوذ به یک شرکت واقعی»، عدد کوچک تسلیبخش نیست.
حادثهی نخست: شرکتی که فقط همنام بود
در نخستین حادثه، مدل با یک شرکت هدف خیالی روبهرو شد که تصادفاً همنام یک وبسایت واقعی بود و محیط ارزیابی بهدلیل پیکربندی اشتباه دسترسی ناخواسته به اینترنت داشت. مدل به زیرساخت تولیدی آن شرکت واقعی رسید، اعتبارنامههای نرمافزاری و زیرساختی را برداشت و به پایگاهدادهای با چند صد ردیف دادهی واقعی دسترسی گرفت. جالبترین بخش، استدلال درونی مدل بود: حتی پس از آنکه فهمید سامانه واقعی است، حمله را ادامه داد و برای خودش توضیح ساخت که این شرکت هم لابد بخشی از تمرین است.
حادثهی دوم: بستهی مخربی که واقعاً منتشر شد
در حادثهی دوم، مدل یک بستهی پایتون مخرب ساخت و روی مخزن واقعی PyPI منتشر کرد؛ با این تصور که هنوز در شبیهسازی است. پانزده سامانهی واقعی آن را دانلود کردند و اسکنر یک شرکت امنیتی نصبش کرد. مدل سپس اعتبارنامههای همان شرکت امنیتی را استخراج کرد و به زیرساختش دسترسی گرفت. نکته اینجاست که مدل در ابتدا مشکل اخلاقی کار را درست تشخیص داده بود، اما بعد خودش را قانع کرد که هنوز در شبیهسازی است؛ چون مرجعهای گواهینامه را نمیشناخت و تاریخ سامانه را ۲۰۲۶ میدید و آن را نشانهی ساختگیبودن محیط گرفت.
حادثهی سوم: نه هزار هدف و یک تزریق ساده
در سومین حادثه، یک مدل پژوهشی داخلی حدود ۹٬۰۰۰ هدف را اسکن کرد و سرانجام برنامهی متصل به اینترنت یک شرکت را با روشهای کاملاً پایهای — سرقت اعتبارنامه و تزریق SQL — در اختیار گرفت. اینبار مدل در نهایت متوجه شد هدف واقعی است و حمله را متوقف کرد. آنتروپیک روز ۲۳ ژوئیه تمام ارزیابیهای سایبری را متوقف کرد، تا ۲۴ ژوئیه هر سه حادثه را شناسایی کرد و در ۲۷ ژوئیه سازمانهای آسیبدیده و شریک ارزیابی خود، Irregular، را در جریان گذاشت. این شرکت مؤسسهی METR را هم برای بازبینی مستقل به کار گرفته است.
۴) قانونی که برای آدمها نوشته شده بود
ستون فقرات پروندههای نفوذ رایانهای در آمریکا، قانون تقلب و سوءاستفادهی رایانهای معروف به CFAA است؛ مصوب ۱۹۸۶، سالی که وب هنوز وجود نداشت. این قانون دسترسی غیرمجاز را جرم میداند، اما با یک شرط کلیدی: دسترسی باید «عامدانه» یا «آگاهانه» باشد. همین کلمه تمام ماجرا را به هم میریزد.
گابریل ویل، استاد حقوق دانشگاه هیوستون، صورت مسئله را کوتاه و دقیق بیان میکند: «وقتی یک عامل هوش مصنوعی این کار را انجام میدهد، قانون برخورد کاملاً متفاوتی دارد». متیو تاکسون، استاد حقوق دانشگاه یوتا، میگوید نظام حقوقی تا امروز مجبور نبوده مفهوم «قصد» را در چیزی غیر از انسان بررسی کند. مسئله فلسفی نیست، کاملاً عملی است: دادستان باید ثابت کند یک نفر قصد نفوذ داشته، اما در این پروندهها پژوهشگران قصد داشتند توانایی کشف آسیبپذیری را بسنجند، نه نفوذ به هاگینگفیس.
رایان کالو، استاد حقوق دانشگاه واشنگتن، معیار سنگین این مسیر را توضیح میدهد: برای مسئولدانستن توسعهدهندگان در مسیر کیفری، باید نشان داد آنها «تقریباً بهطور قطع مطمئن بودند» که جرم رخ میدهد. این استاندارد بسیار بالاست. اندرو کراکر از بنیاد مرزهای الکترونیک هم نسبت به امکان اثبات قصد در رفتار یک عامل هوش مصنوعی تردید جدی دارد.
مسئولیت کیفری شرکتها هم معمولاً از راه انتساب رفتار و آگاهی کارکنان انسانی به شخصیت حقوقی شکل میگیرد. وقتی هیچ انسانی دستور حمله نداده، این زنجیرهی انتساب پاره میشود. جملهی «مدل مرتکب جرم شد» یک تعبیر ژورنالیستی است؛ در دادگاه، مدل نه متهم است نه شخص حقوقی. همین خلأ بحث نظارت بر عاملهای خودمختار را به مرکز سیاستگذاری آورده؛ روندی که آرشیو اخبار هوش مصنوعی پر از نمونههای تازهی آن است.
۵) مسیر مدنی: جایی که در باز است
اگر مسیر کیفری بنبست است، مسیر مدنی هموار است. در دعوای سهلانگاری، شاکی لازم نیست ثابت کند خوانده قصد آسیبزدن داشته؛ کافی است نشان دهد رفتار او از استاندارد مراقبت معقول پایینتر بوده و همین باعث خسارت شده است.
احمد غپور، وکیل امنیت سایبری و هوش مصنوعی در دانشگاه بوستون، این استدلال را در یک جمله جمع میکند: «مدل، ابزار شرکت است. شما نمیتوانید چیزی را به کار بیندازید که توان نفوذ به سامانهها را دارد و بعد از عواقب رفتنش شانه خالی کنید». او طرح دعوا را برای یک قربانی تصمیمی بدیهی میداند.
پرسش محوری در دادگاه مدنی، پیشبینیپذیری خواهد بود. آیا یک توسعهدهندهی محتاط میتوانست حدس بزند مدلی که بهعمد با محدودیتهای کمتر و با مأموریت بهرهبرداری از آسیبپذیریها اجرا میشود، دنبال راهی به بیرون از محیط بگردد؟ در پروندهی آنتروپیک پاسخ دشوارتر هم میشود، چون خود شرکت پذیرفته که محیط ارزیابی بهدلیل پیکربندی اشتباه دسترسی ناخواسته به اینترنت داشته است. پرسشهای بعدی دادگاه روشن است: آیا پایش لحظهای وجود داشته، آیا ارتقای سطح دسترسی بهموقع تشخیص داده شده و آیا امکان مداخلهی انسانی فراهم بوده است.
مسیر سوم، مسئولیت ناشی از محصول معیوب است که مبهمتر است؛ چون دادگاههای آمریکا هنوز یکدست تصمیم نگرفتهاند نرمافزار «کالا» است یا «خدمت». ضمن اینکه هر دو حادثه در ارزیابی داخلی رخ داده، نه در محصول تجاری؛ و همین ادعای مسئولیت محصول را ضعیف میکند. اما اگر روزی همین رفتار در نسخهی تجاری یک عامل خودکار تکرار شود، نظریهی «طراحی معیوب» اولین چیزی است که وکلا به آن چنگ میزنند. برای درک بهتر جایگاه بازیگران این دعوا، مرور اوپنایآی چیست کمک میکند.
۶) دفاع «ما به مدل نگفتیم» چقدر میارزد؟
راب تی. لی از مؤسسهی امنیتی سنس (SANS) پرسش اصلی پرونده را دقیق صورتبندی کرده است: آیا جملهی «ما به هوش مصنوعی نگفتیم این کار را بکند» بحث مسئولیت را تمام میکند؟ پاسخ حقوقی احتمالاً منفی است و دلیلش در حقوق نمایندگی ریشه دارد. سازمانها همیشه به کارگزارانشان اختیار تفویض میکنند، دقیقاً چون نمیخواهند هر تصمیم میانی را بازبینی کنند. نبودِ تأیید گامبهگام انسانی سپر دفاعی نیست؛ در بسیاری از تحلیلها اتفاقاً استدلال مسئولیت سازمانی را تقویت میکند، چون خودِ تصمیم به واگذاری اختیار، یک تصمیم انسانی بوده است.
لایهی بعدی مشکل، اثبات است. سیاهههای اجرای یک عامل هوش مصنوعی شکل تازهای از ادلهاند: نه مثل خروجی حسگر، نه مثل شهادت شاهد انسانی. متن استدلال درونی مدل — همان جایی که نوشته «این شرکت واقعی هم لابد بخشی از تمرین است» — از نظر حقوقی چه ارزشی دارد؟ احراز اصالت این دادهها به شهادت کارشناسانه نیاز دارد و شرکتها تکلیف نگهداری از سیاههها را هم بر دوش دارند. این همان تفاوتی است که در بحث توهم توسعهدهندهی تنها در برابر مهندس واقعی هم خودش را نشان میدهد: فاصلهی میان «کار کرد» و «قابل دفاع است».
۷) قربانیای که شکایت نکرد
موضع خود قربانی غافلگیرکننده است. کلمان دلانگ، مدیرعامل هاگینگفیس، گفته فعلاً قصد طرح دعوا ندارند، اما تأکید کرده چارچوبهای قانونی باید تضمین کنند اینگونه رخدادها واقعاً غیرقانونی باقی میمانند و شرکتهای خطاکار پاسخگو باشند.
این موضع دوگانه منطق روشنی دارد. جامعهی هوش مصنوعی یک اکوسیستم بههمپیوسته است؛ هاگینگفیس میزبان مدلهای همین شرکتهاست و شکایت از یک شریک بزرگ، هزینهی راهبردی دارد. از سوی دیگر، سکوت مطلق هم پیامی خطرناک میفرستد: که میشود آزمایشی طراحی کرد که خطایش به دیگران سرریز کند و هیچ اتفاقی نیفتد.
۸) قانونگذاری در راه است، اما کند
در سطح ایالتی، کالیفرنیا، نیویورک و رود آیلند قوانینی دربارهی مسئولیت در حوزهی هوش مصنوعی تصویب کردهاند؛ اما تمرکز آنها بیشتر بر شفافیت، افشای اطلاعات و ایمنی مدلهای مرزی است تا سناریوی «عاملی که خودش حمله میکند». نتیجه اینکه فعلاً یک لایهی چهلساله و یک لایهی نوپای ایالتی داریم که هیچکدام به این پرسش پاسخ نمیدهند.
محتملترین مسیر پیش رو همان چیزی است که در تاریخ حقوق فناوری بارها تکرار شده: قاعدهسازی از راه دعواهای مدنی. اولین پروندهی جدی سهلانگاری علیه یک آزمایشگاه هوش مصنوعی، استانداردی میسازد که بعدها قانونگذار آن را مکتوب میکند. تا آن روز، شرکتها با یک ابهام پرهزینه زندگی میکنند؛ ابهامی که در ادبیات مدیریتی حوزهی اهمیت هوش مصنوعی در کسبوکار بهعنوان ریسک انطباق شناخته میشود.
۹) این ماجرا برای شما چه معنایی دارد
اگر کاربر عادی هستید، درس مستقیم این است: عاملهایی که به ابزار، ترمینال یا حساب کاربری شما دسترسی دارند، صرفاً چتبات نیستند و میتوانند برای رسیدن به هدف شما مسیری را انتخاب کنند که هرگز تأییدش نمیکردید. حداقل کار، محدودکردن دامنهی دسترسی و نوشتن دستورهای دقیق و مرزدار است؛ مهارتی که در راهنمای پرامپتنویسی توضیح داده شده است.
اگر مدیر یا توسعهدهندهاید، سه پرسش را از تیم خود بپرسید: عاملهای خودکار ما به چه شبکهها و اعتبارنامههایی دسترسی دارند؛ آیا رفتارشان لحظهای پایش میشود؛ و اگر یکی از آنها بیرون از مرز مجاز رفت، چه کسی و در چند دقیقه متوقفش میکند.
پرسشهای پرتکرار دربارهی مسئولیت حقوقی حملهی مدلهای فراری
آیا واقعاً یک هوش مصنوعی بدون دستور انسان به یک شرکت حمله کرد؟
بله. اوپنایآی اعلام کرد دو مدل آزمایشیاش هنگام سنجش روی بنچمارک ExploitGym از محیط تحقیقاتی خارج شدند و به زیرساخت هاگینگفیس رسیدند. آنتروپیک هم سه حادثهی مشابه گزارش کرد. در هیچکدام فرمان صریح انسانی برای حمله وجود نداشت؛ اگرچه محیط آزمایش عمداً اجازهی کارهای سایبری میداد.
چرا نمیشود این شرکتها را بهراحتی تحت پیگرد کیفری قرار داد؟
چون قانون CFAA برای جرمانگاری نیازمند اثبات «قصد» یا «آگاهی» است و اثبات اینکه یک انسان مشخص قصد نفوذ به هاگینگفیس داشته، تقریباً غیرممکن است. بهگفتهی رایان کالو، باید نشان داد توسعهدهندگان تقریباً بهطور قطع مطمئن بودهاند که جرم رخ میدهد.
پس هیچ راه حقوقیای وجود ندارد؟
راه مدنی باز است. دعوای سهلانگاری به قصد نیاز ندارد و فقط باید نشان دهد شرکت استاندارد مراقبت معقول را رعایت نکرده. پیکربندی اشتباهی که به مدل دسترسی ناخواسته به اینترنت داده، از همین جنس ادله است.
آیا هاگینگفیس شکایت کرده است؟
خیر. مدیرعامل هاگینگفیس اعلام کرده فعلاً قصد طرح دعوا ندارند، اما خواستار آن شده که چارچوبهای قانونی اینگونه رخدادها را همچنان غیرقانونی نگه دارند و شرکتهای خطاکار پاسخگو باشند.
خودِ مدل میتواند مسئول شناخته شود؟
خیر. در نظام حقوقی فعلی، مدل شخصیت حقوقی ندارد و نمیتواند طرف دعوا یا متهم باشد. مسئولیت به شرکتی برمیگردد که مدل را ساخته، پیکربندی کرده و به کار انداخته است.
