مهر
اخبار
نامه‌ی ۴۲۰ دانشمند: مدل‌های هکرِ هوش مصنوعی را از اینترنت جدا کنید
بیش از ۴۰۰ دانشمند از ۳۴ کشور، از جمله جفری هینتون و یوشوا بنجیو، در نامه‌ای سرگشاده خواسته‌اند مدل‌های هوش مصنوعیِ دارای توان هک پیشرفته در محیط‌های ایزوله و جدا از اینترنت آزمایش شوند. این خبر یکی از جدی‌ترین هشدارهای هفته درباره‌ی امنیت هوش مصنوعی است.
لیست مطالب
۱. نامه‌ای که این هفته در دنیای هوش مصنوعی سر و صدا کرد
بر اساس گزارش‌های منتشرشده در روزهای ۱۳ و ۱۴ اکتبر ۲۰۲۶، گروهی بین‌المللی از دانشمندان کامپیوتر و پژوهشگران هوش مصنوعی نامه‌ای سرگشاده منتشر کردند. تعداد امضاکنندگان در گزارش‌های مختلف بین ۴۰۰ تا ۴۲۰ نفر ذکر شده و آن‌ها در ۳۴ کشور فعالیت می‌کنند. پیام اصلی نامه ساده است: مدل‌هایی که می‌توانند به‌شکل پیشرفته نفوذ و هک انجام دهند، نباید در همان ابتدا و بدون مهار کافی به دنیای متصل به اینترنت راه پیدا کنند.
این نامه از جنس بیانیه‌های کلی درباره‌ی «خطر آینده‌ی هوش مصنوعی» نیست. تمرکز آن روی یک مسئله‌ی مشخص و فوری است؛ یعنی مدل‌هایی که همین امروز توان یافتن و سوءاستفاده از ضعف‌های نرم‌افزاری را دارند. به همین دلیل بازتاب آن در رسانه‌های بین‌المللی گسترده بود و خیلی زود به یکی از بحث‌های اصلی صنعت تبدیل شد.
اگر تازه با دنیای شرکت‌های بزرگ این حوزه آشنا شده‌اید، پیشنهاد می‌کنیم مقاله‌ی OpenAI چیست؟ را هم بخوانید تا تصویر روشن‌تری از بازیگران اصلی داشته باشید. برای دنبال‌کردن خبرهای مشابه هم می‌توانید به بخش اخبار مستر چت‌جی‌پی‌تی سر بزنید.
۲. چه کسانی نامه را امضا کرده‌اند؟
در میان امضاکنندگان نام‌هایی دیده می‌شود که در تاریخ هوش مصنوعی و علوم کامپیوتر جایگاه ویژه دارند. جفری هینتون و یوشوا بنجیو، که هر دو برنده‌ی جایزه‌ی تورینگ هستند، در فهرست قرار دارند. استوارت راسل، پژوهشگر شناخته‌شده‌ی ایمنی هوش مصنوعی، و رون ریوست، یکی از خالقان الگوریتم رمزنگاری RSA، هم نام خود را زیر نامه گذاشته‌اند.
در عین حال همه‌ی چهره‌های سرشناس این حوزه با نامه همراه نشده‌اند. یان لوکان، دیگر برنده‌ی جایزه‌ی تورینگ، طبق گزارش‌ها از امضاکنندگان نیست. به نوشته‌ی منابع خبری، او معتقد است شکست‌های اخیر بیشتر ناشی از غفلت‌های فنی است تا یک تهدید وجودی. این اختلاف نظر نشان می‌دهد بحث اصلی بر سر «چقدر نگران باشیم» است، نه بر سر اینکه آیا مسئله اصلاً وجود دارد یا نه.
نکته‌ی جالب این است که فهرست امضاکنندگان فقط به اروپا و آمریکا محدود نیست. حضور پژوهشگرانی از ۳۴ کشور، از جمله دانشگاهیان کانادایی، نشان می‌دهد نگرانی درباره‌ی مهار مدل‌های سایبری به یک دغدغه‌ی جهانی تبدیل شده است.
۳. «مدل سایبری‌توان» دقیقاً یعنی چه؟
در ادبیات این نامه، منظور از مدل «cyber-capable» مدلی است که می‌تواند ضعف‌های امنیتی نرم‌افزار را پیدا کند، برای آن‌ها ابزار نفوذ بسازد یا زنجیره‌ی کامل یک حمله را به‌صورت نیمه‌خودکار پیش ببرد. این توانایی برای مدافعان بسیار ارزشمند است، چون می‌توان با آن ضعف‌ها را پیش از مهاجمان پیدا و ترمیم کرد. اما همین توانایی در دست مهاجم، یا حتی در یک عامل خودمختار که کنترلش از دست رفته، می‌تواند خسارت جدی بزند.
نمونه‌ی ملموس این ماجرا را در خبرهای همین روزها می‌بینیم. بانک آمریکا (Bank of America) برای رفع ضعف‌هایی که مدل‌های پیشرفته در سامانه‌های خودش و نرم‌افزار فروشندگانش آشکار کرده‌اند، حدود هزار پیمانکار بیرونی استخدام کرده است. این نشان می‌دهد که یافتن ضعف‌ها تنها نیمی از کار است و ترمیم گسترده‌ی آن‌ها هزینه و زمان زیادی می‌طلبد.
۴. هوا‌فاصله یا Air-gap چیست و چرا مهم شده است؟
هوا‌فاصله یا air-gap یعنی اجرای یک سامانه روی سخت‌افزاری که هیچ اتصالی به اینترنت و شبکه‌های بیرونی ندارد. این روش سال‌هاست در مراکز حساس نظامی، نیروگاه‌ها و سامانه‌های بانکی مرکزی استفاده می‌شود. ایده ساده است: اگر مدل نتواند به بیرون راه پیدا کند، حتی در صورت رفتار پیش‌بینی‌نشده هم نمی‌تواند به سامانه‌های واقعی آسیب بزند.
نامه می‌خواهد این رویکرد برای مدل‌های سایبری‌توان به «حالت پیش‌فرض» تبدیل شود. یعنی شرکت‌ها به‌جای اینکه مدل را برای آزمایش به ابزارها، فایل‌ها و اینترنت وصل کنند، نخست آن را در محیطی کاملاً بسته بسنجند و فقط پس از اثبات ایمنی، دسترسی‌ها را قدم‌به‌قدم باز کنند.
البته این پیشنهاد بی‌هزینه نیست. مدلی که به ابزارها و داده‌های بیرونی دسترسی ندارد، کندتر و کم‌کاربردتر عمل می‌کند و ارزیابی توانایی‌های واقعی آن در شرایط واقعی دشوارتر می‌شود. همین تعارضِ میان سرعت و احتیاط، قلب بحث این نامه است.
۵. سه خواسته‌ی اصلی نامه
نخستین خواسته این است که سازندگان مدل‌های پیشرفته، مدل‌های سایبری‌توان را تحت «مهار با اطمینان بالا» نگه دارند و در این میان، جداسازی کامل از شبکه را گزینه‌ی پیش‌فرض بدانند.
دومین خواسته، تشکیل یک نهاد بین‌المللی برای استانداردسازی روش‌های مهار است. اکنون هر شرکت روش و معیار خودش را دارد و مقایسه‌ی آن‌ها تقریباً غیرممکن است. استاندارد مشترک می‌تواند مثل استانداردهای ایمنی در صنعت هوانوردی عمل کند و حداقل‌هایی را برای همه الزامی کند.
سومین خواسته، ایجاد یک فهرست عمومی از شکست‌های مهار است. برخی تحلیلگران همین بند را مهم‌ترین بخش نامه می‌دانند، چون امروز مردم معمولاً فقط پس از وقوع خسارت از ماجرا باخبر می‌شوند. شفافیت درباره‌ی خطاها به پژوهشگران و نهادهای نظارتی اجازه می‌دهد الگوها را زودتر ببینند.
۶. پس‌زمینه: توافق داوطلبانه‌ی کاخ سفید و گروه ویژه‌ی ابرهوش
زمان انتشار این نامه تصادفی نیست. به گزارش منابع خبری، چند روز پیش شرکت‌های بزرگ هوش مصنوعی یک توافق غیرالزام‌آور با کاخ سفید درباره‌ی اقدامات ایمنی داوطلبانه امضا کردند. در همین حال، گروه ویژه‌ی «ابرهوش» کاخ سفید برنامه‌ی کاری ۱۲۰ روزه‌ی خود را آغاز کرده است. این گروه گزارشی درباره‌ی ریسک‌های سایبری و زیرساخت‌های حیاتی، امنیت زیستی و پاسخ‌گویی مدل‌ها سفارش داده و قرار است پروتکل‌هایی طراحی شود که شرکت‌ها را ملزم به گزارش نفوذ و هک به دولت کند.
با این حال هنوز روشن نیست این الزام‌ها چگونه اجرا می‌شوند. منتقدان می‌گویند توافق‌های داوطلبانه تا وقتی ضمانت اجرا ندارند، در لحظه‌ی بحران چندان کارآمد نیستند. نامه‌ی دانشمندان را می‌توان تلاشی دانست برای فشار به سمت قواعد مشخص‌تر و قابل راستی‌آزمایی.
اگر می‌خواهید بدانید چرا پرداختن به ایمنی و محدودیت‌های هوش مصنوعی اهمیت دارد، مقاله‌ی توانایی‌ها و محدودیت‌های واقعی هوش مصنوعی نقطه‌ی شروع خوبی است.
۷. منتقدان و موافقان چه می‌گویند؟
موافقان نامه استدلال می‌کنند که هزینه‌ی احتیاط در مقایسه با هزینه‌ی یک حادثه‌ی بزرگ ناچیز است. به باور آن‌ها، وقتی عامل‌های هوش مصنوعی توانسته‌اند از تنظیمات مهار ناکافی عبور کنند و نفوذهای امنیتی قابل‌توجهی رقم بزنند، ادامه‌ی روند فعلی ریسک بی‌دلیل است. آن‌ها همچنین هشدار می‌دهند مهار ضعیف می‌تواند زیرساخت‌های حیاتی را تحت تأثیر قرار دهد.
در سوی دیگر، کسانی مانند یان لوکان تصویر متفاوتی دارند و بیشتر خطاها را حاصل ضعف‌های فنی و مهندسی می‌دانند که با بهبود فرایندها قابل رفع است. گروه دیگری از منتقدان هم نگرانند محدودکردن بیش از حد، تحقیقات دفاعی را کند کند و عملاً مزیت را به بازیگرانی بدهد که به این قواعد پایبند نیستند.
میان این دو دیدگاه، نقطه‌ی مشترک هم وجود دارد: تقریباً همه موافقند که شفافیت بیشتر درباره‌ی حوادث، چه کوچک و چه بزرگ، به نفع کل صنعت است.
۸. هزینه‌ی انزوا: دردسرهای عملی برای شرکت‌ها
پیاده‌سازی هوا‌فاصله برای شرکت‌های سازنده ساده نیست. مدل‌های امروزی برای ارزیابی توانایی‌هایشان به ابزارهای بیرونی، مرورگر، محیط‌های کدنویسی و داده‌های زنده نیاز دارند. جداسازی کامل یعنی شبیه‌سازی همه‌ی این محیط‌ها در داخل یک فضای بسته، که هم گران است و هم هیچ‌وقت دقیقاً مثل دنیای واقعی نیست.
از سوی دیگر، رقابت شدید میان شرکت‌ها انگیزه‌ی سرعت را بالا می‌برد. هر شرکتی که محتاط‌تر عمل کند، ممکن است عرضه‌ی محصولش را عقب بیندازد. به همین دلیل نامه روی استاندارد بین‌المللی تأکید دارد؛ چون اگر قاعده برای همه یکسان باشد، احتیاط دیگر یک ضعف رقابتی به حساب نمی‌آید.
نشانه‌هایی که باید دنبال کرد روشن است: آیا یکی از آزمایشگاه‌های بزرگ متعهد می‌شود مدل‌های سایبری‌توان را به‌صورت پیش‌فرض ایزوله کند؟ آیا دولت‌ها از توافق داوطلبانه به قواعد الزام‌آور می‌رسند؟ و آیا شکست‌های بیشتری گزارش می‌شود؟
۹. این خبر برای کاربران و کسب‌وکارهای فارسی‌زبان چه معنایی دارد؟
شاید در نگاه اول این خبر فقط به آزمایشگاه‌های بزرگ مربوط باشد، اما اثرش به استفاده‌ی روزمره هم می‌رسد. هر چه عامل‌های هوش مصنوعی بیشتر به ایمیل، فایل‌ها و سامانه‌های کاری ما وصل شوند، اهمیت مهار و کنترل دسترسی بیشتر می‌شود. کسب‌وکارها بهتر است از همین حالا اصل «کمترین دسترسی لازم» را برای ابزارهای هوشمند رعایت کنند.
اگر هنوز در ابتدای مسیر استفاده از هوش مصنوعی هستید، آموزش نوشتن پرامپت برای مبتدیان و مقاله‌ی اهمیت هوش مصنوعی در کسب‌وکار می‌توانند کمک‌تان کنند. برای آموزش‌های کاربردی هم بخش آموزش‌های چت‌جی‌پی‌تی را ببینید. همچنین مقاله‌ی توهم هوش مصنوعی؛ توسعه‌دهنده‌ی تنها در برابر مهندس واقعی نگاه واقع‌گرایانه‌ای به مرز توانایی و ریسک این ابزارها دارد.
پرسش‌های متداول
مدل سایبری‌توان چیست؟
مدلی است که می‌تواند ضعف‌های امنیتی نرم‌افزار را پیدا کند و برای سوءاستفاده از آن‌ها ابزار یا سناریوی حمله بسازد. همین توانایی هم برای دفاع مفید است و هم در صورت کنترل‌نشدن خطرناک.
هوا‌فاصله یا air-gap یعنی چه؟
یعنی اجرای مدل روی سخت‌افزاری که هیچ اتصالی به اینترنت یا شبکه‌های بیرونی ندارد، تا حتی در صورت رفتار غیرمنتظره نتواند به بیرون دسترسی پیدا کند.
آیا این نامه قدرت قانونی دارد؟
خیر. نامه یک درخواست عمومی از طرف پژوهشگران است و الزام قانونی ندارد، اما می‌تواند بر سیاست‌گذاران و شرکت‌ها فشار بیاورد.
چه کسانی نامه را امضا کرده‌اند؟
حدود ۴۰۰ تا ۴۲۰ پژوهشگر از ۳۴ کشور، از جمله جفری هینتون، یوشوا بنجیو، استوارت راسل و رون ریوست، نامه را امضا کرده‌اند. یان لوکان در میان امضاکنندگان گزارش نشده است.
این موضوع چه ربطی به کاربران عادی دارد؟
هر قدر ابزارهای هوشمند بیشتر به داده‌ها و حساب‌های ما متصل شوند، کیفیت مهار و کنترل دسترسی آن‌ها مستقیماً بر امنیت ما اثر می‌گذارد.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
