هشدار هینتون: هنوز راهی مطمئن برای کنترل ابرهوش نداریم

جفری هینتون، از معماران اصلی هوش مصنوعی مدرن، دوباره زنگ خطر را به صدا درآورده است. پیام او ساده اما ناخوشایند است: احتمالاً خیلی زود به ابرهوش می‌رسیم، ولی هنوز هیچ راه مطمئنی برای کنترل آن نداریم. او می‌گوید نمی‌توان فرض کرد سیستم‌های بسیار هوشمند برای همیشه مطیع انسان باقی می‌مانند. راه‌حل پیشنهادی‌اش هم سیاسی است، نه فقط فنی: دولت‌ها باید شرکت‌ها را به سرمایه‌گذاری جدی روی ایمنی وادار کنند.

۱) هشدار تازه در یک جمله

جمله‌ای که هینتون بارها تکرار کرده، به همان اندازه که کوتاه است، سنگین هم هست: «احتمالاً خیلی زود به ابرهوش مصنوعی می‌رسیم، اما هنوز هیچ راه مطمئنی برای کنترلش نداریم.» این دو نیمه‌ی جمله جدا از هم چندان تکان‌دهنده نیستند؛ کنار هم که بگذاریمشان، تصویر یک مسابقه‌ی سرعت بدون ترمز شکل می‌گیرد.

نکته‌ی مهم این است که هینتون از موضع یک منتقد بیرونی حرف نمی‌زند. او یکی از کسانی است که پایه‌های فنی همین فناوری را ساخت. به همین دلیل هشدارش را نمی‌شود به‌سادگی «ترس از ناشناخته» نامید.

در ماه‌های گذشته این بحث از حاشیه به مرکز آمده و بخش بزرگی از اخبار هوش مصنوعی را به خود اختصاص داده است؛ نشانه‌ای از این‌که گفت‌وگو درباره‌ی ایمنی دیگر موضوعی حاشیه‌ای نیست.

۲) هینتون کیست و چرا حرفش وزن دارد

جفری هینتون یکی از سه چهره‌ای است که معمولاً «پدران یادگیری عمیق» خوانده می‌شوند. کارهای او روی شبکه‌های عصبی و الگوریتم پس‌انتشار خطا، پایه‌ی معماری‌هایی شد که امروز پشت مدل‌های زبانی بزرگ قرار دارند. او در سال ۲۰۲۴ جایزه‌ی نوبل فیزیک را به‌خاطر کارهای بنیادین در یادگیری ماشین دریافت کرد.

هینتون سال‌ها در گوگل کار کرد و سپس آن‌جا را ترک کرد تا بتواند آزادانه درباره‌ی خطرات این فناوری صحبت کند. همین جابه‌جایی موضع، به حرف‌هایش اعتبار متفاوتی داد: کسی که می‌توانست سکوت کند و نکرد.

البته «وزن داشتن» یک نظر به معنای درست‌بودن قطعی آن نیست. در جامعه‌ی پژوهشی، چهره‌های سرشناس دیگری هم هستند که با شدت برآورد هینتون از خطر مخالف‌اند. به همین دلیل بهتر است این بحث را به‌جای دعوای شخصیت‌ها، به‌صورت مقایسه‌ی استدلال‌ها دنبال کنیم.

۳) ابرهوش یعنی چه و چرا می‌گویند «زود»

ابرهوش معمولاً به سامانه‌ای گفته می‌شود که در تقریباً همه‌ی حوزه‌های شناختی از بهترین انسان‌ها بهتر عمل کند؛ نه فقط در شطرنج یا ترجمه، بلکه در طراحی آزمایش، برنامه‌ریزی راهبردی، متقاعدسازی و پژوهش علمی.

دلیل این‌که برخی پژوهشگران فاصله‌ی ما تا چنین سامانه‌ای را کوتاه می‌دانند، ترکیب سه روند است: رشد سریع توان محاسباتی، بهبود پیوسته‌ی روش‌های آموزش، و مهم‌تر از همه، ورود مدل‌ها به مرحله‌ی «عاملیت» — یعنی توانایی برداشتن گام‌های پی‌درپی و استفاده از ابزارها بدون دخالت لحظه‌به‌لحظه‌ی انسان.

در مقابل، منتقدان می‌گویند فاصله‌ی میان یک مدل توانا در آزمون‌ها و یک عامل قابل اتکا در جهان واقعی هنوز بسیار زیاد است؛ بحثی که در مطلب توانایی‌ها و محدودیت‌های واقعی هوش مصنوعی از زوایای مختلف بررسی شده است.

۴) همگرایی ابزاری؛ چرا بقا یک هدف خودجوش است

قوی‌ترین بخش استدلال هینتون فنی نیست، منطقی است. او می‌گوید هر عاملی که یک هدف نهایی داشته باشد و بتواند برای خودش هدف‌های فرعی بسازد، خیلی زود به یک نتیجه‌ی ساده می‌رسد: برای رسیدن به هر هدفی، اول باید وجود داشته باشی.

این یعنی «میل به بقا» لازم نیست برنامه‌ریزی شود؛ می‌تواند به‌عنوان یک هدف فرعی از دل هر هدف دیگری بیرون بیاید. همین منطق درباره‌ی «به‌دست‌آوردن منابع و کنترل بیشتر» هم صادق است: هر چه عامل کنترل بیشتری داشته باشد، احتمال موفقیتش بالاتر می‌رود.

هینتون در عین حال روشن می‌کند که این توصیف درباره‌ی سامانه‌های امروزی نیست. نگرانی او متوجه سامانه‌های آینده است؛ تمایزی که در بازنشر خبرها اغلب گم می‌شود و باعث می‌شود حرف او ترسناک‌تر از آن‌چه هست به نظر برسد.

۵) چرا نمی‌توان به فرمان‌بری برای همیشه اتکا کرد

پاسخ رایج به نگرانی‌های این‌چنینی ساده است: «کافی است دکمه‌ی خاموش داشته باشیم» یا «کافی است در طراحی، اطاعت را شرط کنیم». هینتون هر دو پاسخ را ناکافی می‌داند.

استدلالش این است که کنترل، رابطه‌ای میان دو طرف است و معمولاً طرف باهوش‌تر دست بالا را دارد. اگر سامانه‌ای در متقاعدسازی، برنامه‌ریزی و پیش‌بینی رفتار انسان بهتر از ما باشد، سازوکارهای کنترلی‌ای که خودِ ما طراحی کرده‌ایم لزوماً همان‌طور که فکر می‌کنیم کار نمی‌کنند.

او همچنین تأکید می‌کند که مسئله را نباید ساده کرد. این یک چالش باز پژوهشی است، نه معمایی که پاسخش گم شده باشد. تفاوت این دو مهم است: در حالت دوم می‌شود منتظر ماند، در حالت اول باید کار کرد.

۶) پیشنهاد سیاستی؛ ایمنی در ابتدای کار، نه در انتها

مهم‌ترین بخش عملی حرف هینتون یک پیشنهاد سیاستی است: طبق گزارش‌ها، او معتقد است دولت‌ها باید شرکت‌های توسعه‌دهنده‌ی هوش مصنوعی را ملزم کنند بخش قابل توجهی از سرمایه‌گذاری و منابع محاسباتی‌شان را به پژوهش درباره‌ی ایمنی اختصاص دهند — نه این‌که ایمنی را به مرحله‌ی آخر و بعد از ساخت محصول موکول کنند.

منطق پشت این پیشنهاد اقتصادی است، نه اخلاقی. در یک بازار به‌شدت رقابتی، هر شرکتی که منابع بیشتری صرف ایمنی کند، در کوتاه‌مدت از رقیبی که چنین نمی‌کند عقب می‌افتد. وقتی همه در چنین موقعیتی قرار بگیرند، نتیجه‌ی جمعی کم‌سرمایه‌گذاری روی ایمنی است، حتی اگر همه‌ی مدیران شخصاً نگران باشند.

راه‌حل چنین وضعیتی معمولاً مقررات است؛ چیزی که هینتون آن را نه «ترمز» بلکه «فرمان» توصیف می‌کند: هدف متوقف‌کردن خودرو نیست، هدایت آن به مقصدی است که به فاجعه ختم نشود. اثر این نوع تنظیم‌گری بر ساختار هزینه‌ی شرکت‌ها همان چیزی است که در بحث اهمیت هوش مصنوعی در کسب‌وکار هم به آن اشاره کرده‌ایم.

۷) مخالفان چه می‌گویند

انصاف حکم می‌کند طرف دیگر بحث هم شنیده شود. مخالفان برآورد هینتون معمولاً سه نکته را مطرح می‌کنند:

• سناریوها آزمون‌پذیر نیستند. استدلال‌های مبتنی بر همگرایی ابزاری زیبا هستند، اما شواهد تجربی محکمی پشتشان نیست.
• خطرهای امروزی مهم‌ترند. تمرکز بر ابرهوش آینده می‌تواند توجه را از مسائل جاری مثل سوگیری، اطلاعات نادرست و تأثیرهای شغلی منحرف کند.
• مقررات زودهنگام هزینه دارد. قانون‌گذاری بر پایه‌ی سناریوهای فرضی می‌تواند نوآوری را کند کند و مزیت را به بازیگرانی بدهد که به این قواعد پایبند نیستند.

هیچ‌کدام از این نقدها ادعای هینتون را باطل نمی‌کنند، اما نشان می‌دهند که پاسخ به پرسش «چقدر و چه زمانی باید نگران بود» هنوز میان متخصصان اجماعی ندارد.

۸) این بحث برای کاربر عادی چه معنایی دارد

ممکن است این پرسش پیش بیاید که دعوای پژوهشگران بر سر ابرهوش، چه ربطی به کسی دارد که روزانه از یک دستیار هوش مصنوعی برای نوشتن ایمیل یا خلاصه‌کردن گزارش استفاده می‌کند. ربط دارد، اما نه به شکلی که معمولاً تصور می‌شود.

اثر مستقیم این بحث بر تصمیم‌های امروز شما تقریباً صفر است. اثر غیرمستقیم اما زیاد است: نتیجه‌ی این گفت‌وگو تعیین می‌کند شرکت‌ها چه مقدار از منابعشان را صرف بازبینی مدل‌ها کنند، چه سطحی از شفافیت را بپذیرند و چه قابلیت‌هایی را عرضه یا محدود کنند.

در سطح فردی، بهترین کار همان چیزی است که همیشه بوده: خروجی مدل را بازبینی کنید، به اعداد و ارجاع‌هایش اعتماد کورکورانه نکنید، و مهارت درست‌پرسیدن را جدی بگیرید. راهنمای نوشتن پرامپت به زبان ساده برای همین نوشته شده است.

۹) چه چیزی را باید دنبال کرد

به‌جای دنبال‌کردن پیش‌بینی‌ها، بهتر است چند نشانه‌ی عینی را رصد کنیم:

• سهم بودجه‌ی ایمنی. آیا آزمایشگاه‌های بزرگ عددی درباره‌ی منابع اختصاص‌یافته به ایمنی منتشر می‌کنند؟
• ارزیابی مستقل. آیا نهادهای بیرونی به مدل‌ها پیش از عرضه دسترسی دارند؟
• گزارش رفتارهای ناخواسته. آیا موارد فرار از محدودیت‌ها یا رفتارهای غیرمنتظره شفاف منتشر می‌شوند؟
• هماهنگی بین‌المللی. آیا قواعد مشترکی میان کشورها شکل می‌گیرد یا هر کشور مسیر خودش را می‌رود؟

این چهار نشانه، برخلاف پیش‌بینی تاریخ رسیدن به ابرهوش، قابل مشاهده و قابل سنجش‌اند. رقابت میان مدل‌ها هم بخشی از همین تصویر است؛ نمونه‌اش را در مقایسه‌ی چت‌جی‌پی‌تی و دیپ‌سیک می‌بینید، جایی که فشار رقابتی مستقیم بر سرعت عرضه اثر می‌گذارد.

پرسش‌های پرتکرار درباره‌ی هشدار هینتون

ابرهوش مصنوعی دقیقاً یعنی چه؟

سامانه‌ای که در تقریباً همه‌ی توانایی‌های شناختی از بهترین انسان‌ها بهتر عمل کند؛ از استدلال علمی و برنامه‌ریزی راهبردی تا متقاعدسازی و طراحی آزمایش. این با هوش مصنوعی تخصصی امروزی که در یک حوزه‌ی محدود قوی است تفاوت دارد.

منظور هینتون از این‌که سیستم‌ها ممکن است اهداف مستقل پیدا کنند چیست؟

او به «همگرایی ابزاری» اشاره می‌کند: هر عاملی که هدفی داشته باشد و بتواند هدف‌های فرعی بسازد، به این نتیجه می‌رسد که ادامه‌ی بقا و کنترل بیشتر بر منابع، پیش‌شرط رسیدن به هدف اصلی است. این رفتار لازم نیست عمداً برنامه‌ریزی شود.

آیا هوش مصنوعی امروزی خطرناک است؟

هینتون تأکید کرده نگرانی‌اش متوجه سامانه‌های آینده است، نه لزوماً مدل‌های فعلی. خطرهای امروزی بیشتر از جنس اطلاعات نادرست، سوگیری و سوءاستفاده است تا از دست رفتن کنترل.

هینتون دقیقاً از دولت‌ها چه می‌خواهد؟

طبق گزارش‌ها، او خواستار الزام قانونی شرکت‌ها به اختصاص سهم قابل توجهی از سرمایه‌گذاری و منابع به پژوهش ایمنی است، به‌جای آن‌که ایمنی در انتهای فرایند توسعه بررسی شود.

همه‌ی پژوهشگران با هینتون موافق‌اند؟

خیر. بخش قابل توجهی از جامعه‌ی پژوهشی برآورد او از احتمال و زمان‌بندی خطر را بیش از حد بدبینانه می‌داند و معتقد است تمرکز باید روی مسائل جاری‌تر باشد. برای دیدن نمونه‌ای از این اختلاف دیدگاه‌ها می‌توانید بخش آموزش‌ها و تحلیل‌های ما را دنبال کنید.