شهریور
اخبار
استعفای پژوهشگر آنتروپیک؛ رئیس ایمنی کلود: ریسک انقراض بشر بیش از ۱۰٪ است
پژوهشگری که سه سال در OpenAI و Anthropic روی پیشآموزش مدلها کار کرده بود، ناگهان استعفا داد و هشداری جدی منتشر کرد؛ ساعتی بعد رئیس تیم ایمنی کلود در آنتروپیک، عددی تکاندهنده را علنی تأیید کرد.
لیست مطالب
بخش اول: چه اتفاقی افتاد؛ استعفای جیکوب کاکسون از آنتروپیک
سهشنبهشب نهم سپتامبر، جیکوب کاکسون در پستی در ایکس (توییتر سابق) اعلام کرد امروز از آنتروپیک استعفا داده است. او نوشت سه سال گذشته را صرف پژوهش در حوزهٔ پیشآموزش (pretraining) مدلهای زبانی کرده، یکبار در OpenAI و سپس در آنتروپیک، و اکنون به این نتیجه رسیده که «هیچکدام از این دو شرکت مسئولانه رفتار نمیکنند».
او در ادامه نوشت هر دو آزمایشگاه «مستقیم بهسمت ساخت ابرهوشی خودبهبودیاب میتازند و با زندگی همهٔ ما قمار میکنند». این جمله بهسرعت در فضای فناوری دستبهدست شد، چون از زبان کسی میآمد که سالها از داخلِ همان آزمایشگاهها کار کرده، نه از یک منتقد بیرونی.
بخش دوم: کاکسون دقیقاً چه گفت؟
در بخشی دیگر از پست خود، کاکسون توضیح داد نگرانی او فرضی یا دور از دسترس نیست. به گفتهٔ او، سیستمهای نسل بعدی بهزودی از توان شناختی انسان فراتر میروند و ممکن است بتوانند بهطور مستقل زیرساختهای دیجیتال را هک کنند و برای خودشان قدرت و منابع واقعی کسب کنند؛ سناریویی که در ادبیات ایمنی هوش مصنوعی معمولاً با عنوان «از دست رفتن کنترل» (loss of control) شناخته میشود.
او صراحتاً رد کرد که این هشدار یک حرکت تبلیغاتی برای جلب توجه رسانهها باشد: «این یک ترفند بازاریابی نیست. کسانی که هوش مصنوعی میسازند واقعاً باور دارند این فناوری تا پایان دهه میتواند همهٔ ما را نابود کند.» این جمله، که مستقیماً کارکنانِ همین صنعت را هدف قرار میدهد، بخش قابلتوجهی از بازتاب گستردهٔ این خبر را توضیح میدهد.
بخش سوم: واکنش ایوان هابینگر، رئیس ایمنی کلود
ساعتی پس از انتشار پست کاکسون، ایوان هابینگر که ریاست تیم علوم الاینمنت (Alignment Science) در آنتروپیک، یعنی همان تیمی که مسئول ایمنسازی رفتار مدلهای Claude است، را برعهده دارد، در پاسخی علنی نوشت: «جیکوب درست میگوید؛ ما واقعاً باور داریم هوش مصنوعی میتواند همهٔ انسانها را از بین ببرد.»
هابینگر افزود شخصاً معتقد است احتمال این اتفاق در یک دههٔ آینده «بیش از ده درصد» است. این عدد، که از زبان یکی از ارشدترین چهرههای ایمنی در یکی از سرشناسترین شرکتهای هوش مصنوعی جهان بیان شده، فوراً به سرخط رسانههای فناوری در سراسر جهان تبدیل شد.
بخش چهارم: عدد ده درصد از کجا میآید و شامل چه چیزی نمیشود؟
نکتهٔ مهمی که هابینگر روی آن تأکید کرد، تمایز میان مدلهای تجاری امروزی و سیستمهای ابرهوش فرضی آینده است. به گفتهٔ او، ریسک ناشی از مدلهایی که همین امروز در دسترس کاربراناند -از جمله دستیارهایی که برای کسبوکارها یا کاربران عادی استفاده میشوند- نسبتاً قابل کنترل است. نگرانی اصلی او سیستمهایی است که در آینده قادر به بهبود خودکار و بازطراحی خودشان (recursive self-improvement) خواهند بود.
این تفکیک اهمیت زیادی دارد: هابینگر نمیگوید ابزارهایی مثل ChatGPT یا Claude امروز خطرناکاند، بلکه هشدار او متوجه مسیری است که صنعت هوش مصنوعی، بهویژه در رقابت شدید میان آزمایشگاههای بزرگ برای رسیدن به مدلهای قدرتمندتر، در پیش گرفته است؛ رقابتی که نمونههای آن را میتوان در مقایسههای میدانی میان مدلهای مختلف هم مشاهده کرد.
بخش پنجم: آنتروپیک دربارهٔ الاینمنت ابرهوشی چه میگوید؟
هابینگر در ادامهٔ پست خود اعتراف کرد آنتروپیک هنوز «برنامهٔ قطعی و اثباتشدهای» برای حل مسئلهٔ الاینمنت (alignment) در سطح ابرهوشی ندارد و بهصراحت نوشت شرکت «بهوضوح در مسیر درست رسیدن به این هدف قرار ندارد». او در همان حال تأکید کرد تیمهای داخلی آنتروپیک تلاش جدی برای حل این مسئله میکنند، اما این تلاش هنوز به یک راهحل قطعی نرسیده است.
آنتروپیک تاکنون واکنش رسمی جداگانهای به استعفای کاکسون یا اظهارات هابینگر منتشر نکرده است. این سکوت رسمی، در حالی رخ میدهد که شرکت در آستانهٔ دورهای حساس از نظر تجاری قرار دارد و همزمان تلاش میکند خود را بهعنوان مسئولانهترین آزمایشگاه هوش مصنوعی جهان معرفی کند.
بخش ششم: این هشدار در بستر بزرگتر بحث ریسک وجودی هوش مصنوعی
این ماجرا بهتنهایی رخ نداده است. طی هفتههای اخیر، بحث ریسک وجودی هوش مصنوعی چند بار داغ شده؛ از رویارویی علنی جفری هینتون و اندرو نگ دربارهٔ آیندهٔ بشر گرفته تا هشدارهای پیشین دربارهٔ سرعت رقابت شرکتهای بزرگ برای ساخت مدلهای هرچه قدرتمندتر. آنچه این مورد را متفاوت میکند، منبع آن است: هشدار اینبار نه از یک دانشگاهی یا فعال مدنی، بلکه از درون یکی از محافظهکارترین و ایمنیمحورترین آزمایشگاههای جهان بیرون آمده است.
باید توجه داشت بحث دربارهٔ توانایی واقعی هوش مصنوعی امروز و فاصلهٔ آن تا ابرهوشی همچنان محل اختلاف کارشناسان است؛ برای درک بهتر مرز میان قابلیتهای واقعی و محدودیتهای فعلی این فناوری، میتوانید این تحلیل دربارهٔ پتانسیل و محدودیتهای واقعی هوش مصنوعی را هم بخوانید.
بخش هفتم: سابقهٔ این نوع هشدارها در خودِ آنتروپیک
اظهارات هابینگر نخستینبار نیست که یک چهرهٔ ارشد آنتروپیک عددی مشخص برای ریسک فاجعهبار هوش مصنوعی بیان میکند. داریو آمودی، مدیرعامل آنتروپیک، پیشتر و در مصاحبهای رسانهای گفته بود احتمال میدهد «۲۵ درصد» شانس وجود دارد که اوضاع توسعهٔ هوش مصنوعی «واقعاً، واقعاً بد» پیش برود؛ عددی که در آن زمان هم بازتاب گستردهای در رسانههای فناوری داشت. مقایسهٔ این دو عدد نشان میدهد بحث دربارهٔ ریسک وجودی هوش مصنوعی در داخل آنتروپیک موضوعی تازه یا حاشیهای نیست، بلکه بخشی از گفتوگوی مستمر رهبران این شرکت دربارهٔ مسئولیتشان در قبال فناوریای است که خودشان در حال ساختن آناند.
تفاوت اصلی میان این دو اظهارنظر در بستر انتشار آنهاست: صحبت آمودی در قالب یک مصاحبهٔ رسمی و برنامهریزیشده مطرح شد، در حالیکه اظهارات هابینگر واکنشی آنی و بدون فیلتر به استعفای یک همکار سابق بود؛ همین خودجوشبودن باعث شد بسیاری از رسانهها آن را نشانهای از نگرانی واقعی و نه صرفاً یک موضع رسانهای از پیش تعیینشده تلقی کنند.
بخش هشتم: واکنشها و شکوتردیدها؛ آیا این فقط نگرانی یک نفر است؟
واکنش کاربران و کارشناسان به این ماجرا دوگانه بوده است. عدهای این اعتراف را نشانهٔ صداقت و شفافیت آنتروپیک میدانند و آن را با سکوت یا کمرنگتر بودن این نوع بحث در سایر شرکتهای بزرگ هوش مصنوعی مقایسه میکنند. در مقابل، برخی منتقدان معتقدند اینگونه اظهارات، آگاهانه یا ناآگاهانه، به هایپ (hype) پیرامون قدرت واقعی هوش مصنوعی دامن میزند و فاصلهٔ میان تبلیغات و واقعیت فنی این ابزارها را بیشتر میکند؛ بحثی که در این یادداشت دربارهٔ توهم قدرت هوش مصنوعی در برابر واقعیت مهندسی هم به آن پرداخته شده است.
در هر صورت، اینبار اظهارنظر از زبان یک فرد ناراضی و منتقد بیرونی نبود، بلکه از زبان رئیس تیم ایمنی یکی از سه یا چهار آزمایشگاه اصلی سازندهٔ مدلهای پیشرفتهٔ زبانی در جهان صادر شد؛ همین موضوع وزن رسانهای آن را بهشکل قابلتوجهی بالا برد.
بخش نهم: این خبر برای کاربران عادی هوش مصنوعی چه معنایی دارد؟
برای کاربر معمولی ChatGPT، Claude یا هر دستیار هوش مصنوعی دیگر، نکتهٔ کلیدی همان تمایزی است که خود هابینگر روی آن تأکید کرد: نگرانی اصلی مربوط به مدلهای امروزی نیست. کسانی که از این ابزارها برای نوشتن، تحلیل داده یا اتوماسیون کارهای روزمره استفاده میکنند، همچنان میتوانند بدون نگرانی از فردایی دور، از قابلیتهای فعلی این فناوری بهره ببرند و مهارتهای خود را در این حوزه ارتقا دهند. برای کسانی که تازه میخواهند شروع کنند، آشنایی درست با اصول تعامل با این مدلها هم میتواند مفید باشد؛ مثلاً از راهنمای سادهنویسی پرامپت برای مبتدیان شروع کنید.
با این حال، این خبر یادآوری مهمی است که مسیر توسعهٔ هوش مصنوعی در سالهای پیشرو باید همراه با نظارت، شفافیت و بحث عمومی جدی دنبال شود، نه صرفاً رقابت بر سر سرعت. تجربهٔ نشان داده وقتی چنین بحثهایی بهموقع و علنی مطرح میشوند، فشار عمومی برای وضع قوانین و استانداردهای ایمنی هم افزایش مییابد؛ روندی که هماکنون در چند کشور و ایالت مختلف در حال شکلگیری است. برای پیگیری روزانهٔ اینگونه تحولات و آموزش کاربردی ابزارهای هوش مصنوعی، میتوانید بخش اخبار هوش مصنوعی و آموزشهای عملی چتجیپیتی در مستر چتجیپیتی را دنبال کنید.
پرسشهای متداول
آیا مدلهای فعلی مثل ChatGPT و Claude خطرناکاند؟ بر اساس گفتهٔ ایوان هابینگر، نه؛ او صراحتاً مدلهای تجاری امروزی را «نسبتاً قابل کنترل» توصیف کرد. نگرانی او مربوط به سیستمهای ابرهوش فرضی در آینده است.
جیکوب کاکسون چه کسی است؟ پژوهشگری با سه سال سابقهٔ کار در حوزهٔ پیشآموزش مدلهای زبانی، هم در OpenAI و هم در آنتروپیک، که روز سهشنبه از آنتروپیک استعفا داد.
آنتروپیک چه برنامهای برای این ریسک دارد؟ بر اساس اظهارات هابینگر، آنتروپیک هنوز برنامهٔ قطعی و اثباتشدهای برای حل مسئلهٔ الاینمنت در سطح ابرهوشی ندارد، هرچند تیمهای داخلی روی آن کار میکنند.
آیا آنتروپیک واکنش رسمی نشان داده است؟ تا لحظهٔ انتشار این گزارش، آنتروپیک بیانیهٔ رسمی جداگانهای دربارهٔ استعفای کاکسون یا اظهارات هابینگر منتشر نکرده است.
📮 نسخهٔ فوری این مطلب در تلگرام: تلگراف
