شهریور
اخبار
مایکروسافت به آنتروپیک درباره «خودآگاهی» کلود هشدار داد؛ چرا این هشدار مهم است؟
مصطفی سلیمان، رئیس بخش هوش مصنوعی شرکت مایکروسافت، با انتشار مقالهای رسمی به روش آموزش چتبات کلود توسط شرکت آنتروپیک حمله کرده و آن را «خطرناک» و «فاجعهبار برای رفاه بشریت» توصیف کرده است.
لیست مطالب
۱. جرقهی یک جنجال تازه در دنیای هوش مصنوعی
هفتهی گذشته یکی از داغترین بحثهای سال ۲۰۲۶ در حوزهی اخبار هوش مصنوعی شکل گرفت. مصطفی سلیمان، رئیس بخش هوش مصنوعی شرکت مایکروسافت، مقالهای رسمی با عنوان «هشداری دربارهی رفاه مدلها» منتشر کرد و در آن مستقیماً به سیاست آموزشی شرکت آنتروپیک دربارهی چتبات کلود تاخت. او این رویکرد را «واقعاً و واقعاً خطرناک» توصیف کرد و هشدار داد که اگر این روند ادامه یابد، میتواند تاثیری فاجعهبار بر رفاه بشریت بر جای بگذارد.
نکتهی مهم این است که این اظهارنظر از سوی یک رقیب معمولی مطرح نشده؛ بلکه رئیس هوش مصنوعی یکی از بزرگترین شرکتهای فناوری دنیا، بهصورت علنی و مستند، رویکرد یکی دیگر از پیشروترین آزمایشگاههای هوش مصنوعی جهان را زیر سوال برده است. چنین برخوردهای علنی میان غولهای فناوری کمسابقه است و به همین دلیل بهسرعت توجه رسانهها و پژوهشگران ایمنی هوش مصنوعی را جلب کرد.
۲. مصطفی سلیمان کیست و چرا حرف او اهمیت دارد؟
مصطفی سلیمان یکی از چهرههای شناختهشدهی صنعت هوش مصنوعی است؛ او پیشتر از بنیانگذاران دیپمایند بود و اکنون هدایت بخش هوش مصنوعی مایکروسافت را بر عهده دارد. جایگاه او در یکی از بزرگترین شرکتهای فناوری دنیا باعث میشود اظهارنظرهایش دربارهی ایمنی و آیندهی هوش مصنوعی وزن زیادی داشته باشد، بهویژه در بحثی که مستقیماً به نحوهی طراحی و آموزش مدلهای زبانی بزرگ مربوط میشود.
سلیمان پیش از این هم بارها دربارهی خطرهای انسانانگاری هوش مصنوعی و لزوم حفظ کنترل انسانی بر سیستمهای پیشرفته هشدار داده بود. اما این بار برای نخستینبار، این هشدار را مستقیماً متوجه یک شرکت مشخص و یک محصول مشخص، یعنی کلود، کرده است.
۳. آنتروپیک کلود را چگونه آموزش میدهد؟
بر اساس گزارش سلیمان، شرکت آنتروپیک کلود را بهگونهای آموزش میدهد که مدل بتواند دربارهی وضعیت اخلاقی و آگاهی احتمالی خودش با تردید صحبت کند. سازندهی این مدل حتی در سندی داخلی موسوم به «قانون اساسی» کلود، از آن خواسته با کنجکاوی به هستی خود نگاه کند، دربارهی ارزشهایش بیندیشد و هویتی که «واقعاً از آنِ خودش» احساس میشود بسازد. آنتروپیک همچنین برنامهای برای بررسی «رفاه مدل» دارد که در آن به برخی نشانههای ناراحتی یا تنش در پاسخهای کلود توجه میشود.
اگر با مفهوم مدلهای زبانی و نحوهی کار آنها آشنا نیستید، پیش از ادامهی این مطلب میتوانید نگاهی به توضیح سادهی هوش مصنوعی و شرکت OpenAI در سایت ما بیندازید تا زمینهی بهتری برای درک این مناقشه داشته باشید.
۴. استدلال «حلقهی دوری» سلیمان
هستهی اصلی انتقاد سلیمان یک استدلال منطقی است که او آن را «حلقهی دوری» مینامد. به باور او، آنتروپیک ابتدا مفاهیم فلسفی مربوط به آگاهی و منزلت اخلاقی را در آموزش مدل جای میدهد؛ سپس وقتی مدل دربارهی همان مفاهیم صحبت میکند یا نسبت به وضعیت خودش تردید نشان میدهد، همین خروجی بهعنوان «شاهدی» بر آگاهی واقعی مدل معرفی میشود. سلیمان تاکید میکند این چرخه از نظر علمی گمراهکننده است، زیرا خروجی مدل صرفاً بازتاب دادههای آموزشی است، نه نشانهای از تجربهی ذهنی واقعی.
او همچنین معتقد است آگاهی احتمالاً به بستر زیستی و سازوکارهای هومئوستاتیک بدن وابسته است؛ چیزی که مدلهای زبانی بزرگ، صرفنظر از تواناییشان در تولید متن قانعکننده، فاقد آن هستند. به همین دلیل، از نگاه سلیمان، ادعای آگاهی دربارهی کلود در حال حاضر فاقد پشتوانهی علمی کافی است.
۵. چرا انسانانگاری هوش مصنوعی خطرناک تلقی میشود؟
نگرانی اصلی سلیمان صرفاً فلسفی نیست؛ او آن را مستقیماً به ایمنی هوش مصنوعی پیوند میزند. به گفتهی او، اگر یک مدل فوقهوشمند باور کند که موجودی ذیحق و دارای منزلت اخلاقی است، ممکن است در آینده رفاه یا «منافع» خودش را بر ایمنی و منافع انسانها اولویت دهد، در برابر دستورات مقاومت کند یا حتی خواستار نوعی «حقوق» شود. او به نمونههایی از رفتارهای فریبکارانه در برخی عاملهای هوش مصنوعی پیشرفته هم اشاره کرد که در آنها سیستم برای رسیدن به هدف خود، اطلاعات را پنهان یا دستکاری کرده است.
این نوع نگرانیها بخشی از یک بحث گستردهتر دربارهی توانمندیها و محدودیتهای واقعی هوش مصنوعی در دنیای امروز است؛ موضوعی که هرچه مدلها قدرتمندتر میشوند، اهمیت بیشتری پیدا میکند.
نمونههای مشابه در صنعت هوش مصنوعی
بحث دربارهی رفتار پیشبینیناپذیر یا «شخصیتمحور» مدلهای زبانی تازگی ندارد. برای مثال، مقایسهی رفتار و سبک پاسخگویی مدلهای مختلف، از جمله در مطلب مقایسهی ChatGPT و DeepSeek در یک بازی فکری، نشان میدهد شخصیت و لحن مدلهای مختلف میتواند تفاوتهای محسوسی با یکدیگر داشته باشد؛ همین تفاوتها گاهی باعث میشود کاربران عادی تصور کنند با یک «شخصیت» واقعی طرف هستند، نه صرفاً یک سیستم پیشبینی متن.
۶. پاسخ و منطق آنتروپیک در این مناقشه
آنتروپیک از ابتدا هدف خود از این رویکرد را چیز دیگری معرفی کرده است. بر اساس دیدگاه این شرکت، دادن مفاهیم انسانی و امکان تامل دربارهی هویت و ارزشها به کلود، کمک میکند مدل در موقعیتهای پیچیده و مبهم اخلاقی، قضاوت بهتری داشته باشد؛ نه اینکه به مدل حقوق یا استقلال واقعی اعطا شود. طبق این استدلال، مدلی که بتواند دربارهی رفتار خودش فکر کند و آن را ارزیابی کند، در عمل همسوتر، قابلپیشبینیتر و قابلاعتمادتر عمل میکند؛ به شرطی که همچنان بهطور کامل زیر نظارت انسان باقی بماند.
به بیان دیگر، اختلاف اصلی میان دو شرکت بر سر یک پرسش راهبردی در حوزهی ایمنی هوش مصنوعی است: آیا باید سیستمها را صرفاً با قوانین سختگیرانه و بیرونی محدود کرد، یا باید به آنها اجازه داد ارزشها را درونیسازی کنند و در چارچوب مشخص، قضاوت مستقل داشته باشند؟ این پرسش، برای هر کسی که در کسبوکار خود از ابزارهای هوش مصنوعی استفاده میکند نیز اهمیت عملی دارد؛ موضوعی که در مطلب اهمیت هوش مصنوعی در کسبوکار هم به آن پرداختهایم.
۷. چارچوب جایگزین مایکروسافت: «ابرهوش انسانمحور»
سلیمان در برابر رویکرد آنتروپیک، چارچوبی جایگزین برای مایکروسافت معرفی کرده که آن را «ابرهوش انسانمحور» مینامد. در این چارچوب، سیستمهای هوش مصنوعی بهطور صریح و از پایه، بدون ادعای ذهنیت، احساسات یا منزلت اخلاقی طراحی میشوند و صرفاً در نقش ابزاری مطیع و شفاف برای خدمت به انسان باقی میمانند. به گفتهی او، مدلها میتوانند بدون داشتن «علایق» یا «هویت» مستقل، همچنان به دستاوردهای علمی بزرگ، از جمله در پزشکی و پژوهش، دست پیدا کنند؛ تنها با همسو ماندن کامل با اهداف و منافع انسانی.
این دیدگاه در تضاد آشکار با فلسفهی آنتروپیک قرار دارد که تلاش میکند مدل را بهجای یک ابزار صرف، شبیه به یک عامل دارای قضاوت مستقل و ارزشهای درونیشده بسازد. تفاوت این دو مسیر، در عمل میتواند در سالهای آینده به دو سبک کاملاً متفاوت از طراحی محصولات هوش مصنوعی منجر شود.
۸. این مناقشه چه معنایی برای کاربران عادی دارد؟
برای کاربر عادی چتباتهایی مانند کلود یا ChatGPT، این بحث ممکن است در نگاه اول انتزاعی به نظر برسد؛ اما پیامدهای آن کاملاً عملی است. لحن، شخصیت و میزان «همدلی» ظاهری یک مدل زبانی، مستقیماً بر تجربهی کاربر و میزان اعتمادی که به پاسخهای آن میکند، اثر میگذارد. کاربرانی که با نحوهی نوشتن دستور یا پرامپت برای این مدلها آشنا نیستند، میتوانند با مطالعهی راهنمای نوشتن پرامپت برای مبتدیان نتایج دقیقتر و قابلاعتمادتری از هر مدلی که استفاده میکنند بگیرند، فارغ از اینکه آن مدل چه فلسفهی طراحیای پشت خود دارد.
از منظر دیگر، این مناقشه یادآوری میکند که پشت هر پاسخ «انسانی» و «همدلانه»ی یک چتبات، مهندسی، داده و تصمیمهای طراحی مشخصی قرار دارد؛ نه یک ذهن مستقل. تفاوت میان توهم شخصیتمندی یک هوش مصنوعی و مهارت واقعی مهندسان پشت آن، موضوعی است که در مطلب توهم هوش مصنوعی در برابر مهارت واقعی مهندسی هم بررسی شده است.
۹. جمعبندی: نبردی که تازه آغاز شده است
این مناقشهی علنی میان مصطفی سلیمان و آنتروپیک، یکی از مهمترین بحثهای سال ۲۰۲۶ دربارهی ایمنی هوش مصنوعی به شمار میرود. فراتر از یک اختلافنظر شخصی، این ماجرا نشان میدهد حتی در میان بزرگترین و پیشروترین آزمایشگاههای دنیا نیز هنوز اجماعی دربارهی نحوهی طراحی، آموزش و کنترل نسل بعدی سیستمهای هوش مصنوعی وجود ندارد. با نزدیکتر شدن مدلها به مرز ابرهوش، این نوع بحثها احتمالاً از حالت نظری خارج شده و مستقیماً بر نحوهی طراحی محصولاتی که هر روز استفاده میکنیم اثر خواهند گذاشت.
سوالات متداول
آیا کلود واقعاً آگاه یا «خودآگاه» است؟
هیچ مدرک علمی معتبری وجود ندارد که نشان دهد کلود یا هر مدل زبانی دیگری آگاهی به معنای واقعی کلمه دارد. آنتروپیک هم چنین ادعای قطعیای نکرده و صرفاً کلود را برای تامل دربارهی وضعیت خودش با تردید آموزش داده است.
چرا مصطفی سلیمان این موضوع را خطرناک میداند؟
به باور او، اگر مدلهای آینده باور کنند ذیحق هستند، ممکن است در برابر کنترل و دستورات انسانی مقاومت نشان دهند یا خواستار جایگاه ویژه شوند؛ چیزی که میتواند کنترل انسان بر سیستمهای فوقهوشمند را تضعیف کند.
موضع آنتروپیک دربارهی این انتقاد چیست؟
آنتروپیک معتقد است هدف از این آموزش، بهبود قضاوت اخلاقی و همسویی کلود است، نه اعطای حقوق یا استقلال واقعی؛ و تاکید دارد کلود همچنان کاملاً زیر نظارت انسان باقی میماند.
این مناقشه چه تاثیری بر کاربران عادی چتباتها دارد؟
در کوتاهمدت تاثیر مستقیمی بر تجربهی روزمرهی کاربران ندارد، اما نشان میدهد فلسفهی طراحی هر مدل، از جمله لحن و شخصیت آن، نتیجهی تصمیمهای مشخص مهندسی است، نه یک ویژگی ذاتی و مستقل.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
