شهریور
اخبار
پل کریستیانو، بنیانگذار RLHF، به هیئت ایمنی OpenAI پیوست
شرکت OpenAI اعلام کرد پل کریستیانو، از مخترعان روش RLHF و بنیانگذار مؤسسه ایمنی ARC، هفت سال پس از جدایی از این شرکت، به هیئت بنیاد و کمیته ایمنی و امنیت آن پیوسته است.
لیست مطالب
۱. چرا بازگشت پل کریستیانو به OpenAI خبرساز شده است؟
وقتی پژوهشگری که سالها پیش با نقد رویکرد ایمنی یک شرکت از آن جدا شده، دوباره به همان شرکت برمیگردد، طبیعی است که این خبر توجهها را جلب کند. پل کریستیانو از سال ۲۰۱۷ تا ۲۰۲۱ رهبری تیم همترازی OpenAI را برعهده داشت و پس از آن، مسیر مستقلی را در پژوهش ایمنی هوش مصنوعی دنبال کرد. حالا OpenAI رسماً اعلام کرده او به هیئت مدیره بنیاد غیرانتفاعی این شرکت و همچنین کمیته ایمنی و امنیت آن پیوسته است؛ کمیتهای که وظیفه نظارت بر رویههای ایمنی در بخش انتفاعی OpenAI Group PBC را برعهده دارد.
بازگشت او در شرایطی رخ میدهد که رقابت میان آزمایشگاههای بزرگ هوش مصنوعی برای عرضه مدلهای قدرتمندتر هر روز داغتر میشود و نگرانیها درباره کافیبودن تدابیر ایمنی هم بیشتر شده است. برای همین، انتخاب چهرهای با سابقه نقد جدی در این حوزه، بهنوعی پیام روشنی به بازار و ناظران محسوب میشود.
۲. پل کریستیانو کیست و چرا اسمش در دنیای هوش مصنوعی شناختهشده است؟
کسانی که مسیر توسعه شرکت OpenAI را دنبال کردهاند، احتمالاً نام پل کریستیانو را شنیدهاند. او یکی از مخترعان مشترک روش یادگیری تقویتی مبتنی بر بازخورد انسانی، یا همان RLHF، است؛ فناوریای که پایه رفتار مؤدبانه، ایمن و قابلکنترل مدلهای زبانی امروزی از جمله ChatGPT را شکل داده است. بدون این روش، مدلهای زبانی بزرگ احتمالاً پاسخهای خام و کنترلنشدهتری میدادند و کاربرد تجاری آنها بسیار محدودتر میبود.
کریستیانو در سال ۲۰۲۱، در اوج فعالیتش در OpenAI، این شرکت را ترک کرد تا مسیر مستقلتری برای پژوهش ایمنی هوش مصنوعی دنبال کند. این تصمیم در آن زمان از سوی برخی بهعنوان نشانهای از اختلافنظر درباره اولویتهای ایمنی در برابر سرعت توسعه محصول تفسیر شد؛ گرچه خود او و OpenAI جزئیات دقیق دلایل جدایی را عمومی نکردند.
۳. مؤسسه Alignment Research Center و رویکرد کریستیانو به همترازی
بعد از جدایی از OpenAI، کریستیانو مؤسسه غیرانتفاعی Alignment Research Center، یا بهاختصار ARC، را تأسیس کرد. هدف این مؤسسه، پژوهش نظری و عملی روی همراستاسازی سامانههای پیشرفته هوش مصنوعی با منافع بلندمدت انسان است؛ موضوعی که در ادبیات فارسی گاهی «همترازی هوش مصنوعی» یا «همسوسازی» نامیده میشود. کار ARC عمدتاً حول این پرسش میچرخد که چگونه میتوان مطمئن شد سامانههای هوش مصنوعی بسیار توانمند، حتی وقتی از توانایی درک انسان فراتر میروند، همچنان در راستای اهداف و ارزشهای انسانی عمل میکنند.
این نوع پژوهش، برخلاف تصور رایج، فقط جنبه فلسفی یا آکادمیک ندارد. برای درک بهتر اینکه هوش مصنوعی امروز واقعاً چه کاری میتواند انجام دهد و کجا محدودیت دارد، خواندن پتانسیلها و محدودیتهای واقعی هوش مصنوعی میتواند دید روشنتری بدهد؛ همان شکافی که پژوهش همترازی تلاش میکند آن را کوچکتر و قابلمدیریتتر کند.
۴. نقش تازه کریستیانو در OpenAI دقیقاً چیست؟
بر اساس اعلام رسمی OpenAI، پل کریستیانو دو نقش همزمان دارد. نخست، عضویت در هیئت مدیره بنیاد OpenAI، یعنی نهاد غیرانتفاعی مادری که بر کل ساختار این شرکت نظارت دارد. دوم، عضویت در کمیته ایمنی و امنیت این بنیاد، در کنار رئیس این کمیته، زیکو کولتر. این کمیته مسئول بررسی و تأیید رویههای ایمنی پیش از عرضه مدلهای جدید و ارزیابی ریسکهای مرتبط با توسعه هوش مصنوعی پیشرفته در OpenAI Group PBC است.
علاوه بر این دو سمت، کریستیانو بهعنوان عضو ناظر بدون حق رأی در هیئت مدیره بخش انتفاعی OpenAI Group PBC نیز حضور خواهد داشت. این یعنی او میتواند در جلسات شرکت کند و دیدگاه خود را مطرح کند، اما در رأیگیریهای رسمی هیئت مدیره بخش انتفاعی مشارکت مستقیم ندارد.
۵. چرا کریستیانو از برخی تصمیمهای OpenAI کنارهگیری میکند؟
نکته مهمی که در این انتصاب باید به آن توجه کرد، محدودیتی است که خود کریستیانو روی نقشش گذاشته است. او هماکنون بهعنوان مشاور ارشد فنی در مرکز استانداردها و نوآوری هوش مصنوعی آمریکا، یا CAISI، در دولت فعالیت میکند و در همین جایگاه، مدلهای پیشرفته هوش مصنوعی شرکتهای مختلف را از زاویه امنیت ملی ارزیابی کرده است.
به همین دلیل، برای پرهیز از هرگونه تضاد منافع میان نقش دولتی و نقش تازهاش در OpenAI، او اعلام کرده در تصمیمهای مشخصاً مربوط به OpenAI و در ارزیابی مدلهای این شرکت مشارکت نخواهد کرد. این نوع کنارهگیری داوطلبانه، در فضایی که اعتماد عمومی به حاکمیت شرکتی آزمایشگاههای هوش مصنوعی زیر ذرهبین است، میتواند بهعنوان تلاشی برای حفظ شفافیت خوانده شود.
۶. بستر بزرگتر: بازسازی حاکمیت OpenAI و فشار نهادهای نظارتی
این انتصاب در خلأ رخ نداده است. پاییز سال ۲۰۲۵، OpenAI ساختار حاکمیتی خود را بازسازی کرد، تغییری که همزمان با بررسیهای دادستانی کل ایالت کالیفرنیا و دلاور روی این شرکت انجام شد. این بررسیها عمدتاً حول این پرسش بودند که آیا ساختار جدید OpenAI همچنان به رسالت اولیهاش، یعنی توسعه ایمن و برایهمهسودمند هوش مصنوعی، پایبند میماند یا نه.
در چنین فضایی، افزودن چهرهای با اعتبار مستقل و سابقه شناختهشده در پژوهش ایمنی، به هیئت بنیاد و کمیته ایمنی، میتواند بخشی از تلاش OpenAI برای نشاندادن جدیت نظارتیاش به ناظران، سرمایهگذاران و کاربران باشد. برت تیلور، رئیس هیئت مدیره OpenAI، در بیانیه رسمی گفته است تجربه کریستیانو در کار روی ایمنی و استانداردهای هوش مصنوعی پیشرفته در دولت، نظارت هیئت مدیره را تقویت میکند.
۷. همزمانی معنادار: هشدارهای اخیر پژوهشگران ایمنی درباره شتاب به سمت ابرهوش
تنها یک روز پیش از اعلام این خبر، یک پژوهشگر سابق آنتروپیک که در حوزه پیشآموزش مدلها فعالیت میکرد، علنی هشدار داده بود که هم آنتروپیک و هم OpenAI، بدون تدابیر مسئولانه کافی، مستقیم به سمت ساخت ابرهوش خودبهبودیپذیر شتاب گرفتهاند. این هشدار، در کنار چند استعفای دیگر از تیمهای ایمنی این دو شرکت در هفتههای اخیر، نشان میدهد نگرانی درباره سرعت توسعه هوش مصنوعی، فقط دغدغه ناظران بیرونی نیست، بلکه از دل خود این شرکتها هم شنیده میشود.
خود کریستیانو هم در واکنش به انتصابش گفته تواناییهای هوش مصنوعی در یک سال گذشته بسیار سریعتر از حد انتظار پیشرفت کرده و همترازی همچنان یک مسئله فنی حلنشده و دشوار است؛ حرفی که بهگفته او، مسئولیت کمیته ایمنی و امنیت را مهمتر و چالشبرانگیزتر از همیشه کرده است.
۸. این خبر چه اهمیتی برای کسبوکارها و کاربران ایرانی هوش مصنوعی دارد؟
شاید در نگاه اول به نظر برسد اخبار حاکمیت شرکتی OpenAI فقط برای پژوهشگران آمریکایی اهمیت دارد، اما واقعیت این است که تصمیمهای ایمنی این شرکت مستقیماً روی محصولاتی مثل ChatGPT، که میلیونها کاربر ایرانی هم از آن استفاده میکنند، اثر میگذارد. هر تغییر در سرعت عرضه مدلهای جدید، سطح محدودیتها یا رویههای ارزیابی ریسک، در نهایت روی کیفیت و قابلیتهای ابزارهایی که کسبوکارها هرروز از آنها استفاده میکنند بازتاب پیدا میکند. اگر میخواهید بدانید چرا این فناوری برای کسبوکار امروز مهم است، مطلب چرا هوش مصنوعی در کسبوکار ۲۰۲۵ اهمیت دارد را از دست ندهید.
رقابت روی ایمنی، فقط به OpenAI محدود نمیماند. آزمایشگاههایی مثل Google DeepMind، Anthropic، xAI و حتی رقبای چینی مثل DeepSeek، هرکدام با سرعت و رویکرد متفاوتی مدلهای خود را توسعه میدهند؛ روندی که در مطلب مقایسه ChatGPT و DeepSeek با جزئیات بیشتری بررسی شده است. برای کاربرانی که هر روز با این ابزارها کار میکنند، دانستن اینکه پشتصحنه کدام شرکتها نگران ایمنی و کدامها بیشتر روی سرعت تمرکز دارند، میتواند در انتخاب ابزار مناسب هم مؤثر باشد؛ نکتهای که در آموزش استفاده حرفهای از ChatGPT هم به آن اشاره شده است.
تفاوت نظارت واقعی با ژست ایمنی
یکی از نگرانیهای همیشگی در صنعت هوش مصنوعی این است که کمیتههای ایمنی گاهی بیشتر نقش تبلیغاتی دارند تا نظارتی واقعی. تمایز میان یک مهندس واقعی که ریسکها را جدی میگیرد و کسی که فقط ژست فنی میگیرد، موضوعی است که در مطلب توهم هوش مصنوعی؛ توسعهدهنده تنها در برابر مهندس واقعی هم بررسی شده است. حضور کریستیانو، با سابقه انتقادی مشخصش، احتمالاً معیار خوبی خواهد بود برای اینکه ببینیم آیا کمیته ایمنی OpenAI واقعاً نظارت اثرگذار دارد یا صرفاً یک ویترین است.
۹. واکنشها و چشمانداز پیشرو
واکنش اولیه به این خبر در جامعه پژوهشی هوش مصنوعی عمدتاً مثبت بوده است، چون کریستیانو در میان پژوهشگران ایمنی از اعتبار بالایی برخوردار است. با این حال، برخی ناظران هم یادآوری کردهاند که عضویت یک نفر در یک کمیته، بهتنهایی تضمینی برای تغییر بنیادین در سرعت یا رویکرد توسعه محصول نیست؛ بهویژه در شرکتی که تحت فشار رقابتی شدیدی برای عرضه سریعتر مدلهای جدید قرار دارد.
در ماههای آینده باید دید آیا این تغییر ترکیب هیئت مدیره، عملاً روی زمانبندی عرضه مدلها یا سختگیری فرایندهای ارزیابی ریسک اثر میگذارد یا نه. تا آن زمان، این خبر بیشتر بهعنوان نشانهای از تلاش OpenAI برای بازسازی اعتماد عمومی پس از یک سال پرتنش حاکمیتی قابل تفسیر است.
پرسشهای پرتکرار
پل کریستیانو چه سابقهای در OpenAI دارد؟
او بین سالهای ۲۰۱۷ تا ۲۰۲۱ رهبری تیم همترازی OpenAI را برعهده داشت و یکی از مخترعان مشترک روش RLHF است که پایه رفتار کنترلشده مدلهای زبانی امروزی است.
نقش تازه او در OpenAI دقیقاً چیست؟
کریستیانو عضو هیئت مدیره بنیاد OpenAI و کمیته ایمنی و امنیت آن شده و همچنین بهعنوان عضو ناظر بدون حق رأی در هیئت مدیره بخش انتفاعی این شرکت فعالیت میکند.
چرا او در برخی تصمیمها مشارکت نمیکند؟
چون همزمان مشاور ارشد فنی دولت آمریکا در حوزه استانداردهای هوش مصنوعی است و برای پرهیز از تضاد منافع، از تصمیمها و ارزیابیهای مربوط به OpenAI کنارهگیری میکند.
این خبر چه ارتباطی با هشدارهای اخیر درباره ابرهوش دارد؟
این انتصاب همزمان با هشدار یک پژوهشگر سابق آنتروپیک درباره شتاب رقابتی OpenAI و آنتروپیک به سمت ساخت ابرهوش خودبهبودیپذیر رخ داده و همین همزمانی، توجه بیشتری به موضوع ایمنی جلب کرده است.
