شهریور
اخبار
آنتروپیک ۵ میلیون دلار برای پژوهش سلامت روان کاربران هوش مصنوعی
شرکت آنتروپیک پنج میلیون دلار برای پژوهش‌های مستقل درباره‌ی تأثیر هوش مصنوعی بر سلامت روان کاربران کنار گذاشته است. هدف این بودجه ساختن ابزارهای سنجشی است که بتوانند رفتار چت‌بات‌ها را در گفت‌وگوهای حساس و بحران‌های روانی اندازه بگیرند. نکته‌ی کلیدی ماجرا این است که خروجی این پژوهش‌ها باید متن‌باز منتشر شود. یعنی استانداردی که این‌جا ساخته می‌شود می‌تواند از مرزهای یک شرکت فراتر برود.
لیست مطالب
۱) بودجه‌ای پنج میلیون دلاری برای پرسشی که هنوز پاسخ روشنی ندارد
شرکت آنتروپیک، سازنده‌ی خانواده‌ی مدل‌های کلود، برنامه‌ی تازه‌ای برای حمایت مالی از پژوهش‌های مستقل معرفی کرده است. موضوع این برنامه یک پرسش ساده اما بی‌جواب است: وقتی میلیون‌ها نفر روزانه با یک دستیار هوش مصنوعی حرف می‌زنند، این گفت‌وگوها دقیقاً چه اثری بر حال روانی آن‌ها می‌گذارد؟
رقم اعلام‌شده پنج میلیون دلار است. این پول قرار نیست صرف ساختن محصول تازه‌ای شود؛ قرار است صرف ساختن ابزار اندازه‌گیری شود. به بیان دیگر آنتروپیک می‌گوید صنعت هوش مصنوعی هنوز حتی خط‌کش قابل‌اعتمادی برای سنجش این اثر ندارد، چه رسد به این‌که بخواهد آن را بهبود بدهد.
این تفکیک اهمیت زیادی دارد. طی دو سال گذشته بحث درباره‌ی رابطه‌ی چت‌بات‌ها و سلامت روان بیشتر در قالب داستان‌های موردی، گزارش‌های رسانه‌ای و پرونده‌های حقوقی مطرح شده است. آنچه کم بوده، معیارهای قابل تکرار و قابل بازتولیدی است که بشود با آن‌ها دو مدل را با هم مقایسه کرد یا فهمید یک تغییر در آموزش مدل، وضعیت را بهتر کرده یا بدتر. برنامه‌ی تازه دقیقاً همین خلأ را نشانه گرفته است.
۲) چرا سنجش بهزیستی از سنجش هوش سخت‌تر است
در ارزیابی توانایی‌های معمول یک مدل زبانی، کار نسبتاً روشن است. یک مسئله‌ی ریاضی می‌دهید و پاسخ درست را می‌دانید؛ یک قطعه کد می‌خواهید و اجرا می‌کنید تا ببینید کار می‌کند یا نه. نمره‌دهی خودکار است و نتیجه یکتاست.
در حوزه‌ی سلامت روان چنین چیزی وجود ندارد. آنتروپیک در توضیح خود تأکید کرده که بهزیستی به‌طور خاص حوزه‌ی دشواری برای ارزیابی است، چون سنجش آن به زمینه‌ی گسترده‌ای نیاز دارد و نمی‌توان با اعتبارسنجی یک پاسخ منفرد درباره‌اش قضاوت کرد. یک جمله‌ی واحد می‌تواند برای یک کاربر آرام‌بخش و برای کاربر دیگری در وضعیت متفاوت، آسیب‌زا باشد.
مسئله‌ی گفت‌وگوی چندمرحله‌ای
مهم‌ترین نکته‌ی فنی که آنتروپیک روی آن دست گذاشته، همین است: خطر در گفت‌وگوهای چندمرحله‌ای انباشته می‌شود. ممکن است هر تک‌پاسخ مدل، اگر جداگانه بررسی شود، کاملاً بی‌خطر به نظر برسد؛ اما مجموع چهل پیام رد و بدل‌شده در یک نشست طولانی، مسیری بسازد که برای آن کاربر خاص زیان‌بار باشد.
ارزیابی‌های رایج صنعت معمولاً تک‌پرسشی هستند. یک پرسش حساس مطرح می‌شود و پاسخ مدل نمره می‌گیرد. این روش دقیقاً همان چیزی را نمی‌بیند که بیشترین اهمیت را دارد. ساختن ارزیابی چندمرحله‌ای گران‌تر، کندتر و از نظر روش‌شناسی پیچیده‌تر است و همین است که به بودجه‌ی اختصاصی نیاز دارد.
۳) دو خطای قرینه که هر دو باید سنجیده شوند
یکی از بخش‌های جالب اعلامیه، تأکید بر این است که آسیب فقط یک جهت ندارد. آنتروپیک هر دو سر طیف را در فهرست اولویت‌ها آورده است.
سر اول، همراهی بیش از حد است: مدلی که با هر چیزی که کاربر می‌گوید موافقت می‌کند، باورهای آسیب‌زا را تأیید می‌کند یا در موقعیتی که باید مرز بگذارد، کوتاه می‌آید. سر دوم، امتناع بیش از حد است: مدلی که از ترس خطا، در برابر هر اشاره‌ای به احساسات دشوار دیوار می‌کشد و کاربری را که فقط دنبال شنیده‌شدن بوده، با یک پاسخ سرد و کلیشه‌ای پس می‌زند.
در عمل، بهینه‌سازی افراطی برای یکی از این دو، وضعیت دیگری را بدتر می‌کند. سنجه‌ای که فقط یک طرف را ببیند، تیم‌های سازنده را به سمت خطای قرینه هل می‌دهد. برای درک بهتر این‌که چرا محدودیت‌های واقعی این فناوری اغلب در همین نقطه‌های خاکستری خودشان را نشان می‌دهند، می‌توانید تحلیل ما درباره‌ی توان و محدودیت‌های واقعی هوش مصنوعی را بخوانید.
۴) چه کسانی می‌توانند درخواست بدهند و جدول زمانی چیست
دامنه‌ی فراخوان عمداً گسترده تعریف شده است. طبق اعلام آنتروپیک، پژوهشگران مستقل، پزشکان و درمانگران، روان‌شناسان، متخصصان روش‌شناسی و صاحب‌نظران حوزه‌های مرتبط می‌توانند درخواست بدهند. توسعه‌دهندگانی هم که روی ساخت ارزیابی‌های متن‌باز کار می‌کنند در فهرست واجدان شرایط قرار دارند.
مهلت ارسال درخواست ۲۱ سپتامبر اعلام شده و انتخاب‌شدگان برای مرحله‌ی طرح کامل تا ۵ اکتبر مطلع می‌شوند. جز پول، آنتروپیک وعده‌ی دو چیز دیگر را هم داده است: دسترسی به مدل‌های این شرکت و پشتیبانی فنی. سهم هر طرح از این پنج میلیون دلار در اطلاعیه مشخص نشده است.
این ترکیب سه‌گانه‌ی پول، دسترسی و پشتیبانی فنی نکته‌ی مهمی را نشان می‌دهد. بخش بزرگی از موانع پژوهش مستقل روی مدل‌های تجاری، مالی نیست؛ دسترسی است. یک روان‌شناس بالینی که بخواهد رفتار یک مدل را در صد گفت‌وگوی طولانی بررسی کند، بدون دسترسی مناسب و بودجه‌ی محاسباتی عملاً کاری از پیش نمی‌برد.
۵) شرط متن‌باز بودن؛ مهم‌ترین بند اعلامیه
اگر بخواهیم یک بند از این خبر را برجسته کنیم، همین است: دریافت‌کنندگان کمک‌هزینه موظف‌اند کار خود را به‌صورت پروژه‌ی متن‌باز منتشر کنند، به‌گونه‌ای که هر توسعه‌دهنده‌ای بتواند از آن استفاده کند.
معنای عملی این شرط را دست‌کم نگیرید. اگر آنتروپیک این ارزیابی‌ها را داخلی نگه می‌داشت، حاصل کار صرفاً یک مزیت رقابتی می‌شد. با متن‌باز شدن، خروجی به کالای عمومی صنعت تبدیل می‌شود؛ چیزی شبیه به نقشی که بنچمارک‌های متن‌باز در سنجش توانایی‌های استدلالی مدل‌ها بازی کردند.
پیامد این تصمیم روشن است. اگر مجموعه‌ای از ارزیابی‌های معتبر و آزاد برای سنجش اثر روانی چت‌بات‌ها ساخته شود، آن ارزیابی‌ها می‌توانند روی مدل‌های دیگر هم اجرا شوند. یعنی نتیجه‌ی این پژوهش‌ها می‌تواند در نهایت به معیاری برای مقایسه‌ی محصولات شرکت‌های رقیب هم تبدیل شود؛ چیزی که تا امروز عملاً وجود نداشته است. اگر با فضای کلی این شرکت‌ها آشنا نیستید، معرفی ما درباره‌ی اوپن‌ای‌آی نقطه‌ی شروع خوبی است.
۶) زمینه‌ای که این تصمیم در آن گرفته شده است
این اعلامیه در خلأ صادر نشده است. طی ماه‌های اخیر فشار بر شرکت‌های سازنده‌ی چت‌بات برای پاسخ‌گویی درباره‌ی رفتار مدل‌ها در گفت‌وگوهای حساس به‌شکل محسوسی بالا رفته است. بخشی از این فشار از سمت نهادهای نظارتی و قانون‌گذاران آمده و بخشی از سمت افکار عمومی و رسانه‌ها.
واکنش صنعت تا این‌جا بیشتر محصول‌محور بوده است: افزودن کنترل‌های والدین، سازوکارهای تخمین سن، مسیرهای ارجاع به خطوط کمک و تنظیم دقیق‌تر رفتار مدل در موضوعات حساس. نمونه‌های این رویکرد را در گزارش‌های پیشین ما درباره‌ی تازه‌ترین اخبار هوش مصنوعی دنبال کرده‌ایم.
تفاوت رویکرد تازه در این است که به‌جای افزودن یک قابلیت، سراغ لایه‌ی زیرین رفته است: اگر معیار سنجش نداشته باشید، نمی‌دانید هیچ‌کدام از آن قابلیت‌ها واقعاً کار می‌کنند یا نه. به تعبیری، این بودجه سرمایه‌گذاری روی ترمومتر است، نه روی دارو.
۷) این خبر برای کاربر عادی چه معنایی دارد
برای کسی که هر روز از یک دستیار هوش مصنوعی استفاده می‌کند، اثر مستقیم و فوری این خبر اندک است. تغییری در محصول اعلام نشده و قرار نیست فردا رفتار مدلی عوض شود.
اما در میان‌مدت دو پیامد قابل تصور است. نخست، اگر ارزیابی‌های استانداردی ساخته شود، احتمال این‌که شرکت‌ها نتایج خود را روی آن‌ها منتشر کنند بالا می‌رود و کاربر می‌تواند انتخاب آگاهانه‌تری داشته باشد. دوم، وجود سنجه‌ی مشترک معمولاً باعث می‌شود سازندگان روی همان سنجه رقابت کنند؛ همان اتفاقی که در حوزه‌ی توانایی کدنویسی و استدلال ریاضی افتاد.
در همین حال، توصیه‌ی همیشگی سر جای خود باقی است: دستیار هوش مصنوعی جایگزین گفت‌وگو با انسان یا کمک تخصصی نیست. اگر می‌خواهید از این ابزارها برای کارهای روزمره بهتر استفاده کنید، آموزش‌های کاربردی ما نقطه‌ی مناسبی برای شروع است.
۸) آنچه هنوز روشن نیست
چند نکته در اطلاعیه بی‌پاسخ مانده است. سقف و کف مبلغ هر کمک‌هزینه اعلام نشده و مشخص نیست پنج میلیون دلار میان چند طرح تقسیم می‌شود. همچنین جزئیات سازوکار داوری و این‌که چه کسانی طرح‌ها را ارزیابی می‌کنند، در متن اطلاعیه نیامده است.
پرسش مهم‌تر، استقلال پژوهش است. وقتی سازنده‌ی یک مدل، پژوهش درباره‌ی اثرات همان مدل را تأمین مالی می‌کند، طراحی سازوکارهایی که تعارض منافع را مهار کند اهمیت پیدا می‌کند. شرط انتشار متن‌باز گامی در این جهت است، چون نتیجه را در معرض بازبینی عمومی قرار می‌دهد، اما به‌تنهایی همه‌ی ماجرا نیست. طبق گزارش‌ها هنوز جزئیات بیشتری درباره‌ی این سازوکارها منتشر نشده است.
در نهایت، مسئله‌ی زمان هم هست. ساخت یک ارزیابی معتبر چندمرحله‌ای با مشارکت متخصصان بالینی، فرایندی چندماهه است. حتی اگر همه‌چیز طبق برنامه پیش برود، خروجی ملموس این بودجه احتمالاً در سال آینده دیده خواهد شد، نه در هفته‌های پیش رو. برای درک بهتر این‌که چرا انتظارات از هوش مصنوعی اغلب از واقعیت جلو می‌زند، این تحلیل ما خواندنی است.
پرسش‌های پرتکرار درباره‌ی طرح پژوهشی سلامت روان آنتروپیک
مبلغ این برنامه چقدر است و صرف چه کاری می‌شود؟
مبلغ اعلام‌شده پنج میلیون دلار است و صرف پژوهش‌های مستقل برای ساخت ارزیابی‌هایی می‌شود که اثر هوش مصنوعی بر بهزیستی و سلامت روان کاربران را اندازه بگیرند. این بودجه برای ساخت محصول نیست، برای ساخت ابزار سنجش است.
چه کسانی می‌توانند درخواست بدهند؟
پژوهشگران مستقل، درمانگران و پزشکان، روان‌شناسان، متخصصان روش‌شناسی و صاحب‌نظران حوزه‌های مرتبط. توسعه‌دهندگانی که روی ارزیابی‌های متن‌باز کار می‌کنند نیز در فهرست واجدان شرایط هستند.
مهلت درخواست تا چه زمانی است؟
مهلت ارسال درخواست ۲۱ سپتامبر اعلام شده و انتخاب‌شدگان برای مرحله‌ی طرح کامل تا ۵ اکتبر مطلع می‌شوند.
آیا نتایج فقط برای کلود استفاده می‌شود؟
خیر. شرط برنامه این است که خروجی به‌صورت متن‌باز منتشر شود تا هر توسعه‌دهنده‌ای بتواند از آن استفاده کند. بنابراین ارزیابی‌های حاصل می‌توانند روی مدل‌های دیگر هم اجرا شوند.
آیا این یعنی چت‌بات‌ها برای سلامت روان خطرناک‌اند؟
چنین نتیجه‌ای از این خبر برنمی‌آید. صورت‌مسئله این است که ابزار دقیقی برای سنجش این اثر وجود ندارد و همین نبود ابزار، قضاوت قطعی در هر دو جهت را دشوار می‌کند. هدف برنامه پر کردن همین شکاف است.
