شهریور
اخبار
فارادی؛ عامل ۲۷ میلیاردی که در بازتولید مقالهها از غولها جلو زد
در صنعتی که هر خبر تازهاش با عدد میلیارد و تریلیون شروع میشود، یک تیم کوچک لندنی خبر متفاوتی ساخته است. استارتاپ اینهرنت میگوید عاملی که با یک مدل پایهی ۲۷ میلیارد پارامتری ساخته، در بازتولید نتایج مقالههای علمی از مدلهای پرچمدار آنتروپیک و اوپنایآی جلو زده است. اگر این ادعا مستقل تأیید شود، فرض «هر چه بزرگتر، بهتر» یک ترک جدی برداشته است.
لیست مطالب
۱) بازتولید مقاله یعنی چه
بازتولید نتایج یک مقالهی علمی به این معناست که پژوهشگری مستقل، تنها با تکیه بر روش توصیفشده در مقاله و بدون دیدن کد یا نتایج اصلی، آزمایش را از نو انجام دهد و ببیند به همان عدد میرسد یا نه. این کار ستون فقرات اعتبار علم است و در عین حال یکی از خستهکنندهترین و کمپاداشترین کارهای دنیای پژوهش بهشمار میرود؛ به همین دلیل هم کمتر انجام میشود.
آنچه فارادی ادعا میکند انجامش را میدهد، دقیقاً همین است: خواندن مقاله، استخراج روش، پیادهسازی، اجرا و مقایسهی نتیجه — بدون آنکه از پیش جواب را بداند. این وظیفه از چند جهت برای سنجش توان یک عامل هوش مصنوعی ایدهآل است. اول اینکه معیار موفقیت کاملاً عینی است. دوم اینکه نمیتوان با حفظ کردن پاسخ در آن نمره گرفت. سوم اینکه به زنجیرهی طولانی از تصمیمهای بههمپیوسته نیاز دارد.
برای دنبال کردن تازهترین خبرهای این حوزه میتوانید به بخش اخبار هوش مصنوعی سر بزنید.
۲) عددی که همه را غافلگیر کرد
نکتهی خبرساز، اندازهی مدل است. فارادی روی یک مدل پایهی حدوداً ۲۷ میلیارد پارامتری بنا شده؛ عددی که در مقیاس امروز صنعت، کوچک محسوب میشود. مدلهایی که در این آزمون از آنها عقب ماندند، در ردهی پرچمداران قرار دارند و مقیاسشان چند برابر است.
این تفاوت مقیاس، اهمیت ادعا را دوچندان میکند. اگر یک مدل کوچک با معماری عاملی مناسب بتواند در یک وظیفهی تخصصی از مدلهای چند صد میلیارد پارامتری جلو بزند، معنایش این است که بخش بزرگی از توان مدلهای غولپیکر در آن وظیفهی خاص هدر میرود. به بیان دیگر، «هوش عمومی بیشتر» لزوماً به «عملکرد بهتر در کار مشخص» ترجمه نمیشود.
یک هشدار روششناختی
در عین حال باید محتاط بود. این نتایج تا این لحظه بر پایهی اعلام خود شرکت منتشر شده و ارزیابی مستقل و همترازی کامل شرایط آزمون هنوز در دسترس عموم نیست. در سنجههای تخصصی، جزئیاتی مثل انتخاب مجموعهی مقالات، بودجهی محاسباتی هر مدل و تعریف دقیق «موفقیت» میتوانند نتیجه را بهکلی جابهجا کنند. بنابراین درستتر است بگوییم این یک ادعای جالب توجه است که منتظر تأیید مستقل میماند.
۳) ذوق پژوهشی؛ ادعای اصلی سازندگان
سازندگان فارادی میگویند راز کارشان در حجم پارامتر نیست، بلکه در چیزی است که آن را «ذوق پژوهشی» مینامند: توانایی تشخیص اینکه کدام آزمایش ارزش انجام دادن دارد، کدام مسیر بنبست است و کجا باید عقبنشینی کرد. این همان مهارتی است که یک پژوهشگر باتجربه را از یک تازهکار پرکار جدا میکند.
روش ادعایی برای پرورش این توانایی، یادگیری تقویتی است؛ یعنی آموزش مدل با پاداش دادن به مسیرهایی که به نتیجهی درست ختم میشوند، نه صرفاً تقلید از دادهی موجود. در وظیفهی بازتولید مقاله، این رویکرد منطقی به نظر میرسد چون سیگنال پاداش روشن و قابل اندازهگیری است: یا به عدد مقاله رسیدی یا نرسیدی.
۴) چرا مدل کوچک ممکن است برنده شود
سه دلیل فنی میتواند این نتیجه را توضیح دهد. نخست، تخصصگرایی: مدلی که فقط برای یک خانواده از وظایف تنظیم شده، ظرفیت خود را صرف همان میکند و درگیر گسترهی وسیع دانش عمومی نمیشود. دوم، معماری عاملی: بخش بزرگی از کیفیت خروجی در چنین وظایفی به حلقهی برنامهریزی، ابزارها و سازوکار بازبینی برمیگردد، نه به مدل پایه.
سوم، اقتصاد اجرا: مدل کوچکتر ارزانتر و سریعتر است، پس میتوان در همان بودجه چند برابر بیشتر تلاش کرد — چند مسیر موازی امتحان کرد، خروجی را چند بار بازبینی کرد و از اشتباهها برگشت. در وظایفی که موفقیت به تعداد تلاش وابسته است، این مزیت میتواند تعیینکننده باشد.
این همان نکتهای است که در تحلیل توهم توسعهدهندهی تنها در برابر مهندس واقعی هم به آن پرداختهایم: کیفیت نهایی حاصل فرایند است، نه فقط ابزار.
۵) اینهرنت چه شرکتی است
اینهرنت استارتاپی لندنی است که بنیانگذارانش سابقهی کار در دیپمایند دارند. طبق گزارشها این شرکت در ماه مه امسال با جذب حدود ۵۰ میلیون دلار سرمایه از حالت استتار خارج شد و برنامه دارد تیمش را تا پایان سال به حدود ۲۰ تا ۲۵ نفر برساند.
این اندازهی تیم در مقایسه با آزمایشگاههای بزرگ بسیار کوچک است و همین بخشی از روایت شرکت را میسازد: تمرکز بر یک مسئلهی مشخص بهجای رقابت در همهی جبههها. الگویی که در چند سال گذشته برای چند استارتاپ دیگر هم جواب داده است.
۶) اگر این ادعا درست باشد، چه تغییر میکند
پیامد نخست برای خود پژوهش است. اگر بازتولید نتایج علمی خودکار و ارزان شود، بحران تکرارپذیری — یکی از جدیترین مشکلات دهههای اخیر علم — میتواند بهشکل معناداری کوچک شود. مجلهها و نهادهای پژوهشی میتوانند بازتولید را به بخشی از فرایند داوری تبدیل کنند، نه یک کار داوطلبانهی نادر.
پیامد دوم برای صنعت است. اگر مدلهای کوچک و تخصصی بتوانند در حوزههای مشخص با غولها رقابت کنند، بازار بهسمت تنوع بیشتر حرکت میکند: بهجای یکی دو مدل عمومی برای همهچیز، مجموعهای از مدلهای کوچک و دقیق برای وظایف مشخص. این تغییر برای شرکتهای کوچک و متوسط خبر خوبی است، چون هزینهی ورود را پایین میآورد.
پیامد سوم به سرمایهگذاری برمیگردد. سالهاست منطق غالب میگوید برنده کسی است که بیشترین محاسبات را در اختیار دارد. اگر نمونههای موفق مدل کوچک تکرار شوند، این منطق دستکم برای بخشی از بازار زیر سؤال میرود.
۷) این خبر برای کاربر فارسیزبان چه معنایی دارد
خبر خوب این است که مدلهای کوچکتر معمولاً امکان اجرای محلی دارند و برای کسانی که به سرویسهای ابری دسترسی محدود دارند، گزینهی واقعبینانهتری هستند. اگر ابزارهای عاملی روی مدلهای کوچک به بلوغ برسند، فاصلهی امکانات میان کاربر با دسترسی کامل و کاربر با دسترسی محدود کمتر میشود.
خبر محتاطانه این است که این نتایج در حوزهی بسیار تخصصی بازتولید مقاله بهدست آمده و بهطور خودکار به کارهای روزمره مثل نگارش، خلاصهسازی یا پاسخگویی تعمیم نمییابد. برای کارهای عمومی، مدل بزرگتر همچنان معمولاً برتری دارد. مقایسهای که در نبرد چتجیپیتی و دیپسیک انجام دادهایم، تفاوت این دو دسته کاربرد را روشنتر میکند.
۸) چطور خودتان بسنجید
بهترین پاسخ به هر ادعای سنجهای، آزمون روی کار واقعی خودتان است. یک مجموعهی کوچک اما نماینده از وظایفی که واقعاً انجام میدهید بسازید، معیار موفقیت را از پیش و بهصورت عینی تعریف کنید و مدلهای نامزد را در شرایط یکسان مقایسه کنید. همین فرایند ساده معمولاً بیش از هر جدول سنجهای به تصمیم درست میرساند.
در این مسیر، کیفیت دستور شما به اندازهی انتخاب مدل اهمیت دارد. راهنمای پرامپتنویسی برای مبتدیها و مجموعهی آموزشهای چتجیپیتی نقطهی شروع مناسبی برای ساختن این مهارتاند. برای درک محدودیتهای واقعی این ابزارها هم این تحلیل را از دست ندهید.
۹) پروندهی بحران تکرارپذیری در علم
برای فهم اهمیت این خبر باید یک قدم عقب رفت. در دههی گذشته، مطالعات متعددی نشان دادند که بخش قابل توجهی از یافتههای منتشرشده در برخی رشتهها هنگام تکرار مستقل، دوباره بهدست نمیآیند. دلایلش متنوع است: نمونهی کوچک، انتخاب گزینشی نتایج، توصیف ناقص روش یا صرفاً شانس آماری. این وضعیت به «بحران تکرارپذیری» شهرت پیدا کرده است.
مشکل اصلی، نبود انگیزه است. بازتولید یک مطالعهی دیگری زمانبر است و تقریباً هیچ پاداش حرفهای برای پژوهشگر ندارد؛ نه مقالهی پرارجاع میسازد و نه در ارتقای شغلی به حساب میآید. نتیجه این است که بیشتر یافتهها هرگز آزموده نمیشوند و خطاها سالها در ادبیات علمی باقی میمانند.
اگر عاملی بتواند این کار را با هزینهی ناچیز و در مقیاس انبوه انجام دهد، معادلهی انگیزه بهکلی تغییر میکند. البته یک هشدار هم وجود دارد: عاملی که خودش خطا کند میتواند بهاشتباه یافتهی درستی را «تکرارناپذیر» اعلام کند و اعتبار پژوهشی را ناعادلانه خدشهدار سازد. به همین دلیل، پیش از سپردن چنین نقشی به ابزارهای خودکار، نرخ خطای خودِ ابزار باید با دقت سنجیده و منتشر شود.
پرسشهای پرتکرار دربارهی عامل پژوهشی فارادی
فارادی دقیقاً چه کاری انجام میدهد؟
این عامل نتایج مقالههای علمی را بهصورت مستقل و بدون آگاهی از جواب نهایی بازتولید میکند؛ یعنی روش را از متن مقاله استخراج و اجرا میکند و نتیجه را با ادعای مقاله میسنجد.
آیا واقعاً از مدلهای بزرگتر بهتر است؟
شرکت چنین ادعایی کرده و این ادعا در حوزهی خاص بازتولید مقاله مطرح شده است. ارزیابی مستقل کامل هنوز منتشر نشده، بنابراین بهتر است نتیجه را مشروط تلقی کنیم.
چرا اندازهی مدل اینقدر مهم است؟
چون تا امروز فرض غالب این بوده که عملکرد بهتر عمدتاً از مقیاس بزرگتر میآید. یک مدل ۲۷ میلیارد پارامتری که در وظیفهای تخصصی جلو بزند، این فرض را به چالش میکشد.
ذوق پژوهشی چیست؟
اصطلاحی که سازندگان برای توصیف توانایی تشخیص آزمایش ارزشمند بهکار میبرند؛ یعنی دانستن اینکه کدام مسیر را باید دنبال کرد و کدام را رها. آنها میگویند این توانایی با یادگیری تقویتی پرورش یافته است.
آیا میتوان از این عامل استفاده کرد؟
تا این لحظه اطلاعات عمومی دربارهی دسترسی آزاد به این عامل منتشر نشده است. برای اطلاع از شرایط عرضه باید منتظر اعلامهای بعدی شرکت بود.
