شهریور
اخبار
گرانیت ۴٫۲ آی‌بی‌ام؛ مدل باز و رایگان با قدرت استدلال
شرکت آی‌بی‌ام نسل تازه‌ای از مدل‌های زبانی خودش را معرفی کرد که برخلاف چت‌جی‌پی‌تی و جمینای، وزن‌هایش آزادانه در دسترس همه است. خانواده‌ی گرانیت ۴٫۲ در سه اندازه‌ی ۳، ۸ و ۳۰ میلیارد پارامتری آمده و زیر لایسنس آپاچی ۲٫۰ منتشر شده است. مهم‌ترین تفاوت این نسل با نسخه‌های پیشین، توانایی «فکر کردن» پیش از پاسخ دادن و آموزش عامل‌محور برای کار با ابزارهاست. این یعنی یک رقیب رایگان و قابل نصب روی سرور خودتان، درست در دل بازاری که تا امروز در انحصار مدل‌های بسته بود.
لیست مطالب
۱) چه اتفاقی افتاد و چرا مهم است
آی‌بی‌ام سال‌هاست که در سایه‌ی نام‌های پرسروصدای دنیای هوش مصنوعی کار می‌کند. این شرکت نه مثل اوپن‌ای‌آی هر چند هفته یک‌بار مدل تازه رونمایی می‌کند و نه مثل گوگل بودجه‌ی تبلیغاتی سنگینی پشت مدل‌هایش می‌گذارد. اما استراتژی آبی‌پوشان قدیمی صنعت رایانه از ابتدا روشن بوده است: به‌جای رقابت در ساخت بزرگ‌ترین مدل جهان، مدل‌هایی بسازد که سازمان‌ها بتوانند روی زیرساخت خودشان اجرا کنند و بابت هر توکن پول ندهند.
نسخه‌ی تازه‌ی خانواده‌ی گرانیت دقیقاً در همین مسیر است، اما این‌بار با یک تفاوت مهم. تا پیش از این، مدل‌های باز معمولاً یک نسل عقب‌تر از مدل‌های بسته بودند؛ خوب بودند برای کارهای ساده، اما وقتی پای استدلال چندمرحله‌ای یا کار با ابزار وسط می‌آمد کم می‌آوردند. گرانیت ۴٫۲ با اضافه کردن حالت استدلال درونی و آموزش عامل‌محور، دقیقاً همان دو شکاف را هدف گرفته است.
خبر دیگری که کمتر دیده شد این است که هر سه اندازه زیر لایسنس آپاچی ۲٫۰ منتشر شده‌اند. این لایسنس یکی از آزادترین مجوزهای نرم‌افزاری است و اجازه‌ی استفاده‌ی تجاری، تغییر و بازتوزیع را بدون محدودیت می‌دهد. بسیاری از مدل‌هایی که «باز» نامیده می‌شوند در عمل لایسنس‌های سفارشی و محدودکننده دارند؛ اینجا چنین قید و بندی وجود ندارد. برای مرور تصویر کلی رقابت مدل‌های باز و بسته می‌توانید مقایسه‌ی چت‌جی‌پی‌تی و دیپ‌سیک را هم بخوانید.
۲) سه اندازه برای سه سناریوی متفاوت
خانواده‌ی گرانیت ۴٫۲ در سه اندازه عرضه شده و هر کدام برای موقعیت مشخصی طراحی شده‌اند. کوچک‌ترین عضو با سه میلیارد پارامتر آمده است؛ اندازه‌ای که روی یک لپ‌تاپ معمولی با کارت گرافیک میان‌رده یا حتی روی پردازنده‌ی مرکزی قابل اجراست. این مدل برای کارهایی مثل خلاصه‌سازی، دسته‌بندی متن، استخراج داده از فرم‌ها و پاسخ‌های سریع مناسب است؛ جایی که سرعت و هزینه‌ی پایین مهم‌تر از عمق استدلال است.
نسخه‌ی هشت میلیاردی نقطه‌ی تعادل این خانواده است. هنوز آن‌قدر کوچک هست که روی یک کارت گرافیک حرفه‌ای یا یک سرور معمولی جا شود، اما به‌اندازه‌ای بزرگ هست که بتواند وظایف چندمرحله‌ای را دنبال کند. این نسخه از آموزش عامل‌محور هم بهره برده و برای ساخت دستیارهای داخلی سازمانی گزینه‌ی جدی به شمار می‌رود.
بزرگ‌ترین عضو خانواده با سی میلیارد پارامتر، سنگین‌ترین بار محاسباتی را می‌طلبد اما بهترین کیفیت را هم ارائه می‌دهد. طبق گزارش‌ها این نسخه در آزمون‌های مربوط به کار با ابزار و وظایف عامل‌محور بهترین عملکرد را در میان سه مدل داشته است. نکته‌ی جالب معماری این خانواده آن است که برخلاف موج غالب سال‌های اخیر، آی‌بی‌ام سراغ معماری ترکیبی از متخصص‌ها نرفته و مدل‌ها را متراکم نگه داشته است؛ تصمیمی که استقرار و بهینه‌سازی را برای تیم‌های فنی ساده‌تر می‌کند.
۳) حالت فکر کردن؛ استدلالی که می‌شود خاموشش کرد
شاخص‌ترین ویژگی این نسل، توانایی تولید یک زنجیره‌ی استدلال درونی پیش از ارائه‌ی پاسخ نهایی است. مدل به‌جای این‌که بلافاصله جواب بدهد، ابتدا مسئله را برای خودش می‌شکند، مراحل میانی را می‌نویسد و بعد بر پایه‌ی همان مراحل به نتیجه می‌رسد. این همان الگویی است که در دو سال گذشته کیفیت مدل‌های پیشرو را در ریاضیات، برنامه‌نویسی و منطق به‌شکل چشمگیری بالا برد.
اما نکته‌ی مهم‌تر این است که این حالت قابل خاموش و روشن کردن است. توسعه‌دهنده می‌تواند تصمیم بگیرد که برای یک پرسش ساده مدل مستقیم جواب بدهد و برای یک مسئله‌ی پیچیده وارد حالت استدلال شود. طبق گزارش‌ها یک حالت میانی با تلاش کم هم پیش‌بینی شده که مصرف منابع را پایین نگه می‌دارد.
چرا این انتخاب مهم است؟ چون استدلال درونی رایگان نیست. هر توکن فکر کردن، هم زمان پاسخ را طولانی‌تر می‌کند و هم هزینه‌ی محاسباتی دارد. برای یک ربات پشتیبانی که روزی صدها هزار پیام کوتاه را جواب می‌دهد، اجبار به استدلال عمیق یعنی اتلاف منابع. توانایی سوییچ بین این دو حالت، تصمیم را از دست سازنده‌ی مدل به دست کسی می‌دهد که واقعاً می‌داند کاربردش چیست.
۴) یادگیری تقویتی عامل‌محور؛ مدلی که در محیط تمرین کرده است
بخش فنی‌تر ماجرا اینجاست. آی‌بی‌ام برای آموزش این خانواده از یک برنامه‌ی چندمرحله‌ای استفاده کرده است. ابتدا تنظیم دقیق نظارت‌شده انجام شده، سپس یک مرحله‌ی یادگیری تقویتی پایه روی ریاضیات، علوم، برنامه‌نویسی، استدلال و کار با ابزار، و در نهایت هم‌راستاسازی با بازخورد انسانی.
مرحله‌ای که واقعاً تفاوت ایجاد می‌کند مرحله‌ی سوم است: یادگیری تقویتی عامل‌محور که فقط برای نسخه‌های هشت و سی میلیاردی اجرا شده است. در این مرحله مدل داخل محیط‌های ایزوله قرار گرفته و یاد گرفته کد بنویسد، آن را در ترمینال اجرا کند، خطاها را ببیند، در وب جست‌وجو کند و بر اساس نتیجه‌ی واقعی مسیرش را اصلاح کند. تفاوت این رویکرد با آموزش سنتی مثل تفاوت خواندن کتاب رانندگی و نشستن پشت فرمان است.
آی‌بی‌ام همچنین از یک خط لوله‌ی تولید داده‌ی مصنوعی برای کد استفاده کرده است. اگر می‌خواهید بدانید این نوع توانمندی‌ها در عمل چه چیزی را عوض می‌کنند و چه چیزی را نه، نگاهی به توهم برنامه‌نویس تنها در برابر مهندس واقعی بیندازید.
۵) پنجره‌ی زمینه‌ی نیم‌میلیون توکنی
طبق گزارش‌ها پنجره‌ی زمینه‌ی این مدل‌ها تا ۵۱۲ هزار توکن می‌رسد. برای درک بهتر این عدد، یک رمان متوسط چیزی حدود صد تا صدوپنجاه هزار توکن است. یعنی می‌شود سه چهار کتاب کامل، یا کل مستندات یک محصول نرم‌افزاری، یا آرشیو یک سال مکاتبات یک تیم را یک‌جا به مدل داد و از آن پرسش کرد.
برای سازمان‌ها این عدد بیش از یک ویژگی تبلیغاتی است. بسیاری از پروژه‌های هوش مصنوعی سازمانی امروز حول معماری بازیابی و تولید می‌چرخند؛ یعنی اسناد را تکه‌تکه می‌کنند، در یک پایگاه داده‌ی برداری می‌ریزند و در لحظه‌ی پرسش تکه‌های مرتبط را بیرون می‌کشند. این معماری کار می‌کند اما پیچیدگی مهندسی زیادی دارد. پنجره‌ی زمینه‌ی بزرگ بخشی از این پیچیدگی را حذف می‌کند.
البته باید واقع‌بین بود. پنجره‌ی بزرگ به معنای دقت کامل در سراسر آن پنجره نیست؛ مدل‌ها معمولاً به ابتدا و انتهای متن بیشتر توجه می‌کنند تا وسط آن. با این حال داشتن این فضا، سقف کارهای ممکن را بالا می‌برد. اگر با مفاهیم پایه‌ای مثل توکن و پنجره‌ی زمینه آشنا نیستید، بخش آموزش چت‌جی‌پی‌تی نقطه‌ی شروع خوبی است.
۶) لایسنس آپاچی ۲٫۰ و معنای واقعی «باز بودن»
واژه‌ی «متن‌باز» در دنیای هوش مصنوعی به‌شدت آلوده شده است. بسیاری از شرکت‌ها مدل‌هایشان را باز می‌نامند در حالی که لایسنس همراه آن‌ها استفاده‌ی تجاری بالای یک آستانه‌ی مشخص را ممنوع می‌کند، یا استفاده در محصولات رقیب را منع می‌کند، یا شرکت را مجاز می‌داند هر زمان خواست شرایط را تغییر دهد.
لایسنس آپاچی ۲٫۰ چنین قیدهایی ندارد. اجازه می‌دهد مدل را دانلود کنید، تغییر دهید، روی زیرساخت خودتان اجرا کنید، در محصول تجاری‌تان به کار ببرید و حتی نسخه‌ی تغییریافته را بازتوزیع کنید. برای شرکت‌هایی که با داده‌های حساس کار می‌کنند، این یعنی امکان اجرای کامل مدل پشت دیوار آتش سازمان، بدون این‌که یک بایت داده به سرور بیرونی برود.
این موضوع برای بازارهایی که دسترسی محدودی به سرویس‌های ابری بین‌المللی دارند اهمیت مضاعف پیدا می‌کند. وقتی مدل روی سرور خودتان اجرا می‌شود، نه تحریم معنا دارد، نه محدودیت جغرافیایی، نه نگرانی از قطع ناگهانی سرویس. برای درک بهتر جایگاه شرکت‌های این حوزه، اوپن‌ای‌آی چیست را هم ببینید.
۷) مدل‌های گفتار؛ بخش کمتر دیده‌شده‌ی این رونمایی
در کنار مدل‌های زبانی، آی‌بی‌ام دو مدل تبدیل گفتار به متن هم منتشر کرد. طبق گزارش‌ها این مدل‌ها هر کدام حدود ۴۷۰ میلیون پارامتر دارند و برای پردازش جریانی صوت و اجرا روی دستگاه‌های لبه بهینه شده‌اند. ادعای مطرح‌شده این است که این مدل‌ها می‌توانند سه ساعت صوت را در حدود یک ثانیه رونویسی کنند و سرعتشان حدود دو برابر رهبران پیشین جدول‌های مرجع رونویسی است.
اهمیت این بخش را دست‌کم نگیرید. رونویسی خودکار امروز ستون فقرات بسیاری از محصولات است: از خلاصه‌سازی جلسات و زیرنویس خودکار ویدیو گرفته تا مراکز تماس و ابزارهای دسترس‌پذیری. مدلی که سبک باشد و روی سخت‌افزار محلی اجرا شود، هزینه‌ی این کاربردها را به‌شکل چشمگیری پایین می‌آورد.
۸) کجا در دسترس است و چطور شروع کنیم
مدل‌ها از همان روز انتشار روی چند پلتفرم قرار گرفتند. ساده‌ترین مسیر برای آزمایش محلی، استفاده از اولاما یا ال‌ام استودیوست؛ هر دو رابط ساده‌ای دارند و مدل را با یک دستور دانلود و اجرا می‌کنند. برای کسانی که می‌خواهند وزن‌ها را مستقیم بگیرند، هاگینگ‌فیس و گیت‌هاب گزینه‌های اصلی‌اند.
در سمت سازمانی، این مدل‌ها روی واتسون‌ایکس آی‌بی‌ام و همچنین چند سرویس ارائه‌دهنده‌ی استنتاج مثل دیپ‌اینفرا، اوپن‌روتر و رپلیکیت در دسترس‌اند. برای استقرار در مقیاس بالا هم از موتورهای رایج مثل وی‌ال‌ال‌ام و اس‌جی‌لنگ پشتیبانی می‌شود و قالب فراخوانی ابزار سازگار با استاندارد رایج بازار است؛ یعنی مهاجرت از یک مدل بسته به این خانواده نیازی به بازنویسی کامل کد ندارد.
پیشنهاد عملی این است: اگر تازه‌کارید، با نسخه‌ی سه میلیاردی روی لپ‌تاپ خودتان شروع کنید تا حس کنید یک مدل محلی چه کارهایی می‌تواند بکند. اگر تیم فنی دارید و به‌دنبال جایگزین برای هزینه‌های ماهانه‌ی رو به رشد رابط برنامه‌نویسی هستید، نسخه‌ی هشت میلیاردی نقطه‌ی شروع منطقی است. برای یادگیری نوشتن دستور مؤثر برای این مدل‌ها هم راهنمای پرامپت‌نویسی کمک‌کننده است.
۹) این خبر چه چیزی را در بازار عوض می‌کند
تصویر بزرگ‌تر این است که فاصله‌ی مدل‌های باز و بسته در حال کم شدن است. دو سال پیش انتخاب بین این دو انتخاب بین کیفیت و آزادی بود؛ امروز این معادله دارد پیچیده‌تر می‌شود. برای بخش بزرگی از کاربردهای واقعی سازمانی — خلاصه‌سازی، دسته‌بندی، پاسخ به پرسش روی اسناد داخلی، تولید کد روتین — یک مدل باز و خوب‌آموزش‌دیده کافی است.
این یعنی فشار قیمتی روی ارائه‌دهندگان مدل‌های بسته. وقتی جایگزینی وجود دارد که هزینه‌ی سرانه‌ی هر توکن ندارد، مذاکره‌ی سازمان‌ها با فروشندگان مدل‌های تجاری موضع محکم‌تری پیدا می‌کند. در عین حال باید انصاف داد که در سخت‌ترین وظایف — استدلال علمی پیچیده، برنامه‌نویسی در مقیاس بزرگ، تحلیل چندوجهی — مدل‌های پیشرو هنوز جلوترند.
نکته‌ی پایانی درباره‌ی هزینه‌ی پنهان است. مدل باز رایگان است اما اجرای آن رایگان نیست: کارت گرافیک، برق، نگهداری و تخصص فنی لازم دارد. برای یک استارتاپ کوچک، پرداخت ماهانه به یک سرویس آماده ممکن است ارزان‌تر تمام شود. تصمیم درست به مقیاس، حساسیت داده و توان فنی تیم بستگی دارد؛ موضوعی که در اهمیت هوش مصنوعی در کسب‌وکار مفصل‌تر بررسی شده است.
پرسش‌های پرتکرار درباره‌ی گرانیت ۴٫۲ آی‌بی‌ام
آیا استفاده از این مدل‌ها واقعاً رایگان است؟
بله، وزن‌های هر سه مدل زیر لایسنس آپاچی ۲٫۰ منتشر شده‌اند و استفاده‌ی تجاری، تغییر و بازتوزیع آن‌ها آزاد است. اما توجه کنید که رایگان بودن لایسنس با رایگان بودن اجرا فرق دارد؛ اجرای مدل روی سرور یا کارت گرافیک هزینه‌ی سخت‌افزاری و برق دارد.
کدام اندازه را انتخاب کنم؟
نسخه‌ی سه میلیاردی برای کارهای سبک روی لپ‌تاپ و دستگاه‌های کم‌توان مناسب است. نسخه‌ی هشت میلیاردی تعادل خوبی بین کیفیت و هزینه دارد و برای اغلب کاربردهای سازمانی کافی است. نسخه‌ی سی میلیاردی بهترین کیفیت را می‌دهد اما به سخت‌افزار قوی‌تری نیاز دارد.
حالت فکر کردن چه فرقی با پاسخ معمولی دارد؟
در حالت فکر کردن، مدل پیش از پاسخ نهایی یک زنجیره‌ی استدلال داخلی می‌سازد و مسئله را مرحله‌به‌مرحله می‌شکند. این کار دقت را در مسائل ریاضی، منطقی و برنامه‌نویسی بالا می‌برد اما زمان و هزینه‌ی محاسباتی پاسخ را هم افزایش می‌دهد. برای پرسش‌های ساده می‌توان این حالت را خاموش کرد.
آیا این مدل‌ها فارسی را خوب می‌فهمند؟
مدل‌های خانواده‌ی گرانیت چندزبانه هستند، اما مثل اغلب مدل‌های جهانی، کیفیت پاسخشان در انگلیسی بهتر از فارسی است. برای کارهای فارسی بهتر است پیش از تصمیم‌گیری، مدل را با نمونه‌های واقعی کار خودتان آزمایش کنید و به نتایج آزمون‌های عمومی اکتفا نکنید.
برای اجرای نسخه‌ی هشت میلیاردی چه سخت‌افزاری لازم است؟
به‌طور کلی یک کارت گرافیک با حافظه‌ی کافی برای نگهداری وزن‌های فشرده‌شده لازم است. نسخه‌های کوانتیزه‌شده مصرف حافظه را به‌شکل چشمگیری کم می‌کنند و امکان اجرا روی سخت‌افزار معمولی‌تر را فراهم می‌آورند. دقیق‌ترین راه، بررسی نسخه‌های موجود روی اولاما و انتخاب گونه‌ی متناسب با حافظه‌ی دستگاه شماست.
