انتخاب سخت‌افزار برای مدل محلی؛ رم، VRAM و مک اپل سیلیکون

وقتی تصمیم می‌گیرید یک مدل زبانی را به‌جای فراخوانی API ابری، روی دستگاه خودتان اجرا کنید، اولین سؤال فنی همیشه سخت‌افزار است، نه انتخاب مدل. همان مدل روی دو دستگاه متفاوت می‌تواند تجربه‌ای کاملاً متفاوت بدهد؛ روی یکی روان و قابل‌استفاده در کار روزمره، و روی دیگری آن‌قدر کند که عملاً از رده خارج می‌شود. اگر تازه وارد این مسیر شده‌اید و هنوز مفاهیم پایه را مرور نکرده‌اید، بهتر است پیش از ادامه سری این مقاله‌ها، نگاهی به نقشهٔ راه مدل‌های متن‌باز و اجرای محلی بیندازید تا واژه‌ها و ابزارهای پایه برایتان آشنا باشد. در این مقاله می‌خواهیم بدون دادن عدد دقیق گیگابایت یا قیمت، رابطهٔ کیفی بین اندازهٔ مدل و حافظهٔ موردنیاز، تفاوت GPU و CPU، و مزیت معماری حافظهٔ یکپارچهٔ اپل سیلیکون را روشن کنیم تا بتوانید بر اساس نیاز واقعی خودتان تصمیم بگیرید، نه بر اساس عدد و رقمی که در یک پست شبکهٔ اجتماعی دیده‌اید.

رابطهٔ اندازهٔ مدل با حافظهٔ موردنیاز

هر مدل زبانی از میلیون‌ها تا میلیاردها پارامتر تشکیل شده، و برای اینکه استنتاج (inference) انجام شود، این پارامترها باید به‌طور کامل در حافظه بارگذاری شوند؛ چه آن حافظه RAM سیستم باشد و چه VRAM کارت گرافیک. هرچه تعداد پارامترها بیشتر باشد، حجم این وزن‌ها بزرگ‌تر می‌شود و طبیعتاً به حافظهٔ بیشتری نیاز دارد. این رابطه تقریباً خطی است: مدلی با پارامترهای چند برابر، حافظهٔ چند برابر هم می‌خواهد. تکنیک‌های quantization (فشرده‌سازی وزن‌ها به دقت عددی پایین‌تر) می‌توانند این حجم را به‌طور محسوس کاهش دهند، اما همیشه یک مصالحه بین کیفیت خروجی و سبکی مدل وجود دارد؛ فشرده‌سازی بیش از حد می‌تواند کیفیت پاسخ‌ها را افت دهد.