کوانتیزیشن به زبان ساده؛ Q4 و Q8 یعنی چه

اگر تا حالا اسم مدل‌هایی مثل llama3:8b-q4 یا mistral-q8 را دیده‌اید و نمی‌دانید آن حرف Q و عدد کنارش چه معنایی دارد، این مقاله دقیقاً برای شماست. کوانتیزیشن (quantization) یکی از مهم‌ترین مفاهیمی است که هر کسی که می‌خواهد مدل زبانی را روی سخت‌افزار خودش اجرا کند باید بفهمد، چون مستقیم روی حجم فایل، سرعت اجرا و کیفیت پاسخ‌ها اثر می‌گذارد. خبر خوب این‌ست که فهمیدن آن نیازی به فرمول ریاضی ندارد.

کوانتیزیشن چیست؛ یک قیاس ساده

یک مدل زبانی از میلیون‌ها یا میلیاردها عدد تشکیل شده که به آن‌ها «وزن» (weight) می‌گویند؛ همین اعداد هستند که دانش و توانایی مدل را در خود نگه می‌دارند. در حالت اصلی، این اعداد با دقت بسیار بالا (مثلاً با ۱۶ یا ۳۲ بیت) ذخیره می‌شوند که هم حجم فایل را بسیار بزرگ می‌کند و هم برای پردازش هر عدد، منابع محاسباتی بیشتری لازم است. کوانتیزیشن یعنی کاهش دقت عددی این وزن‌ها؛ عملاً هر عدد را با یک نسخهٔ ساده‌تر و کم‌حجم‌تر جایگزین می‌کنیم.

قیاسی که این مفهوم را ساده می‌کند، فشرده‌سازی عکس است. یک عکس با کیفیت خام (RAW) حجم بسیار زیادی دارد؛ وقتی آن را به JPEG با فشرده‌سازی متوسط تبدیل می‌کنید، حجم فایل به‌شدت کم می‌شود و تفاوت کیفیت تقریباً برای چشم عادی قابل‌تشخیص نیست. اما اگر فشرده‌سازی را خیلی زیاد کنید، جزئیات تصویر از بین می‌رود و افت کیفیت واضح می‌شود. کوانتیزیشن مدل زبانی هم دقیقاً همین منطق را دارد: هرچه دقت عددی را بیشتر کاهش دهید، فایل کوچک‌تر و اجرا سریع‌تر می‌شود، اما در نقطه‌ای کیفیت پاسخ‌ها هم افت می‌کند.