قسمت ۵ — چند مثال کافی است؟ تعداد، ترتیب و طول

قسمت پنجم از سری «پرامپت مثال‌محور»: در قسمت‌های قبل مدام گفتیم «تعداد را بعداً بررسی می‌کنیم». اینجا همان بحث است؛ چند نمونه واقعاً کافی است، ترتیبشان چه اثری دارد، طولشان چقدر باشد، و کجا افزودن نمونه دیگر سودی ندارد.

۱. منحنی بازدهی نزولی

اثر افزودن نمونه خطی نیست. جهش بزرگ بین صفر و یک نمونه اتفاق می‌افتد: مدل تازه می‌فهمد قالب چیست. جهش دوم و کوچک‌تر بین یک و دو است، چون نمونهٔ دوم نشان می‌دهد کدام بخش‌ها ثابت‌اند و کدام‌ها متغیر.

از نمونهٔ سوم به بعد، سود سریع کم می‌شود و از حدود پنج تا شش نمونه معمولاً به صفر می‌رسد. این عدد بسته به کار جابه‌جا می‌شود ولی شکل منحنی همیشه یکسان است.

یک استثنای مهم دارد: کارهایی که فهرست بسته‌ای از حالت‌ها دارند، مثل طبقه‌بندی با شش برچسب. اینجا هر نمونه یک حالت تازه را پوشش می‌دهد و منحنی تا نزدیک تعداد برچسب‌های مرزی ادامه دارد. این حالت را در قسمت سوم مفصل دیدیم.

پس قاعدهٔ عملی این است: با دو نمونه شروع کن، یکی یکی اضافه کن، و به‌محض اینکه یک نمونهٔ اضافه هیچ تغییری در خروجی نداد، همان‌جا بایست. تعداد بهینه، اولین جایی است که اضافه کردن بی‌اثر می‌شود، نه جایی که خروجی «خوب» به نظر می‌رسد.

۲. سوگیری ترتیب

ترتیب نمونه‌ها بی‌اثر نیست و این چیزی است که بیشتر آدم‌ها اصلاً به آن فکر نمی‌کنند. مدل به نمونه‌های نزدیک‌تر به ورودی واقعی وزن بیشتری می‌دهد، یعنی آخرین نمونه بیشترین اثر را دارد.

نتیجهٔ عملی‌اش ساده است: نمونه‌ای که نزدیک‌ترین شباهت را به کار واقعی‌ات دارد، در انتها بگذار. اگر یک نمونهٔ لبه داری که فقط برای پوشش حالت مرزی است، آن را وسط بگذار نه آخر.

در طبقه‌بندی یک اثر دوم هم هست: اگر همهٔ نمونه‌های یک برچسب پشت سر هم بیایند، مدل تمایل پیدا می‌کند همان برچسب را ادامه بدهد. برچسب‌ها را در چیدمان درهم کن، نه گروه‌بندی‌شده.

راه سنجش این اثر هم ساده است. همان مجموعه‌مثال را با دو ترتیب متفاوت اجرا کن و خروجی را روی سه ورودی یکسان مقایسه کن. اگر تفاوت معنی‌دار دیدی، یعنی مجموعه‌ات به ترتیب حساس است و این معمولاً نشانهٔ آن است که نمونه‌ها به هم نزدیک‌اند و باید متنوع‌ترشان کنی؛ همان معیاری که در قسمت دوم بررسی شد.

۳. طول نمونه و هزینهٔ توکن

طول نمونه دو اثر متضاد دارد. نمونهٔ بلندتر جزئیات بیشتری منتقل می‌کند، ولی همزمان سهم بیشتری از توجه مدل و از بودجهٔ توکن را می‌گیرد.

در عمل، نمونهٔ کوتاه تقریباً همیشه برندهٔ این معامله است. چیزی که الگو را می‌سازد ساختار است نه حجم، و ساختار در پنجاه کلمه به همان روشنی دویست کلمه دیده می‌شود. استثنا فقط کارهای مربوط به سبک نوشتار است که در قسمت چهارم دیدیم و آنجا هم سقف حدود صد و پنجاه کلمه بود.

یک محاسبهٔ ساده کمک می‌کند تصمیم بگیری. اگر پرامپتی را روزی صد بار اجرا می‌کنی، هر صد کلمهٔ اضافه در نمونه‌ها در ماه به عدد بزرگی می‌رسد. نمونه‌ها بخش ثابت پرامپت‌اند و هزینه‌شان در هر اجرا تکرار می‌شود.

روش کوتاه کردن هم مشخص است: از هر نمونه فقط بخشی را نگه دار که الگو را نشان می‌دهد و باقی را حذف کن. اگر نمونه‌ای بعد از کوتاه شدن دیگر الگو را منتقل نمی‌کند، مشکل از طول نبوده و آن نمونه از اول درست انتخاب نشده بود.

۴. تعادل بین تعداد و طول

تعداد و طول را باید با هم دید، چون بودجهٔ مشترکی دارند. سه نمونهٔ پنجاه کلمه‌ای و یک نمونهٔ صد و پنجاه کلمه‌ای هزینهٔ یکسانی دارند ولی اثرشان اصلاً یکسان نیست.

در تقریباً همهٔ کارهای ساختاریافته، تعداد بیشتر با طول کمتر برنده است. سه نمونهٔ کوتاه، هم قالب را نشان می‌دهند هم مرز تغییرات را؛ یک نمونهٔ بلند فقط قالب را نشان می‌دهد و مدل نمی‌داند کدام جزئیاتش تصادفی است.

در کارهای سبکی و خلاقانه، معادله برعکس می‌شود. آنجا جزئیات ریز اهمیت دارند و نمونهٔ خیلی کوتاه، لحن را منتقل نمی‌کند. برای همین در قسمت چهارم سقف صد و پنجاه کلمه پیشنهاد شد نه پنجاه.

قاعدهٔ ساده برای تصمیم: اگر خروجی مطلوبت قالب مشخصی دارد، تعداد را بالا و طول را پایین بگذار. اگر خروجی مطلوبت حسی است و قالب ندارد، تعداد را پایین و طول را متوسط بگذار.

۵. آزمون سه‌مرحله‌ای برای پیدا کردن عدد بهینه

به‌جای حدس زدن، این آزمون را یک بار برای هر پرامپت مهمت اجرا کن. حدود بیست دقیقه وقت می‌گیرد و نتیجه‌اش برای همیشه معتبر می‌ماند.

مرحلهٔ اول: پنج ورودی آزمون ثابت انتخاب کن که در طول آزمون تغییر نکنند. این‌ها معیار سنجش‌اند و باید نمایندهٔ کار واقعی باشند.

مرحلهٔ دوم: پرامپت را با دو، سه، چهار و پنج نمونه اجرا کن — هر بار روی همان پنج ورودی. نمونه‌ها را همیشه از ابتدای فهرست بردار تا فقط تعداد تغییر کند.

مرحلهٔ سوم: خروجی‌ها را مقایسه کن و اولین تعدادی را پیدا کن که خروجی‌اش با تعداد بعدی تفاوت معنی‌داری ندارد. همان تعداد، عدد بهینهٔ کار توست. بعد از آن، یک بار هم ترتیب همان تعداد را جابه‌جا کن تا حساسیت به ترتیب را بسنجی.

یک نکتهٔ مهم: تفاوت را روی یکدستی قالب و درستی تصمیم بسنج، نه روی اینکه کدام خروجی «قشنگ‌تر» است. سلیقه در این آزمون نتیجه را خراب می‌کند چون هر بار به سمت خروجی طولانی‌تر می‌رود.

۶. پرامپت آمادهٔ کپی برای اجرای آزمون

این پرامپت مقایسه را به‌جای تو انجام می‌دهد و خروجی‌ها را با معیار مشخص می‌سنجد، نه با سلیقه:

نقش: تو داور مقایسهٔ خروجی‌های یک پرامپت هستی، نه تولیدکنندهٔ آن‌ها.
کار: چهار مجموعه خروجی زیر را که با تعداد نمونهٔ متفاوت تولید شده‌اند مقایسه کن.
معیارها، به همین ترتیب اهمیت: ۱) یکدستی قالب بین پنج خروجی هر مجموعه. ۲) درستی تصمیم در موارد مرزی. ۳) نبود اطلاعات اضافه‌ای که در ورودی نبوده.
خروجی مورد انتظار، دقیقاً سه بند:
الف) کمترین تعداد نمونه‌ای که از نظر این سه معیار با تعدادهای بالاتر تفاوت معنی‌دار ندارد.
ب) تنها تفاوت واقعی بین آن تعداد و تعداد بعدی، در یک جمله.
ج) اگر هیچ‌کدام از مجموعه‌ها روی معیار یکدستی قابل قبول نبود، بنویس «مشکل از تعداد نیست» و بگو کدام معیار شکسته است.
قواعد: زیبایی نوشتاری و طول خروجی را اصلاً در داوری دخالت نده.
مجموعهٔ دو نمونه: [پنج خروجی]
مجموعهٔ سه نمونه: [پنج خروجی]
مجموعهٔ چهار نمونه: [پنج خروجی]
مجموعهٔ پنج نمونه: [پنج خروجی]

بند ج مهم‌ترین بخش است. اگر هیچ تعدادی یکدستی نمی‌آورد، مشکل از عدد نیست و باید سراغ کیفیت نمونه‌ها یا ساختار پرامپت بروی؛ اضافه کردن نمونهٔ ششم و هفتم در چنین حالتی فقط هزینه است.

۷. سه اشتباه رایج در این سه متغیر

اول، بالا بردن تعداد به‌جای اصلاح کیفیت. وقتی خروجی درست نیست، افزودن نمونه معمولاً کار نمی‌کند مگر آنکه نمونهٔ جدید چیزی بگوید که قبلی‌ها نگفته‌اند.

دوم، تغییر دادن همزمان چند متغیر. اگر در یک بازبینی هم تعداد را عوض کنی هم ترتیب هم متن نمونه‌ها، نمی‌فهمی کدام تغییر اثر داشته و در بازبینی بعدی به نقطهٔ اول برمی‌گردی.

سوم، تکرار آزمون برای هر بار استفاده. عدد بهینه ویژگی کار است نه ویژگی هر اجرا. یک بار پیدایش کن، در کنار مجموعه‌مثال ذخیره‌اش کن، و تا وقتی ماهیت کار عوض نشده دوباره سراغش نرو.

۸. پرسش‌های پرتکرار

حداقل چند نمونه لازم است؟ برای کار ساختاریافته دو نمونه کف عملی است. با یک نمونه، مدل نمی‌داند کدام بخش‌ها ثابت‌اند و کدام‌ها متغیر.

آیا نمونهٔ بیشتر همیشه هزینهٔ بیشتر است؟ بله، و هزینه در هر اجرا تکرار می‌شود. برای پرامپت‌های پرتکرار، کوتاه کردن نمونه‌ها اثر مالی بیشتری دارد تا کوتاه کردن دستور.

ترتیب برای کارهای سبکی هم مهم است؟ بله و حتی بیشتر. در آموزش لحن، آخرین نمونه بیشترین اثر را دارد؛ جزئیاتش در قسمت چهارم آمده است.

با تعداد درست هم خروجی گاهی نمونه را کپی می‌کند. این مسئلهٔ جداگانه‌ای است و در قسمت ششم بررسی می‌شود. برای مرور مبانی هم نوشتن پرامپت برای مبتدی‌ها و آموزش‌های ChatGPT در دسترس‌اند.