قسمت ۲ — چطور مثال خوب انتخاب کنیم

قسمت دوم از سری «پرامپت مثال‌محور»: در این قسمت فقط دربارهٔ انتخاب مثال حرف می‌زنیم؛ اینکه یک نمونهٔ خوب چه ویژگی‌هایی دارد، چطور مجموعه‌ای بسازی که همدیگر را پوشش بدهند، و کدام مثال‌ها به‌جای راهنمایی، مدل را گمراه می‌کنند.

۱. چرا انتخاب مثال از تعداد مثال مهم‌تر است

وقتی خروجی یک پرامپت مثال‌محور آن چیزی نیست که می‌خواستی، اولین واکنش تقریباً همیشه یکی است: یک نمونهٔ دیگر اضافه کن. این کار گاهی جواب می‌دهد، اما در بیشتر موارد فقط حجم پرامپت را بالا می‌برد بدون آنکه چیزی عوض شود.

دلیلش ساده است. مدل از نمونه‌ها یک الگو برمی‌دارد، نه یک فهرست. اگر پنج نمونه همگی یک نوع ورودی را نشان بدهند، مدل همان یک الگو را پنج بار می‌بیند و چیز تازه‌ای یاد نمی‌گیرد. اما دو نمونه که عمداً از دو گوشهٔ متفاوت کار انتخاب شده‌اند، مرز الگو را مشخص می‌کنند.

به بیان دیگر، هر نمونهٔ اضافه فقط وقتی ارزش دارد که چیزی بگوید که نمونه‌های قبلی نگفته‌اند. این جمله معیار اصلی کل این قسمت است و اگر فقط همین را از این نوشته برداری، بیشتر مشکلات رایج حل می‌شود.

در قسمت اول دیدیم که ساختار پایه چیست و چرا نشان دادن از توضیح دادن قوی‌تر است. اینجا فرض می‌کنیم آن ساختار را داری و فقط دربارهٔ محتوای جای خالی نمونه‌ها تصمیم می‌گیریم.

۲. معیار اول: نمایندگی

یک نمونهٔ خوب باید شبیه چیزی باشد که واقعاً به مدل خواهی داد. این بدیهی به نظر می‌رسد ولی رایج‌ترین خطاست، چون آدم‌ها موقع ساختن مثال ناخودآگاه نسخهٔ تمیزشده و مرتب‌شدهٔ داده‌شان را می‌نویسند.

فرض کن می‌خواهی پیام‌های مشتری را دسته‌بندی کنی. پیام واقعی مشتری غلط تایپی دارد، نیمه‌کاره رها شده، گاهی دو موضوع را قاطی کرده و گاهی با یک سلام سه‌خطی شروع می‌شود. اگر نمونه‌هایت جمله‌های تمیز و کامل باشند، مدل روی ورودی واقعی گیج می‌شود چون هیچ‌وقت ندیده است که این کار با چنین ورودی‌ای هم انجام شدنی است.

راه‌حل عملی این است: نمونه‌ها را نساز، انتخاب کن. برو در داده‌های واقعی خودت و سه مورد را کپی کن، بعد فقط خروجی مطلوبشان را خودت بنویس. اگر داده‌ای در دسترس نداری، دست‌کم عمداً یکی از نمونه‌ها را نامرتب و شلوغ نگه دار.

یک نشانهٔ خوب برای سنجش نمایندگی: نمونه‌ات را به یک همکار نشان بده و بپرس این از کجا آمده. اگر بی‌درنگ حدس زد که خودت نوشته‌ای، احتمالاً بیش از حد تمیز است.

۳. معیار دوم: تنوع

معیار دوم فاصلهٔ بین نمونه‌هاست. دو نمونه‌ای که تقریباً یک چیز را نشان می‌دهند، در عمل یک نمونه‌اند و فقط توکن مصرف می‌کنند.

برای اینکه تنوع را از حالت شهودی بیرون بیاوری، پیش از انتخاب نمونه فهرستی از محورهای تغییر کارت بنویس. در همان کار دسته‌بندی پیام، محورها می‌توانند این‌ها باشند: طول پیام، لحن مشتری، تعداد موضوع‌های مطرح‌شده، و اینکه پاسخ به کدام دسته می‌افتد. حالا نمونه‌ها را طوری انتخاب کن که هر محور دست‌کم دو مقدار متفاوت را نشان بدهد.

این کار یک اثر جانبی مهم هم دارد. وقتی نمونه‌ها در چند محور با هم فرق دارند، مدل متوجه می‌شود کدام ویژگی‌ها به خروجی ربط دارند و کدام‌ها تصادفی هستند. اگر هر سه نمونه‌ات پیام‌های عصبانی باشند، مدل ممکن است نتیجه بگیرد که عصبانیت بخشی از شرط کار است.

مرز تنوع هم مهم است: نمونه‌ها باید در ورودی متفاوت باشند، نه در قالب خروجی. قالب خروجی باید در همهٔ نمونه‌ها دقیقاً یکسان بماند، وگرنه به‌جای الگو، چند الگوی رقیب به مدل داده‌ای.

۴. معیار سوم: پوشش لبه‌ها

لبه‌ها همان ورودی‌هایی هستند که خودت هم موقع دیدنشان یک لحظه مکث می‌کنی. ورودی‌ای که به هیچ دسته‌ای نمی‌خورد، ورودی خالی، ورودی‌ای که دو جواب درست دارد، یا ورودی‌ای که به زبان دیگری نوشته شده است.

اگر لبه‌ها را در نمونه‌ها نشان ندهی، مدل در برخورد با آن‌ها حدس می‌زند و حدسش معمولاً این است که ورودی را زورکی در نزدیک‌ترین الگو بچپاند. نتیجه، خروجی‌ای است که ظاهر درستی دارد ولی غلط است، و همین خطر اصلی است چون در بازبینی سریع دیده نمی‌شود.

راه استاندارد این است که یکی از نمونه‌ها را به یک لبه اختصاص بدهی و در خروجی‌اش یک راه فرار سالم نشان بدهی. مثلاً برای ورودی نامربوط، خروجی نمونه را «خارج از الگو» بگذار. مدل از همان یک نمونه یاد می‌گیرد که نگفتن هم یک پاسخ مجاز است.

یک نکتهٔ ظریف: لبه را باید در نمونه‌ها نشان بدهی، نه در قواعد. جملهٔ «اگر مطمئن نیستی بگو نمی‌دانم» در بخش دستور، بسیار کم‌اثرتر از یک نمونهٔ واقعی است که در آن دقیقاً همین اتفاق افتاده است.

۵. پنج مثالی که مدل را گمراه می‌کنند

اول، نمونهٔ ناسازگار. دو نمونه که ورودی‌های مشابه دارند ولی خروجی‌هایشان با قاعدهٔ متفاوتی ساخته شده است. مدل در این حالت یکی از دو قاعده را دلبخواهی انتخاب می‌کند و خروجی‌ات ناپایدار می‌شود.

دوم، نمونهٔ بیش از حد کامل. خروجی‌ای که خودت با ده دقیقه ویرایش به آن رسیده‌ای، سقفی می‌سازد که مدل به آن نمی‌رسد و در تلاش برای رسیدن، پرحرفی می‌کند.

سوم، نمونهٔ هم‌شکل. وقتی هر سه نمونه ساختار جملهٔ یکسانی دارند، مدل خود آن ساختار جمله را کپی می‌کند نه منطق پشتش را. این همان کپی‌برداری کورکورانه است که در قسمت ششم مفصل بررسی می‌شود.

چهارم، نمونهٔ دارای اطلاعات بیرونی. اگر خروجی نمونه‌ات شامل چیزی است که از ورودی قابل استخراج نیست — مثلاً نام یک محصول که فقط خودت می‌دانستی — مدل یاد می‌گیرد که مجاز است اطلاعات از خودش اضافه کند.

پنجم، نمونهٔ نامتوازن در برچسب. اگر پنج نمونه داری و چهارتایشان به یک دسته می‌افتند، مدل همان دسته را به‌عنوان پاسخ پیش‌فرض برمی‌دارد. توزیع برچسب‌ها در نمونه‌ها پیامی است که فکر می‌کنی نمی‌فرستی ولی می‌فرستی.

۶. پرامپت آمادهٔ کپی: آزمون کیفیت مجموعه‌مثال

پیش از آنکه مجموعه‌مثالت را در پرامپت اصلی به کار ببری، آن را با این پرامپت بسنج. کارش این است که به‌جای تو نقش منتقد را بازی کند و بگوید کدام نمونه اضافه است و کدام محور پوشش داده نشده:

نقش: تو منتقد مجموعه‌مثال یک پرامپت هستی، نه مجری آن.
کار: مجموعهٔ زیر را بر اساس سه معیار بسنج و برای هر کدام یک نمرهٔ ۱ تا ۵ با یک جملهٔ دلیل بده.
معیار ۱ — نمایندگی: نمونه‌ها چقدر شبیه ورودی واقعی و نامرتب هستند.
معیار ۲ — تنوع: نمونه‌ها در چند محور با هم فرق دارند؛ محورها را نام ببر.
معیار ۳ — پوشش لبه‌ها: کدام حالت مرزی نشان داده نشده است.
سپس دقیقاً سه خروجی بده:
الف) نمونه‌ای که حذفش هیچ اطلاعاتی را از دست نمی‌دهد و چرا.
ب) یک محور تغییر که هیچ نمونه‌ای پوششش نمی‌دهد.
ج) یک نمونهٔ جایگزین پیشنهادی برای همان محور، با ورودی و خروجی کامل.
قواعد: پیشنهاد نده که تعداد نمونه‌ها را زیاد کنم. اگر مجموعه سالم بود، صریح بنویس «مجموعه سالم است» و دلیلش را بگو.
کار اصلی: [یک جمله بنویس که پرامپت اصلی قرار است چه کاری بکند]
مجموعه‌مثال:
ورودی: [نمونهٔ اول] | خروجی: [خروجی اول]
ورودی: [نمونهٔ دوم] | خروجی: [خروجی دوم]
ورودی: [نمونهٔ سوم] | خروجی: [خروجی سوم]

خروجی این پرامپت را جدی بگیر، به‌ویژه بند الف. نمونه‌ای که مدل می‌گوید حذفش چیزی را از دست نمی‌دهد، تقریباً همیشه واقعاً اضافه است و حذفش هم پرامپت را ارزان‌تر می‌کند هم الگو را تیزتر.

۷. ساختن مجموعه‌مثال در بیست دقیقه

روش عملی زیر برای بیشتر کارهای تکرارشونده کافی است و نیازی به داده‌کاوی ندارد.

پنج دقیقهٔ اول: ده ورودی واقعی از آرشیو کارت بردار و بدون فکر کردن کپی کن. مهم نیست کدام‌ها؛ فقط واقعی باشند.

پنج دقیقهٔ دوم: محورهای تغییر را بنویس. معمولاً بین دو تا چهار محور بیشتر نیست. حالا ده ورودی را روی این محورها علامت بزن.

پنج دقیقهٔ سوم: سه ورودی انتخاب کن که با هم بیشترین فاصله را روی محورها دارند، و یک ورودی چهارم که یک لبه است. خروجی مطلوب هر چهار مورد را خودت بنویس، با قالب کاملاً یکسان.

پنج دقیقهٔ آخر: مجموعه را از آزمون بخش قبل عبور بده و اگر گفت نمونه‌ای اضافه است، حذفش کن. حالا مجموعه‌ات آماده است و می‌توانی آن را در ساختار سه‌بخشی قسمت اول بگذاری.

این چهار مرحله را برای کارهای مختلف تکرار نکن؛ برای هر کار یک بار انجام بده و مجموعه را جایی ذخیره کن. مجموعه‌مثال یک دارایی است که یک بار ساخته می‌شود و ده‌ها بار استفاده.

۸. پرسش‌های پرتکرار

اگر داده واقعی ندارم چه کنم؟ نمونه بساز، اما عمداً نامرتبش کن: یک غلط تایپی، یک جملهٔ نیمه‌کاره، یک مقدمهٔ اضافه. هدف این است که مدل ورودی خام را غریبه نبیند.

چند نمونه با این معیارها لازم است؟ معمولاً سه تا چهار، اگر واقعاً از هم فاصله داشته باشند. بحث دقیق تعداد، ترتیب و نقطهٔ بازدهی نزولی موضوع قسمت پنجم است.

خروجی نمونه‌ها را چقدر کامل بنویسم؟ دقیقاً به همان اندازه‌ای که از خروجی واقعی انتظار داری، نه بهتر. نمونهٔ آرمانی سقفی می‌سازد که خروجی‌های بعدی به آن نمی‌رسند و تو را دائماً ناراضی نگه می‌دارد.

نمونه‌ها را با چه ترتیبی بچینم؟ در این قسمت ترتیب را عمداً کنار گذاشتیم چون اثر مستقلی دارد. اگر تازه‌کار هستی، راهنمای نوشتن پرامپت برای مبتدی‌ها نقطهٔ شروع خوبی است و نمونه‌های عملی بیشتر را در آموزش‌های ChatGPT پیدا می‌کنی.