چکیده. وقتی به مدل نمونه می‌دهید، فقط الگوی مورد نظرتان را منتقل نمی‌کنید؛ هر ویژگی مشترک دیگری هم که در نمونه‌ها هست منتقل می‌شود، حتی اگر متوجهش نشده باشید. در این قسمت چهار خطای اصلی را می‌بینید: کپی‌کردن کورکورانهٔ محتوای نمونه، نشت الگوهای پنهان، بیش‌برازش به موارد نمونه، و نشت دادهٔ حساس از طریق مثال. برای هرکدام یک نشانهٔ تشخیص و یک راه پیشگیری مشخص داریم، به‌علاوهٔ یک آزمون سه‌مرحله‌ای برای وارسی مجموعه‌نمونه پیش از استفاده.

۱) خطای اول: کپی‌کردن محتوا به‌جای الگو

شایع‌ترین خطا این است که مدل به‌جای برداشتن الگو، محتوای نمونه را با تغییرات جزئی برمی‌گرداند. اگر در نمونه‌ها از یک شرکت یا یک عدد مشخص نام برده باشید، احتمال دارد همان نام و همان عدد در خروجی برای ورودی کاملاً متفاوت هم ظاهر شود.

نشانهٔ تشخیص ساده است: خروجی برای ورودی جدید، جزئیاتی دارد که فقط در نمونه‌ها بوده‌اند. کافی است یک بار خروجی را کنار نمونه‌ها بگذارید و دنبال واژه‌های مشترکی بگردید که ربطی به ورودی تازه ندارند.

پیشگیری دو بخش دارد. اول اینکه در نمونه‌ها از داده‌های خنثی و بی‌خاصیت استفاده کنید، نه از جذاب‌ترین نمونه‌های واقعی‌تان. دوم اینکه صریح بنویسید که فقط ساختار و شیوهٔ کار نمونه‌ها را بردارد و هیچ محتوایی از آن‌ها را وارد خروجی نکند.

۲) خطای دوم: نشت الگوهای پنهان

این خطا ظریف‌تر و پرهزینه‌تر است. فرض کنید سه نمونه برای طبقه‌بندی نظرات مشتریان نوشته‌اید و اتفاقی هر سه نمونه نظر منفی بوده‌اند. مدل از این تصادف یک قاعده می‌سازد و شروع می‌کند به منفی دیدن نظرهای خنثی.

الگوهای پنهان می‌توانند هر چیزی باشند: طول یکسان جواب‌ها، شروع همهٔ نمونه‌ها با یک نوع جمله، تعلق همهٔ ورودی‌ها به یک صنعت، یا حتی ترتیب برچسب‌ها. هر ویژگی مشترکی که شما به آن فکر نکرده‌اید، برای مدل یک سیگنال است.

در قسمت دوم این سری دربارهٔ معیارهای انتخاب مثال خوب صحبت کردیم؛ این‌جا نکتهٔ مکمل این است که مجموعه‌نمونه را نه فقط تک‌تک، بلکه به‌عنوان یک مجموعه هم باید بررسی کنید.

۳) خطای سوم: بیش‌برازش به موارد نمونه

بیش‌برازش یعنی مدل روی ورودی‌هایی که شبیه نمونه‌ها هستند عالی کار می‌کند و به محض اینکه ورودی کمی متفاوت شود، افت شدیدی می‌کند. این حالت خطرناک است چون در آزمایش‌های اولیه دیده نمی‌شود؛ شما معمولاً با ورودی‌هایی تست می‌کنید که شبیه همان نمونه‌ها هستند.

نشانهٔ تشخیص این است: عملکرد روی موارد عادی خوب و روی موارد لبه‌ای به‌طرز نامتناسبی بد است. اگر خروجی برای یک ورودی غیرمعمول کاملاً بی‌ربط شد، به‌جای اضافه‌کردن نمونهٔ بیشتر، اول تنوع نمونه‌های فعلی را بررسی کنید.

پیشگیری این است که دست‌کم یک نمونهٔ لبه‌ای در مجموعه بگذارید؛ موردی که ساده نیست و نشان می‌دهد در وضعیت مبهم چه باید کرد. یک نمونهٔ لبه‌ای معمولاً بیشتر از سه نمونهٔ عادی اضافه اثر دارد. بحث تعداد و ترتیب نمونه‌ها را در قسمت پنجم کامل بررسی کرده‌ایم.

۴) خطای چهارم: نشت دادهٔ حساس از راه مثال

وقتی نمونه‌ها را از کارهای واقعی برمی‌دارید، به‌سادگی ممکن است نام مشتری، شمارهٔ قرارداد، مبلغ واقعی یا نشانی در آن‌ها بماند. این داده‌ها هم از نظر حریم خصوصی مسئله‌اند و هم ممکن است در خروجی‌های بعدی ظاهر شوند.

راه‌حل جایگزینی برچسبی است: نام‌ها را با برچسب‌های عمومی عوض کنید و اعداد را با ارقام گرد و ساختگی. خروجی معمولاً هیچ تفاوتی نمی‌کند، چون مدل به الگو نیاز دارد نه به هویت واقعی.

یک قاعدهٔ عملی هم اضافه کنید: هر نمونه‌ای که نمی‌توانستید بدون نگرانی به یک همکار خارج از تیم نشان دهید، پیش از قرار گرفتن در پرامپت باید پاک‌سازی شود.

یک شکل کمترشناخته از این خطا هم وجود دارد: نشت از خروجی به ورودی. اگر خروجی نمونه‌ها همیشه یک تصمیم خاص گرفته باشند — مثلاً همیشه پیشنهاد داده باشند نه رد کرده باشند — مدل یاد می‌گیرد که خروجی درست همیشه همان جهت را دارد. در وظایفی که تصمیم دوگانه دارند، حتماً هر دو نتیجهٔ ممکن را در نمونه‌ها نشان دهید، وگرنه عملاً جواب را از قبل تعیین کرده‌اید.

۵) آزمون سه‌مرحله‌ای وارسی مجموعه‌نمونه

پیش از استفاده از هر مجموعه‌نمونه، این سه پرسش را روی کل مجموعه — نه تک‌تک نمونه‌ها — اجرا کنید. اول: آیا ویژگی مشترکی بین همهٔ نمونه‌ها هست که من نمی‌خواهم منتقل شود؟ طول، لحن، دسته، ترتیب یا حوزه.

دوم: اگر یک ورودی کاملاً متفاوت بدهم، این نمونه‌ها باز هم راهنمای درستی هستند یا گمراه‌کننده؟ اگر جواب مبهم است، یک نمونهٔ لبه‌ای کم دارید.

سوم: آیا هیچ داده‌ای در این نمونه‌ها هست که نباید بیرون برود؟ این سه پرسش کمتر از دو دقیقه وقت می‌گیرند و بیشتر خطاهای این قسمت را پیش از وقوع می‌گیرند.

۶) بلوک آمادهٔ کپی

این بلوک را دور مجموعه‌نمونهٔ خود بگذارید تا سه خطای اول را به‌طور هم‌زمان کاهش دهد:

نمونه‌ها (فقط الگو و شیوهٔ کار را از این‌ها بردار): ««« ورودی: [ورودی نمونهٔ ۱ با دادهٔ خنثی] خروجی: [خروجی نمونهٔ ۱] ورودی: [ورودی نمونهٔ ۲ از دستهٔ متفاوت] خروجی: [خروجی نمونهٔ ۲] ورودی: [یک مورد لبه‌ای و مبهم] خروجی: [خروجی درست همراه با نحوهٔ برخورد با ابهام] »»» قواعد استفاده از نمونه‌ها: هیچ نام، عدد یا جزئیاتی از نمونه‌ها را وارد خروجی نکن؛ فقط ساختار و شیوهٔ تصمیم‌گیری را بردار. اگر ورودی تازه با هیچ‌کدام از نمونه‌ها شباهت نداشت، به‌جای نزدیک‌کردن اجباری آن به نمونه‌ها، بنویس که مورد خارج از الگوهای داده‌شده است و بهترین برخورد را توضیح بده. ورودی واقعی: [ورودی]

خط آخرِ قواعد مهم‌ترین بخش است؛ همان چیزی که جلوی بیش‌برازش را می‌گیرد. اگر تازه شروع کرده‌اید، راهنمای پرامپت‌نویسی برای مبتدی‌ها نقطهٔ شروع مناسبی است و معرفی اوپن‌ای‌آی تصویر کلی‌تری از این ابزارها می‌دهد.

۷) کِی باید نمونه‌ها را کنار گذاشت

گاهی بهترین راه‌حل، حذف نمونه‌هاست. اگر وظیفه‌ای خیلی متنوع است و ورودی‌هایش الگوی مشترک روشنی ندارند، هر مجموعه‌نمونه‌ای بیش از آنکه راهنما باشد، محدودکننده است.

در چنین حالتی، توصیف قاعده به‌جای نشان‌دادن نمونه بهتر جواب می‌دهد. یک بار هر دو حالت را روی چند ورودی متنوع امتحان کنید؛ اگر نسخهٔ بدون نمونه روی موارد غیرمعمول بهتر بود، همان را نگه دارید.

پرسش و پاسخ کوتاه

چطور بفهمم مشکل از نشت الگوست یا از کم بودن نمونه؟ یک ورودی بدهید که عمداً برخلاف ویژگی مشترک نمونه‌ها باشد؛ مثلاً اگر همهٔ نمونه‌ها کوتاه‌اند، یک ورودی بلند بدهید. اگر خروجی به‌زور کوتاه ماند، نشت الگو دارید نه کمبود نمونه.

آیا افزودن نمونهٔ بیشتر همیشه کمک می‌کند؟ نه. اگر نمونه‌های جدید همان ویژگی‌های مشترک قبلی را داشته باشند، فقط سیگنال اشتباه را تقویت می‌کنید. تنوع مهم‌تر از تعداد است.

نمونهٔ لبه‌ای را کجای مجموعه بگذارم؟ معمولاً در انتها، بعد از نمونه‌های عادی. این‌طور مدل اول الگوی اصلی را می‌گیرد و بعد یاد می‌گیرد در وضعیت مبهم چه کند؛ برعکسش گاهی باعث می‌شود مورد استثنایی را قاعده بگیرد.

بعد از این سری چه چیزی بخوانم؟ این آخرین قسمت سری پرامپت مثال‌محور است. برای انتخاب سری بعدی، صفحهٔ سری پرامپت‌نویسی را ببینید؛ و اگر مبانی را می‌خواهید مرور کنید، بازگشت به قسمت اول جمع‌بندی خوبی است.