قسمت ۶ — نمونهٔ خروجی و معیار پذیرش

چکیده. بیشتر پرامپت‌ها می‌گویند چه کاری انجام شود، ولی نمی‌گویند نتیجه چه شکلی باشد و کِی قابل قبول است. در این قسمت اسکلت خروجی را می‌سازیم — قالبی خالی که مدل فقط پرش می‌کند — و بعد معیار پذیرش را می‌نویسیم: دو تا چهار شرط قابل سنجش که «جواب خوب» را تعریف می‌کنند. سپس می‌بینیم چطور از مدل بخواهیم پیش از تحویل خودش را با همان شرط‌ها بسنجد، و کجا این خودارزیابی به تعارف بی‌فایده تبدیل می‌شود. یک بلوک کامل آمادهٔ کپی هم در انتها هست.

۱) چرا توصیف قالب از نشان‌دادن آن ضعیف‌تر است

وقتی می‌نویسید «جواب را در قالب یک جدول با سه ستون بده»، مدل باید از توصیف شما یک ساختار بسازد و در این ترجمه، جزئیات گم می‌شوند: نام ستون‌ها، ترتیبشان، اینکه هر سلول چقدر بلند باشد. نتیجه معمولاً جدولی است که هست ولی آن‌طور که می‌خواستید نیست.

وقتی به‌جای توصیف، خودِ اسکلت را می‌نویسید و می‌گویید آن را پر کن، این ترجمه حذف می‌شود. اسکلت هم قالب را می‌رساند، هم ترتیب را، هم اندازهٔ تقریبی هر بخش را؛ سه اطلاعات که با توصیف کلامی به‌سختی منتقل می‌شوند.

در قسمت اول این سری گفتیم قالب خروجی و معیار پذیرش دو جزء از شش جزء‌اند. حالا فقط همین دو را باز می‌کنیم، چون در عمل همیشه با هم کار می‌کنند.

۲) اسکلت خروجی را چطور بنویسیم

اسکلت خوب سه ویژگی دارد. اول اینکه جای خالی‌ها با برچسب معنادار مشخص شده‌اند، نه با نقطه‌چین. برچسبی مثل «دلیل در یک جمله» به مدل می‌گوید چه چیزی و در چه اندازه‌ای بنویسد.

دوم اینکه دقیقاً یک واحد از ساختار تکرارشونده را نشان می‌دهد و تعداد کل را جدا اعلام می‌کند. یعنی یک ردیف نمونه بنویسید و بگویید پنج ردیف بساز، نه اینکه پنج ردیف خالی بکشید. این کار هم پرامپت را کوتاه می‌کند و هم جلوی تقلید کورکورانه از محتوای نمونه را می‌گیرد.

سوم اینکه چیزی خارج از اسکلت خواسته نشود. جملهٔ «هیچ متن اضافه‌ای پیش یا پس از اسکلت ننویس» ساده به نظر می‌رسد ولی همان مقدمه‌چینی‌های آشنا را حذف می‌کند؛ همان‌هایی که وقتی خروجی را جای دیگری کپی می‌کنید مجبورید پاکشان کنید.

۳) معیار پذیرش: تعریف «جواب خوب»

معیار پذیرش یعنی دو تا چهار شرط که اگر برقرار باشند، خروجی قابل استفاده است. تأکید روی قابل سنجش بودن است. «جواب باید دقیق باشد» شرط نیست چون هیچ راهی برای بررسی‌اش وجود ندارد. «هر ادعا باید به یکی از اعداد بخش ورودی ارجاع بدهد» شرط است.

سه نوع شرط بیشترین کاربرد را دارند. شرط پوشش: هر بخش خروجی باید به یک مورد مشخص جواب دهد. شرط اتکا: هر ادعا باید به دادهٔ ورودی متکی باشد. شرط تمایز: هیچ دو موردی نباید یک حرف را با واژه‌های متفاوت بزنند.

شرط سوم کم‌شناخته ولی بسیار کاربردی است. وقتی از مدل ده ایده می‌خواهید، معمولاً چهار ایدهٔ واقعی می‌گیرید و شش بازنویسی همان‌ها. افزودن شرط تمایز، این تکرار را به‌طور محسوسی کم می‌کند.

۴) تفاوت معیار پذیرش با قید

این دو را نباید یکی گرفت. قید — که موضوع قسمت چهارم بود — پیش از تولید عمل می‌کند و مسیر را محدود می‌کند. معیار پذیرش پس از تولید عمل می‌کند و نتیجه را بازرسی می‌کند.

تفاوت عملی این است که قید معمولاً دربارهٔ شکل و مرز است و معیار پذیرش دربارهٔ کیفیت محتوا. «حداکثر صد کلمه» قید است؛ «هر پیشنهاد باید یک اقدام مشخص برای هفتهٔ آینده باشد» معیار پذیرش است. اولی را می‌شود شمرد، دومی را باید قضاوت کرد.

۵) واداشتن مدل به خودارزیابی

نوشتن معیار پذیرش به‌تنهایی اثر دارد، ولی اثر واقعی وقتی آزاد می‌شود که از مدل بخواهید خروجی‌اش را با همان معیارها بسنجد. جملهٔ کارآمد این است: پیش از ارائهٔ پاسخ نهایی، خروجی را با هر یک از شرط‌های بالا مقایسه کن و هر موردی را که شرطی را برآورده نمی‌کند اصلاح کن.

یک نکتهٔ مهم: نخواهید که گزارش خودارزیابی را چاپ کند، مگر واقعاً به آن نیاز داشته باشید. اگر بخواهید هم بسنجد و هم گزارش بدهد، بخشی از توجه صرف نوشتن گزارش می‌شود و گاهی متن گزارش جای اصلاح واقعی را می‌گیرد.

جایی که این تکنیک بی‌اثر می‌شود، شرط‌های مبهم است. اگر شرط قابل سنجش نباشد، خودارزیابی به یک تأیید تعارفی تبدیل می‌شود و مدل صرفاً می‌گوید همه‌چیز رعایت شده. هر شرطی که نمی‌توانید خودتان با نگاه‌کردن به خروجی بررسی کنید، برای مدل هم قابل بررسی نیست.

۶) بلوک آمادهٔ کپی

این بلوک انتهای پرامپت شما می‌نشیند، بعد از وظیفه و قید:

قالب خروجی — دقیقاً این اسکلت را پر کن و هیچ متن اضافه‌ای پیش یا پس از آن ننویس: [عنوان مورد] — [دلیل انتخاب در یک جمله] — [اقدام مشخص برای هفتهٔ آینده] تعداد: دقیقاً [عدد] مورد با همین ساختار. معیار پذیرش: ۱) هر مورد به [یک نیاز یا مسئلهٔ مشخص از بخش زمینه] جواب بدهد. ۲) هر ادعا فقط به دادهٔ بخش ورودی متکی باشد؛ چیزی که در ورودی نیست را ننویس. ۳) هیچ دو موردی یک حرف را با واژه‌های متفاوت نزنند. پیش از ارائهٔ پاسخ نهایی، خروجی را با هر سه شرط بالا بسنج و موارد ناسازگار را اصلاح کن. گزارش این بررسی را چاپ نکن.

اگر تازه شروع کرده‌اید، راهنمای پرامپت‌نویسی برای مبتدی‌ها نقطهٔ شروع خوبی است و معرفی اوپن‌ای‌آی تصویر کلی‌تری از این ابزارها می‌دهد.

۷) اشتباه‌های رایج در این دو بخش

اشتباه اول، اسکلتی که خودش پر شده است. اگر نمونه‌تان محتوای واقعی داشته باشد، مدل احتمالاً همان محتوا را با تغییرات جزئی برمی‌گرداند. برچسب بگذارید، نه مثال.

اشتباه دوم، معیارهای بیش از حد. بیش از چهار شرط باعث می‌شود مدل بین آن‌ها معامله کند و معمولاً شرط‌های آخر قربانی می‌شوند. اگر شرط‌های زیادی دارید، مهم‌ترین‌ها را نگه دارید و بقیه را به دور دوم منتقل کنید.

اشتباه سوم، تناقض میان اسکلت و قید طول. اسکلتی با شش فیلد در سقف پنجاه کلمه شدنی نیست و مدل یکی از آن دو را می‌شکند. پیش از اجرا، یک بار سرانگشتی حساب کنید که اسکلت شما در آن طول جا می‌شود یا نه.

پرسش و پاسخ کوتاه

اسکلت را با چه نشانه‌ای جدا کنم؟ هر نشانهٔ واضحی که در محتوای شما تکرار نمی‌شود کافی است؛ مثل گیومهٔ سه‌تایی یا یک خط جداکننده. مهم این است که ثابت باشد و در پرامپت بگویید چه چیزی اسکلت است و چه چیزی دستور.

آیا معیار پذیرش برای کارهای ساده هم لازم است؟ برای ترجمهٔ یک جمله یا اصلاح نگارشی نه. هر جا خروجی چند بخش دارد یا قرار است بین چند گزینه انتخاب شود، بله. قاعدهٔ عملی این است که اگر ممکن است خروجی را رد کنید، بهتر است از قبل بنویسید بر چه اساسی ردش می‌کنید.

مدل می‌گوید همهٔ شرط‌ها رعایت شده ولی نشده‌اند. چرا؟ تقریباً همیشه به این دلیل که شرط قابل سنجش نیست. شرط را طوری بازنویسی کنید که خودتان بتوانید در ده ثانیه با نگاه‌کردن به خروجی بررسی‌اش کنید.

قسمت بعدی چیست؟ در قسمت هفتم که پایان این سری است، یک چک‌لیست نهایی می‌سازیم و یک پرامپت ضعیف را مرحله‌به‌مرحله بازنویسی می‌کنیم. فهرست کامل قسمت‌ها در صفحهٔ سری پرامپت‌نویسی است.