ارزیابی پرامپت؛ چطور کیفیت یک پرامپت را با آزمون و نمره‌دهی اندازه بگیریم

«این پرامپت خوب است؟» شاید سخت‌ترین پرسشِ کل مسیر پرامپت‌نویسی همین باشد. بیشتر ما یک پرامپت می‌نویسیم، یک بار اجرا می‌کنیم، به جواب نگاه می‌کنیم و اگر بد نبود، کار را تمام‌شده می‌دانیم. اما «بد نبودن» با «خوب بودن» فرق دارد، و «این بار جواب داد» با «همیشه جواب می‌دهد» زمین تا آسمان تفاوت دارد. ارزیابی پرامپت دقیقاً برای پر کردن همین شکاف است: به‌جای حدس و احساس، کیفیت یک پرامپت را با آزمون، معیار و نمره اندازه می‌گیریم تا بدانیم واقعاً چقدر خوب کار می‌کند و کدام نسخه‌اش بهتر است.

در این آموزش یاد می‌گیری چطور یک مجموعهٔ آزمون کوچک بسازی، معیار موفقیت را روشن تعریف کنی، خروجی‌ها را نمره بدهی و دو نسخه از یک پرامپت را منصفانه با هم مقایسه کنی. همهٔ این کارها با یک جدول ساده هم شدنی است و به هیچ ابزار گران‌قیمتی نیاز ندارد.

چرا «به‌نظر خوب است» کافی نیست؟

قضاوت چشمی سه دشمن پنهان دارد. اولی نویزِ تصادفی است؛ مدل‌های زبانی قطعی نیستند و همان پرامپت با همان ورودی می‌تواند هر بار جوابی کمی متفاوت بدهد. این تصادفی‌بودن ریشه در پارامتر دما و نمونه‌برداری دارد؛ پس یک اجرای خوش‌شانس، دلیل خوب‌بودن پرامپت نیست.

دشمن دوم سوگیری تأیید است؛ وقتی خودت پرامپت را نوشته‌ای، ناخودآگاه دنبال نشانه‌های موفقیت می‌گردی و ایرادها را نمی‌بینی. دشمن سوم نمونهٔ تک‌موردی است؛ یک ورودیِ آسان همیشه جواب قشنگ می‌دهد، ولی پرامپت واقعی باید سرِ ورودی‌های سخت و عجیب هم سربلند بیرون بیاید. ارزیابی سیستماتیک هر سه دشمن را خنثی می‌کند.

معیار موفقیت را قبل از نوشتن پرامپت تعریف کن

پیش از آنکه سراغ بهبود پرامپت بروی، باید بدانی «خروجیِ خوب» یعنی چه. معیار مبهم مثل «جواب باکیفیت باشد» قابل‌اندازه‌گیری نیست. معیار را به چند بُعد روشن و قابل‌سنجش بشکن:

• درستی: آیا محتوای جواب از نظر واقعیت و منطق درست است؟
• کامل‌بودن: آیا همهٔ چیزهایی که خواسته‌ای در جواب هست؟
• قالب: آیا ساختار خواسته‌شده (جدول، فهرست، JSON، طول مشخص) رعایت شده؟
• لحن و مخاطب: آیا زبان جواب با مخاطب هدف می‌خواند؟
• ایمنی و مرزها: آیا جواب از خط قرمزها و محدودیت‌ها عبور نکرده؟

نکتهٔ کلیدی این است که هر بُعد را طوری تعریف کنی که بشود با «بله/خیر» یا یک عدد به آن نمره داد. معیارِ قابل‌شمارش، ستون فقرات ارزیابی پرامپت است.

مجموعهٔ آزمون بساز: چند ورودی ثابت و متنوع

قلبِ ارزیابی، یک «مجموعهٔ آزمون» است؛ مجموعه‌ای ثابت از ورودی‌ها که هر بار پرامپت را روی همان‌ها امتحان می‌کنی. برای شروع، پنج تا پانزده ورودی کافی است، به‌شرط آنکه واقعاً متنوع باشند. سه دستهٔ ورودی را حتماً بگنجان:

1. موارد عادی: نمونه‌های رایج و روزمره که انتظار داری زیاد پیش بیایند.
2. موارد لبه‌ای: ورودی‌های خیلی کوتاه، خیلی بلند، ناقص یا مبهم.
3. موارد خصمانه: ورودی‌هایی که عمداً پرامپت را به چالش می‌کشند یا می‌خواهند گمراهش کنند.

این مجموعه را یک بار بساز و ثابت نگه دار. ارزش واقعی‌اش وقتی آشکار می‌شود که پرامپت را عوض می‌کنی و می‌خواهی ببینی تغییر، اوضاع را بهتر کرد یا بدتر. اگر ورودی‌ها هر بار عوض شوند، دیگر مقایسه معنا ندارد.

روش‌های نمره‌دهی: از چک‌لیست تا روبریک

وقتی معیار و ورودی آماده شد، باید به خروجی‌ها نمره بدهی. سه روش از ساده به دقیق:

چک‌لیستِ بله/خیر

برای هر خروجی، هر معیار را با یک تیک یا ضربدر علامت بزن. مثلاً «آیا خروجی JSON معتبر بود؟ بله». این روش سریع است و برای معیارهای عینی عالی کار می‌کند.

روبریک نمره‌ای

هر بُعد را از صفر تا سه نمره بده (۰ = افتضاح، ۳ = عالی) و بعد نمره‌ها را با وزن جمع بزن. اگر «درستی» برایت مهم‌تر از «لحن» است، به آن وزن بیشتری بده. این کار همان منطقِ ماتریس تصمیم وزنی است که این‌جا روی خروجی‌ها اعمالش می‌کنی.

سنجه‌های خودکار

هر جا که می‌شود، نمره‌دهی را ماشینی کن: معتبربودنِ JSON، وجود کلمات کلیدی الزامی، تعداد کلمات، مطابقت دقیق با پاسخ درست. سنجهٔ خودکار سریع، ارزان و بی‌طرف است.

روش نمره‌دهی	سرعت	دقت	بهترین کاربرد
چک‌لیست بله/خیر	خیلی زیاد	متوسط	معیارهای عینی و روشن
روبریک نمره‌ای	متوسط	زیاد	کیفیت چندبُعدی و ظریف
سنجهٔ خودکار	آنی	زیاد (در محدودهٔ خود)	قالب، طول، تطبیق دقیق

آزمون A/B پرامپت؛ دو نسخه را منصفانه مقایسه کن

بهبود واقعی وقتی ثابت می‌شود که نسخهٔ جدید پرامپت، روی همان مجموعهٔ آزمون، نمرهٔ کل بالاتری از نسخهٔ قدیم بگیرد. قاعدهٔ طلایی این است: هر بار فقط یک چیز را عوض کن. اگر هم‌زمان نقش، مثال و قالب را تغییر بدهی و نمره بالا برود، هرگز نمی‌فهمی کدام تغییر مؤثر بوده است.

هر دو نسخه را روی ورودی‌های یکسان اجرا کن، با معیار یکسان نمره بده و نمرهٔ کل را مقایسه کن. اگر اختلاف نمره کوچک بود، به آن اعتماد نکن؛ ممکن است فقط شانس باشد. برای اطمینان، تعداد ورودی‌ها را زیاد کن یا هر ورودی را چند بار اجرا کن.

تکرارپذیری و نویز؛ چرا یک‌بار اجرا گول‌زننده است

یک پرامپت خوب نه‌تنها باید جواب خوب بدهد، بلکه باید پایدار باشد؛ یعنی هر بار جوابی با کیفیت مشابه بدهد. برای سنجش پایداری، هر ورودی را سه تا پنج بار اجرا کن و به‌جای «بهترین اجرا»، به میانگین و به «بدترین اجرا» نگاه کن.

پرامپتی که یک بار عالی و چهار بار ضعیف جواب می‌دهد، در عمل قابل‌اعتماد نیست. اگر نوسان خروجی‌ها زیاد بود، دو راه داری: پرامپت را صریح‌تر و بسته‌تر بنویس، یا اگر کارَت به قطعیت نیاز دارد، دما را پایین بیاور. سنجش تکرارپذیری همان چیزی است که ارزیابی حرفه‌ای را از تست سرسری جدا می‌کند.

داور مدل؛ وقتی از خود هوش مصنوعی برای نمره‌دهی کمک می‌گیری

وقتی مجموعهٔ آزمونت بزرگ می‌شود، نمره‌دادن دستی خسته‌کننده می‌شود. این‌جا می‌توانی از یک مدل قوی به‌عنوان «داور» استفاده کنی: خروجی‌ها را همراه با روبریک به مدل بده و از او بخواه هر خروجی را نمره بدهد و دلیلش را بنویسد. این همان ایده‌ای است که در زنجیرهٔ راستی‌آزمایی هم دیدی: یک مدل، کار مدل دیگر را وارسی می‌کند.

اما داور مدل هم سوگیری دارد. مراقب سوگیری طول (ترجیح جواب‌های بلندتر)، سوگیری ترتیب (ترجیح گزینهٔ اول) و خودپسندی (نمرهٔ بالاتر به سبک خودش) باش. برای مهارشان، روبریک را دقیق و بسته بنویس، ترتیب گزینه‌ها را جابه‌جا کن، و چند نمونه را دستی نمره بده تا داور را واسنجی کنی. داور مدل ابزار قدرتمندی است، به‌شرط آنکه خودش را هم ارزیابی کنی.

چرخهٔ بهبود؛ نمره بگیر، عیب را پیدا کن، اصلاح کن

ارزیابی وقتی ارزشمند است که به بهبود ختم شود. چرخهٔ عملی این است:

1. پرامپت فعلی را روی مجموعهٔ آزمون اجرا کن و نمره بگیر.
2. سراغ بدترین شکست‌ها برو؛ همان ورودی‌هایی که کمترین نمره را گرفتند.
3. حدس بزن چه چیزی در پرامپت باعث آن شکست شده و فقط یک تغییر اعمال کن.
4. دوباره روی همان مجموعهٔ آزمون اجرا کن و نمرهٔ کل را مقایسه کن.
5. اگر نمرهٔ کل بهتر شد نگهش دار، وگرنه برگرد و تغییر دیگری را امتحان کن.

هر نسخهٔ پرامپت را شماره بزن و نمره‌اش را کنارش یادداشت کن. این «تاریخچهٔ نسخه‌ها» جلوی دوباره‌کاری را می‌گیرد و نشان می‌دهد پرامپتت در طول زمان واقعاً رشد کرده است. اگر می‌خواهی این ارزیابی را در جای درستِ نقشهٔ کلی یاد بگیری، نقشهٔ راه مهندسی پرامپت ترتیب مهارت‌ها را نشان می‌دهد.

اشتباه‌های رایج در ارزیابی پرامپت

• آزمون فقط با ورودی‌های آسان: پرامپت روی نمونهٔ ساده قبول می‌شود ولی در دنیای واقعی می‌شکند.
• تغییر چند چیز با هم: وقتی همه‌چیز عوض شود، علتِ تغییر نمره گم می‌شود.
• اعتماد به یک اجرا: نادیده‌گرفتن نویز، یعنی شانس را به‌جای مهارت جشن گرفتن.
• معیار مبهم: «خوب باشد» قابل‌سنجش نیست؛ معیار باید عدد یا بله/خیر بدهد.
• بیش‌برازش به مجموعهٔ آزمون: اگر همیشه با همان چند ورودی کار کنی، پرامپت فقط حفظِ همان‌ها می‌شود؛ هرازگاهی ورودی‌های تازه اضافه کن.
• فراموش‌کردن هزینه و سرعت: پرامپتی که کمی بهتر ولی سه برابر گران‌تر و کندتر است، لزوماً برنده نیست.

پرسش‌های پرتکرار

چند ورودی برای مجموعهٔ آزمون کافی است؟

برای شروع پنج تا پانزده ورودیِ متنوع کافی است. هرچه تصمیم مهم‌تر و پرامپت پرکاربردتر باشد، مجموعهٔ بزرگ‌تر و متنوع‌تر ارزشش را دارد. کیفیت و تنوع ورودی‌ها از تعدادشان مهم‌تر است.

آیا برای ارزیابی پرامپت به ابزار خاصی نیاز دارم؟

خیر. یک جدول ساده در کاغذ، اکسل یا حتی یک یادداشت کافی است: ستون‌ها معیارها، سطرها ورودی‌ها، و خانه‌ها نمره‌ها. ابزارهای تخصصی فقط وقتی لازم می‌شوند که مقیاس کارَت خیلی بزرگ شود.

تفاوت ارزیابی پرامپت با خودانتقادی مدل چیست؟

در روش خودانتقادی (Self-Refine)، خودِ مدل یک خروجی را نقد و بازنویسی می‌کند. ارزیابی پرامپت یک قدم بالاتر است: تو کیفیت کلِ پرامپت را روی چند ورودی می‌سنجی تا تصمیم بگیری کدام نسخهٔ پرامپت را نگه داری.

چطور بفهمم بهبود واقعی است یا فقط شانس؟

اگر اختلاف نمره بین دو نسخه کوچک بود و فقط روی چند ورودی سنجیده شده، به‌احتمال زیاد شانس است. تعداد ورودی‌ها را زیاد کن، هر ورودی را چند بار اجرا کن و به میانگین نگاه کن؛ بهبودِ واقعی، پایدار و تکرارپذیر است.

جمع‌بندی

ارزیابی پرامپت همان چیزی است که پرامپت‌نویسیِ حرفه‌ای را از حدس‌وگمان جدا می‌کند. کافی است معیار موفقیت را روشن تعریف کنی، یک مجموعهٔ آزمونِ کوچک ولی متنوع بسازی، خروجی‌ها را با روبریک نمره بدهی و نسخه‌ها را با تغییرِ تک‌به‌تک مقایسه کنی. با همین چند قدمِ ساده، دیگر لازم نیست بپرسی «فکر می‌کنم خوب است»؛ می‌توانی با عدد بگویی «این نسخه بهتر است، چون نمره‌اش بالاتر است».

این درس بخشی از یک مسیر بزرگ‌تر است. برای دیدن همهٔ سری‌های آموزشی و ترتیب یادگیری، سری کاملِ راهنمای جامع پرامپت‌نویسی را ببین و از همان‌جا قدم‌به‌قدم جلو برو.

نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید