ارزیابی پرامپت؛ چطور بفهمیم پرامپت‌مان واقعاً خوب کار می‌کند

پرامپتِ خوب را نمی‌شود فقط با یک نگاه شناخت. همان‌طور که یک برنامه را با تست می‌سنجی، پرامپت را هم باید آزمود تا مطمئن شوی نتیجه‌اش اتفاقی نبوده است. ارزیابی پرامپت دقیقاً همین کار است: تبدیلِ حدس‌وگمان به عدد.

ارزیابی پرامپت یعنی چه و چرا اهمیت دارد؟

ارزیابی پرامپت یعنی به‌شکلی منظم بسنجی که یک پرامپت چقدر خوب به هدفت می‌رسد. تفاوتِ کلیدی با کارِ روزمره اینجاست: در حالت عادی یک بار می‌پرسی، جواب را می‌بینی و اگر خوب بود خوشحال می‌شوی؛ اما در ارزیابی، پرامپت را روی چند ورودیِ متفاوت امتحان می‌کنی و با معیارِ از پیش تعیین‌شده نمره می‌دهی. این کار همان چیزی است که یک پرامپتِ «شانسی» را از یک پرامپتِ «قابل‌اعتماد» جدا می‌کند.

اهمیتش وقتی روشن می‌شود که بخواهی یک پرامپت را بارها و برای دیگران به کار ببری؛ مثلاً پرامپتی که هر روز ایمیل‌هایت را خلاصه می‌کند یا برای تیمت گزارش می‌سازد. اگر تازه‌کار هستی، پیشنهاد می‌کنم اول راهنمای پرامپت‌نویسی برای مبتدیان را بخوانی تا پایهٔ کار محکم شود، بعد سراغ ارزیابی بیایی.

مثال: «این پرامپت خلاصه‌سازی را روی سه متنِ متفاوت اجرا کن و برای هرکدام بگو خلاصه چند درصد از نکته‌های اصلی را پوشش داده است.»

چرا «حسِ خوب» معیارِ قابل‌اعتمادی نیست؟

مشکلِ قضاوت با حس‌وحال این است که ما معمولاً پرامپت را فقط با یک نمونه امتحان می‌کنیم و همان یک جوابِ خوب را به کلِ پرامپت تعمیم می‌دهیم. اما مدل زبانی در هر اجرا مسیرِ کمی متفاوتی می‌رود؛ ممکن است این‌بار جوابِ درخشانی بدهد و دفعهٔ بعد روی همان کار بلغزد. یک نمونهٔ خوش‌شانس، هیچ تضمینی برای دفعه‌های بعد نیست.

ذهنِ ما هم سوگیری دارد: وقتی انتظار داریم جواب خوب باشد، ایرادهایش را کمتر می‌بینیم. برای همین ارزیابیِ چشمی و تک‌نمونه‌ای فریبنده است. برای درکِ بهترِ اینکه چرا این مدل‌ها گاهی خطا می‌کنند، خواندنِ توان و محدودیت‌های واقعی هوش مصنوعی کمک زیادی می‌کند.

مثال: «همین پرامپت را پنج بارِ پشت‌سرهم روی یک ورودیِ ثابت اجرا کن و بگو جواب‌ها چقدر با هم فرق دارند.»

سه معیارِ اصلی برای سنجشِ کیفیتِ یک پرامپت

پیش از هر تستی باید بدانی دنبالِ چه هستی. سه معیارِ ساده تقریباً برای هر پرامپتی کار می‌کنند. نخست درستی: آیا جواب از نظرِ محتوا صحیح و مرتبط است؟ دوم پایداری: آیا پرامپت روی ورودی‌های مختلف و در اجراهای پیاپی، کیفیتِ یکدست دارد؟ سوم رعایتِ قالب: آیا خروجی دقیقاً همان ساختاری را دارد که خواسته‌ای (طول، زبان، فرمتِ فهرست یا جدول)؟

برای هر معیار یک نمرهٔ ساده تعریف کن، مثلاً از صفر تا پنج، تا مقایسه ممکن شود. اگر خروجیِ ساختاریافته برایت مهم است، مرورِ کنترلِ قالبِ خروجی کمک می‌کند معیارِ سومت را دقیق‌تر بسنجی.

مثال: «هر جواب را بر اساسِ سه معیارِ درستی، پایداری و رعایتِ قالب از صفر تا پنج نمره بده و در یک جدولِ کوتاه بنویس.»

ساختنِ یک مجموعهٔ آزمونِ کوچک (اولین قدمِ عملی)

قلبِ ارزیابیِ درست، یک مجموعهٔ آزمون است: چند ورودیِ نمونه که پرامپت را روی آن‌ها امتحان می‌کنی. لازم نیست بزرگ باشد؛ پنج تا ده نمونه که تنوعِ کارِ واقعی‌ات را بپوشانند کافی است. حتماً چند نمونهٔ «سخت» یا مرزی هم بگذار، چون پرامپتِ ضعیف معمولاً همان‌جا لو می‌رود، نه روی نمونه‌های آسان.

برای هر نمونه، اگر می‌توانی جوابِ درستِ موردِانتظار را هم کنارش بنویس؛ این «کلیدِ پاسخ» داوری را بسیار آسان‌تر می‌کند. همین مجموعهٔ کوچک بعداً به تو اجازه می‌دهد هر تغییری در پرامپت را منصفانه بسنجی، چون همه‌ی نسخه‌ها را روی ورودی‌های یکسان امتحان می‌کنی.

مثال: «برای این کار، پنج ورودیِ نمونهٔ متنوع بساز که دوتای‌شان حالتِ دشوار و مبهم باشند، و برای هرکدام جوابِ درستِ موردِانتظار را هم بنویس.»

مقایسهٔ دو نسخهٔ پرامپت با تستِ A/B

وقتی مجموعهٔ آزمون آماده شد، بهبودِ پرامپت ساده می‌شود: دو نسخهٔ پرامپت را روی همان ورودی‌های ثابت اجرا کن و نتیجه‌ها را کنارِ هم بگذار. این همان تستِ A/B است. شرطِ منصفانه‌بودنِ مقایسه این است که فقط یک چیز را هر بار تغییر بدهی؛ اگر همزمان چند چیز را عوض کنی، نمی‌فهمی کدام تغییر اثر داشته است.

نتیجه را روی معیارهای سه‌گانه نمره بده و میانگین بگیر تا برنده روشن شود. گاهی نسخه‌ای که روی یک نمونه بهتر است، روی کلِ مجموعه بدتر درمی‌آید؛ دقیقاً به همین دلیل مقایسه روی چند نمونه ارزش دارد، نه یک نمونه. اگر می‌خواهی این نگاهِ آزمایشی را جدی دنبال کنی، مجموعهٔ آموزش مهندسی پرامپت مسیرِ منظمی پیش پایت می‌گذارد.

مثال: «این دو نسخهٔ پرامپت را روی هر پنج نمونه اجرا کن، هر خروجی را از صفر تا پنج نمره بده، و در پایان میانگینِ هر نسخه را اعلام کن.»

نمره‌دهی به پاسخ‌ها با کمکِ خودِ مدل

داوریِ دستیِ ده‌ها خروجی خسته‌کننده است. یک راهِ هوشمندانه این است که از خودِ مدل به‌عنوان داور کمک بگیری: به آن معیارها و کلیدِ پاسخ را بدهی و بخواهی هر خروجی را نمره بدهد و دلیل بیاورد. این کار سرعت را چند برابر می‌کند، به‌شرطی که معیارها را دقیق و بدونِ ابهام بنویسی.

البته داوریِ مدل بی‌عیب نیست؛ برای کارهای حساس، بهتر است چند نمونه را خودت هم دستی بازبینی کنی تا به داورِ خودکار اعتماد کنی. برای عمیق‌شدن در این روش، آموزشِ پرامپت داور را از دست نده؛ همان‌جا نشان داده‌ایم چطور یک داورِ منصف و دقیق بسازی.

مثال: «تو داورِ کیفیت هستی. هر خروجی را بر پایهٔ این سه معیار از صفر تا پنج نمره بده، دلیلِ کوتاه بنویس، و در پایان جدولِ نمره‌ها را بده.»

چرخهٔ بهبود؛ از نسخهٔ خام تا پرامپتِ پایدار

ارزیابی یک‌بار انجام نمی‌شود؛ یک چرخه است: پرامپت را می‌نویسی، روی مجموعهٔ آزمون تست می‌کنی، ضعیف‌ترین نمونه‌ها را پیدا می‌کنی، پرامپت را اصلاح می‌کنی و دوباره می‌سنجی. هر دور، ضعف‌های آشکار برطرف می‌شوند و نمرهٔ میانگین بالا می‌رود، تا جایی که بهبودِ بیشتر دیگر صرف نمی‌کند.

نکتهٔ مهم این است که تغییراتِ کوچک و کنترل‌شده بدهی و بعد از هر تغییر دوباره تست کنی؛ همچنین پارامترهایی مثلِ تصادفی‌بودنِ خروجی هم بر پایداری اثر می‌گذارند، که در آموزشِ دما و پارامترهای نمونه‌برداری شرحش داده‌ایم. اگر می‌خواهی پایداریِ جوابِ یک نمونه را جداگانه محکم کنی، اجماع چندپاسخ ابزارِ خوبی است.

مثال: «دو نمونه‌ای که کمترین نمره را گرفتند نشان بده، حدس بزن چرا پرامپت روی آن‌ها ضعیف بوده، و یک نسخهٔ اصلاح‌شده پیشنهاد کن.»

اشتباه‌های رایج در ارزیابی پرامپت

اشتباهِ اول، تست روی یک نمونه است؛ همان دامی که در ابتدای این درس دربارهٔ «حسِ خوب» گفتیم. اشتباهِ دوم، تغییرِ چند چیز به‌صورتِ همزمان است که مقایسه را بی‌معنا می‌کند. اشتباهِ سوم، نداشتنِ معیارِ روشن است؛ وقتی ندانی «خوب» یعنی چه، هیچ نمره‌ای واقعی نیست.

اشتباهِ چهارم، اعتمادِ کامل به داورِ خودکار بدونِ هیچ بازبینیِ انسانی است. و اشتباهِ پنجم، فراموش‌کردنِ نمونه‌های سخت است؛ پرامپتی که فقط روی نمونه‌های آسان تست شده، در کارِ واقعی غافلگیرت می‌کند. برای اطمینان از درستیِ محتوا هم می‌توانی زنجیرهٔ راستی‌آزمایی را کنارِ ارزیابی به کار ببری.

مثال: «فهرستی از پنج ورودیِ دشوار برای این کار پیشنهاد کن که بیشترین احتمالِ شکستِ پرامپت را داشته باشند.»

پرسش‌های پرتکرار

مجموعهٔ آزمون باید چند نمونه داشته باشد؟ برای کارهای روزمره، پنج تا ده نمونهٔ متنوع کافی است. مهم‌تر از تعداد، تنوع است: چند نمونهٔ آسان، چند نمونهٔ سخت و مرزی. اگر پرامپت برای کارِ حساس یا تیمی است، تعداد را بیشتر کن.

آیا حتماً باید کلیدِ پاسخ داشته باشم؟ نه همیشه. برای کارهای عینی مثلِ محاسبه یا استخراجِ داده، کلیدِ پاسخ داوری را آسان می‌کند. اما برای کارهای بازِ خلاقانه، به‌جای کلید، یک معیارِ کیفی روشن (مثلِ لحن یا پوششِ نکته‌ها) تعریف کن.

ارزیابی با کمکِ خودِ مدل قابل‌اعتماد است؟ برای غربالِ سریع و مقایسهٔ نسخه‌ها بله، اما بی‌عیب نیست. بهترین کار، ترکیبِ داورِ خودکار با بازبینیِ دستیِ چند نمونه است تا هم سرعت داشته باشی و هم اطمینان.