پروژهٔ پایانی: ساخت و ارزیابی جعبه‌ابزار پرامپت حرفه‌ای

نقشهٔ راه مهندسی پرامپت پر از تکنیک است: زنجیرهٔ تفکر، مثال‌محور، نقش‌دهی، کنترل قالب، درخت تفکر و بقیه. اما یک فاصلهٔ بزرگ بین «تکنیک را می‌شناسم» و «می‌دانم کِی کدام را استفاده کنم» وجود دارد.

این پروژهٔ پایانی برای پر کردن همان فاصله است. کاری که می‌کنیم ساختن یک پرامپت خوب نیست — ساختن یک جعبه‌ابزار پرامپتِ آزموده‌شده با معیار سنجش عددی است. یعنی همان کاری که یک مهندس پرامپت واقعی در شغلش انجام می‌دهد.

بریف پروژه

یک کار تکراری واقعی انتخاب کن که حداقل هفته‌ای سه بار انجامش می‌دهی. برای آن یک جعبه‌ابزار پرامپت بساز که:

• حداقل سه نسخهٔ متفاوت از پرامپت داشته باشد (نه سه پرامپت متفاوت، سه نسخه از یک پرامپت).
• با یک معیار نمره‌دهی مشخص ارزیابی شده باشد.
• روی حداقل هشت ورودی آزمایشی اجرا شده باشد.
• یک نسخهٔ برنده با دلیل عددی داشته باشد.
• موارد شکست را ثبت کرده باشد؛ یعنی ورودی‌هایی که حتی نسخهٔ برنده هم روی آن‌ها بد عمل می‌کند.

کارهای مناسب برای این پروژه

حوزه	کار پیشنهادی	چرا مناسب است
فروش	پاسخ به اعتراض مشتری	ورودی متنوع، خروجی قابل‌سنجش
محتوا	تبدیل مقاله به رشته‌پست	قالب مشخص، معیار روشن
آموزش	ساخت سؤال چهارگزینه‌ای از متن درسی	درست/غلط قابل‌تشخیص
مدیریت	یادداشت جلسه به فهرست اقدام	ساختار ثابت، جزئیات متغیر
پشتیبانی	دسته‌بندی و پاسخ اولیه به تیکت	حجم بالا، ارزش زیاد
برنامه‌نویسی	نوشتن تست برای تابع	خروجی قابل‌اجرا و قابل‌سنجش

کاری را انتخاب نکن که خروجی‌اش کاملاً سلیقه‌ای است؛ چون نمی‌توانی نمره بدهی. باید بشود گفت «این خروجی از آن یکی بهتر است، چون…».

مرحلهٔ ۱ — تعریف معیار (قبل از نوشتن هر پرامپتی)

این مهم‌ترین و پرش‌شونده‌ترین مرحله است. قبل از نوشتن پرامپت، بنویس خروجی خوب چه شکلی است. مثال برای «پاسخ به اعتراض مشتری»:

معیار نمره‌دهی (هر کدام ۰ تا ۵):

۱. اعتراض را دقیقاً فهمیده و به همان جواب داده؟
۲. لحن با برند ما می‌خواند؟ (حرفه‌ای، بدون تعارف اضافه)
۳. طول مناسب است؟ (بین سه تا شش جمله)
۴. ادعای بی‌پشتوانه یا وعدهٔ غیرقابل‌انجام ندارد؟
۵. قدم بعدی روشن پیشنهاد داده؟

نمرهٔ قابل‌قبول: حداقل ۲۰ از ۲۵، و هیچ بندی زیر ۳ نباشد.

آن شرط آخر مهم است: میانگین خوب می‌تواند یک ضعف فاجعه‌بار را پنهان کند. اگر خروجی وعدهٔ دروغ بدهد، بقیهٔ بندها بی‌معنی‌اند.

مرحلهٔ ۲ — ساخت مجموعه آزمون

هشت تا دوازده ورودی واقعی جمع کن. نه ورودی ساختگی و تمیز — ورودی واقعی و کثیف. و حتماً این چهار نوع را داشته باش:

نوع ورودی	تعداد	چرا لازم است
معمولی و رایج	۴	حالت اصلی استفاده
مبهم و ناقص	۲	واقعیت همیشه تمیز نیست
طولانی و شلوغ	۲	تست تمرکز مدل
لبه‌ای و عجیب	۲	اینجا پرامپت‌های ضعیف می‌شکنند

مورد آخر جایی است که بیشترین یادگیری اتفاق می‌افتد. ورودی لبه‌ای یعنی چیزی مثل مشتری عصبانی که سه اعتراض را با هم مطرح کرده، یا متنی که نیمه‌فارسی و نیمه‌انگلیسی است.

مرحلهٔ ۳ — سه نسخه با فلسفهٔ متفاوت

حالا سه نسخه بنویس که هرکدام رویکرد متفاوتی دارند:

نسخهٔ الف — ساختاریافتهٔ ساده

نقش: کارشناس ارشد پشتیبانی مشتری.
موقعیت: مشتری این اعتراض را مطرح کرده: [ورودی]
هدف: پاسخی که اعتراض را رفع کند و مکالمه را جلو ببرد.
لحن: حرفه‌ای، همدلانه، بدون تعارف اضافه.
طول: سه تا شش جمله.
خروجی: فقط متن پاسخ، بدون توضیح اضافه.

نسخهٔ ب — مثال‌محور

همان بالا، به‌علاوهٔ دو نمونهٔ واقعی از پاسخ‌های خوب گذشته:

...
نمونه‌های پاسخ خوب ما:

اعتراض: «قیمتتان از رقبا بالاتر است.»
پاسخ خوب: «درست می‌فرمایید، قیمت ما بالاتر است. دلیلش
گارانتی دوساله و پشتیبانی حضوری است که در این بازه معمولاً
هزینهٔ کمتری برای شما دارد. اگر بخواهید، محاسبهٔ دقیق را
برایتان می‌فرستم.»

اعتراض: «باید با شریکم مشورت کنم.»
پاسخ خوب: [...]

حالا برای این اعتراض پاسخ بنویس: [ورودی]

نسخهٔ ج — استدلالی با خودبازبینی

نقش: کارشناس ارشد پشتیبانی مشتری.

مرحله ۱ — تحلیل (این بخش را نمایش نده، فقط برای خودت):
- اعتراض واقعی پشت این جمله چیست؟
- آیا اعتراض دربارهٔ قیمت است یا اعتماد یا زمان‌بندی؟
- مشتری در کدام مرحلهٔ تصمیم است؟

مرحله ۲ — نوشتن پاسخ با این قیدها:
[همان قیدهای نسخهٔ الف]

مرحله ۳ — بازبینی خودت:
پاسخ را با این معیارها چک کن و اگر بندی رعایت نشده، بازنویسی کن:
[معیار پنج‌بندی]

خروجی نهایی: فقط متن پاسخ نهایی.

ورودی: [ورودی]

این سه نسخه، سه تکنیک متفاوت از نقشهٔ راه‌اند: ساختار پایه، آناتومی حرفه‌ای، مثال‌محور، و زنجیرهٔ تفکر با خودبازبینی.

مرحلهٔ ۴ — اجرای آزمون و ثبت نتایج

هر سه نسخه را روی هر ده ورودی اجرا کن. یعنی سی خروجی. در یک جدول ثبت کن:

| ورودی | نسخه | م۱ | م۲ | م۳ | م۴ | م۵ | جمع | یادداشت      |
|-------|------|----|----|----|----|----|-----|--------------|
| ۱     | الف  | 4  | 3  | 5  | 5  | 4  | 21  | لحن کمی خشک |
| ۱     | ب    | 5  | 5  | 4  | 5  | 4  | 23  | ✓            |
| ۱     | ج    | 5  | 4  | 3  | 5  | 5  | 22  | طولانی شد    |
| ۲     | الف  | ...                                            |

نکتهٔ روش‌شناختی: اگر می‌توانی، نمره‌دهی را کور انجام بده — یعنی خروجی‌ها را به‌هم بریز و بدون دانستن اینکه کدام از کدام نسخه است، نمره بده. سوگیری ناخودآگاه به‌سمت نسخه‌ای که برایش زحمت بیشتری کشیده‌ای، واقعی است.

مرحلهٔ ۵ — تحلیل، نه فقط مقایسه

حالا میانگین‌ها را حساب کن. اما کار اصلی، این چهار سؤال است:

1. کدام نسخه در کدام نوع ورودی بهتر بود؟ اغلب نسخهٔ ساده روی ورودی معمولی برنده است و نسخهٔ استدلالی روی ورودی لبه‌ای. این یعنی شاید به دو پرامپت نیاز داری، نه یکی.
2. کدام معیار همیشه پایین بود؟ اگر بند «طول مناسب» در هر سه نسخه ضعیف است، مشکل از پرامپت نیست؛ از تعریف تو از طول است.
3. کدام ورودی همه را شکست داد؟ این‌ها «موارد شکست» تو هستند و باید مستند شوند.
4. آیا نسخهٔ پیچیده‌تر واقعاً ارزش هزینه‌اش را دارد؟ اگر نسخهٔ ج فقط یک نمره بهتر از الف است ولی سه برابر طولانی‌تر و کندتر، برنده الف است.

سؤال چهارم را جدی بگیر. مهندسی پرامپت یعنی تعادل بین کیفیت و هزینه، نه رسیدن به پیچیده‌ترین پرامپت ممکن.

مرحلهٔ ۶ — نسخهٔ نهایی و مستندسازی

# جعبه‌ابزار: [نام کار]

## نسخهٔ برنده
[متن کامل پرامپت]

## چرا این نسخه
میانگین نمره: ۲۲٫۴ از ۲۵ (نسخهٔ الف: ۲۰٫۱ | نسخهٔ ج: ۲۱٫۸)
قوت اصلی: ...
ضعف پذیرفته‌شده: ...

## کِی از این استفاده نکنم
- ...
- ...

## موارد شکست شناخته‌شده
۱. ورودی‌های نیمه‌انگلیسی: مدل لحن را عوض می‌کند.
   راه‌حل موقت: در پرامپت تصریح کن خروجی فقط فارسی باشد.
۲. ...

## نسخهٔ جایگزین برای موارد خاص
[اگر برای ورودی لبه‌ای پرامپت جدا لازم است]

## تاریخچهٔ تغییرات
v1 — نسخهٔ اولیه
v2 — افزودن قید طول (میانگین از ۱۸ به ۲۰ رسید)
v3 — افزودن دو مثال (میانگین به ۲۲٫۴ رسید)

آن بخش «تاریخچه» چیزی است که کار تو را از یک تمرین به یک محصول مهندسی تبدیل می‌کند.

معیار ارزیابی پروژه

معیار	امتیاز
معیار سنجش قبل از پرامپت تعریف شده	۱۵
مجموعه آزمون شامل هر چهار نوع ورودی	۱۵
سه نسخه با فلسفهٔ واقعاً متفاوت	۱۵
جدول نتایج کامل و عددی	۱۵
تحلیل بر اساس نوع ورودی، نه فقط میانگین کلی	۱۵
موارد شکست مستند شده	۱۵
تاریخچهٔ نسخه‌ها با اثر عددی هر تغییر	۱۰

زیر ۷۰: بیشتر یک تمرین است تا مهندسی. ۷۰ تا ۸۵: کار حرفه‌ای. بالای ۸۵: قابل‌ارائه در نمونه‌کار شغلی.

پرامپت داور

نقش: مهندس ارشد پرامپت، سخت‌گیر و روش‌شناس.

زمینه: [کل مستند جعبه‌ابزار + جدول نتایج]

کار: این کار را از نظر روش‌شناسی نقد کن، نه از نظر نتیجه.

۱) آیا معیار نمره‌دهی واقعاً قابل‌سنجش است یا بندهایی
   دارد که سلیقه‌ای‌اند؟ کدام بند مبهم است؟
۲) آیا مجموعه آزمون به‌اندازهٔ کافی متنوع است؟
   چه نوع ورودی‌ای جا افتاده؟
۳) آیا سه نسخه واقعاً متفاوت‌اند یا یک نسخه با
   تغییرات جزئی؟
۴) آیا نتیجه‌گیری از داده‌ها پشتیبانی می‌شود
   یا نویسنده چیزی را که می‌خواست دیده است؟
۵) کدام «مورد شکست» احتمالاً با یک تغییر ساده قابل‌رفع است؟
۶) اگر این جعبه‌ابزار قرار بود هر روز صد بار اجرا شود،
   چه چیزی در آن مشکل‌ساز می‌شد؟

خروجی: نقد در شش بند + سه پیشنهاد مشخص برای نسخهٔ بعد.
ممنوع: تعریف کلی، بازنویسی پرامپت.

سه سطح دشواری

سطح	دامنه	زمان
مقدماتی	دو نسخه، شش ورودی، معیار سه‌بندی	۳ ساعت
استاندارد	بریف کامل بالا	۶ ساعت
پیشرفته	به‌علاوهٔ: اجرا روی دو مدل مختلف و مقایسه، نمره‌دهی کور، و ساخت متاپرامپتی که نسخهٔ بعدی را پیشنهاد دهد	۱۲ ساعت

سطح پیشرفته دقیقاً همان کاری است که در متاپرامپت دیدیم: بگذار مدل، پرامپت بعدی را بر اساس داده‌های شکست پیشنهاد بدهد.

پرسش‌های پرتکرار

سی خروجی را دستی نمره بدهم؟ خیلی زیاد نیست؟
حدود یک ساعت طول می‌کشد و ارزشمندترین ساعت کل پروژه است. اگر بخواهی نمره‌دهی را هم به مدل بسپاری، دست‌کم بیست درصد را خودت بازبینی کن تا مطمئن شوی داور قابل‌اعتماد است.

اگر هر سه نسخه نمرهٔ نزدیک گرفتند چه؟
یعنی کار تو به پرامپت پیچیده نیاز ندارد و ساده‌ترین نسخه برنده است. این هم یک نتیجهٔ کاملاً معتبر و ارزشمند است.

این پروژه چه فایدهٔ شغلی دارد؟
دقیقاً همان چیزی است که کارفرما در مصاحبهٔ مهندسی پرامپت می‌خواهد ببیند: توانایی سنجش، نه فقط توانایی نوشتن.

می‌توانم از پرامپت‌های آماده استفاده کنم؟
به‌عنوان نقطهٔ شروع بله، اما ارزش پروژه در آزمودن و اصلاح روی داده‌های واقعی خودت است.

جمع‌بندی

مهندسی پرامپت یعنی معیار قبل از پرامپت، مجموعه آزمون متنوع، چند نسخه با فلسفه‌های متفاوت، نمره‌دهی عددی، تحلیل بر اساس نوع ورودی، و مستندسازی موارد شکست. هرکس می‌تواند پرامپت بنویسد؛ کسی که می‌تواند ثابت کند پرامپتش بهتر است، مهندس پرامپت است.

مسیر کامل را در نقشهٔ راه مهندسی پرامپت ببین و در @MrChatGPT_IR همراه ما باش.