پرامپت فعال (Active Prompting)؛ مثال‌ها را جای درستشان خرج کن

بیشتر ما وقتی می‌خواهیم جواب بهتری از هوش مصنوعی بگیریم، فقط یک کار می‌کنیم: مثال بیشتری در پرامپت می‌چپانیم. اما نکتهٔ پنهان این است که کیفیت و «جای درستِ» مثال، خیلی مهم‌تر از تعداد آن است. «پرامپت فعال» (Active Prompting) دقیقاً همین را حل می‌کند: به‌جای مثال‌زدن کورکورانه، اول پیدا می‌کنی مدل کجا مردد است و بعد دقیقاً همان‌جا یک مثال طلایی می‌گذاری.

گام اول: پرامپت فعال چیست و چه فرقی با مثال‌محور دارد؟

روش «مثال‌محور» (few-shot) می‌گوید چند نمونهٔ ورودی و خروجی به مدل نشان بده تا الگو را یاد بگیرد. این پایهٔ خوبی است و اگر هنوز با آن آشنا نیستی، پیشنهاد می‌کنم اول پرامپت‌نویسی به زبان ساده را بخوانی. اما یک پرسش مهم بی‌جواب می‌ماند: از میان ده‌ها نمونهٔ ممکن، کدام را به‌عنوان مثال انتخاب کنم؟ بیشتر ما مثال‌ها را شانسی یا بر اساس حدس خودمان برمی‌داریم و معمولاً هم نمونه‌های آسان را، چون نوشتن جوابشان راحت‌تر است.

پرامپت فعال این انتخاب را از «حدس» به «داده» تبدیل می‌کند. ایدهٔ اصلی این است: مدل روی بعضی نمونه‌ها مطمئن است و روی بعضی مردد. اگر برای نمونه‌هایی که مدل قبلاً هم درست جواب می‌دهد مثال بگذاری، چیزی عوض نمی‌شود. سود واقعی وقتی به‌دست می‌آید که مثال را دقیقاً برای نمونه‌هایی بنویسی که مدل روی آن‌ها می‌لغزد. پس پرامپت فعال یعنی: «اول بفهم مدل کجا ضعیف است، بعد همان‌جا را تقویت کن.»

مثال: «این پنج پیام مشتری را به یکی از دسته‌های [شکایت، سؤال فنی، درخواست بازگشت وجه، تعریف، نامرتبط] نسبت بده. برای هر پیام، درصد اطمینان خودت را هم از ۰ تا ۱۰۰ بنویس و اگر زیر ۷۰ بود، دلیل تردیدت را توضیح بده.»

گام دوم: چرا انتخاب مثال مهم‌تر از تعداد مثال است؟

جای هر مثال در پرامپت، هم توکن می‌گیرد و هم توجه مدل را مصرف می‌کند. اگر ده مثال آسان بگذاری، در عمل ده بار چیزی را به مدل یاد داده‌ای که از قبل بلد بود؛ فقط هزینه و طول متن را بالا برده‌ای. در مقابل، سه مثال که دقیقاً روی نقاط لغزندهٔ مدل تمرکز دارند، می‌توانند دقت کل کار را به‌طرز محسوسی بالا ببرند. این همان تفاوت میان «کار بیشتر» و «کار درست» است.

این منطق شبیه همان چیزی است که در آموزش‌های کار با ChatGPT بارها دیده‌ایم: مدل محدودیت توجه دارد و هر چیزی که در پرامپت می‌گذاری باید «ارزش جا گرفتن» را داشته باشد. پرامپت فعال یک فیلتر ساده به تو می‌دهد: مثالی را نگه دار که به مدل چیز تازه‌ای یاد می‌دهد، و مثال تکراری و بدیهی را دور بریز.

مثال: «فرض کن فقط اجازه داری سه مثال در پرامپت بگذاری. از بین این هشت نمونه، سه نمونه‌ای را انتخاب کن که بیشترین ابهام یا بیشترین احتمال خطا را دارند و بگو چرا همین سه‌تا بیشترین کمک را می‌کنند.»

گام سوم: ریشهٔ علمی روش از کجا می‌آید؟

پرامپت فعال از ایده‌ای در یادگیری ماشین به نام «یادگیری فعال» (Active Learning) الهام گرفته است: وقتی برچسب‌زدن داده گران است، فقط داده‌هایی را برای برچسب‌خوردن انتخاب کن که مدل بیشترین عدم‌قطعیت را روی آن‌ها دارد. پژوهشگران همین منطق را به دنیای پرامپت آوردند: به‌جای نوشتن مثال برای نمونه‌های تصادفی، تلاشِ محدودِ انسان صرف نمونه‌هایی شود که بیشترین سود را برمی‌گردانند. اگر دوست داری این‌طور نگاه‌های ریشه‌ای را بیشتر بشناسی، توان و محدودیت‌های واقعی هوش مصنوعی زمینهٔ خوبی به تو می‌دهد.

مثال: «مثل یک متخصص یادگیری فعال فکر کن: از این فهرست ده‌تایی، فقط نمونه‌هایی را برای برچسب‌خوردن پیشنهاد بده که اگر جوابشان را به تو یاد بدهم، بیشترین بهبود را در کل کار می‌گیری؛ و دلیل انتخاب هرکدام را کوتاه بنویس.»

گام چهارم: عدم‌قطعیت مدل را چطور پیدا کنیم؟

قلب پرامپت فعال، «اندازه‌گیری تردید» است. ساده‌ترین راه این است که یک نمونه را چند بار (مثلاً چهار تا پنج بار) از مدل بپرسی و ببینی جواب‌ها چقدر با هم فرق دارند. اگر هر بار تقریباً همان جواب را گرفتی، مدل مطمئن است. اگر جواب‌ها پراکنده و متناقض بودند، آن نمونه یک نقطهٔ مبهم است. این پراکندگی را می‌توان با رأی اکثریت یا با شمارشِ تعداد جواب‌های متفاوت سنجید.

در عمل لازم نیست فرمول ریاضی بنویسی؛ می‌توانی همین کار را با یک پرامپت به خود مدل بسپاری. حتی می‌توانی از مدل بخواهی خودش میزان پراکندگی را خلاصه کند. این شبیه منطق مقایسهٔ رفتار مدل‌ها در موقعیت‌های سخت است: جایی که جواب قطعی نیست، تفاوت‌ها خودشان را نشان می‌دهند.

مثال: «به این سؤال چهار بار و هر بار مستقل جواب بده: ‹این جملهٔ نظر کاربر مثبت است یا منفی: فروش خوب بود ولی پشتیبانی افتضاح.› بعد از چهار جواب، بگو چند جواب متفاوت دادی و روی این نمونه چقدر مطمئنی.»

گام پنجم: سخت‌ترین نمونه‌ها را رتبه‌بندی و انتخاب کن

وقتی تردید چند نمونه را سنجیدی، آن‌ها را از «پرتناقض‌ترین» به «مطمئن‌ترین» مرتب کن و فقط چند نمونهٔ بالای فهرست را نگه دار. تعداد مناسب معمولاً بین سه تا شش نمونه است؛ بیشتر از این، سود اضافه کم می‌شود ولی طول پرامپت زیاد. هدف این نیست که همهٔ نمونه‌های سخت را پوشش بدهی، بلکه این است که بیشترین ابهام را با کمترین مثال بپوشانی.

یک نکتهٔ مهم: نمونه‌هایی که مدل با اطمینانِ بالا اما غلط جواب می‌دهد، با این روش لو نمی‌روند، چون تردیدی در کار نیست. برای همین پرامپت فعال را همیشه با یک وارسی کوچک انسانی ترکیب کن تا این خطاهای «مطمئن ولی غلط» هم دیده شوند. درک این محدودیت همان چیزی است که یک کاربر حرفه‌ای را از یک کاربر معمولی جدا می‌کند؛ موضوعی که در توهمِ ساختن با هوش مصنوعی هم به آن پرداخته‌ایم.

مثال: «این شش نمونه را بر اساس میزان تردیدی که در جواب‌دادن داشتی از زیاد به کم مرتب کن و سه نمونهٔ اول را که بیشترین ابهام را دارند جدا کن تا برایشان پاسخ نمونه بنویسم.»

گام ششم: برای همان نمونه‌های سخت، مثال طلایی بنویس

حالا نوبت بخش انسانی کار است. برای هر نمونهٔ سختی که انتخاب کردی، یک پاسخ نمونهٔ دقیق و درست بنویس؛ نه فقط جواب نهایی، بلکه مسیر رسیدن به آن. اگر کار از جنس استدلال است، گام‌های فکری را هم بیاور تا مدل یاد بگیرد چطور فکر کند، نه فقط چه بگوید. این مثال‌های طلایی همان چیزی هستند که بعداً وارد پرامپت اصلی می‌شوند.

کیفیت این مثال‌ها همه‌چیز را تعیین می‌کند. یک مثال مبهم یا نیمه‌درست، مدل را بیشتر گمراه می‌کند. پس روی همین چند مثال وقت بگذار؛ چون تنها جایی است که دخالت دقیق انسان بیشترین بازده را دارد.

مثال: «برای این نمونهٔ سخت، یک پاسخ نمونهٔ کامل بنویس که شامل این بخش‌ها باشد: ۱) برداشت از سؤال، ۲) گام‌های تحلیل، ۳) جواب نهایی با همان قالبی که می‌خواهم. طوری بنویس که بشود عیناً به‌عنوان مثال آموزشی استفاده‌اش کرد.»

گام هفتم: پرامپت نهایی را بساز و روی کل دسته اجرا کن

مثال‌های طلایی را در بالای پرامپت بچین، بعد دستور اصلی و ورودی تازه را بیاور. از این لحظه، مدل برای همهٔ نمونه‌های آن کار، همان الگوی درست را دنبال می‌کند؛ مخصوصاً روی نقاطی که قبلاً می‌لغزید. چون مثال‌ها را هدفمند انتخاب کرده‌ای، معمولاً با همین سه تا شش مثال جهش دقت می‌گیری.

این روش به‌خصوص برای کارهای تکرارشونده و حجیم می‌ارزد؛ جایی که یک‌بار زحمتِ انتخاب مثال می‌کشی و صدها بار از نتیجه‌اش استفاده می‌کنی. برای آشنایی با اینکه چرا این نوع بهره‌وری در محیط کار اهمیت دارد، چرا هوش مصنوعی برای کسب‌وکار مهم است را ببین.

مثال: «از این پس برای هر پیام مشتری که می‌فرستم، دقیقاً مثل سه مثال بالا عمل کن: اول دسته را تعیین کن، بعد درصد اطمینان را بنویس، و اگر زیر ۷۰ بود دلیل تردید را بیاور. اولین پیام: ‹سفارشم دو هفته است نرسیده و کسی جواب تلفن نمی‌دهد.›»

گام هشتم: کجا به‌درد می‌خورد و کجا نمی‌ارزد؟

پرامپت فعال برای یک سؤال یک‌بارهٔ ساده ارزش ندارد؛ هزینهٔ چند بار پرسیدن و نوشتن مثال، بیشتر از سودش می‌شود. اما وقتی قرار است یک کار را ده‌ها یا صدها بار تکرار کنی — دسته‌بندی پیام، استخراج داده از متن، نمره‌دادن به پاسخ‌ها، یا هر کار دسته‌ای دیگر — آن‌وقت این سرمایه‌گذاریِ اولیه چند برابر برمی‌گردد.

یک قاعدهٔ سرانگشتی: اگر خروجی یک کار برایت مهم است و قرار است بارها اجرایش کنی، پرامپت فعال به‌صرفه است. اگر فقط یک‌بار و برای کار کم‌اهمیت است، همان مثال‌محورِ ساده کافی است. برای دیدن جدیدترین ابزارها و قابلیت‌هایی که این کارها را راحت‌تر می‌کنند هم می‌توانی بخش اخبار هوش مصنوعی را دنبال کنی.

مثال: «این کار قرار است هفته‌ای ۲۰۰ بار اجرا شود. قبل از ساختن مثال‌ها، به من بگو آیا پرامپت فعال برای این حجم به‌صرفه است یا نه، و تخمین بزن چند مثال طلایی کافی است.»

گام نهم: خطاهای رایج و نکات حرفه‌ای

اولین خطا این است که دمای خروجی را خیلی پایین بگذاری و بعد تعجب کنی چرا جواب‌ها هیچ تفاوتی ندارند؛ برای دیدن پراکندگی به کمی تنوع نیاز داری. دومین خطا، نوشتن مثال طلایی سرسری است؛ یادت باشد این چند مثال، ستون کار است. سومین خطا این است که فکر کنی پرامپت فعال جای وارسی انسانی را می‌گیرد؛ این روش نقاط «مردد» را پیدا می‌کند، نه نقاط «مطمئن ولی غلط» را.

نکتهٔ حرفه‌ای: نمونه‌هایی که برای سنجش تردید انتخاب می‌کنی باید نمایندهٔ واقعیِ کارت باشند، نه موارد عجیب‌وغریب. اگر پولِ سنجش را روی نمونه‌های نامتعارف خرج کنی، مثال‌هایت هم به کار اصلی نمی‌خورند. کمی صبر در انتخاب نمونهٔ نماینده، بعداً خودش را در دقت نشان می‌دهد.

مثال: «پنج نمونه از رایج‌ترین حالت‌های این کار (نه موارد استثنایی) را پیشنهاد بده که اگر تردید مدل را روی همین‌ها بسنجم، نتیجه به کل کار تعمیم پیدا کند.»

پرسش‌های پرتکرار

پرامپت فعال با زنجیرهٔ تفکر فرق دارد؟ بله. زنجیرهٔ تفکر دربارهٔ نحوهٔ فکرکردن مدل است، اما پرامپت فعال دربارهٔ انتخاب مثال‌هایی است که آن تفکر را آموزش می‌دهند. این دو مکمل‌اند: می‌توانی برای نمونه‌های سخت، مثال‌هایی با استدلال گام‌به‌گام بنویسی.

چند بار باید یک نمونه را بپرسم؟ معمولاً سه تا پنج بار برای دیدن پراکندگی کافی است. اگر جواب‌ها خیلی زود یک‌دست شدند، همان نمونه مطمئن است و نیازی به مثال ندارد.

برای ChatGPT رایگان هم کار می‌کند؟ بله. هستهٔ روش فقط «چند بار پرسیدن و دیدن تفاوت‌ها» است و به ابزار خاصی وابسته نیست. فقط حواست باشد که چند بار پرسیدن کمی زمان و توکن می‌برد.