پرامپت گام به عقب؛ اول اصل کلی، بعد جواب

وقتی یک پرسش پرجزئیات جلوی هوش مصنوعی می‌گذاری، مدل مستقیم می‌رود سراغ همان جزئیات و گاهی قاعده‌ای را که کل مسئله زیرمجموعه‌اش است نادیده می‌گیرد. تکنیک «گام به عقب» دقیقاً همین را اصلاح می‌کند: پیش از پاسخ، مدل یک قدم عقب می‌رود، اصل کلی‌تر را پیدا می‌کند و بعد بر اساس آن اصل جواب می‌دهد. این ساده‌ترین ترفندی است که کیفیت پاسخ در مسائل علمی و تحلیلی را به شکل قابل‌اندازه‌گیری بالا برده است.

۱) گام به عقب یعنی چه

تصور کن از یک استاد فیزیک می‌پرسی: «اگر فشار یک گاز ایده‌آل چهار برابر شود و دما دو برابر، حجم چه می‌شود؟» استاد خوب مستقیم عدد نمی‌دهد. اول می‌گوید «این مسئله زیرمجموعهٔ قانون گازهای ایده‌آل است» و بعد با تکیه بر همان قانون جواب می‌دهد.

مدل‌های زبانی به‌طور پیش‌فرض این کار را نمی‌کنند. آن‌ها روی جزئیات پرسش قفل می‌شوند و سعی می‌کنند از دل همان جزئیات جواب بسازند. وقتی جزئیات زیاد یا گمراه‌کننده باشند، این کار به خطا ختم می‌شود.

تکنیک گام به عقب یک مرحلهٔ اجباری اضافه می‌کند: اول اصل، بعد جواب. مدل باید بگوید این مسئله زیرمجموعهٔ چه قاعده، مفهوم یا چارچوب کلی‌تری است، و تازه بعد از آن پاسخ بدهد.

نکتهٔ ظریف اینجاست که این کار فقط یک آرایش ظاهری نیست. وقتی مدل اصل کلی را نام می‌برد، عملاً بخش درستی از دانشش را فعال می‌کند و پاسخ بعدی از دل همان بخش بیرون می‌آید.

۲) پشتوانهٔ پژوهشی و اعداد دقیق

این تکنیک در مقالهٔ «Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models» معرفی شد. نویسندگان آن از گوگل دیپ‌مایند بودند و فهرستشان شامل هوایشیو استیون ژنگ، سواروپ میشرا، شین‌یون چن، هنگ‌تسه چنگ، اد چی، کوک لی و دِنی ژو است. مقاله در مهر ۱۴۰۲ (اکتبر ۲۰۲۳) منتشر شد و در کنفرانس ICLR سال ۲۰۲۴ ارائه شد.

پژوهشگران روش را روی سه خانوادهٔ مدل آزمودند: PaLM-2L، GPT-4 و Llama2-70B. نتایج گزارش‌شده برای مدل PaLM-2L به این شرح است:

در آزمون MMLU بخش فیزیک، ۷ درصد بهبود؛ در بخش شیمی، ۱۱ درصد؛ در آزمون TimeQA که پرسش‌های وابسته به زمان را می‌سنجد، ۲۷ درصد؛ و در آزمون MuSiQue که استدلال چندمرحله‌ای را می‌سنجد، ۷ درصد.

عدد ۲۷ درصدی TimeQA بیشترین جهش است و منطق روشنی دارد: پرسش‌های وابسته به زمان دقیقاً همان‌هایی هستند که مدل در آن‌ها روی جزئیات قفل می‌شود و چارچوب کلی‌تر را از دست می‌دهد. وقتی مجبورش کنی اول چارچوب را بسازد، خطا به‌شدت کم می‌شود.

برای درک بهتر اینکه چرا این‌جور تفاوت‌هایی بین مدل‌ها و روش‌ها پیش می‌آید، مقایسهٔ عملی چت‌جی‌پی‌تی و دیپ‌سیک نمونهٔ خوبی است.

۳) متن کامل پرامپت

این متن را عیناً پیش از پرسشت بگذار:

قبل از پاسخ به سؤال من، یک گام به عقب بردار: اول اصل، قاعده یا مفهوم کلی‌تری که این مسئله زیرمجموعهٔ آن است را مشخص کن، سپس بر اساس آن اصل به سؤال جواب بده.

سه جزء این پرامپت را نباید دست‌کاری کرد:

«قبل از پاسخ» — ترتیب را تضمین می‌کند. اگر این قید نباشد، مدل معمولاً اول جواب می‌دهد و بعد برای توجیهش یک اصل کلی می‌آورد؛ که دقیقاً برعکس هدف است.

«اصل، قاعده یا مفهوم» — سه واژه عمداً کنار هم آمده‌اند تا در حوزه‌های مختلف کار کند. در فیزیک «قانون»، در حقوق «قاعده» و در بازاریابی «مفهوم» درست‌ترین کلمه است.

«بر اساس آن اصل» — اتصال دو مرحله را اجباری می‌کند. بدون آن، مدل ممکن است یک اصل کلی بنویسد و بعد جوابی بدهد که هیچ ربطی به آن ندارد.

۴) چهار نسخهٔ موقعیتی

نسخهٔ علمی و فنی

قبل از حل این مسئله، مشخص کن زیر کدام قانون یا اصل علمی قرار می‌گیرد و آن قانون را در یک جمله بنویس. سپس با استفادهٔ صریح از همان قانون، مسئله را گام‌به‌گام حل کن و در هر گام بگو کدام بخش قانون را به کار برده‌ای.

نسخهٔ کسب‌وکار

قبل از توصیه دادن، یک گام به عقب بردار: این وضعیت نمونه‌ای از کدام الگوی شناخته‌شده در کسب‌وکار است؟ آن الگو را توضیح بده و بگو معمولاً چه چیزی در آن جواب می‌دهد و چه چیزی نه. تازه بعد از آن، توصیهٔ مشخص برای وضعیت من بده.

نسخهٔ حقوقی و قراردادی

قبل از پاسخ، مشخص کن این پرسش زیرمجموعهٔ کدام قاعدهٔ کلی است و آن قاعده را بنویس. سپس بگو مورد من چه شباهت و چه تفاوتی با حالت متعارف آن قاعده دارد و در پایان جمع‌بندی کن.

نسخهٔ یادگیری

به‌جای جواب مستقیم، اول بگو این پرسش زیرمجموعهٔ کدام مفهوم کلی‌تر است و آن مفهوم را ساده توضیح بده. بعد نشان بده چطور از آن مفهوم به جواب این پرسش می‌رسیم، تا دفعهٔ بعد خودم بتوانم مسئله‌های مشابه را حل کنم.

الگوی مشترک هر چهار نسخه: ممنوعیت جواب مستقیم + نام‌بردن اصل + اتصال اجباری اصل به جواب. اگر می‌خواهی نسخهٔ اختصاصی خودت را بسازی، مرور آموزش پرامپت‌نویسی از صفر اجزای سازندهٔ یک پرامپت خوب را نشانت می‌دهد.

۵) چرا این تکنیک کار می‌کند

سه توضیح عملی برای اثر این روش وجود دارد.

فعال‌کردن دانش درست. وقتی مدل نام یک قانون یا چارچوب را می‌نویسد، آن نام در ادامهٔ گفتگو حاضر است و پاسخ بعدی در همان زمینه ساخته می‌شود. این همان چیزی است که پژوهشگران «انتزاع» نامیده‌اند.

عبور از جزئیات گمراه‌کننده. بعضی پرسش‌ها عمداً یا سهواً پر از جزئیات بی‌ربط‌اند. گام به عقب مدل را وادار می‌کند اول ساختار مسئله را ببیند، نه پوستهٔ آن را.

قابل‌بازبینی‌شدن پاسخ. وقتی اصل کلی نوشته شده باشد، خودت هم می‌توانی سریع بفهمی جواب درست است یا نه. اگر اصل اشتباه انتخاب شده باشد، لازم نیست کل استدلال را بخوانی؛ همان‌جا اصلاحش می‌کنی.

همین قابلیت بازبینی است که استفاده از هوش مصنوعی را در کارهای جدی قابل‌اتکا می‌کند؛ موضوعی که در توانایی‌ها و محدودیت‌های واقعی هوش مصنوعی بیشتر باز شده است.

۶) تفاوتش با تکنیک‌های مشابه

سه تکنیک نزدیک به این وجود دارد که خلط‌کردنشان رایج است.

در برابر زنجیرهٔ تفکر. زنجیرهٔ تفکر مدل را وادار می‌کند مسیر استدلالش را نشان بدهد، اما سطح انتزاع را عوض نمی‌کند؛ همچنان در دل همان جزئیات می‌ماند. گام به عقب اول از جزئیات بیرون می‌آید.

در برابر تجزیه به زیرمسئله. تجزیه مسئله را افقی می‌شکند: چند مسئلهٔ کوچک هم‌سطح. گام به عقب حرکتی عمودی است: یک سطح بالاتر می‌رود. این دو مکمل‌اند و می‌شود پشت‌سرهم استفاده‌شان کرد.

در برابر نقش‌دهی. نقش‌دهی چه کسی جواب می‌دهد را تعیین می‌کند؛ گام به عقب از کدام چارچوب جواب داده می‌شود. ترکیب این دو معمولاً بهترین نتیجه را می‌دهد: «تو یک متخصص فلان هستی. قبل از پاسخ یک گام به عقب بردار…»

۷) کجا بیشترین اثر را دارد

بر پایهٔ همان پژوهش و تجربهٔ عملی، این دسته‌ها بیشترین سود را می‌برند:

پرسش‌های علمی و مهندسی. جایی که قانون یا فرمول مشخصی پشت مسئله هست. بهبود در فیزیک و شیمی دقیقاً از همین‌جا می‌آید.

پرسش‌های وابسته به زمان و زمینه. بزرگ‌ترین جهش گزارش‌شده در همین دسته بود.

استدلال چندمرحله‌ای. جایی که باید چند واقعیت را به هم وصل کنی تا به جواب برسی.

در مقابل، برای پرسش‌های واقعیت‌محور و تک‌مرحله‌ای مثل «پایتخت فلان کشور کجاست» این تکنیک فقط جواب را طولانی می‌کند. برای کارهای خلاقانهٔ محض هم لزوماً کمک نمی‌کند، چون انتزاع می‌تواند خروجی را کلیشه‌ای کند. آموزش‌های بیشتری از این دست را در بخش آموزش‌های چت‌جی‌پی‌تی پیدا می‌کنی.

۸) پنج اشتباه رایج

اشتباه اول: نخواندن اصلی که مدل نوشته است. اگر اصل اشتباه باشد، جواب هم اشتباه است؛ و این‌بار با ظاهری معتبرتر.

اشتباه دوم: پذیرفتن اصل‌های خیلی کلی. اگر مدل نوشت «این مسئله زیرمجموعهٔ ریاضیات است»، انتزاع مفیدی رخ نداده. از او بخواه دقیق‌تر شود.

اشتباه سوم: استفاده برای پرسش‌های ساده. یک گام به عقب برای پرسشی که یک کلمه جواب دارد، فقط اتلاف وقت است.

اشتباه چهارم: حذف قید «قبل از پاسخ». بدون آن ترتیب به هم می‌خورد و تکنیک به توجیه بعد از جواب تبدیل می‌شود.

اشتباه پنجم: اکتفا به یک اصل. در مسائل میان‌رشته‌ای بهتر است بخواهی دو یا سه چارچوب مرتبط را نام ببرد و بگوید کدام مناسب‌تر است.

۹) یک مثال عملی

پرسش ساده: «چرا نرخ تبدیل صفحهٔ فروش من پایین است؟»

بدون گام به عقب، مدل معمولاً فهرستی از توصیه‌های عمومی می‌دهد: دکمه را بزرگ‌تر کن، عکس اضافه کن، متن را کوتاه کن.

با گام به عقب، مدل اول می‌نویسد که این مسئله زیرمجموعهٔ «قیف تبدیل» است و توضیح می‌دهد که نرخ پایین می‌تواند از سه جای متفاوت بیاید: کیفیت ترافیک ورودی، تطابق پیام صفحه با انتظار بازدیدکننده، یا اصطکاک در مرحلهٔ نهایی. بعد بر اساس همین چارچوب می‌پرسد یا فرض می‌گذارد که مشکل کدام‌یک است و توصیه‌اش را به همان مرحله محدود می‌کند.

تفاوت را ببین: نسخهٔ اول فهرست است، نسخهٔ دوم تشخیص. برای دیدن اینکه چنین چارچوب‌هایی در تصمیم‌های سازمانی چه نقشی دارند، اهمیت هوش مصنوعی در کسب‌وکار را بخوان.

پرسش‌های پرتکرار دربارهٔ پرامپت گام به عقب

این پرامپت روی همهٔ مدل‌ها جواب می‌دهد؟

پژوهش اصلی روی PaLM-2L، GPT-4 و Llama2-70B آزمایش شده و در هر سه اثر مثبت گزارش شده است. مدل‌های کوچک‌تر ممکن است مرحلهٔ انتزاع را سرسری بگیرند؛ در آن حالت صریح‌تر بنویس «اصل کلی را در یک پاراگراف جداگانه و پیش از جواب بنویس».

آیا جواب را طولانی نمی‌کند؟

بله، معمولاً یک تا دو پاراگراف طولانی‌تر می‌شود. اگر خروجی کوتاه می‌خواهی، اضافه کن «اصل کلی را حداکثر در دو جمله بنویس».

می‌شود با زنجیرهٔ تفکر ترکیبش کرد؟

بله و توصیه هم می‌شود. ترتیب درست این است: اول گام به عقب برای پیداکردن چارچوب، بعد زنجیرهٔ تفکر برای حل داخل آن چارچوب.

در کارهای نوشتاری هم مفید است؟

تا حدی. برای متن‌های استدلالی و تحلیلی مفید است چون ساختار فکری متن را محکم می‌کند. برای نوشتار خلاق و داستانی معمولاً محدودکننده است.

چطور بفهمم انتزاع درست انجام شده؟

معیار ساده‌ای هست: اصلی که مدل نام برده باید آن‌قدر مشخص باشد که بشود مسئله‌های دیگری را هم با آن حل کرد، ولی نه آن‌قدر کلی که به همه‌چیز بخورد. اگر با اصل اعلام‌شده نمی‌شود هیچ مسئلهٔ دیگری را حل کرد، انتزاع اتفاق نیفتاده است.