قسمت ۶ — اشتباهات رایج زنجیرهٔ تفکر و راه اصلاح

قسمت ششم از سری «زنجیرهٔ تفکر»: تا اینجا دیدیم روش کجا کار می‌کند. این قسمت دربارهٔ جایی است که کار نمی‌کند و تو متوجه نمی‌شوی — استدلالی که خوش‌ظاهر است ولی به جواب وصل نیست، زنجیره‌ای که بی‌جهت بلند می‌شود، و خطایی که از مرحلهٔ اول تا آخر سالم می‌ماند.

۱. چرا خروجیِ مرتب فریبنده است

وقتی مدل جوابش را در قالب مرحله‌های شماره‌دار می‌نویسد، مغز ما آن را جدی‌تر می‌گیرد. ساختار، نشانهٔ زحمت است و ما ناخودآگاه زحمت را با درستی یکی می‌گیریم. اما ساختار در خروجی مدل تقریباً رایگان است؛ نوشتن پنج مرحلهٔ منظم برای مدل هیچ سخت‌تر از نوشتن یک جملهٔ غلط نیست.

نتیجهٔ عملی این است: زنجیرهٔ تفکر میزان خطا را کم می‌کند، اما همزمان توانایی تو برای تشخیص خطا را هم کم می‌کند، چون خروجی معتبرتر به‌نظر می‌رسد. تنها راه خنثی کردن این اثر، خواندن فعال زنجیره است — نه صرفاً دیدن اینکه زنجیره‌ای وجود دارد.

در ادامه، خطاها را به ترتیب فراوانی می‌بینیم. برای هرکدام سه چیز آمده است: چه شکلی دارد، از کجا بفهمی، و چه چیزی در پرامپت عوض کنی.

۲. خطای اول: استدلال قلابی

این خطا وقتی رخ می‌دهد که مدل جواب را عملاً زودتر انتخاب کرده و مراحل را برای توجیه همان جواب نوشته است. مراحل خوانا و منطقی‌اند، اما اگر آن‌ها را جدی دنبال کنی به جواب نهایی نمی‌رسند.

نشانه‌های تشخیص روشن‌اند. اول، پرشِ بی‌دلیل: بین مرحلهٔ آخر و جواب نهایی یک فاصلهٔ منطقی هست که هیچ‌جا پر نشده. دوم، مرحلهٔ بی‌مصرف: مرحله‌ای که هیچ‌کدام از مرحله‌های بعدی به آن ارجاع نمی‌دهند. سوم، مقاومت در برابر اصلاح: وقتی یک مرحله را تصحیح می‌کنی، جواب نهایی عوض نمی‌شود؛ یعنی جواب اصلاً از آن مرحله نمی‌آمده.

راه اصلاح، وابسته کردن جواب به مراحل است. به‌جای «قدم‌به‌قدم فکر کن»، بخواه هر مرحله فقط از نتیجهٔ مرحلهٔ قبل استفاده کند و آن را صریح نام ببرد، و در جواب نهایی بنویسد کدام مرحله‌ها آن را ساخته‌اند. آزمون قطعی هم همان آزمون سوم است: یک مرحله را عمداً تغییر بده و ببین جواب هم تغییر می‌کند یا نه.

۳. خطای دوم: طولانی‌شدن بی‌فایده

در این حالت مدل مراحل را می‌نویسد اما هر مرحله پر از بازگویی صورت مسئله و جمله‌های حاشیه‌ای است. خروجی سه برابر می‌شود بدون آنکه یک تصمیم اضافه در آن باشد.

ریشهٔ ماجرا معمولاً در خود پرامپت است: وقتی می‌گویی «کامل و مفصل توضیح بده»، مدل حجم را با عمق اشتباه می‌گیرد. راه اصلاح، محدود کردن تعداد مرحله‌هاست نه تعداد کلمه‌ها. جملهٔ «حداکثر پنج مرحله، هر مرحله حداکثر دو جمله، و در هر مرحله فقط یک تصمیم» تقریباً همیشه خروجی را جمع می‌کند بدون آنکه استدلال را خراب کند.

یک قاعدهٔ کمکی هم هست: از مدل بخواه در هر مرحله بنویسد آن مرحله چه چیزی را تغییر داد. مرحله‌ای که چیزی را تغییر نمی‌دهد، مرحله نیست.

۴. خطای سوم: نشت خطا در زنجیره

این خطای مخصوص روش‌های مرحله‌ای است و در جواب‌های تک‌خطی اصلاً وجود ندارد. اگر مدل در مرحلهٔ اول یک عدد، یک واحد یا یک فرض را اشتباه بگیرد، تمام مراحل بعدی با دقت کامل روی همان غلط ساخته می‌شوند. خروجی از نظر داخلی کاملاً سازگار است و دقیقاً به همین دلیل، خواندن سرسری آن را رد نمی‌کند.

نشانهٔ اصلی، سازگاری بی‌نقص با یک نتیجهٔ غیرمنتظره است. وقتی جواب با شهود تو جور نیست ولی همهٔ مراحل با هم می‌خوانند، احتمال نشت از مرحلهٔ اول بالاست.

راه اصلاح، جدا کردن مرحلهٔ صفر است: پیش از هر محاسبه، مدل باید داده‌های ورودی، واحدها و فرض‌ها را بازنویسی کند. این مرحله چند ثانیه بیشتر نمی‌گیرد و بیشترین نشت‌ها را همان‌جا می‌گیرد. راه دوم، ساختن چند زنجیرهٔ مستقل و مقایسهٔ نتیجه‌هاست؛ اگر دو زنجیره از دو مسیر به یک عدد برسند، احتمال نشت پایین می‌آید. این همان ایده‌ای است که در قسمت چهارم با نام خودسازگاری دیدیم.

۵. خطای چهارم: قفل‌شدن روی اولین مسیر

مدل معمولاً اولین چارچوبی را که در ذهن می‌سازد تا آخر نگه می‌دارد. اگر مسئله دو راه حل داشته باشد و مسیر اول بن‌بست باشد، به‌جای برگشتن، سعی می‌کند بن‌بست را به‌زور باز کند. در خروجی این را به شکل مرحله‌های عجیب و فرض‌های سنگین می‌بینی.

راه اصلاح ساده است: پیش از شروع زنجیره، از مدل بخواه دو رویکرد متفاوت برای حل نام ببرد و در یک جمله بگوید کدام را انتخاب می‌کند و چرا. همین انتخاب صریح، امکان برگشت را باز نگه می‌دارد. اگر مسئله مهم است، می‌توانی هر دو مسیر را جداگانه بخواهی و خودت مقایسه کنی.

نکتهٔ ظریف اینجاست که این خطا در پرامپت‌های خیلی هدایت‌شده بدتر می‌شود. وقتی خودت مسیر را در صورت سؤال تحمیل می‌کنی، مدل هیچ‌وقت مسیر بهتر را پیشنهاد نمی‌دهد.

۶. خطای پنجم: زنجیرهٔ تزئینی

آخرین خطا از همه رایج‌تر است: به کار بردن زنجیرهٔ تفکر در جایی که مسئله اصلاً چندمرحله‌ای نیست. بازنویسی یک جمله، ترجمهٔ کوتاه، تولید ایدهٔ خام. اینجا مدل مجبور می‌شود برای چیزی که یک قدم دارد، پنج مرحله بسازد؛ نتیجه‌اش خروجی شلوغ‌تر و گاهی بدتر است، چون مدل برای پر کردن مراحل، قید و شرط‌های بی‌ربط اضافه می‌کند.

معیار تشخیص همان قاعدهٔ سرانگشتی سری است: اگر خودت برای حل به کاغذ نیاز نداشتی، مدل هم ندارد. برای این دسته کارها، تکنیک درست معمولاً مثال‌محور است نه زنجیره‌ای — یعنی به‌جای توضیح مسیر، دو سه نمونهٔ خروجی مطلوب نشان بده.

۷. چک‌لیست عیب‌یابی و پرامپت بازبینی

قبل از قبول کردن یک خروجی زنجیره‌ای، این پنج سؤال را از خودت بپرس. یک: آیا مرحلهٔ آخر واقعاً به جواب نهایی می‌رسد؟ دو: آیا مرحله‌ای هست که هیچ مرحلهٔ دیگری به آن ارجاع ندهد؟ سه: آیا داده‌ها و واحدهای مرحلهٔ اول درست بازنویسی شده‌اند؟ چهار: آیا فرض‌های پنهان صریح نوشته شده‌اند؟ پنج: اگر یک مرحله را عوض کنم، جواب عوض می‌شود؟

و این پرامپت را می‌توانی روی هر خروجی زنجیره‌ای اجرا کنی تا همین چک‌لیست را خودِ مدل انجام دهد:

متن زیر خروجی یک استدلال مرحله‌ای است. نقش تو بازبین است، نه نویسندهٔ جواب جدید. جواب درست را ننویس.
خروجی را در چهار بخش بده.
بخش یک با عنوان «اتصال»: بررسی کن آیا جواب نهایی از مرحلهٔ آخر نتیجه می‌شود یا بین آن‌ها پرش هست. اگر پرش هست، دقیقاً بگو کجا.
بخش دو با عنوان «مرحلهٔ بی‌مصرف»: هر مرحله‌ای را که هیچ مرحلهٔ بعدی از نتیجه‌اش استفاده نکرده نام ببر.
بخش سه با عنوان «ورودی»: داده‌ها، واحدها و فرض‌های مرحلهٔ اول را با صورت مسئله مقایسه کن و هر ناسازگاری را بنویس.
بخش چهار با عنوان «حساس‌ترین مرحله»: بگو اگر کدام مرحله غلط باشد، جواب نهایی بیشترین تغییر را می‌کند.
اگر هیچ مشکلی پیدا نکردی، صریح بنویس مشکلی پیدا نکردم و چیزی از خودت اضافه نکن.
صورت مسئله: [اینجا صورت مسئلهٔ اصلی را بگذار]
خروجی مرحله‌ای: [اینجا استدلال مدل را بچسبان]

دلیل اینکه در این پرامپت صریح گفته‌ایم جواب جدید ننویس، همان چیزی است که در بخش دوم دیدیم: مدلی که مجاز به نوشتن جواب باشد، به‌جای بازبینی، جواب تازه می‌سازد و ایراد قبلی را نادیده می‌گیرد.

۸. پرسش‌های پرتکرار

آیا بهتر است بازبینی را با همان مدل انجام دهم یا مدل دیگری؟ مدل دوم معمولاً بهتر است، چون مدل اول به استدلال خودش سوگیری دارد. اگر فقط یک مدل داری، دست‌کم بازبینی را در یک گفتگوی جدا و بدون تاریخچه انجام بده.

وقتی می‌گویم جوابت را چک کن، معمولاً می‌گوید درست است. چرا؟ چون درخواست مبهم است و مدل مسیر کم‌هزینه را انتخاب می‌کند. بازبینی وقتی جواب می‌دهد که هدف مشخص باشد: یک مرحلهٔ خاص، یک نوع خطای خاص، یا یک معیار مشخص.

استدلال قلابی با مدل‌های جدیدتر هم اتفاق می‌افتد؟ کمتر، ولی حذف نشده. مدل‌های استدلالی جدید معمولاً زنجیرهٔ داخلی منسجم‌تری دارند، اما آن چیزی که به تو نشان می‌دهند لزوماً همان مسیر واقعی نیست.

برای مرور اصول پایهٔ نوشتن پرامپت کجا بروم؟ راهنمای نوشتن پرامپت برای مبتدی‌ها نقطهٔ شروع خوبی است و در آموزش‌های ChatGPT هم نمونه‌های عملی بیشتری پیدا می‌کنی.