زنجیرهٔ راستی‌آزمایی (Chain of Verification)؛ چطور جلوی توهم هوش مصنوعی را بگیریم

تصور کن از هوش مصنوعی یک فهرست آمار، چند منبع، یا یک پاسخ فنی می‌خواهی و مدل با لحنی کاملاً مطمئن جواب می‌دهد؛ اما وقتی دقیق‌تر نگاه می‌کنی می‌بینی یکی از عددها ساختگی است یا منبعی که معرفی کرده اصلاً وجود ندارد. به این پدیده «توهم» (Hallucination) می‌گویند و بزرگ‌ترین دلیلی است که خیلی‌ها هنوز به خروجی هوش مصنوعی برای کارهای مهم اعتماد نمی‌کنند. مشکل این‌جاست که مدل معمولاً نمی‌داند کجا اشتباه کرده — چون همان مسیری که جواب اول را ساخته، خودش را هم تأیید می‌کند.

راه‌حل، یک تکنیک ساده اما فوق‌العاده مؤثر است: زنجیرهٔ راستی‌آزمایی (Chain of Verification یا به‌اختصار CoVe). به‌جای این‌که به اولین پاسخِ مدل قناعت کنی، مدل را وادار می‌کنی جوابِ خودش را مثل یک بازرسِ بی‌طرف زیر ذره‌بین ببرد، سؤال‌های وارسی بسازد، مستقل به آن‌ها جواب بدهد و بعد نسخهٔ اصلاح‌شده را بنویسد. در این درس از سری آموزش پرامپت‌نویسی، این تکنیک را از صفر یاد می‌گیری: چرا کار می‌کند، چهار گامش کدام است، یک قالب آمادهٔ پرامپت برای کپی‌کردن، یک مثال کامل، و این‌که دقیقاً کجا معجزه می‌کند و کجا فقط وقتت را می‌گیرد.

راستی‌آزمایی زنجیره‌ای چیست و چه دردی را دوا می‌کند؟

زنجیرهٔ راستی‌آزمایی یک تکنیک پرامپت‌نویسی است که در آن، پس از گرفتنِ پاسخِ اولیه، مدل را در یک چرخهٔ چهارمرحله‌ای می‌اندازی تا خودش ادعاهای پاسخش را بررسی و اصلاح کند. این روش را پژوهشگران متا در سال ۲۰۲۳ در مقاله‌ای با همین نام معرفی کردند و نشان دادند که فقط با تغییرِ ساختارِ پرامپت — و بدون هیچ ابزار بیرونی — می‌توان بخش بزرگی از خطاهای واقعیتی مدل را کاهش داد.

ایدهٔ اصلی روی یک نکتهٔ روان‌شناختیِ جالب سوار است: وقتی از مدل بخواهی «جوابت را بررسی کن»، معمولاً فقط حرف خودش را تکرار و تأیید می‌کند (سوگیری تأیید). اما وقتی مجبورش کنی سؤال‌های مشخص و ریز بسازد و به هر سؤال جداگانه و بدون نگاه‌کردن به پاسخ اول جواب بدهد، دیگر راهی برای رفعِ مسئولیت ندارد؛ تناقض‌ها و ادعاهای بی‌پایه خودشان لو می‌روند.

برای این‌که جای این تکنیک در نقشهٔ ذهنت روشن شود، بگذار چند تکنیک نزدیک را کنارش بگذاریم:

• زنجیرهٔ تفکر (Chain of Thought): مدل را وادار می‌کند گام‌به‌گام استدلال کند تا به جواب برسد. راستی‌آزمایی یک قدم بعد است: بعد از رسیدن به جواب، درستی‌اش را می‌سنجد. اگر با مبانی آشنا نیستی، اول آموزش زنجیرهٔ تفکر را بخوان.
• اجماع چندپاسخ (Self-Consistency): چند پاسخ مستقل می‌سازد و رأی اکثریت را برمی‌دارد؛ روی «پایداری» تمرکز دارد، نه «درستیِ تک‌تک ادعاها». راستی‌آزمایی دقیقاً برعکس، تک‌تک ادعاهای یک پاسخ را وارسی می‌کند.
• تکنیک ابطال‌گرا: مدل را وادار می‌کند به‌جای تأیید، به دنبال نقض یک ادعا بگردد. راستی‌آزمایی از همین روحیه استفاده می‌کند اما آن را در یک فرایند منظمِ چهارمرحله‌ای می‌ریزد. تکنیک ابطال‌گرا مکمل خوبی برای این درس است.

چرا هوش مصنوعی گاهی با اطمینان کامل اشتباه می‌گوید؟

برای این‌که بدانی چرا این تکنیک کار می‌کند، باید بدانی توهم از کجا می‌آید. مدل زبانی در هر لحظه فقط دارد «محتمل‌ترین کلمهٔ بعدی» را حدس می‌زند. این حدس بر پایهٔ الگوهای زبانی است، نه یک پایگاه‌دادهٔ حقیقت. برای همین وقتی چیزی را دقیق نمی‌داند، به‌جای گفتنِ «نمی‌دانم»، چیزی می‌سازد که شبیه جوابِ درست است — عددی خوش‌ساخت، اسم منبعی باورپذیر، یا نقلی که هرگز گفته نشده.

مشکل دوم، تولیدِ تک‌مرحله‌ای است. وقتی مدل یک پاسخ بلند را یک‌نفس می‌نویسد، هر جمله روی جملهٔ قبلی بنا می‌شود؛ اگر جملهٔ دوم یک فرض غلط داشته باشد، بقیهٔ پاسخ هم روی همان فرض غلط ساخته می‌شود و مدل هیچ‌وقت به عقب برنمی‌گردد. زنجیرهٔ راستی‌آزمایی این حلقهٔ بسته را می‌شکند: مرحلهٔ وارسی را از مرحلهٔ تولید جدا می‌کند تا مدل با یک ذهنِ «تازه» به ادعاها نگاه کند.

چهار گام زنجیرهٔ راستی‌آزمایی

کل تکنیک در چهار گام خلاصه می‌شود. مهم‌ترین نکته این است که این گام‌ها باید به‌ترتیب و جدا از هم اجرا شوند؛ اگر همه را در یک نفس از مدل بخواهی، دوباره به همان سوگیری تأیید می‌رسی.

گام اول: نوشتن چرک‌نویس

اول اجازه بده مدل پاسخ اولیه‌اش را بدهد — همان جوابی که معمولاً می‌گیری. این «چرک‌نویس» است، نه پاسخ نهایی. هنوز به آن اعتماد نکن.

گام دوم: طرح سؤال‌های وارسی

حالا از مدل بخواه فهرستی از سؤال‌های مشخص و قابل‌راستی‌آزمایی بسازد که هر کدام یکی از ادعاهای کلیدیِ چرک‌نویس را زیر سؤال می‌برد. سؤال خوب دقیق است («آیا این عدد از یک منبع قابل‌ردیابی می‌آید؟»)، نه کلی («آیا پاسخ درست است؟»).

گام سوم: پاسخ مستقل به هر سؤال

این قلب تکنیک است. مدل باید به هر سؤال جداگانه و بدون نگاه‌کردن به چرک‌نویس جواب بدهد. همین استقلال باعث می‌شود مدل ادعای اولیه‌اش را کورکورانه تأیید نکند و اگر جایی سست بوده، خودش را نقض کند.

گام چهارم: بازنویسی نسخهٔ نهایی

در پایان، مدل با کنار هم گذاشتن چرک‌نویس و پاسخ‌های مستقل، یک نسخهٔ نهاییِ اصلاح‌شده می‌نویسد: ادعاهای غلط را حذف یا تصحیح می‌کند و ادعاهایی را که نمی‌شود تأیید کرد، صریح علامت می‌زند تا خودت بررسی‌شان کنی.

قالب آمادهٔ پرامپت برای کپی‌کردن

این قالب را کپی کن، جای پرسش خودت را پر کن و مستقیم به هوش مصنوعی بده. کلمهٔ کلیدی «مستقل» را عمداً پررنگ نگه دار؛ همین واژه تفاوت را می‌سازد.

می‌خواهم به این پرسش پاسخِ دقیق و بدونِ خطا بدهی:
«[پرسش یا درخواستت را این‌جا بنویس]»

لطفاً دقیقاً به روش «زنجیرهٔ راستی‌آزمایی» عمل کن و خروجی را در چهار بخشِ جدا بنویس:

۱) چرک‌نویس: پاسخ اولیه‌ات را بنویس.

۲) سؤال‌های وارسی: بین ۴ تا ۶ سؤالِ مشخص و قابل‌بررسی بساز که هر کدام یکی از ادعاها، عددها یا منبع‌های چرک‌نویس را زیر سؤال ببرد.

۳) پاسخ مستقل: به هر سؤال جداگانه جواب بده، انگار چرک‌نویس را اصلاً ندیده‌ای. اگر به چیزی مطمئن نیستی، صریح بگو «قابل‌تأیید نیست».

۴) نسخهٔ نهایی: بر اساس پاسخ‌های بخش ۳، پاسخ را بازنویسی کن. ادعاهای غلط را تصحیح یا حذف کن و هر ادعایی را که نیاز به بررسی انسانی دارد، با علامتِ ⚠️ مشخص کن.

و اگر عجله داری و فقط یک نسخهٔ یک‌خطی می‌خواهی که ته هر گفتگو بچسبانی:

حالا نقش یک بازرسِ بدبین را بگیر: از پاسخ بالا ۴ ادعای کلیدی را جدا کن، مستقل بررسی کن کدام‌ها قابل‌اتکا هستند و کدام‌ها نه، و بعد پاسخ را اصلاح کن.

مثالی کامل از راستی‌آزمایی یک پاسخ

فرض کن یک تولیدکنندهٔ محتوا هستی و برای یک اسلاید معرفی، این درخواست را می‌دهی: «سه آمار کوتاه دربارهٔ اهمیت ویدیوی کوتاه در شبکه‌های اجتماعی بده، همراه با منبع.» ببین تکنیک چطور یک فاجعهٔ کوچک را می‌گیرد:

چرک‌نویس — مدل سه آمار می‌دهد؛ دو تا کلی و منطقی‌اند، اما سومی یک عدد خیلی دقیق است («۸۴٪ کاربران پس از دیدن ویدیوی کوتاه خرید کرده‌اند») با یک منبعِ خوش‌ظاهر و یک سالِ مشخص.

سؤال‌های وارسی — مدل می‌سازد: آیا این عدد از یک گزارشِ قابل‌ردیابی می‌آید؟ آیا آن منبع واقعاً چنین چیزی گفته؟ آیا این عدد بیش از حد دقیق و «خوش‌ساخت» نیست؟ آیا سالِ ذکرشده با انتشار آن منبع می‌خواند؟

پاسخ مستقل — مدل بدون تکیه بر چرک‌نویس بررسی می‌کند و به این نتیجه می‌رسد که آمار سوم را نمی‌تواند به یک منبعِ مشخص و واقعی گره بزند؛ عدد و منبع، هر دو، نشانه‌های ساختگی‌بودن دارند.

نسخهٔ نهایی — مدل آمار سوم را حذف می‌کند، دو آمار قابل‌اتکا را نگه می‌دارد، و یک هشدار اضافه می‌کند: «برای عدد دقیق، خودت به گزارش رسمی پلتفرم مراجعه کن.» حالا اسلایدت به‌جای یک آمارِ جعلی، صداقت دارد.

نکتهٔ مهم را از همین مثال بگیر: زنجیرهٔ راستی‌آزمایی معجزه‌گرِ مطلق نیست. مدل بدون دسترسی به اینترنت نمی‌تواند یک واقعیت را «جست‌وجو» کند؛ اما به‌خوبی می‌تواند ادعاهای مشکوک، عددهای بیش‌ازحد دقیق و منبع‌های باورنکردنی را پرچم‌گذاری کند تا تو بدانی کجاها را باید دو بار چک کنی.

کجا از این تکنیک استفاده کنیم و کجا نه؟

راستی‌آزمایی رایگان نیست؛ چهار برابرِ یک پرامپت ساده وقت و توکن می‌برد. پس هوشمندانه خرجش کن:

• جاهایی که واقعاً به‌دردش می‌خورد: فهرستِ آمار و اعداد، ادعاهای تاریخی و علمی، معرفی منبع و مرجع، متن‌های حقوقی و پزشکی و مالی، توضیح فنی که قرار است منتشر شود، و هر جایی که یک خطای کوچک برایت گران تمام می‌شود.
• جاهایی که اتلاف وقت است: نوشتن خلاقانه و شعر و داستان، طوفان فکری و ایده‌پردازی، گفتگوهای روزمره و سبک، و کارهایی که اصلاً «درست و غلط» عینی ندارند. آن‌جا خلاقیت مهم‌تر از دقت است.

اشتباه‌های رایج در راستی‌آزمایی

• سؤال‌های کلی به‌جای دقیق: «آیا پاسخ درست است؟» بی‌فایده است. سؤال باید یک ادعای مشخص را هدف بگیرد.
• اجازه‌دادن به مدل که همه را یک‌نفس انجام دهد: اگر استقلالِ گام سوم را رعایت نکنی، مدل فقط چرک‌نویسش را تأیید می‌کند و کل تکنیک بی‌اثر می‌شود.
• اعتماد صددرصد به نسخهٔ نهایی: این تکنیک احتمال خطا را کم می‌کند، نه صفر. ادعاهای پرچم‌خورده را همچنان خودت بررسی کن.
• استفاده برای همه‌چیز: اگر روی هر پیامِ ساده راستی‌آزمایی کنی، فقط خسته و کند می‌شوی. برای کارهای حساس نگهش دار.

ترکیب راستی‌آزمایی با دیگر تکنیک‌های پرامپت‌نویسی

قدرت واقعی وقتی آزاد می‌شود که این تکنیک را با بقیه ترکیب کنی. اول با زنجیرهٔ تفکر بگذار مدل گام‌به‌گام به جواب برسد، بعد زنجیرهٔ راستی‌آزمایی را رویش سوار کن تا همان جواب را وارسی کند. برای مسائلی که چند راه‌حل دارند، اول با درخت تفکر بهترین مسیر را پیدا کن و سپس درستی‌اش را راستی‌آزمایی کن. و اگر خروجی باید قالب مشخصی داشته باشد، چند مثال هم به‌سبک پرامپت مثال‌محور بده تا هم دقیق باشد هم مرتب.

پرسش‌های پرتکرار

آیا زنجیرهٔ راستی‌آزمایی توهم را کاملاً از بین می‌برد؟

نه. این تکنیک احتمال خطا را به‌طور چشمگیر کم می‌کند، اما تضمینِ صددرصد نمی‌دهد. بهترین کاربردش، پرچم‌گذاریِ ادعاهای مشکوک است تا بدانی کجا را باید انسانی بررسی کنی.

آیا برای همهٔ مدل‌ها کار می‌کند؟

بله، چون فقط به ساختارِ پرامپت وابسته است و به قابلیت خاصی نیاز ندارد. روی مدل‌های قوی‌تر مثل نسخه‌های پیشرفتهٔ ChatGPT و Claude نتیجهٔ بهتری می‌گیری، چون توانِ خودارزیابی‌شان بیشتر است.

چه تفاوتی با گفتن «مطمئنی؟» دارد؟

وقتی فقط می‌پرسی «مطمئنی؟»، مدل معمولاً یا لجوجانه حرفش را تکرار می‌کند یا بی‌دلیل عقب می‌نشیند. زنجیرهٔ راستی‌آزمایی به‌جای این پرسشِ مبهم، یک فرایندِ ساختارمند با سؤال‌های مشخص و پاسخ‌های مستقل می‌سازد که خیلی قابل‌اتکاتر است.

اگر مدل به اینترنت دسترسی نداشته باشد چطور؟

باز هم مفید است، چون بخش زیادی از کار، بررسیِ انسجام درونی و منطقِ ادعاهاست. اما برای تأیید واقعیت‌های بیرونی، بهترین حالت این است که مدل به ابزار جست‌وجو یا منبعی که خودت می‌دهی دسترسی داشته باشد.

جمع‌بندی

زنجیرهٔ راستی‌آزمایی یک عادتِ کوچک است با تأثیری بزرگ: به‌جای اعتماد به اولین جوابِ هوش مصنوعی، آن را وادار می‌کنی نقشِ بازرسِ بی‌طرفِ خودش را بازی کند. چهار گامش را به خاطر بسپار — چرک‌نویس، سؤال‌های وارسی، پاسخ مستقل، بازنویسی نهایی — و کلیدِ کل ماجرا همان «استقلالِ» گام سوم است. برای کارهای حساس، همین چهار گام می‌تواند تفاوتِ یک محتوای قابل‌اعتماد و یک آبروریزی را رقم بزند.

این درس بخشی از یک مسیر کامل است. اگر می‌خواهی گام‌به‌گام حرفه‌ای شوی، از نقشهٔ راه کامل سری آموزش پرامپت‌نویسی شروع کن و تکنیک‌ها را یکی‌یکی روی کارهای واقعی خودت تمرین کن. مهارتِ پرامپت‌نویسی با خواندن ساخته نمی‌شود؛ با تمرین ساخته می‌شود.

نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید