زنجیرهٔ یادداشت در پرامپت‌نویسی؛ جواب مستند از دل منابع بدون توهم

گام یکم: چرا مدل با وجود منبع هم اشتباه می‌کند؟

وقتی چند منبع را یکجا جلوی مدل می‌گذاری و می‌پرسی «جواب این سؤال چیست؟»، مدل همهٔ متن را با هم می‌بلعد و سعی می‌کند در یک حرکت پاسخ بدهد. مشکل اینجاست که متن‌های واقعی پر از نویز هستند: بخش‌هایی که به سؤال تو ربطی ندارند، جمله‌هایی که گمراه‌کننده‌اند، و گاهی منابعی که حرف همدیگر را نقض می‌کنند. مدل در این شلوغی تمایل دارد به اولین چیزی که شبیه جواب است بچسبد، یا بدتر، تکه‌های نامربوط را به هم بدوزد و یک پاسخِ به‌ظاهر منسجم اما نادرست بسازد.

ریشهٔ ماجرا به طرز کار این مدل‌ها برمی‌گردد؛ آن‌ها حقیقت را «نمی‌دانند»، بلکه محتمل‌ترین ادامهٔ متن را حدس می‌زنند. برای درک بهتر این محدودیت، خواندن مقالهٔ توان و محدودیت‌های واقعی هوش مصنوعی کمک زیادی می‌کند. وقتی این را بدانی، می‌فهمی که راه‌حل، دادنِ یک مرحلهٔ میانی به مدل است تا قبل از پاسخ، منابع را وارسی کند.

مثال: «این سه متن را بخوان و به سؤال من جواب بده: مالیات بر درآمد امسال چند درصد است؟» — همین پرامپت ساده اغلب جوابِ قاطی‌شده می‌دهد؛ در گام‌های بعد می‌بینی چطور همین را به یک پرامپت دقیق تبدیل کنی.

گام دوم: زنجیرهٔ یادداشت دقیقاً چیست؟

زنجیرهٔ یادداشت یک قاعدهٔ ساده دارد: مدل حق ندارد یکراست جواب بدهد؛ اول باید برای هر منبع یک «یادداشت خواندن» بنویسد. این یادداشت دو چیز را روشن می‌کند؛ اینکه آیا این منبع اصلاً به سؤال ربط دارد یا نه، و اگر دارد، دقیقاً کدام جمله یا داده به کار می‌آید. تازه بعد از اینکه همهٔ یادداشت‌ها نوشته شدند، مدل می‌نشیند و فقط از یادداشت‌های مرتبط، پاسخ نهایی را می‌سازد.

این تکنیک را با خلاصه‌سازی اشتباه نگیر. در خلاصه‌سازی، مدل می‌خواهد کل متن را فشرده کند؛ اما در زنجیرهٔ یادداشت، معیار فقط یک چیز است: ربط داشتن به سؤالِ تو. یک منبع ممکن است ده پاراگراف باشد اما یادداشتش فقط یک خط شود، چون تنها یک جمله‌اش به کارت می‌آید. این نگاهِ «سؤال‌محور» همان چیزی است که خروجی را از یک خلاصهٔ کلی به یک پاسخِ هدفمند تبدیل می‌کند. اگر پایهٔ پرامپت‌نویسی‌ات هنوز محکم نیست، نگاهی به راهنمای پرامپت‌نویسی برای مبتدی‌ها بینداز.

مثال: «نقش یک پژوهشگرِ دقیق را بگیر. قبل از هر پاسخی، برای هر منبع یک یادداشت کوتاه بنویس به این شکل — منبع ۱: مرتبط/نامرتبط، نکتهٔ کلیدیِ مربوط به سؤال. تا وقتی یادداشت همهٔ منابع را ننوشته‌ای، جواب نهایی نده.»

گام سوم: سه حالتی که یادداشت‌ها مدل را نجات می‌دهند

قدرت اصلی این تکنیک در این است که مدل را مجبور می‌کند بین سه حالت تفکیک قائل شود. حالت اول، وقتی است که منبع مستقیماً جواب را دارد؛ اینجا مدل باید پاسخ را از همان منبع بیرون بکشد و بگوید از کجا آمده. حالت دوم، وقتی است که منابع به‌طور غیرمستقیم کمک می‌کنند اما جواب صریح ندارند؛ اینجا مدل باید با احتیاط و با ذکر اینکه این یک استنتاج است، تکه‌ها را کنار هم بگذارد. حالت سوم، وقتی است که هیچ منبعی به سؤال ربط ندارد؛ و این مهم‌ترین حالت است.

بیشترِ توهم‌ها دقیقاً در حالت سوم اتفاق می‌افتند، چون مدل به‌طور پیش‌فرض دوست دارد همیشه یک جوابی بدهد. زنجیرهٔ یادداشت با مجبور کردن مدل به برچسب‌زدن «نامرتبط» روی منابع، به او اجازه می‌دهد با خیال راحت بگوید پاسخ در دسترس نیست. این همان رفتاری است که یک دستیارِ قابل‌اعتماد را از یک حرّافِ خطرناک جدا می‌کند.

مثال: «برای هر منبع یکی از سه برچسب را بزن: جوابِ مستقیم دارد، فقط سرنخ دارد، یا نامرتبط است. اگر هیچ منبعی برچسب جوابِ مستقیم یا سرنخ نگرفت، فقط بنویس پاسخ در منابع موجود نیست و چیزی اضافه نکن.»

گام چهارم: قالب آمادهٔ پرامپت زنجیرهٔ یادداشت

یک پرامپت زنجیرهٔ یادداشتِ خوب چهار بخش دارد: نقش و هدف، قاعدهٔ یادداشت، قاعدهٔ پاسخ، و قاعدهٔ صداقت. در بخش نقش، به مدل می‌گویی پژوهشگری است که فقط بر پایهٔ منابع کار می‌کند. در قاعدهٔ یادداشت، فرمت دقیق یادداشتِ هر منبع را تعیین می‌کنی. در قاعدهٔ پاسخ، تأکید می‌کنی که جواب فقط از یادداشت‌های مرتبط ساخته شود. و در قاعدهٔ صداقت، صریح می‌نویسی که اگر جواب نبود، باید اعلام شود.

همین ساختارِ چهاربخشی است که تفاوت یک پرامپت حرفه‌ای را با یک سؤال سرسری می‌سازد. می‌توانی این قالب را یک‌بار بنویسی و بارها استفاده کنی؛ کافی است هر بار منابع و سؤال را عوض کنی. برای دیدن نمونه‌های بیشترِ کاربردی هم می‌توانی به آموزش‌های گام‌به‌گام ChatGPT سر بزنی.

مثال: «نقش: پژوهشگری که فقط از منابع زیر استفاده می‌کند. مرحلهٔ ۱ — برای هر منبع یک یادداشت: [شماره] مرتبط/نامرتبط + نکتهٔ کلیدی. مرحلهٔ ۲ — پاسخ نهایی فقط از یادداشت‌های مرتبط، با ذکر شمارهٔ منبع برای هر ادعا. مرحلهٔ ۳ — اگر پاسخ در منابع نبود بنویس: در منابع یافت نشد. منابع: … سؤال: …»

گام پنجم: یک مثال واقعی روی منابع متناقض

فرض کن سه خبر دربارهٔ تاریخ عرضهٔ یک محصول داری که با هم نمی‌خوانند: یکی می‌گوید بهار، یکی می‌گوید تابستان، و سومی اصلاً دربارهٔ موضوع دیگری است. بدون زنجیرهٔ یادداشت، مدل ممکن است یکی از تاریخ‌ها را شانسی انتخاب کند یا هر دو را با هم مخلوط کند. با زنجیرهٔ یادداشت، مدل مجبور می‌شود اول بنویسد که منبع سوم نامرتبط است، و بعد تضاد بین منبع اول و دوم را صریح گزارش کند.

نتیجه این می‌شود که به‌جای یک جوابِ قاطعِ گمراه‌کننده، یک پاسخِ شفاف می‌گیری: «دو منبع تاریخ‌های متفاوتی می‌دهند و این تضاد حل‌نشده است». همین شفافیت ارزش طلا دارد، چون تو را از تصمیم‌گیری بر پایهٔ یک دادهٔ غلط نجات می‌دهد. این دقت در کارهای جدی، مثل تحلیل‌هایی که در اهمیت هوش مصنوعی در کسب‌وکار به آن اشاره شده، تعیین‌کننده است.

مثال: «اگر منابع با هم تناقض داشتند، آن را پنهان نکن؛ در یادداشت بنویس کدام منبع چه می‌گوید و در پاسخ نهایی صریح بگو که تضاد وجود دارد و کدام ادعا از کدام منبع است.»

گام ششم: چطور مدل را به گفتن «نمی‌دانم» وادار کنیم؟

سخت‌ترین کار، شکستنِ عادتِ مدل به جواب‌دادن در هر شرایطی است. مدل‌ها طوری آموزش دیده‌اند که همیشه مفید به نظر برسند، و همین باعث می‌شود وقتی جواب را ندارند، آن را بسازند. راه‌حل این است که در پرامپت، گفتنِ «نمی‌دانم» را به یک گزینهٔ محترم و حتی مطلوب تبدیل کنی؛ به مدل بگویی که اعلامِ نبودِ پاسخ، یک خطا نیست بلکه نشانهٔ دقت است.

یک ترفند مؤثر این است که از مدل بخواهی برای هر ادعا در پاسخ نهایی، شمارهٔ منبع را بیاورد. وقتی مدل بداند باید برای هر جمله یک منبع نشان دهد، دیگر نمی‌تواند چیزی از خودش دربیاورد، چون منبعی برای استناد ندارد. این همان مرزی است که در مقالهٔ توهم هوش مصنوعی؛ توسعه‌دهندهٔ تنها در برابر مهندس واقعی هم بر آن تأکید شده: اعتماد بی‌قیدوشرط به خروجی مدل خطرناک است.

مثال: «گفتنِ در منابع نیست یک پاسخِ درست و قابل‌قبول است، نه یک شکست. هر جملهٔ پاسخ باید با شمارهٔ منبع همراه باشد؛ هر جمله‌ای که منبع ندارد را حذف کن.»

گام هفتم: گره‌زدن یادداشت‌ها به استناد و ارجاع

زنجیرهٔ یادداشت وقتی کامل می‌شود که خروجی نهایی قابلِ ردیابی باشد. یعنی خواننده بتواند هر ادعا را به یک منبع مشخص برگرداند. برای این کار، از مدل بخواه در پایان یک «جدول ردیابی» بسازد که در آن هر ادعای پاسخ، به شمارهٔ منبع و جملهٔ دقیقِ پشتیبانش وصل شده باشد. این کار به‌خصوص وقتی چند نفر قرار است روی یک گزارش کار کنند، اعتماد را چند برابر می‌کند.

همین ساختار باعث می‌شود بتوانی خروجی را سریع بازبینی کنی؛ کافی است چند استناد را تصادفی چک کنی تا به کل پاسخ اطمینان پیدا کنی. اگر کارت با اخبار و داده‌های روز سروکار دارد، این روش را روی مطالبِ جدیدترین اخبار هوش مصنوعی امتحان کن تا ببینی چقدر جلوی برداشت‌های اشتباه را می‌گیرد.

مثال: «در پایان یک جدول دوستونی بساز: ستون اول ادعای پاسخ، ستون دوم شمارهٔ منبع و عین جملهٔ پشتیبان. اگر برای ادعایی جملهٔ پشتیبان پیدا نکردی، آن ادعا را از پاسخ حذف کن.»

گام هشتم: اشتباه‌های رایج و نکته‌های حرفه‌ای

سه اشتباه رایج این تکنیک را بی‌اثر می‌کند. اشتباه اول، نوشتنِ یادداشت‌های طولانی و کلی است؛ یادداشت باید کوتاه و سؤال‌محور باشد، نه خلاصهٔ کل منبع. اشتباه دوم، فراموش‌کردنِ قاعدهٔ صداقت است؛ اگر گزینهٔ «در منابع نیست» را در پرامپت نگذاری، مدل باز هم به عادت قدیمی‌اش برمی‌گردد. اشتباه سوم، دادنِ منابع بیش از حد در یک پرامپت است که باعث می‌شود مدل در یادداشت‌نویسی سرسری شود.

یک نکتهٔ حرفه‌ای این است که زنجیرهٔ یادداشت را با تکنیک‌های دیگر ترکیب کنی؛ مثلاً بعد از ساختن پاسخ، از مدل بخواه یک‌بار دیگر نقش یک منتقد را بگیرد و بررسی کند آیا واقعاً هر ادعا به یادداشت‌ها متصل است یا نه. برای آشنایی با شرکت‌ها و ابزارهایی که این مدل‌ها را می‌سازند هم می‌توانی مقالهٔ اوپن‌ای‌آی چیست را بخوانی. در نهایت یادت باشد زنجیرهٔ یادداشت یک قالبِ خشک نیست؛ یک عادتِ فکری است که هر جا با «منبع» سروکار داری به کارت می‌آید.

مثال: «حالا نقش یک بازبینِ سخت‌گیر را بگیر و پاسخِ قبلی را چک کن: آیا هر جمله به یک یادداشت مرتبط وصل است؟ هر جمله‌ای که وصل نیست را علامت بزن و بگو چرا باید حذف شود.»

پرسش‌های پرتکرار

فرق زنجیرهٔ یادداشت با خلاصه‌سازی چیست؟ خلاصه‌سازی کل متن را فشرده می‌کند، اما زنجیرهٔ یادداشت فقط به ربط‌داشتن هر منبع به سؤالِ تو اهمیت می‌دهد؛ یک منبع بلند ممکن است یادداشتش فقط یک خط شود.

این تکنیک برای چه کارهایی بهترین است؟ برای هر جایی که چند منبع یا یک متن بلند داری و می‌خواهی جوابِ مستند بگیری: تحلیل اسناد، مقایسهٔ اخبار، پاسخ از روی مقاله‌ها، و پرسش‌وپاسخ روی قراردادها.

اگر مدل باز هم توهم زد چه کنم؟ قاعدهٔ «هر ادعا با شمارهٔ منبع» و گزینهٔ «در منابع نیست» را پررنگ‌تر کن و از مدل بخواه هر جملهٔ بدون‌منبع را خودش حذف کند.