توهم هوش مصنوعی؛ چرا جوابِ ساختگی می‌سازد و چطور با پرامپت‌نویسی جلویش را بگیریم

احتمالاً برایت پیش آمده: از هوش مصنوعی سؤالی می‌پرسی و با کمال اطمینان یک جواب تمیز و قانع‌کننده می‌دهد — اسم کتاب، شمارهٔ ماده‌ی قانون، آمار دقیق — و بعد می‌فهمی همه‌اش ساختگی بوده. به این پدیده «توهم» می‌گویند و خبر خوب این است که بخش بزرگی از آن با چند تغییر ساده در پرامپت قابل مهار است. این آموزش یاد می‌دهد چطور طوری درخواست بنویسی که مدل به‌جای جعل‌کردن، صادق بماند.

توهم هوش مصنوعی یعنی چه و چرا اتفاق می‌افتد؟

توهم (Hallucination) وقتی رخ می‌دهد که مدل اطلاعاتی را که وجود ندارد یا نادرست است، با همان لحنِ مطمئنِ یک واقعیتِ قطعی تحویلت می‌دهد. نکتهٔ خطرناک همین‌جاست: مدل بین «چیزی که واقعاً می‌داند» و «چیزی که فقط محتمل به نظر می‌رسد» هیچ تفاوتی در لحن نمی‌گذارد.

ریشهٔ ماجرا به طرز کار این مدل‌ها برمی‌گردد. یک مدل زبانی در اصل یک ماشینِ پیش‌بینیِ کلمهٔ بعدی است؛ کارش این است که محتمل‌ترین ادامهٔ متن را بسازد، نه اینکه صحتِ آن را بررسی کند. وقتی چیزی را نمی‌داند، همچنان روان‌ترین و محتمل‌ترین جمله را می‌سازد — و آن جمله می‌تواند کاملاً اشتباه ولی کاملاً قانع‌کننده باشد. به زبان ساده، مدل برای «قانع‌کننده‌بودن» بهینه شده، نه برای «درست‌بودن».

چرا مدل به‌جای گفتن «نمی‌دانم» جعل می‌کند؟

شاید بپرسی چرا مدل وقتی جواب را نمی‌داند، صادقانه نمی‌گوید «نمی‌دانم». دلیلش این است که در داده‌هایی که مدل روی آن‌ها آموزش دیده، آدم‌ها معمولاً به سؤال‌ها جواب می‌دهند، نه اینکه بگویند نمی‌دانم. پس الگوی غالب این است: «به هر سؤال یک پاسخ بده». مدل هم همین الگو را تقلید می‌کند و در نبودِ اطلاعات، خلأ را با حدسِ محتمل پر می‌کند.

یک عاملِ دیگر، فشارِ خودِ پرامپت است. وقتی سؤالت پیش‌فرضی غلط را جا می‌اندازد — مثلاً «چرا فلان قانون در سال ۱۳۹۰ تصویب شد؟» در حالی که اصلاً چنین قانونی وجود ندارد — مدل تمایل دارد با پیش‌فرضت همراه شود و یک داستانِ منسجم اما ساختگی بسازد. بخش بزرگی از مهار توهم، در واقع درست‌نوشتنِ همین پرامپت است تا به مدل راهِ فرار از جعل بدهی.

اجازهٔ ندانستن؛ مهم‌ترین جملهٔ ضدتوهم

ساده‌ترین و مؤثرترین ترفند این است که صراحتاً به مدل اجازه بدهی نداند. یک جملهٔ کوتاه در پرامپت معجزه می‌کند: «اگر مطمئن نیستی یا اطلاعات کافی نداری، صریح بگو نمی‌دانم و حدس نزن.» این جمله الگوی «به هر قیمتی جواب بده» را می‌شکند و به مدل یک گزینهٔ محترمانهٔ دیگر می‌دهد.

می‌توانی یک پله جلوتر بروی و از مدل بخواهی مرزِ دانشش را مشخص کند: «هر بخشی از جواب را که مطمئن نیستی، با برچسبِ [نامطمئن] علامت بزن.» این کار جواب را به دو بخش تقسیم می‌کند — چیزهایی که مدل به آن‌ها اطمینان دارد و چیزهایی که باید خودت راستی‌آزمایی کنی — و دقیقاً همان شفافیتی را می‌سازد که توهم از آن فرار می‌کند.

منبع‌محورکردن پاسخ؛ فقط از روی چیزی که دادی جواب بده

قوی‌ترین سپر در برابر توهم این است که مدل را مجبور کنی فقط از روی منبعی که خودت در اختیارش گذاشته‌ای جواب بدهد، نه از حافظهٔ مبهمِ درونی‌اش. به این کار «منبع‌محوری» یا Grounding می‌گویند. متنِ مرجع (یک سند، یک مقاله، چند پاراگراف داده) را داخل پرامپت می‌گذاری و می‌گویی: «فقط و فقط بر اساس متنِ زیر جواب بده؛ اگر پاسخ در این متن نبود، بگو در منبع یافت نشد.»

این تکنیک پایهٔ همان کاری است که در آموزش پرامپت منبع‌محور و زنجیرهٔ یادداشت با جزئیات دیدیم. وقتی دامنهٔ جواب را به یک منبعِ مشخص محدود می‌کنی، عملاً فضای جعل را از مدل می‌گیری: دیگر از جیبش چیزی درنمی‌آورد، فقط از روی چیزی که جلویش است می‌خواند.

درخواست استناد و نقل‌قول مستقیم

یک گامِ عملیِ دیگر این است که از مدل بخواهی برای هر ادعای مهم، منبع یا نقل‌قولِ مستقیم بیاورد. مثلاً: «برای هر آمار یا ادعای کلیدی، جمله‌ای از متنِ مرجع را که آن را تأیید می‌کند عیناً نقل کن.» وقتی مدل مجبور است عین عبارت را از منبع بیرون بکشد، نمی‌تواند چیزی بسازد که در متن نیست — چون نقل‌قولی برای آن پیدا نمی‌شود.

اگر منبعی به مدل نداده‌ای و به دانشِ عمومی‌اش تکیه می‌کنی، باز هم می‌توانی بپرسی: «این اطلاعات را چقدر مطمئن می‌دانی و کجا می‌شود آن را راستی‌آزمایی کرد؟» این سؤال مدل را وادار می‌کند لحنِ قطعیِ ساختگی را کنار بگذارد و خودش به تو بگوید کجا باید دوباره چک کنی.

راستی‌آزمایی و درجهٔ اطمینان؛ از مدل بخواه خودش را چک کند

مدل‌ها در یک پاسِ دوم، بهتر از پاسِ اول اشتباهِ خودشان را پیدا می‌کنند. می‌توانی از همین خاصیت استفاده کنی: بعد از گرفتن جواب، در یک مرحلهٔ جدا بگو «حالا نقشِ یک بازبینِ سخت‌گیر را بازی کن و هر ادعای این جواب را که ممکن است ساختگی یا تأییدنشده باشد فهرست کن». این همان ایدهٔ زنجیرهٔ راستی‌آزمایی است که در قسمت اولِ همین سری دیدیم.

مکملِ این کار، درخواستِ درجهٔ اطمینان است: از مدل بخواه کنار هر ادعا یک عددِ اطمینان از ۰ تا ۱۰۰ بگذارد. ادعاهایی که مدل خودش به آن‌ها اطمینانِ پایین می‌دهد، دقیقاً همان‌هایی هستند که باید دستی راستی‌آزمایی کنی. جزئیات این تکنیک را در آموزش کالیبراسیون اطمینان (قسمت دومِ این سری) کامل‌تر توضیح داده‌ایم.

قالب آمادهٔ پرامپت ضدتوهم

این قالب را می‌توانی بالای هر درخواستِ حساس بچسبانی و جاهای خالی را پر کنی:

نقش. تو یک دستیارِ دقیق و محتاط هستی که صحت برایت از کامل‌بودن مهم‌تر است.
منبع. فقط بر اساس متنِ زیر جواب بده: [متن یا دادهٔ مرجع را اینجا بگذار].
قاعدهٔ صداقت. اگر پاسخ در منبع نبود یا مطمئن نیستی، بگو «در منبع یافت نشد» و حدس نزن.
استناد. برای هر ادعای مهم، جملهٔ تأییدکننده را از منبع عیناً نقل کن.
شفافیت. هر بخشی را که نامطمئن است با برچسب [نامطمئن] و یک عددِ اطمینان از ۰ تا ۱۰۰ مشخص کن.
درخواست. [سؤال یا کارِ اصلی‌ات را اینجا بنویس].

همین شش خط، احتمالِ توهم را به‌شدت پایین می‌آورد؛ چون هم‌زمان اجازهٔ ندانستن می‌دهد، دامنه را به منبع می‌بندد، استناد می‌خواهد و اطمینان را شفاف می‌کند.

اشتباه‌های رایجی که توهم را بیشتر می‌کنند

جا انداختنِ پیش‌فرضِ غلط در سؤال؛ وقتی سؤالت وجودِ چیزی را مسلم می‌گیرد، مدل با آن همراه می‌شود و برایش داستان می‌سازد. فشار برای پاسخِ قطعی؛ جمله‌هایی مثل «حتماً یک جواب بده» دقیقاً مدل را به‌سمت جعل هل می‌دهند. نپرسیدنِ منبع؛ وقتی استناد نمی‌خواهی، هیچ ترمزی روی ساختن اطلاعات وجود ندارد. اعتماد به لحنِ مطمئن؛ قاطع‌بودنِ جواب هیچ ربطی به درست‌بودنش ندارد و نباید آن را نشانهٔ صحت بگیری. و در آخر، دادنِ یک کارِ بزرگ و مبهم در یک پرامپت؛ هرچه درخواست گُنگ‌تر باشد، فضای بیشتری برای پرکردنِ خلأ با حدس باقی می‌ماند.

پرسش‌های پرتکرار

آیا می‌شود توهم را کاملاً صفر کرد؟
نه به‌طور کامل؛ توهم به طرز کارِ ذاتیِ مدل‌ها گره خورده است. ولی ترکیبِ اجازهٔ ندانستن، منبع‌محوری، درخواست استناد و راستی‌آزمایی، آن را از یک مشکلِ جدی به یک خطرِ قابل‌کنترل تبدیل می‌کند. برای کارهای حساس، جوابِ مدل را همیشه یک پیش‌نویسِ نیازمندِ بازبینی در نظر بگیر، نه حقیقتِ نهایی.

پایین‌آوردن دما (Temperature) جلوی توهم را می‌گیرد؟
کمک می‌کند ولی کافی نیست. دمای پایین جواب را قطعی‌تر و کم‌تنوع‌تر می‌کند، اما اگر مدل اطلاعاتِ غلط را «محتمل» بداند، با دمای پایین هم همان غلط را با اطمینانِ بیشتری می‌گوید. ترفندهای پرامپتیِ این آموزش از تنظیمِ دما مؤثرترند.

وقتی منبعی برای دادن ندارم چه کنم؟
در این حالت روی دو ابزار تکیه کن: اجازهٔ ندانستن و درخواستِ درجهٔ اطمینان. از مدل بخواه هر ادعای نامطمئن را علامت بزند و بگوید کجا می‌شود آن را راستی‌آزمایی کرد؛ بعد همان موارد را خودت از یک منبعِ معتبر چک کن.

جمع‌بندی

توهم یک باگِ عجیب نیست؛ نتیجهٔ طبیعیِ مدلی است که برای «قانع‌کننده‌بودن» ساخته شده، نه «درست‌بودن». کارِ تو این است که با پرامپت، مدل را از این مسیرِ پیش‌فرض منحرف کنی: به او اجازهٔ ندانستن بده، دامنهٔ جواب را به منبع ببند، استناد و درجهٔ اطمینان بخواه، و در یک پاسِ دوم وادارش کن خودش را راستی‌آزمایی کند. با همین چند حرکت، جوابِ مطمئنِ ساختگی جای خود را به جوابِ صادقانه و قابل‌اعتماد می‌دهد.

این آموزش قسمت سومِ سریِ «راستی‌آزمایی و جواب‌های قابل‌اعتماد» است؛ قسمت اول زنجیرهٔ راستی‌آزمایی و قسمت دوم کالیبراسیون اطمینان بود. برای دیدن همهٔ قسمت‌ها و ترتیب یادگیری، سری کامل را اینجا ببین: مجموعهٔ آموزش پرامپت‌نویسی.