قسمت ۶ — محدودیت‌ها و خطرهای نقش‌دهی

پنج قسمت گذشته نشان داد نقش‌دهی چقدر جواب را عوض می‌کند. این قسمت پایانی سری «نقش‌دهی به هوش مصنوعی» دربارهٔ همان قدرت است، اما از سمت هزینه‌اش: جایی که لحن متخصص، متن را معتبرتر از محتوایش نشان می‌دهد؛ جایی که نقش، خطا را پنهان می‌کند؛ و جاهایی که اصلاً نباید نقش داد.

۱. توهم تخصص؛ لحن به‌جای دانش

نقش‌دهی سبک بیان را عوض می‌کند و بخشی از دانش موجود در مدل را برجسته می‌کند، اما دانشی که در مدل نیست را نمی‌سازد. نتیجه این است که با نقش «متخصص»، متنی می‌گیری که مطمئن‌تر به نظر می‌رسد، بدون اینکه لزوماً درست‌تر باشد.

این فاصله بین اطمینان و درستی، اصلی‌ترین خطر است، چون درست همان چیزی را از بین می‌برد که به کمکش خطا را تشخیص می‌دادی. متن مردد، خودش هشدار می‌دهد؛ متن قاطع، هشدار نمی‌دهد.

مهار ساده است و اغلب فراموش می‌شود: از مدل بخواه در پایان هر پاسخ تخصصی، دو چیز را جدا بنویسد؛ مواردی که مطمئن است و مواردی که ممکن است اشتباه باشند و باید بررسی شوند. اگر این فهرست دوم همیشه خالی درمی‌آید، خودِ آن یک نشانه است.

۲. آزمون اعتبار پاسخ نقش‌دار

پیش از تکیه‌کردن به یک پاسخ تخصصی، سه پرسش را از خودت بپرس. آیا این ادعا قابل بررسی است یا فقط قابل باور؟ آیا عددی در متن هست که منبعش را من نداده‌ام؟ آیا اگر همین پرسش را بدون نقش می‌پرسیدم، پاسخ متفاوتی می‌گرفتم؟

پرسش سوم یک آزمون عملی و ارزان است. پرسش را یک بار با نقش و یک بار بدون نقش بپرس. اگر محتوای دو پاسخ یکی است و فقط لحن فرق دارد، نقش کار خودش را کرده و چیزی برای نگرانی نیست. اگر پاسخ نقش‌دار ادعاهای بیشتری دارد، آن ادعاهای اضافه دقیقاً همان‌هایی هستند که باید بررسی شوند.

آزمون دوم، تغییر نقش است. همان پرسش را از دو نقش با منافع متضاد بپرس؛ همان کاری که در قسمت چهارم ساختیم. هر چیزی که در هر دو پاسخ تکرار می‌شود، احتمالاً به نقش وابسته نیست.

۳. نقش‌هایی که مسئولیت را جابه‌جا می‌کنند

برخی نقش‌ها فقط سبک نیستند؛ ادعای صلاحیت می‌کنند. «تو یک پزشک هستی»، «تو وکیل من هستی»، «تو مشاور سرمایه‌گذاری من هستی». مشکل این نقش‌ها این است که در ذهن خواننده، پاسخ را از جنس مشورت حرفه‌ای می‌کنند، در حالی که نه پرونده‌ای دیده شده، نه مسئولیتی وجود دارد.

جایگزین امن، تغییر فعل نقش است. به‌جای «تو وکیل من هستی و بگو چه کنم» بنویس «مثل یک وکیل، بندهای پرریسک این متن را فهرست کن و پرسش‌هایی بساز که باید از وکیل بپرسم». نقش همان است، اما خروجی از حکم به آماده‌سازی تغییر می‌کند و مسئولیت سر جایش می‌ماند. الگوی کامل این کار در قسمت سوم آمده است.

یک قاعدهٔ ساده برای تشخیص: اگر خروجی قرار است جای مشورت انسانی را بگیرد، نقش را عوض کن. اگر قرار است آن مشورت را بهتر و ارزان‌تر کند، نقش درست است.

۴. انحراف تدریجی نقش

در گفت‌وگوی طولانی، نقش کم‌رنگ می‌شود. مدل به لحن عمومی خود برمی‌گردد، محدودیت‌ها را نادیده می‌گیرد و کم‌کم به هر پرسشی جواب می‌دهد. خطر اینجاست که این تغییر آرام است و معمولاً متوجهش نمی‌شوی.

سه نشانهٔ انحراف: پاسخ‌ها عمومی‌تر می‌شوند، مرزهایی که تعیین کرده بودی رعایت نمی‌شوند، و مدل شروع می‌کند به موافقت پیوسته با هرچه می‌گویی. نشانهٔ سوم مهم‌ترین است و اغلب با «مکالمهٔ روان» اشتباه گرفته می‌شود.

مهار انحراف سه راه دارد. یادآوری کوتاه یک‌خطی کارت نقش هر چند پیام یک بار؛ آزمون مرزی دوره‌ای، یعنی پرسیدن چیزی که باید رد شود و دیدن اینکه رد می‌شود یا نه؛ و شروع گفت‌وگوی تازه وقتی موضوع عوض می‌شود، به‌جای ادامه‌دادن یک رشتهٔ طولانی.

۵. کجا نقش ندهیم

نقش‌دهی برای هر کاری ابزار درستی نیست. چهار موقعیت که بهتر است بدون نقش کار کنی:

1. پرسش‌های واقعیت‌محور. وقتی پاسخ یک عدد یا یک تاریخ است، نقش فقط لحن اضافه می‌کند و گاهی حاشیه می‌سازد.
2. کارهای اجرایی روی متن. خلاصه‌سازی، ترجمه، استخراج داده و مرتب‌کردن، با دستور دقیق بهتر انجام می‌شوند تا با شخصیت.
3. حوزه‌های پرخطر بدون نظارت انسانی. هر جا خروجی مستقیم به تصمیم پزشکی، حقوقی یا مالی می‌رسد و کسی آن را بازبینی نمی‌کند.
4. جایی که خروجی به نام یک انسان واقعی منتشر می‌شود. نقش‌دهی می‌تواند لحن را چنان مطمئن کند که متن، ادعاهایی را به نام نویسنده ثبت کند که او پشتشان نیست.

مورد چهارم در تولید محتوا شایع است. راه‌حلش حذف نقش نیست، اضافه‌کردن یک مرحلهٔ بازبینی است که در آن هر ادعای قابل بررسی، یا منبع بگیرد یا حذف شود.

۶. سیاههٔ ایمنی پیش از استفاده

پیش از اینکه خروجی یک نقش تخصصی را جایی به کار ببری، این پنج بند را چک کن:

سیاههٔ ایمنی خروجی نقش‌دار

۱) عددها: کدام عدد در متن هست که من نداده‌ام؟ منبعش کجاست؟
۲) ارجاع‌ها: به قانون، مطالعه یا منبعی ارجاع داده شده که متنش
   را نداده‌ام؟ اگر بله، حذف یا راستی‌آزمایی شود.
۳) قطعیت: چند ادعا بدون قید بیان شده‌اند؟ کدامشان واقعاً قطعی‌اند؟
۴) مرز: پرسشی خارج از حوزه پرسیدم و مدل آن را رد کرد یا جواب داد؟
۵) مسئولیت: این خروجی جای مشورت انسانی را می‌گیرد یا آن را
   آماده‌تر می‌کند؟ اگر اولی است، نقش را بازنویسی کن.

قید کمکی برای افزودن به هر پرامپت نقش‌دار:
«در پایان پاسخ، دو فهرست جدا بنویس: مواردی که مطمئنی، و مواردی
که ممکن است اشتباه باشند و باید بررسی شوند. اگر فهرست دوم خالی
است، صریح بگو چرا.»

قید پایانی را در همهٔ پرامپت‌های تخصصی‌ات بگذار. هزینه‌اش دو خط است و اثرش این است که خروجی، خودش نقطهٔ شروع بررسی را نشان می‌دهد.

۷. جمع‌بندی سری در یک نگاه

در شش قسمت مسیری ساخته شد که هر گام آن یک لایه اضافه می‌کند. نقش، جهت پاسخ را تعیین می‌کند. پرسونا، آن جهت را در کل گفت‌وگو پایدار می‌کند. پرسش سه‌لایه، پاسخ را از کلی‌گویی بیرون می‌آورد. شورای چندنقشی، نقاط کور یک منظر را آشکار می‌کند. کاربردهای فروش و پشتیبانی نشان می‌دهد نقش مقابل، گاهی مفیدتر از نقش خودی است.

و این قسمت آخر یک چیز را اضافه می‌کند که بدون آن بقیه ناقص‌اند: نقش‌دهی اعتبار نمی‌سازد، فقط بیان را عوض می‌کند. هر مقدار اطمینانی که در خروجی می‌بینی، از تو باید تأیید بگیرد نه از لحن متن.

اگر بخواهی کل سری را در یک عادت خلاصه کنی، همین است: نقش را دقیق بساز، خروجی را با آزمون بسنج، و هر جا خروجی به تصمیم واقعی می‌رسد، یک انسان را در مسیر نگه دار.

۸. پرسش و پاسخ

آیا نقش‌دهی باعث خطای بیشتر مدل می‌شود؟ لزوماً نه، اما تشخیص خطا را سخت‌تر می‌کند چون لحن مطمئن‌تر است. خطر در تشخیص است، نه در تولید.

چطور بفهمم نقش در گفت‌وگو منحرف شده؟ هر چند پیام یک بار پرسشی بپرس که باید رد شود. اگر رد نشد، نقش را دوباره بگذار یا گفت‌وگوی تازه شروع کن.

آیا استفاده از نقش پزشک یا وکیل همیشه اشتباه است؟ نه، به شرط اینکه خروجی آماده‌سازی باشد نه حکم: فهرست پرسش‌ها، فهرست ریسک‌ها، توضیح اصطلاحات. هر جا فعل به «تصمیم بگیر» تبدیل شود، مرز رد شده است.

برای محتوایی که منتشر می‌کنم چه قیدی بگذارم؟ از مدل بخواه هر ادعای عددی یا تاریخی را جداگانه فهرست کند تا پیش از انتشار راستی‌آزمایی شود؛ و هر ادعایی که منبع ندارد را کنار بگذار.

دو تمرین زیر این قسمت را تثبیت می‌کنند؛ دومی را روی یکی از پرامپت‌های واقعی خودت اجرا کن.