چیدمان اطلاعات در پرامپت؛ چرا هوش مصنوعی وسط متن‌های طولانی را فراموش می‌کند

یک متن طولانی را کامل به هوش مصنوعی می‌دهی، سؤالت را هم وسط همان متن می‌گذاری و انتظار جواب دقیق داری؛ ولی مدل انگار درست همان بخش را ندیده است. مقصر تو نیستی و مدل هم خراب نیست: مشکل از «چیدمان اطلاعات» است. مدل‌های زبانی به ابتدا و انتهای یک پرامپت بیشترین توجه را می‌کنند و میانهٔ متن‌های بلند را کم‌رنگ می‌بینند؛ پدیده‌ای که به آن «گم‌شدن در میانه» می‌گویند.

چیدمان اطلاعات در پرامپت یعنی چه

پرامپت فقط «چه گفتنی» نیست؛ «کجا گفتن» هم هست. وقتی پرامپت کوتاه است، جای اجزا اهمیت چندانی ندارد چون همه‌چیز جلوی چشم مدل است. اما تا پای یک سند چندصفحه‌ای، چند ایمیل، یک قرارداد یا یک لاگ طولانی به میان می‌آید، ناگهان «جای هر چیز» به یکی از مهم‌ترین اهرم‌های کیفیت تبدیل می‌شود. چیدمان اطلاعات یعنی همین: عمداً تصمیم بگیری دستور اصلی، داده‌های پس‌زمینه، مثال‌ها، قیدها و سؤال نهایی هرکدام در کدام بخش از متن بنشینند.

ذهن مدل مثل یک نورافکن است که روی متن حرکت می‌کند، اما این نور همه‌جا یکسان نمی‌تابد. جاهایی پرنور است و جاهایی نیمه‌تاریک. اگر مهم‌ترین دستورت را در نقطهٔ نیمه‌تاریک بگذاری، حتی بهترین مدل هم ممکن است آن را کم‌رنگ ببیند و در جواب نادیده بگیرد. اگر تازه در این مسیر هستی، بد نیست اول راهنمای پرامپت‌نویسی به زبان ساده را مرور کنی تا این نکتهٔ پیشرفته‌تر بهتر جا بیفتد.

مثال: «این گزارش ده‌صفحه‌ای فروش را بخوان و سه ریسک اصلی فصل بعد را بیرون بکش.» اگر این دستور را وسط گزارش بچسبانی، احتمال گم‌شدنش بالاست؛ اما اگر آن را در همان خط اول بیاوری و در پایان هم یک جمله‌ای تکرارش کنی، مدل دقیقاً می‌داند مأموریتش چیست.

پدیدهٔ گم‌شدن در میانه چگونه کشف شد

واژهٔ «گم‌شدن در میانه» (Lost in the Middle) از یک رشته آزمایش معروف روی مدل‌های زبانی آمد. پژوهشگران یک اطلاعات کلیدی را در جاهای مختلف یک متن بلند پنهان کردند و از مدل خواستند آن را پیدا کند. نتیجه شگفت‌انگیز بود: وقتی اطلاعات در ابتدا یا انتهای متن بود، مدل با دقت بالا پیدایش می‌کرد؛ اما همین‌که به میانهٔ متن می‌رفت، دقت به‌شکل محسوسی سقوط می‌کرد. نمودار این دقت شکل حرف U را می‌ساخت.

دلیلش به شیوهٔ آموزش و معماری توجهِ مدل برمی‌گردد. مدل یاد گرفته که آغاز یک متن معمولاً «صحنه‌چینی و دستور» است و پایان آن «جمع‌بندی و خواسته»؛ برای همین به این دو ناحیه حساس‌تر است. نکتهٔ مهم این است که این پدیده مختص یک مدل خاص نیست و در خانواده‌های مختلف دیده می‌شود، فقط شدتش فرق می‌کند. حتی با آمدن پنجره‌های زمینهٔ بسیار بزرگ، مثل آنچه در پنجرهٔ دو میلیون توکنی جمینای دیدیم، «جا داشتن» اطلاعات با «دیده‌شدن» آن یکی نیست؛ اینکه متن جا می‌شود به این معنا نیست که مدل همه‌جای آن را یکسان می‌بیند.

به بیان ساده: بزرگ‌شدن پنجرهٔ زمینه مشکل چیدمان را حل نمی‌کند، فقط آن را پنهان‌تر می‌کند. هرچه متنی که به مدل می‌دهی بلندتر باشد، اهمیت اینکه مهم‌ها را کجا می‌گذاری بیشتر می‌شود، نه کمتر.

قانون طلایی چیدمان؛ اول و آخر را برای مهم‌ترین‌ها نگه دار

اگر بخواهیم کل این درس را در یک جمله فشرده کنیم، همین است: مهم‌ترین دستور و مهم‌ترین قید را در ابتدا بیاور و درست پیش از پایان، خلاصه‌شان را تکرار کن. میانهٔ متن را به داده‌های خام و پس‌زمینه بسپار؛ چیزهایی که مدل باید بداند اما لازم نیست مو‌به‌مو رویشان تمرکز کند.

این ساختار «ساندویچی» به مدل دو بار یادآوری می‌کند که مأموریت اصلی چیست: یک‌بار پیش از دیدن داده‌ها تا با ذهنیت درست وارد متن شود، و یک‌بار پس از داده‌ها تا در لحظهٔ تولید جواب، خواسته جلوی چشمش باشد. این همان جایی است که چیدمان با تفاوت پرامپت سیستمی و کاربر پیوند می‌خورد؛ نقش کلی را در بالا تثبیت می‌کنی و خواستهٔ مشخص را در پایین.

الگوی ذهنی: «دستور اصلی ← داده‌های پس‌زمینه (میانه) ← تکرار کوتاه دستور + سؤال دقیق». هرچه داده‌ها بلندتر، این تکرارِ پایانی حیاتی‌تر.

داده‌های طولانی را چطور بچینیم تا گم نشوند

وقتی مجبوری حجم زیادی متن به مدل بدهی، چند کار ساده تفاوت بزرگی می‌سازد. اول، سؤال را بعد از داده‌ها بگذار، نه قبل از آن؛ چون آخرین چیزی که مدل می‌بیند بیشترین اثر را روی جواب دارد. دوم، بخش‌های مختلف را با مرز روشن از هم جدا کن تا مدل بداند کجا داده تمام می‌شود و کجا دستور شروع می‌شود. این دقیقاً کاری است که جداکننده‌ها و تگ‌ها در پرامپت انجام می‌دهند.

سوم، اگر متن واقعاً بلند است، قبل از پرسیدن سؤال اصلی از مدل بخواه ابتدا خلاصه‌ای از هر بخش بسازد و بعد روی خلاصه‌ها کار کند؛ این کار میانهٔ فراموش‌شده را به ابتدای یک متن کوتاه‌تر منتقل می‌کند. چهارم، ترتیب داده‌ها را بی‌اهمیت فرض نکن؛ مرتبط‌ترین اسناد به سؤال را نزدیک انتها بگذار تا در ناحیهٔ پرنور توجه قرار بگیرند. این نگاه، بخشی از دانش بزرگ‌ترِ مهندسی کانتکست است که تعیین می‌کند چه چیزی، چه‌قدر و کجا وارد پنجرهٔ مدل شود.

مثال: به‌جای «این پنج ایمیل را بخوان و خلاصه کن: … [پنج ایمیل] …»، بنویس «پنج ایمیل زیر بین سه‌تا علامت مرز آمده‌اند. اول هر ایمیل را در یک جمله خلاصه کن، سپس در پایان بگو کدام‌یک نیاز به پاسخ فوری دارد. <<< … ایمیل‌ها … >>> حالا طبق دستور بالا عمل کن.»

یک مثال کامل؛ قبل و بعد از چیدمان درست

فرض کن یک قرارداد بلند داری و می‌خواهی بدانی شرط فسخ چیست. پرامپت بد این‌طور است: کل متن قرارداد را می‌چسبانی و وسط آن می‌نویسی «شرط فسخ را پیدا کن» و بعد ادامهٔ قرارداد. اینجا دستور تو دقیقاً در نیمه‌تاریک نورافکن مدل افتاده و احتمال دارد نادیده گرفته شود یا با جزئیات دیگر قاطی شود.

پرامپت خوب، ساختار ساندویچی دارد. در خط اول می‌نویسی: «وظیفهٔ تو فقط پیدا کردن و توضیح شرط فسخ در قرارداد زیر است؛ به بقیهٔ بندها کاری نداشته باش.» بعد کل متن قرارداد را بین جداکننده‌ها می‌گذاری. و در پایان دوباره می‌نویسی: «حالا شرط فسخ را با ذکر شمارهٔ بند بنویس و در یک جمله به زبان ساده توضیح بده.» همین بازآراییِ ساده معمولاً تفاوت میان یک جواب مبهم و یک جواب دقیق و قابل‌استناد را رقم می‌زند.

اگر می‌خواهی این تغییر را عینی بسنجی، می‌توانی با روش‌های ارزیابی و نمره‌دهی به پرامپت هر دو حالت را روی یک متن اجرا کنی و دقت‌شان را کنار هم بگذاری؛ عدد نتیجه معمولاً حرف این درس را تأیید می‌کند.

الگوی آمادهٔ کپی برای متن‌های طولانی

این قالب را ذخیره کن و هر بار که با یک سند بلند سروکار داری، جاهای خالی را پر کن:

«مأموریت: [دقیقاً بگو چه می‌خواهی، در یک تا دو جمله].
قید مهم: [مهم‌ترین محدودیت یا چیزی که نباید فراموش شود].
حالا متن زیر را بخوان. متن بین علامت‌های مرز آمده است:
<<<
[متن یا داده‌های طولانی] >>>
یادآوری مأموریت: [همان مأموریت خط اول را کوتاه تکرار کن].
خروجی را دقیقاً در این قالب بده: [قالب یا فرمت خروجی].»

سه نکته این قالب را قدرتمند می‌کند: مأموریت در بالا تثبیت می‌شود، داده‌ها با مرز روشن جدا می‌شوند، و یادآوری پایانی درست پیش از تولید جواب، خواسته را در ناحیهٔ پرنور توجه قرار می‌دهد. اگر می‌خواهی این قالب را یک‌بار بسازی و بارها استفاده کنی، نگاهی به پرامپت‌های قالبی با متغیر بینداز.

اشتباه‌های رایج در چیدمان که جواب را خراب می‌کنند

رایج‌ترین خطا این است که دستور را وسط داده‌ها دفن می‌کنیم و بعد از کیفیت پایین جواب تعجب می‌کنیم. خطای دوم، نگذاشتن هیچ مرزی میان دستور و داده است؛ مدل نمی‌فهمد کجا باید اطاعت کند و کجا فقط بخواند. خطای سوم، تلنبار کردن چند مأموریت مختلف در یک پرامپت بلند است که باعث می‌شود بعضی‌شان در میانه گم شوند.

خطای چهارم و ظریف، اعتماد بیش‌ازحد به پنجرهٔ بزرگ است؛ اینکه فکر کنیم چون همه‌چیز «جا شد»، پس همه‌چیز «دیده می‌شود». و خطای پنجم، بی‌توجهی به ترتیب مثال‌هاست؛ اگر مثال‌ها یا مهم‌ترین اسناد را در انتها نزدیک سؤال بگذاری، اثرشان بیشتر می‌شود. برای متن‌های شلوغ و پرپراکنده، ترکیب این درس با رشتهٔ فکر برای متن‌های طولانی نتیجه را باز هم بهتر می‌کند.

اگر می‌خواهی این تکنیک را در کنار بقیهٔ روش‌ها به‌ترتیب و از پایه یاد بگیری، نقشهٔ راه سری آموزشی پرامپت‌نویسی نقطهٔ شروع خوبی است.

پرسش‌های پرتکرار

آیا این پدیده با مدل‌های جدیدتر از بین رفته است؟ کاملاً نه. مدل‌های تازه‌تر در پیدا کردن اطلاعات میانی بهتر شده‌اند، اما هرچه متن بلندتر شود، افت توجه به میانه دوباره خودش را نشان می‌دهد. چیدمان درست همچنان یک بیمهٔ ارزان و مؤثر است.

سؤال را اول بگذارم یا آخر؟ برای متن‌های طولانی، بهترین کار این است که مأموریت را یک‌بار اول بیاوری و سؤال دقیق را بعد از داده‌ها، نزدیک انتها، تکرار کنی. این‌طور هم ذهنیت درست ساخته می‌شود، هم خواسته در لحظهٔ جواب جلوی چشم مدل است.

جداکننده حتماً لازم است؟ برای متن‌های کوتاه نه، اما به‌محض اینکه داده و دستور با هم قاطی می‌شوند، مرز روشن جلوی خطاهای زیادی را می‌گیرد و به مدل می‌گوید کجا داده تمام و دستور شروع می‌شود.

اگر چند سند دارم، ترتیبشان مهم است؟ بله. مرتبط‌ترین سند به سؤال را نزدیک انتها بگذار تا در ناحیهٔ پرنور توجه بنشیند؛ اسناد پس‌زمینه‌ای‌تر را در میانه.