خط لولهٔ کامل RAG؛ از فایل خام تا جواب با ارجاع

وقتی می‌گویند «چت‌بات ما روی مستندات شرکت جواب می‌دهد»، پشت این جمله یک خط لولهٔ چندمرحله‌ای پنهان است که هر مرحله‌اش می‌تواند کل کیفیت جواب نهایی را خراب یا نجات دهد. RAG (Retrieval-Augmented Generation) فقط «وصل کردن مدل زبانی به یک پایگاه دانش» نیست؛ زنجیره‌ای از تبدیل‌هاست که فایل خام PDF یا Word را به جوابی قابل‌اتکا و قابل‌ارجاع تبدیل می‌کند. اگر قبلاً نقشهٔ راه ساخت چت‌بات تخصصی را خوانده باشید، این مقاله همان مرحلهٔ فنی RAG را با جزئیات باز می‌کند: ورودی و خروجی هر گام، و اینکه چرا حذف هرکدام هزینه دارد.

مرحلهٔ اول: دریافت و پاک‌سازی سند (Ingestion)

ورودی این مرحله فایل خام است؛ فرقی نمی‌کند PDF اسکن‌شده باشد، صفحهٔ HTML، فایل Word، یا خروجی یک API داخلی. خروجی، متن تمیز و ساخت‌یافته است: عنوان‌ها از بدنه جدا شده‌اند، جدول‌ها به شکلی قابل‌پردازش تبدیل شده‌اند (نه فقط متن پراکنده)، و متادیتایی مثل نام فایل، تاریخ انتشار، و شمارهٔ نسخه به هر سند چسبیده است. اشتباه رایج اینجاست که تیم‌ها فرض می‌کنند «استخراج متن» یعنی فقط pdftotext زدن؛ اما جدول قیمت یا مشخصات فنی که در یک ستون درهم می‌ریزد، در مراحل بعدی هم درهم می‌ماند و هیچ مدلی نمی‌تواند آن را درست بخواند.

مرحلهٔ دوم: تکه‌بندی (Chunking)

ورودی، متن تمیزشدهٔ مرحلهٔ قبل است؛ خروجی، تکه‌های (chunk) کوچک‌تر با هم‌پوشانی کنترل‌شده است. اندازهٔ هر تکه باید هم برای embedding معنادار باشد و هم در پنجرهٔ context مدل جا شود. تکه‌بندی بر اساس تعداد کاراکتر خام معمولاً جمله یا پاراگراف را وسط قطع می‌کند؛ روش بهتر، تکه‌بندی بر اساس ساختار سند (عنوان، زیرعنوان، پاراگراف) است تا هر تکه یک واحد معنایی کامل بماند. هر تکه باید ارجاع خود را — نام سند، شمارهٔ صفحه یا بخش — همراه داشته باشد؛ این ارجاع همان چیزی است که در مرحلهٔ آخر به کاربر نشان داده می‌شود.