Reranking و Hybrid Search؛ وقتی جست‌وجوی برداری کافی نیست

خیلی از تیم‌هایی که برای اولین‌بار یک خط لولهٔ RAG می‌سازند، بعد از چند هفته با یک الگوی آزاردهنده مواجه می‌شوند: بات برای سؤال‌های کلی و مفهومی خوب جواب می‌دهد، اما وقتی کاربر شمارهٔ مدل دقیق یک محصول یا نام یک فیلد فنی را می‌پرسد، جواب اشتباه یا ناقص می‌دهد. این نشانهٔ کلاسیک محدودیت جست‌وجوی برداری تنها است، و راه‌حلش ترکیب آن با جست‌وجوی کلیدواژه‌ای (keyword search) و یک لایهٔ rerank است. اگر ساختار کلی خط لوله برایتان روشن نیست، اول نقشهٔ راه ساخت چت‌بات تخصصی را ببینید؛ این مقاله دقیقاً روی همان لایهٔ بازیابی زوم می‌کند.

چرا جست‌وجوی برداری به‌تنهایی کافی نیست

embedding برای گرفتن «معنا» طراحی شده، نه برای تطبیق دقیق رشته‌ها. این یعنی جست‌وجوی برداری در سه دستهٔ سؤال ضعیف عمل می‌کند:

• کلمهٔ دقیق: اگر کاربر عین یک اصطلاح فنی یا کد خطا را بپرسد، مدل embedding ممکن است آن را به مفهومی نزدیک اما نادرست تعمیم دهد، چون در فضای برداری، رشته‌های نزدیک از نظر معنا خوشه می‌شوند نه از نظر تطابق حرف‌به‌حرف.
• نام محصول: نام‌های تجاری اغلب کلمات نامتعارف یا ترکیبی هستند که embedding آن‌ها را به‌خوبی کلمات رایج زبان نمایندگی نمی‌کند؛ دو محصول با نام مشابه ممکن است در فضای برداری خیلی نزدیک شوند و جابه‌جا بازیابی شوند.
• شمارهٔ مدل: اعداد و کدهای الفبا-عددی (مثل X200-Pro در برابر X200) معنای معناشناختی ندارند؛ برای embedding تقریباً یکسان به نظر می‌رسند، درحالی‌که برای کاربر تفاوتشان حیاتی است.

در هر سه مورد، مشکل این نیست که مدل embedding «بد» است؛ مشکل این است که این‌ها اساساً کارهایی هستند که جست‌وجوی کلیدواژه‌ای (مثل BM25) در آن‌ها بهتر از جست‌وجوی معنایی عمل می‌کند.