Human-in-the-loop؛ قانون طلایی «قبل از ارسال نشانم بده»

وقتی یک Agent می‌تواند خودش رکورد بسازد، پیام بفرستد یا پرداخت را تأیید کند، یک سؤال ساده ولی سرنوشت‌ساز پیش می‌آید: تا کجا اجازه دارد بدون پرسیدن از انسان پیش برود؟ در معماری‌های اولیهٔ Agent، پاسخ رایج این بود که هرچه خودکاری بیشتر، بهتر. تجربهٔ عملی نشان داده این نگاه اشتباه است. قانون طلایی‌ای که در تیم‌های جدی محصولات ایجنتی شکل گرفته این است: «قبل از ارسال نشانم بده». این مقاله دربارهٔ Human-in-the-loop (HITL) است؛ نه به‌عنوان یک مانع در برابر خودکاری، بلکه به‌عنوان شرط بقای اعتماد در یک محصول Opsless.

چرا HITL حذف نمی‌شود

در یک محصول Opsless، کاربر دیگر رابط کاربری سیستم را نمی‌بیند؛ او فقط Intent می‌دهد و Outcome می‌گیرد. همین غیبت رابط، ریسک را بالا می‌برد: اگر Agent در تفسیر Intent اشتباه کند، کاربر تا وقتی که Outcome نهایی را نبیند، متوجه نمی‌شود. برای اقداماتی که برگشت‌پذیرند — مثلاً خواندن یک گزارش — این مشکلی ندارد. اما برای اقداماتی که برگشت‌ناپذیرند یا از سازمان بیرون می‌روند — ارسال ایمیل به مشتری، تغییر قیمت، پرداخت وجه — یک اشتباه تفسیری می‌تواند خسارت واقعی بزند. HITL دقیقاً همان نقطه‌ای است که پیش از عبور از این مرز، کنترل را به انسان برمی‌گرداند.

سطوح ریسک؛ نه همه‌چیز به یک اندازه حساس است

اشتباه رایج این است که یا همه‌چیز نیاز به تأیید دارد (که خودکاری را بی‌معنا می‌کند) یا هیچ‌چیز نیاز ندارد (که اعتماد را از بین می‌برد). راه‌حل درست، دسته‌بندی اقدامات بر اساس ریسک است: