آبان
اخبار
توکن مشترک robots.txt؛ یک قانون برای جلوگیری از آموزش هوش مصنوعی با محتوای سایت
گوگل، مایکروسافت، آنتروپیک و OpenAI اعلام کرده‌اند از یک توکن مشترک در فایل robots.txt پشتیبانی می‌کنند تا صاحبان سایت با یک قانون واحد، جلوی استفاده از محتوایشان برای آموزش مدل‌های هوش مصنوعی را بگیرند. در این مقاله توضیح می‌دهیم این خبر دقیقاً یعنی چه، چه چیزی را عوض می‌کند و چه چیزی را عوض نمی‌کند.
لیست مطالب
۱. چه اتفاقی افتاد؟
روز جمعه ۳۰ اکتبر ۲۰۲۶ چهار بازیگر اصلی دنیای هوش مصنوعی مولد، یعنی گوگل، مایکروسافت، آنتروپیک و OpenAI، اعلام کردند که از یک سیگنال مشترک برای اعلام ترجیح صاحبان وب‌سایت‌ها درباره‌ی آموزش مدل‌ها پشتیبانی خواهند کرد. ایده ساده است: به‌جای اینکه هر شرکت یک نام خزنده‌ی جدا داشته باشد و شما مجبور باشید برای تک‌تک آن‌ها قانون بنویسید، یک توکن عمومی وجود داشته باشد که همه‌ی خزنده‌های جمع‌آوری داده‌ی آموزشی آن را رعایت کنند.
این خبر برای کسانی که با اخبار حوزه‌ی هوش مصنوعی همراه هستند، یک نشانه‌ی روشن است: بحث «مجوز استفاده از محتوا» دیگر فقط دعوای حقوقی و رسانه‌ای نیست و وارد مرحله‌ی فنی و استانداردسازی شده است. اگر مرتب اخبار هوش مصنوعی در مستر چت‌جی‌پی‌تی را دنبال کرده باشید، می‌دانید که چنین موضوعی ماه‌هاست در حاشیه‌ی خبرهای مدل‌های جدید رشد می‌کرد.
۲. مشکل امروز robots.txt چیست؟
فایل robots.txt قدیمی‌ترین ابزار هماهنگی میان سایت‌ها و ربات‌های خزنده است. صاحب سایت در آن می‌نویسد کدام ربات به کدام مسیر دسترسی دارد. این روش برای موتورهای جست‌وجو خوب جواب داد، اما با آمدن شرکت‌های هوش مصنوعی پیچیده شد. هر شرکت ممکن است چند خزنده داشته باشد؛ یکی برای آموزش، یکی برای جست‌وجو و یکی برای باز کردن لینک‌ها هنگام پاسخ به کاربر.
نتیجه این بود که سایت‌داران برای جلوگیری از آموزش مدل‌ها، لیست بلند و دائماً در حال تغییری از نام ربات‌ها در robots.txt نگه می‌داشتند. هر بار که شرکتی ربات تازه‌ای معرفی می‌کرد، لیست قدیمی ناقص می‌شد. توکن مشترک دقیقاً برای حل همین مشکل پیشنهاد شده است.
چرا نام خزنده‌ها کافی نبود؟
نام خزنده‌ها را شرکت‌ها خودشان انتخاب و گاهی عوض می‌کنند. اگر شما فقط نام‌های امروز را مسدود کنید، ربات‌هایی که فردا معرفی می‌شوند از قانون شما بی‌خبرند. یک سیگنال مبتنی بر «هدف استفاده»، یعنی آموزش مدل، از این وابستگی به نام ربات‌ها رها می‌شود.
۳. توکن __usage_ai-training چطور کار می‌کند؟
طبق گزارش‌های منتشرشده، سیگنال پیشنهادی توکنی با نام __usage_ai-training است. صاحب سایت یک بخش User-Agent با همین نام می‌نویسد و سپس با Disallow مشخص می‌کند کدام مسیرها نباید برای آموزش استفاده شوند. در صورت نیاز می‌توان با Allow استثنا هم تعریف کرد. نمونه‌ی ساده‌ی آن این است:
User-Agent: __usage_ai-training
Disallow: /
# استثنا: اجازه برای یک مسیر مشخص
Allow: /public-data/نکته‌ی جالب درباره‌ی گوگل این است که اگر سایتی از این توکن استفاده کند ولی نام Google-Extended را جداگانه ذکر نکرده باشد، گوگل آن را مثل مسدود کردن Google-Extended در نظر می‌گیرد. یعنی لازم نیست قانون قدیمی را حذف کنید؛ دو روش کنار هم مشکلی ایجاد نمی‌کنند.
توجه کنید که نمونه‌ی بالا برای درک ساختار است. چون سیگنال هنوز در مرحله‌ی پیش‌نویس است، قبل از اعمال روی سایت واقعی حتماً آخرین نسخه‌ی مستندات رسمی هر شرکت را بررسی کنید.
۴. جایگاه حقوقی: پیش‌نویس IETF، نه استاندارد رسمی
این توکن در قالب یک پیش‌نویس فردی با عنوان «سیگنال ماشین‌خوان ترجیح آموزش» به IETF ارائه شده است. پیش‌نویس فردی یعنی هنوز جایگاه رسمی در روند استانداردسازی ندارد و ممکن است تغییر کند. تاریخ آن ۳۰ اکتبر ۲۰۲۶ و تاریخ انقضایش اوایل مه ۲۰۲۷ ذکر شده است. بحث درباره‌ی آن در گروه کاری AIPREF انجام می‌شود که هدفش تعریف زبان مشترک برای بیان ترجیح‌های مربوط به استفاده از محتوا در هوش مصنوعی است.
در میان مشارکت‌کنندگان این گفت‌وگو، سازمان‌هایی مثل متا، Cloudflare، Common Crawl و چند رسانه‌ی خبری و نهاد مدنی دیده می‌شوند. متا از ایده حمایت کرده، اما هنوز متعهد به پیاده‌سازی نشده است. همین نشان می‌دهد مسیر تا فراگیر شدن این سیگنال هنوز هموار نیست.
۵. زمان‌بندی هر شرکت چیست؟
شرکت‌ها همزمان آماده نیستند. بر اساس اطلاعات منتشرشده، آنتروپیک پیاده‌سازی را شروع کرده است. مایکروسافت هدف خود را اول فوریه‌ی ۲۰۲۷ اعلام کرده و OpenAI گفته قصد دارد «در ماه‌های آینده» آن را پیاده کند. گوگل نیز از سال آینده صحبت کرده است.
برای سایت‌داران این یعنی اگر امروز توکن را اضافه کنید، رعایت فوری آن توسط همه‌ی شرکت‌ها تضمین نیست. اضافه کردن توکن بی‌ضرر است، اما تا زمانی که شرکت‌ها آن را پیاده نکرده‌اند، قانون‌های قدیمی مثل مسدود کردن نام ربات‌های آموزشی همچنان لازم‌اند. می‌توانید برای آشنایی بیشتر با شرکتی که پشت یکی از این سیگنال‌هاست، مقاله‌ی OpenAI چیست؟ را بخوانید.
۶. این سیگنال چه چیزی را پوشش نمی‌دهد؟
برای اینکه انتظار درست داشته باشید، چند محدودیت مهم را بدانید. اول اینکه این توکن درباره‌ی «آموزش» است و دستوری برای رفتار خزیدن نیست؛ بنابراین ربات‌ها همچنان می‌توانند صفحه را دریافت کنند. دوم اینکه داده‌هایی که پیش‌تر در مجموعه‌داده‌ها یا مدل‌ها وارد شده‌اند، با تغییر robots.txt حذف نمی‌شوند. سوم اینکه OpenAI آن را «سازوکار هماهنگی» توصیف کرده نه کنترل امنیتی، پس خزنده‌ای که به قواعد پایبند نباشد می‌تواند نادیده‌اش بگیرد.
چهارم اینکه مدل‌هایی که فقط کارهای غیرمولد انجام می‌دهند، از دایره‌ی این سیگنال بیرون‌اند. و پنجم اینکه سازوکار اجرایی روشنی برای تضمین رعایت آن اعلام نشده است. این‌ها یعنی توکن یک گام مهم، اما نه یک سپر کامل است.
۷. تفاوت «آموزش» و «Grounding» برای سئو چه معنایی دارد؟
مایکروسافت اعلام کرده یک تنظیم جداگانه به نام AI Grounding هم در نظر دارد. Grounding یعنی مدل هنگام پاسخ به سؤال کاربر، محتوای زنده‌ی یک صفحه را می‌خواند تا جواب دقیق‌تری بدهد؛ بدون اینکه هدفش آموزش مدل باشد. این تنظیم می‌تواند ابزارهای شخص ثالثی را هم که از فناوری‌های مایکروسافت استفاده می‌کنند در بر بگیرد.
برای سئو، این تفاوت حیاتی است. اگر سایت شما آموزش را مسدود کند اما Grounding را مجاز بگذارد، ممکن است همچنان در پاسخ‌های هوش مصنوعی به‌عنوان منبع دیده شود و ترافیک بگیرد. برعکس، مسدودسازی کامل ممکن است شما را از آن پاسخ‌ها حذف کند. هنوز معلوم نیست سه شرکت دیگر هم چنین تفکیکی را می‌پذیرند یا نه.
مسدود کنم یا نه؟
پاسخ واحدی وجود ندارد و به مدل کسب‌وکار شما بستگی دارد. سایت‌های رسانه‌ای و تولیدکنندگان محتوای انحصاری معمولاً تمایل بیشتری به مسدودسازی آموزش دارند. فروشگاه‌ها و سایت‌های خدماتی که از دیده شدن در پاسخ‌های هوش مصنوعی سود می‌برند، باید بیشتر مراقب باشند که با مسدودسازی افراطی خودشان را از دید کاربران پنهان نکنند. برای فهم بهتر پیامد این تصمیم، مطالعه‌ی اهمیت هوش مصنوعی در کسب‌وکار کمک می‌کند.
۸. چک‌لیست عملی برای صاحبان سایت
اگر می‌خواهید آماده باشید، این مراحل منطقی هستند. ابتدا فایل robots.txt فعلی خود را بخوانید و ببینید چه قانون‌هایی برای ربات‌های هوش مصنوعی دارید. سپس تصمیم بگیرید کدام بخش‌های سایت محتوای ارزشمند و انحصاری است و کدام بخش‌ها برایتان مهم نیست. بعد از آن، وقتی مستندات هر شرکت نهایی شد، توکن را اضافه کنید و قانون‌های قدیمی خزنده‌های آموزشی را فعلاً نگه دارید.
فراموش نکنید که تغییر robots.txt را با ابزارهای گزارش خزنده و لاگ سرور بسنجید. اگر هنوز با مفهوم دستورهای ساده برای هوش مصنوعی آشنا نیستید، راهنمای نوشتن پرامپت برای مبتدی‌ها و آموزش‌های چت‌جی‌پی‌تی نقطه‌ی شروع خوبی هستند.
همزمان بهتر است وضعیت منابع ترافیک خود را رصد کنید. اگر دیدید بخش مهمی از بازدیدها از پاسخ‌های هوش مصنوعی می‌آید، پیش از مسدودسازی گسترده تحلیل کنید که این تصمیم چه هزینه‌ای دارد. دیدگاه واقع‌بینانه درباره‌ی توانایی‌ها و محدودیت‌های این فناوری را می‌توانید در مقاله‌ی پتانسیل و محدودیت‌های هوش مصنوعی در دنیای واقعی ببینید.
۹. چرا این خبر برای بازار هوش مصنوعی مهم است؟
در سال‌های اخیر رقابت بر سر داده‌ی آموزشی یکی از بزرگ‌ترین منبع‌های اصطکاک میان ناشران و شرکت‌های هوش مصنوعی بوده است. وقتی چند رقیب سخت، یعنی گوگل، OpenAI، مایکروسافت و آنتروپیک، پشت یک سیگنال می‌ایستند، پیام روشن است: صنعت می‌خواهد پیش از آنکه قانون‌گذاران دخالت کنند، یک زبان مشترک بسازد. این رقابت را می‌توانید در مقایسه‌ای مثل چت‌جی‌پی‌تی در برابر دیپ‌سیک هم از نگاهی دیگر ببینید.
از سوی دیگر، باید واقع‌بین بود. تا وقتی سازوکار اجرایی و نظارتی روشنی وجود ندارد، این سیگنال بیشتر یک قرارداد اخلاقی-فنی است تا یک مانع واقعی. با این حال، همین که شرکت‌ها رسماً متعهد شده‌اند، برای ناشران پایه‌ای برای پیگیری حقوقی و مذاکره فراهم می‌کند.
۱۰. پرسش‌های متداول
آیا با این توکن سایتم از نتایج گوگل حذف می‌شود؟
خیر. طبق اطلاعات منتشرشده، این توکن درباره‌ی آموزش مدل‌های مولد است و درباره‌ی ایندکس شدن در جست‌وجوی معمولی نیست. با این حال، چون هنوز پیش‌نویس است، پیش از اعمال، مستندات رسمی گوگل را بخوانید.
آیا محتوایی که قبلاً جمع شده پاک می‌شود؟
خیر. تغییر robots.txt فقط روی جمع‌آوری‌های بعدی اثر دارد و داده‌هایی که پیش‌تر وارد مجموعه‌داده‌ها یا مدل‌ها شده‌اند را حذف نمی‌کند.
آیا همه‌ی ربات‌ها این قانون را رعایت می‌کنند؟
خیر. رعایت آن داوطلبانه است و شرکت‌هایی که اعلام حمایت کرده‌اند به آن پایبند خواهند بود، اما خزنده‌های ناشناس یا بی‌اعتنا می‌توانند آن را نادیده بگیرند. برای محتوای حساس، روش‌های فنی مثل محدودیت دسترسی و احراز هویت لازم است.
چه زمانی باید توکن را اضافه کنم؟
اضافه کردن آن بی‌ضرر است، اما چون شرکت‌ها زمان‌های متفاوتی برای پیاده‌سازی اعلام کرده‌اند، بهتر است قانون‌های فعلی را نگه دارید و توکن را همزمان اضافه کنید.
آیا شرکت متا هم از آن پشتیبانی می‌کند؟
متا از ایده‌ی پشت این فناوری حمایت کرده، ولی تا این لحظه تعهد رسمی برای پیاده‌سازی اعلام نکرده است.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
