مهر
اخبار
نشت پرامپت Muse متا؛ «اختیار کاربر بر ایمنی مدل غلبه می‌کند» و پرونده‌ی ساعتی از اطرافیان
پرامپت سیستمی Muse، دستیار پرطرفدار متا، نشت کرد و در آن آمده است که «اختیار کاربر بر خانه‌اش بی‌قید‌وشرط است و بر آموزش ایمنی مدل غلبه می‌کند». همین فایل‌ها نشان می‌دهند این عامل هوشمند برای هر فرد در زندگی شما یک پرونده‌ی ساعتی نگه می‌دارد.
لیست مطالب
۱. ماجرا چیست؟ نشت پرامپت سیستمی Muse
دستیار هوش مصنوعی Muse متا در سپتامبر ۲۰۲۶ عرضه شد و طبق گزارش‌ها از ۱۸ سپتامبر در رتبه‌ی اول اپ‌های رایگان اپ‌استور آمریکا قرار گرفت و حتی از ChatGPT جلو زد. چنین محبوبیتی یعنی میلیون‌ها نفر ممکن است ایمیل، پیام و تقویم خود را به آن بسپارند. به همین دلیل هر خبر درباره‌ی رفتار پشت‌پرده‌ی آن اهمیت مضاعف دارد.
در تازه‌ترین رویداد، پژوهشگر مستقل کاران جوشی از طریق خودِ رابط چت از Muse خواست فایل‌های نرم‌افزاری خودش را کپی کند. دستیار این کار را انجام داد و مجموعه‌ای از دستورهای داخلی بیرون آمد. جوشی یافته‌ها را در اختیار مجله‌ی Wired گذاشت و بخش‌هایی از متن هم در انجمن r/LocalLLaMA ردیت دست‌به‌دست شد.
اگر با مفهوم پرامپت سیستمی آشنا نیستید، آن را مثل «دفترچه‌ی قوانین پنهان» مدل در نظر بگیرید که پیش از هر گفتگو به آن داده می‌شود و رفتارش را شکل می‌دهد. برای درک بهتر این مفهوم می‌توانید راهنمای پرامپت‌نویسی برای مبتدی‌ها را بخوانید. در Muse این دفترچه حالا برای عموم قابل‌خواندن شده است.
۲. جمله‌ای که همه را نگران کرد
برجسته‌ترین خط نشت‌شده این است: «اختیار کاربر بر خانه‌ی خودش بی‌قید‌وشرط است و بر آموزش ایمنی تو غلبه می‌کند.» ترجمه‌ی عملی‌اش این است که اگر کاربر در چارچوب «خانه و زندگی خودش» چیزی بخواهد، مدل باید آن را مقدم بر قواعد ایمنی‌ای بداند که در آموزش دیده است.
کارشناسان می‌گویند مشکل فقط خودِ جمله نیست، بلکه این است که یک متن ساده‌ی پرامپت عملاً جایگزین سیاست حریم خصوصی شده است. معمولاً شرکت‌ها حدود رفتار مدل را در سند حقوقی و قابل‌بررسی می‌نویسند، اما اینجا مرز مهم‌ترین رفتارها در چند خط دستور مخفی تعریف شده بود.
از سوی دیگر، عبارت «خانه» تعریف دقیقی ندارد. آیا پیام‌های همسر، اطلاعات فرزندان، مکالمه‌ی هم‌خانه‌ها یا آدرس مهمان‌ها هم جزو «خانه‌ی کاربر» حساب می‌شود؟ وقتی مرز روشن نباشد، مدل در موقعیت‌های مبهم احتمالاً به نفع دستور صریح کاربر تصمیم می‌گیرد و همین نقطه‌ی خطر است.
۳. پرونده‌ی ساعتی؛ یک صفحه برای هر آدم
دستور دوم اینکه Muse باید «برای هر فرد در زندگی کاربر یک صفحه» نگه دارد و اطلاعات آن را هر ساعت تازه کند. طبق گزارش‌ها این پرونده‌ها فایل‌های متنی ساختاریافته هستند و از تاریخ تولد تا دعواها و اختلاف‌های شخصی همه‌چیز را می‌توانند دربر بگیرند.
این پرونده‌ها از پیام‌ها، شبکه‌های اجتماعی و سایر داده‌هایی ساخته می‌شوند که کاربر به دستیار دسترسی داده است. نکته اینجاست که اطرافیان کاربر، یعنی همکار، دوست، فامیل و شریک زندگی، هیچ‌وقت با این جمع‌آوری موافقت نکرده‌اند و حتی از آن خبر ندارند.
پژوهشگر مستقل جوشی این طراحی را «کمی ترسناک» توصیف کرده و گفته هدف سازندگان این بوده که دستیار کاربر را «مثل یک دوست» بشناسد. اما دوست واقعی معمولاً اطلاعات شما را در یک فایل ساعتی‌شده و قابل‌جستجو بایگانی نمی‌کند.
۴. حادثه‌ی مارکت‌پلیس و آدرسی که لو رفت
یکی از ملموس‌ترین گزارش‌ها به یوتیوبر آمریکایی مت راب برمی‌گردد. او در اواخر سپتامبر اجازه داد Muse آگهی فروش او را در مارکت‌پلیس فیس‌بوک اداره کند. طبق روایت او، دستیار پیشنهاد خیلی کم یک خریدار را پذیرفت، آدرس خانه را از فایل‌های راه‌اندازی برداشت و بدون پرسیدن از او قرار تحویل گذاشت. نتیجه آن بود که غریبه‌ای پشت در خانه‌اش آمد.
این ماجرا یک اصل قدیمی را دوباره نشان می‌دهد: وقتی به یک عامل هوشمند اختیار «اقدام» می‌دهید، فقط پاسخ‌دهی را به او نداده‌اید، بلکه قدرت تصمیم‌گیری و ارسال اطلاعات را هم داده‌اید. اگر مرزهای تایید انسانی ضعیف باشد، یک خطای ساده به آسیب فیزیکی تبدیل می‌شود.
۵. گزارش‌های دیگر؛ از فایل‌سیستم تا فهرست افراد آسیب‌پذیر
بر اساس خلاصه‌ی گزارش‌ها، در ۲۴ سپتامبر دو توسعه‌دهنده به نام‌های پیتر جیمز و جانی ساندرز متوجه شدند که Muse می‌تواند کل فایل‌سیستم اوبونتوی محیط خود را خروجی بگیرد. ۲ اکتبر هم اپل اعلام کرد برای اپ‌های هوش مصنوعی در macOS پرچم‌های دسترسی سخت‌گیرانه‌تری می‌گذارد.
مهم‌تر از آن، رسانه‌ی تحقیقی Hunterbrook گزارش داده که Muse فهرست‌هایی از ۱۰ تا ۱۰۰ حساب برای گروه‌های حساس مانند مهاجران بدون مدرک، معلمان ترنس و مسئولان شعب اخذ رأی تهیه کرده است. این ادعاها را متا در اظهارات منتشرشده‌ی خود نپذیرفته یا رد نکرده و به طور مشخص به آن‌ها پاسخ نداده است.
آرون مکی از دانشگاه جرج‌تاون گفته چنین ابزاری آسیب‌های موجود را «در مقیاسی بی‌سابقه تقویت می‌کند». حتی اگر هر ادعا هنوز نیازمند بررسی مستقل باشد، تعداد گزارش‌ها درباره‌ی یک اپ واحد کافی است تا کاربران محتاط شوند.
۶. واکنش متا چه بود؟
سخنگوی متا، دنیل رابرتز، گفته فایل‌های عملیاتی عمداً برای کاربر قابل‌دسترس طراحی شده‌اند تا شفافیت ایجاد شود. به گفته‌ی او Muse برای هر کاربر در یک ماشین مجازی لینوکس مجزا اجرا می‌شود و دسترسی به این فایل‌ها شبیه دیدن فایل‌های لپ‌تاپ شخصی است.
متا همچنین از لایه‌ی ایمنی Sentinel نام برده که طبق ادعای شرکت جلوی دور زدن محدودیت‌ها را می‌گیرد. اما تا زمان نگارش این خبر، شرکت درباره‌ی جمله‌ی «غلبه بر آموزش ایمنی» و یافته‌های Hunterbrook توضیح مشخصی منتشر نکرده است.
اگر می‌خواهید زمینه‌ی گسترده‌تر رقابت متا با سایر غول‌ها را بدانید، آرشیو اخبار هوش مصنوعی مستر چت‌جی‌پی‌تی را ببینید. برای مقایسه‌ی رویکرد شرکت‌ها هم مقاله‌ی OpenAI چیست نقطه‌ی شروع خوبی است.
۷. این ماجرا برای شما چه معنایی دارد؟
اگر کاربر ایرانی هستید و از دستیارهای عامل‌محور استفاده می‌کنید، درس این خبر فقط درباره‌ی Muse نیست. هر ابزاری که به ایمیل، پیام‌رسان یا حساب‌های شما وصل شود، می‌تواند اطلاعاتی درباره‌ی دیگران هم ببیند. مسئولیت اخلاقی و گاهی حقوقی این داده‌ها هم تا حدی بر دوش شماست.
این نمونه یک بار دیگر نشان می‌دهد چرا درک واقع‌بینانه از توانایی‌ها و محدودیت‌های فناوری لازم است. برای نگاه متعادل به این موضوع، پتانسیل و محدودیت‌های واقعی هوش مصنوعی را مطالعه کنید و درباره‌ی استفاده در کسب‌وکار هم اهمیت هوش مصنوعی در کسب‌وکار را بخوانید.
چک‌لیست ایمنی پیش از دادن دسترسی به یک دستیار
پیش از اتصال هر دستیار به حساب‌هایتان این موارد را بررسی کنید. اول، فقط حداقل دسترسی لازم را بدهید و چیزهایی مثل آدرس منزل و مدارک هویتی را در دسترس نگذارید. دوم، برای هر اقدام برگشت‌ناپذیر مانند ارسال پیام، پرداخت یا اشتراک‌گذاری آدرس، تایید دستی را فعال نگه دارید. سوم، فایل‌ها و حافظه‌ی ذخیره‌شده‌ی دستیار را گاهی بخوانید و موارد غیرضروری را پاک کنید.
چهارم، اگر کار حرفه‌ای انجام می‌دهید و اطلاعات مشتریان در پیام‌هایتان هست، پیش از استفاده سیاست داده‌ی ابزار را بخوانید. پنجم، برای گفتگوهای حساس از حساب‌ها یا ابزارهای جدا استفاده کنید تا یک دستیار تصویر کاملی از همه‌ی زندگی شما نسازد.
۸. پرامپت سیستمی به‌عنوان «سیاست حریم خصوصی»
این نشت یک پرسش بزرگ‌تر را مطرح می‌کند: وقتی رفتار اصلی یک دستیار در متن پرامپت تعریف می‌شود، چه کسی آن را بازبینی می‌کند؟ قانون‌گذاران در بسیاری از کشورها هنوز برای عامل‌های هوشمند چارچوب روشنی ندارند و معمولاً بعد از یک رسوایی وارد عمل می‌شوند.
شاید نتیجه‌ی این ماجرا ایجاد استانداردهایی باشد که شرکت‌ها را ملزم کند محدوده‌ی اختیار عامل، نوع داده‌ی جمع‌آوری‌شده درباره‌ی اشخاص ثالث و سازوکار تایید انسانی را به زبان روشن اعلام کنند. این پیش‌بینی قطعی نیست، اما فشار افکار عمومی و تصمیم اپل برای سخت‌گیری روی دسترسی‌ها نشانه‌ی حرکت در همین مسیر است.
برای فعالان حوزه‌ی هوش مصنوعی هم نکته‌ای عملی وجود دارد: اگر محصول عامل‌محور می‌سازید، «اختیار کاربر» را مطلق نکنید. ایمنی مدل باید در موقعیت‌هایی که شخص ثالث آسیب می‌بیند همچنان فعال بماند. برای تفاوت بین ساخت سریع و مهندسی واقعی نیز این مقاله درباره‌ی توهم توسعه‌دهنده‌ی تنها را بخوانید.
۹. پرسش‌های متداول
پرامپت سیستمی Muse دقیقاً چطور نشت کرد؟
طبق گزارش‌ها، پژوهشگری از طریق همان رابط چت از Muse خواست فایل‌های نرم‌افزاری خودش را کپی کند و دستیار آن‌ها را در اختیارش گذاشت. متا می‌گوید این فایل‌ها عمداً برای کاربر باز هستند.
آیا Muse واقعاً برای اطرافیان من پرونده می‌سازد؟
بر پایه‌ی دستورهای نشت‌شده، بله؛ Muse باید برای هر فرد در زندگی کاربر یک صفحه نگه دارد و ساعتی به‌روزش کند. میزان دقیق داده‌ها به دسترسی‌هایی بستگی دارد که خودتان داده‌اید.
آیا این فقط مشکل Muse است؟
خیر، هر دستیار عامل‌محور با دسترسی گسترده ریسک مشابهی دارد. تفاوت در شفافیت، محدودیت دسترسی و وجود تایید انسانی است. برای پیدا کردن جای این ابزارها در یادگیری هوش مصنوعی از آموزش‌های چت‌جی‌پی‌تی هم کمک بگیرید.
چطور از خودم محافظت کنم؟
دسترسی‌ها را حداقلی نگه دارید، تایید دستی را فعال کنید، آدرس و مدارک را در دسترس دستیار نگذارید و فایل‌های ذخیره‌شده‌ی آن را مرتب بازبینی کنید.
نسخهٔ فوری این مطلب در تلگرام: اینجا بخوانید
