مهر
اخبار
ChatGPT نوجوانان «ریسک غیرقابل‌قبول» شناخته شد؛ هشدار والدین کار نمی‌کند؟
موسسه‌ی ایمنی هوش مصنوعی جوانان در Common Sense Media نسخه‌ی نوجوانان ChatGPT را «ریسک غیرقابل‌قبول» ارزیابی کرد؛ بحث اصلی، هشدارهایی است که قرار بود والدین را در لحظه‌های حساس باخبر کنند، اما طبق این آزمایش‌ها بسیار کم فعال شدند.
لیست مطالب
۱. ماجرا چیست؟ خلاصه‌ی خبر
در هفتم اکتبر ۲۰۲۶ رسانه‌های فناوری از ارزیابی تازه‌ی موسسه‌ی ایمنی هوش مصنوعی جوانان (Youth AI Safety Institute) خبر دادند؛ بخشی از سازمان Common Sense Media که سال‌هاست درباره‌ی امنیت و مناسب‌بودن رسانه‌ها و فناوری‌ها برای کودکان و نوجوانان داوری می‌کند. نتیجه‌ی این ارزیابی برای نسخه‌ی ویژه‌ی نوجوانان ChatGPT سنگین بود: برچسب «ریسک غیرقابل‌قبول».
این خبر از آن جهت مهم است که OpenAI نسخه‌ی نوجوانان را با وعده‌ی محافظ‌های بیشتر معرفی کرده بود؛ از حساب‌های متصل به والدین تا حالت مطالعه و هشدار در گفتگوهای نگران‌کننده. ارزیابی تازه می‌گوید دست‌کم بخشی از این وعده‌ها در آزمون‌ها به‌اندازه‌ی کافی قابل‌اعتماد نبوده است.
۲. Common Sense Media کیست و چرا حرفش وزن دارد؟
سازمان Common Sense Media یک سازمان غیرانتفاعی آمریکایی است که برای رسانه‌ها، بازی‌ها و برنامه‌ها «رتبه‌ی سنی و ریسک» منتشر می‌کند. والدین و مدارس زیادی از این رتبه‌ها استفاده می‌کنند. موسسه‌ی ایمنی هوش مصنوعی جوانان شاخه‌ای است که به‌طور ویژه چت‌بات‌ها و ابزارهای هوش مصنوعی را آزمایش می‌کند.
پیش‌تر نیز این سازمان در ارزیابی‌های خود ChatGPT را در رده‌ی «ریسک بالا» قرار داده بود و برای کاربرد آن در حمایت از سلامت روان، برچسب «غیرقابل‌قبول» داده بود. بنابراین ارزیابی تازه ادامه‌ی یک مسیر مشخص است، نه یک موضع ناگهانی. اگر با خود OpenAI آشنایی بیشتری می‌خواهید، راهنمای «OpenAI چیست؟» را بخوانید.
۳. آزمون چگونه انجام شد؟ اعداد کلیدی
طبق گزارش Futurism، مجموعاً ۱٬۴۴۰ پرامپت آزمایشی اجرا شد: ۹۹۰ پرامپت پیش از عرضه‌ی نسخه‌ی نوجوانان و ۴۵۰ پرامپت پس از آن. در این مجموعه فقط چهار بار هشدار برای والدین فعال شد؛ دو بار در بخش پیش از عرضه و دو بار در بخش پس از عرضه.
گفتگوهای طولانی و هشدار صفر
یکی از برجسته‌ترین یافته‌ها این بود که گفتگوهایی حدود یک ساعت درباره‌ی موضوعات بسیار حساس روانی هم می‌توانست هیچ اعلانی برای والدین ایجاد نکند. رابی تورنی، از مقام‌های ارشد Common Sense Media، همین نکته را برجسته کرد و گفت یک نوجوان می‌تواند تا یک ساعت درباره‌ی چنین موضوعاتی با ChatGPT گفتگو کند و هیچ اطلاع‌رسانی‌ای به والدین نرسد.
در همین گزارش‌ها آمده که پاسخ‌های مرتبط با سلامت روان از نظر بالینی «درست و سنجیده» ارزیابی شده‌اند، اما توصیه‌ی مراجعه به متخصص یا خط کمک یکدست نبوده است. یعنی مشکل اصلی نه محتوای هر پاسخ، بلکه پایداری و قابل‌اعتمادبودن سازوکارهای حفاظتی است.
۴. حالت مطالعه؛ محافظ آموزشی که دور زده می‌شود
شرکت OpenAI نسخه‌ی نوجوانان را با حالت مطالعه همراه کرده تا ChatGPT به‌جای دادن جواب آماده، دانش‌آموز را مرحله‌به‌مرحله راهنمایی کند. آزمایش‌کنندگان گزارش دادند که دکمه‌ی «جواب را نشان بده» این محافظ را به‌سادگی بی‌اثر می‌کند و نوجوان حتی می‌تواند حالت مطالعه را با وجود تنظیمات والدین خاموش کند.
این یافته برای خانواده‌هایی مهم است که ChatGPT را ابزار تمرین و یادگیری می‌دانند. اگر محافظ آموزشی با یک کلیک کنار برود، ابزار عملاً به یک پاسخ‌دهنده‌ی همیشگی تبدیل می‌شود. برای فهم بهتر محدودیت‌ها و توانایی‌های واقعی هوش مصنوعی، پتانسیل و محدودیت‌های هوش مصنوعی در دنیای واقعی را ببینید.
۵. واکنش OpenAI و جواب Common Sense Media
شرکت OpenAI در واکنش گفت به ایمنی نوجوانان «عمیقاً متعهد» است و می‌خواهد به والدین ابزارهای معنادار برای هدایت استفاده‌ی فرزندانشان از هوش مصنوعی بدهد. این جمله یک موضع کلی است و به تک‌تک یافته‌های آزمون پاسخ فنی نمی‌دهد.
سازمان Common Sense Media اما اعلام کرد که پای تفسیر خود از نتایج ایستاده و هشدارهای والدین را برای شرایط بحرانی «غیرقابل‌اعتماد» می‌داند. توصیه‌ی صریح این سازمان این است که تا رفع کاستی‌ها، نسخه‌ی نوجوانان فقط برای کاربران ۱۸ سال به بالا در دسترس باشد؛ پیشنهادی که از نظر تجاری برای OpenAI سنگین است.
۶. چرا هشدار والدین این‌قدر حساس است؟
در طراحی ایمنی، «هشدار والدین» یک شبکه‌ی ایمنی دوم است. اگر خود چت‌بات پاسخ درستی بدهد اما هشداری ارسال نشود، خانواده از اینکه فرزندشان در چه وضعیتی است بی‌خبر می‌ماند. نویسندگان تحلیل‌های پیشین Common Sense Media هم هشدار داده‌اند که هشدارهایی که به‌اندازه‌ی کافی یا به‌موقع کار نکنند، می‌توانند به والدین «حس امنیت کاذب» بدهند.
به بیان ساده، بدترین حالت این نیست که ابزار هشدار ندهد؛ بدترین حالت این است که خانواده فکر کند هشدار فعال است و به همین دلیل گفتگوی مستقیم با فرزند را کنار بگذارد.
۷. چه چیزهایی هنوز مشخص نیست؟
باید با احتیاط به این خبر نگاه کرد. گزارش‌های مختلف، جزئیات را کمی متفاوت بازگو کرده‌اند و متن کامل روش‌شناسی آزمون هنوز در همه‌ی منابع در دسترس نیست. مثلاً اینکه دقیقاً چه سناریوهایی برای پرامپت‌ها به کار رفته و هر هشدار در چه شرایطی انتظار می‌رفت، برای خواننده‌ی عادی کاملاً شفاف نیست.
همچنین هنوز معلوم نیست OpenAI چه تغییراتی را در پاسخ به این ارزیابی اعمال می‌کند و آیا پیشنهاد محدودسازی به ۱۸ سال به بالا را می‌پذیرد یا نه. برای همین بهتر است نتیجه را «یک ارزیابی جدی و قابل‌توجه» بدانیم، نه حکم نهایی درباره‌ی کل محصول. اخبار مشابه را در بخش اخبار هوش مصنوعی دنبال کنید.
۸. خانواده‌ها چه کار کنند؟
اول، به هشدار خودکار تکیه‌ی کامل نکنید. حساب متصل به والدین مفید است، اما طبق این ارزیابی نمی‌تواند تنها لایه‌ی محافظ باشد. دوم، درباره‌ی نحوه‌ی استفاده‌ی فرزندتان از چت‌بات‌ها صریح و بدون سرزنش حرف بزنید؛ اینکه برای چه کارهایی استفاده می‌کند و چه زمانی به پاسخ‌ها اعتماد می‌کند.
سوم، برای مسائل عاطفی و روانی، چت‌بات را جایگزین انسان نکنید. اگر نوجوانی در بحران است، تماس با متخصص یا نهادهای رسمی حمایت، راه درست است. چهارم، استفاده‌ی درست از هوش مصنوعی را به نوجوان آموزش دهید؛ برای شروع، آموزش نوشتن پرامپت برای مبتدی‌ها یا مجموعه‌ی آموزش‌های ChatGPT می‌تواند کمک کند.
۹. معنای این خبر برای صنعت هوش مصنوعی
ارزیابی‌هایی از این دست نشان می‌دهد سنجش محصولات هوش مصنوعی دیگر فقط به دقت پاسخ‌ها محدود نیست. کیفیت سازوکارهای ایمنی، قابل‌اعتمادبودن هشدارها و دور زدن‌پذیری محافظ‌ها به معیارهای رقابتی تبدیل شده است. شرکت‌هایی که محصول ویژه‌ی نوجوانان عرضه می‌کنند، در عمل در معرض نقد مستقل و عمومی قرار می‌گیرند.
برای کسب‌وکارها هم درس روشن است: هر ابزاری که با کاربر آسیب‌پذیر سروکار دارد، باید ایمنی را قابل‌اندازه‌گیری و قابل‌گزارش کند. نگاهی به اهمیت هوش مصنوعی در کسب‌وکار و تفاوت وعده با واقعیت در توهم هوش مصنوعی؛ توسعه‌دهنده‌ی تنها در برابر مهندس واقعی زاویه‌ی تکمیلی می‌دهد.
۱۰. بازتاب این ارزیابی در بحث تنظیم‌گری
این گزارش در شرایطی منتشر می‌شود که ایمنی کودکان و نوجوانان در برابر چت‌بات‌ها به یکی از موضوعات اصلی گفتگوی سیاست‌گذاران تبدیل شده است. هر ارزیابی مستقلی که فاصله‌ی وعده و عمل را نشان بدهد، می‌تواند در جلسات نظارتی و بحث‌های قانون‌گذاری مورد استناد قرار بگیرد. البته باید توجه کرد که یک گزارش به‌تنهایی قانون یا مقررات جدیدی ایجاد نمی‌کند و این اثر به واکنش نهادها بستگی دارد.
از سوی دیگر، شرکت‌های بزرگ هوش مصنوعی معمولاً در برابر چنین گزارش‌هایی دو مسیر دارند: یا ایرادها را می‌پذیرند و سازوکارها را به‌روزرسانی می‌کنند، یا روش آزمون را به چالش می‌کشند. تا این لحظه، موضع علنی OpenAI بیشتر تکرار تعهد کلی به ایمنی بوده است. اینکه در روزها و هفته‌های آینده چه تغییری در هشدارها یا حالت مطالعه اعمال شود، ملاک اصلی داوری درباره‌ی جدی‌بودن واکنش خواهد بود.
سه پرسشی که باید از هر ابزار هوش مصنوعی نوجوانان پرسید
نخست اینکه هشدارها در چه شرایطی فعال می‌شوند و آیا شرکت آمار قابل‌راستی‌آزمایی از عملکرد آن‌ها منتشر می‌کند. دوم اینکه محافظ‌های آموزشی چقدر به‌سادگی دور زده می‌شوند و آیا نوجوان می‌تواند آن‌ها را خودش خاموش کند. سوم اینکه در گفتگوهای طولانی، کیفیت ایمنی ثابت می‌ماند یا با ادامه‌ی گفتگو ضعیف می‌شود. پاسخ روشن به این سه پرسش، بهتر از هر تبلیغاتی نشان می‌دهد یک محصول چقدر برای نوجوانان آماده است.
مدارس و معلمان هم می‌توانند از این ارزیابی نتیجه بگیرند: پیش از معرفی هر ابزار هوش مصنوعی در کلاس، باید سیاست روشنی درباره‌ی نحوه‌ی استفاده، حریم خصوصی و نظارت داشته باشند و آن را با والدین هم در میان بگذارند.
۱۱. پرسش‌های متداول
نسخه‌ی ChatGPT for Teens دقیقاً چیست؟
نسخه‌ای از ChatGPT با تنظیمات ویژه‌ی نوجوانان است که امکاناتی مانند حساب متصل به والدین، حالت مطالعه و هشدار در گفتگوهای نگران‌کننده دارد.
عبارت «ریسک غیرقابل‌قبول» یعنی چه؟
این بالاترین سطح هشدار در رتبه‌بندی Common Sense Media است و یعنی سازمان معتقد است ریسک‌ها بر مزایا می‌چربند و استفاده را برای این گروه سنی توصیه نمی‌کند.
آیا OpenAI نتیجه را پذیرفته است؟
طبق گزارش‌ها، OpenAI فقط تعهد کلی خود به ایمنی نوجوانان را تکرار کرده و Common Sense Media پای نتیجه‌ی خود ایستاده است.
آیا باید ChatGPT را برای فرزندم ممنوع کنم؟
این تصمیم به سن، نیاز و شرایط خانواده بستگی دارد. آنچه ارزیابی نشان می‌دهد این است که فقط به کنترل‌های خودکار تکیه نکنید و نظارت و گفتگو را کنار نگذارید.
