مرداد
اخبار
تسلیم دانشگاهها در تشخیص متن هوش مصنوعی؛ ییل و واترلو عقب نشستند
سه سال تمام، دانشگاهها به ابزارهای تشخیص متن هوش مصنوعی بهعنوان سپر دفاعی خود در برابر تقلب دانشجویان تکیه کردند. حالا بزرگترینهایشان دارند این سپر را زمین میگذارند. طبق گزارشی که ابتدا در فایننشال تایمز منتشر شد، دانشگاههای ییل، جانز هاپکینز و واترلو به همراه دستکم چند مؤسسهی نامآشنای دیگر، استفاده از دتکتورهای هوش مصنوعی را محدود یا بهکلی متوقف کردهاند. دلیل هم پیچیده نیست: این ابزارها بیش از آنکه متقلب پیدا کنند، بیگناه متهم میکنند.
لیست مطالب
۱) دقیقاً چه اتفاقی افتاد؟
تصمیمها یکسان نیستند و همین تفاوتها مهماند. در ییل، دتکتور بهکلی حذف نشده اما اعتبار حقوقیاش گرفته شده است: استادان دیگر نمیتوانند نمرهی یک ابزار تشخیص را بهعنوان مدرک در پروندهی رسمی نقض یکپارچگی علمی ارائه کنند. یعنی عدد ممکن است هنوز نمایش داده شود، اما دیگر پشتوانهی انضباطی ندارد.
در جانز هاپکینز، جایگاه این ابزارها به وضعیت «مشورتی» تنزل یافته است؛ چیزی شبیه یک هشدار نرم که استاد میتواند آن را نقطهی شروع گفتوگو قرار دهد اما نمیتواند بر پایهاش نمره را صفر کند.
واترلو رادیکالترین مسیر را رفت و دتکتور هوش مصنوعی ترنیتین را کاملاً غیرفعال کرد. محرک این تصمیم آزمایشی داخلی بود که در آن یک متن کاملاً نوشتهشده به دست انسان با برچسب «۱۰۰ درصد تولیدشده توسط هوش مصنوعی» علامت خورد. وقتی ابزاری با چنین قاطعیتی اشتباه میکند، دیگر خطای آماری نیست؛ نقص بنیادی است.
طبق گزارشها، نورثوسترن، جورجتاون، پیتسبورگ و انواییو هم در فهرست مؤسسههایی هستند که استفاده از این ابزارها را به شکلی محدود کردهاند و مجموع دانشگاههای شناساییشده به دستکم دوازده مؤسسه میرسد.
۲) عددی که همه چیز را تغییر داد
هستهی ماجرا نرخ خطای مثبت کاذب است؛ یعنی درصدی از متنهای کاملاً انسانی که ابزار به اشتباه «تولید هوش مصنوعی» تشخیص میدهد. طبق گزارش، این نرخ برای متن انسانی در محدودهی میانهی ده تا میانهی بیست درصد قرار میگیرد.
برای درک بزرگی این عدد، یک محاسبهی ساده کافی است. کلاسی با صد دانشجو را تصور کنید که همه صادقانه تکلیفشان را نوشتهاند. با نرخ خطای ۱۵ درصد، پانزده نفر به تقلب متهم میشوند. حالا این را در تعداد تکالیف یک ترم و تعداد کلاسهای یک دانشگاه ضرب کنید. مقیاس آسیب سریع از کنترل خارج میشود.
در سنجشهای علمی، ابزاری با چنین نرخ خطایی در هیچ حوزهی پرمخاطرهای پذیرفته نمیشود. تفاوت اینجاست که در پزشکی نتیجهی مثبت کاذب معمولاً با آزمون دوم راستیآزمایی میشود؛ اما در پروندهی تخلف علمی، اغلب هیچ آزمون دومی وجود ندارد و بار اثبات بیگناهی روی دوش دانشجو میافتد.
۳) قربانی اصلی؛ دانشجوی غیرانگلیسیزبان
تلخترین بخش این گزارش، توزیع نابرابر خطاست. طبق دادههای منتشرشده، نرخ خطا برای دانشجویانی که انگلیسی زبان مادریشان نیست تا ۶۱ درصد هم گزارش شده و بهطور کلی این گروه نزدیک به سه برابر انگلیسیزبانان بومی علامت میخورند.
دلیل فنی این تبعیض قابل توضیح است. دتکتورها معمولاً بر پایهی معیارهایی مثل یکنواختی ساختار جمله و قابلپیشبینی بودن انتخاب واژهها کار میکنند؛ دقیقاً همان ویژگیهایی که نوشتار یک زبانآموز را مشخص میکند. کسی که هنوز به دایرهی واژگان گسترده و ساختارهای پیچیده مسلط نیست، سادهتر و منظمتر مینویسد — و همین او را در چشم الگوریتم شبیه ماشین میکند.
نتیجه یک تبعیض ساختاری است: دانشجویان بینالمللی، که اغلب هزینهی شهریهی بالاتری هم میپردازند و وضعیت اقامتیشان به وضعیت تحصیلی گره خورده، بیشترین آسیب را میبینند. برای دانشجوی ایرانی، چینی یا هندی در یک دانشگاه آمریکایی، یک اتهام ناعادلانهی تقلب میتواند بهمعنای از دست رفتن ویزا باشد.
۴) چرا تشخیص متن هوش مصنوعی ذاتاً سخت است؟
مسئله فقط ضعف مهندسی یک محصول خاص نیست؛ ریشهی نظری دارد. مدلهای زبانی برای تولید متنی آموزش دیدهاند که از متن انسانی قابل تشخیص نباشد. هرچه مدل بهتر شود، این هدف بهتر محقق میشود و کار دتکتور سختتر.
در عمل، این یک مسابقهی تسلیحاتی نامتقارن است. هر بار دتکتور نشانهای پیدا میکند، نسل بعدی مدل آن نشانه را از بین میبرد. ابزارهای بازنویسی هم بهسادگی میتوانند اثر انگشت آماری متن را پاک کنند. یعنی دانشجویی که واقعاً قصد تقلب دارد، با یک مرحلهی اضافه از دام میگریزد؛ اما دانشجوی صادقی که ساده و منظم مینویسد، در دام میماند. سیستمی که دقیقاً برعکس هدفش عمل میکند.
اگر میخواهید بدانید مرز واقعی توانایی این مدلها کجاست، مطلب توان و محدودیتهای واقعی هوش مصنوعی تصویر متعادلی میدهد.
۵) جایگزین چیست؟
دانشگاهها بدون طرح جایگزین دتکتورها را کنار نمیگذارند. یکی از رویکردهایی که در گزارش به آن اشاره شده «پزشکی قانونی فرآیند» است؛ یعنی بهجای قضاوت دربارهی متن نهایی، بررسی تاریخچهی نسخههای سند و مراحل نگارش. اگر یک مقالهی سههزار کلمهای در یک عملیات جایگذاری واحد ظاهر شده باشد، این نشانهای واقعی است؛ نه یک حدس آماری.
رویکردهای دیگری هم در حال آزمایشاند: بازگشت به آزمونهای حضوری و کتبی برای سنجش دانش پایه، پروژههای تعاملی که در آن دانشجو باید از کار خود دفاع شفاهی کند، ارزیابی مبتنی بر ارائهی مرحلهبهمرحله بهجای تحویل یکباره، و طراحی تکالیفی که پاسخشان به تجربهی شخصی یا دادهی محلی وابسته است و مدل زبانی نمیتواند آن را بسازد.
وجه مشترک همهی اینها یک تغییر فلسفی است: بهجای تلاش برای تشخیص اینکه چه کسی از ابزار استفاده کرده، طراحی سنجههایی که استفاده از ابزار در آنها بهتنهایی کافی نباشد.
۶) این تصمیم چه پیامی به بازار کار دارد؟
عقبنشینی دانشگاهها از دتکتورها فراتر از آموزش معنا دارد. همین ابزارها در محیطهای کاری هم برای غربالگری رزومه، بررسی محتوای تولیدشده و ارزیابی گزارشها به کار میروند. اگر نرخ خطا در متن دانشجویی اینقدر بالاست، دلیلی ندارد در متن حرفهای پایینتر باشد.
نتیجهی منطقی این است که سازمانها هم باید از «آیا این متن با هوش مصنوعی نوشته شده؟» به پرسش مفیدتری برسند: «آیا این متن دقیق، مستند و مفید است؟» کیفیت خروجی معیار قابل دفاعی است؛ منشأ آن نه. بحث کاربرد سازمانی هوش مصنوعی را در چرا هوش مصنوعی برای کسبوکار مهم است دنبال کنید.
۷) اگر دانشجو هستید، چه کنید؟
حتی با کنار رفتن دتکتورها در برخی دانشگاهها، بسیاری از مؤسسهها هنوز از آنها استفاده میکنند. چند اقدام ساده میتواند از شما محافظت کند: نگارش را در ابزاری انجام دهید که تاریخچهی نسخهها را ذخیره میکند تا در صورت نیاز مسیر شکلگیری متن قابل نمایش باشد؛ یادداشتها و پیشنویسهای میانی را نگه دارید؛ و اگر از هوش مصنوعی بهعنوان ابزار کمکی استفاده میکنید، سیاست رسمی دانشگاه خود را دقیق بخوانید و در صورت لزوم آن را شفاف اعلام کنید.
و اگر میخواهید از این ابزارها به شکل درست و مجاز برای یادگیری استفاده کنید، مجموعهی آموزشهای چتجیپیتی و راهنمای نوشتن پرامپت به زبان ساده نقطهی شروع مناسبی هستند. آخرین اخبار این حوزه هم در بخش اخبار منتشر میشود.
۸) نتیجهی بزرگتر؛ پایان یک مسابقه
عقبنشینی دانشگاههای بزرگ را میتوان اعتراف رسمی به شکست یک راهبرد دانست: تلاش برای بازگرداندن وضعیت به پیش از هوش مصنوعی، از طریق ابزارهای پلیسی. آن مسابقه باخته شده و انرژی صرفشده در آن، بهتر است صرف بازطراحی خود سنجش شود.
این لزوماً خبر بدی نیست. بسیاری از شکلهای ارزیابی که حالا زیر فشار قرار گرفتهاند — مقالهی خانگی استاندارد، خلاصهنویسی از منابع، تکالیف تکراری — پیش از این هم منتقدان جدی داشتند. اگر فشار هوش مصنوعی باعث شود آموزش به سمت سنجش فهم واقعی، دفاع شفاهی و پروژهی معنادار برود، نتیجهی نهایی میتواند بهبود باشد نه افول.
پرسشهای پرتکرار دربارهی حذف دتکتورهای هوش مصنوعی در دانشگاهها
کدام دانشگاهها دتکتورها را کنار گذاشتند؟
طبق گزارش فایننشال تایمز، ییل، جانز هاپکینز و واترلو در صدر فهرستاند و نورثوسترن، جورجتاون، پیتسبورگ و انواییو هم استفاده از این ابزارها را محدود کردهاند. مجموع مؤسسههای شناساییشده دستکم دوازده مورد است.
آیا همهی آنها ابزار را کاملاً حذف کردند؟
خیر. رویکردها متفاوت است: ییل استناد به نمرهی دتکتور در شکایت رسمی را ممنوع کرده، جانز هاپکینز آن را به حالت مشورتی تنزل داده و واترلو دتکتور ترنیتین را کاملاً غیرفعال کرده است.
نرخ خطای این ابزارها چقدر است؟
طبق گزارش، نرخ مثبت کاذب برای متن انسانی در محدودهی میانهی ده تا میانهی بیست درصد قرار میگیرد و برای دانشجویان غیرانگلیسیزبان تا ۶۱ درصد هم گزارش شده است؛ یعنی نزدیک به سه برابر انگلیسیزبانان بومی.
چرا تشخیص متن هوش مصنوعی اینقدر سخت است؟
چون مدلهای زبانی دقیقاً برای تولید متنی آموزش دیدهاند که از متن انسانی قابل تفکیک نباشد. هر نشانهای که دتکتور پیدا کند، در نسل بعدی مدل یا با یک بازنویسی ساده از بین میرود.
جایگزین دتکتورها چیست؟
بررسی تاریخچهی نسخههای سند و مراحل نگارش، بازگشت به آزمونهای حضوری، پروژههای تعاملی با دفاع شفاهی و طراحی تکالیفی که پاسخشان به تجربه یا دادهی شخصی وابسته است.
