مرداد
اخبار
پژوهش ویلانووا: خوانندهها داستان هوش مصنوعی را بیشتر پسندیدند
تصور رایج این است که داستاننویسی آخرین سنگر انسان در برابر ماشین است؛ جایی که تجربهی زیسته، درد و حافظهی شخصی جای خود را به الگوریتم نمیدهند. پژوهش تازهی دانشگاه ویلانووا این تصور را زیر سؤال برد. در سه آزمایش پیاپی، خوانندههای عادی داستانهای نوشتهشده با هوش مصنوعی را باکیفیتتر و جذابتر از داستانهای انسانی ارزیابی کردند و در تشخیص نویسندهی واقعی، عملکردی در حد پرتاب سکه داشتند. جالبتر آنکه وقتی به آنها گفته میشد یک متن را انسان نوشته، امتیاز همان متن بالاتر میرفت.
لیست مطالب
۱) پژوهشی که فرض «سنگر آخر» را شکست
سالهاست که در گفتوگوهای عمومی دربارهی هوش مصنوعی، یک خط دفاعی ثابت تکرار میشود: ماشین میتواند کد بنویسد، جدول پر کند و گزارش خلاصه کند، اما داستان کوتاهِ خوب نه؛ چون داستان به چیزی نیاز دارد که ماشین ندارد — تجربهی زیسته، فهم عاطفی و آن حسی که فقط از زندگیکردن میآید. پژوهش تازهی دانشکدهی روانشناسی و علوم مغز دانشگاه ویلانووا دقیقاً همین فرض را به آزمون گذاشت و نتیجهای گرفت که برای بسیاری خوشایند نیست.
سرپرست ارشد این پژوهش، دینا وایزبرگ، همراه با سیدنی سیرز، مقالهای منتشر کرده که چهارم اوت ۲۰۲۶ در نشریهی علمی Judgment and Decision Making وابسته به انتشارات دانشگاه کیمبریج در دسترس قرار گرفت. جملهی کلیدی وایزبرگ در توضیح یافتهها این است که «فرضهای عمومی دربارهی تواناییهای هوش مصنوعی بهشکل فزایندهای قدیمی شدهاند». او میگوید مردم بهاشتباه باور دارند نوشتن خلاقانه به ویژگیهای منحصراً انسانی مثل درک عاطفی و تجربهی زیسته نیاز دارد.
نکته اینجاست که این پژوهش ادعا نمیکند هوش مصنوعی «نویسندهی بهتری» است. چیزی که اندازه گرفته، قضاوت خوانندهی معمولی است؛ و همین تفاوت ظریف، کل ماجرا را جالب میکند. برای زمینهی بیشتر دربارهی مرز واقعی تواناییها و محدودیتهای این فناوری میتوانید پتانسیل و محدودیتهای واقعی هوش مصنوعی را هم بخوانید.
۲) درون آزمایش: شش داستان، سه تجربه، هزاران خواننده
ساختار پژوهش ساده اما هوشمندانه بود. پژوهشگران شش داستان کوتاه انتخاب کردند: سه داستان نوشتهی نویسندههای انسانی که پیشتر در نشریهها و مجموعههای ادبی منتشر شده بودند، و سه نسخهی موازی که با ChatGPT تولید شده بود. یعنی برای هر داستان انسانی، یک همتای ماشینی وجود داشت تا مقایسه تا حد ممکن منصفانه باشد.
آزمایش اول با ۱۶۸۲ شرکتکننده انجام شد؛ همان عددی که در خبرها بیشتر تکرار شده است. آزمایش دوم ۴۲۴ نفر و آزمایش سوم ۴۸۱ نفر داشت. در مجموع حدود ۲۵۸۷ بزرگسال با دامنهی سنی ۱۸ تا ۸۱ سال در این پژوهش شرکت کردند؛ نمونهای که از نظر گسترهی سنی بهطور غیرمعمولی متنوع است و فقط دانشجوها را در بر نمیگیرد.
نقش برچسب نویسنده
شرکتکنندهها داستانها را از نظر کیفیت و جذابیت امتیاز میدادند، اما یک متغیر پنهان هم در کار بود: به آنها گفته میشد نویسندهی متن کیست — و این اطلاعات گاهی درست و گاهی عمداً نادرست بود. همین طراحی اجازه داد پژوهشگران دو چیز را از هم جدا کنند: کیفیت واقعی متن، و انتظار ذهنی خواننده از نویسنده. در آزمایشهای دوم و سوم تمرکز روی چیز دیگری بود؛ اینکه آدمها اصلاً میتوانند تشخیص بدهند متن را ماشین نوشته یا نه.
۳) اعداد اصلی: شش درصد کیفیت، هشت درصد جذابیت
یافتهی محوری پژوهش این است: داستانهای تولیدشده با هوش مصنوعی بهطور میانگین حدود ۶ درصد امتیاز کیفیت بالاتر و حدود ۸ درصد امتیاز جذابیت بالاتر نسبت به داستانهای انسانی گرفتند. این اختلاف در نگاه اول کوچک بهنظر میرسد و واقعاً هم انقلابی نیست — کسی نمیگوید ماشین دو برابر بهتر نوشته است. اما جهت این اختلاف مهم است.
انتظار غالب این بود که متن ماشینی، حتی اگر بیغلط باشد، در سنجهی «جذابیت» عقب بماند؛ چون جذابیت را با صدای شخصی نویسنده و ریسکهای سبکی گره زدهایم. نتیجه دقیقاً برعکس بود: بیشترین برتری هوش مصنوعی در همان جذابیت ظاهر شد، نه در درستی زبانی. به بیان دیگر، متن ماشینی نهفقط بیایراد بود، بلکه خواننده را بهتر نگه میداشت.
باید تأکید کرد که این اعداد میانگین ارزیابیهای ذهنی هستند، نه معیار ادبی مطلق. هیچ کمیتهی داوری ادبی در کار نبوده و هدف پژوهش هم سنجش ارزش هنری نبوده است. آنچه اندازهگیری شده، رفتار و قضاوت خوانندهی عادی است — که اتفاقاً برای صنعت نشر، رسانه و تولید محتوا اهمیت عملی بیشتری دارد تا داوری منتقدان.
۴) برچسب «انسانی»؛ سوگیریای که سه درصد امتیاز هدیه میدهد
عجیبترین بخش پژوهش اینجاست. وقتی به شرکتکنندهها گفته میشد متنی را انسان نوشته — در حالی که در واقع خروجی هوش مصنوعی بود — امتیاز همان متن حدود ۳ درصد دیگر هم بالا میرفت. یعنی بالاترین نمرهها در کل پژوهش به متنهایی رسید که ماشین نوشته بود ولی خواننده گمان میکرد انسان نوشته است.
وایزبرگ همین را صریح بیان میکند: شرکتکنندهها بالاترین امتیاز را به داستانهایی دادند که به آنها گفته شده بود انسان نوشته اما در واقع نوشتهی هوش مصنوعی بودند. این یعنی دو نیروی جداگانه در کار است: یکی کیفیت خودِ متن، دیگری سوگیری مثبت ما به برچسب انسانی. ما هنوز میخواهیم نوشتهی انسان را دوست داشته باشیم؛ ولی وقتی برچسب را برمیدارند، دستمان رو میشود.
پیامد این یافته برای بازار محتوا روشن است. اگر صرفِ اعلام «این متن را انسان نوشته» ارزش ادراکشده را بالا میبرد، انگیزهای اقتصادی برای پنهانکردن نقش هوش مصنوعی ایجاد میشود — و همین دقیقاً جایی است که بحث شفافیت و برچسبگذاری اجباری محتوای مصنوعی معنا پیدا میکند.
۵) تشخیص در حد شانس؛ چرا چشم ما دیگر کار نمیکند
در آزمایش دوم، دقت شرکتکنندهها در تشخیص اینکه متن را هوش مصنوعی نوشته یا انسان، حدود ۳۹.۹۳ درصد بود. این عدد نهتنها پایین است، بلکه از حدس تصادفی هم بدتر است؛ یعنی مردم بهطور نظاممند در جهت اشتباه سوگیری داشتند. در آزمایش سوم این رقم به حدود ۵۱.۹۷ درصد رسید که از نظر آماری تفاوت معناداری با شانس ندارد.
بازهی ۴۰ تا ۵۲ درصد یعنی خوانندهی معمولی، بدون ابزار کمکی، عملاً توانایی تشخیص ندارد. مهمتر اینکه خطا فقط «ندانستن» نبود؛ در یکی از آزمایشها الگوی خطا جهتدار بود. به نظر میرسد ذهن ما مجموعهای از نشانههای قدیمی برای شناسایی متن ماشینی دارد — تکرار، لحن رسمی، جملههای کلیشهای — که مدلهای امروزی دیگر آنها را تولید نمیکنند. در نتیجه همان نشانهها ما را به بیراهه میبرند.
این موضوع با تجربهی کاربران فارسیزبان هم همخوان است؛ کسانی که مرتب با مدلهای مختلف کار میکنند میدانند خروجی امروز چقدر با دو سال پیش فرق دارد. کافی است خروجی امروز مدلها را با نمونههای دو سال پیش مقایسه کنید تا فاصله را ببینید.
۶) سواد هوش مصنوعی؛ تنها چیزی که واقعاً کمک کرد
پژوهشگران دنبال این هم بودند که چه کسانی بهتر تشخیص میدهند. سن، جنسیت و علاقهی ادبی تفاوت چشمگیری ایجاد نکرد. اما یک متغیر خودش را نشان داد: میزان آشنایی و سواد کاربر در حوزهی هوش مصنوعی.
در آزمایش دوم، هر یک واحد افزایش در خودارزیابی فرد از تخصصش در هوش مصنوعی، شانس تشخیص درست را حدود ۱۴ درصد بالا میبرد. در آزمایش سوم که بهجای خودارزیابی از یک مقیاس استاندارد سواد هوش مصنوعی استفاده شد، هر یک واحد افزایش نمره، شانس تشخیص درست را حدود ۳۳ درصد افزایش داد. این تفاوت بین دو عدد خودش گویاست: سنجهی دقیقتر، اثر بزرگتری نشان داد.
وایزبرگ نتیجهگیری عملی روشنی دارد: بهبود سواد هوش مصنوعی یکی از راههای کمک به مردم برای جهتیابی در دنیای جدید است. یعنی راهحل، آموزش است نه انکار. اگر میخواهید از پایه شروع کنید، مجموعهی آموزشهای ChatGPT نقطهی شروع مناسبی است.
۷) چرا متن ماشینی «راحتتر» خوانده میشود؟
توضیحی که وایزبرگ پیشنهاد میکند فنی نیست، شناختی است: نوشتهی هوش مصنوعی معمولاً شفافتر، مستقیمتر و آسانتر برای پردازش ذهنی است. مغز ما تلاش کمتر را با کیفیت بیشتر اشتباه میگیرد؛ پدیدهای که در روانشناسی شناختی با نام روانی پردازش شناخته میشود. متنی که راحت جلو میرود، خوشایندتر بهنظر میرسد.
کامرون جونز از دانشگاه استونیبروک نقد تکمیلی جالبی مطرح کرده است. به گفتهی او، مدلهای زبانی بزرگ برای جلب رضایت کاربر بهینه شدهاند و در نتیجه محتوایی تولید میکنند که او آن را «آدم معمولیِ بیخطر» توصیف میکند — متنی که برای طیف وسیعی از مخاطبان قابلقبول است. در مقابل، نویسندهی انسانی متن «عجیب» و شخصی مینویسد که جذابیتی انتخابی دارد؛ عدهای عاشقش میشوند و عدهای رهایش میکنند.
این تمایز مهم است. برتری ۶ و ۸ درصدی هوش مصنوعی در این پژوهش لزوماً نشانهی برتری هنری نیست؛ میتواند نشانهی برتری در «میانگینپسندی» باشد. ماشین در تولید متنی که کمترین اصطکاک را برای بیشترین آدم دارد بهتر عمل میکند، و در یک نظرسنجی با نمونهی بزرگ، دقیقاً همین چیز برنده میشود.
۸) محدودیتها؛ چیزی که این پژوهش ثابت نمیکند
خود پژوهشگران فهرست صریحی از محدودیتها ارائه کردهاند و نادیدهگرفتن آنها باعث نتیجهگیری اغراقآمیز میشود. نخست، فقط سه جفت داستان بررسی شده است؛ نمونهای کوچک از عالم ادبیات. دوم، تنها یک سامانهی هوش مصنوعی — و بنا بر گزارشها نسخهای قدیمیتر از ChatGPT — استفاده شده است. سوم، ارزیابیها در یک نشست انجام شده و اثر ماندگاری متن در ذهن سنجیده نشده است.
چهارم و شاید مهمتر از همه، این پژوهش دربارهی داستان کوتاه است، نه رمان. هیچ دادهای دربارهی توانایی هوش مصنوعی در نگهداشتن قوس روایی، شخصیتپردازی و انسجام در طول صدها صفحه ارائه نمیشود. تعمیم نتیجه از داستان کوتاه به ادبیات بلند، از نظر روششناختی بیپایه است.
بنابراین جملهی درست این نیست که «هوش مصنوعی از نویسندهها بهتر شد»؛ جملهی درست این است که در یک آزمون کنترلشده روی داستانهای کوتاه، خوانندههای عادی نتوانستند تفاوت را تشخیص بدهند و بهطور میانگین نسخهی ماشینی را کمی بیشتر پسندیدند. برای درک تفاوت میان توانایی ظاهری و توانمندی واقعی، توهم هوش مصنوعی؛ توسعهدهندهی تنها در برابر مهندس واقعی نمونهی خوبی از همین شکاف را بررسی میکند.
۹) این یافته برای نویسندهها، ناشران و کسبوکارها چه معنایی دارد
برای نویسندهها، پیام پژوهش تهدید نیست بلکه تغییر زمین بازی است. اگر رقابت بر سر «متن تمیز و روان» باشد، ماشین برنده است. آنچه باقی میماند همان چیزی است که جونز به آن اشاره میکند: صدای شخصی، زاویهی دید غیرمنتظره و ریسکهای سبکی که مدلهای بهینهشده برای رضایت عمومی از آن پرهیز میکنند.
برای ناشران و رسانهها، مسئلهی شفافیت جدیتر میشود. وقتی برچسب انسانی بهتنهایی ۳ درصد امتیاز اضافه میکند، اعتماد مخاطب به یک دارایی اقتصادی تبدیل میشود و پنهانکاری وسوسهانگیز. سیاست روشن دربارهی افشای استفاده از هوش مصنوعی، دیگر یک تشریفات اخلاقی نیست؛ بخشی از مدیریت ریسک برند است.
برای کسبوکارها هم نتیجهگیری عملی وجود دارد: اگر خروجی ماشین در محتوای کوتاه و همهپسند رقابتی است، منطقی است که نیروی انسانی به سمت راهبرد، ویرایش و تمایزسازی برود. دربارهی جایگاه این فناوری در کسبوکار، چرا هوش مصنوعی در کسبوکار مهم است تصویر کاملتری میدهد. و اگر میخواهید خروجی بهتری از مدلها بگیرید، مهارت پرامپتنویسی تعیینکننده است؛ راهنمای سادهی نوشتن پرامپت برای شروع کافی است.
در نهایت، شاید مهمترین درس این پژوهش نه دربارهی ماشین که دربارهی ماست: ما در قضاوتمان دقیق نیستیم، برچسبها ما را جابهجا میکنند و اطمینانمان از توانایی تشخیص، بسیار بیشتر از دقت واقعیمان است. آخرین اخبار این حوزه را میتوانید در بخش اخبار هوش مصنوعی دنبال کنید.
پرسشهای پرتکرار دربارهی پژوهش ویلانووا
این پژوهش را چه کسی و کجا منتشر کرده است؟
پژوهشگران دانشکدهی روانشناسی و علوم مغز دانشگاه ویلانووا، به سرپرستی دینا وایزبرگ و با همکاری سیدنی سیرز، این مطالعه را انجام دادند. مقاله چهارم اوت ۲۰۲۶ در نشریهی Judgment and Decision Making وابسته به انتشارات دانشگاه کیمبریج منتشر شد.
چند نفر در این پژوهش شرکت کردند؟
سه آزمایش انجام شد: آزمایش اول با ۱۶۸۲ نفر، آزمایش دوم با ۴۲۴ نفر و آزمایش سوم با ۴۸۱ نفر؛ در مجموع حدود ۲۵۸۷ بزرگسال با دامنهی سنی ۱۸ تا ۸۱ سال.
آیا واقعاً مردم نتوانستند متن هوش مصنوعی را تشخیص بدهند؟
بله. دقت تشخیص در آزمایش دوم حدود ۳۹.۹۳ درصد و در آزمایش سوم حدود ۵۱.۹۷ درصد بود؛ یعنی در محدودهی حدس تصادفی. تنها عاملی که تشخیص را بهتر میکرد، سطح سواد و آشنایی فرد با هوش مصنوعی بود.
یعنی هوش مصنوعی از نویسندههای انسانی بهتر نوشته است؟
خیر، این نتیجهگیری درستی نیست. پژوهش فقط نشان میدهد خوانندههای عادی در یک آزمون کوتاه، نسخهی ماشینی را بهطور میانگین حدود ۶ درصد باکیفیتتر و ۸ درصد جذابتر ارزیابی کردند. ارزیابی ادبی تخصصی، رمان بلند و ماندگاری اثر در این پژوهش سنجیده نشده است.
محدودیتهای اصلی این مطالعه چیست؟
تنها سه جفت داستان کوتاه بررسی شده، تنها یک سامانهی هوش مصنوعی و بنا بر گزارشها نسخهای قدیمیتر از آن به کار رفته، ارزیابیها در یک نشست انجام شده و آثار بلند اصلاً آزموده نشدهاند.
