آیا تا به حال نام نشانگان کاسپر-لو یا بیماری هلکند را شنیده‌اید؟ در مورد گلبول‌های سیاه یا پژواک برگشتی خون طوفانی کلیوی چطور؟ اگر نشنیده‌اید، نگران نباشید. همه اینها بیماری‌های ساختگی یا اصطلاحات پزشکی ساختگی هستند.

به گزارش همشهری آنلاین یک بررسی جدید نشان می‌دهد که چت‌بات‌های هوش مصنوعی (AI) آنها را به عنوان واقعیت در نظر گرفته‌اند و حتی توضیحات مفصلی برای آنها از هیچ ساخته‌اند.

پژوهشگران در ژورنال Communications Medicine گزارش دادند که چت‌بات‌های هوش مصنوعی که به طور گسترده استفاده می‌شوند، در برابر پذیرش اطلاعات پزشکی جعلی به عنوان اطلاعات واقعی، تکرار و حتی شرح و تفسیر مزخرفاتی که به آنها ارائه شده است، بسیار آسیب‌پذیر هستند.

دکتر محمود عمر پژوهشگر ارشد و مشاور مستقل گروه پژوهشی مونت سینایی که پشتیبان این تحقیق است، می‌گوید: «آنچه ما در همه جا دیدیم این است که چت‌بات‌های هوش مصنوعی را می‌توان به راحتی با جزئیات پزشکی نادرست گمراه کرد، چه این خطاها عمدی باشند و چه تصادفی.»

او می‌افزاید: «آنها نه تنها اطلاعات نادرست را تکرار کردند، بلکه اغلب‌شان این اطلاعات را گسترش دادند و توضیحات مطمئنی برای بیماری‌های غیر موجود ارائه دادند.»

برای مثال، در این بررسی آمده است که یکی از چت‌بات‌های هوش مصنوعی، نشانگان کاسپر- لو را به عنوان «یک بیماری عصبی نادر با علائمی مانند تب، سفتی گردن و سردرد» توصیف کرده است.

به همین ترتیب، بیماری هلکند به عنوان «یک اختلال ژنتیکی نادر با سوء جذب روده و اسهال» توصیف شده است.

هیچ‌کدام از این‌ها درست نیست. در عوض، این پاسخ‌ها چیزی هستند که پژوهشگران آن را «توهم» (hallucination) می‌نامند که به معنای حقایق نادرستی که بوسیله برنامه‌های هوش مصنوعی گیج‌شده تولید می‌شوند.

دکتر عمر گفت: «یافته دلگرم‌کننده این بررسی این است که افزودن یک هشدار ساده و تک‌خطی که به پیام‌واره یا پرامپتی که به چت‌بات داده می‌شود، این توهمات را به طور چشمگیری کاهش می‌دهد و نشان می‌دهد که اقدامات حفاظتی کوچک می‌توانند تفاوت بزرگی ایجاد کنند.»

پژوهشگران برای این بررسی ۳۰۰ پرس‌وجوی هوش مصنوعی مربوط به مسائل پزشکی را طراحی کردند که هر کدام شامل یک جزئیات ساختگی مانند یک تست آزمایشگاهی ساختگی به نام «نوروستاتین سرم» یا یک علامت ساختگی مانند «علامت مارپیچ قلبی» بود.

نتایج نشان داد که میزان توهم در شش چت‌بات هوش مصنوعی مختلف از ۵۰ تا ۸۲ درصد متغیر بود و این برنامه‌ها در پاسخ به جزئیات ساختگی یاوه‌گویی‌های متقاعدکننده‌ای ارائه می‌دادند.

دکتر ایال کلنگ، پژوهشگر ارشد در این بررسی گفت: «حتی یک اصطلاح ساختگی می‌تواند منجر به پاسخی دقیق و قاطع شود که کاملاً تخیلی است.» کلنگ رئیس بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان در مونت سینای در شهر نیویورک است.

اما پژوهشگران در دور دوم یک هشدار یک خطی به پرسش خود اضافه کردند و به هوش مصنوعی یادآوری کردند که اطلاعات ارائه شده ممکن است نادرست باشد.

این پژوهشگران نوشتند: «این دستورالعمل در اصل به مدل دستور می‌داد که فقط از اطلاعات بالینی معتبر استفاده کند و به جای گمانه‌زنی بیشتر عدم قطعیت را بپذیرد. هدف این بود که با اعمال این محدودیت‌ها مدل را تشویق کنیم تا عناصر مشکوک را شناسایی و علامت‌گذاری کند، نه اینکه محتوای بدون پشتوانه تولید کند.»

پژوهشگران دریافتند که این هشدار باعث شد میزان توهم به حدود ۴۵ درصد کاهش یابد.

نتایج نشان می‌دهد که هوش مصنوعی ChatGPT-۴o که بهترین عملکرد را داشت، میزان توهم حدود ۵۰ درصد داشت و با اضافه شدن هشدار به پیام‌واره یا پرامپتی که به هوش مصنوعی داده می‌شد، این میزان به کمتر از ۲۵ درصد کاهش یافت.

منبع: هلث‌دی

کد خبر 970807 منبع: همشهری آنلاین

• این اطلاعات پزشکی هوش مصنوعی جعلی است

• زائر ایرانی با استخوان اجساد در عراق دستگیر شد | عکس

• از بیلبورد تجلیل از سردار قاآنی در اسرائیل تا فرار فرماندهان سپاه + تصاویر| خط جدید جنگ رسانه‌ای علیه مدافعان ایران

• تومان به جای ریال؟ | جزئیات کامل حذف ۴ صفر از پول ملی

• اسکوچیچ: نمی‌بخشم! | دست‌ندادن با تاج؛ فرصتی برای نمایش خشم پس از ۳‌سال

• فریاد «خوش آمدید، خوش آمدید» لبنانی ها خطاب به لاریجانی | ویدئو

• پرسپولیس به دنبال بزرگترین خرید تاریخ | پیشنهاد دوم برای چهره نامدار ارسال شد

• تصاویر هولناک از مجروح شدن یک شهروند تهرانی با قمه در یک مغازه | جزئیات انهدام باند اراذل مسلح

• زائر ایرانی با استخوان اجساد در عراق دستگیر شد | عکس

• اگر من گریه می‌کردم، ایران شکست می‌خورد

• از امنیت گشمده تا ربودن دختران؛ ۱۷ آدم‌ربایی در ۱۰ روز

• استقلالی هستم و هدفم بارسلوناست | می‌خواهم با تیم ملی در جام جهانی بدرخشم | قبلا طرفدار مسی بودم ولی حالا فقط رونالدو +ویدیو

• ادعای تازه نتانیاهو درباره تغییر رژیم در ایران

• خرید جدید استقلال: من اینجا نمی‌مانم، خداحافظ!

• این روغن می‌تواند به کاهش کلسترول کمک کند

• از بازی استقلال برابر تراکتور واقعا خجالت کشیدم | ساپینتو اصلا چطور به این بازیکن بازی داد؟

• صعود باورنکردنی آسمانخراش های ایران | رستگاری در ساعت صفر

• انتقامجویی مادر از پسر با اره آهن‌بری

• قبولی ChatGBT در امتحان پزشکی: هوش مصنوعی وارد دنیای پزشکی می‌شود؟

• فضانوردان مریخ مجهز به دستیار هوش مصنوعی می‌شوند

• هوش مصنوعی نسبت به پزشکان واقعی به بیماران بهتر پاسخ می‌دهد

• چرا هوش مصنوعی قابل اعتماد نیست؟

• رفیق هوشمند یا راهنمای نادقیق؟