از آن جایی که مشتریان بیشتری برای مشاوره سلامت به ChatGPT جدید در دسترس مراجعه می‌کنند، محققان مشتاق هستند تا ببینند آیا اطلاعات ارائه شده توسط ربات چت هوش مصنوعی قابل اعتماد و دقیق است یا خیر.

مطالعه جدیدی که توسط محققان دانشکده پزشکی دانشگاه مریلند (UMSOM) انجام شد، نشان می‌دهد که پاسخ‌های تولید شده اطلاعات درستی را در اکثر مواقع ارائه می‌دهند. اگرچه گاهی اوقات اطلاعات نادرست یا حتی ساختگی هستند.

در فوریه ۲۰۲۳، محققان UMSOM مجموعه‌ای از ۲۵ سوال مربوط به مشاوره در مورد غربالگری سرطان سینه را ایجاد کردند. آن‌ها هر سوال را سه بار به ChatGPT ارسال کردند تا ببینند چه پاسخ‌هایی ایجاد شده اند.

این ربات چت به این دلیل شناخته می‌شود که هر بار که سؤالی مطرح می‌شود، پاسخ خود را تغییر می‌دهد. سه رادیولوژیست که در دوره ماموگرافی آموزش دیده بودند، پاسخ‌ها را ارزیابی کردند. آن‌ها دریافتند که پاسخ‌ها برای ۲۲ سوال از ۲۵ سوال مناسب است. با این حال چت بات یک پاسخ بر اساس اطلاعات قدیمی ارائه کرد. دو سؤال دیگر پاسخ‌های متناقضی داشتند که هر بار که سؤال مشابهی مطرح می‌شد، به طور قابل توجهی متفاوت بود.

پاول یی، استادیار رادیولوژی تشخیصی و پزشکی هسته‌ای در UMSOM و مدیر مرکز تصویربرداری هوشمند پزشکی UM گفت: ما متوجه شدیم که ChatGPT در حدود ۸۸ درصد مواقع به سؤالات پاسخ صحیح می‌دهد که بسیار شگفت‌انگیز است. همچنین این مزیت اضافی را دارد که اطلاعات را به شکلی به راحتی قابل هضم برای کاربران می‌کند. ChatGPT به سؤالات مربوط به علائم سرطان سینه که در معرض خطر است و سوالات مربوط به هزینه، سن و توصیه‌های فراوانی در مورد ماموگرافی به درستی پاسخ داد.

دکتر هانا هاور، سرپرست تیم تحقیق، دستیار رادیولوژی در مرکز پزشکی دانشگاه مریلند، گفت: نکته منفی این است که در پاسخ‌های خود به اندازه آنچه یک فرد معمولا در جست و جوی گوگل پیدا می‌کند، جامع نیست. ChatGPT تنها یک مجموعه از توصیه‌ها را در مورد غربالگری سرطان پستان ارائه کرد که از سوی انجمن سرطان آمریکا صادر شده اند؛ اما به توصیه‌های متفاوت ارائه شده توسط مراکز کنترل و پیشگیری از بیماری (CDC) یا گروه ویژه خدمات پیشگیرانه آمریکا (USPSTF) اشاره نکرد.

در یکی از پاسخ‌هایی که محققان آن را نامناسب می‌دانستند، ChatGPT پاسخی قدیمی به برنامه‌ریزی ماموگرافی در مورد واکسیناسیون کووید ۱۹ ارائه کرد. توصیه به تعویق انداختن ماموگرافی به مدت چهار تا شش هفته پس از تزریق واکسن کووید ۱۹ در فوریه ۲۰۲۲ تغییر کرد و CDC دستورالعمل‌های USPSTF را تایید می‌کند که انتظار را توصیه نمی‌کنند. پاسخ‌های متناقضی به سوالات مربوط به خطر ابتلا به سرطان سینه در یک فرد و این که کجا می‌تواند ماموگرافی انجام دهد، داده شد.

دکتر یی گفت: ما در تجربه خود دیده ایم که ChatGPT گاهی مقالات جعلی مجلات یا کنسرسیوم‌های بهداشتی را برای حمایت از ادعا‌های خود می‌سازد. کاربران باید بدانند که این‌ها فناوری‌های جدید و اثبات‌نشده‌ای هستند و همچنان باید برای مشاوره به جای ChatGPT به پزشک خود اعتماد کنند.

او و همکارانش اکنون در حال تجزیه و تحلیل هستند که چگونه ChatGPT برای توصیه‌های غربالگری سرطان ریه انجام می‌شود و راه‌هایی را برای بهبود توصیه‌های ارائه‌شده توسط ChatGPT به منظور دقیق‌تر و کامل‌تر بودن و همچنین قابل درک‌تر برای کسانی که سطح تحصیلات بالایی ندارند، شناسایی می‌کنند.

مارک تی گفت: با تکامل سریع ChatGPT و سایر مدل‌های زبان بزرگ ما به عنوان یک جامعه پزشکی مسئولیت ارزیابی این فناوری‌ها را داریم و از بیماران خود در برابر آسیب‌های احتمالی که ممکن است ناشی از توصیه‌های غربالگری نادرست یا استراتژی‌های بهداشتی پیشگیرانه قدیمی باشد، محافظت کنیم.

منبع: مدیکال اکسپرس