مقاله جدیدی که در مجله تحقیقات اینترنت پزشکی منتشر شده است، توضیح می‌دهد که چگونه مدل‌های مولد مانند DALL-E ۲، یک مدل یادگیری عمیق جدید برای تولید متن به تصویر، می‌تواند ابزار آینده امیدوارکننده‌ای را برای تولید تصویر، تقویت و دستکاری در تصویر نشان دهد. آیا مدل‌های مولد دانش کافی در حوزه پزشکی برای ارائه نتایج دقیق و مفید دارند؟ دکتر لیزا سی آدامز و همکارانش این موضوع را در آخرین دیدگاه خود با عنوان "DALL-E ۲ درباره رادیولوژی بررسی کرده و شرح داده‌اند.

DALL-E ۲ برای اولین بار توسط OpenAI در آوریل ۲۰۲۲ معرفی شد، یک ابزار هوش مصنوعی (AI) است که برای تولید تصاویر واقعی یا آثار هنری بر اساس ورودی متن محبوبیت پیدا کرده است. قابلیت‌های تولیدی DALL-E ۲ بسیار قدرتمند است، زیرا بر روی میلیارد‌ها جفت متن-تصویر موجود در اینترنت آموزش داده شده است.

برای درک اینکه آیا می‌توان این قابلیت‌ها را برای ایجاد یا تقویت داده‌ها به حوزه پزشکی منتقل کرد یا خیر، محققان آلمانی و آمریکایی دانش رادیولوژی DALL-E ۲ را در ایجاد و دستکاری اشعه ایکس، توموگرافی کامپیوتری (CT)، تصویربرداری تشدید مغناطیسی MRI) و تصاویر سونوگرافی بررسی کردند.

محققان دریافتند DALL-E ۲ نمایش‌های مرتبط با تصاویر اشعه ایکس را آموخته است و پتانسیل امیدوارکننده‌ای را برای تولید متن به تصویر نشان می‌دهد. به طور خاص، DALL-E ۲ می‌توانست تصاویر واقعی اشعه ایکس را بر اساس اعلان‌های متنی کوتاه ایجاد کند، اما زمانی که درخواست‌های تصویر CT، MRI یا اولتراسوند خاص داده می‌شد، عملکرد چندان خوبی نداشت؛ اما قادر به بازسازی معقول جنبه‌های مغفول در یک تصویر رادیولوژیکی بود. برای مثال با استفاده از تنها یک تصویر از زانو به عنوان نقطه شروع، یک رادیوگرافی کامل و تمام بدن ایجاد کند. با این حال DALL-E ۲ در توانایی‌های خود برای تولید تصاویر با ناهنجاری‌های پاتولوژیک محدود بود.

داده‌های مصنوعی تولید شده توسط DALL-E ۲ می‌تواند توسعه ابزار‌های یادگیری عمیق جدید برای رادیولوژی را تا حد زیادی تسریع کند، همچنین نگرانی‌های مربوط به حفظ حریم خصوصی مربوط به اشتراک گذاری داده‌ها بین موسسات را برطرف کند. محققان همپنین خاطرنشان می‌کنند که تصاویر تولید شده باید توسط کارشناسان حوزه تحت کنترل کیفیت قرار گیرند تا خطر ورود اطلاعات نادرست به مجموعه داده‌های تولید شده کاهش یابد. آن‌ها همچنین بر نیاز به تحقیقات بیشتر برای تنظیم دقیق این مدل‌ها با داده‌های پزشکی و ترکیب اصطلاحات پزشکی برای ایجاد مدل‌های قدرتمند برای تولید و تقویت داده‌ها در تحقیقات رادیولوژی تاکید می‌کنند.

اگرچه DALL-E ۲ برای تنظیم دقیق در دسترس عموم نیست، مدل‌های تولیدی دیگری مانند Stable Diffusion در دسترس هستند که می‌توانند برای تولید انواع تصاویر پزشکی تطبیق داده شوند.

به طور کلی این دیدگاه چشم انداز امیدوارکننده‌ای را برای آینده تولید تصویر هوش مصنوعی در رادیولوژی ارائه می‌دهد. تحقیق و توسعه بیشتر در این زمینه می‌تواند به ابزار‌های جدید هیجان انگیز برای رادیولوژیست‌ها و متخصصان پزشکی منجر شود.

منبع: medicalxpress