روش جدید قابلیت اطمینان گزارش های تشخیصی رادیولوژیست ها را ارزیابی و بهبود می بخشد | اخبار MIT


با توجه به ابهام ذاتی در تصاویر پزشکی مانند X -rays ، رادیولوژیست ها اغلب هنگام توصیف حضور یک آسیب شناسی خاص ، مانند ذات الریه ، از کلماتی مانند “ممکن” یا “احتمالاً” استفاده می کنند.
اما آیا کلماتی که رادیولوژیست ها برای بیان سطح اعتماد به نفس خود دقیقاً از چند بار آسیب شناسی خاص در بیماران استفاده می کنند ، استفاده می کنند؟ یک مطالعه جدید نشان می دهد که وقتی رادیولوژیست ها نسبت به یک آسیب شناسی خاص ، با استفاده از عبارت به عنوان “بسیار محتمل” ابراز می کنند ، آنها تمایل به اعتماد به نفس دارند و برعکس ، هنگامی که اعتماد به نفس کمتری را با استفاده از یک کلمه به عنوان “احتمالاً” ابراز می کنند.
با استفاده از داده های بالینی ، یک تیم چند رشته ای از محققان MIT با همکاری محققان و پزشکان در بیمارستان های مرتبط با دانشکده پزشکی هاروارد ، چارچوبی را برای تعیین میزان رادیولوژیست های قابل اعتماد هنگام بیان امنیت با استفاده از اصطلاحات زبان طبیعی ایجاد کرده است.
آنها از این رویکرد برای ارائه پیشنهادات واضح استفاده کردند که به رادیولوژیست ها کمک می کند تا عبارات ایمن را انتخاب کنند که باعث افزایش قابلیت اطمینان گزارش های بالینی آنها می شود. آنها همچنین نشان داده اند که همین تکنیک می تواند به طور مؤثر کالیبراسیون مدلهای بزرگ زبان را اندازه گیری و بهبود بخشد ، و بهتر کلمات را که مدل ها برای بیان اعتماد به نفس با صحت پیش بینی های خود استفاده می کنند ، تراز کنید.
این چارچوب جدید با کمک به رادیولوژیست ها با دقت بیشتری در توصیف احتمال ابتلا به آسیب شناسی خاص در تصاویر پزشکی ، می تواند قابلیت اطمینان اطلاعات بالینی بحرانی را بهبود بخشد.
Peiqi Wang ، دانشجوی MIT و مجری می گوید: “کلماتی که از رادیولوژیست ها استفاده می کنند مهم هستند. آنها بر نحوه دخالت پزشکان در تصمیم گیری بیمار تأثیر می گذارند. اگر این پزشکان بتوانند در گزارش خود قابل اطمینان تر باشند ، بیماران بهترین ذینفع خواهند بود.”
وی توسط نویسنده ارشد Polina Goland ، Sunny و Priscilla Chu ، استاد مهندسی برق و علوم کامپیوتر (EEC) ، محقق اصلی آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) و رهبر گروه بینایی پزشکی می پیوندد. و همچنین باربارا دی لام ، همکار بالینی در مرکز پزشکی بث اسرائیل دیکونز. یینگچنگ لیو ، در فارغ التحصیل MIT ؛ Amene Asgar-Targi ، همکار تحقیقاتی ماساچوست بریگام (MGB) ؛ رامسوار پاندا ، عضو کارمندان تحقیقات در آزمایشگاه MIT-IBM Watson AI ؛ ویلیام م. ولز ، استاد رادیولوژی در MGB و محقق CSAIL ؛ و تینا کاپور ، دستیار رادیولوژی در MGB. این نظرسنجی در کنفرانس بین المللی نمایندگان آموزش ارائه خواهد شد.
رمزگشایی عدم اطمینان در کلمات
یک رادیولوژیست که یک گزارش X -ray قفسه سینه را می نویسد ، ممکن است بگوید که این تصویر یک پنومونی “ممکن” را نشان می دهد ، این یک عفونت است که کیسه های هوا را در ریه ها مشتعل می کند. در این حالت ، پزشک ممکن است یک سی تی اسکن بعدی را برای تأیید تشخیص سفارش دهد.
با این حال ، اگر رادیولوژیست می نویسد که X -Ray پنومونی “احتمالی” را نشان می دهد ، پزشک ممکن است بلافاصله درمان را آغاز کند ، مانند تجویز آنتی بیوتیک ، هنوز هم برای ارزیابی وزن تست های اضافی سفارش می دهد.
وانگ می گوید ، تلاش برای اندازه گیری کالیبراسیون یا قابلیت اطمینان اصطلاحات مبهم زبان طبیعی مانند “احتمالاً” و “احتمالاً” چالش های بسیاری است.
روشهای کالیبراسیون موجود معمولاً به ارزیابی اعتماد به نفس ارائه شده توسط یک مدل هوش مصنوعی متکی هستند ، که احتمال تخمین زده شده مدل از درستی است.
به عنوان مثال ، برنامه زمان ممکن است فردا 83 درصد احتمال باران را فراهم کند. این مدل به خوبی کالیبره شده است اگر در همه مواردی که 83 درصد احتمال باران را پیش بینی می کند ، تقریباً 83 درصد از زمان باران می بارد.
وانگ می گوید: “اما مردم از زبان طبیعی استفاده می کنند و اگر این عبارات را بر روی یک عدد ترسیم کنیم ، توصیف دقیقی از دنیای واقعی نیست. اگر کسی می گوید این رویداد” احتمالاً “است ، او لزوماً مانند 75 درصد فکر نمی کند.”
به جای تلاش برای ترسیم عبارات امنیتی در یک درصد ، رویکرد محققان به عنوان توزیع احتمال رفتار می شود. توزیع دامنه مقادیر ممکن و احتمال آنها را توصیف می کند – منحنی زنگ کلاسیک را در آمار در نظر بگیرید.
وانگ می افزاید: “این تفاوت های بیشتری از معنای هر کلمه را ضبط می کند.”
ارزیابی و بهبود کالیبراسیون
محققان از یک کار قبلی استفاده کردند که رادیولوژیست ها را برای به دست آوردن تخصیص احتمال مطابقت با هر عبارت امنیتی تشخیصی اعم از “بسیار محتمل” تا “مطابق با” بررسی می کند.
به عنوان مثال ، همانطور که رادیولوژیست های بیشتر معتقدند که عبارت “مطابق با” به این معنی است که آسیب شناسی در یک تصویر پزشکی وجود دارد ، توزیع آن به احتمال زیاد به اوج بالایی صعود می کند ، با بیشتر خوشه های مقادیر در محدوده 90 تا 100 درصد.
در مقابل ، عبارت “ممکن است نمایانگر” باشد ، عدم اطمینان بیشتری را منتقل می کند و منجر به توزیع گسترده تر در قالب یک زنگ محور حدود 50 درصد می شود.
روشهای معمولی کالیبراسیون را با مقایسه چگونگی پیش بینی احتمال مدل با تعداد واقعی نتایج مثبت ارزیابی می کنند.
رویکرد محققان از همان چارچوب کلی پیروی می کند ، اما آن را گسترش می دهد تا این واقعیت را در نظر بگیرد که عبارات امنیتی توزیع احتمالات است ، نه احتمال.
برای بهبود کالیبراسیون ، محققان یک مشکل بهینه سازی را تدوین و حل می کنند که تصحیح می کند که چند بار از عبارات خاص برای اعتماد به نفس بهتر با واقعیت استفاده می شود.
آنها یک کارت کالیبراسیون دریافت کرده اند که حاکی از شرایط امنیتی است که رادیولوژیست باید از آن استفاده کند تا گزارش ها را برای یک آسیب شناسی خاص دقیق تر کند.
وانگ توضیح می دهد: “شاید ، برای این مجموعه از داده ها ، اگر هر بار رادیولوژیست می گوید پنومونی” در حال حاضر “است ، آنها عبارت” احتمالاً ارائه “را تغییر داده اند ، در عوض ، آنها کالیبره شده بهتر می شوند.”
هنگامی که محققان از چارچوب ارزیابی گزارش بالینی خود استفاده می کردند ، دریافتند که رادیولوژیست ها معمولاً در تشخیص شرایط رایج مانند آتلکتاز کافی نیستند ، اما با عفونت بیشتر مانند عفونت اطمینان بیشتری دارند.
علاوه بر این ، محققان با استفاده از روش خود ، قابلیت اطمینان مدل های زبان را ارزیابی کرده اند و ارائه اعتماد به نفس بیشتری از روشهای کلاسیک که به نتایج اعتماد به نفس متکی هستند ، ارائه می دهند.
وانگ می افزاید: “بارها این مدل ها از عباراتی مانند” مطمئناً “استفاده می کنند. اما از آنجا که آنها به پاسخ های خود بسیار اطمینان دارند ، مردم را ترغیب نمی کند که خودشان را بررسی کنند.”
در آینده ، محققان قصد دارند به امید بهبود تشخیص و درمان ، همکاری با پزشکان را ادامه دهند. آنها برای گسترش مطالعه خود تلاش می کنند تا داده های CT شکمی را شامل شود.
علاوه بر این ، آنها علاقه مند به یادگیری تعداد X -ray گیرنده برای بهبود پیشنهادات کالیبراسیون و اینکه آیا می توانند از نظر ذهنی استفاده از امنیت عبارات را اصلاح کنند ، علاقه مند هستند.
آتول B. شیناگار ، استادیار رادیولوژی در هاروارد شو کار می گوید: “بیان اطمینان تشخیصی جنبه مهمی از گزارش رادیولوژی است ، زیرا این امر بر تصمیمات قابل توجهی در مدیریت تأثیر می گذارد. این مطالعه یک رویکرد NOVL بیش از حد مورد تجزیه و تحلیل و اطمینان تشخیصی در گزارش های اشعه ایکس قفسه سینه قرار می گیرد ، بازخوردی در مورد استفاده از اصطلاح و نتایج مرتبط با آن ارائه می دهد.” “این رویکرد پتانسیل بهبود صحت و ارتباط رادیولوژیست ها را دارد که به بهبود مراقبت از بیمار کمک می کند.”
این کار تا حدودی توسط بورس تحصیلی Takeda ، آزمایشگاه MIT-BM Watson AI ، MIT Csail Wisial Wisdrom و کلینیک MIT Jameel تأمین شد.



