Возможности и ограничения использования инструментов машинной обработки текстов в лучевой диагностике

Обложка


Цитировать

Аннотация

Обоснование. В радиологии важную информацию содержат не только медицинские изображения, но и сопровождающие их текстовые описания, создаваемые врачами-рентгенологами. Идентификация протоколов исследований, содержащих определённые данные, и извлечение этих данных может быть полезным в первую очередь для клинических задач, однако, учитывая большой объём таких данных, необходима разработка машинных алгоритмов анализа.

Цель ― оценить возможности и ограничения использования инструментов машинной обработки текстов для поиска патологий в протоколах лучевых исследований.

Материалы и методы. Для создания первого прототипа алгоритма автоматического анализа протоколов были выбраны исследования молочных желёз (маммография) и органов грудной клетки (рентгенография, флюорография, компьютерная томография и низкодозная компьютерная томография), выполненные в лечебно-профилактических учреждениях Москвы, которые участвовали в эксперименте по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений. Для каждого вида исследований был первоначально составлен словарь ключевых слов, соответствующий наличию или отсутствию целевых патологий. После первичной автоматической разметки протоколов разработанным инструментом производились выборочная оценка и валидация результатов врачом-рентгенологом. Количество протоколов, проанализированных врачом для обучения и валидации алгоритмов, составило 977 для маммографии, 3196 для рентгенографии, 1608 для флюорографии, 4074 для компьютерной и 398 для низкодозной компьютерной томографии органов грудной клетки. Для окончательного тестирования разработанных алгоритмов были дополнительно размечены тестовые датасеты из 1032 исследований для маммографии, 544 для флюорографии/рентгенографии, 5000 для компьютерной и 1082 для низкодозной компьютерной томографии органов грудной клетки.

Результаты. Наилучшие результаты достигнуты в поиске признаков вирусной пневмонии по протоколам компьютерной томографии органов грудной клетки (точность 0,996, чувствительность 0,998, специфичность 0,989) и рака молочной железы по протоколам маммографии (точность 1,0, чувствительность 1,0, специфичность 1,0). При поиске алгоритмом признаков рака лёгкого метрики получились следующими: точность 0,895, чувствительность 0,829, специфичность 0,936, а при поиске патологических изменений органов грудной клетки в протоколах рентгенографии и флюорографии точность составила 0,912, чувствительность ― 1,000, специфичность ― 0,844.

Заключение. Машинные методы с высокой точностью могут быть использованы с целью автоматической классификации текстов рентгенологических протоколов маммографии и компьютерной томографии органов грудной клетки для поиска вирусной пневмонии. Для поиска признаков рака лёгкого в модальности компьютерной и низкодозной компьютерной томографии, а также патологических изменений в протоколах рентгенографии и флюорографии органов грудной клетки достигнутой точности достаточно для успешного применения в целях автоматизированного сравнения работы врачей и моделей искусственного интеллекта.

Полный текст

ОБОСНОВАНИЕ

Протоколы лучевых исследований содержат в себе текстовую медицинскую информацию, включающую предварительный диагноз, клинические данные, описательную часть с характеристиками изменений исследуемых органов и систем, рентгенологический диагноз или заключение и рекомендации по наблюдению [1, 2]. Эта информация может быть использована в комплексной диагностике и лечении заболеваний, прогнозировании исходов и мониторинга состояния, а также вне клинических целей, например для организационных, статистических или исследовательских задач.

Протоколы лучевых исследований обладают рядом особенностей, среди которых разнообразие повествовательных стилей, использование телеграфной речи, лексические и терминологические вариации, разнообразный порядок слов, многообразие сокращений, акронимов [3]. Отдельной особенностью, характерной для всей медицинской информации, является использование терминологии, оценка которой зачастую невозможна без наличия профильного образования. Кроме того, русскоязычные протоколы имеют также ряд специфических свойств, например, более свободные правила синтаксиса, лексическое разнообразие; врачи-рентгенологи используют нестандартные аббревиатуры, сложные грамматические конструкции, объёмные фразы, затрудняющие интерпретацию, множество вариантов обозначения отрицания [4]. Лексические вариации характерны для лучевой диагностики в целом, однако в русскоязычной лучевой диагностике это разнообразие ещё более широко (например, «затемнение» может описываться как «затенение», «тень», «инфильтрат», «участок пониженной прозрачности», «участок повышенной плотности», «участок пониженной воздушности», «фокус», «уплотнение» и огромное количество других вариантов для одной группы изменений). Напротив, вариативность в англоязычной лучевой диагностике регулируется нормативными документами, рекомендациями и т.д. Таким образом, протоколы лучевых исследований содержат большое количество текстовой, неструктурированной и специализированной информации, что приводит к определённым трудностям в её использовании исключительно автоматизированными методами.

В настоящее время исследуется использование инструментов обработки естественного языка для структуризации и стандартизации протоколов, выделения необходимой для клинических специалистов информации, автоматической замены специфической терминологии, в том числе для пациентов, с использованием более понятной лексики или переводом на другие языки [1, 2]. Идентификация протоколов исследований, содержащих определённые данные, и извлечение этих данных может быть полезным в первую очередь для клинических задач [1]. Так, имеются работы, посвящённые выявлению протоколов описания костно-мышечной системы с признаками переломов костей, компьютерной томографии с признаками тромбоэмболии лёгочных артерий, узелков лёгких и т.д. [3, 5, 6].

Разработка алгоритма для машинной обработки русскоязычных протоколов необходима для работы с большим объёмом данных и использования результатов такого анализа для оценки медицинских изображений в совокупности с описанием и заключением врача.

Цель исследования ― оценить возможности и ограничения использования инструментов машинной обработки текстов для поиска патологий различного характера в протоколах лучевых исследований.

МАТЕРИАЛЫ И МЕТОДЫ

Разработка инструмента по оценке текстовых протоколов лучевых исследований

Настоящая работа выполнена в рамках ранее одобренного этическим комитетом исследования; выписка из протокола № 2 Независимого этического комитета Московского регионального отделения Российского общества рентгенологов и радиологов (НЭК МРО РОРР) от 20 февраля 2020 г., также зарегистрированного на ClinicalTrials (NCT04489992).

Инструмент по оценке текстовых протоколов лучевых исследований разрабатывался в рамках московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и применялся для сопоставления результатов оценки наличия патологии на медицинских изображениях сервисами искусственного интеллекта и врачами-рентгенологами.

Протоколы исследований включали маммографию, рентгенографию и флюорографию органов грудной клетки (ОГК), компьютерную томографию (КТ) и низкодозную компьютерную томографию (НДКТ) ОГК; все исследования были выполнены в лечебно-профилактических учреждениях Департамента здравоохранения Москвы в 2020 г. В работе использовались анонимизированные протоколы лучевых исследований.

Основной целью было создание автоматизированного алгоритма для автоматического анализа протоколов рентгенологических исследований на предмет наличия или отсутствия искомых патологических изменений. Основой для выделения целевых патологий и разработки словаря были базовые требования к результатам сервисов искусственного интеллекта (https://mosmed.ai/).

Для рентгенографии и флюорографии ОГК целевые патологические признаки включали плевральный выпот, пневмоторакс, ателектаз, очаг, инфильтрацию/консолидацию, диссеминацию, полость с распадом или уровнем жидкости, кальцинат и нарушение целостности коркового слоя (перелом). Для КТ и НДКТ целевая патология включала солидные и субсолидные узлы объёмом более 100 мм3. Другой группой патологии для КТ ОГК были изменения, коррелирующие с признаками коронавирусной инфекции (COVID-19); использована классификация по степени тяжести, согласно временным методическим рекомендациям «Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID-19)» Министерства здравоохранения Российской Федерации, а также методическим рекомендациям ГБУЗ НПКЦ ДиТ ДЗМ «Лучевая диагностика коронавирусной болезни (COVID-19): организация, методология, интерпретация результатов» [7, 8]. Для маммографии использовалась система анализа и протоколирования результатов лучевых исследований молочной железы BI-RADS 3–6 (Breast Imaging Reporting and Data System) [9].

Программно-технические решения для предразметки текстовых протоколов

Были разработаны программно-технические решения для предразметки текстовых протоколов для каждого типа исследований, основанные на методах обработки естественного языка в комбинации с экспертным мнением врачей-рентгенологов. Разработка алгоритмов-предразметчиков осуществлялась итеративным образом в несколько основных этапов для каждой модальности.

  1. Формирование первичного набора ключевых признаков для поиска указаний на определённые патологии. Среди признаков рассматривались ключевые слова и фразы, указания на размеры и, если это необходимо, «стоп»-слова и фразы. Первичный набор ключевых слов, составленный врачом-рентгенологом, включал общепринятые и наиболее часто употребляемые врачами-рентгенологами термины. «Стоп»-слова включали нецелевые патологические изменения или непатологические находки (изменения других органов в зоне сканирования, анатомические варианты и т.д.).
  2. Перевод наборов признаков на машинный язык с помощью высокоуровневого языка программирования Python.

В настоящей работе мы использовали Python 3.8, для работы требуются библиотеки pandas=1.1.3, numpy=1.19.2, re=2.2.1, nltk=3.5. Входными данными для разработанной программы являются текстовые отчёты в табличной форме (.csv, .xlsx), содержащие как описание исследования, так и его заключение. Результаты работы представлены исходными данными с меткой «0» или «1», где «0» означает отсутствие признака/патологии, «1» ― наличие признака/патологии.

Модуль для поиска признаков COVID-19 по текстовым заключениям КТ ОГК основан на методах обработки естественного языка (natural language processing, NLP) и классификаторе из семейства алгоритмов машинного обучения. В качестве выхода указывает наличие или отсутствие признаков COVID-19, а также КТ-степень поражения лёгких.

Модуль для поиска признаков злокачественных новообразований молочной железы по данным протоколов маммографии, включая заключение и описание, выявляет признаки злокачественных новообразований молочных желёз по классификации BI-RADS, выдавая в качестве ответа класс BI-RADS и бинарную классификацию (аналогичную скрининговой шкале). Требования к описанию результатов маммологического исследования регламентируют обязательную классификацию исследования по шкале BI-RADS; с другой стороны, написание формулировки BI-RADS 1 на практике имеет широкий вариатив. Врачи могут использовать написание с разным регистром, разными пунктуационными знаками и, что самое главное, с использованием различных раскладок. По этой причине обычный анализ (parsing) текста оказывается не всегда эффективным, приводя к ложным пропускам. Применение NLP для данной задачи сводится к функции извлечения информации.

Модуль для поиска признаков злокачественных новообразований лёгкого по текстовым протоколам (описанию и заключению) КТ/НДКТ ОГК идентифицирует признаки злокачественных новообразований по сочетанию ключевых слов (ключей) и параметров (размеров); основан на NLP.

Модуль для поиска различных признаков патологии в текстах описания и заключения для рентгенографических и флюорографических исследований ОГК идентифицирует признаки патологии по словарю ключевых слов (‘признак RG/FLG’: ‘ключевое слово1’, ‘ключевое слово2’, ‘ключевое слово3’...).

3. Разметка протоколов программой-предразметчиком, созданной на этапе 2.

  1. Отбор уникальных разнообразных (по патологическим признакам) протоколов из размеченной выборки на этапе 3. В ходе нашей работы мы неоднократно убеждались в использовании шаблонных формулировок врачами-рентгенологами. Обучение алгоритмов NLP на шаблонных формулировках позволит быстро переобучить модель. Нами была поставлена задача максимально широкого применения разрабатываемого алгоритма, благодаря обогащению обучающего набора данных разнообразными редкими (уникальными) формулировками.
  2. Ручная верификация машинной разметки и оценка точности алгоритма-предразметчика. Точность машинной разметки оценивалась как процент правильно размеченных протоколов. Ручная верификация проводилась многократно для каждой отдельной задачи врачом-рентгенологом.
  3. Формирование списка корректировок, включая дополнительные «стоп»-слова и фразы, ключевые слова и прочие рекомендации с целью улучшения качества предразметчика.
  4. Добавление верифицированных протоколов в базу.

На данном этапе происходило формирование разнообразных, уникальных и размеченных выборок с сохранением баланса классов. При формировании выборок исследований, размеры которых приведены ниже, брались все исследования за ограниченный промежуток времени (с января 2019 по август 2020 г.). Баланс классов соответствовал таковому в генеральной совокупности. Ожидаемое распространение по патологиям: КТ COVID-19: 20% ― норма, 80% ― патология; маммография: 95% ― норма, 5% ― патология; флюорография: 95% ― норма, 5% ― патология; рентгенография ОГК: 75% ― норма, 25% ― патология.

  1. Повторение этапов 2–7 итеративным образом до тех пор, пока точность предразметчика не достигнет 98%. Данное значение было выбрано исходя из максимального уровня точности NLP для отдельных медицинских задач, обнаруженного при анализе медицинской литературы и составлявшего 97% [10].

В общей сложности количество протоколов, проанализированных врачом-рентгенологом при разработке алгоритмов-предразметчиков, составляет 977 для маммографии, 3196 для рентгенографии, 1608 для флюорографии, 4074 для КТ ОГК и 398 НДКТ ОГК. В исследование включались все протоколы исследований, которые направлялись сервисам искусственного интеллекта в рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы (https://mosmed.ai/). Исключению подвергались только те протоколы, которые не имели заполненных разделов «описание» и «заключение».

Для повышения качества и ускорения автоматической разметки текстовых протоколов были применены методы машинного обучения, позволяющие учитывать сложные семантические структуры предложений в протоколах, для поиска признаков COVID-19-пневмонии по данным КТ ОГК. В будущем планируется разработка интеллектуализированных алгоритмов для поиска признаков патологий в протоколах маммографии, КТ (для поиска рака лёгкого), флюорографии и рентгенографии.

Модуль обработки протоколов КТ COVID-19 состоял из трёх функций: (1) поиск заключений во входных данных по уже размеченной базе протоколов; (2) разметка оставшихся протоколов c помощью регулярного выражения; (3) разметка оставшихся протоколов, используя модели k-ближайших соседей (k-Nearest Neighbors, kNN). Работа этих функций была реализована последовательно. Одним из условий при разработке нашего инструмента была оптимизация быстродействия. Ранее мы уже упоминали частое использование шаблонных выражений при составлении протокола врачом-рентгенологом. По этой причине бό́льшая часть протоколов по КТ COVID-19 имеет одинаковый вид. Кроме того, ранее коллективом авторов была проведена большая работа по ручной разметке протоколов КТ ОГК с целевой патологией COVID-19. Это упростило и ускорило работу алгоритма благодаря использованию простой функции логического сравнения, позволяя сравнивать протокол с имеющимися в базе данных. Далее остаётся часть протоколов, которых нет в базе данных ранее размеченных исследований, и для этого запускается существенно более медленная функция анализа текста при помощи регулярных выражений. При наличии протоколов, для которых регулярное выражение не обнаружило целевого образца (паттерна), запускается модель машинного обучения на основе kNN.

Разработанная нами архитектура обладает оптимальным сочетанием быстродействия и точности по сравнению с отдельным применением машинного обучения. Без машинного обучения невозможно было охватить весь объём протоколов. Обучающая выборка ― 4074 предварительно размеченных протоколов. Такое количество протоколов было необходимо для обеспечения требуемого уровня точности, и было получено за несколько итераций тестирования и дообучения модели. Для функционирования данного модуля дополнительно импортировалась библиотека Sklearn (Scikit-learn). Обученный алгоритм был оценён на тестовой выборке и показал достаточно высокую точность (99,6%).

РЕЗУЛЬТАТЫ

Создан перечень ключевых слов и «стоп»-слов по выбранным модальностям и патологиям с учётом особенностей протоколов. На протоколах исследований, выполненных в Москве, наилучшие результаты работы инструмента на основании разработанного словаря достигнуты в поиске признаков вирусной пневмонии COVID-19 по данным протоколов КТ ОГК: точность 0,996, чувствительность 0,998, специфичность 0,989 (TN*=1115; FP**=6; FN#=2; TP##=3837) и рака молочной железы по данным маммографических заключений: точность 1,0, чувствительность 1,0, специфичность 1,0 (TN=461; FP=0; FN=0; TP=571). При поиске признаков рака лёгкого в модальности КТ и НДКТ ОГК получились следующие метрики: точность 0,895, чувствительность 0,829, специфичность 0,936 (TN=619; FP=42; FN=72; TP=349), а при поиске патологических изменений ОГК в протоколах рентгенографии и флюорографии ― 0,912; 1,000 и 0,844 соответственно (TN=259; FP=48; FN=0; TP=237).

* TN (true negative ― истинно отрицательный): предсказать отрицательный класс как отрицательный класс (количество), истинное значение ― 1, прогноз ― 1.

** FP (false positive ― ложноположительный): прогнозировать отрицательный класс как положительный класс (количество), истинное значение ― 1, прогноз ― 0.

# FN (false negative ― ложноотрицательный): прогнозировать положительный класс как отрицательный класс (количество), истинное значение ― 0, прогноз ― 1.

## TP (true positive ― истинно положительный): прогнозировать положительный класс как положительный класс (количество), истинное значение ― 0, прогноз ― 0.

ОБСУЖДЕНИЕ

Словарь для маммографических исследований

Наиболее простым для составления и использования оказался словарь для маммографических исследований, что связано с особенностями современных стандартизированных протоколов. Протоколы описания маммографических исследований наиболее структурированы, для них обязательно использование BI-RADS, они подлежат контролю в связи с высокой значимостью выявляемой патологии. В абсолютном большинстве случаев в заключении указана категория BI-RADS, в описательной части ― изменения, на основании которых выставлена та или иная категория. Наличие в словаре категорий BI-RADS позволяет достигать высокой точности в автоматизированной обработке протоколов, достигающей точности 1.0. Данный инструмент может использоваться в других регионах (субъектах Российской Федерации), при необходимости, например для протоколов отличающейся структуры, возможно добавление ключевых определяющих слов («опухоль», «c-r»).

Ограничения в работе инструмента могут быть связаны с отсутствием категории BI-RADS в протоколе: обычно такие протоколы содержат информацию о невозможности оценки состояния молочных желёз в связи с ненадлежащим качеством снимков или другими причинами. Так как такие исследования выносятся в отдельную группу, возможен их целенаправленный поиск, например для осуществления контроля качества, отбора пациентов, нуждающихся в дообследовании. Разработанный инструмент при условии дальнейшего совершенствования может быть использован с другими целями, например для оценки соответствия протокола стандарту, сопоставления описательной части и заключения с целью аудита.

Словарь для исследований на COVID-19-пневмонию по степеням тяжести

Высокие показатели точности были достигнуты также при применении инструмента для анализа исследований на предмет COVID-19-пневмонии по степеням тяжести, что также обусловлено структурой протоколов и однозначностью составленного словаря. Используемый словарь основан на стандартных степенях: КТ0 ― отсутствие признаков вирусной пневмонии, КТ1–КТ4 ― вирусная пневмония от лёгкой степени до критической, ПРОЧЕЕ ― прочие изменения, не связанные с вирусной пневмонией. В период пандемии заключения содержали информацию об отсутствии или наличии признаков вирусной пневмонии, степени распространения, ассоциированной со степенью тяжести, а также в большинстве случаев вероятности вирусной пневмонии. В условиях соблюдения указанных параметров для оценки инструменту достаточно текста заключения и словаря на основании вариаций написания степени поражения. Кроме того, описательные части протоколов в подавляющем большинстве имеют общие черты и единую терминологию.

Несмотря на общие черты большинства протоколов, существует небольшое количество вариаций написания заключения, связанных с разнообразными вариантами построения, использования терминологии, орфографическими, пунктуационными, лексическими особенностями языка врача, а также личным опытом работы с КТ-исследованиями. Иногда возникают диагностические неточности, связанные с особенностями КТ-картины вирусной пневмонии. В ситуациях, когда изменения по типу матового стекла, ретикулярной исчерченности и т.д. в представлении описывающего врача могут соответствовать другим заболеваниям, или существует другая сопутствующая патология, протокол и в особенности заключение могут содержать нетипичные по построению и терминологии предложения. В перечисленных ситуациях возможно наличие неопределённости в срабатывании инструмента, что позволяет сконцентрировать внимание на таких исследованиях и провести целенаправленный аудит, выявить неточности использования терминологии, а также использовать в клинических целях для определения сопутствующих заболеваний, требующих особенного внимания и нуждающихся в дальнейшем наблюдении. Следует отметить, что в разных регионах и лечебных учреждениях возможно использование различных классификаций и протоколов описания вирусной пневмонии.

Словарь для поиска признаков рака лёгкого

Более сложной оказалась задача по разработке ключевых слов и «стоп»-слов для поиска признаков рака лёгкого по данным протоколов КТ и НДКТ ОГК, что стало причиной меньшей точности алгоритма. Для протоколов НДКТ существует классификация Lung-RADS, использование которой могло бы максимально упростить задачу поиска подозрительных узлов [11]. Однако поиск категорий Lung-RADS в работе с исследованиями г. Москвы не позволяет оценить имеющиеся протоколы в полном масштабе, так как не все протоколы содержат такую категорию в заключении; кроме того, в 8,3% протоколов содержатся расхождения между описательной частью и заключением [12].

Разработка словаря для поиска признаков узелков и новообразований лёгких различного характера по-прежнему является актуальной задачей, сопряжённой с рядом сложностей и ограничений. Протоколы КТ и НДКТ ОГК, несмотря на наличие шаблонов и методических рекомендаций по описанию, имеют достаточно разнообразные варианты структуры, последовательности. Многие врачи-рентгенологи не используют традиционную рекомендуемую терминологию (например, узелки 4 мм обозначены термином «образование»), что приводит к неправомерному использованию терминов [13].

С учётом существующих рекомендаций и желательной терминологии для поиска подозрительных изменений были приняты ключевые слова, соответствующие солидным узлам/очагам лёгких от 6 мм, а также образованиям (изменения размером более 3 см) [10–12]. Эти критерии имеют ряд ограничений, что может привести к ложноположительным или ложноотрицательным срабатываниям алгоритма. Так, например, при выполнении КТ ОГК случайно найденные солидные узлы лёгких рекомендуется оценивать с использованием рекомендаций Флейшнеровского сообщества (Fleischner), однако для их применения необходимы оценка паспортных данных, клинической информации, оценка факторов риска, наличия других заболеваний, в том числе неопластического характера [14].

При использовании критерия размера и основного набора ключевых слов невозможно полностью исключить доброкачественные изменения. Например, для исключения доброкачественных узлов с кальцификацией в структуре необходимо учитывать характер её распределения, зачастую не указанный в протоколах. В то же время кальцинаты могут быть описаны в структуре злокачественных новообразований. Крупные очаги могут быть описаны врачом в рамках других заболеваний, например туберкулёза, саркоидоза, бронхиолитов различной этиологии.

Для выполнения задачи по сопоставлению данных протокола и результата обработки сервисом искусственного интеллекта существующих возможностей разработанного алгоритма достаточно. Дальнейшее улучшение инструмента с повышением его точности позволит не только использовать его в других регионах, но и поможет создать полезный инструмент для других задач.

С доработкой инструмента возможно создание более точного алгоритма, учитывающего необходимые факторы риска (наличие иммунодефицита, воспалительных процессов из паспортной части протокола, клинической информации, направительного диагноза и т.д.). Особенно важным данное усовершенствование может стать в оценке узелков лёгких у онкологических больных. Информацию о наличии онкологического заболевания можно получить из описательной части протокола, а также в электронной истории болезни. Оценка динамики изменения размера узелков с помощью инструмента и сопоставление с данными рекомендаций по ведению лёгочных узелков также могли бы стать перспективным направлением усовершенствования инструмента для соответствия его функциональных возможностей совершенствующимся моделям компьютерного зрения.

Отдельная группа ограничений, особенно актуальная в группе КТ ОГК, связана с широким и сложно охватываемым списком «стоп»-слов. Это связанно с особенностями исследования: в зону сканирования попадают органы брюшной полости, шеи, а также другие органы грудной клетки. Для большинства органов (например, щитовидной железы, печени, почек, надпочечников и т.д.) такие «стоп»-слова включают название самих органов. Однако такие анатомические структуры грудной клетки, как средостение, перикард, рёбра и грудные позвонки, мягкие ткани грудной стенки, диафрагма, не могут быть использованы как самостоятельные «стоп»-слова, так как нередки случаи, когда злокачественные новообразования лёгких обладают инвазивным ростом и поражают прилежащие ткани, что описывается врачом в совокупности («образование, распространяющееся в средостение»). В то же время часто встречаются различные самостоятельные новообразования перечисленных органов и анатомических структур, что приводит к большому количеству ложноположительных срабатываний алгоритма.

Словарь ключевых слов для рентгенографии и флюорографии органов грудной клетки

Сложной областью для разработки и применения инструмента анализа текстов проколов оказались рентгенография и флюорография ОГК. Протоколы рентгенографии и флюорографии имеют множество вариаций формы, структуры, размера, используемых характеристик, при этом значительно варьирует терминология [15, 16].

Разработанный словарь ключевых слов для рентгенографии и флюорографии ОГК помимо общепринятых обозначений патологии включал специфические рентгенологические термины, например «затемнение», «фокус», «тень». Это сопряжено с рядом трудностей, так как такие термины могут использоваться для нецелевой патологии или обозначения анатомических структур («тень ребра»), дополнительных медицинских приспособлений («тень электрокардиостимулятора», «тень дренажной трубки»).

Определение патологии по бинарной классификации (норма/патология) с условием перечисленных затруднений возможно с достаточно высокой точностью, однако при необходимости разделения патологии на многочисленные классы (например, выпот, пневмоторакс, ателектаз, очаг и т.д.) существуют проблемы классификации находок по группам даже для самих врачей-рентгенологов, что связано и с ограниченными возможностями рентгеновского метода. Кроме того, одни и те же ключевые слова используются для обозначения совершенно разных рентгенологических находок.

В процессе разработки «стоп»-слов были учтены многочисленные варианты написания нормы с использованием различных лексических и синтаксических вариантов отрицания («в лёгких без затемнений», «без патологических тенеобразований в лёгких» и т.д.). С поступлением новых данных необходимо постоянное расширение словаря. В настоящий момент полученные показатели точности для данного типа исследований позволяют решать основную задачу сопоставления результатов моделей искусственного интеллекта и врача.

ЗАКЛЮЧЕНИЕ

С высокой точностью машинные методы могут быть использованы для автоматической классификации текстов рентгенологических протоколов маммографии и КТ ОГК для поиска вирусной пневмонии, что связано со структурированностью и наличием стандартизации описаний для данных исследований.

Для поиска признаков рака лёгкого в протоколах исследований КТ и НДКТ ОГК и патологических изменений в протоколах рентгенографии и флюорографии ОГК достигнутой точности достаточно для успешного применения в целях автоматизированного сравнения работы врачей и моделей искусственного интеллекта в отделениях лучевой диагностики. Меньшая точность обусловлена более свободной структурой протоколов, их диагностическими, лексическими и терминологическими особенностями.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

×

Об авторах

Дарья Юрьевна Кокина

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: d.kokina@npcmr.ru
ORCID iD: 0000-0002-1141-8395
SPIN-код: 9883-4656
Россия, Москва

Виктор Александрович Гомболевский

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: g_victor@mail.ru
ORCID iD: 0000-0003-1816-1315
SPIN-код: 6810-3279

к.м.н.

Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: k.arzamasov@npcmr.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

к.м.н.

Россия, Москва

Анна Евгеньевна Андрейченко

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: a.andreychenko@npcmr.ru
ORCID iD: 0000-0001-6359-0763
SPIN-код: 6625-4186

канд. физ.-мат. наук

Россия, Москва

Сергей Павлович Морозов

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: spmoroz@gmail.com
ORCID iD: 0000-0001-6545-6170
SPIN-код: 8542-1720

д.м.н., профессор

Россия, Москва

Список литературы

  1. Sorin V., Barash Y., Konen E., Klang E. Deep learning for natural language processing in radiology: Fundamentals and a systematic review // J Am College Radiol. 2020. Vol. 17, N 5. P. 639–648. doi: 10.1016/j.jacr.2019.12.026
  2. Monshi M.M., Poon J., Chung V. Deep learning in generating radiology reports: A survey // Artif Intell Med. 2020. N 106. P. 101878. doi: 10.1016/j.artmed.2020.101878
  3. Banerjee I., Chen M.C., Lungren M.P., Rubin D.L. Radiology report annotation using intelligent word embeddings: Applied to multi-institutional chest CT cohort // J Biomed Inform. 2018. N 77. P. 11–20. doi: 10.1016/j.jbi.2017.11.012
  4. Kivotova E., Maksudov B., Kuleev R., Ibragimov B. Extracting clinical information from chest x-ray reports: A case study for Russian language // Conference: International Conference Nonlinearity, Information and Robotics (NIR)At: Innopolis, Russia, 2020. Р. 1–6. doi: 10.1109/NIR50484.2020.9290235
  5. Lee C., Kim Y., Kim Y.S., Jang J. Automatic disease annotation from radiology reports using artificial intelligence implemented by a recurrent neural network // Am J Roentgenol. 2019. Vol. 212, N 4. Р. 734–740. doi: 10.2214/AJR.18.19869
  6. Yuan J., Zhu H., Tahmasebi A. Classification of pulmonary nodular findings based on characterization of change using radiology reports // AMIA Jt Summits Transl Sci Proc. 2019. Vol. 2019. P. 285–294.
  7. Морозов С.П., Проценко Д.Н., Сметанина С.В., и др. Лучевая диагностика коронавирусной болезни (COVID-19): организация, методология, интерпретация результатов: препринт № ЦДТ 2020-II. Версия 2. Москва, 2020. 78 с.
  8. Профилактика, диагностика и лечение новой коронавирусной инфекции 2019-nCoV. Временные методические рекомендации Министерства здравоохранения Российской Федерации // Пульмонология. 2019. Т. 29, № 6. С. 655–672. doi: 10.18093/0869-0189-2019-29-6-655-672
  9. D’Orsi C.J., Sickles E.A., Mendelson E.B., et al. ACR BI-RADS atlas, breast imaging reporting and data system. Reston, VA, American College of Radiology; 2013.
  10. Caliskan D., Zierk J., Kraska D., et al. First steps to evaluate an NLP tool’s medication extraction accuracy from discharge letters // Stud Health Technol Inform. 2021. N 278. P. 224–230. doi: 10.3233/SHTI210073
  11. American College of Radiology Committee on Lung-RADS. Lung-RADS Assessment Categories version 1.1. Режим доступа: https:// www.acr.org/-/media/ACR/Files/RADS/Lung-RADS/LungRADSAssessmentCategoriesv1-1.pdf. Дата обращения: 01.01.2020.
  12. Морозов С.П., Владзимирский А.В., Гомболевский В.А., и др. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований // Вестник рентгенологии и радиологии. 2018. Т. 99, № 5. С. 253–258.
  13. Hansell D.M., Bankier A.A., MacMahon H., et al. Fleischner Society: glossary of terms for thoracic imaging // Radiology. 2008. Vol. 246, N 3. P. 697–722. doi: 10.1148/radiol.2462070712
  14. MacMahon H., Naidich D.P., Goo J.M., et al. Guidelines for management of incidental pulmonary nodules detected on CT images: from the fleischner society 2017 // Radiology. 2017. Vol. 284, N 1. P. 228–243. doi: 10.1148/radiol.2017161659
  15. Callister M.E., Baldwin D.R., Akram A.R., et al. British Thoracic Society Pulmonary Nodule Guideline Development Group; British Thoracic Society Standards of Care Committee. British Thoracic Society guidelines for the investigation and management of pulmonary nodules // Thorax. 2015. Vol. 70, Suppl 2. Р. ii1–ii54. doi: 10.1136/thoraxjnl-2015-207168
  16. Синицын В.Е., Комарова М.А., Мершина Е.А. Протокол рентгенологического описания: прошлое, настоящее, будущее // Вестник рентгенологии и радиологии. 2014. № 3. С. 35–40.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Эко-вектор, 2022

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.


Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах