Как искусственный интеллект влияет на оценку поражения лёгких при COVID-19 по данным КТ грудной клетки?

Полный текст

Список сокращений и аббревиатур

Датасет (англ. Data set) ― набор данных, коллекция логических записей

ЕРИС ― Единая радиологическая информационная система

ИИ-сервис ― программное обеспечение на основе искусственного интеллекта

КТ ― компьютерная томография

КТ 0–4 ― эмпирическая шкала для визуальной оценки зависимости тяжести общего состояния от характера и выраженности рентгенологических признаков изменений в лёгких при COVID-19 по данным компьютерной томографии, где КТ-0 ― отсутствие признаков вирусной пневмонии; КТ-1 ― лёгкая форма пневмонии с участками «матового стекла», выраженность патологических изменений менее 25%; КТ-2 ― умеренная пневмония, поражено 25–50% лёгких; КТ-3 ― среднетяжёлая пневмония, поражено 50–75% лёгких; КТ-4 ― тяжёлая форма пневмонии, поражено >75% лёгких

DICOM SR (DICOM ― Digital Imaging and Communications in Medicine; SR ― Structured Reporting) ― стандартизованный формат медицинского отраслевого стандарта создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов (структурированная отчётность)

ОБОСНОВАНИЕ

В 2020 году пандемия COVID-19 бросила вызов системам здравоохранения всего мира, что подтолкнуло правительства разных стран к поиску новых решений в условиях ограниченных ресурсов. 27 августа 2020 года правительственная комиссия по цифровому развитию РФ утвердила паспорт федерального проекта «Искусственный интеллект» в рамках национальной программы «Цифровая экономика». Независимо от этого, ещё в 2019 году было подготовлено Постановление Правительства Москвы, за которым в начале 2020 года вышел Приказ Департамента здравоохранения Москвы о проведении эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы (Эксперимент) [1].

В пандемию метод компьютерной томографии (КТ) используют в качестве ключевого инструмента для оценки изменений в лёгких, связанных с инфекцией [2]. В первые месяцы пандемии COVID-19 с незначительной частотой в рутинной клинической работе для оценки выраженности изменений применяли преимущественно полуколичественные шкалы [3–7]. Работа со шкалами, в основу которых были заложены результаты исследований вирусной пневмонии SARS, предполагает отдельный расчёт объёма и вида поражений для долей и сегментов лёгких с последующим суммированием результатов [8]. Была предложена визуальная оценка, основанная на определении примерного объёма уплотнённой лёгочной ткани в обоих лёгких без отдельных расчётов для сегментов и долей [9].

Рентгенологи Москвы использовали адаптированную шкалу КТ 0–4 для визуальной оценки зависимости тяжести общего состояния от характера и выраженности рентгенологических признаков изменений в лёгких при COVID-19 по данным КТ. Процент поражения оценивался отдельно по каждому лёгкому, степень изменений ― по лёгкому с наибольшим поражением (вне зависимости от наличия постоперационных изменений). Каждые 25% объёма поражений лёгкого повышают шкалу на одну категорию [10, 11]. Валидация предложенной методики визуальной оценки КТ 0–4 проведена путём прогнозирования летальных исходов у больных СOVID-19 [12]. При переходе из одной категории КТ 0–4 в следующую риск смерти увеличивается в среднем на 38% (95% доверительный интервал 17,1–62,6) [12].

В большом потоке исследований врач может пропускать находки и ошибаться в оценке объёма поражения лёгких [13].

В Эксперимент была добавлена задача по обработке данных КТ органов грудной клетки для диагностики COVID-19 с помощью программного обеспечения на основе искусственного интеллекта (ИИ-сервисы). ИИ-сервисы добавляли КТ-серию с сегментацией поражений лёгких, информацию об объёме поражений для каждого лёгкого и категорию по шкале КТ 0–4.

ЦЕЛЬ ― сравнить распределение категорий КТ 0–4 в заключениях, сформированных рентгенологами с использованием ИИ-сервисов и без них.

МЕТОДЫ

Дизайн исследования

Эксперимент является ретроспективным исследованием, в его основе ― исследование, зарегистрированное в ClinicalTrials.gov (NCT04489992). Данные, проанализированные в ходе работы, были предоставлены экспертами Департамента информационных технологий города Москвы.

Критерии соответствия

Для формирования группы КТ-исследований были использованы критерии включения и исключения.

Критерии включения:

• КТ-исследования органов грудной клетки мужчин и женщин, обратившихся за медицинской помощью при подозрении на COVID-19;
• возраст пациентов старше 18 лет;
• КТ-исследования органов грудной клетки проведены и интерпретированы врачами-рентгенологами в период с 08.04.2020 по 01.12.2020 в амбулаторных медицинских организациях;
• наличие информации о категории оценки КТ 0–4 в протоколах медицинских заключений врачей-рентгенологов;
• формирование протоколов описания КТ проведено в Единой радиологической информационной системе (ЕРИС).

Критерии исключения:

• КТ-исследования, в заключении которых указаны прочие изменения, не связанные с вирусной пневмонией.

Условия проведения

КТ-исследования проводились во всех медицинских организациях, подведомственных Департаменту здравоохранения города Москвы, выполняющих амбулаторную помощь взрослому населению. Амбулаторные медицинские организации на время пандемии были трансформированы в амбулаторные КТ-центры, обеспечивающие специальный круглосуточный режим работы. С учётом эпидемиологической обстановки можно принять, что половозрастное распределение пациентов, которым было проведено КТ-исследование, соответствует такому же распределению в г. Москве.

Продолжительность исследования

Исследование проведено в период с 08.04.2020 по 01.12.2020. Дополнительно проведена оценка в ноябре 2020 года (с 01.11.2020 по 01.12.2020) (рис. 1).

 

Рис. 1. Хронология использования ИИ-сервисов для диагностики COVID-19 по данным компьютерной томографии органов грудной клетки (КТ ОГК).

Описание медицинского вмешательства

За весь рассматриваемый период и отдельно за ноябрь 2020 года были сформированы тестовая и контрольная группы сравнения (рис. 2). В тестовую группу включены КТ, обработанные ИИ-сервисами, в контрольную ― без обработки ИИ.

 

Рис. 2. Примеры оригинальных (контрольная группа) и дополнительных КТ-серий от различных ИИ-сервисов (тестовая группа с подгруппами) с демонстрацией автоматической обработки изображений для сегментации поражений лёгких при COVID-19, а также суммарной информацией о поражении лёгких и информацией DICOM SR.

 

Перед включением ИИ-сервиса в Эксперимент каждый алгоритм проходил тестирование на специально подготовленном калибровочном датасете. Калибровочный датасет включал КТ-исследования пациентов с лабораторно верифицированным COVID-19 и оценкой врачей-экспертов. Критерием включения в ЕРИС ИИ-сервиса являлась точность алгоритма не ниже площади под ROC-кривой (ROC AUC) 0,81, согласно методическим рекомендациям по клиническим испытаниям программного обеспечения на основе интеллектуальных технологий [14].

Каждый ИИ-сервис добавлял в исследование новую серию КТ, обработанную алгоритмами ИИ, и информацию в формате DICOM SR. Дополнительная серия КТ основана на оригинальной серии КТ текущего исследования с добавлением к оригинальному изображению сегментации поражений лёгких, которые, по предположению ИИ, вызваны COVID-19. Разработчикам ИИ, участвующим в Эксперименте, было рекомендовано дополнять серию КТ, присланную ИИ-сервисом, суммарной информацией о поражении лёгких и оценкой по шкале КТ 0–4. В данных DICOM SR, доступных каждому рентгенологу в тестовой группе во время формирования заключения, содержались информация о конкретном ИИ-сервисе, инструкция по пользованию результатами обработки и автоматически сформированное заключение, включающее оценку степени тяжести согласно шкале КТ 0–4 (см. рис. 2).

КТ-исследования проводились на 48 компьютерных томографах (Toshiba Aquilion 64, Canon Medical Systems, Япония; HiSpeed GE, США; Optima CT 660, GE, США; Somatom Emotion 16, Siemens, Германия; Somatom Sensation 40, Siemens, Германия) по стандартным протоколам сканирования органов грудной клетки, рекомендуемым производителями.

Сравнение проводилось между категориями по шкале КТ 0–4 из заключений врачей-рентгенологов, имеющих доступ к результатам ИИ-сервиса и не имеющих такого доступа.

Основной исход исследования

ИИ-сервисы включились в Эксперимент после прохождения качественных и количественных тестирований на подготовленных экспертами ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (НПКЦ ДиТ ДЗМ) базах данных. С момента включения пяти ИИ-сервисов исследования распределялись рандомно с учётом вычислительных возможностей разработчиков. Одно исследование могло быть обработано несколькими ИИ-сервисами. ИИ-результаты использовались только для исследовательских целей, а финальное решение о категории по шкале КТ 0–4 принимал рентгенолог.

Анализ в подгруппах

В тестовой группе были сформированы подгруппы, так как в Эксперименте участвовали разные ИИ-сервисы для диагностики изменений в лёгких при COVID-19 по данным КТ.

В Эксперименте участвовали 7 разных ИИ-сервисов для диагностики COVID-19: RADlogics COVID-19 (RADLogics, США); COVID-IRA (IRA labs, Россия); Care Mentor AI, COVID (CareMertor AI, Россия); Третье Мнение. КТ-COVID-19 (Третье мнение, Россия); Multivox COVID19 (Гаммамед, Россия); IRYM (Россия); CVL (СиВижнЛаб, Россия), однако последние два не вошли в тестовые подгруппы в связи с небольшим количеством обработанных исследований за весь период исследования. Остальные 5 ИИ-сервисов были кодированы случайным образом: ИИ-A, ИИ-B, ИИ-C, ИИ-D, ИИ-E (см. рис. 2).

Оценка данных проводилась на основе заключений рентгенологов, сформированных в ЕРИС.

Этическая экспертиза

Получено одобрение Независимого этического комитета Московского регионального отделения Российского общества рентгенологов и радиологов, протокол №2 (1-II-2020) от 20.02.2020.

Статистический анализ

Принципы расчёта размера выборки: в статистический анализ были включены все имеющие валидные данные. Методы восстановления отсутствующих данных не применялись.

Методы статистического анализа данных: для представления результатов были использованы методы описательной статистики с указанием абсолютного числа (n) и доли (%) наблюдений в каждой категории. Межгрупповое сравнение распределения частоты в разных категориях между контрольной группой и тестовыми подгруппами внутри каждого из 2 периодов было проведено с помощью критерия согласия Пирсона (χ2). Уровнем статистической значимости считалось значение 0,05. Статистический анализ был проведён с помощью программы Stata 14.

РЕЗУЛЬТАТЫ

Объекты (участники) исследования

За весь период проанализированы результаты первичных КТ-исследований 260 594 человек (соотношение мужчин/женщин ― 44/56%, возраст от 18 до 100 лет, средний возраст 49,5 года, выполненных и интерпретированных в период с 08.04.2020 по 01.12.2020 в амбулаторных медицинских организациях Москвы, перепрофилированных на время пандемии в амбулаторные КТ-центры.

Основные результаты исследования

В тестовую группу было включено 115 618 КТ-исследований (44,4% общей выборки), в контрольную ― 144 976 (55,6%). Соотношение исследований в контрольной и тестовой группе было однородным. Распределение по подгруппам в тестовой группе: ИИ-А ― 98 953 исследований (37,9% общей выборки), ИИ-В ― 44 194 (17%), ИИ-С ― 24 067 (9,2%), ИИ-D ― 22 679 (8,7%), ИИ-E ― 10 645 (4,1%).

Для разных подгрупп с ИИ-сервисами выставлено от 2,3 до 18,5% меньше категорий КТ-0 (поражений COVID-19 не выявлено), чем в контрольной группе. Для разных подгрупп с ИИ-сервисами выставлено от 4,7 до 27,6% меньше категорий КТ 3–4, чем в контрольной группе. Для разных подгрупп с ИИ-сервисами выставлено от 40 до 60% меньше категорий КТ-4, чем без ИИ (рис. 3; p <0,0001).

 

Рис. 3. Результаты сравнения первичных КТ органов грудной клетки, выполненных в амбулаторных КТ-центрах, по степени тяжести категорий КТ 0–4 между контрольной группой и тестовыми подгруппами за весь период (08.04–01.12.2020). n=260 594; p <0,0001.

 

За ноябрь 2020 года проанализированы результаты первичных КТ-исследований 41 386 человек (соотношение мужчин/женщин ― 44/56%, возраст от 18 до 100 лет, в среднем 53,2 года), выполненных и интерпретированных в период с 01.11.2020 по 01.12.2020 в амбулаторных медицинских организациях Москвы, перепрофилированных на время пандемии в амбулаторные КТ-центры.

В тестовую группу было включено 28 881 КТ-исследование (69,8% общей выборки за ноябрь), в контрольную ― 12 505 (30,2%). Распределение по подгруппам в тестовой группе: ИИ-A ― 12 266 исследований (29,6% общей выборки за ноябрь), ИИ-B ― 11 922 (28,8%), ИИ-C ― 9785 (23,6%), ИИ-D ― 9942 (24%), ИИ-E ― 8602 (20,8%).

Для разных подгрупп с ИИ-сервисами выставлено от 1 до 2,6% меньше категорий КТ-0 (поражений COVID-19 не выявлено), чем в контрольной группе. Для разных подгрупп с ИИ-сервисами выставлено от 0,2 до 15,7% больше категорий КТ 3–4, чем без ИИ. Для разных подгрупп с ИИ-сервисами выставлено на 25% меньше категорий КТ-4, чем без ИИ (рис. 4; p=0,0010).

 

Рис. 4. Результаты сравнения первичных КТ органов грудной клетки, выполненных в амбулаторных КТ-центрах, по степени тяжести категорий КТ 0–4 между контрольной группой и тестовыми подгруппами за ноябрь 2020 г. n=41 386; p=0,0010.

 

Для периода «Ноябрь 2020» статистически значимые отличия были выявлены только для КТ-0, по остальным категориям отличий не было. Но даже для КТ-0 они минимальны ― 18,6 против 17,0%. По общему периоду наблюдения, напротив, все категории статистически значимо отличаются между данными «без ИИ» и «суммарно по всем ИИ». Критическое значение χ2 равно 4. Для суммарного периода все категории КТ 0–4 вносят значительный вклад в различия. Минимальное значение χ2 равно 26,2 для КТ-3 (p <0,0001).

ОБСУЖДЕНИЕ

Резюме основного результата исследования

В результатах исследования выявлено изменение между категориями по шкале КТ 0–4, сформированными рентгенологами при наличии результатов обработки ИИ-сервисами, и категориями, сформированными без использования ИИ-сервисов.

Обсуждение основного результата исследования

В целом, до пандемии COVID-19 ИИ-сервисы использовались при выявлении рентгенологических симптомов для обнаружения заболеваний, классификации, оптимизации изображений, снижения дозы лучевой нагрузки и улучшения рабочего процесса [15].

Медицинские исследования делают приложения ИИ более понятными, безопасными, эффективными и интегрированными в рабочие процессы врачей [16]. Важно понимать, что валидация алгоритма ИИ должна включать не только ретроспективный анализ точности по сравнению с золотым стандартом, но и рандомизированное клиническое исследование для оценки влияния ИИ на принятие решений медицинскими работниками [17]. Например, в рандомизированном клиническом исследовании HYPE показан эффект системы ранней диагностики интраоперационной гипотензии на основе машинного обучения: в группе интервенции медианное время гипотензии составило 8,0 мин против 32,7 в контрольной группе (p <0,001), число летальных исходов в группе интервенции составило 0 против 2 в контрольной группе [18]. В другом крупном исследовании с применением ИИ для анализа рентгенографий органов грудной клетки при COVID-19 20% опрошенных врачей сообщили, что алгоритм повлиял на принятие клинических решений [19].

В доступной литературе не обнаружено подобных исследований, оценивающих влияние результатов ИИ на принятие окончательного решения рентгенологами во время диагностики изменений в лёгких при подозрении на COVID-19 по данным КТ грудной клетки.

Перед ИИ для COVID-19 стоят две задачи ― выявление и классификация. Задача выявления определяется разницей между КТ-0 и всеми остальными категориями. Задача классификации заключается в выявлении отличий между разными категориями КТ (КТ1–КТ4), т.е. разными объёмами поражения лёгочной паренхимы.

Первой находкой является разница удельного веса категории КТ-0 между всеми подгруппами. В случае с ИИ-сервисом А врачу-рентгенологу демонстрировалась только часть срезов с наличием изменений, характерных для COVID-19, тогда как все остальные ИИ-сервисы имели такое же количество срезов, как и в оригинальной серии КТ. Мнения врачей без ИИ-A близки к контрольной группе.

Второй находкой является разница удельного веса категорий КТ 3–4 между всеми подгруппами. Вероятно, при большом количестве поражений лёгких эмпирический глазомер рентгенолога может преувеличивать объём поражения. Такая гипердиагностика компенсируется, когда рентгенолог проконтролирует сегментацию повреждений лёгких, выполненную с помощью ИИ. Благодаря этому повышается степень доверия к автоматическому расчёту объёма и категории по шкале «КТ 0–4». Поскольку в качестве обоснования госпитализации использовался порог поражения лёгкого >50% (категории КT 3–4), в сочетании с клинико-лабораторными данными это может уменьшать количество госпитализаций.

На основании публикаций С.П. Морозова и соавт. по прогнозированию летальных исходов при COVID-19 по данным КТ органов грудной клетки, при переходе из одной категории КТ в следующую риск увеличивался в среднем на 38% (95% доверительный интервал 17,1–62,6), а в дополнительном исследовании среди пациентов с лабораторно верифицированным COVID-19 риск смерти с категорией КТ-4 был выше в 3 раза, чем при КТ-0 [12, 20]. В нашем исследовании продемонстрировано, что категорий КТ-4 в тестовой подгруппе меньше, чем в контрольной. В предыдущих исследованиях показано, что оценка степени поражения лёгких, соответствующая КТ-4, связана с летальными исходами при COVID-19 больше, чем все остальные категории (КТ 0–3) [12, 20]. Именно поэтому изменение количества пациентов с категориями КТ-4 имеет важное значение для формирования калькуляторов рисков летальных исходов для пациентов с COVID-19.

Из-за пандемии одновременный запуск всех ИИ-сервисов был признан ограничивающим потенциальную пользу от применения ИИ, так как пришлось бы ожидать всех разработчиков для участия в Эксперименте, поэтому на протяжении 2020 года наблюдается неравномерность присоединения к Эксперименту разных ИИ-сервисов. Для получения дополнительных результатов был проведён анализ за ноябрь, где количество КТ-исследований в контрольной группе и каждой тестовой подгруппе сопоставимо между собой.

Выявленная разница между результатами первого и второго периодов, по мнению авторов, связана с несколькими факторами:

1) разное количество ИИ-сервисов;

2) технический фактор: до 2020 года ИИ-сервисы, участвующие в Эксперименте, не имели возможности обучать свои алгоритмы для оценки и диагностики поражения лёгких для диагностики COVID-19, поэтому в процессе Эксперимента была признана оправданной возможность изменения версионности программного обеспечения на основе ИИ в целях повышения качества работы алгоритмов и потенциально большей пользы;

3) человеческий фактор: до 2020 года врачи не использовали оценку КТ грудной клетки по шкале «КТ 0–4», которая представляет определённую сложность с точки зрения оценки объёма множественных поражений в лёгких. Следует отметить, что врачи могли самостоятельно повышать свои навыки по оценке объёма поражений лёгких при COVID-19, так как оценивали значительное количество КТ-исследований в период пандемии. Кроме этого, врачи могли набираться опыта, проверяя разметку, выполненную ИИ-сервисом, что могло привести к улучшению навыка в более правильной оценке объёма поражений.

В ЕРИС врач-рентгенолог имеет возможность оставить отзыв о работе ИИ-сервиса в специальном поле для обратной связи. Перспективой исследования является сравнение распределения категорий по шкале КТ 0–4 у врачей-рентгенологов, не встречающихся с ИИ-сервисами на протяжении пандемии и пользующихся результатами ИИ-сервисов на основе их обратной связи.

Ограничения исследования

Наше исследование имеет ряд ограничений. Не вошли в него пациенты с положительными результатами теста полимеразной цепной реакции для верификации COVID-19, так как результаты этих исследований получены после проведения КТ. Исследование не было рандомизированным. Не проводилась оценка степени согласия рентгенологов с результатами ИИ-сервисов. В тестовой группе часть КТ анализировались несколькими ИИ-сервисами. ИИ-сервисы не имели регистрации как медицинские изделия. В течение пандемии ИИ-сервисы менялись с повышением качества обработки КТ, и этот факт дополнительно не оценивался в данном исследовании. Не учитывалась адаптация рентгенологов к использованию шкалы «КТ 0–4».

В ЕРИС, где врачи формировали медицинские заключения, было встроено специальное поле для обратной связи по вопросам работы ИИ-сервисов. Однако на момент формирования публикации проводится обработка результатов обратной связи от врачей, что не позволяет представить её в текущем исследовании.

ЗАКЛЮЧЕНИЕ

Результаты показывают, что применение ИИ-сервисов для первичных КТ органов грудной клетки в амбулаторных условиях приводит к уменьшению количества категорий КТ-0 и КТ 3–4, что способно влиять на тактику ведения пациентов при COVID-19.

Необходимо дополнительное исследование, которое позволит оценить, насколько снижение выбора вышеперечисленных категорий целесообразно для ведения пациентов, как изменение маршрутизации в дальнейшем влияет на показатели выздоровления и смертности.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Исследование и публикация статьи осуществлены на личные средства авторского коллектива.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Участие авторов. Авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: С.П. Морозов ― концепция исследования; В.Ю. Чернина ― поиск публикаций по теме статьи, написание текста рукописи; А.Е. Андрейченко ― формирование набора данных, редактирование текста рукописи; А.В. Владзимирский ― редактирование текста рукописи; О.А. Мокиенко ― экспертная оценка информации, редактирование текста рукописи; В.А. Гомболевский ― концепция исследования, экспертная оценка информации, написание текста рукописи, утверждение финальной версии рукописи.

Благодарности. Авторы выражают глубокую признательность коллективам отделений лучевой диагностики медицинских организаций Департамента здравоохранения Москвы. Авторы благодарят за сплоченную работу коллективов Департамента информационных технологий города Москвы и ООО «Лаваль», обеспечивающих внедрение искусственного интеллекта в практическое здравоохранение на уровне крупного мегаполиса. Кроме этого, авторы отдельно благодарят разработчиков компании Binomics ray, RADLogics, IRA labs, CareMentor AI, Третье мнение, Гаммамед. Каждый из участников процесса приложил важные усилия к исследованию в непростой период эпидемии. Авторы отдельно благодарят О.В. Омелянскую, Е.Г. Бахтееву, И.А. Виноградову, С.О. Ермолаева, Л.Г. Родионову, К.В. Хрипунову, К.М. Арзамасова, Н.А. Павлова, С.Ф. Четверикова, И.А. Блохина за административно-организационную, педагогическую и тестовую работу при подготовке и реализации Эксперимента; отдельная благодарность В.Г. Кляшторному за статистический анализ.

Funding source. The study had no sponsorship.

Competing interests. The authors declare that they have no competing interests.

Authors contribution. The authors confirm that they meet the ICMJE international criteria for authorship (all authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work). The largest contributions are distributed as follows: S.P. Morozov — research concept; V.Yu. Chernina — search for publications on the topic of the article, writing the text of the manuscript; A.E. Andreychenko — data set formation, editing the manuscript text; A.V. Vladzymyrskyy — editing the manuscript text; O.A. Mokienko — expert information evaluation, editing the manuscript text; V.A. Gombolevskiy — research concept, expert information evaluation, writing the manuscript text, approval of the final manuscript version.

Acknowledgements: The authors would like to express their gratitude to the teams of radiology departments of medical organizations of the Department of Healthcare of Moscow. The authors would like to thank the teams of the Department of Information Technology of the City of Moscow and Laval LLC for their concerted efforts in implementing artificial intelligence in practical healthcare at the level of a large metropolitan city. In addition, the authors thank separately the developers of Binomics ray, RADLogics, IRA labs, CareMentor AI, Third Opinion and Gammamed. Each of the contributors made important research efforts during a difficult time of the epidemic. The authors thank separately O.V. Omelyanskaya, E.G. Bakhteeva, I.A. Vinogradova, S.O. Ermolaev, L.G. Rodionova, K.V. Khripunova, K.M. Arzamasov, N.A. Pavlov, S.F. Chetverikov, I.A. Blokhin, for administrative, pedagogical, and test work in preparing and implementing the Experiment; special thanks to V.G. Klyashtorny for statistical analysis.

Об авторах

Сергей Павлович Морозов

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: morozov@npcmr.ru
ORCID iD: 0000-0001-6545-6170
SPIN-код: 8542-1720
Scopus Author ID: 57200964938
ResearcherId: T-9163-2017

д.м.н., профессор

Россия, Москва

Валерия Юрьевна Чернина

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: v.chernina@npcmr.ru
ORCID iD: 0000-0002-0302-293X
SPIN-код: 8896-8051
Scopus Author ID: 57210638679
ResearcherId: AAF-1215-2020

MD

Россия, Москва

Анна Евгеньевна Андрейченко

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: a.andreychenko@npcmr.ru
ORCID iD: 0000-0001-6359-0763
SPIN-код: 6625-4186
Scopus Author ID: 42960997200
ResearcherId: E-4930-2017

к.ф.-м.н.

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120
Scopus Author ID: 8944262100
ResearcherId: D-1447-2017

д.м.н.

Россия, Москва

Олеся Александровна Мокиенко

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: Lesya.md@yandex.ru
ORCID iD: 0000-0002-7826-5135
SPIN-код: 8088-9921
Scopus Author ID: 55155448000
ResearcherId: J-3210-2016

к.м.н.

Россия, Москва

Виктор Александрович Гомболевский

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Автор, ответственный за переписку.
Email: v.gombolevskiy@npcmr.ru
ORCID iD: 0000-0003-1816-1315
SPIN-код: 6810-3279
Scopus Author ID: 57196441765
ResearcherId: J-3389-2017
https://www.scopus.com/authid/detail.uri?authorId=57204359134

к.м.н., руководитель отдела научных медицинских исследований

Россия, Москва

Список литературы

Дополнительные файлы