Systematic review of artificial intelligence solutions in laboratory medicine: efficiency, application scenarios, and practical experience

Full Text

введение

Лабораторная медицина – крайне нагруженная непрерывным потоком анализов и данных область. Классические стандартные протоколы лабораторной медицины требуют от медицинских работников больших затрат времени и постоянной концентрации внимания [1, 2]. Именно в этой области остро стоит вопрос автоматизации процессов для снятия с медицинских работников нагрузки, связанной с рутинными процедурами, и переадресации их внимания и усилий на более сложные, специализированные задачи [3].

Методы искусственного интеллекта (ИИ), быстро развивающиеся в последнее десятилетие, имеют потенциал стать удачным решением в автоматизации рутинных процессов лабораторной медицины.

Целью нашей работы является провести систематический обзор уже существующих решений ИИ в области лабораторной медицины, оценить эффективность этих решений и глубину их внедрения в реальные лабораторные процессы, а также выявить возможные проблемы, препятствующие решению практических задач с помощью ИИ.

Для этого решали следующие задачи:

1) очертить область применения ИИ в лабораторной медицине и составить базовые характеристики работ;

2) оценить диапазоны диагностической точности ИИ, сопоставить их с аналогичными критериями диагностической точности врачей, а также оценить число и эффективность доказанных случаев практического внедрения ИИ;

3) составить обобщенную оценку качества методологии работ по применению ИИ в области лабораторной медицины.

материал и методы

Стратегия поиска

Поиск исследовательских работ осуществлялся в двух базах данных научной литературы [4], на сайтах производителей программ на базе ИИ для лабораторной медицины, также использовали т.н. «snowballing» - поиск исследовательских работ в списках литературы исследований и обзорах литературы:

1. База научной литературы PubMed. Временной интервал: 2019 год – 1 июня 2024 года. Поисковый запрос выглядел следующим образом:

((((((((((((artificial intelligence) OR (deep learning)) OR (machine learning) OR (computer vision)) AND (clinical laboratory)) OR (laboratory medicine)) OR (clinical deployment)) AND (pathomorphology)) OR (digital pathology))) AND (computer-aided diagnosis)) OR (diagnostics)) AND (pathological image analysis)) NOT (radiomics).

В разделе фильтров были выбраны следующие опции:

 - для «Text availability»: Abstract, Full text, с целью отбора статей с доступным полным текстом;

- для «Article attribute»: Associated data, с целью отбора статей, которые содержат ссылки на ассоциированные клинические исследования либо наборы данных, подтверждающие достоверность полученных результатов;

- для «Article type»: Clinical Trial, Randomized Controlled Trial, с целью отбора наиболее убедительных доказательств.

2. База научной литературы Mendeley. Временной интервал: 2019 – 2024 гг. Ключевые слова: «artificial intelligence laboratory medicine».

3. Для поиска исследовательских работ с доказанным практическим применением ИИ в лабораторной практике изучены сайты производителей, в частности разделы с научной литературой по использованию выпускаемого оборудования:

Visiopharm https://visiopharm.com/

CyPath Lung https://www.cypathlung.com/

EasyCell https://www.easycell.co/

Copan https://www.copanusa.com/

Временной интервал: 2023 – 2024 гг. Отбирали только статьи с доказанным практическим внедрением ИИ в работу лаборатории.

4. Обзоры по лабораторной медицине 2023-2024 гг. 2 литературных обзора (отобранные из 12 найденных): [2, 5].

В анализ включали все публикации, имеющие как минимум английское резюме. Рассматривали статьи в рецензируемых научных журналах, препринты, статьи в конференционных сборниках.

Поисковая стратегия составила два этапа. Сначала проанализировали названия и резюме всех найденных по поисковым запросам работ, отобрали соответствующие нашим задачам исследования. На втором этапе проанализировали полные тексты и их доступность из отобранного пула работ и составили выборку для основного анализа обзора.

Отбор работ проводился одним экспертом. Затем, финальный список включенных работ оценивался двумя экспертами. В качестве экспертов выступали научные сотрудники с опытом работы в медицинской информатике более 10 лет.

Наш обзор включает исследования всех трех основных этапов лабораторной медицины: преаналитический, аналитический и постаналитический. Поскольку задачи и методы этих трех этапов различны, каждый из этих этапов в обзоре мы рассмотрим отдельно.

Извлечение информации и оценка качества статьи

Из полных текстов отобранных статей извлекали следующую информацию:

1) библиометрические данные - имя первого автора, название статьи, год выхода, DOI, название журнала, импакт-фактор журнала, страна, где выполнили исследование;

2) направление исследований и их основные характеристики (объем выборки, проспективное/ретроспективное исследование, одноцентровое/многоцентровое, наличие валидации на внешних данных, использованные лабораторные методы, использованный тип ИИ);

3) оценки качества статей в обзорах проведена по методике QUADAS-CAD [6], разработанной для исследований с использованием ИИ; 

4) значения диагностической точности ИИ (чувствительность, специфичность, ROC AUC, точность (accuracy), а также некоторые другие оценки, традиционные для лабораторной медицины). Рассчитали средние показатели диагностической точности с использованием всех работ, где они были обнаружены: медиану и 95% доверительный интервал. Также извлекали из работ сравнения диагностической точности ИИ с диагностической точностью врачей; информацию по числу врачей и уровню их квалификации; оценки времени работы ИИ (в том числе по сравнению с врачами), оценки экономической эффективности потенциального внедрения ИИ.

5) доказанные результаты внедрения ИИ.

Извлечение информации и оценка качества работ проводилась одним экспертом. Затем, результаты оценивались двумя экспертами с опытом работы в медицинской информатике более 10 лет.

Результаты

Поиск литературы и отбор работ

На первом этапе найдено 2036 ссылки (PubMed – 551, Mendeley – 1335, сайты – 17, литературные обзоры - 133).

Для второго этапа отобрано 58 ссылок, исключено 1978 ссылок (не имеют отношение к лабораторной медицине и компьютерному зрению, не имеют отношения к медицине человека, обзоры литературы, конференционные тезисы).

В основной анализ включили 24 (табл. 1) исследования, исключили 34 (табл. S1, основные причины исключения – отсутствие доступа к полному тексту, нет применения ИИ, техническая разработка метода без анализа медицинских данных).

Из включенных работ 1 относится к преаналитическому этапу, 20 – к аналитическому, 3 – к постаналитическому.

Базовые характеристики статей

Базовые характеристики статей представлены в табл. 1 и табл. S2.

Преаналитический этап

В найденной работе преаналитического лабораторного этапа [7] тестируются возможности искусственного интеллекта для выявления неправильной маркировки пробирки, т.е. для контроля качества, в сравнении с возможностями медицинского персонала лаборатории. Для такой проверки стандартно используют дельта-проверку (delta-check methods), т.е. сравнение последовательных во времени лабораторных результатов от одного и того же пациента и выявление ошибок при сильных расхождениях этих результатов. Рассматриваемое исследование выполнено ретроспективно, без внешней валидации, а также без тестирования в реальных условиях лаборатории. Ошибка маркировки симулировалась на 50% уровне. В исследовании задействовали 8 разных методов машинного обучения (табл. 2, табл. S3), обученных и протестированных авторами в среде R. Для сравнения использовали 50 медицинских работников с большой вариабельностью в уровне опыта (табл. S4). Примечательно, что не было обнаружено достоверной связи (p>0,1) между точностью контроля качества медицинских работников и их медицинским стажем. Все 8 алгоритмов (0,865-0,921) превзошли медицинский персонал (0,778) по уровню точности решения задачи выявления неправильной маркировки (табл. S4). Наиболее эффективным алгоритмом была нейронная сеть (0,921), наименее эффективным простое дерево решений (0,865).

Аналитический этап

Основной объем найденных по нашим запросам работ (20 исследований) выполнен для аналитического лабораторного этапа. Эти исследования выполнены в области цитологии, микробиологии, гистопатологии, паразитологии либо на пересечении этих областей.

В области цитологии задачи распределились следующим образом. Для диагностики опухолевых заболеваний [8, 9, 10] выполнено 3 исследования (1 - анализ крови, 1 – анализ мокроты, 1 – мазок костного мозга), еще шесть исследований [11, 12, 13, 14, 15, 16] посвящены диагностике гематологической патологии (5 – анализ крови, 1 – мазок костного мозга). Всего шесть исследований выполнено с использованием анализов крови, два исследования на основе анализа мазков костного мозга, одно – анализ мокроты.

В области микробиологии задачи работ распределились следующим образом. Одна работа посвящена оценке устойчивости кишечной палочки (Escherichia coli) к антибиотикам (19 видов антибиотиков) [17] (использованы общий анализ крови и общий анализ мочи), одна работа – детекции стрептококков (Streptococcus) группы A [18] (использован посев слизи из ротоглотки на агаре и на кровяном агаре), одна работа – сегрегации патоген-положительных и патоген-отрицательных посевов мочи по подсчету колоний без определения морфологии клеток [19] (использован посев мочи на кровяном агаре и МакКонкей агаре), две работы [20, 21] посвящены исследованию идентификации микобактерий в тканях человека с использованием окрашивания по Цилю-Нильсену, две работы [22, 23] – диагностике вагинитов с использованием вагинальных мазков.

В двух работах совместного использования цитологии и микробиологии [24, 25] анализировали осадок мочи для выявления потенциальных патогенов и диагностики инфекций мочевыводящих путей, при этом использовали детекцию и подсчет элементов осадка мочи.

Работа в области паразитологии [26] – детекция кишечных простейших (Protozoa) в окрашенных трихромом мазках кала человека, объекты для распознавания: кишечная лямблия (Giardia duodenalis), ее цисты и трофозоиты; кишечные амебы: Entamoeba hartmanni трофозоиты; Entamoeba sp. non-hartmanni (т.е. крупная Entamoeba sp.), трофозоиты; Dientamoeba fragilis; бластоцисты (Blastocystis sp.); хиломастикс (Chilomastix mesnili), трофозоиты; карликовые амебы (Endolimax nana), трофозоиты; Iodamoeba buetschlii, трофозоиты; эритроциты; лейкоциты. Алгоритм также был обучен опознавать дрожжи как антикласс для предотвращения путаницы их с другими классами. Для организмов Entamoeba spp., C. mesnili, E. nana и I. buetschlii алгоритм обучили распознавать только активную стадию трофозоитов. Цисты этих организмов не обучали распознавать из-за недостаточного числа обучающих экземпляров и слабой выраженности их морфологии в используемом методе окрашивания. 

Задачей работы в области гистопатологии [27] было изучить возможное снижение уровня ложноотрицательных результатов обнаружения кишечных неоплазий при применении ИИ. Для этого пациенты проходили две последовательные колоноскопии в один день. Первая выборка пациентов проходила сначала колоноскопию с использованием ИИ и затем колоноскопию без использования ИИ. Вторая выборка пациентов проходила сначала колоноскопию без использования ИИ и затем колоноскопию с использованием ИИ.

Из 20 исследований аналитического этапа 9 (45%) – многоцентровые (использовали данные из нескольких лабораторий), 11 (55%) – одноцентровые (использовали данные только из одной лаборатории), 18 (90%) исследований – ретроспективные, 1 (5%) [23]  – проспективное, 1 (5%)  [13] – ретроспективное с включенным проспективным тестом. Внешнюю валидацию модели использовали в двух (10%) исследованиях [13, 14].

Для описания объема использованной выборки в разных работах используют разные показатели (табл. S2): число пациентов, число образцов (мазков, анализов), число изображений и областей изображений. Объем выборки может сильно варьировать между разными исследованиями: число пациентов – 103 – 8021, число образцов – 167 – 212554, число изображений – 510 – 695030, областей изображений – 260 000 – 7 000 000 000. Если в исследовании приводится несколько показателей объема выборки, то число образцов всегда значительно превышает число пациентов, а число проанализированных изображений – число образцов.

Информация о возрасте пациентов найдена в 8 работах из 20, при этом возрастные интервалы широко варьируют как внутри исследований, так и между работами. Информация о половом составе выборок найдена в 10 работах из 20. Относительно равная представленность полов в выборках наблюдается в двух исследованиях [8, 13], хотя, например, отмечается, что анемии чаще встречаются у пациентов женщин [13]. В исследованиях инфекций мочевыводящих путей доля женщин также значительно преобладает [17, 24], поскольку эта патология чаще представлена у женщин. В ряде работ наблюдается неравномерное распределения пола в выборке по неясным причинам [9, 16, 21, 27]. Расовый и этнический состав пациентов приведен в одной работе [9]: белые пациенты, злокачественные новообразования не диагностированы – 110 (90.2%), злокачественные новообразования диагностированы – 25 (89,3%); не белые пациенты, злокачественные новообразования не диагностированы – 12 (9,8%), злокачественные новообразования диагностированы – 3 (10.7%); этничности подразделяли на латиноамериканцев (злокачественные новообразования не диагностированы – 15 (12,3%), злокачественные новообразования диагностированы – 8 (28,6%)) и не латиноамериканцев (злокачественные новообразования не диагностированы – 104 (85,2%), злокачественные новообразования диагностированы – 18 (64,3%)); нет данных по расовому и этническому составу пациентов, злокачественные новообразования не диагностированы – 3 (2,5%), злокачественные новообразования диагностированы – 2 (7,1%).

В 13 работах авторами использовались собственные разработанные алгоритмы и обученные модели нейронных сетей, в 7 работах использовали готовые коммерческие решения. Из 7 работ, где использовали готовые коммерческие решения, в двух [12, 15] случаях сообщается об отсутствии конфликта интересов, еще в двух [8, 27] случаях эта информация отсутствует, в трех [9, 18, 19] случаях имеется конфликт интересов, когда производитель оборудования тем или иным образом финансирует исследование (например, предоставляет оборудование и материалы для проведения исследования, либо авторы исследования одновременно являются или являлись в прошлом сотрудниками фирмы продавца-оборудования).

Сравнительный анализ разных алгоритмов проводили в 6 [9, 13, 16, 17, 24, 25] работах, сравнительный анализ диагностической точности ИИ и врачей проводили в  10 [8, 10, 12, 13, 18, 19, 21, 22, 23, 26] работах.

Диагностическая точность ИИ на аналитическом этапе

Данные по диагностической точности ИИ представлены в табл. 2 и табл. S3.

Средние обобщенные оценки диагностической точности ИИ достаточно высоки: чувствительность 0,923 (95%CI: 0,921-0,924), n =34; специфичность 0,940 (95%CI: 0,939-0,942), n = 34; ROC AUC 0,910 (95%CI: 0,909-0,911), n=15; точность (accuracy) 0,925 (95%CI: 0,923-0,926), n = 38.

Оценки диагностической точности могут сильно варьировать между разными областями лабораторной медицины и разными задачами.

Диагностика анемии [13], диагностика опухолевых заболеваний и анемии [11] по анализам крови могут быть проведены с высокой диагностической точностью при использовании ИИ (разброс минимальных-максимальных значений): чувствительность 0,930-0,980, специфичность 0,920-1,000, ROC AUC 0,900-0,990.  Диагностика опухолевых заболеваний по мазкам мокроты [9] (разброс минимальных-максимальных значений: чувствительность 0,820-0,920, специфичность 0,770-0,880, ROC AUC 0,850-0,940) и мазкам костного мозга [10, 14] (разброс минимальных-максимальных значений: чувствительность 0,857-0,992, специфичность 0,917-0,933, ROC AUC 0,890-0,990, точность 0,914-0,929) также возможны с высокой диагностической точностью при использовании ИИ.

Качество идентификации и подсчета клеток крови сильно варьирует в зависимости от типа анализируемых клеток. В работе [12] авторы приводят метрики диагностической точности для классификации клеток с помощью алгоритма ИИ, на финальном этапе проверенной и доработанной гематологом (подробный алгоритм проверки результатов классификации ИИ экспертом в статье не описан, также мы не обнаружили этот алгоритм в описании Vision Pro на сайте производителя). Чувствительность была высокой для нормальных лейкоцитов и ядросодержащих эритроидных клеток крови (0,801–0,980), и относительно низкой для бластов, миелоцитов и метамиелоцитов (0,765, 0,480 и 0,505, соответственно). В то же время специфичность была высокой для всех типов клеток (0,981–1,000). В работе [16] сравнили несколько алгоритмов для определения и подсчета клеток в крови. Наиболее эффективными в плане диагностической точности оказались метод сверточной нейронной сети и метод опорных векторов, при этом метод опорных векторов в отличие от сверточной нейронной сети страдал от переобучения и требовал значительных вычислительных затрат. Алгоритм k-ближайших соседей проигрывал в диагностической точности и сверточной нейронной сети, и методу опорных векторов.

Точность определения устойчивости кишечной палочки к антибиотикам [17] с помощью ИИ варьирует в зависимости от алгоритма ИИ и типа антибиотика: 0,680 – 0,980. ИИ с высокой диагностической точностью позволяет определять микобактерий в тканях человека [20, 21] (чувствительность 0,957-0,987, специфичность 0,987-1,000, ROC AUC 0,980, точность 0,983-0,988). В случае с применением ИИ для диагностик бактериальных вагинитов [22, 23] чувствительность (0,841-0,957) и особенно специфичность (0,659-0,994) могут достаточно широко варьировать в зависимости от задачи. ИИ эффективно справляется с детекцией стрептококков [18] в посевах на агаре: чувствительность – 0,906, специфичность – 0,940. В случае детекции колоний бактерий в посевах мочи ИИ демонстрирует высокий уровень чувствительности (0,998) и средний уровень специфичности (0,720).

В работе [24] показали эффективность ИИ для снижения нагрузки на лабораторию с помощью уменьшения числа посевов. Разными алгоритмами ИИ анализировали осадок мочи (подсчет собственных клеток и бактерий) для оценки необходимости или отсутствия необходимости дальнейшего посева. Авторы пришли к выводу, что из пяти протестированных алгоритмов XGBoost наиболее эффективен. Так, применение алгоритма XGBoost по сравнению со стандартной автоматизированной микроскопией с применением эвристической модели приведет к тому, что 1 из 4 пациентов будет переведен из ложноположительного в истинно отрицательный, и 1 из 11 пациентов будет переведен из ложноотрицательного в истинно положительного. Также по результатам исследования, авторы утверждают, что беременные пациентки и пациенты детского возраста должны анализироваться как отдельные выборки. В другой работе по детекции разных элементов в осадке мочи [25] продемонстрирована высокая точность (0,962-0,986) разработанного авторами метода.

При исследовании возможности снижения частоты пропусков кишечных неоплазий [27] с помощью ИИ частота пропусков аденомы (AMR) рассчитывалась как число гистологически подтвержденных поражений, обнаруженных при второй колоноскопии, разделенных на общее количество поражений, обнаруженных при первой и второй колоноскопии, выполненных в течение одного дня. Рассчитывали также среднее количество поражений, обнаруженных при второй колоноскопии, и долю ложноотрицательных случаев (отсутствие поражений при первой колоноскопии и как минимум одно при второй). AMR составила 0,155 (38 из 246) и 0,324 (80 из 247) в группе с первым применением ИИ и без ИИ вначале, соответственно. Более подробно, AMR была ниже при первом применении ИИ для поражений от 5 мм и менее (0,159 vs 0,358) и для неполипоидных поражений (0,168 vs 0,458), причем она была ниже как в проксимальном (0,183 vs 0,325), так и в дистальном отделе толстого кишечника (0,108 vs 0,321). Среднее количество аденом при второй колоноскопии было ниже в группе с первым применением ИИ по сравнению с первой колоноскопией без ИИ (0,330 ± 0,630 vs 0,700 ± 0,970, p < 0,001). Частота ложноотрицательных результатов составила 0,068 (3 из 44 пациентов) и 0,296 (13 из 44) в группе с первым применением ИИ и без ИИ соответственно.

Диагностическая точность ИИ на аналитическом лабораторном этапе в сравнении с диагностической точностью медицинских работников

Данные по диагностической точности ИИ и медицинских работников в сравнительном аспекте представлены в табл. 3 и табл. S4.

Во всех десяти работах, где проводили прямое сравнение диагностической точности ИИ и медицинских работников показано, что ИИ либо превосходит людей по диагностической точности [10, 13, 18, 21] либо сопоставим с ними [8, 10, 12, 18, 19, 22, 23]. В работах, где сравнивалось время, затрачиваемое на одного пациента ИИ и медицинским работником, показано, что по скорости ИИ превосходит человека [13, 21]. В некоторых случаях, например, при подсчете разных клеток крови результат сильно варьирует в зависимости от типа клеток: для одних типов клеток согласованность между алгоритмом и медицинским работником высока, а для других – низкая [12]. Рассмотрим более подробно отдельные случаи.

При предсказании низкой концентрации ферритина в крови на основании общего клинического анализа крови и уровня С-реактивного белка [13] алгоритм ИИ показал более высокую диагностическую точность (чувствительность 0,930-0,980, специфичность 0,920) по сравнению с врачами клинической лабораторной диагностики (чувствительность 0,830-0,880, специфичность 0,910-0,920), сравнение проводили с шестью специалистами. Также ИИ решает задачу за более коротко время (менее 1 секунды на пациента) по сравнению с врачами (19-20 секунд на пациента для врачей, 13-16 секунд при использовании ИИ врачом как вспомогательного инструмента). Авторы делают вывод, что низкий уровень ферритина у пациентов с анемией может быть точно предсказан с использованием алгоритма машинного обучения на основании результатов рутинных лабораторных исследований.

При диагностике и стадировании злокачественных новообразований с помощью оценки индекса пролиферативной активности опухолевой клетки Ki-67 [8] оценивали согласованность идентификации и стадирования между определением Ki-67 по результатам ИИ-анализа гистологических исследований и по стандартному протоколу, используя коэффициент внутриклассовой корреляции для значения Ki-67 и квадратично взвешенную каппа для стадии заболевания. Внутриклассовый коэффициент корреляции для маркера пролиферации Ki67 равен 0,960 (95% CI: 0,940-0,980), а каппа 0,860 (95% CI: 0,810-0,910). Авторы заключают, что ИИ дал сходный уровень диагностической точности с ручной оценкой при определении Ki67, но может позволить сэкономить время как дополнительный инструмент при диагностике патологии.

Для решения задачи детекции стрептококков группы A в посевах слизи из ротоглотки [18] сравнивали диагностическую точность алгоритма ИИ с результатами медицинских лаборантов, обученных чтению хромогенных сред и посевов слизи из ротоглотки на наличие гемолитических колоний. ИИ превосходил результаты лаборантов в чувствительности и давал сопоставимые результаты специфичности. Авторы приходят к выводу, что программное обеспечение PhenoMATRIX CDM в сочетании с агаром Colorex Strep A может оптимизировать рабочий процесс за счет ускорения работ. Отметим, что в Российской Федерации интерпретацию результатов лабораторных исследований может проводить только врач, что снижает ценность полученных [18] результатов.

При подсчете лейкоцитов [12] вычисляли разницу между долей лейкоцитов, определенных тремя разными методами: с помощью ручного подсчета, который проводили два врача гематолога с использованием светового микроскопа на 200x увеличении, с помощью анализатора VisionPro и с помощью анализатора VisionPro с конечной реклассификацией результата экспертом (согласно нераскрытой методике разработчика программного обеспечения). Для разных типов клеток наблюдается высокая степень вариабельности согласованности между тремя алгоритмами подсчета.

При диагностике острого миелоидного лейкоза и определении его подтипов [10] алгоритм AMLnet демонстрировал более высокую точность (0,789) по сравнению с врачами патологоанатомами, медицинский стаж которых менее 10 лет (0,634), и сопоставимую точность с патологоанатомами, медицинский стаж которых более 10 лет (0,788). Авторы заключают, что AMLnet может служить в качестве быстрого инструмента предварительного скрининга и поддержки принятия решений для интерпретации цитоморфологических исследований.

Подсчет колоний в посевах мочи [19] с помощью ИИ и ручной подсчет, использованный в качестве референс-теста, показали уровень чувствительности 0,998 и специфичности 0,720. Авторы заключают, что в целом программное обеспечение для анализа изображений оказалось высокочувствительным и может использоваться лабораториями для пакетного анализа отрицательных культур с целью улучшения лабораторного рабочего процесса. Несоответствие между мануальным и автоматическим подсчетом связано с наличием микроколоний. Важной задачей для автоматизации подсчета культур остается стандартизация граничных значений выявления колоний. Так, лаборатории представившие свои результаты для исследования использовали различающиеся значения для определения положительных и отрицательных результатов, что усложняет использование ИИ и снижает финальную эффективность инструмента. 

При идентификации микобактерий и диагностике туберкулеза [21] в тканях человека ИИ (чувствительность 0,957, специфичность 1,000, точность 0,983) продемонстрировал более высокие диагностические результаты по сравнению с патологоанатомами (чувствительность 0,391-0,957, специфичность 0,756-0,946, точность 0,833).

Среднее время исследования образца варьировалось у разных патологоанатомов от 5,48 до 17,06 минут, при этом время для положительных слайдов было короче, а для отрицательных (истинных или ложноотрицательных) — дольше. Для каждого патологоанатома наибольшая продолжительность обследования зафиксирована для отрицательных случаев (истинно отрицательный для семи врачей и ложноотрицательный для одного) и наименьшая для истинно положительных. Время, затраченное патологоанатомами на исследование образца с помощью искусственного интеллекта, варьировало от 9 секунд до 2,00 минут для положительных слайдов (в среднем 0,61 мин). Авторы приходят к выводу, что алгоритм ИИ, использованный в работе, экономит как минимум треть времени патологоанатома. ИИ также снижает вероятность человеческих ошибок, вызванных усталостью и потерей внимания.

Две работы сопоставляли результаты ИИ и медицинских работников при диагностике вагинитов. В этих работах диагностическая точность алгоритмов ИИ и медицинских работников сопоставима [22, 23]. В исследовании [22] чувствительность ИИ (0,914) и медицинских работников (0,943) – трех лаборантов и двух врачей акушеров-гинекологов – соизмерима, ИИ превосходит медицинских работников по специфичности (0,913 и 0,731, соответственно) и точности ИИ (0,893 и 0,837, соответственно). Авторы [22] отмечают, что изменение качества изображений – цвета, яркости – изменяют точность работы системы ИИ. В обоих исследованиях авторы заключают, что автоматизированная микроскопия имеет потенциал для улучшения первичной оценки инфекционных и неинфекционных вагинитов.

При детекции и классификации кишечных простейших [26] обнаружена высокая степень согласованности между сверточной нейронной сетью и медицинскими лаборантами. Уровень положительной согласованности составил 0,989 (95% CI: 0,938 – 1,000), уровень отрицательной согласованности составил 0,981 (95%CI: 0,934 – 0,998). Модель показала высокую воспроизводимость с использованием слайдов, содержащих несколько классов, один класс или отсутствие паразитов. Авторы заключают, что цифровое сканирование слайдов и протестированная модель сверточной нейронной сети являются надежными инструментами, дополняющими традиционные методы обнаружения кишечных простейших.

Доказанные результаты внедрения ИИ на аналитическом лабораторном этапе

В одном исследовании [13] алгоритм ИИ был включен в работу лаборатории в тестовом режиме на 1 месяц. Python скрипт был реализован во внутренней лабораторной системе. В октябре 2021 года были проспективно проанализированы все лабораторные заказы взрослых пациентов первичного звена с анемией. Ферритин измерялся у всех взрослых. За 21 день при анализе данных 391 уникального пациента ИИ выявил 18 новых случаев дефицита железа в крови, не выявленных ранее. Авторы заключают, что алгоритм ИИ позволяет точнее и быстрее диагностировать низкий уровень железа в крови и может быть полезным вспомогательным инструментам врачей на практике. Однако, отмечены некоторые ограничения. Например, данный алгоритм валидирован, и соответственно, должен быть использован для группы пациентов с определенными характеристиками – взрослые пациенты с диагностированной анемией. Кроме того, следует учитывать, что в разных лабораториях используют разные минимальные пороги ферритина в крови.

Ни в одном из включенных исследований не анализировали экономическую эффективность внедрения ИИ алгоритмов в лабораторную практику.

Постаналитический этап

Исследования, найденные нами для постаналитического этапа, выполнены в области контроля качества лабораторных исследований, т.е. направлены на поиск ошибок и аномальных значений в анализах. Работы с использованием ИИ в этой области выполнены в области big data (больших данных), симуляции данных (например, искусственного внесения в данные ошибки) и дельта-анализа (сравнительного исследования последовательной во времени серии анализов одного и того же пациента). Во всех трех исследованиях показано превосходство ИИ по сравнению с классическими статистическими методами PBRTQC (patient-based real-time quality control) контроля качества по показателям эффективности.

Так, в работе [28] сравнивали применение машинного обучения совместно с дельта – контролем с классическими статистическими методами PBRTQC.  Сравнения проводили для семи параметров крови (табл. S2). В качестве клинического показателя использовали также количество затронутых пациентов от начала внесения систематической ошибки до обнаруженной систематической ошибки, оптимальный показатель которого должен быть минимальным.  Показали, что диагностические параметры машинного обучения значительно превосходят (табл. 2) стандартные статистические методы PBRTQC.

В работе [29] сравнивали несколько алгоритмов для постаналитического контроля качества биохимических тестов общего простатспецифического антигена. Сравнивали четыре модели (moving average MA, moving median MM, moving standard deviation MovSD, moving sum of number of patient results MovSO) стандартного контроля качества (PBRTQC), три модели машинного обучения (метод случайного леса, метод опорных векторов, нейронная сеть) и алгоритм слияния информационной энтропии, объединяющий все три модели машинного обучения. При симуляции в данные вносили ошибку восьми разных уровней (0,01-0,20 мкг/л), а также использовали блоки данных разного размера в шести разных вариантах. Все методы машинного обучения и их объединенная модель превосходили методы стандартных алгоритмов PBRTQC по параметрам диагностической точности. Объединенный алгоритм машинного обучения превосходил по эффективности каждый из трех алгоритмов по отдельности. Метод случайного леса был склонен к переобучению, метод опорных векторов испытывал сложности при множественной классификации, у нейронной сети имелись проблемы в принятии решений. Объединенный алгоритм по точности превосходил метод опорных векторов, метод случайного леса и нейронную сеть на 8,7%, 9,6% и 6,9%, соответственно, а стандартные модели PBRTQC на 20%. Кроме того, эффективность методов PBRTQC варьировала в зависимости от уровня привнесенной ошибки, тогда как эффективность машинных методов обучения была устойчива относительно привнесенной ошибки.

В работе [30] также тестировали возможности нескольких алгоритмов машинного обучения для верификации данных биохимических тестов, в этом случае включали 52 биохимических параметра. Финальная обобщенная модель ИИ показала 89,60% уровень прохождения, 0,095% уровень ложноотрицательных результатов. Система ИИ снизила количество недействительных отчетов примерно на 80% по сравнению с теми, которые оценивались с помощью стандартного алгоритма, потенциально повысила эффективность работы и снизила рабочую нагрузку в биохимической лаборатории. Примечательно, что два обнаруженных ложноотрицательных отчета, принадлежали пациентам с экстремальными для выборки значениями возраста: 4 месяца и 92 года. Важно, что результаты (уровень прохождения) стандартного лабораторного алгоритма (50,20-65,10%) флуктуировали в течение рабочего процесса, тогда как для ИИ алгоритма они оставались относительно стабильны (87,00-94,00%).

Оценка качества методологии всех исследований

Оценка качества методологии проанализированных исследований с использованием инструмента QUADAS-CAD и оценка вероятности систематической ошибки представлены в табл. S5 и на рис. 1 соответственно.

Во всех проанализированных исследования (n=24, 100%) присутствует вероятность систематической ошибки из-за особенностей использования методик. Так, в очень небольшой доле исследований включенные выборки были сбалансированы по уровню патологии (n=3; 13,0%) и демографическим (n=2; 8,3%) показателям. Поскольку соответствующие вопросы являются сигнальными для домена D1 (Patient Selection) риск систематической ошибки в этом домене высок или вызывает опасения во всех проанализированных случаях. В некоторых работах (n=10; 41,7%) из описания методики не ясно, пересекались ли обучающая и тестовая выборка, что является сигнальным вопросом домена D2 (Index Test). В ряде случаев некоторые вопросы домена D2 (If a pathology threshold was used, was it prespecified?) и домена D3 (Is the reference standard likely to correctly classify the target condition? Were the reference standard results prepared or verified with the required level of expertise?) были не применимы, поскольку в исследовании выявляли только способность ИИ подсчитывать разные типы клеток [12, 19, 20, 26] без диагностики заболеваний, либо использовали симуляцию данных [7, 28, 29, 30].

В большинстве случаев референсный стандарт позволял корректно классифицировать целевые состояния (n=20; 95,2%). Тем не менее, в 10 случаях (47,6%) уровень экспертной подготовки и оценки референсных стандартов был не ясен. Минимальный риск систематической ошибки был обнаружен для домена D4, оценивающего прозрачность полученных результатов.

обсуждение

Область применения ИИ

Выполненный систематический обзор продемонстрировал широкий спектр тем в лабораторной медицине, где могут быть применены методы ИИ. В первую очередь стоит обратить внимание, что с одной стороны аналитический этап, с другой стороны преаналитический и постаналитический этапы представляют собой две обширные области со своими специфическими задачами и методами их решения. На аналитическом этапе основной задачей, где тестируют применение ИИ, является распознавание объектов разной морфологии на лабораторных изображениях и их подсчет. Наблюдается большое разнообразие областей, где необходимо реализовать эту задачу. Во-первых, это анализ крови для диагностики различных гематологических заболеваний – лейкозов и анемий. Во-вторых, анализ осадка мочи для выявления инфекций мочевыводящих путей. В-третьих, выявление разного рода микроорганизмов – от бактерий до простейших – в пробах тканей, мазках и посевах. В-четвертых, анализ мокроты методами проточной цитометрии для выявления злокачественных новообразований легкого. В-пятых, анализ биопсии костного мозга для выявления онкологических заболеваний крови. В более чем половине исследований авторами используются собственные решения, как правило созданные в среде Phyton, либо в некоторых случаях в среде R. Наиболее эффективный результат (в плане диагностической точности, скорости и отсутствия проблем переобучения) показывают сверточные нейронные сети. Менее чем в половине случаев авторы использовали готовые коммерческие решения для анализа крови, посевов мочи, посевов слизи из ротоглотки, анализа мокроты с помощью проточной цитометрии.

На преаналитическом и постаналитическом этапе основной задачей является контроль качества данных [2, 31] – выявление ошибочной маркировки пробирок, поиск выпадающих, ошибочных значений результатов анализов как для каждого пациента персонально, так и для выборки в целом. Здесь наиболее востребованы инструменты из области больших данных [32].

Неравномерное распределения числа работ по разным этап исследования (значительное преобладание работ аналитического этапа) отражает структуру нашего поискового запроса при отборе литературы. В дальнейшем, каждая из этих областей заслуживает отдельного исследования.

Диагностическая точность ИИ и внедрение в практику

Во всех 24 проанализированных работах показано, что современные методы ИИ в экспериментах дают высокую диагностическую точность, достаточную для начала внедрения этих методов в практику. Эффективность ИИ сопоставима с эффективность медицинских работников наивысшей степени квалификации и превосходит медицинских работников начальных уровней квалификации. Так, для аналитического этапа обобщенные оценки диагностической точности ИИ составляют 0,923 (чувствительность), 0,940 (специфичность), 0,925 (точность). На преаналитическом этапе точность ИИ по выявлению ошибочной маркировки пробирок составила 0,865-0,921. На постаналитическом этапе показатели ИИ в эффективности контроля качества данных (чувствительность, специфичность, точность) достигают 0,990. По скорости диагностики обученные алгоритмы ИИ на порядок превышают скорость диагностики изображения и анализ данных медицинскими работниками.

Внедрение алгоритмов ИИ в практику и проблемы, препятствующие этому

Несмотря на высокую эффективность ИИ в экспериментах случаи реального внедрения ИИ в практику единичны. Нами из 24 работ обнаружен только один случай экспериментального внедрения ИИ (в течение одного месяца) в лабораторную работу. Несколько групп проблем могут быть причиной такого результата [33, 34].

В первую очередь, это причины, связанные со структурой самих экспериментальных работ, где получены оценки высокой эффективности ИИ. Важной и наиболее частой проблемой здесь является несбалансированность выборок при тестировании ИИ [35]. В частности, в подавляющем большинстве случаев наблюдается несбалансированность выборок по исследуемым патологиям, а именно практически 100%-й состав выборки из пациентов с патологией. Это, очевидно, объясняется тем, что исследования проводятся в медицинских организациях, специализирующихся на конкретных патологиях, и исследователям доступны именно такие выборки. Тем не менее это вносит значительный уровень вероятности систематической ошибки в исследования и повышает вероятность того, что в отличающихся реальных условиях протестированный алгоритм ИИ будет работать со значительно меньшей эффективностью.

Это же относится и к несбалансированности выборок по демографическим показателям, в частности, по полу и возрасту. Часто в экспериментальную выборку включаются все доступные пациенты. Однако, например, обнаружено, что для пациентов самых младших и самых старших возрастов, а также для беременных пациенток эффективность работы ИИ в некоторых случаях может существенно отличаться от других пациентов.

Следующей проблемой является отсутствие внешней валидации результатов тестирования ИИ в большинстве работ, что приводит к невозможности генерализовать полученные в эксперименте результаты. Например, показано, что качество изображений, их цвет и яркость могут влиять на результат работы ИИ.

В ряде работ для увеличения объема выборки исследователи используют метод создания из одного изображения нескольких, нарезая его на области. Далее эти области используются как независимые экземпляры в общей выборке. Строго говоря, для такой процедуры необходима предварительная проверка того, действительно ли такие области одного изображения независимы друг от друга в анализе ИИ. Иначе, возникает проблема псевдорепликации, а результаты эффективности ИИ искусственно завышаются.

В части проанализированных исследований присутствует конфликт интересов, когда производитель оборудования прямо или опосредованно финансирует исследование, что повышает риск систематической ошибки оценки эффективности ИИ.

Кроме того, нами не найдено ни одной работы, где показана низкая эффективность ИИ. Это косвенно свидетельствует о предвзятости публикации результатов, когда отрицательные результаты просто не доступны для ознакомления.

Общая сложность медицинских задач также в некоторых случаях труднопреодолима. Например, на одном и том же изображении некоторые типы клеток могут определяться ИИ с очень высокой эффективностью, а некоторые – с неприемлемо низкой эффективностью.

Структура работы и потребности лаборатории часто сложнее экспериментальных условий. Более того, условия работы разных лабораторий даже в одной области могут варьировать. Например, референсные пороги могут быть разными для разных лабораторий. Запрос на применение ИИ обусловлен экономией времени и ресурсов. Но с другой стороны, необходимость набора большого числа аннотированных изображений, вариабельность в уровнях чувствительности и специфичности (например, высокая эффективность при обнаружении истинно положительных случаев и относительно низкая при обнаружении истинно отрицательных), необходимость обучения медицинских работников, необходимость проверки человеком результатов классификации ИИ, сложность в интерпретируемости результатов и вариабельности результатов (фактически, процесс работы нейронной сети представляет собой «черный ящик» для пользователя) в реальных условиях могут нивелировать выгоды, даваемые ИИ. Оценка временных и финансовых затрат, необходимых для перестройки лаборатории на работу с алгоритмами ИИ, пока не известна.

Можно заключить, что алгоритмы ИИ имеют хороший потенциал в качестве вспомогательного инструмента для медицинских работников в области лабораторной медицины. Алгоритмы ИИ способны автоматизировать рутинные лабораторные процессы, способствуют их стандартизации [36, 37], позволяют решать широкий спектр задач в патоморфологии.  В настоящий момент назрела необходимость экспериментальных исследований ИИ с решением комплекса существующих методических проблем [38], а также оценка соотношения затрат и выгод при внедрении ИИ в лабораторную практику.

Ограничения систематического обзора

Разнообразие задач лабораторной медицины крайне велико и затрагивает многие медицинские и технологические области. Для поиска литературы мы использовали несколько баз данных, это позволило отобрать исследования по наиболее часто встречающимся тематикам. Однако, широкий разброс задач, ограничения структуры запроса и доступа к некоторым исследованиям не позволяет рассмотреть все существующие здесь вопросы и некоторые темы остались не затронутыми. Например, к таким областям относится роботизация забора образцов (в частности, забор венозной крови) [39], оптимизация назначений анализов и область прогнозирования. Также по причине большого разнообразия задач во включенных исследованиях и, как следствие, невозможности группировки алгоритмов ИИ, мы рассчитали только усредненные оценки диагностической точности, не проводя мета-анализ для отдельных алгоритмов в соответствии с рекомендациями Кокрейновского руководства [40].

Помимо собственно медицинских, технических и экономических проблем для внедрения ИИ в практику существует область гуманитарных проблем [41]. Например, разного рода страхи и психологические сложности медицинских работников и пациентов, основанные в основном на недостаточной осведомленности об алгоритмах ИИ. Кроме того, важной проблемой при использовании ИИ является защита персональных данных пациентов. Все эти вопросы требуют отдельного исследования и решения.

Заключение

Область потенциального применения ИИ в лабораторной медицине очень широка и актуальна для всех этапов лабораторного процесса.

Нами были найдены исследования для преаналитического, аналитического и постаналитического этапов лабораторной диагностики, со значительным преобладанием работ аналитического этапа (83,3% включенных исследований). Большинство исследований выполнено в области диагностики гематологических заболеваний, опухолевых заболеваний, также ряд работ посвящен поиску болезнетворных бактерий в пробах тканей, анализах мочи и мазках, по одной работе выполнено в области паразитологии и гистопатологии. Работы, выполненные для преаналитического и постаналитического этапов, направлены на разработку эффективных методов контроля качества лабораторных данных с помощью методов ИИ. Область использования ИИ в лабораторной медицине находится на этапе раннего развития, что иллюстрируется преобладающим использованием собственных разработок. Лишь 29,2% включенных работ использовали готовые коммерческие решения.

ИИ-решения демонстрируют высокие показатели эффективности, сравнимые с показателями высококвалифицированных медицинских работников или превосходящие их. Однако, проведенный нами анализ качества методологии включенных работ продемонстрировал высокую вероятность систематической ошибки во всех оцениваемых доменах, за исключением прозрачности полученных результатов. Наиболее часто высокая вероятность систематической ошибки обусловлена несбалансированностью выборок по включенным патологиям и демографическим параметрам, риском псевдорепликации данных, отсутствием внешней валидации результатов и, следовательно, невозможностью их обобщения.

Завышение оценок ИИ во включенных исследованиях косвенно подтверждается малочисленностью попыток внедрения разработанных алгоритмов в рутинную практику. Нами был зафиксирован единственный такой эксперимент, продемонстрировавший положительные результаты в выявлении новых случаев дефицита железа.

В целом ИИ имеет хороший потенциал в плане эффективности и скорости для автоматизации и стандартизации рутинных лабораторных процессов и соответственно высвобождения времени медицинского персонала для решения более сложных задач. Тем не менее для полноценного внедрения ИИ целый комплекс проблем, связанный с оценкой и применением ИИ, должен быть исследован и решен.

About the authors

Yuriy A. Vasilev

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608
Russian Federation, 24/1 Petrovka street, 127051 Moscow, Russia

Olga G. Nanova

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation

Author for correspondence.
Email: nanova@mail.ru
ORCID iD: 0000-0001-8886-3684
SPIN-code: 6135-4872

ведущий научный сотрудник

Отдел научных медицинских исследований

Russian Federation, 24/1 Petrovka street, 127051 Moscow, Russia

Anton V. Vladzymyrskyy

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120
Russian Federation, 24/1 Petrovka street, 127051 Moscow, Russia

Arcadiy S. Goldberg

The Federal State Budget Educational Institution of Additional Professional Education The Russian Medical Academy of Continuous Professional Education, Moscow, Russian Federation

Email: goldarcadiy@gmail.com
ORCID iD: 0000-0002-2787-4731
SPIN-code: 8854-0469
Russian Federation, 2/1 Barrikadnaya street, 125993, Moscow, Russia

Ivan A. Blokhin

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation

Email: i.blokhin@npcmr.ru
ORCID iD: 0000-0002-2681-9378
SPIN-code: 3306-1387
Russian Federation, 24/1 Petrovka street, 127051 Moscow, Russia

Roman V. Reshetnikov

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation

Email: ReshetnikovRV1@zdrav.mos.ru
ORCID iD: 0000-0002-9661-0254
SPIN-code: 8592-0558
Russian Federation, 24/1 Petrovka street, 127051 Moscow, Russia

References

Supplementary files