Системы искусственного интеллекта в клинической физиологии: как сделать их обучение эффективным?

Обложка


Цитировать

Полный текст

Аннотация

Клиническая физиология ― раздел медицинских наук о роли и характере изменений физиологических процессов, происходящих в организме при предпатологических и патологических состояниях, ― предполагает полное, комплексное, многостороннее исследование функций как поражённых, так и здоровых органов, что позволяет оценить компенсаторные возможности организма.

Программное обеспечение и различные программно-аппаратные комплексы, созданные с использованием технологий искусственного интеллекта, всё активнее применяются в различных отраслях медицины, в том числе и в клинической физиологии. Этому способствуют появление наборов медицинских данных, увеличение вычислительных мощностей, развитие облачных сервисов, а также многочисленные публикации, демонстрирующие эффективность и перспективность применения подобных интеллектуальных решений.

Несмотря на то, что в целом подход к формированию медицинских наборов данных схож, в клинической физиологии имеется целый ряд ключевых особенностей и существенных отличий. Соблюдение предлагаемых нами правил по формированию наборов данных потенциально позволит эффективно обучить системы искусственного интеллекта в области клинической физиологии и применять их на практике.

Вступивший в силу национальный стандарт Российской Федерации ГОСТ Р 59921.9-2022 входит в комплекс стандартов «Системы искусственного интеллекта в клинической медицине» и устанавливает дополнительные требования к алгоритмам анализа данных и методам испытаний систем искусственного интеллекта, применяемых в области клинической физиологии. Важной особенностью нового стандарта является его квазиметрический тип (прилагается обязательный набор демонстрационных данных).

Россия одной из первых стран в мире приступила к разработке квазиметрических стандартов, и уже в текущем году вступят в силу 15 отраслевых стандартов в сфере искусственного интеллекта (из них два ― по медицине).

Полный текст

ВВЕДЕНИЕ

Клиническая физиология ― раздел медицинских наук о роли и характере изменений физиологических процессов, происходящих в организме при предпатологических и патологических состояниях. Клиническая физиология предполагает полное, комплексное, многостороннее исследование функций организма, причём не только поражённых органов, но также и здоровых, что позволяет оценить компенсаторные возможности организма [1].

Системы искусственного интеллекта (СИИ) применяются всё шире и практически во всех отраслях медицины [2]: это и значительное число работ по оценке электрокардиографии (ЭКГ), в том числе посредством смарт-часов [3–7], и нарастающее количество исследований в области компьютерного зрения по всему миру [8, 9], и разработка различных интеллектуальных решений1. Так, например, ресурс PhysioNet2 включает в себя огромное количество открытых наборов данных с различными патологиями. Наиболее крупные публичные наборы данных по ЭКГ включают в себя 21 837 [10] и 10 646 ЭКГ [11] соответственно, однако, несмотря на актуальность вопроса, формирование таких наборов данных остаётся большой проблемой и требует детального подхода.

Таким образом, при анализе публичных открытых наборов данных по ЭКГ нами были сформулированы следующие основные проблемы:

1) различия технических условий регистрации ЭКГ: частота дискретизации, значение младшего значащего разряда, разрядность аналого-цифрового преобразователя, длительность записи, число каналов;

2) несовместимые языки (тезаурусы) описаний: разные «школы», разные контингенты пациентов, разные конечные цели использования;

3) несбалансированность по классам ЭКГ-нарушений как внутри набора данных, так и наборов данных с генеральной совокупностью;

4) сомнения в качестве аннотирования/классификации;

5) недостаток или отсутствие клинических сведений (метаданных).

В применении к другим методам диагностики и контроля в клинической физиологии эти проблемы могут быть кратно увеличены. Это связано с тем, что для формирования набора данных и последующего обучения СИИ в клинической физиологии могут использоваться следующие данные3:

1) значения физиологических параметров (артериальное давление, число сердечных сокращений, значение сатурации);

2) оцифрованные биологические сигналы (электрокар-диограмма, показатель давления в сосуде);

3) индуцированные и отражённые сигналы (нейромиограмма, реограмма, допплеровская кривая, М-развёртка ультразвукового исследования);

4) динамические изображения (кинопетли);

5) комплексные данные.

МЕТОДОЛОГИЯ ФОРМИРОВАНИЯ НАБОРОВ ДАННЫХ. А ЕСТЬ ЛИ ОТЛИЧИЯ?

Методология создания набора данных в клинической физиологии в целом схожа с таковой в лучевой диагностике [12]: планирование; формирование тезауруса или глоссария, критериев включения и исключения; подбор экспертов и модератора; анализ данных на соответствие критериям включения; согласование аннотаций; многоуровневая модерация, однако есть ключевые различия.

  1. Так, существенно отличается последовательность обработки массива данных. Последовательность работ при подготовке набора данных (числовые ряды, графики, отдельные измерения) следующая:
  • сегментация (разметка) данных;
  • измерение данных;
  • маркировка (аннотирование) данных ― процедура присвоения словесного (семантического) значения объекту или совокупности данных;
  • классификация данных.
  1. Для классификации простых (бинарных) свойств объектов достаточно использования словаря (глоссария), для мультиклассовых объектов необходимо использование тезауруса.
  2. Существует целый ряд менее очевидных и сложно классифицируемых факторов, которые, тем не менее, могут привести к существенным ошибкам при создании набора данных4, 5:
  • для выполнения исследований в клинической физиологии необходима высокая квалификация операторов, фактор операторозависимости является одним из центральных при формировании исходных данных;
  • при формировании итогового набора данных должен быть проведён анализ представленного массива исследований на предмет следующих факторов: достаточная длительность записи, количество каналов, отключение фильтрации сигнала, а также соответствие принятым техническим параметрам, динамический диапазон, соотношение сигнал/шум, формат хранения результатов;
  • эксперты и модераторы, участвующие в разметке, должны иметь достаточную квалификацию для проведения такой работы: сведения об их квалификации и вкладе должны быть приведены в отчёте об испытании СИИ, хотя обезличивание данных допускается;
  • для проведения испытаний СИИ для клинической физиологии должен быть создан набор оборудования и программных средств; в то же время характеристики аппаратного и программного обеспечения должны превышать минимальные требования, устанавливаемые изготовителем СИИ, и учитывать типичные характеристики вычислительных средств конкретного или потенциального пользователя СИИ.

КРИТЕРИИ ВКЛЮЧЕНИЯ И ИСКЛЮЧЕНИЯ ДЛЯ ОТБОРА ЗАПИСЕЙ ПРИ ФОРМИРОВАНИИ НАБОРА ДАННЫХ В КЛИНИЧЕСКОЙ ФИЗИОЛОГИИ

Критерии исключения (абсолютные, достаточно одного из них):

  • записи представлены в проприетарном формате, производитель отказывается создавать согласующий слой;
  • несоблюдение технических условий сохранённых данных (например, для цифровой ЭКГ длительность каждой записи менее 10 сек, частота дискретизации менее 500 Гц, значение младшего значащего разряда более 5 мкВ, разрядность аналого-цифрового преобразователя менее 10 бит);
  • доступ к метаданным невозможен или существенно ограничен;
  • менее 70% ЭКГ, включённых в финальный набор данных, правильно проаннотированы и классифицированы.

Критерии включения (должны быть соблюдены все):

  • записи представлены в одном из форматов: WDBF, EDF, aECG (HL-7), SCP-ECG, DICOM-ECG, XML;
  • соблюдение технических параметров сохранённых данных (например, для цифровой ЭКГ длительность каждой записи не менее 10 сек, частота дискретизации не менее 500 Гц, значение младшего значащего разряда 5 мкВ, разрядность аналого-цифрового преобразователя не менее 10 бит);
  • доступ к метаданным не ограничен;
  • не менее 90% ЭКГ, включённых в финальный набор данных, правильно проаннотированы и классифицированы.

Представляется важным заметить, что наборы данных для обучения СИИ должны отражать весь вариативный ряд возможных феноменов (синдромов, диагнозов, исходов) ― от самых редких (казуальных) до самых частых. Необходимость соблюдения вариативности гендерных и расовых различий пациентов определяется видом набора данных (например, эти метаданные являются обязательными при оценке параметров функции внешнего дыхания). Частотная представленность феноменов (синдромов) в популяции имеет меньший приоритет при формировании набора данных. В случае использования несбалансированных по классам наборов данных для редких (казуальных) феноменов рекомендуется применять дополнительные метрики.

НОРМАТИВНЫЕ ДОКУМЕНТЫ, РЕГЛАМЕНТИРУЮЩИЕ РАЗРАБОТКУ И ПРИМЕНЕНИЕ АЛГОРИТМОВ АНАЛИЗА ДАННЫХ И МЕТОДОВ ИСПЫТАНИЙ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБЛАСТИ КЛИНИЧЕСКОЙ ФИЗИОЛОГИИ

Вступивший в силу с 1 января 2023 года национальный стандарт Российской Федерации ГОСТ Р 59921.9-20226 входит в комплекс стандартов с наименованием «Системы искусственного интеллекта в клинической медицине» и устанавливает дополнительные требования к алгоритмам анализа данных и методам испытаний СИИ, применяемых в области клинической физиологии.

Разработчики СИИ для клинической физиологии и все заинтересованные стороны смогут изучить требования:

  • к процессам создания, подготовки [сегментация, измерение, детектирование, маркировка (аннотирование) и классификация] наборов данных для испытаний СИИ;
  • структуре, порядкам применения и условиям доступа наборов данных;
  • организации терминологических ресурсов и представлению результатов анализа данных;
  • информационному взаимодействию между медицинскими приборами, интеллектуальными системами и другими системами автоматизации, используемыми в здравоохранении;
  • процессам и результатам технических, стендовых, лабораторных и клинических испытаний, пострегистрационного, эксплуатационного контроля программного обеспечения и программно-аппаратных комплексов на основе технологий искусственного интеллекта;
  • форме и содержанию результатов работы программного обеспечения и программно-аппаратных комплексов на основе технологий искусственного интеллекта в соответствии с решаемыми задачами в сфере медицины и здравоохранения.

Особенностями нового национального стандарта, отличающими его от других ГОСТ Р «семейства» и англоязычных аналогов, являются прописанные требования к наборам данных. В частности, предложены три сценария: клинические испытания только на тестовой площадке (стенде) с использованием наборов данных; клинические испытания в медицинской организации; комбинированные клинические испытания. Все сценарии проиллюстрированы блок-схемами (рис. 1).

 

Рис. 1. Блок-схема проведения клинических испытаний с использованием наборов данных (один из возможных вариантов реализации).

 

В стандарте предусмотрены также варианты испытаний для тестирования устойчивости СИИ к ошибкам во входных данных и тестирование на синтетических и комбинированных данных. Созданный ГОСТ Р позволяет испытывать СИИ, работающие с разными типами данных и разными форматами представления. Для испытаний СИИ для клинической физиологии могут быть использованы:

  • измеренные значения физиологических параметров (например, артериальное давление, число сердечных сокращений, значение сатурации и т.п.);
  • оцифрованные биосигналы (например, электрокардиограмма, показатель давления в сосуде и т.п.);
  • индуцированные и отражённые сигналы (нейромиограмма, реограмма, допплеровская кривая, M-развёртка ультразвукового исследования и т.п.);
  • динамические изображения (кинопетли, например, в режиме ультразвукового исследования, видеозапись движения);
  • комплексные данные, содержащие данные нескольких перечисленных выше типов (синхронизированные и синфазные).

Данные могут представлять собой результаты одиночных измерений (исследований пациентов), или могут быть подобраны таким образом, чтобы систематически представлять развитие патологических процессов (временной ряд однородных по составу измерений), или отражать динамику изменений при предъявлении градуированных стимулов (раздражителей), или отражать изменения показателей в зависимости от внешних условий (во сне, в покое, при физической или ментальной нагрузке, дистрессе и т.п.).

Важной особенностью созданного стандарта является и то, что он относится к типу квазиметрических ГОСТ Р, т.е. к нему идёт обязательный набор демонстрационных данных (рис. 2).

 

Рис. 2. Пример файла из демонстрационного набора данных ГОСТ Р 59921.9-2022 «Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний».

 

Россия одной из первых стран в мире стала разрабатывать квазиметрические стандарты. В 2023 году вступят в силу уже 15 отраслевых стандартов в сфере искусственного интеллекта, два из них ― по медицине7, 8.

ЗАКЛЮЧЕНИЕ

Соблюдение вышеуказанных правил позволит получить набор данных для обучения СИИ таким образом, чтобы все три фазы клинических испытаний потенциально были пройдены, а именно: (1) тестирование на проверку корректности входных данных (распознавание сигналов, полученных с нарушением технологии исследования, а также содержащих артефакты и помехи); (2) тестирование на точность распознавания синдромов, феноменов, клинических эквивалентов и/или формирование заключения (аннотации) по согласованному тезаурусу или глоссарию; (3) тестирование на синтетических и комбинированных данных (распознавание синтетического сигнала-стимула, инициирующего или потенциирующего естественные сигналы, оценка эффективности или неэффективности стимуляции).

ДОПОЛНИТЕЛЬНО

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении работы.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли вклад в разработку концепции, проведение работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Д.В. Шутов, Д.В. Дроздов ― концепция и дизайн работы, редактирование и утверждение итогового варианта текста рукописи, консультативная поддержка; Д.Е. Шарова ― концепция и дизайн работы, анализ данных, написание текста статьи, редактирование и утверждение итогового варианта текста рукописи; Л.Р. Абуладзе ― написание текста статьи, редактирование.

ADDITIONAL INFORMATION

Funding source. This article was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. D.V. Shutov, D.V. Drozdov ― work concept and design, editing and approval of the final version of the manuscript, advisory support; D.E. Sharova ― work concept and design, data analysis, writing the text of the article, editing and approval the final version of the manuscript; L.R. Abuladze ― writing the text of the article, editing.

1 Центр диагностики и телемедицины [интернет]. ИИ-сервисы в лучевой диагностике. Режим доступа: https://mosmed.ai/.

2 PhysioNet [Internet]. The Research Resource for Complex Physiologic Signals. Режим доступа: https://physionet.org/.

3 ГОСТ Р 55036-2012/ISO/TS 25237:2008. Национальный стандарт Российской Федерации. Информатизация здоровья. Псевдонимизация. Режим доступа: https://docs.cntd.ru/document/1200100339.

4 Там же.

5 ГОСТ Р 59921.5. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов. Режим доступа: https://docs.cntd.ru/document/1200183858.

6 ГОСТ Р 59921.9-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования. Режим доступа: https://docs.cntd.ru/document/1200193730.

7 ГОСТ Р 59921.7-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования. Режим доступа: https://docs.cntd.ru/document/1200193728.

8 ГОСТ Р 59921.9-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования. Режим доступа: https://docs.cntd.ru/document/1200193730.

×

Об авторах

Дмитрий Валериевич Шутов

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: ShutovDV@zdrav.mos.ru
ORCID iD: 0000-0003-1836-3689
SPIN-код: 9381-2456

д.м.н.

Россия, Москва

Дарья Евгеньевна Шарова

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ShutovDV@zdrav.mos.ru
ORCID iD: 0000-0001-5792-3912
SPIN-код: 1811-7595
Россия, Москва

Лия Руслановна Абуладзе

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: AbuladzeLR@zdrav.mos.ru
ORCID iD: 0000-0001-6745-1672
SPIN-код: 8640-9989

м.н.с.

Россия, Москва

Дмитрий Владимирович Дроздов

Национальный медицинский исследовательский центр кардиологии

Email: cardioexp@gmail.com
ORCID iD: 0000-0001-7374-3604
SPIN-код: 2279-9657

к.м.н.

Россия, Москва

Список литературы

  1. Курзанов А.Н. Клиническая физиология: становление, цели, задачи, пределы компетентности, место в системе высшего профессионального медицинского образования // Международный журнал экспериментального образования. 2012. № 4–2. С. 128–130.
  2. Гусев А.В., Владзимирский А.В., Шарова Д.Е., и др. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. 2022. Т. 3, № 3. C. 178–194. doi: 10.17816/DD107367
  3. Al-Mousily M.F., Baker G.H., Jackson L., et al. The use of a traditional nonlooping event monitor versus a loan-based program with a smartphone ECG device in the pediatric cardiology clinic // Cardiovasc Digit Heal J. 2021. Vol. 2, N 1. P. 71–75. doi: 10.1016/j.cvdhj.2020.11.008
  4. Ding E.Y., Pathiravasan C.H., Schramm E., et al. Design, deployment, and usability of a mobile system for cardiovascular health monitoring within the electronic Framingham Heart Study // Cardiovasc Digit Heal J. 2021. Vol. 2, N 3. P. 171–178. doi: 10.1016/j.cvdhj.2021.04.001
  5. Bashar S.K., Hossain M.B., Lázaro J., et al. Feasibility of atrial fibrillation detection from a novel wearable armband device // Cardiovasc Digit Heal J. 2021. Vol. 2, N 3. P. 179–191. doi: 10.1016/j.cvdhj.2021.05.004
  6. Goodwin A.J., Eytan D., Greer R.W., et al. A practical approach to storage and retrieval of high-frequency physiological signals // Physiol Meas. 2020. Vol. 41, N 3. P. 035008. doi: 10.1088/1361-6579/ab7cb5
  7. Bartlett V.L., Ross J.S., Shah N.D., et al. Physical activity, patient-reported symptoms, and clinical events: Insights into postprocedural recovery from personal digital devices // Cardiovasc Digit Heal J. 2021. Vol. 2, N 4. P. 212–221. doi: 10.1016/j.cvdhj.2021.06.002
  8. Mishra S., Khatwani G., Patil R., et al. ECG paper record digitization and diagnosis using deep learning // J Med Biol Eng. 2021. Vol. 41, N 4. P. 422–432. doi: 10.1007/s40846-021-00632-0
  9. Kashou A.H., Mulpuru S.K., Deshmukh A.J., et al. An artificial intelligence-enabled ECG algorithm for comprehensive ECG interpretation: Can it pass the ‘Turing test’? // Cardiovasc Digit Heal J. 2021. Vol. 2, N 3. P. 164–170. doi: 10.1016/j.cvdhj.2021.04.002
  10. Wagner P., Strodthoff N., Bousseljot R.D., et al. PTB-XL, a large publicly available electrocardiography dataset // Sci Data. 2020. Vol. 7, N 1. P. 154. doi: 10.1038/s41597-020-0495-6
  11. Zheng J., Zhang J., Danioko S., et al. A 12-lead electrocardiogram database for arrhythmia research covering more than 10,000 patients // Sci Data. 2020. Vol. 7, N 1. P. 48. doi: 10.1038/s41597-020-0386-x
  12. М 80 Регламент подготовки наборов данных с описанием подходов к формированию репрезентативной выборки данных. Часть 1. Методические рекомендации / под ред. С.П. Морозова, А.В. Владзимирского, А.Е. Андрейченко, и др. Москва, 2022. 40 с. (Серия: Лучшие практики лучевой и инструментальной диагностики).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Блок-схема проведения клинических испытаний с использованием наборов данных (один из возможных вариантов реализации).

Скачать (130KB)
Метаданные
3. Рис. 2. Пример файла из демонстрационного набора данных ГОСТ Р 59921.9-2022 «Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний».

Скачать (332KB)
Метаданные

© Эко-вектор, 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.