Алгоритмизация консенсусной разметки очаговых изменений предстательной железы для проведения текстурного анализа.

Полный текст

Список сокращений

бпМРТ – бипараметрическая магнитно-резонансная томография

ИКД – измеряемый коэффициент диффузии

МРТ – магнитно-резонансная томография

DSC (Dice-Sørensen similarity coefficient) – коэффициент сходства Соренсена-Дайса

Т2-ВИ ― Т2-взвешенные изображения

Обоснование

Радиомический анализ является перспективным методом дифференциальной диагностики новообразований предстательной железы, так как диагностическая точность магнитно-резонансных томографий простаты в клинической практике варьирует в зависимости от протокола сканирования и опыта рентгенолога, интерпретирующего исследование [1, 2]. Применение радиомического анализа потенциально позволит избежать неоправданной  биопсии и сопряженных с ней осложнений [3], что особенно важно в случаях неопределенных очагов простаты [4]. Тем не менее, существует целый ряд сложностей для внедрения радиомики в рутинную практику, среди которых – отсутствие оптимального инструмента разметки [5, 6].

Наиболее доступным и часто применяемым методом сегментации очагов предстательной железы для последующего текстурного анализа на данный момент является ручной [7].

Одним из значимых недостатков ручного метода сегментации изображений является достаточно высокая вариабельность масок, созданных разными специалистами, и, как следствие, вариабельность извлеченных последующих текстурных показателей [8]. Для количественного определения степени подобия масок используется коэффициент сходства Соренсена-Дайса (Dice-Sørensen similarity coefficient, DSC), значение которого может составлять от 0 до 1, где 1 – полное пересечение масок. По данным M. Y. Chen и соавт. [9] при разметке патологических очагов предстательной железы на двух МР-исследованиях четырьмя врачами-рентгенологами DSC находился в пределах от 0,58 до 0,81. В исследовании T. Jeganathan и соавт. [10] отмечалась еще большая вариабельность результатов – при сегментации очагов простаты тремя рентгенологами на 64 исследованиях усредненное значение DSC составило 0,55. Столь невысокие значения DSC потенциально могут быть обоснованы низкой контрастностью или малыми размерами включенных в исследования патологических очагов. Однако, согласно данным публикаций [10, 11], даже для очагов с очень высокой вероятностью клинически значимого рака (PI-RADS 5), обладающих более четкими контурами и большими размерами, значительного повышения DSC отмечено не было.

Для стандартизации этапов сегментации патологических образований Европейское радиологическое сообщество (ESR) и Европейская организация по исследованию и лечению рака (EORTC) разработали рекомендации [12], согласно которым при ручной сегментации биомедицинских изображений необходима их итеративная независимая оценка несколькими разметчиками до момента предполагаемого достижения консенсуса и получения итоговой маски. При этом кратность итераций и необходимое количество операторов в рекомендациях не указаны.

Недостаточная детализация процесса достижения консенсуса отражается также в оригинальных исследованиях [13, 14, 15]. Согласно литературному анализу, ни в одной из опубликованных работ на момент написания текста описание методологии получения итоговой маски не позволяет достоверно воспроизвести полученные результаты.

Таким образом, несмотря на активно растущее количество исследований по радиомике предстательной железы [7], в мировой литературе все еще не представлено четких алгоритмов достижения консенсуса при сегментации патологических изменений простаты несколькими разметчиками.

 

Цели исследования – разработать алгоритм формирования консенсуса при независимой ручной разметке патологических очагов предстательной железы несколькими экспертами; оценить согласованность экспертов при сегментации очаговых изменений простаты.

 

Нулевые и альтернативные гипотезы исследования

	H0	Ha
1	Коэффициент сходства Дайса при разметке очагов простаты двумя экспертами будет меньше 0,75*	Коэффициент сходства Дайса при разметке очагов простаты двумя экспертами будет больше или равен 0,75*
2	Коэффициент корреляции между DSC и  категорией PI-RADS очага статистически значимо не отличается от нуля	Коэффициент корреляции между DSC и  категорией PI-RADS очага статистически значимо отличается от нуля

*обоснование выбранного пограничного значения отображено в разделе «Материалы и методы»

 

Материалы и методы

Дизайн исследования

Настоящее обсервационное одноцентровое ретроспективное исследование (Рисунок 1) выполнено на основании материалов ранее проведенного исследования по определению диагностической точности бипараметрического и мультипараметрического протоколов МРТ предстательной железы для детекции клинически значимого рака простаты [2].

В нашей работе были использованы бипараметрические магнитно-резонансные томографии (бпМРТ), так как согласно критериям METRICS (система балльной оценки качества исследований по радиомике) [16] для радиомического анализа целесообразно применение меньшего количества импульсных последовательностей, чтобы избежать переобучения модели.

Рисунок 1. Дизайн исследования.

Figure 1. Study design.

Критерия соответствия

Критерии включения: бипараметрические МР-исследования предстательной железы, выполненные по технической спецификации PI-RADS 2.1 с патологическими очагами, соответствующими категориям PI-RADS 3, 4, 5.

Критерии невключения: очаговые изменения предстательной железы, соответствующие категориям PI-RADS 1,2 по технической спецификации PI-RADS 2.1; исследования, не соответствующие стандарту PI-RADS 2.1.

Критерии исключения: исследования низкого качества (с наличием выраженных артефактов, затрудняющих интерпретацию).

Сбор данных

Для целей исследования был использован зарегистрированный набор данных с гистологической верификацией [17], который содержит 103 анонимизированных бпМРТ выполненных на томографе Siemens Aera 1,5 T 4G (Германия) по стандарту PI-RADS 2.1. После анализа всех изображений из набора данных были исключены 43 бпМРТ с очаговыми изменениями категорий PI-RADS 1, 2, соответствующих очень низкой и низкой вероятности клинически значимого рака простаты. В результате был сформирован набор данных, включающий в себя 60 исследован с 69 патологическими очагами, соответствующими критериям PI-RADS 3 и выше.

Эксперты

В разметке набора данных принимали участие два врача-рентгенолога (эксперта) с рентгенологическим стажем 9 и 12 лет, ранее имевших опыт в сегментации изображений лучевой диагностики.

Сегментация

Так как основной целью исследования являлась разработка алгоритма достижения консенсуса, а не точная детекция всех патологических очагов, то один из экспертов до начала процесса сегментации подготовил референсные снимки для каждого исследования, где схематически отметил интересующие патологические очаги на одном срезе, основываясь на градации PI-RADS очага и результатах мультифокальной фьюжн-биопсии (Рисунок 2). В дальнейшем разметка проводилась согласно этим изображениям на всех срезах, содержащих, по мнению разметчика, патологический очаг. Мы посчитали данный шаг оправданным как для удобства самих разметчиков, так и для уменьшения числа расхождений во время обработки результатов.

Рисунок 2. Референсные изображения со схематически отмеченным очагом в периферической зоне левой доли предстательной железы на Т2-ВИ и ИКД-карте.

Figure 2. Reference images with schematically presented prostate lesion in the left peripheral zone on T2-WI and ADC map. 

Разметка бпМРТ осуществлялась с помощью открытого бесплатного программного обеспечения 3D Slicer (версия 5.6.2) в расширении mpReview (Multiparametric Review), предназначенного для анализа и сегментации мультипараметрических исследований. Экспертами-рентгенологами независимо друг от друга создавалась маска отдельно для каждого очага предстательной железы ручным методом c использованием инструмента «контурная кисть» (Draw). Референсной импульсной последовательностью была выбрана T2-ВИ, так как для сопоставления масок сегментируемые изображения должны иметь одинаковое пространственное разрешение. Разметка производилась послойно с оценкой всего объема очага. Созданные маски сохранялись в формате NifTI (.nii).

Статистический анализ

Полученные от экспертов маски поочередно сопоставлялись с подсчетом коэффициента сходства Соренсена-Дайса. Распределение данных представлено в виде медианы и межквартильного интервала (Q1; Q3). Определение нормальности распределения данных проводилось с использованием теста Шапиро-Уилка. Для определения взаимосвязи между типом очага по PI-RADS и значением DSC использовался коэффициент ранговой корреляции Спирмена. Уровень значимости для статистических гипотез был принят равным 0,05. Расчеты производились в программном обеспечении RStudio (версия 4.1.2) [18].

Обоснование размера выборки

При наихудшем сценарии с максимальной разницей в DSC между разметчиками, равной единице, выборка, состоящая из 8 патологических очагов, будет достаточной для обеспечения статической мощности 80% при вероятности ошибки I рода 0,05.

Создание алгоритма консенсусной разметки

Так как на сегодняшний день в мировой литературе не представлено общепринятых граничных значений коэффициента Соренсена-Дайса при консенсусной разметке [12], нами принято решение взять пограничное значение, равное 0,75. В случае, если коэффициент Дайса был выше или равен 0,75, то площадь пересечения двух масок сохранялась, как итоговая. Если коэффициент Дайса составлял менее 0,75, то такие очаги предстательной железы подлежали повторному пересмотру совместно двумя экспертами с целью достижения консенсуса.

Нами был разработан алгоритм действий, подробно регламентирующий процесс формирования консенсуса по очагам, для которых коэффициент Дайса был меньше порогового значения (Рисунок 3). Маски, соответствующие данным очагам, были анонимизированы и расположены в случайном порядке. После washout-периода (периода вымывания) продолжительностью 1 месяц эксперты совместно просматривали данные маски (как свою, так и второго разметчика) в 3D Slicer, не обсуждая их друг с другом. Далее каждый эксперт давал независимую оценку всем маскам патологических очагов, выставляя либо 1 балл («маска соответствует»), либо 0 баллов («маска не соответствует»). Критерий «маска соответствует» в данном случае обозначает, что, по мнению эксперта, контуры маски в достаточной степени совпадают с границами очага. Если маска выбиралась единогласно двумя экспертами (то есть сумма баллов составляла 2), то она переходила на следующий этап. Если сумма баллов была равна 0 или 1, то маска исключалась.

После того, как обе маски конкретного патологического очага прошли этап голосования, были возможны следующие варианты формирования консенсуса:

1. если выбраны две маски, то площадь пересечения масок становится итоговой маской (расчет DSC представлен на рисунке 4а);
2. если выбрана одна из двух масок, то данная маска становится итоговой;
3. если исключены обе маски, то совместно двумя экспертами создается новая маска.

Во втором сценарии после прохождения алгоритма рассчитывался повторный DSC, представляющий собой отношение объема пересечения двух масок к объему выбранной (итоговой) маски (Рисунок 4б). В третьем варианте повторный DSC рассчитывался как отношение объема новой маски к суммарному объему двух предыдущих масок (Рисунок 4в, 4г).

 

 

Рисунок 3. Алгоритм достижения консенсуса.

Figure 3. The consensus algorithm.

 

 

Рисунок 4. Расчет DSC после прохождения алгоритма (а – если экспертами выбраны обе маски (сохраняется первичный DSC); б – если выбрана одна из двух масок; в, г – если создана новая маска (представлены возможные варианты: в – новая маска имеет пересечение с двумя предыдущими масками; г - новая маска пересекается только с одной из предыдущих масок)).

Figure 4. DSC calculation for after algorithm application (а – if both masks were chosen by experts (initial DSC is saved); б – if one of two masks was chosen; в,г – if a new mask was created (possible variations: в – a new mask overlaps with two previous masks; g – a new mask overlaps only with one of two previous masks)).

 

Результаты

Всего было проанализировано 60 бпМРТ, выполненных по стандарту PI-RADS 2.1 и содержащих 69 патологических очагов предстательной железы, соответствующих критериям PI-RADS 3, 4, 5. Распределение очагов по категориям PI-RADS выглядело следующим образом: PI-RADS 3 – 27 очагов (39%), PI-RADS 4 – 22 очага (32%), PI-RADS 5 – 20 очагов (29%).

После разметки набора данных для каждой пары масок было рассчитано исходное (базовое) значение коэффициента DSC. Распределение исходных значений DSC отображено на рисунке 5. Медиана DSC для всей выборки составила 0,61 при интерквантильном интервале (0,48; 0,73). Распределение DSC по категориям PI-RADS представлено в таблице 1.

Рисунок 5. Распределение исходных значений DSC.

Figure 5. Distribution of initial DSC values.

Таблица 1. Распределение исходных значений DSC по категориям PI-RADS очагов.

Table 1. Distribution of initial DSC values according to PI-RADS score.

Категория PI-RADS	DSC
PI-RADS 3	0,54 (0,37; 0,67)
PI-RADS 4	0,61 (0,52; 0,71)
PI-RADS 5	0,68 (0,59; 0,76)

Примечание. Данные представлены в виде медианы и межквартильного интервала (Q1; Q3).

 

Статистическое распределение значений DSC в зависимости от  категории PI-RADS очага отличается от нормального (тест Шапиро-Уилка p<0,001): для сравнения данных были выбраны непараметрические методы.

Результаты корреляционного анализа зависимости согласованности сегментации (значение DSC) от степени выраженности патологического процесса (категория PI-RADS) демонстрируют наличие слабой положительной статистически значимой связи (rho Спирмена 0,3 при p = 0,01): чем выше категория по PI-RADS, тем выше согласованность масок разметки.

Количество очагов, для которых DSC ≥ 0,75, составило 14 (20,2%). Маски остальных очагов (n=55, 79,8%) подлежали повторному пересмотру согласно алгоритму. Ранжирование по категории патологии в группе пересмотра: с PI-RADS 3 – 38% (21 случай), с PI-RADS 4 – 36% (20 случаев) и с PI-RADS 5 – 25% (14 случаев). Для группы пересмотра консенсус (Рисунок 3) был достигнут следующим образом:

• для 43 очагов в качестве итоговой единогласно была выбрана одна из двух масок;
• для 11 очагов итоговой стала вновь созданная маска, т.к. ни одна из масок не была одобрена обоими экспертами единогласно;
• для одного очага (DSC=0,56) итоговая маска была получена посредством пересечения двух исходных масок, т.к. каждая из масок была единогласно одобрена обоими экспертами.

Повторный расчет значений DSC для всей выборки после пересмотра 55 случаев продемонстрировал изменение значения DSC. В 27% случаев (n=15) определялось уменьшение значений DSC после применения алгоритма. Медиана DSC для всей выборки составила 0,74 (0,62; 0,79).

Результаты корреляционного анализа для выборки с учетом случаев пересмотра демонстрируют исчезновение статистически значимой связи (rho Спирмена ‑0,09 при p = 0,42) между категорией очага и значением DSC. Таким образом, после применения разработанного алгоритма согласованность масок разметки не зависит от категории очага.

Проведено статистическое сопоставление значений DSC на исходной выборке и новых данных (Рисунок 6а): медианное значение DSC статистически значимо возросло после применения консенсуса (односторонний парный тест Вилкоксона p=0,01). Корреляционный анализ зависимости модуля разности исходного и нового DSC от категории PI-RADS (Рисунок 6б) показал наличие статистически значимой слабой отрицательной связи (rho Спирмена ‑0,2 при p = 0,04). Таким образом, с ростом категории PI-RADS уменьшается абсолютный прирост DSC.

Рисунок 6. Сопоставление значений DSC до и после применения алгоритма консенсусной разметки: сравнение медиан (а) и связь с категорией PI-RADS.

Figure 6. Comparison of DSC values before and after consensus algorithm application: comparison of medians (a) and relationship to PI-RADS score.

 

Обсуждение

Резюме основного результата исследования:

В ходе исследования был разработан и апробирован алгоритм разметки патологических очагов предстательной железы, позволяющий стандартизировать и сделать прозрачным процесс достижения консенсуса.

Была изучена согласованность экспертов при ручной разметке патологических очагов простаты (медиана DSC 0,61 (0,48; 0,73)). Применение алгоритма консенсусной разметки обеспечило статистически значимый (p=0,01) прирост медианного значения DSC до 0,74 (0,62; 0,79).

Применение алгоритма консенсусной разметки позволило достичь инвариантности согласованности сегментации: слабая положительная связь (коэффициент корреляции Спирмена 0,3, p=0,01) между категорией PI-RADS очага и значением DSC, выявленная в исходной выборке, отсутствует (p=0,4) в выборке, полученной после пересмотра случаев с использованием разработанного алгоритма. Большая часть случаев, подлежащих пересмотру, принадлежала к третьей и четвертой категориям PI-RADS (74% суммарно).

Обсуждение основного результата исследования:

В данной работе представлена методология алгоритмизации консенсусной разметки очаговых изменений предстательной железы. Необходимость создания такого алгоритма обусловлена, во-первых, отсутствием в мировой литературе регламентированных правил достижения консенсуса, во-вторых, актуальностью подготовки наборов данных для различных целей, в частности, для построения и валидации радиомических моделей.

Разработанный алгоритм направлен в первую очередь на сегментацию объектов с низкой контрастностью относительно окружающих тканей [19], в данном случае – очаговые изменения предстательной железы. Применение алгоритмов автоматической сегментации для очагов простаты в рутинной практике ограничено, в особенности для неопределенных очагов градации PI-RADS 3.

Ручной метод сегментации очагов предстательной железы является оператор-зависимым, что подтверждается результатами нашей работы (медиана DSC=0,61 (0,48; 0,73)), которые согласуются с данными упомянутых выше исследований [9, 10]. По результатам подгруппового анализа исходной выборки определяется наличие слабой положительной зависимости между значением DSC и категорией PI-RADS очага (rho Спирмена 0,3 при p-value=0,01), то есть с повышением градации и контрастности [4] очага отмечается небольшое увеличение согласованности экспертов. Тем не менее, даже для очагов с высоким риском клинически значимого рака показатели DSC сохраняются весьма умеренными (медиана DSC 0,68 (0,59; 0,76)). Применение радиомического анализа наиболее целесообразно для очагов простаты c сомнительной вероятностью клинического значимого рака (PI-RADS 3), являющихся самыми сложными объектами для сегментации. Поэтому полученные результаты показывают необходимость разработки новых подходов к разметке подобных очагов, которые будут способствовать снижению оператор-зависимости метода.

Высокая вариабельность масок, полученных при сегментации несколькими экспертами, затрудняет обеспечение воспроизводимости текстурных показателей [8]. В связи с этим, с целью минимизации вариабельности масок и получения «золотого стандарта» (ground truth) необходимо участие нескольких разметчиков с последующим формированием консенсуса.

На сегодняшний день в мировом научном сообществе не представлено стандартизированных протоколов по консенсусной разметке. Зачастую описание процесса достижения согласия ограничивается упоминанием термина «консенсус» без дальнейших разъяснений, как именно происходил выбор границ маски [13, 14, 15].  В работе R. Cuocolo и соавт. для разрешения сложных случаев приглашался дополнительный эксперт, который мог как скорректировать предложенные маски, так и создать новые [13]. Данный подход полностью зависит от квалификации приглашенного эксперта и оставляет простор для субъективных решений, не подвергаемых проверке и сомнению.

В вышеупомянутых рекомендациях ESR и EORTC [12] предлагается подход, заключающийся в поочередной коррекции одной маски двумя или более экспертами до предполагаемого момента формирования консенсуса. Очевидными ограничениями этого метода являются отсутствие указания необходимого числа итераций и четких критериев того, какую маску можно считать итоговой.

На подходе итеративной коррекции масок основана работа B. Kocak и соавт. [20] по оценке воспроизводимости текстурных показателей на основании консенсусной разметки патологических образований гипофиза, молочных желез и почек. В исследовании принимали участие 12 рентгенологов с различным опытом работы, при этом врачи с большим медицинским стажем корректировали маски менее опытных коллег. То есть финальное решение оставалось за наиболее опытным врачом (заведующим отделения лучевой диагностики). Однако, стоит отметить, что для экспертов, осуществляющих сегментацию, более важен опыт разметки биомедицинских изображений, а не общий медицинский или рентгенологический стаж [12].

Отличительной особенностью разработанного в ходе настоящего исследования алгоритма является подробная документация всех этапов консенсусной разметки, которая делает процесс сегментации прозрачным и понятным для врачей-рентгенологов. Помимо этого, в разметке изображений не требуется участие дополнительных экспертов, что поможет снизить предвзятость результатов. Применение алгоритма позволяет добиться статистически значимого увеличения согласия между разметчиками: медиана DSC возросла с 0,61 до 0,74 при использовании консенсусной разметки. Ожидаемо, большая часть пересмотренных случаев (78 %) относилась к категориям PI-RADS 3 и 4. Статистически значимый прирост значения DSC для всей выборки и для данных категорий, в частности, подтверждается результатами сопоставления групп и корреляционным анализом (Рисунок 5). Разработанный алгоритм может стать удобным инструментом в сегментации медицинских изображений для подготовки наборов данных.

Для определения оптимального срока washout-периода с целью его возможного сокращения требуется проведение отдельных исследований. Насколько нам известно, на сегодняшний день в отечественной и зарубежной литературе не представлено работ, изучающих продолжительность washout-периода при сегментации биомедицинских изображений.

Ограничения исследования

Наше исследование имеет несколько ограничений. Во-первых, пороговое значение DSC было установлено равным 0,75 на основании экспертного мнения коллектива авторов в отсутствие референсных значений по данным литературных исследований. Во-вторых, washout-период продолжительностью в один месяц не позволяет полностью исключить предвзятости экспертов. В-третьих, нам не удалось полностью избежать этапа свободного обсуждения в одном из сценариев алгоритма, когда экспертами отвергаются обе маски. Возможным вариантом решения данной проблемы, при наличии временных ресурсов, может стать повторное прохождение алгоритма для подобных очагов. В-четвертых, в исследовании принимали участие всего два врача-рентгенолога, поэтому требуется дальнейшее тестирование алгоритма с участием большего количества специалистов, в том числе на объектах других анатомических локализаций.

Помимо этого, при анализе опубликованных работ, посвященных радиомическому анализу и сегментации исследований лучевой диагностики, отмечается неоднозначное толкование термина «консенсус» разными авторами. Методам консенсуса в системе здравоохранения посвящена публикация J.Jones и D.Hunter [21], где указано, что целью консенсуса является определение степени согласия группы экспертов по конкретной теме или проблеме. К одному из важнейших качеств методов консенсуса относится анонимность, позволяющая избежать доминирования мнения одного из участников. Другими ключевыми характеристиками методов консенсуса являются итеративность процесса, предоставление ответов других экспертов и наличие обратной связи. Исходя из этого определения, применяемые в сегментации медицинских изображений методы консенсуса не в полной мере соответствуют заявленным качествам, в частности, принципу анонимности. Таким образом, можно сделать вывод, что в разметке медицинских изображений, в том числе и в нашем исследовании, используются лишь различные вариации консенсус-подобных методов.

 

Заключение

Разработанный алгоритм достижения консенсуса при ручной сегментации очаговых изменений предстательной железы подробно документирует каждый этап и способствует снижению субъективного влияния разметчиков на конечный результат за счет исключения этапа, когда финальное решение принимается только одним экспертом. Данный алгоритм может стать полезным инструментом в исследованиях по текстурному анализу и помочь внедрению радиомики в рутинную практику. Помимо этого, алгоритм демонстрирует необходимость разработки новых подходов к сегментации биомедицинских изображений, снижающих влияние человеческого фактора.

Полученные результаты в очередной раз показывают высокую оператор-зависимость ручного метода при сегментации патологических очагов предстательной железы. Вместе с тем, с повышением градации PI-RADS очага определяется небольшое увеличение согласованности экспертов между собой.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Мария Олеговна Романенко

ГБУЗ "НПКЦ ДиТ ДЗМ"

Автор, ответственный за переписку.
Email: mariarom7@list.ru
ORCID iD: 0009-0006-1557-0374

Младший научный сотрудник Сектора исследований в лучевой диагностике Отдела научных медицинских исследований

Россия, г. Москва, ул. Петровка, д. 24с1

Мария Романовна Коденко

Научно-практический клинический центр диагностики и телемедицинских технологий; Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)

Email: KodenkoMR@zdrav.mos.ru
ORCID iD: 0000-0002-0166-3768
SPIN-код: 5789-0319
Россия, Москва; Москва

Павел Борисович Гележе

Научно-практический клинический центр диагностики и телемедицинских технологий; Акционерное общество «Европейский Медицинский Центр»

Email: gelezhe.pavel@gmail.com
ORCID iD: 0000-0003-1072-2202
SPIN-код: 4841-3234
Россия, Москва; Москва

Иван Андреевич Блохин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: i.blokhin@npcmr.ru
ORCID iD: 0000-0002-2681-9378
SPIN-код: 3306-1387
Россия, Москва

Роман Владимирович Решетников

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: r.reshetnikov@npcmr.ru
ORCID iD: 0000-0002-9661-0254
SPIN-код: 8592-0558

канд. ф.-м. наук

Россия, Москва

Список литературы