Diagnostic accuracy of artificial intelligence for the screening of prostate cancer in biparametric magnetic resonance imaging: a systematic review

Full Text

ОБОСНОВАНИЕ

В настоящее время, по данным литературы на 2020 г., распространённость рака предстательной железы (РПЖ) в мире составляет 1 414 259 новых случаев в год и 15,1% от всех выявленных злокачественных новообразований среди мужчин [1]. По последним опубликованным данным в 2021 г. в России зарегистрировано 40 137 новых случаев РПЖ, и в мужской популяции он занимает второе место после рака лёгкого [2].

Таким образом, РПЖ является одним из наиболее распространённых злокачественных новообразований у мужчин. В этих условиях точное и своевременное выявление РПЖ приобретает особую важность. Решающее значение имеет разделение пациентов с разным прогнозом для определения стратегии лечения и подбора вариантов активного наблюдения.

В данный момент, согласно актуальным клиническим рекомендациям, современные подходы к первичной диагностике РПЖ строятся на комбинации нескольких методов исследования: физикального осмотра (пальцевое ректальное исследование — ПРИ), а также лабораторно-инструментальных исследований, таких как уровень простатспецифического антигена (ПСА, PSA) и плотность ПСА (PSAD) в сыворотке крови, трансректальное ультразвуковое исследование (УЗИ), компьютерная томография (КТ) и мультипараметрическая магнито-резонансная томография (мпМРТ), а также сведения о семейном анамнезе.

Тем не менее, несмотря на такой подход к диагностике РПЖ, выявление данной патологии остаётся сложной задачей. Это обусловлено низкой чувствительностью и специфичностью некоторых методов. Например, у 70–80% пациентов с повышенной концентрацией ПСА (>4 нг/ мл) нет РПЖ [3]. УЗИ является базовым диагностическим методом, но играет ограниченную роль в выявлении РПЖ, поскольку очаговые поражения видны лишь у небольшой части пациентов (11–35%). Среди них лишь часть (17–57%) впоследствии оказывается опухолью.

Внедрение стандартизированной шкалы PI-RADS позволило вывести мпМРТ предстательной железы из дополнительных методов стадирования в инструмент первичной диагностики и активного наблюдения. Недавнее исследование выявило, что мпМРТ с применением PI-RADS v2.1 имеет хорошую чувствительность, специфичность и ROC-AUC 85,2%/72,4%/0,84, 62,9%/85,5%/0,83 и 92,4%/53,6%/0,82 при корректировке категорий PI-RADS для порога PSAD 0,10, 0,15 и 0,20 нг/(мл×мл) для обнаружения клинически значимого РПЖ [4]. Именно поэтому в настоящее время мпМРТ занимает лидирующее место и является методом выбора в диагностике РПЖ. Однако, несмотря на эти достижения, метод по-прежнему имеет ряд недостатков: высокую стоимость, нестабильное качество изображений, умеренную специфичность и воспроизводимость [5, 6]. Для устранения ограничений данного метода вместо мпМРТ стали применять бипараметрическую МРТ (бпМРТ), которая содержит такие же последовательности (как T2-взвешенные и диффузионно-взвешенные изображения, а также измеряемые коэффициенты диффузии: Т2-ВИ, ДВИ и ИКД соответственно), но исключает протокол динамического контрастного усиления (ДКУ, DCE — Dynamic Contrast Enhanced), который требует проведения инвазивного дорогостоящего вмешательства.

Для исключения вариабельности интерпретации результатов между исследователями стали использовать радиомику и искусственный интеллект, в частности алгоритмы машинного обучения (МО) [7]. В последние годы было опубликовано несколько систематических обзоров, где объектом изучения стали радиомика и МО на основе мпМРТ и бпМРТ [8–11].

Однако все эти исследования имели другие задачи, такие как оценка выявления только клинически значимого рака или разные комбинации оценки радиомики на основе не только бпМРТ, но и мпМРТ. Ранее собранная в систематических обзорах информация не содержит метаанализа для получения обобщённых данных по проведённым исследованиям. Таким образом, всё вышеперечисленное делает актуальным поиск возможностей увеличения точности бпМРТ для диагностики РПЖ и обобщения проведённых исследований на основе метаанализа.

Цель исследования — оценка качества прогностических моделей, построенных для выявления РПЖ при первичном обращении.

МАТЕРИАЛЫ И МЕТОДЫ

Протокол и регистрация

Протокол систематического обзора не был зарегистрирован ни в одной базе данных до начала данного исследования.

Поиск публикаций и отбор исследований

Алгоритм поиска произведён в соответствии с протоколом для систематических обзоров и метаанализов (PRISMA). Поиск литературы был выполнен в пяти специализированных поисковых системах научной информации: eLibrary.ru, PubMed, Google Scholar, Web of Science и ResearchGate. Для анализа отбирали статьи, опубликованные в период с января 2019 г. по сентябрь 2023 г. Последний поиск осуществлялся 24 сентября 2023 г.

Поисковый запрос состоял из трёх основных частей. Первая часть была посвящена РПЖ и включала два ключевых слова: «простата» и «рак простаты». Вторая часть была посвящена использованию МРТ с помощью двух ключевых слов: «МРТ» и «магнитный», а третья часть была посвящена радиомике и искусственному интеллекту и включала 5 ключевых фраз: «радиомика», «машинное обучение», «глубокое обучение», «искусственный интеллект» и «модель». Стратегия поиска: #1 AND #2 AND #3. Подробная информация доступна в табл. 1.

 

Таблица 1. Ключевые слова для поиска в электронных базах данных: eLibrary, PubMed, Google Scholar, Web of Science и Research Gate

Русский язык	Английский язык
«простата» ИЛИ «рак простаты»	«prostate» OR «prostate cancer»
«МРТ» ИЛИ «магнитный»	«MRI» OR «magnetic»
«радиомика» ИЛИ «машинное обучение» ИЛИ «глубокое обучение» ИЛИ «искусственный интеллект» ИЛИ «модель»	«radiomic» OR «machine learning» OR «deep learning» OR «artificial Intelligence» OR «model»

 

Критерии включения/исключения

Согласно поставленной цели поиска, в исследование были включены оригинальные статьи и полный текст на русском или английском языках. Монографии, обзоры, метаанализы, описания отдельных случаев, мнения экспертов, исследования, результаты которых опубликованы только в форме тезисов, а также исследования на животных или исследования эффективности диагностики были исключены из анализа. Кроме того, из раздела скрининга были исключены статьи, в которых недостаточно внимания уделялось реализации алгоритмов МО, исследованию РПЖ и результатам моделирования. Следует подчеркнуть, что количество включённых в исследования пациентов не являлось для нас определяющим фактором отбора.

Критерии включения: оригинальная статья; наличие полного текста статьи; статья на русском или английском языке.

Критерии исключения: монография; обзор, систематический обзор или метаанализ; тезисы конференции; описание отдельных случаев; исследования на животных; исследования эффективности диагностики.

Извлечение и синтез данных исследований

При первичном отборе с использованием вышеописанных поисковых запросов было получено 836 публикаций. Извлечённые данные были собраны в базу данных (Microsoft Excel 365). Названия и аннотации потенциально подходящих исследований проверялись двумя исследователями на предмет соответствия критериям поиска, а разногласия обсуждались с третьим рецензентом для достижения консенсуса.

Затем исследователями были проанализированы полные тексты статей. Для каждого исследования регистрировались следующие данные: первый автор, год публикации, количество случаев, возраст, тип проведённого анализа, количество положительных и отрицательных случаев. Была собрана информация, касающаяся радиомики и метода МО, включённых последовательностей в МРТ-исследование, деталей сегментации поражений, этапов предварительной обработки данных, количества извлечённых признаков, процесса отбора признаков, модели прогнозирования и стратегии проверки. Минимальный размер выборки пациентов в исследованиях для включения в систематический обзор не был выбран.

Исследование включалось, если были соблюдены все следующие критерии.

1. Был представлен анализ, направленный на выявление РПЖ в противовес доброкачественным образованиям, таким как доброкачественная гиперплазия предстательной железы (ДГПЖ), определяемая как балл Глисона (GS) менее 6, поставленным на основе биопсии или по результатам гистологии после радикальной простатэктомии.
2. Была предоставлена информация о включённых последовательностях в МРТ-исследование; последовательность ДКУ не была включена в итоговую модель.
3. Были представлены использованные алгоритмы МО для выявления РПЖ.
4. Была предоставлена информация о площади под кривой ROC (ROC-AUC) и общем количестве пациентов, количестве положительных и отрицательных результатов, определяемых как PСa (РПЖ — злокачественное образование) и доброкачественные процессы (non-PСa).

Если образование анализировалось отдельно на основе местоположения переходной (TZ — transition zone) или периферической зоны (PZ — peripheral zone), то в метаанализ были включены результаты обеих моделей. Исследования, в которых не использовались МО или содержалось недостаточно данных, не были включены в метаанализ.

Статистический анализ

Точность прогнозирования (предсказание наличия РПЖ) была количественно оценена с использованием ROC-AUC [12]. Для каждого из включённых исследований ROC-AUC была получена с соответствующими 95% доверительными интервалами (ДИ). Стандартную ошибку (SE — standard error) для ROC-AUC рассчитывали на основе формул, представленных в Cochrane Handbook for Systematic Reviews (handbook-5-1.cochrane.org) [13]. Результаты метаанализа представлены в виде блобограммы (forest plot).

Значение I², полученное на основании метода Хиггинса–Томпсона (Higgins–Thompson), использовалось для оценки статистической гетерогенности, которая обеспечивала оценку процента вариабельности включённых в метаанализ исследований. Значения I² 0–25%, 26–50%, 51–75% и >75% представляют собой очень низкую, низкую, среднюю и высокую гетерогенность соответственно. Статистика I² описывает процент вариаций между исследованиями, обусловленных скорее гетерогенностью, чем случайностью [14]. Анализ подгрупп проводился при наличии высокой гетерогенности.

Вес каждого исследования рассчитывался с помощью метода обратной дисперсии, в котором вес, присвоенный каждому исследованию, выбирается равным обратному значению дисперсии оценки эффекта, что минимизирует неопределённость оценки объединенного эффекта [13]. Было выполнено объединение исследований и оценена величина эффекта с использованием модели случайных эффектов, которая позволяет оценить распределение истинных эффектов между исследованиями с учётом гетерогенности [15].

Различия считались статистически значимыми при p <0,05. Метаанализ данных проводился с использованием свободного программного обеспечения OpenMeta[Analyst] (Brown University, Providence, Rhode Island, США).

РЕЗУЛЬТАТЫ

Поиск литературы и извлечение данных

Первоначальный поиск выявил 2468 потенциально подходящих исследований. После удаления 1632 дубликатов исследователями были проанализированы 836 публикаций. После оценки названия и аннотаций 769 статей были исключены, поскольку они не соответствовали целям поиска. Таким образом, 67 полнотекстовых статей были оценены каждым исследователем на предмет приемлемости. После доработки было ещё исключено 46 статей, осталась 21 статья [16–36]. Полный алгоритм поиска литературы представлен на рис. 1.

 

Рис. 1. Блок-схема процесса обзора публикаций и отбора исследований. РПЖ — рак предстательной железы; МО — машинное обучение; МРТ — магнитно-резонансная томография; DCE (Dynamic Contrast Enhanced) — динамическое контрастное усиление; ROC-AUC — площадь под ROC-кривой.

 

Исходные характеристики включённых исследований показаны в табл. 2 и 3.

 

Таблица 2. Исходная характеристика включённых исследований (часть 1)

Автор	Год	Название журнала	N	РПЖ (n)	не-РПЖ (n)	Возраст	Протоколы МРТ	Зона ПЖ
He [32]	2021	Cancer Imaging	459	273	186	—	Т2WI, ADC	—
Chen [31]	2019	Journal of Magnetic Resonance Imaging	381	182	199	(55–90)	Т2WI, DWI, ADC	—
Jamshidi [33]	2022	MAGMA	32	11	21	—	Т2WI	—
Han [30]	2022	Medical Science Monitor	84	32	52	70 [65–76]	Т2WI, DWI, ADC	—
Ayyad [29]	2022	Sensors	80	37	43	65,7	Т2WI, DWI, ADC	—
Li [28]	2023	Physics in Medicine and Biology	76	38	38	60 (36–76)	Т2WI, DWI, ADC	—
Jin [27]	2023	BMC Med Imaging	463	152	311	62,6±8,2	Т2WI, DWI, ADC	TZ, PZ
Aussavavirojekul [34]	2022	Prostate	101	31	70	70±5,79	Т2WI, DWI, ADC	—
Giambelluca [35]	2020	Current Problems in Diagnostic Radiology	46	19	27	65±7 (49–80)	Т1WI, Т2WI, DWI, ADC	TZ, PZ
Viswanath [36]	2019	BMC Med Imaging	85	—	—	—	Т2WI, DWI, ADC	PZ
Ji [26]	2021	Physical and Engineering Sciences in Medicine	459	273	186	—	Т2WI, ADC	—
Hu [25]	2021	European Radiology	136	73	63	72 (49–89)	Т2WI, DWI, ADC	TZ, PZ
McGarry [24]	2019	Tomography	48	16	32	60 (45–71)	Т2WI, DWI, ADC	—
Ou [23]	2020	Anticancer Research	153	67	86	66,84±0,54	Т2WI	—
Zhong [22]	2023	Scientific Reports	171	66	105	68	Т2WI, DWI, ADC	TZ, PZ
Wu [21]	2019	Journal of Magnetic Resonance Imaging	105	44	61	68±7	Т2WI, ADC	TZ
Zhou [20]	2022	Journal of Computer Assisted Tomography	75	—	—	—	DWI, ADC	TZ
Lu [19]	2022	Frontiers in Oncology	136	49	87	67,3±8,4 (38–86)	Т2WI, ADC	TZ
Gui [18]	2022	Frontiers in Oncology	146	66	80	71±7,2	Т2WI, DWI	—
Li [17]	2021	Frontiers in Oncology	203	112	91	66±7,6 (36–85)	Т2WI, DWI, ADC	TZ, PZ
Woźnicki [16]	2020	Sensors	191	89	102	69 [63; 74]	Т2WI, ADC	TZ, PZ

Примечание. РПЖ — рак предстательной железы; ПЖ — предстательная железа; МРТ — магнитно-резонансная томография; Т2WI (T2 weighted image) — Т2-взвешенные изображения; DWI (diffusion-weighted imaging) — диффузионно-взвешенные изображения; ADC (apparent diffusion coefficients) — измеряемые коэффициенты диффузии; TZ (transition zone) — переходная зона; PZ (peripheral zone) — периферическая зона.

 

Таблица 3. Исходная характеристика включённых исследований (часть 2)

Автор	Год	Нормализация данных	Мультиколлинеарность	Выбор переменных	Тестирование, %	Кросс-валидация	Тест Де Лонга	Коррекция дисбаланса классов	Алгоритм МО
He [32]	2021	—	—	LASSO	30	10	—	—	MLR
Chen [31]	2019	—	Rs	LASSO	30	—	—	SMOTE	MLR
Jamshidi [33]	2022	—	—	—	—	—	—	—	KNN, CNN, DT, LDA
Han [30]	2022	—	—	—	—	—	+	—	MLR
Ayyad [29]	2022	—	—	—	—	5, 10	—	—	SVM, RF, DT, LDA
Li [28]	2023	—	—	LASSO	—	—	—	—	LDA
Jin [27]	2023	—	Rs ≥,9	ANOVA	17	—	—	SMOTE	SVM
Aussavavirojekul [34]	2022	—	—	—	—	—	—	—	MLR, SVM, NB, RF, XGB
Giambelluca [35]	2020	—	—	—	—	10	—	—	MLR
Viswanath [36]	2019	+	—	—	—	3	—	—	QDA, SVM, NB, DT
Ji [26]	2021	—	Rs ≥0,9	WRST, MRMR	48	10	—	—	SVM, RF, MLR
Hu [25]	2021	—	—	LASSO	—	—	+	—	MLR
McGarry [24]	2019	—	—	—	—	—	—	—	MLR
Ou [23]	2020	—	—	—	—	—	—	—	MLR
Zhong [22]	2023	—	—	LASSO, DT	30	—	+	—	MLR
Wu [21]	2019	—	—	—	—	10	+	—	MLR, SVM
Zhou [20]	2022	—	—	—	—	—	—	—	MLR
Lu [19]	2022	+	Rp >0,99	RFE	30	5	+	—	MLR, RF, SVM, LASSO, LDA, NB, KNN
Gui [18]	2022	+	Rs >0,9	LASSO	29	—	+	—	MLR
Li [17]	2021	+	—	ANOVA, LASSO	31	—	+	—	MLR
Woźnicki [16]	2020	—	Rs	—	21	5	—	—	MLR, SVM, RF, XGB, CNN

Примечание. МО — машинное обучение; Rs — коэффициент корреляции Спирмена; Rp — коэффициент корреляции Пирсона.

 

В итоге в систематический обзор и метаанализ было включено 21 исследование. Количество пациентов в 21 включённом исследовании варьировало от 32 до 463. Таким образом, всего в исследовании участвовало 3 630 пациентов, из них 47% пациентов с РПЖ и 53% с доброкачественными образованиями предстательной железы. Возраст пациентов в среднем составил 67,1 года (в диапазоне от 36 до 90 лет). В 81% случаев исследования были проведены по протоколу Т2-ВИ, в 57% — ДВИ и в 76% — ИКД. Из всех исследований, 43% изучают образования в TZ, 33% — в PZ простаты. В 52% работ исследователи не указали, какую зону простаты они изучали.

В 4 (19%) исследованиях была проведена предобработка данных в виде нормализации полученных данных радиомики. В 6 (29%) исследованиях была проведена проверка данных на мультиколлинеарность: в 5 исследованиях использовался коэффициент корреляции Спирмена (Rs), и в одном — коэффициент корреляции Пирсона (Rp). В основном мультиколлинеарность оценивали, если коэффициент корреляции был более 0,9.

В 10 (48%) исследованиях была проведена процедура выбора наиболее значимых переменных. Чаще всего это было сделано с помощью LASSO (Least Absolute Shrinkage and Selection Operator), также использовались ANOVA (Analysis of Variance), DT (Decision Tree), RFE (Recursive Feature Elimination), WRST (Wilcoxon RankSum Test) и MRMR (Minimum Redundancy Maximum Relevance).

В 9 (43%) исследованиях была выделена тестовая выборка, на которой было проведено тестирование построенной прогностической модели. Тестовая выборка варьировалась в диапазоне от 17 до 48%. В 8 (38%) исследованиях была проведена кросс-валидация для выбора оптимальных моделей на основании подбора гиперпараметров для повышения точности модели.

В 7 (33%) исследованиях применялся тест Де Лонга (DeLong test) для оценки различия ROC-AUC построенных моделей. В 2 (10%) исследованиях была проведена коррекция дисбаланса классов при построении прогностических моделей методом SMOTE (Synthetic Minority Over-sampling Technique) [37].

Анализ показал, что наиболее часто авторы используют в своих исследованиях следующие алгоритмы МО: MLR (Multiple Logistic Regression) (76%), SVM (Support Vector Machine) (38%) и RF (Random Forest) (24%). Более детально данные представлены на рис. 2.

 

Рис. 2. Доля использованных алгоритмов машинного обучения в исследованиях. MLR — Multiple Logistic Regression; SVM — Support Vector Machine; RF — Random Forest; LDA — Linear Discriminant Analysis; DT — Decision Tree; NB — Naive Bayesian; KNN — K Nearest Neighbors; CNN — Convolutional Neural Network; XGB — eXtreme Gradient Boosting; QAD — Quadratic Discriminant Analysis.

 

Общий анализ

По данным проведенного систематическрнр обзора с метаанализом оценки ROC-AUC в 73 прогностических моделях, описанных в изученных публикациях, с использованием метода случайных эффектов, мы выяснили, что итоговое значение ROC-AUC составило 0,793 (95%CI 0,768–0,818), I²=86,71%, p <0,001 (рис. 3).

 

Рис. 3. Блобограмма отдельных прогностических моделей для объединённой площади под кривой (ROC-AUC) и 95% доверительный интервал характеристики рака предстательной железы. Горизонтальные линии представляют 95% доверительный интервал точечных оценок. Каждый сплошной прямоугольник представляет значение ROC-AUC отдельных моделей, а размер прямоугольника указывает на вес исследования. Ромб означает объединённое значение ROC-AUC всех 73 моделей в 21 исследовании. Пунктирная линия обозначает среднее значение ROC-AUC. TZ — переходная зона; PZ — периферическая зона, PZ-TZ — периферическая и переходная зоны.

 

Анализ в подгруппах

Анализ полученных в ходе исследования данных по подгруппам показал следующие результаты.

В разрезе по использованному протоколу МРТ-исследования для построения прогностической модели значения ROC-AUC существенно различались: наиболее точные прогностические модели были построены на основании данных бпМРТ радиомики и данных лабораторных и инструментальных исследований пациента (Radiomics-Laboratory-Instrumental: 0,869 [95%CI 0,844–0,895]). Кроме того, важно отметить, что оценки ROC-AUC построенных моделей имели низкую гетерогенность (I²=22,71%, p=0,227). Чаще всего в исследованиях в качестве данных лабораторных и инструментальных исследований использовались значения PSA, PSAD, PV (объём простаты) или PI-RADS. Следует также отметить высокую точность моделей, построенных с использованием протоколов T2WI+ADC: 0,860 [95%CI 0,813 – 0,907], I²=78,36%, p <0,001 (рис. 4). Остальные протоколы показали более низкую точность:

T2WI: 0,735 [95%CI 0,681–0,789], I²=87,73%, p <0,001;

ADC: 0,764 [95%CI 0,720–0,808], I²=81,36%, p <0,001;

T2WI+DWI+ADC: 0,791 [95%CI 0,718–0,865], I²=89,5%, p <0,001;

DWI: 0,742 [95%CI 0,456–1,028], I²=94,51%, p <0,001;

T2WI+DWI: 0,840 [95%CI 0,720–0,960].

 

Рис. 4. Блобограмма отдельных прогностических моделей для объединённой площади под кривой (ROC-AUC) и 95% доверительный интервал характеристики рака предстательной железы. Горизонтальные линии представляют 95% доверительный интервал точечных оценок. Каждый сплошной прямоугольник представляет значение ROC-AUC отдельных моделей, а размер прямоугольника указывает на вес исследования. Ромб означает объединённое значение ROC-AUC всех 73 моделей в 21 исследовании. Пунктирная линия обозначает среднее значение ROC-AUC. TZ — переходная зона; PZ — периферическая зона, PZ-TZ 0151 периферическая и переходная зоны. T2WI — Т2-взвешенные изображения, DWI — диффузионно-взвешенные изображения, ADC — измеряемые коэффициенты диффузии.

 

Если посмотреть на построенные модели исключительно с использованием радиомических характеристик и моделей, построенных на основе радиомики и клинических данных пациента, то метаанализ показал, что комбинированные модели оказались более точны:

Radiomics-Clinical: 0,869 [95%CI 0,844–0,895], I²=22,71%, p=0,227;

Radiomics: 0,779 [95%CI 0,751–0,807], I²=87,38%, p <0,001.

В разрезе по зоне исследования простаты значения ROC-AUC существенно не различались:

PZ-TZ: 0,797 [95%CI 0,763–0,831], I²=88,12%, p <0,001;

PZ: 0,789 [95%CI 0,637–0,942], I²=90,3%, p <0,001;

TZ: 0,786 [95%CI 0,749–0,823], I²=82,45%, p <0,001.

При рассмотрении прогностических моделей в зависимости от алгоритма их построения, выяснилось, что модели, построенные на основе алгоритма искусственного интеллекта CNN, оказались наиболее точными и показали наилучшие результаты (0,856 [95%CI 0,574–1,138]). Однако модели, построенные на основе CNN, оказались нестабильными в своей работе и наиболее гетерогенными (I²=95,75%, p <0,001). На втором месте шли модели, построенные на основе алгоритма MLR (0,852 [95%CI 0,822; 0,883], I²=80,89%, p <0,001). Они показывают более стабильную работу. Модели, построенные с помощью следующих алгоритмов, оказались ниже среднего значения ROC-AUC в данном метаанализе:

SVM: 0,732 [95%CI 0,668–0,796], I²=87,87%, p <0,001;

RF: 0,727 [95%CI 0,662–0,793], I²=77,29%, p <0,001;

DT: 0,755 [95%CI 0,667–0,843], I²=71,07%, p <0,001;

LDA: 0,796 [95%CI 0,714–0,879], I²=79,95%, p <0,001;

NB: 0,662 [95%CI 0,498–0,826], I²=93,86%, p <0,001;

XGB: 0,778 [95%CI 0,720–0,837], I²=0%, p=0,533;

QDA: 0,683 [95%CI 0,601–0,765];

LASSO: 0,735 [95%CI 0,666–0,804], I²=28%, p=0,239;

KNN: 0,720 [95%CI 0,662–0,778], I²=0%, p=0,501.

В разрезе по открытости прогностической модели («белый ящик» — легко интерпретируемая модель — Open model; «чёрный ящик» — Close model), значения ROC-AUC существенно различались:

Open model: 0,834 [95%CI 0,806–0,861], I²=81,76%, p <0,001;

Close model: 0,733 [95%CI 0,695–0,771], I²=85,81%, p <0,001.

Кроме того, интересным представляется анализ процесса построения прогностических моделей. Было изучено, использовали ли авторы публикаций следующие приёмы.

1. Проверка признаков на мультиколлинеарность, т.к. включение в модель признаков, сильно коррелирующих между собой, может привести к тому, что они начинают компенсировать друг друга, затрудняя выявление независимого влияния каждой: становится трудно определить степень влияния каждой из них на исход. Исключение сильно коррелированных переменных также полезно для уменьшения размерности модели. Вместо того, чтобы включать в модель обе переменные, следует выбрать одну, которая больше воздействует на исход, и отбросить другую.

В разрезе по проведению проверки переменных на мультиколлинеарность при построении прогностической модели значения ROC-AUC существенно различались:

NO Test Multi-collinearity: 0,828 [95%CI 0,791–0,864], I²=85,32%, p <0,001;

Test Multi-collinearity: 0,762 [95%CI 0,729–0,795], I²=86,64%, p <0,001.

2. Отбор наиболее значимо влияющих на исход переменных (снижение размерности).

Значения ROC-AUC при построении модели с отбором таких переменных и без него значительно не различались:

Feature processing: 0,790 [95%CI 0,756–0,823], I²=88,12%, p <0,001;

NO Feature processing: 0,798 [95%CI 0,768–0,837], I²=84,58%, p <0,001.

3. Использование тестовой выборки. Было отмечено, что точность моделей, проверенных на тестовых выборках, несколько ниже, чем у тех моделей, которые не проверялись на тестовой выборке:

Test set: 0,782 [95%CI 0,751–0,812], I²=86,95%, p <0,001;

NO Test set: 0,812 [95%CI 0,768–0,856], I²=86,5%, p <0,001.

4. Кросс-валидация. В нашем метаанализе не обнаружена значимая разница в точности построенных моделей на основании ROC-AUC:

Cross-validation: 0,771 [95%CI 0,745–0,796], I²=80,43%, p <0,001;

NO Cross-validation: 0,833 [95%CI 0,779–0,887], I²=90,94%, p <0,001.

ОБСУЖДЕНИЕ

Целью данного систематического обзора была оценка качества прогностических моделей, построенных для выявления РПЖ при первичном обращении.

В представленном метаанализе МО в сочетании с радиомикой показаны многообещающие результаты для выявления РПЖ с совокупной ROC-AUC 0,793 [95%CI 0,768–0,818]. В силу того, что между исследованиями существовала высокая неоднородность (I²=86,71%, p <0,001), было принято решение провести анализ в подгруппах для выявления источников этой неоднородности. Из-за высокой гетерогенности результатов во всех объединённых анализах использовалась модель случайных эффектов. Самое высокое значение ROC-AUC, 1,000 было получено в исследовании [33], а самое низкое — ROC-AUC, 0,500 [34].

Полученный нами результат (ROC-AUC, 0,793) согласуется с эффективностью PI-RADS, который имеет хорошую чувствительность, но более низкую специфичность, с ROC-AUC 0,779 и 0,797, о которых сообщают P. Woźnicki и соавт. [16] и, в последнее время, J.- G. Zhong и соавт. [22], и является значительно лучше результатов прогнозирования на основе клинических данных: PSAD — 0,623 [27], возраста — 0,69 [38] или объёма простаты — 0,68 [39]. При этом наш анализ показал, что добавление клинических данных к результатам радиомики может повысить качество модели: 0,869 [95%CI 0,844–0,895], I²=22,71%, p=0,227, по сравнению с исключительно радиомическими характеристиками: 0,779 [95%CI 0,751–0,807], I²=87,38%, p <0,001. Кроме того, было определено, что если использовать только радиомику, то прогностические модели получаются качественнее, если при их построении участвуют данные следующих протоколов T2WI+ADC: 0,860 [95%CI 0,813– 0,907], I²=78,36%, p <0,001.

При рассмотрении прогностических моделей в зависимости от алгоритма МО их построения, выяснилось, что модели, построенные на основе алгоритма нейросетей CNN, оказались наиболее точными и показали наилучшие результаты (0,856 [95%CI 0,574–1,138]). Однако модели, построенные на основе CNN, оказались нестабильными в своей работе и наиболее гетерогенными (I²=95,75%, p <0,001). На втором месте шли модели, построенные на основе алгоритма MLR (0,852 [95%CI 0,822–0,883], I²=80,89%, p <0,001). Они показывают более стабильную работу (I²=80,89% против I²=95,75% у CNN). Следует также отметить, что модели, построенные на основе CNN, являются «чёрными ящиками» и не поддаются интерпретации. Модель же, построенная на основе MLR, является открытой и легко интерпретируемой.

Анализ подгрупп также показал, что качество прогностической модели значительно не возрастает, если модель строится для одной конкретной зоны простаты или независимо от зоны простаты: PZ-TZ: 0,797 [95%CI 0,763–0,831], I²=88,12%, p <0,001; PZ: 0,789 [95%CI 0,637–0,942], I²=90,3%, p <0,001; TZ: 0,786 [95%CI 0,749–0,823], I²=82,45%, p <0,001.

Кроме того, интересным представляется анализ процесса построения прогностических моделей. Было изучено использование авторами публикаций следующих приёмов.

1. Проверка признаков на мультиколлинеарность. ROC-AUC значительно различались в зависимости от наличия/отсутствия проверки на мультиколлинеарность: NO Test Multi-collinearity — 0,828 [95%CI 0,791; 0,864], I²=85,32%, p <0,001; Test Multi-collinearity — 0,762 [95%CI 0,729; 0,795], I²=86,64%, p <0,001. Обычно не делают проверку на мультиколлинеарность при построении прогностической модели, которая в большей степени предназначена для предсказания результата, чем для описания изучаемого явления. В ходе проведённого метаанализа нами было получено подтверждение изложенного выше тезиса: модели, построенные без проведения проверки на мультиколлинеарность, имели более высокую точность предсказания.
2. Отбор наиболее значимо влияющих на исход переменных (снижение размерности). В отличие от использования всех имеющихся переменных при построении прогностической модели, кроме снижения времени построения модели и времени работы прогностической модели при её использовании, удаление незначимых или малозначимо влияющих на исход переменных позволяет решить такую проблему, возникающую при работе с многомерными данными, как «проклятие размерности». Эта проблема возникает с наборами данных с большим количеством переменных при малом количестве наблюдений (пациентов).

Проведённый метаанализ не показал значимую разницу при оценке ROC-AUC при построении моделей с использованием или без использования снижения размерности. Возможно, это связано с тем, что в тех публикациях, в которых не описано проведения снижения размерности, эта процедура была проведена исследователями, но не описана в статье.

3. Использование тестовой выборки при построении прогностической модели важно, т.к. это предоставляет возможность проверить построенную модель на данных, на которых модель не обучалась, что даёт некоторую уверенность, что модель правильно уловила имеющиеся у описываемого явления закономерности, а не просто заучила имеющие закономерности в обучающей выборке.

Проведённое исследование показало, что 62% (45/73) рассмотренных нами моделей проверены на тестовой выборке. Точность моделей, проверенных на тестовых выборках, была несколько ниже, чем тех моделей, которые не проверяли на тестовой выборке: Test set — 0,782 [95%CI 0,751–0,812], I²=86,95%, p <0,001; NO Test set — 0,812 [95%CI 0,768–0,856], I²=86,5%, p <0,001.

4. Кросс-валидация. Мы проверили прогностические модели на наличие проведения исследователями процедуры кросс-валидации (cross-validation). Кросс-валидация проводится для выбора наиболее оптимальных моделей на основании подбора гиперпараметров для повышения точности модели. В нашем ситематическом обзоре с метаанализом не была отмечена значимая разница в точности построенных моделей на основании ROC-AUC: Cross-validation — 0,771 [95%CI 0,745–0,796], I²=80,43%, p <0,001; NO Cross-validation — 0,833 [95%CI 0,779–0,887], I²=90,94%, p <0,001.

Проведённое нами исследование показало, что фактически существует широкий спектр первичных исследований, направленных на построение прогностической модели на основе бпМРТ и МО для диагностики РПЖ. Однако нам не удалось найти соответствующие метаанализы, посвящённые заявленной цели нашего исследования. При этом последний систематический обзор по нашему исследованию был проведён в 2021 г. [11].

Ограничения исследования

Данный систематический обзор имеет ряд ограничений. Прежде всего, критериям отбора соответствовало относительно небольшое количество исследований. Частично это связано с несоответствием заголовка статьи и её наполнением. Мы также обнаружили высокую гетерогенность, общую проблему с другими метаанализами МРТ простаты и точности диагностических тестов в целом [40, 41]. Несмотря на это, общее качество прогностических моделей в отобранных исследованиях было достаточным для метаанализа.

ЗАКЛЮЧЕНИЕ

Представленный систематический обзор с метаанализом показал многообещающие результаты количественной идентификации РПЖ на основе МО по данным радиомического анализа данных бпМРТ. Несмотря на разнообразие подходов, которые использовали авторы, результаты демонстрируют сопоставимую точность при сравнении подхода ML и традиционной оценки PI-RADS. Однако к этим доказательствам следует относиться с должной осторожностью, поскольку многоцентровые исследования прогностических моделей, обеспечивающие прямое сравнение между эффективностью алгоритмов МО и эффективностью рентгенологов, всё ещё отсутствуют. Тем не менее, современные подходы с использованием искусственного интеллекта могут улучшить точность обнаружения РПЖ и воспроизводимость методики в клинической практике.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли вклад в разработку концепции, проведение поисково-аналитической работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: О.В. Крючкова ― концепция и дизайн исследования, написание текста статьи, редактирование текста рукописи, утверждение итогового варианта текста рукописи; Е.В. Щепкина ― написание текста статьи, анализ полученных данных; С.В. Епифанова ― редактирование текста рукописи; Е.В. Заря ― сбор и обработка материалов; Н.А. Рубцова ― консультативная поддержка, утверждение итогового варианта текста рукописи; Б.Я. Алексеев, А.Э. Талышинский — утверждение итогового варианта текста рукописи.

ADDITIONAL INFORMATION

Funding source. This article was not supported by any external sources of funding.

Competing interests. The authors declare that they have no conflicts of interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. The largest contribution is distributed as follows: O.V. Kryuchkova ― concept and design of the study, writing and editing the manuscript, approval of the final version of the manuscript; E.V. Schepkina ― writing the manuscript, statistical analysis; S.V. Epifanova ― editing the manuscript; E.V. Zarya ― collection and processing the data; N.A. Rubtsova ― advisory support, approval of the final version of the manuscript; B.Ya. Alekseev, A.E. Talyshinskii ― approval of the final version of the manuscript.

About the authors

Oksana V. Kryuchkova

Central Clinical Hospital, Office of the President of the Russian Federation

Email: ovk16@bk.ru
ORCID iD: 0000-0001-6483-2074
SPIN-code: 2445-3370

MD Cand. Sci. (Medicine)

Russian Federation, Moscow

Elena V. Schepkina

Russian Presidential Academy of National Economy and Public Administration; Research and Practical Clinical Center for Diagnostics and Telemedical Technologies; Editorial of the Journal “Pediatria” named after G.N. Speransky

Author for correspondence.
Email: elenaschepkina@gmail.com
ORCID iD: 0000-0002-2079-1482
SPIN-code: 2347-9436
Scopus Author ID: 57211515165
ResearcherId: IAR-4060-2023

Cand. Sci. (Sociology)

Russian Federation, Moscow; Moscow; Moscow

Natalia A. Rubtsova

P.A. Herzen Moscow Oncology Research Institute, Branch National Medical Research Radiological Center

Email: rna17@ya.ru
ORCID iD: 0000-0001-8378-4338
SPIN-code: 9712-9091

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Boris Y. Alekseev

P.A. Herzen Moscow Oncology Research Institute, Branch National Medical Research Radiological Center

Email: byalekseev@mail.ru
ORCID iD: 0000-0002-3398-4128
SPIN-code: 4692-5705

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Anton I. Kuznetsov

Moscow Aviation Institute

Email: drednout5786@yandex.ru
ORCID iD: 0000-0003-2182-5792
SPIN-code: 8824-9080
Russian Federation, Moscow

Svetlana V. Epifanova

Central Clinical Hospital, Office of the President of the Russian Federation; Research and Practical Clinical Center for Diagnostics and Telemedical Technologies

Email: svepifanova@yandex.ru
ORCID iD: 0000-0002-7591-5120
SPIN-code: 9067-5033

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow; Moscow

Elena V. Zarya

Central Clinical Hospital, Office of the President of the Russian Federation

Email: zaryya@yandex.ru
ORCID iD: 0009-0001-4444-8881
SPIN-code: 9800-8219
Russian Federation, Moscow

Ali E. Talyshinskii

Saint Petersburg State University

Email: ali-ma@mail.ru
ORCID iD: 0000-0002-3521-8937
SPIN-code: 7747-0117

MD, Dr. Sci. (Medicine)

Russian Federation, Saint Petersburg

References

Supplementary files