Prospects of using computer vision technology to detect urinary stones and liver and kidney neoplasms on computed tomography images of the abdomen and retroperitoneal space

Fig. 1. An example of liver tumor segmentation performed by one of the algorithms.


Cite item

Full Text

Abstract

The article presents a selective literature review on the use of computer vision algorithms for the diagnosis of liver and kidney neoplasms and urinary stones using computed tomography images of the abdomen and retroperitoneal space. The review included articles published between January 1, 2020, and April 24, 2023. Pixel-based algorithms showed the greatest diagnostic accuracy parameters for segmenting the liver and its neoplasms (accuracy, 99.6%; Dice similarity coefficient, 0.99). Voxel-based algorithms were superior at classifying liver neoplasms (accuracy, 82.5%). Pixel- and voxel-based algorithms fared equally well in segmenting kidneys and their neoplasms, as well as classifying kidney tumors (accuracy, 99.3%; Dice similarity coefficient, 0.97). Computer vision algorithms can detect urinary stones measuring 3 mm or larger with a high degree of accuracy of up to 93.0%. Thus, existing computer vision algorithms not only effectively detect liver and kidney neoplasms and urinary stones but also accurately determine their quantitative and qualitative characteristics. Evaluating voxel data improves the accuracy of neoplasm type determination since the algorithm analyzes the neoplasm in three dimensions rather than only the plane of one slice.

Full Text

ВВЕДЕНИЕ

За последние несколько лет лучевая диагностика претерпела ряд существенных изменений. В частности, началось активное использование технологий, основанных на компьютерном зрении, при интерпретации изображений компьютерной томографии (КТ) с целью улучшения и ускорения диагностики заболеваний, а также снижения нагрузки на медицинский персонал [1–3]. Ряд алгоритмов искусственного интеллекта, анализирующих КТ-изображения органов грудной клетки, уже продемонстрировали высокие показатели точности по отдельным нозологиям (площадь под ROC-кривой достигла 0,88) [3].

Активно развивается компьютерное зрение и в диагностике патологии органов брюшной полости. Количество работ, посвящённых данному вопросу, которые были опубликованы на ресурсе PubMed, выросло в 12 раз за последние пять лет (с 34 в 2018 г. до 411 в 2022 г.). Бурный рост количества научных исследований может быть обусловлен увеличением доступности КТ для населения, достаточно большим и пополняющимся перечнем выявляемых заболеваний, а также высокой точностью их верификации с помощью КТ.

На текущий момент уже доступны готовые решения, основанные на технологиях компьютерного зрения, которые способны обнаруживать такие распространённые патологии, как новообразования печени и почек, а также конкременты в мочевыделительной системе на КТ органов брюшной полости и забрюшинного пространства [4].

В основе таких решений лежат алгоритмы, которые по своей функции делятся на два вида:

  1. выделяющие (сегментирующие) органы и их патологию;
  2. классифицирующие патологию.

В то же время описываемые решения демонстрируют разный уровень диагностической точности, что в определённой мере может быть обусловлено архитектурой, лежащей в основе сетей глубокого обучения и алгоритмов компьютерного зрения. Наибольшую популярность в области классификации на текущий момент имеют архитектуры глубокого машинного обучения, основанные на свёрточных нейронных сетях [5].

Настоящий обзор посвящён изучению диагностической точности алгоритмов компьютерного зрения, предназначенных для обнаружения новообразований печени и почек, конкрементов в мочевыделительной системе на КТ-изображениях, в зависимости от назначения данных алгоритмов (сегментация или классификация), а также архитектуры, лежащей в их основе.

МЕТОДИКА ПОИСКА

Проведено аналитическое исследование: селективный обзор литературы, фокусом которого являлись алгоритмы, предназначенные для первичной диагностики и работающие с такими распространёнными заболеваниями, как новообразования печени и почек, а также мочекаменная болезнь.

Несмотря на то, что довольно распространёнными являются также и некоторые другие опухоли (например, опухоли поджелудочной железы), которые могут быть выявлены на КТ органов брюшной полости и забрюшинного пространства, в настоящем обзоре внимание авторов было сфокусировано исключительно на новообразованиях печени, почек и конкрементах в мочевыводящей системе. Работ, посвящённых использованию компьютерного зрения для обнаружения опухолей других органов данных анатомических областей, существенно меньше, или такие работы отсутствуют.

Поиск научных публикаций осуществлялся с помощью интернет-сервиса PubMed (доступ от 31.04.2023) по комбинациям ключевых слов: [“Deep Learning”, “Neural Network”, “Artificial intelligence”] + [“Liver tumor”, “Kidney tumor”, “Hepatocellular carcinoma”, “Kidney Stone”] + “Computed Tomography”.

Кроме того, был произведён поиск в электронной библиотеке научных публикаций и национальной информационно-аналитической системе Российского индекса научного цитирования eLibrary (доступ от 31.04.2023) по ключевым словам «Искусственный интеллект» + «компьютерная томография» за период с 2019 года по настоящее время, однако работ, посвящённых непосредственно алгоритмам глубокого обучения для диагностики патологии органов брюшной полости и забрюшинного пространства, не найдено.

Из исследований, найденных с помощью интернет-сервиса PubMed, в анализ включены работы, в которых алгоритмы компьютерного зрения использовались для сегментации и классификации целевой патологии на КТ-снимках органов брюшной полости и забрюшинного пространства, была описана архитектура алгоритма глубокого обучения и представлен результат работы алгоритма с помощью одного из показателей: коэффициента сходства Дайса в задачах сегментации и точности, F1-меры или площади под ROC кривой (AUC) в задачах классификации [6].

Глубина поиска ограничивалась периодом с 01.01.2020 по 24.04.2023.

РЕЗУЛЬТАТЫ

Таким образом, в обзор включена 21 работа, данные из которых представлены в Приложении 1. В отобранных работах был произведён анализ представленной архитектуры, а также оценены диагностические метрики. Произведено сопоставление с другими публичными работами, не попавшими в анализ.

Новообразования печени

Наиболее информативными методами диагностики новообразований печени на сегодняшний день являются КТ c контрастным усилением, а также магнитно-резонансная томография [7]. При этом КТ по сравнению с магнитно-резонансной томографией имеет ряд преимуществ, таких как распространённость оборудования, подготовленность специалистов, скорость исследования и экономическая эффективность [8]. Использование контрастного усиления является стандартным подходом при подозрении на новообразование печени ввиду малой информативности бесконтрастных исследований. Тем не менее при ряде других заболеваний большое количество КТ-исследований органов брюшной полости выполняется без контраста. Способность алгоритмов компьютерного зрения определять новообразования печени и на нативных КТ-изображениях могла бы использоваться для скрининга данной патологии [9–11].

В задачах сегментации печени и её новообразований наиболее часто используется архитектура U-Net и её модификации (в частности использование блоков ResNet), показывающие достаточно высокую диагностическую точность. Наибольшие показатели в задаче сегментации печени и её опухолей были получены в работе H. Rahman и соавт. при использовании ResUNet: коэффициент сходства Дайса составил 0,99, точность — 99,6% [12]. Пример сегментации новообразования печени представлен на рис. 1.

Рис. 1. Пример сегментации новообразования печени, выполненной одним из алгоритмов.

 

Алгоритмы, оперирующие пикселями (двухмерными изображениями) для сегментации, показали лучшие диагностические метрики в сравнении с алгоритмами, использующими воксели (трёхмерные изображения) [12–18].

В задачах по классификации образований печени можно отметить, что диагностические показатели лучше у воксельных алгоритмов. При этом уже сейчас можно увидеть, что данные алгоритмы с высокой степенью достоверности позволяют классифицировать образования на доброкачественные и злокачественные (точность достигает 82,5%). Точность определения конкретного вида злокачественных опухолей в настоящий момент является более низкой и достигает лишь 73,4% [19, 20].

Несмотря на развитие и повсеместное использование глубокого машинного обучения, стоит отметить, что некоторые классические алгоритмы машинного обучения (например, support vector machine — SVM) также показывают высокие диагностические метрики при классификации опухолей печени: точность достигает 84,6% [19, 21].

Сегодня на базе Государственного бюджетного учреждения здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» проводится работа по созданию алгоритма компьютерного зрения для сегментации и дифференцировки патологических образований печени внутри классов с использованием контрастного усиления. Пример работы представлен на рис. 2.

 

Рис. 2. Пример сегментации новообразования печени, выполненной алгоритмом на изображении компьютерной томографии с контрастным усилением.

 

Новообразования почек

В 27–50% случаев объёмные образования почек протекают бессимптомно и выявляются случайно [22]. КТ позволяет не только определить локализацию и размеры опухоли, но и оценить её взаимоотношение с почечной лоханкой и крупными сосудами.

Наиболее часто для решения задачи сегментации почек и их новообразований в проанализированных работах используется архитектура U-Net и её модификации. На текущий момент коэффициент сходства Дайса при сегментации почек достигает 0,97 при использовании архитектуры 3D U-Net [23]. С помощью этой же архитектуры был получен наибольший коэффициент сходства Дайса в задаче сегментации опухолей почек (0,84) и кист почек (0,54). Таким образом, точность сегментации новообразований почек пока уступает точности сегментации самих почек.

Кроме того, важно отметить, что показатели диагностической точности при сегментации почки и её новообразований на КТ-срезах у архитектур, оперирующих вокселями, оказались не хуже, чем у классических алгоритмов, оперирующих пикселями [23–26].

Другие архитектуры (например, EffectiveNet) также демонстрируют высокие значения коэффициента сходства Дайса при сегментации почек и их новообразований (до 0,95) [27, 28]. Пример сегментации новообразований почек представлен на рис. 3.

Рис. 3. Пример сегментации новообразования правой почки.

 

Для решения задач классификации новообразований почек используются как классические алгоритмы машинного обучения, так и алгоритмы, основанные на глубоком машинном обучении [24, 26, 29–31]. Наибольшую точность (99,3%) показывают архитектуры Swin Transformers [29].

В условиях ограниченности данных хорошо проявляют себя классические алгоритмы машинного обучения и архитектуры прямого распространения [26]. Так же, как и в задаче сегментации почек и их опухолей, при решении задачи классификации архитектуры, использующие воксели, не уступают по точности архитектурам, использующим пиксели [31].

Мочекаменная болезнь

Мочекаменная болезнь находится на втором месте по выявляемости среди урологических заболеваний [32]. При этом заболеваемость мочекаменной болезнью и её распространённость среди взрослого населения неуклонно растут во всех регионах Российской Федерации. Согласно исследованию Н. Гаджиева и соавт., распространённость мочекаменной болезни увеличилась на 35,4% за 15-летний период, а заболеваемость выросла на 16,2% [33].

В диагностике мочекаменной болезни КТ забрюшинного пространства является золотым стандартом, поз-воляющим определить локализацию, форму, размеры и количество рентген-контрастных конкрементов с чувствительностью до 96% и специфичностью до 100% [34].

В проанализированных статьях отмечается прямая зависимость точности определения конкрементов от их размера. С увеличением размера конкрементов уровень точности для алгоритмов, основанных на свёрточных нейронных сетях, растёт [35, 36]. Так, камни размером менее 1 см обнаруживаются с точностью 85%, размером от 1 до 2 см — с точностью 89%, размером более 2 см — с точностью 93%.

Наиболее высокую точность определения конкрементов в мочевыводящей системе на сегодняшний день продемонстрировал алгоритм на основе трансформеров (Swin Transformers) — 98% [29]. Пример обнаружения конкремента одним из алгоритмов представлен на рис. 4.

 

Рис. 4. Пример обнаружения конкремента одним из алгоритмов.

 

Сложности в использовании алгоритмов компьютерного зрения для диагностики мочекаменной болезни при выявлении мелких конкрементов могут возникать при наличии мелких атеросклеротических бляшек в стенках почечных артерий, плотность которых соответствует уратным конкрементам [36].

При этом современные технологии в области глубокого машинного обучения и компьютерного зрения позволяют при низкой лучевой нагрузке определять конкременты размерами от 3 мм, тогда как клинически значимыми считаются конкременты размером от 5 мм [37].

Определение типа конкремента — один из наиболее важных факторов, влияющих на последующую лечебную тактику [35, 37]. В работах, посвящённых определению прогноза послеоперационного периода (в частности, безрецидивного течения), а также определению типа конкремента на основе технологий машинного обучения, используется множество различных характеристик, определяемых на основе КТ [38–41]. Ряд работ по использованию двухэнергетической КТ (Dual-Energy CT, DECT) показывает возможность использования данного метода визуализации для определения в том числе и химического состава конкремента [42, 43], однако этот метод имеет ряд ограничений, в первую очередь он малоприменим в рутинной практике [44].

Y. Cui и соавт. показали, что при использовании узкоспециализированных свёрточных нейронных сетей можно проводить оценку камней по шкале нефролитометрии S.T.O.N.E. с результатами, сопоставимыми с заключениями врачей-рентгенологов [45]. Такой подход позволяет также оценивать прогностический фактор для пациентов [46].

ОБСУЖДЕНИЕ

В ряде работ исследования проводились на публичных наборах данных, таких как LiTS, KiTS’19, 3D-IRCADb и других, которые содержат в себе преимущественно контрастные исследования. В работах, где использовались собственные КТ-изображения, наборы данных в основном также состояли из контрастных исследований или включали в себя смешанные данные.

Согласно проанализированным публикациям, современное развитие алгоритмов глубокого машинного обучения позволяет с высокой степенью точности проводить сегментацию печени (максимальный коэффициент сходства Дайса — 0,99, средний — 0,92±0,09), а также сегментацию почек (максимальный коэффициент сходства Дайса — 0,97, средний — 0,94±0,02) на КТ-изображениях (см. Приложение 1).

В задаче сегментации печени наибольшие значения показателей диагностической точности демонстрируются алгоритмами, оперирующими пикселями (максимальный коэффициент сходства Дайса — 0,99, средний — 0,97±0,01), тогда как в задаче сегментации почек воксельные алгоритмы не уступают пиксельным. Возможно, это обусловлено разными размерами и разной плотностью данных паренхиматозных органов, а также историческими особенностями развития алгоритмов. Использование вокселей требует большей производительности, подобные вычислительные системы в широком доступе стали появляться относительно недавно, и в настоящее время они получают большую базу усовершенствованных, основанных на пикселях алгоритмов, которые также продолжают развиваться в исследовательских центрах.

Точность сегментации новообразований печени и почек ниже точности сегментации самих этих органов. Неточность сегментации новообразований обусловлена преимущественно неполнотой их сегментации. Правильное определение границ новообразований зависит от типа их роста и структуры, поэтому экзофитные гетерогенные образования сегментируются лучше всего [23]. C этим же связана и низкая точность сегментации простых изоденсных кист, гемангиом и т.д. [20].

Использование предобработки данных перед проведением их через сегментирующий алгоритм позволяет частично решить данную проблему [27, 28]. K. Yildirim и соавт. показали, что анализ альтернативных срезов КТ, таких как сагиттальный или коронарный, алгоритмами глубокого машинного обучения также позволяет повысить точность обнаружения патологии [47].

Согласно проанализированной литературе, для целей классификации новообразований более обосновано использование вокселей, чем пикселей, так как по типу строения опухоли можно определить её природу [19, 26, 31]. Технологии, основанные на глубоком обучении, позволяют с высокой точностью классифицировать новообразования органов брюшной полости на доброкачественные и злокачественные [19, 20, 31].

Полнота сегментации имеет большое значение для корректности последующей классификации. В настоящее время можно использовать комбинацию 2D-алгоритмов для сегментации и 3D-алгоритмов — для классификации [19, 24]. Кроме того, использование комбинации алгоритмов глубокого машинного обучения в сочетании с алгоритмами классического машинного обучения (в том числе градиентный бустинг) может поз-волить улучшить диагностические метрики [19]. В проанализированных работах можно выделить два варианта комбинации этих алгоритмов. L. Yang и соавт., а также M. Shehata и соавт. предлагают формировать признаки алгоритмическими методами и использовать их в сети прямого распространения [30, 31]. E. Trivizakis и соавт., а также X.L. Zhu и соавт., наоборот, формируют признаки из сетей глубокого обучения и классифицируют их на алгоритмах классического машинного обучения [19, 26].

Не менее важным аспектом является внедрение архитектуры трансформера для классификации новообразований, но её использование лимитировано количеством данных для обучения. Для получения высоких метрик при использовании архитектур на основе трансформеров требуется в разы больше данных для обучения, чем для сверхточных нейронных сетей [29].

В проанализированных работах используются стандартные метрики оценки качества алгоритмов глубокого машинного обучения, но методология проведения исследований отличалась от работы к работе, что затрудняет адекватную сравнительную оценку диагностической точности. Дополнительным ограничением является непредоставление большинством авторов 95% доверительного интервала полученных значений параметров диагностической точности, что не позволяет оценить достоверность различий метрик, полученных при использовании различных архитектур нейронных сетей и подходов. Внедрение методологии стандартизированной оценки может быть полезным для определения алгоритмов с лучшими результатами [48]. Дополнительно необходимо отметить ограниченность выборок в некоторых рассмотренных нами исследованиях.

Другим направлением использования алгоритмов глубокого машинного обучения является улучшение качества КТ-изображений, полученных при низкодозовых исследованиях. Например, F.R. Schwartz и соавт. предлагают использовать алгоритмы глубокого машинного обучения для интерполяции и реконструкции данных при использовании двухэнергетической КТ [49–51]. Благодаря такому подходу можно получать высокоэнергетические изображения при низкой дозе лучевой нагрузки.

Таким образом, в настоящее время алгоритмы компьютерного зрения уже демонстрируют высокие параметры диагностической точности при выявлении камней в мочевыделительной системе и новообразований печени и почек на КТ-изображениях. Следующая задача — это интеграция компьютерного зрения в работу медицинских организаций для улучшения и ускорения диагностики заболеваний, а также снижения нагрузки на медицинский персонал. Необходимы дальнейшие более масштабные, проспективные и тщательные исследования, оценивающие эффективность применения программного обеспечения на основе технологий искусственного интеллекта для поиска новообразований органов брюшной полости в рамках скрининга, а также их качественная и количественная оценка с последующей верификацией результатов.

ЗАКЛЮЧЕНИЕ

Существующие системы компьютерного зрения для оценки КТ органов брюшной полости и забрюшинного пространства позволяют не только эффективно выявлять новообразования печени и почек, а также конкременты в мочевыделительной системе, но и с высокой точностью определять их количественные и качественные характеристики. Дальнейшее техническое развитие приведёт к эволюции 3D-алгоритмов глубокого обучения и улучшению их диагностической точности, что в свою очередь позволит получать более достоверные результаты, особенно в задачах мультиклассовой классификации. Более высокая точность определения вида патологии может быть достигнута за счёт использования воксельных данных, потому что в этом случае алгоритм может анализировать образование полностью в трёх измерениях, а не только в плоскости одного среза.

Более глубокая оценка полученных в результате работы компьютерного зрения данных может быть использована в дальнейшем для определения «ценности» фаз контрастного исследования. Развитие методов улучшения качества получаемых КТ-изображений позволит выполнять сканирование только в определённые фазы (например, в артериальную и экскреторную) в зависимости от конкретных целей, что приведёт к снижению получаемой пациентом эффективной дозы облучения.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике» (номер в Единой государственной информационной системе учёта: № 123031500004-5) в соответствии с Приказом от 21.12.2022 № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счёт средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Наибольший вклад распределён следующим образом: Ю.А. Васильев, А.В. Владзимирский, К.М. Арзамасов ― концепция исследования; Н.Б. Нечаев ― написание текста статьи; Д.У. Шихмурадов, А.В. Панкратов, И.В. Ульянов ― анализ данных.

ADDITIONAL INFORMATION

Funding source. This article was prepared by a group of authors as a part of the research and development effort titled “Evidence-based methodologies for sustainable development of artificial intelligence in medical imaging” (USIS No. 123031500004-5) in accordance with the Order No. 1196 dated December 21, 2022 “On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025” issued by the Moscow Health Care Department.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. Yu.A. Vasiliev, A.V. Vladzimirsky, K.M. Arzamasov — research concept; N.B. Nechaev — writing the text of the article; D.W. Shikhmuradov, A.V. Pankratov, I.V. Ulyanov — data analysis.

Приложение 1

Таблица 1. Архитектуры и диагностические метрики алгоритмов глубокого машинного обучения для определения патологии органов брюшной полости методами визуализации

     
     

1

2

3

4

5

Клиническая задача

Авторы, год

Объём выборки для тестирования

Используемая архитектура

Заявленные показатели диагностической точности

Сегментация образований печени и её структур

M. Maqsood и соавт., 2021 [13]

4 иссл.

ResUNet с использованием Multi-scale parallel convolution blocks после Res blocks

Сегментация печени: – Коэффициент сходства Дайса: 0,77 – Точность: 93%

R.Z. Khan и соавт., 2022 [14]

3 иссл. (Dicadb) 19 иссл. (LiTS) 4 иссл. (Silver07) 1 иссл. (Chaos)

ResUNet. В базовом блоке три последовательных слоя Conv2D с расширением ядра свёртки (три скорости расширения — 1, 2 и 4)

1) Сегментация печени, коэффициент сходства Дайса: – 0,97 на наборе данных Dircadb; – 0,97 на наборе данных LiTS; – 0,97 на наборе данных Sliver07; – 0,95 на наборе данных Chaos 2) Сегментация образований печени, коэффициент сходства Дайса: – 0,92 на наборе данных Dicadb; – 0,87 на наборе данных LiTS

H. Rahman и соавт., 2022 [12]

4 иссл.

Последовательное использование ResUNet для сегментации печени, с последующим использованием полученных данных на другой ResUNet для сегментации образований

Сегментация печени и её новообразований: – Коэффициент сходства Дайса: 0,99; – Точность: 99,6%

A. Affane и соавт., 2021 [15]

1 иссл.

Три модификации 3D U-Net: 1) 3D U-Net, классическая сеть 2) 3D MultiRes U-Net. Перед Skip Connection используется блок Resolution Path. Внутри Conv блока: три связанных 3D-свёртки размерами 3×3×3 (в первой — 32 фильтра, в двух последующих — по 16), которые объединяются, нормализуются и суммируются с входными данными, прошедшими через Сonv3D (размер 1×1×1, 64 фильтра). За этим следует сигмоидная активация 3) 3D Dense U-Net — с объединением по типу остаточной связи после каждого Conv слоя

Сегментация печени, коэффициент сходства Дайса: – 0,86 — сеть 3D MultiRes U-Net; – 0,84 — сеть 3D Dense U-Net; – 0,73 — сеть 3D U-Net

J. Wang и соавт., 2023 [17]

8 иссл. (Dicadb) 15 иссл. (LiTS)

3D MAD-UNet — используется Long-Short Skip Connection (LSSC) и Attention module для всех уровней декодера

Сегментация образований печени, коэффициент сходства Дайса: – 0,96 — сеть 3D U-Net + LSSC + MA на наборе данных LiTS; – 0,96 — сеть 3D U-Net + LSSC + MA на наборе данных Dicadb; – 0,92 — сеть 3D U-Net на наборе данных LiTS; – 0,89 — сеть 3D U-Net на наборе данных Dicadb

 

Таблица 1. Продолжение

1

2

3

4

5

Классификация образований печени по нозологиям

K.G. Kashala и соавт., 2020 [18]

250 иссл.

Модифицированная SqeezeNet — модель, где добавляется обход после блоков 2, 4, 6 и 8, а также используется Conv2D (1×1) перед объединением expand блоков

– Точность: 81,8%; – F1-мера: 0,80

J. Zhou и соавт., 2021 [20]

154 иссл.

Для сегментации использовалась 2,5D Faster R-CNN; для классификации использовали 3D ResNet-18 (модификация, основанная на Conv3D)

– Точность: 82,5% при определении доброкачественное/злокачественное новообразование; – Точность: 73,4% при определении одной из 6 патологий (гепатоцеллюлярный рак, холангиокарцинома, метастаз, гемангиома, гиперплазия, киста)

M. Rela и соавт., 2022 [21]

14 иссл.

Метод опорных векторов, метод k-ближайших соседей

1) Метод опорных векторов: – Точность: 84,6%; – F1-мера: 0,80 2) Метод k-ближайших соседей: – Точность: 76,92%; – F1-мера: 0,76

Сегментация почек и новообразований

Y. Ding и соавт., 2022 [25]

30 иссл.

– U-Net – V-Net — модификация, где используются блоки ResNet, работающие с 3D-изображением

Сегментация почек: 1) Коэффициент сходства Дайса для левой почки: – 0,93 — сеть U-Net; – 0,92 — сеть V-Net 2) Коэффициент сходства Дайса для правой почки: – 0,91 — сеть U-Net; – 0,92 — сеть V-Net

Z. Lin и соавт., 2021 [23]

66 иссл.

3D U-Net

1) Сегментация почек: Коэффициент сходства Дайса — 0,97 2) Сегментация опухолей почек: Коэффициент сходства Дайса — 0,84 3) Сегментация кист почек: Коэффициент сходства Дайса — 0,54

 

Таблица 1. Продолжение

1

2

3

4

5

Сегментация почек и новообразований

C.H. Hsiao и соавт., 2022 [27]

90 иссл.

U-Net, где в качестве блоков кодировщика использовались архитектуры из ResNet-41 или EffectiveNet

Сегментация почек: 1) Коэффициент сходства Дайса (данные с предобработкой и U-Net с кодировщиком): – 0,96 — EfficientNet-B7; – 0,95 — ResNet-41; – 0,95 — EfficientNet-B4; – 0,95 — EfficientNet-B4, дообученная 2) Коэффициент сходства Дайса (данные без предобработки и U-Net с кодировщиком): – 0,95 — EfficientNet-B4, дообученная; – 0,93 — ResNet-41; – 0,29 — EfficientNet-B4; – 0,27 — EfficientNet-B7 3) Сегментация новообразований почек: Коэффициент сходства Дайса — 0,41 (EfficientNet-B5)

C.H. Hsiao и соавт., 2022 [28]

56 иссл. (KiTS19)

EffectiveNet-B5 (энкодер); Feature pyramid network (декодер)

Сегментация почек и их опухолей: Коэффициент сходства Дайса — 0,95

Сегментация и классификация новообразований почки по нозологиям

M.H. Islam и соавт., 2022 [29]

~1000 изобр.

6 архитектур: – Модифицированная VGG16; – Inception v3; – ResNet50; – EANet; – Swin Transformers; – CCT

Классификация новообразований почек: 1) Архитектура VGG16: – Точность — 98,2%; – F1-мера средняя — 0,98; – AUC средняя — 0,99 2) Архитектура Inception v3: – Точность — 61,6%; – F1-мера средняя — 0,59; – AUC средняя — 0,85 3) Архитектура ResNet50: – Точность — 73,8%; – F1-мера средняя — 0,74; – AUC средняя — 0,93 4) Архитектура EANet: – Точность — 77,0%; – F1-мера средняя — 0,77; – AUC средняя — 0,96 5) Архитектура Swin Transformers: – Точность — 99,3%; – F1-мера средняя — 0,99; – AUC средняя — 0,99 6) Архитектура CCT: – Точность — 96,5%; – F1-мера средняя — 0,97; – AUC средняя — 0,99

 

Таблица 1. Продолжение

1

2

3

4

5

Сегментация и классификация новообразований почки по нозологиям

Toda N. и соавт., 2022 [24]

132 иссл.

2D U-Net для сегментации почек; 3D U-Net для сегментации и классификации образований

Классификация образований почек: – Точность — 87,5%; – AUC — 0,93

Zhu X.L. и соавт., 2022 [26]

20 иссл.

FS-net: исходные данные проводятся через дообученную 3D U-Net, полученная маска объединяется с исходным данными и проводится через дообученную 3D U-Net. Из полученной маски делаются сегментированные данные почки и области почки. Сегментированное данные подвергают текстурному анализу для получения признаков. Область почки пропускают через дообученную 3D ResNet для получения признаков. Полученные признаки используют в методе опорных векторов

1) Сегментация почек: – коэффициент сходства Дайса — 0,97 (KiTS19); – коэффициент сходства Дайса — 0,97 (собственный набор данных) 2) Сегментация опухолей почек: – коэффициент сходства Дайса — 0,79 (KiTS19); – коэффициент сходства Дайса — 0,77 (собственный набор данных)

Классификация новообразований почки и их характеристик

L. Yang и соавт., 2022 [30]

120 иссл.

Из сегментированных вручную почек с образованием выделялись признаки с помощью библиотеки pyradiomiocs. Признаки пропускались через сеть прямого распространения

Классификация опухолей почек, AUC: – 0,76 — в нативной фазе; – 0,79 — в кортикомедулярной фазе; – 0,77 — в нефрографической фазе

M. Shehata и соавт., 2021 [31]

Из сегментированных вручную почек с образованием выделялись признаки: морфологические (оценка формы), текстурные и функциональные. Признаки проходят через сеть прямого распространения, классифицирующую на добро- и злокачественную природу. При злокачественном характере признаки пропускаются через сеть прямого распространения для определения светло- и несветлоклеточного рака

Классификация опухолей почек на добро- и злокачественные: – F1-мера — 0,98 Классификация рака почек: – Точность — 89,6%

Определение уролитиатов на компьютерной томографии

A. Caglayan и соавт., 2022 [35]

xResNet50

Камни <1 см: – Точность — 85%; – F1-мера — 0,85 Камни 1–2 см: – Точность — 89%; – F1-мера — 0,89 Камни >2 см: – Точность — 93%; – F1-мера — 0,93

 

Таблица 1. Окончание

1

2

3

4

5

Определение уролитиатов на компьютерной томографии

C. Daniel и соавт., 2022 [36]

90 иссл.

3D U-Net для сегментации почек, процедура удаления шума, обрезание области интереса, 13-слойная 3D CNN для классификации

– AUC: 0,95; – Специфичность: 0,91

Y. Cui и соавт., 2021 [45]

117 иссл.

Последовательное использование 3D U-Net архитектур для сегментации почек. Полученные данные используются в пяти 3D U-Net архитектурах, каждая из которых отвечает за классификацию по одному из параметров шкалы S.T.O.N.E.

Сегментация почек и синусов: – Коэффициент сходства Дайса — 0,93 Определение конкрементов: – Точность — 90,3%; – AUC — 0,96

K. Yildirim и соавт., 2021 [47]

100 иссл.

xResNet50

– Точность: 97%; – F1-мера: 0,97

 

×

About the authors

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; National Medical and Surgical Center Named after N.I. Pirogov

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-code: 4458-5608

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow; Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; I.M. Sechenov First Moscow State Medical University

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Moscow; Moscow

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

David U. Shikhmuradov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ShikhmuradovDU@zdrav.mos.ru
ORCID iD: 0000-0003-1597-5786
SPIN-code: 9641-0913

MD

Russian Federation, Moscow

Andrey V. Pankratov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: PankratovAV3@zdrav.mos.ru
ORCID iD: 0009-0008-4741-4530

MD

Russian Federation, Moscow

Iliya V. Ulyanov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: UlyanovIV2@zdrav.mos.ru
ORCID iD: 0000-0002-8330-6069
SPIN-code: 5898-3242

MD

Russian Federation, Moscow

Nikolay B. Nechaev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: NechaevNB@zdrav.mos.ru
ORCID iD: 0009-0007-9219-7726
SPIN-code: 3232-1545

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

References

  1. Iliashenko OY, Lukyanchenko EL. Possibilities of using computer vision for data analytics in medicine. Izvestiya of Saratov University. Mathematics. Mechanics. Informatics. 2022;22(2):224–232. EDN: MCSLKQ doi: 10.18500/1816-9791-2022-22-2-224-232
  2. Alekseeva MG, Zubov AI, Novikov MYu. Artificial intelligence in medicine. Meždunarodnyj naučno-issledovatelʹskij žurnal. 2022;7(121):10–13. EDN: JMMMDF doi: 10.23670/IRJ.2022.121.7.038
  3. Gusev AV, Vladzymyrskyy AV, Sharova DE, Arzamasov KM, Khramov AE. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022;3(3):178–194. EDN: KHWQWZ doi: 10.17816/DD107367
  4. Wang L, Wang H, Huang Y, et al. Trends in the application of deep learning networks in medical image analysis: Evolution between 2012 and 2020. Eur J Radiol. 2022;146:110069. doi: 10.1016/j.ejrad.2021.110069
  5. Alrefai N, Ibrahim O. AI Deep learning-based cancer classification for microarray data: A systematic review. Journal of Theoretical and Applied Information Technology. 2021;99:2312–2332. doi: 10.5281/zenodo.6126510
  6. Clinical trials of artificial intelligence systems (radiation diagnostics). Vasil’ev YuA, Vladzymyrskyy AV, Sharova DE, editors. Moscow: GBUZ «NPKTs DiT DZM»; 2023. EDN: PUIJLD
  7. Lee J, Kim KW, Kim SY, et al. Automatic detection method of hepatocellular carcinomas using the non-rigid registration method of multi-phase liver CT images. J Xray Sci Technol. 2015;23(3):275–288. doi: 10.3233/XST-150487
  8. Patel BN, Boltyenkov AT, Martinez MG, et al. Cost-effectiveness of dual-energy CT versus multiphasic single-energy CT and MRI for characterization of incidental indeterminate renal lesions. Abdom Radiol (NY). 2020;45(6):1896–1906. doi: 10.1007/s00261-019-02380-x
  9. Marrero JA, Kulik LM, Sirlin CB, et al. Diagnosis, Staging, and Management of Hepatocellular Carcinoma: 2018 Practice Guidance by the American Association for the Study of Liver Diseases. Hepatology. 2018;68(2):723–750. doi: 10.1002/hep.29913
  10. Ayuso C, Rimola J, Vilana R, et al. Diagnosis and staging of hepatocellular carcinoma (HCC): current guidelines. Eur J Radiol. 2018;101:72–81. doi: 10.1016/j.ejrad.2018.01.025
  11. Liver cancer (hepatocellular). Clinical guidelines. ID 1. Approved by the Scientific and Practical Council of the Ministry of Health of the Russian Federation. 2022. Available from: https://cr.minzdrav.gov.ru/schema/1_3 (In Russ)
  12. Rahman H, Bukht TFN, Imran A, et al. A Deep Learning Approach for Liver and Tumor Segmentation in CT Images Using ResUNet. Bioengineering (Basel). 2022;9(8):368. doi: 10.3390/bioengineering9080368
  13. Maqsood M, Bukhari M, Ali Z, et al. A Residual-Learning-Based Multi-Scale Parallel-Convolutions- Assisted Efficient CAD System for Liver Tumor Detection. Mathematics. 2021;9(10):1133. doi: 10.3390/math9101133
  14. Khan RA, Luo Y, Wu FX. RMS-UNet: Residual multi-scale UNet for liver and lesion segmentation. Artif Intell Med. 2022;124:102231. doi: 10.1016/j.artmed.2021.102231
  15. Affane A, Kucharski A, Chapuis P, et al. Segmentation of Liver Anatomy by Combining 3D U-Net Approaches. Applied Sciences. 2021;11(11):4895. doi: 10.3390/app11114895
  16. Han X, Wu X, Wang S, et al. Automated segmentation of liver segment on portal venous phase MR images using a 3D convolutional neural network. Insights Imaging. 2022;13(1):26. doi: 10.1186/s13244-022-01163-1
  17. Wang J, Zhang X, Guo L, et al. Multi-scale attention and deep supervision-based 3D UNet for automatic liver segmentation from CT. Math Biosci Eng. 2023;20(1):1297–1316. doi: 10.3934/mbe.2023059
  18. Kashala KG, Song Y, Liu Z. Optimization of FireNet for Liver Lesion Classification. Electronics. 2020;9(8):1237. doi: 10.3390/electronics9081237
  19. Trivizakis E, Manikis GC, Nikiforaki K, et al. Extending 2-D Convolutional Neural Networks to 3-D for Advancing Deep Learning Cancer Classification With Application to MRI Liver Tumor Differentiation. IEEE J Biomed Health Inform. 2019;23(3):923–930. doi: 10.1109/JBHI.2018.2886276
  20. Zhou J, Wang W, Lei B, et al. Automatic Detection and Classification of Focal Liver Lesions Based on Deep Convolutional Neural Networks: A Preliminary Study. Front Oncol. 2021;10:581210. doi: 10.3389/fonc.2020.581210
  21. Rela M, Rao SN, Patil RR. Performance analysis of liver tumor classification using machine learning algorithms. International Journal of Advanced Technology and Engineering Exploration. 2022;9(86):143–154. doi: 10.19101/IJATEE.2021.87465
  22. Oberai A, Varghese B, Cen S, et al. Deep learning based classification of solid lipid-poor contrast enhancing renal masses using contrast enhanced CT. Br J Radiol. 2020;93(1111):20200002. doi: 10.1259/bjr.20200002
  23. Lin Z, Cui Y, Liu J, et al. Automated segmentation of kidney and renal mass and automated detection of renal mass in CT urography using 3D U-Net-based deep convolutional neural network. Eur Radiol. 2021;31(7):5021–5031. doi: 10.1007/s00330-020-07608-9
  24. Toda N, Hashimoto M, Arita Y, et al. Deep Learning Algorithm for Fully Automated Detection of Small (≤4 cm) Renal Cell Carcinoma in Contrast-Enhanced Computed Tomography Using a Multicenter Database. Invest Radiol. 2022;57(5):327–333. doi: 10.1097/RLI.0000000000000842
  25. Ding Y, Chen Z, Wang Z, et al. Three-dimensional deep neural network for automatic delineation of cervical cancer in planning computed tomography images. J Appl Clin Med Phys. 2022;23(4):e13566. doi: 10.1002/acm2.13566
  26. Zhu XL, Shen HB, Sun H, et al. Improving segmentation and classification of renal tumors in small sample 3D CT images using transfer learning with convolutional neural networks. Int J Comput Assist Radiol Surg. 2022;17(7):1303–1311. doi: 10.1007/s11548-022-02587-2
  27. Hsiao CH, Sun TL, Lin PC, et al. A deep learning-based precision volume calculation approach for kidney and tumor segmentation on computed tomography images. Comput Methods Programs Biomed. 2022;221:106861. doi: 10.1016/j.cmpb.2022.106861
  28. Hsiao CH, Lin PC, Chung LA, et al. A deep learning-based precision and automatic kidney segmentation system using efficient feature pyramid networks in computed tomography images. Comput Methods Programs Biomed. 2022;221:106854. doi: 10.1016/j.cmpb.2022.106854
  29. Islam MN, Hasan M, Hossain MK, et al. Vision transformer and explainable transfer learning models for auto detection of kidney cyst, stone and tumor from CT-radiography. Sci Rep. 2022;12(1):11440. doi: 10.1038/s41598-022-15634-4
  30. Yang L, Gao L, Arefan D, et al. A CT-based radiomics model for predicting renal capsule invasion in renal cell carcinoma. BMC Med Imaging. 2022;22(1):15. doi: 10.1186/s12880-022-00741-5
  31. Shehata M, Alksas A, Abouelkheir RT, et al. A Comprehensive Computer-Assisted Diagnosis System for Early Assessment of Renal Cancer Tumors. Sensors (Basel). 2021;21(14):4928. doi: 10.3390/s21144928
  32. Kulikovskiy VF, Shkodkin SV, Batishchev SA, et al. Modern research and thinking about the epidemiology and pathogenesis of urolithiasis. Nauchnyi rezul’tat. Meditsina i farmatsiya. 2016;2(4):4–12. EDN: NSGAXL doi: 10.18413/2313-8955-2016-2-4-4-12
  33. Gadzhiev N, Prosyannikov M, Malkhasyan V, et al. Urolithiasis prevalence in the Russian Federation: analysis of trends over a 15-year period. World J Urol. 2021.Vol. 39(10):3939–3944. doi: 10.1007/s00345-021-03729-y
  34. Urology. Russian Clinical Recommendations. Alyaev YuG, Glybochko PV, Pushkar’ DYu, editors. Moscow: GEOTARMedia; 2016. (In Russ).
  35. Caglayan A, Horsanali MO, Kocadurdu K, et al. Deep learning model-assisted detection of kidney stones on computed tomography. Int Braz J Urol. 2022;48(5):830–839. doi: 10.1590/S1677-5538.IBJU.2022.0132
  36. Elton DC, Turkbey EB, Pickhardt PJ, Summers RM. A deep learning system for automated kidney stone detection and volumetric segmentation on noncontrast CT scans. Med Phys. 2022;49(4):2545–2554. doi: 10.1002/mp.15518
  37. He Z, An L, Chang Z, Wu W. Comment on “Deep learning computer vision algorithm for detecting kidney stone composition”. World J Urol. 2021;39(1):291. doi: 10.1007/s00345-020-03181-4
  38. Doyle PW, Kavoussi NL. Machine learning applications to enhance patient specific care for urologic surgery. World J Urol. 2022;40(3):679–686. doi: 10.1007/s00345-021-03738-x
  39. Neymark AI, Neymark BA, Ershov AV, et al. The use of intelligent analysis (IA) in determining the tactics of treating patients with nephrolithiasis. Urologia Journal. 2023;(3915603231162881). doi: 10.1177/03915603231162881
  40. Kadlec AO, Ohlander S, Hotaling J, et al. Nonlinear logistic regression model for outcomes after endourologic procedures: a novel predictor. Urolithiasis. 2014;42(4):323–330. doi: 10.1007/s00240-014-0656-1
  41. Black KM, Law H, Aldoukhi A, et al. Deep learning computer vision algorithm for detecting kidney stone composition. BJU Int. 2020;125(6):920–924. doi: 10.1111/bju.15035
  42. Zhang GM, Sun H, Xue HD, et al. Prospective prediction of the major component of urinary stone composition with dual-source dual-energy CT in vivo. Clin Radiol. 2016;71(11):1178–1183. doi: 10.1016/j.crad.2016.07.012
  43. Chaytor RJ, Rajbabu K, Jones PA, McKnight L. Determining the composition of urinary tract calculi using stone-targeted dual-energy CT: evaluation of a low-dose scanning protocol in a clinical environment. Br J Radiol. 2016;89(1067):20160408. doi: 10.1259/bjr.20160408
  44. Kapanadze LB, Serova NS, Rudenko VI. Application of dual-energy computer tomography in diagnostics of urolithiasis. REJR. 2017;7(3):165–173. EDN: ZWBLYL doi: 10.21569/2222-7415-2017-7-3-165-173
  45. Cui Y, Sun Z, Ma S, et al. Automatic Detection and Scoring of Kidney Stones on Noncontrast CT Images Using S.T.O.N.E. Nephrolithometry: Combined Deep Learning and Thresholding Methods. Mol Imaging Biol. 2021;23(3):436–445. doi: 10.1007/s11307-020-01554-0
  46. Okhunov Z, Friedlander JI, George AK, et al. S.T.O.N.E. nephrolithometry: novel surgical classification system for kidney calculi. Urology. 2013;81(6):1154–1159. doi: 10.1016/j.urology.2012.10.083
  47. Yildirim K, Bozdag PG, Talo M, et al. Deep learning model for automated kidney stone detection using coronal CT images. Comput Biol Med. 2021;135:104569. doi: 10.1016/j.compbiomed.2021.104569
  48. Kodenko MR, Reshetnikov RV, Makarova TA. Modification of quality assessment tool for artificial intelligence diagnostic test accuracy studies (QUADAS-CAD). Digital Diagnostics. 2022;3(1S):4–5. EDN: KNBHOJ doi: 10.17816/DD105567
  49. Schwartz FR, Clark DP, Ding Y, Ramirez-Giraldo JC. Evaluating renal lesions using deep-learning based extension of dual-energy FoV in dual-source CT-A retrospective pilot study. Eur J Radiol. 2021;139:109734. doi: 10.1016/j.ejrad.2021.109734
  50. Li W, Diao K, Wen Y, et al. High-strength deep learning image reconstruction in coronary CT angiography at 70-kVp tube voltage significantly improves image quality and reduces both radiation and contrast doses. Eur Radiol. 2022;32(5):2912–2920. doi: 10.1007/s00330-021-08424-5
  51. Bae JS, Lee JM, Kim SW, et al. Low-contrast-dose liver CT using low monoenergetic images with deep learning-based denoising for assessing hepatocellular carcinoma: a randomized controlled noninferiority trial. Eur Radiol. 2023;33(6):4344–4354. doi: 10.1007/s00330-022-09298-x

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. An example of liver tumor segmentation performed by one of the algorithms.

Download (245KB)
3. Fig. 2. Example of liver tumor segmentation performed by the algorithm on a contrast-enhanced computed tomography image.

Download (288KB)
4. Fig. 3. Example of segmentation of a tumor of the right kidney.

Download (174KB)
5. Fig. 4. An example of stone detection by one of the algorithms.

Download (219KB)

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies