Comparative analysis of modifications of U-Net neuronal network architectures in medical image segmentation

Full Text

Введение

Обработка изображений программным обеспечением (ПО) на основе технологий искусственного интеллекта (ТИИ) играет ведущую роль в современной медицинской диагностике. В последние десятилетия с развитием вычислительной техники и алгоритмов машинного обучения возможности анализа изображений значительно расширились, на смену простым классификационным моделям пришли полноценные системы поддержки принятия врачебных решений (в том числе автономные).

Обработка медицинских изображений начинает свою историю с простых методов визуализации, к которым относятся рентгенография и маммография. Далее эти системы эволюционировали, и в настоящее время специалисты эффективно обрабатывают результаты компьютерной томографии (КТ) и магнитно-резонансной томографии (МРТ). Спектр задач, решаемых ПО на основе ТИИ, в лучевой диагностике сводится к визуализации, сегментации, регистрации, а также классификации и интерпретации данных.

Одной из самых сложных является задача сегментации медицинского изображения — поиска групп (областей) пикселов, характеризующих некоторые объекты на снимке, особенно если речь идёт о КТ или МРТ. Алгоритмы глубокого обучения показали впечатляющие результаты в задачах сегментации (выделения целевой области) патологических структур и последующей их классификации, значительно превосходя традиционные подходы по точности и скорости обработки данных [1]. Для её решения используют разные архитектуры — модели нейронных сетей, включающие в себя такие структурные компоненты как количество слоёв, количество нейронов в каждом слое, функции активации, методы оптимизации и др. Наибольшие успехи достигнуты с использованием архитектур U-Net, V-Net, DenseNet и Mask R-CNN [2–6].

С момента своего появления в 2015 году сеть-сегментатор U-Net де-факто стала стандартным инструментом обработки биомедицинских изображений, однако до сих пор даже базовая версия U-Net весьма эффективна в разнообразных медицинских приложениях, связанных с обработкой данных о поражениях различных органов человека, например, КТ-снимков почек, изменений в лёгких, вызванных COVID-19 или обструктивной болезнью лёгких [7–9]. Известна разновидность U-Net3D, отличающаяся от исходной архитектуры U-Net лишь использованием трёхмерных свёрток вместо двумерных [10]. Эта архитектура применяется для сегментирования трёхмерных медицинских изображений. Так, в работе A. Pantovic и соавт. [11] с помощью U-Net3D по снимкам КТ мозга с вживлёнными датчиками определяли область для проведения операции по удалению эпилептогенной зоны. В статье X. Han и соавт. [12] эта же архитектура применялась для сегментирования МРТ-снимков печени и выделения на изображении как её контуров, так и внутренних участков.

Классическая архитектура нейронной сети U-Net состоит из двух блоков: кодировщика и декодера. Кодировщик анализирует входные данные и, уменьшая их размер, выделяет наиболее важные для распознавания признаки, а декодер восстанавливает из сжатых кодировщиком данных изображение, разделённое на сегменты. С 2015 года разработано значительное количество модификаций классической архитектуры U-Net (U-архитектуры) (рис. 1), направленных на повышение точности, скорости и устойчивости её работы. Эти модификации возможно разделить на 4 основных направления: внутренние модификации кодировщика и декодера, не изменяющие структуры сети; ансамблирование — создание композиций из U-архитектур; введение в сеть элементов других архитектур и блоков внимания; разнообразные подходы внедрения в модель дополнительных признаков.

 

Рис. 1. Классическая архитектура U-Net, предложенная в 2015 г., и основные способы её модифицирования.

 

Указанные модификации также применяются для решения специальных задач сегментирования изображений, возникающих в случае работы с частично размеченными данными (Semi-supervised learning), или если данных для обучения сети мало (рис. 2). Во втором случае различают обучение по малым и экстремально малым наборам. При работе с малыми наборами обычно применяют техники дообучения и настройки (transfer learning и fine-tuning) на интересующие данные предобученных на более разнообразных наборах сетей.

 

Рис. 2. Задачи сегментации в зависимости от специфики обучающих данных.

 

В случае экстремально малых наборов (few-shot learning) предобучения оказывается недостаточно: подходы few-shot learning, как правило, связаны с использованием оригинальных архитектурных решений и моделей данных.

В настоящем обзоре проведена структуризация применяемых модификаций архитектуры U-Net в задачах обработки медицинских изображений. Раздел 1 посвящён описанию способов модифицирования U-архитектуры четырьмя основными способами — внесением внутренних модификаций в кодировщик и декодер, введением в сеть элементов других архитектур и блоков внимания и модифицированием процесса обучения сети. В разделе 2 приведены способы решения специальных задач сегментации медицинских изображений с использованием архитектуры U-Net. В заключении сформулированы краткие выводы по рассмотренному материалу.

Методология поиска

Авторами данной статьи проведён поиск научных публикаций за период с 2018 по 2024 год, размещённых в реферативных базах данных Web of Science, Scopus и PubMed. Результаты поисковой выдачи из различных баз схожи: они отражают ключевые тенденции в подходах к модифицированию архитектуры U-Net. Поисковые запросы основывались на наборе ключевых слов («U-Net», «medical images», «modification» и др.). Первичные результаты поисковой выдачи включали около 5 тыс. источников. Дальнейшее уточнение предполагало использование фильтров на основе дополнительных ключевых слов: «attention», «few-shot», «unsupervised», «semi-supervised», «ensemble», «stack», «additional features», «metadata», «DICOM data» и др.

Результаты, отражённые в обнаруженных работах, критически оценены с учётом возможности применения данной архитектуры для анализа медицинских изображений. Критерии включения в обзор были следующими:

• качество валидации результатов (проведение сравнения с другими архитектурами и подходами, использование общих известных метрик качества, полнота исследования);
• оригинальность архитектурной модификации в рамках соответствующего ей направления;
• специфичность задачи (детектируемой патологии или сегментируемого органа);
• использование открытых наборов данных.

В настоящей работе подробно рассмотрена архитектура U-Net, которая оказалась прорывной для многих задач сегментации медицинских изображений благодаря своей эффективности. Так, U-Net представлена в статье O. Ronneberger и соавт. [2], а позднее на её основе созданы различные вариации, например, U-Net++ [13], Attention U-Net [5], 3D U-Net [10], EU-Net [14], NAS-U-Net [15], U-Net 3+ [16], SwinAttU-Net [17]. Основные работы по различным способам модифицирования данной архитектуры, значения оценок точностей сегментации и используемые для проверки наборы данных (и их тип) перечислены в Приложении 1. Также приведены работы, в которых U-Net используется для решения специальных задач сегментирования. Используются сокращения метрик: DC — показатель сходства Dice, пересечение над объединением (IoU, intersection over union), OA (overall accuracy) — общая точность [18, 19].

Модификации архитектуры U-Net

Внутренние модификации кодировщика и декодера

Рассмотрим структурные элементы, которые изменяются при внутренних модификациях кодировщика и декодера U-архитектуры.

Блоки свёртки кодировщика и декодера. Так, в работе Z. Xu и соавт. [57] для обработки снимков спинномозговых структур (наборы данных Verse2019 и Verse2020) в блоке кодировщика свёрточные слои заменялись на линейные, а в декодере на октавные свёртки (комбинация блоков свёрток с пулингом для выделения из данных частотной информации). В статье Y. Ayalew и соавт. [58] в задаче определения опухолей в печени по КТ-снимкам в оригинальной U-архитектуре было уменьшено число каналов в свёртках и применялась батч-нормализация. Это позволило повысить точность работы сети на наборах с выраженным дисбалансом численности элементов разных классов. S. Guan и соавт. [59] для устранения искажений фотоаккустических изображений (например, мозга) применяли архитектуру с изменёнными свёрточными блоками, в которых результаты сворачивания на каждом из слоёв конкатенировались между собой и в дальнейшем обрабатывались совместно.

Связи между блоками кодировщика и декодера. Для определения на КТ-изображениях печени участков, содержащих опухоли, в работе F. Özcan и соавт. [60] связи между блоками кодировщика и декодировщика проходили через специальный inception-блок из свёрток с разным размером ядра, выходы которых конкатенировались между собой. В исследовании ряда других авторов связи между кодировщиком и декодером проходили через пирамиду пулинг-слоёв (несколько пулинг-слоёв с разным размером ядра, применяемых к одним и тем же данным) [61]. Данная модификация применялась для быстрого сегментирования ультразвуковых изображений печени.

Блоки регуляризации кодировщика или декодера. Например, B. Omarov и соавт. [62] для выявления по КТ-снимкам областей мозга, пострадавших от ишемического удара, использовали модифицированную архитектуру U-Net, в которой в декодер добавлены дропаут и слои, реализующие L2-регуляризацию.

Ансамблирование U-Net-архитектур. Так, для восстановления КТ-изображений из информации о проекциях объекта, полученных при его вращении, может быть использована композиция из нескольких последовательно соединённых U-Net, обучавшихся на преобразованных в синограммы изображений из набора ImageNet [63]. Также среди рассмотренных исследований существует опыт использования ансамбля из двух сетей U-Net3D, предобученных на наборе данных LiTS, для детектирования опухолей на трёхмерных КТ-изображениях печени [24, 64]. Первая сеть работала со снимками в низком разрешении (исходные уменьшенные изображения). Результаты их сегментирования передавались на вход второй сети. Использовалась функция потерь, объединяющая DС и кросс-энтропию. Составная композиция двух U-Net сетей, одна из которых выступала как блок пост-обработки и уточнения результатов, также использовалась для детектирования опухолей в печени [65].

В работе C.P. Koirala и соавт. [66] ансамбль из U-Net3D, ONet3D и SphereNet3D использовали для определения положения опухоли мозга. Ансамблирование реализовано как взвешивание (суммирование с умножением на число, выражающее значимость вклада сети в общий результат — её вес) выходов всех моделей для определения наиболее вероятного класса.

Z. Li и соавт. [67] среди нескольких U-Net-моделей лучшую выбирали с помощью U-Net-сети без модификаций.

В рассмотренных работах продемонстрировано, что небольшие модификации архитектуры U-Net способны повысить качество и эффективность её работы для решения медицинских задач.

Модификации с использованием механизмов внимания

В данном разделе рассмотрим подходы к модификации классической архитектуры U-Net путём внесения в модель блоков пространственного и поканального внимания [68]. В исследовании ряда авторов для детектирования на КТ-изображениях грудной клетки изменений, вызванных COVID-19, использовалась архитектура на основе U-Net3D с эффективным поканальным вниманием в блоках кодировщика [69]. Также применён Pyramid fusion module на нижнем уровне U-архитектуры. В нём проводили конкатенацию признаков, выделенных нейронными сетями с различным размером окон, и обработка полученных данных в слое пулинга по глобальному среднему значению. Для оптимизации использована функция потерь Tversky loss [70].

В другой работе рассматривалась задача одновременной сегментации нескольких органов по их КТ-изображениям [71]. В предложенной U-Net-архитектуре использован блок внимания, который получал на вход выходы блоков кодировщика и декодера. Эти выходы конкатенировались и преобразовывались одномерной свёрткой с использованием функций активации ReLU и сигмоиды [72].

В статье [73] для сегментирования онкологических поражений печени по КТ-снимкам использовалась архитектура U-Net с блоками пространственного многомасштабного внимания. Было использовано несколько блоков в разных частях архитектуры, как внутри кодировщика и декодировщика, так и на связях между ними.

L.В. Zhang и соавт. [74] в качестве блоков внимания использовали пирамидальный пулинг в нижней части U-архитектуры (соответствующей максимальному уровню сжатия данных) и блоки эффективного поканального внимания на связях между блоками кодировщика и декодера. Данная модификация применялась для сегментирования КТ-изображений опухолей печени. Для детектирования рака груди в следующей статье предложена архитектура U-Net c пространственным вниманием между блоками кодировщика, комбинирующим свёртки с несколькими рецептивными полями (рис. 3), обучавшаяся с помощью функции потерь Tversky [75].

 

Рис. 3. Схема блока пространственного внимания между элементами кодировщика [75].

 

В работе A. Subhan Akbar и соавт. [76] с помощью внимания модифицированы связи между блоками кодировщика и декодера в U-архитектуре, а их коллегами на её нижнем уровне для выделения признаков добавлен блок позиционного внимания, после в каждом слое декодировщика — блок самовнимания [77].

Использование в U-Net разнообразных блоков внимания направлено на выявление пространственных взаимосвязей между элементами изображения в разных масштабах, которые не выделяются основной архитектурой.

Модификации на основе добавления элементов других архитектур

Часто используемый способ модифицирования U-Net-архитектуры — внесение в основную архитектуру элементов других сетей, например, ResNet, трансформеров и др. В литературе описано несколько вариаций подобного механизма.

Полная модификация кодировщика и (или) декодера. В работе F. Xingfei и соавт. [78] для сегментирования изменений в лёгких, вызванных COVID-19, использована модификация U-Net, кодировщик в которой замещён сетью ResNet50 [79]. После кодировщика следовал блок поканального внимания и специальный пирамидальный пулинг. Возможно использование трансформерного кодировщика, выход которого с помощью операции деконволюции приводится к соответствующему масштабу для использования в разных частях U-архитектуры [80].

Модифицирование блоков кодировщика и декодера с сохранением общей структуры U-архитектуры. В статье S. Eskandari и соавт. [81] рассматривалась задача сегментирования КТ-снимков печени. Для учёта высокой вариативности формы и размера органа, а также его изменений положения на снимке использовалась комбинация сети-классификатора, определяющая на изображении положение печени, и модифицированная сеть U-Net. Модификация заключалась в замене блоков свёртки на блоки из архитектуры ConvLSTM, а также использования этих блоков при построении для связей между блоками кодировщика и декодера [82].

Для решения задачи выделения по фотографиям поражённых участков кожных покровов предложена архитектура, сочетающая блоки Efficient Tranformer с U-архитектурой (рис. 4) [83]. По метрикам DC, чувствительности, специфичности и точности она превзошла классическую U-Net, Att U-Net, TransU-Net, FAT-Net, Swin U-Net при обработке набора данных снимков поражений кожи ISIC 2018.

 

Рис. 4. Архитектура, сочетающая блоки трансформера с U-образной архитектурой [81].

 

В работе F. Ghofrani и соавт. [84] для сегментации изображений полипов (Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB, EndoScene) используется композиция U-архитектуры (U-Net без модификаций) c блоками трансформера (рис. 5), которая превзошла по точности U-Net, ResU-Net++ и DoubleU-Net [36, 37, 85, 86].

 

Рис. 5. Композиция U-Net и Transformer [83].

 

Могут быть объединены элементы U-Net и Swin-Transformer, U-Net и BTSwin- Transformer, U-Net и DenseNet в задаче трёхмерной сегментации снимков печени [87–89].

Как и в случае внесения в архитектуру изменений с помощью блоков внимания, использование элементов других архитектур позволяет повысить качество обработки изображений за счёт выделения неявных взаимосвязей между частями снимка иным способом. Популярным является применение трансформерных блоков, использующих механизм самовнимания как способ выявления скрытых признаков.

Внедрение дополнительных признаков в U-Net

В литературе в качестве дополнительных признаков медицинских изображений обычно берутся их метаданные из файлов формата DICOM. Они имеют табличную структуру, среди них встречаются как непрерывные характеристики, так и категориальные переменные. Часто метаданные подаются на вход какой-либо другой сети, обучающейся как одновременно, так и отдельно от основного блока сегментатора. Внедрение дополнительной информации в основную сеть производится обычно с помощью разнообразных механизмов внимания. Например, при решении задачи сегментирования опухолей спинного мозга информацию о метаданных встраивают прямо в модель сегментатора, который имеет U-архитектуру, в каждый блок которой вставляется блок линейного преобразования выходов предшествующего свёрточного слоя [90]. Параметры преобразования (сдвиг и масштаб) определяются вынесенным из U-архитектуры генератором, получающем на вход метаданные о сегментируемом изображении. В статье R. Du и соавт. [91] реализован механизм поканального внимания, при этом метаданные использовались для обучения сети 3D-RADNet, выделяющей среди набора срезов те, что содержат интересующий орган (печень). Выделенные с использованием метаданных срезы поступали на вход сегментатору, имевшему U-архитектуру. Для сегментирования почечных опухолей в том числе может быть использовано поканальное внимание: метаданные встраиваются в сеть с помощью внутриканального внимания и составляют выходы структурных блоков U-образной архитектуры [92]. После последнего свёрточного слоя блока данные изображения и его метаданные попадают в слой, в котором последние подаются на вход многослойному перцептрону с сигмоидальной функцией активации. Его выходы перемножаются поканально на данные изображения, поступившие из предшествующего свёрточного слоя.

Помимо метаданных возможно использование и иных источников информирования U-Net:

• двухветочной архитектуры из свёрточной сети [93];
• CNNFormer для сегментирования печени (такая композиция позволяет учитывать пространственные связи внутри слайса и иерархические между ними) [94];
• дополнительные признаки (результаты сегментирования позвоночника, лёгких, границ кожного покрова, собранные с помощью Python-библиотеки bodynavigation) [95].

Эти данные конкатенировались с исходными изображениями для уточнения положения органа на снимке. Подход применялся для сегментирования КТ-изображений печени архитектурами U-Net и U-Net3D (слайсами или целиком).

Модификации процесса обучения U-Net нередко связаны с подходом итеративного повторного использования признаков. Так, в работе P. Ernst и соавт. [96] рассматривается задача восстановления КТ снимков из их синограмм. Для этого авторы используют комбинацию U-Net3D и Primal-Dual network, реализующую итеративный подход к обучению (на каждом следующем шаге полученное изображение комбинируется с результатами предшествующей итерации). В следующей статье предложен подход повышения точности сегментации изображений за счёт повторного использования выделенных в процессе обучения признаков данных [97]. Архитектура RecycleNet строится на базе U-Net. Сеть разделяется на три блока:

• I — блок входных данных;
• R — блок повторного использования скрытых признаков;
• O — блок результата (рис. 6).

 

Рис. 6. Схема разделения архитектуры U-Net на блоки [97].

 

Алгоритм повторного использования признаков представлен на рис. 6. Сначала случайным образом из заданного диапазона значений выбирается число итераций, которое будет использоваться для принятия решений. После признаки, выделенные на предшествующей итерации, нормализуются и складываются со значениями, выделенными на текущей итерации (фактически, реализуется пространственный эмбеддинг). После выполнения заданного числа итераций сеть выдаёт выходное значение. Экспериментальная проверка RecycleNet проводилась на наборах данных KiTS 2019 (рак почек), LiTS, BTCV, AMOS (мультиорганная сегментация), CHAOS (МРТ-снимки) [23, 24, 33, 40]. Предложенная архитектура сравнивалась с использованием специальной модификации метрики DC с сетями nnU-Net и DRU [98]. Во всех задачах RecycleNet превзошла перечисленные архитектуры.

Таким образом, использование дополнительных признаков позволяет повысить точность обработки изображений с помощью U-Net. Нередко дополнительные данные содержат в себе закономерности, которые не проявляются вовсе или проявляются в самих изображениях, но менее явно.

Решение специальных задач сегментации с использованием архитектуры u-net

Tрансферное обучение и тонкая настройка U-Net

В задачах обработки медицинских изображений часто возникает ситуация, когда для обучения сети имеется лишь небольшой набор данных, имеющих сложную структуру. Недостаток данных обусловлен как сложностью их разметки, так и ограничениями, возникающими из-за соглашений о приватности. Один из подходов к решению задач в таких случаях — использование предобученных моделей с последующей тонкой настройкой (fine-tuning) с помощью имеющегося в распоряжении набора данных.

В исследовании M. Heker и соавт. [99] рассматривалась задача сегментирования небольшого набора данных КТ-снимков печени для обнаружения в нём опухолей различного типа. Для этого архитектура U-Net вначале обучалась на наборе данных LiTS, после чего веса её кодировщика иерархически «замораживались». Вначале веса кодировщика объявлялись нейтральными (неизменяющимися в процессе обучения). Оставшаяся часть сети учила заданное число итераций, а после по одному «замороженные» веса назначались обучаемыми, выполнялась их настройка.

В статье ряда авторов архитектура U-Net использовала кодировщик на основе ResNet32, который вначале обучался на ImageNet, а после дообучался на изображениях оптической когерентной томографии [100]. Другие исследователи рассматривали техники дообучения U-Net и U-Net3D для сегментации изображений различных органов и заболеваний, а также подходы, включавшие в том числе варьирование числа обучаемых слоёв [101, 102].

Существует также метод для трансферного обучения (transfer learning) архитектур U-Net и EfficientNet, созданных сегментировать двумерные изображениях, с целью переноса результатов для обработки трёхмерных изображений [103, 104]. Авторами метода были предложены два способа — повышение частоты дискретизации двумерных весов в соответствующих им по порядку блоках трёхмерных архитектур или работа с проекциями трёхмерных данных на плоскость с дальнейшей обработкой обученной на двумерных данных сетью (рис. 7).

 

Рис. 7. Типы соотношений между размеченными и неразмеченными данными при обучении и тестировании сетей: a — SSL; b — UDA; c — SemiDG [106].

 

Иной подход к доообучению — проведение пост-обработки результатов сегментирования изображения с помощью U-Net. Так, в статье Y. Hong и соавт. [105] рассмотрена задача сегментирования печени по снимкам КТ. В качестве модификации предложена процедура постобработки результатов сегментирования U-Net. Она заключалась в оптимизации энергетического функционала, состоящего из слагаемого, отвечающего за выделение контуров на изображении, и слагаемого, отвечающего за оптимизацию меток класса вокселов внутри рассматриваемого региона.

Эффективность стратегий тонкой настройки и трансферного обучения в целом во многом зависит от наборов данных, на которых сеть предобучалась. Она будет тем выше, чем более близки по типам рассматриваемых объектов обучающий и целевой набор. Однако последнее нередко неосуществимо, особенно в случае специфических задач: наборов данных достаточного размера часто не существует, особенно, если речь идёт про трёхмерные данные. Перспективным видится подход дообучения на более простых данных меньшей размерности, получение которых в достаточных объёмах сопряжено с меньшими сложностями.

Методы с частичным привлечением учителя

Нередко отсутствие обучающих данных в достаточном количестве для работы сложных архитектур обусловлено недоступностью экспертной разметки «сырых» данных, так как это трудоёмкий процесс, требующий большого опыта и знаний в предметной области. Существуют различные стратегии обучения U-архитектур с привлечением неразмеченных данных, ориентирующихся на подходы с частичным привлечением учителя.

H. Wang и соавт. [106] рассматривают задачу обучения сетей сегментации трёхмерных медицинских моделей органов на наборах частично размеченных данных. Создан фреймворк, способный работать с различными типами соотношений между размеченными и неразмеченными данными при обучении и тестировании сети (см. рис. 7):

• рис. 7, а: размеченные, неразмеченные наборы и данные для тестирования принадлежат одному типу (тестовое множество выделено пунктиром);
• рис. 7, b: размеченные данные принадлежат одному типу, неразмеченные и данные для теста — другому;
• рис. 7, c: обучающий набор состоит из размеченных и неразмеченных данных разных типов. Тестовые данные по своей сути с ними полностью различны.

Построенный фреймворк состоит из двух блоков (рис. 8): блока агрегирования и блока разделения. Первый состоит из кодировщика предложенной в данной работе сети Diffusion VNet, применяемой для сегментации изображений для взаимосвязей первого типа. Второй состоит из трёх декодеров VNet, каждый из которых генерирует метки классов определённого типа. Первый декодер генерирует несмещённые относительно типа данных метки (с функцией потерь, объединяющей кросс-энтропию и DC), используемые для получения меток ревзвешенных классов (вес использовался в функции потерь, состоявшей из суммы оценки DC всех классов размеченных данных). Взвешивание позволяло более эффективно обучать «отстающие» классы. Второй декодер генерировал неразмеченным данным псевдо-метку класса, использовавшуюся для обучения третьего декодера по принципу обучения без учителя.

 

Рис. 8. Схема A&D фреймворка [106].

 

Фреймворк обучался на наборах данных LASeg (МРТ мозга), Synapse (различные органы), MMWHS и M&Ms (сердце) [47–50]. Результаты его работы сравнивались с результатами архитектур UA-MT, LMISA-3D, vMFNet, SS-Net и др. в терминах метрик DC, Жаккарда, HD95. Фреймворк продемонстрировал в ряде случаев превосходящие или сопоставимые результаты со сравниваемыми с ним специализированными архитектурами.

J. Wang и соавт. [107] рассмотрели задачу адаптирования обученной сети для сегментации небольшого целевого набора данных (сегментирование полипов). Исследовалась ситуация, когда целевой набор состоял из изображений, похожих на те, на которых обучалась сеть, но при этом не был размечен. Для обучения сети использовались две техники: контрастное обучение и псевдомаркировка с калибровкой.

При контрастном обучении неразмеченные изображения в наборе по отношению к снимку размечаются на позитивные (согласующиеся с ним) и негативные. Традиционно позитивными считались изображения, полученные из снимка в результате аугментации, а негативными — остальные. Для разметки использовалась обученная на другом наборе данных сеть, генерировавшая для целевого набора псевдо-маски. Предсказанные сетью маски использовались для вычисления значений энтропии и центров классов на снимках.

Для повышения достоверности создаваемой псевдомаски добавлен блок её попиксельной калибровки с учётом предшествующих предсказаний. Для оценки эффективности подхода в задаче сегментации изображений полипов (наборы данных ClinicDB, ETIS-LARIB, Kvasir-SEG) предложенная архитектура сравнивалась с сетями, реализующими техники Bidirectional Learning (BDL), Fourier Domain Adaptation (FDA), Historical Contrastive Learning (HCL), and Denoised Pseudo-Labeling. В терминах различных вариаций метрики DC, IoU предложенная архитектура превзошла перечисленные альтернативы.

В статье T. Wang и соавт. [108] предложен метод сегментации изображений органов человека, в том числе полученных в ходе проведения операций, для наборов, состоящих из частично размеченных данных.

Для работы с неразмеченными данными используется конфигурация (рис. 9), состоящая из двух сетей одинаковой архитектуры, получающих на вход одно и то же изображение. Сети инициализированы по-разному и потому объединение результатов их использования позволяет получать предсказания более высокой точности, чем при работе с каждой из них по отдельности. С целью избежать искажений при присваивании неразмеченным данным псевдо-меток в случаях, когда классы представлены в обучающем наборе неравномерно, восстанавливался не общий закон распределения данных, а частные распределения классов по отдельности.

 

Рис. 9. Архитектура из двух сетей для обучения на наборах, в которых классы представлены неравномерно [108].

 

Для согласования частных плотностей классов использовалось преобразование экспоненциального скользящего среднего, приименного к матрицам согласования классов для размеченных и неразмеченных данных. Для оценки эффективности предложенного подхода рассматривались наборы данных CaDIS (снимки ведения операций), LGE-MRIs и ACDC (болезни сердца). Результаты работы метода сравнивались с результатами архитектур URPC, UAMT, CLD и CPS в терминах метрик DC, Жаккардовой и др. Метод превзошёл перечисленные архитектуры.

Таким образом, грамотный выбор архитектурных решений позволяет эффективно использовать неразмеченные данные для обучения U-архитектур в том числе в случае дисбаланса классов.

Обучение U-Net на экстремально малых наборах реальных данных

Разработка ПО на основе ТИИ для отдельных медицинских задач сопряжена со сложностью подготовки обучающего набора данных требуемого размера [109]. Необходимо наличие специализированного ПО для обработки текстовых протоколов и приведения их к структурированному виду [110–112]. По этой причине, а также вследствие высокой стоимости разметки данных, разработчикам приходится сталкиваться с наличием ограниченного числа размеченных исследований для машинного обучения, поэтому одной из распространённых техник для работы с медицинскими изображениями являются методы обучения на экстремально малых наборах реальных данных (few-shot).

Учёными рассмотрена задача диагностирования рака лёгких по снимкам компьютерной и позитронно- эмиссионной томографии [113]. U-Net без модификаций обучалась с использованием аугментации данных и их дополнением в процессе обучения и тестирования модели обратной связью от эксперта, оценивающего результаты её работы. В другом исследовании использовали тот же подход, только для данных по COVID-19 [114]. В следующей статье для повышения качества сегментирования изображений в архитектуре U-Net модифицирован кодировщик по типу Siamese Net: добавлена вторая ветка, получавшая на вход изображение, умноженное на свою маску (сегмент), веса которой объединены с весами первой ветви кодировщика, получавшей на вход обычное изображение без изменений [115].

В приложениях к медицинским изображениям применение данной техники чаще встречается для архитектур, отличающихся от U-Net, что, возможно, связано с размером и числом нейронов этой сети.

Заключение

Классическая архитектура U-Net — эффективный инструмент для сегментирования медицинских изображений. Это обусловило популярность данной архитектуры, а также количество способов улучшения результатов её работы с помощью модификаций. Для U-Net распространены модификации различных типов, направленные как на более точное интерпретирование имеющихся данных, так и на обобщение признаков, полученных во время предобучения на различных, в том числе и неразмеченных, наборах. Также возможно разделение модификаций по решаемым задачам (например, сегментирование и выявление поражённых тканей) и наборам данных, соответствущих определённым заболеваниям. Диагностическая точность решений на основе U-Net архитектур может быть повышена с помощью использования дополнительных обучающих признаков, извлекаемых из данных или математической модели в текстовом или табличном виде.

Архитектуры на основе U-Net применяются для решения задач сегментирования медицинских изображений, разнообразных как по своим постановкам, так и по используемым данным (различные типы снимков и патологий). Каждая из таких задач имеет свою специфику, потому выделить одну универсальную архитектуру или хотя бы класс, позволяющие одинаково эффективно решать произвольную из них, не представляется возможным. Однако среди рассмотренных лучшие результаты продемонстрированы на основе модификации нейронной сети U-Net с использованием элементов других архитектур. Это решение зарекомендовало себя не только в классической постановке задачи сегментирования снимков (с использованием блоков трансформерных архитектур), но и в случаях, когда данных для обучения недостаточно (например, метод предобучения с использованием сетей меньшей размерности, чем целевые данные). Высокий потенциал имеют и методы внедрения разнообразных дополнительных признаков в нейросетевые архитектуры, а также вариации подходов физического информирования нейронных сетей моделями изучаемых объектов или структуры изображения.

Дополнительная информация

Приложение 1. Способы модифицирования архитектуры U-Net. doi: 10.17816/DD629866-4224037

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-Сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счёт средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы. Ряд нейросетевых конфигураций тестировался на ресурсах федерального государственного бюджетного образовательного учреждения высшего образования «МИРЭА — Российский технологический университет» в рамках дополнительного соглашения №1 от 24 ноября 2023 года к соглашению о сотрудничестве №1 от 07.07.2022 г., Москва.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи. Рисунки 1 и 2 являются оригинальными и выполнены авторами. Рисунки 3–9 распространяются под лицензией CC BY 4.0 и приведены в данной работе в неизменном виде со ссылкой на оригинальные работы, где были впервые представлены.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение поисково-аналитической работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: А.М. Достовалова — сбор и обработка материалов, написание текста статьи; А.К. Горшенин — постановка задачи, анализ и систематизация подходов, концептуализация, написание текста статьи; Ю.В. Старичкова, К.М. Арзамасов — концепция работы, написание текста статьи.

Additional information

Appendix 1. Ways to modify the U-Net architecture. doi: 10.17816/DD629866-4224037

Funding source. This article was prepared by a group of authors as a part of the research and development effort titled «Development of a platform for improving the quality of AI services for clinical diagnostics» (USIS No.: 123031400006-0) in accordance with the Order No. 1196 dated December 21, 2022 «On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025» issued by the Moscow Health Care Department. The research was carried out using the infrastructure of the federal state budgetary educational institution of higher education «MIREA – Russian Technological University» within the framework of additional agreement No. 1 dated November 24, 2023 to the cooperation agreement No. 1 dated 07.07.2022, (Moscow).

Competing interests. The authors declare that they have no competing interests. Figures 1 and 2 are original and made by the authors. Figures 3-9 are distributed under the CC BY 4.0 license and are presented in this work unchanged with reference to the original works where they were first presented.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. A.M. Dostovalova — collection and processing of materials, writing the text of the article; A.K. Gorshenin — problem statement, analysis and systematization of approaches, conceptualization, writing the text of the article; Ju.V. Starichkova, K.M. Arzamasov — concept of the work, writing the text of the article.

About the authors

Anastasia M. Dostovalova

MIREA — Russian Technological University; Federal Research Center Computer Science and Control of the Russian Academy of Sciences

Email: adostovalova@frccsc.ru
ORCID iD: 0009-0004-9420-4182
SPIN-code: 3784-0791
Russian Federation, Moscow; Moscow

Andrey K. Gorshenin

MIREA — Russian Technological University; Federal Research Center Computer Science and Control of the Russian Academy of Sciences

Email: agorshenin@frccsc.ru
ORCID iD: 0000-0001-8129-8985
SPIN-code: 1512-3425

Dr. Sci. (Physics and Mathematics), Assistant Professor

Russian Federation, Moscow; Moscow

Julia V. Starichkova

MIREA — Russian Technological University

Email: starichkova@mirea.ru
ORCID iD: 0000-0003-1804-9761
SPIN-code: 3001-6791

Cand. Sci. (Engineering), Assistant Professor

Russian Federation, Moscow

Kirill M. Arzamasov

MIREA — Russian Technological University; Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

MD, Cand. Sci. (Medicine), Head of Medical Informatics, Radiomics and Radiogenomics Department

Russian Federation, Moscow; Moscow

References

Supplementary files