Отправить статью по E-mail 
Одноэтапная генерация сетки поверхности просвета аневризмы брюшной аорты гибридной нейронной сетью на основе снимка компьютерной томографии
- Авторы: Епифанов Р.Ю.1, Мулляджанов Р.И.1,2, Карпенко А.А.1,3
-
Учреждения:
- Новосибирский национальный исследовательский государственный университет
- Институт теплофизики имени С.С. Кутателадзе
- Национальный медицинский исследовательский центр имени академика Е.Н. Мешалкина
- Выпуск: Том 5, № 1S (2024)
- Страницы: 83-85
- Раздел: МОЛОДЫЕ УЧЕНЫЕ: тезисы конференции НПКЦ
- Статья получена: 28.01.2024
- Статья одобрена: 13.03.2024
- Статья опубликована: 03.07.2024
- URL: https://jdigitaldiagnostics.com/DD/article/view/626155
- DOI: https://doi.org/10.17816/DD626155
- ID: 626155
Цитировать
Полный текст
Аннотация
Обоснование. Современные алгоритмы извлечения поверхности кровотока для гемомоделирования аневризм брюшной аорты в основном извлекают не напрямую из компьютерной томографии, а через этап сегментации [1]. Это осложняет извлечение, потому что при обучении нейросети сегментации игнорируется тот факт, что кровоток представляет собой односвязную область, и для выполнения критерия односвязности может требоваться постобработка. Во-вторых, поверхность кровотока, полученная из маски сегментации с помощью marching cubes, слишком грубая и требует применения сглаживания. Для обеспечения одноэтапного извлечения поверхности первым был предложен Voxel2Mesh [2]. Voxel2Mesh показывает неплохую производительность в извлечение относительно простых геометрий, в то время как для более сложных в литературе предложены его модификации [3, 4].
Цель — разработка алгоритма одноэтапного извлечения поверхности просвета аневризмы брюшной аорты.
Материалы и методы. Было подготовлено 90 снимков компьютерной томографии с контрастированием и масок сегментации к ним с разметкой области кровотока, разделённых на группы в 40, 20 и 30 снимков для обучения, валидации и тестирования. Для увеличения эффективного размера обучающей выборки применялись аффинные и нелинейные аугментации. Для одноэтапного извлечения поверхности была предложена гибридная нейронную сеть, состоящая из воксельного кодера, воксельного декодера и сеточного декодера. Архитектура кодера наследует архитектуру ConvNeXtV2 размера Atto. Воксельный декодер является композицией пяти блоков, из интерполяционного слоя, двух сверхточных слов со слоями пакетной нормализации и ReLU. Воксельный декодер и кодер соединены связями аналогично Unet. Сеточный декодер состоит из четырёх свёрток GraphSAGE, разделённых GeLU, и соединён с воксельным декором. На вход кодера поступает снимок компьютерной томографии, на вход сеточного декора поступает первоначальное приближение поверхности в виде шара. На выходе воксельного декора получается маска сегментации, на выходе сеточного декора — извлечённая поверхность. Для обучения использовалась комбинация воксельной и сеточной функции потерь. В качестве истинной поверхности использовали поверхность, сгенерированную из сегментационной маски алгоритмом marching cubes. Для задания необходимых параметров генерируемой сетки использовали регуляризирующие слагаемые в сеточной функции потерь. Качество генерации оценивали метрикой dice, сравнивая истинную сегментационную маску с растеризированной сгенерированной поверхностью.
Результаты. Мы предложили первую гибридную нейронную сеть с кодером, основанным на современной архитектуре ConvNeXtV2 для прямого создания сетки кровотока аневризмы брюшной аорты. Мы добились улучшения генерации по метрике dice на 14,01%, набрав 85,32%, по сравнению с Voxel2Mesh.
Заключение. Показаны многообещающие результаты для точной генерации геометрии просвета с показателями, близкими к задаче сегментации, устраняя необходимость в этапах постобработки, необходимых для последней.
Ключевые слова
Полный текст
Обоснование. Современные алгоритмы извлечения поверхности кровотока для гемомоделирования аневризм брюшной аорты в основном извлекают не напрямую из компьютерной томографии, а через этап сегментации [1]. Это осложняет извлечение, потому что при обучении нейросети сегментации игнорируется тот факт, что кровоток представляет собой односвязную область, и для выполнения критерия односвязности может требоваться постобработка. Во-вторых, поверхность кровотока, полученная из маски сегментации с помощью marching cubes, слишком грубая и требует применения сглаживания. Для обеспечения одноэтапного извлечения поверхности первым был предложен Voxel2Mesh [2]. Voxel2Mesh показывает неплохую производительность в извлечение относительно простых геометрий, в то время как для более сложных в литературе предложены его модификации [3, 4].
Цель — разработка алгоритма одноэтапного извлечения поверхности просвета аневризмы брюшной аорты.
Материалы и методы. Было подготовлено 90 снимков компьютерной томографии с контрастированием и масок сегментации к ним с разметкой области кровотока, разделённых на группы в 40, 20 и 30 снимков для обучения, валидации и тестирования. Для увеличения эффективного размера обучающей выборки применялись аффинные и нелинейные аугментации. Для одноэтапного извлечения поверхности была предложена гибридная нейронную сеть, состоящая из воксельного кодера, воксельного декодера и сеточного декодера. Архитектура кодера наследует архитектуру ConvNeXtV2 размера Atto. Воксельный декодер является композицией пяти блоков, из интерполяционного слоя, двух сверхточных слов со слоями пакетной нормализации и ReLU. Воксельный декодер и кодер соединены связями аналогично Unet. Сеточный декодер состоит из четырёх свёрток GraphSAGE, разделённых GeLU, и соединён с воксельным декором. На вход кодера поступает снимок компьютерной томографии, на вход сеточного декора поступает первоначальное приближение поверхности в виде шара. На выходе воксельного декора получается маска сегментации, на выходе сеточного декора — извлечённая поверхность. Для обучения использовалась комбинация воксельной и сеточной функции потерь. В качестве истинной поверхности использовали поверхность, сгенерированную из сегментационной маски алгоритмом marching cubes. Для задания необходимых параметров генерируемой сетки использовали регуляризирующие слагаемые в сеточной функции потерь. Качество генерации оценивали метрикой dice, сравнивая истинную сегментационную маску с растеризированной сгенерированной поверхностью.
Результаты. Мы предложили первую гибридную нейронную сеть с кодером, основанным на современной архитектуре ConvNeXtV2 для прямого создания сетки кровотока аневризмы брюшной аорты. Мы добились улучшения генерации по метрике dice на 14,01%, набрав 85,32%, по сравнению с Voxel2Mesh.
Заключение. Показаны многообещающие результаты для точной генерации геометрии просвета с показателями, близкими к задаче сегментации, устраняя необходимость в этапах постобработки, необходимых для последней.
Об авторах
Ростислав Юрьевич Епифанов
Новосибирский национальный исследовательский государственный университет
Email: rostepifanov@gmail.com
ORCID iD: 0009-0005-1348-2699
SPIN-код: 9972-6042
Россия, Новосибирск
Рустам Илхамович Мулляджанов
Новосибирский национальный исследовательский государственный университет; Институт теплофизики имени С.С. Кутателадзе
Email: rustammul@gmail.com
ORCID iD: 0000-0001-7506-1914
SPIN-код: 8501-5301
Россия, Новосибирск; Новосибирск
Андрей Анатольевич Карпенко
Новосибирский национальный исследовательский государственный университет; Национальный медицинский исследовательский центр имени академика Е.Н. Мешалкина
Автор, ответственный за переписку.
Email: andreikarpenko@rambler.ru
ORCID iD: 0000-0002-8064-1857
Россия, Новосибирск; Новосибирск
Список литературы
- Brutti F., Fantazzini A., Finotello A., et al. Deep learning to automatically segment and analyze abdominal aortic aneurysm from computed tomography angiography // Cardiovascular Engineering and Technology. 2022. Vol. 13, N 4. P. 535–547. doi: 10.1007/s13239-021-00594-z
- Wickramasinghe U., Remelli E., Knott G., Fua P. Voxel2Mesh: 3D mesh model generation from volumetric data // Medical Image Computing and Computer Assisted Intervention–MICCAI 2020: 23rd International Conference; 2020 October 4–8; Lima, Peru. doi: 10.1007/978-3-030-59719-1_30
- Kong F., Wilson N., Shadden S. A deep-learning approach for direct whole-heart mesh reconstruction // Medical image analysis. 2021. Vol. 74. doi: 10.1016/j.media.2021.102222
- Bongratz F., Rickmann A.-M., Polsterl S., Wachinger C. Vox2cortex: fast explicit reconstruction of cortical surfaces from 3D MRI scans with geometric deep neural networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition; 2022; New Orleans, LA, USA. doi: 10.1109/CVPR52688.2022.02011
Дополнительные файлы
