BACKGROUND: Ovarian reserve reflects a woman's ability to successfully realize reproductive function. The assessment of ovarian reserve is an urgent task for clinical practice [1] and is important in scientific research. The use of computerized diagnostic image processing methods can accelerate and facilitate the performance of routine tasks in clinical practice. Their use in retrospective data analysis for scientific purposes allows to increase the objectivity of the study and supplement it with auxiliary information [2].
The issue of ovarian localization and follicle segmentation on ultrasound images has been previously investigated in other works. For instance, Z. Chen et al. [3] employed the U-net model to identify follicles on ultrasound images. Similarly, V.K. Singh et al. [4] addressed a related problem using a variant of U-net, namely UNet++ [5], which has gained considerable traction in the field of medical image analysis [6].
AIM: The study aimed to develop machine learning models for analyzing ovarian images obtained from an ultrasound machine.
MATERIALS AND METHODS: An open dataset with a labeled ovary region was used for pre-training ovarian segmentation and follicle detection models. Subsequently, the dataset, which contains marked-up ovarian and follicle regions, was employed for training and testing. It encompasses a total of approximately 800 examples from 50 unique patients.
The localization of follicles in an ultrasound image is a challenging task. To address this, the designed detector system was divided into two parts: ovary segmentation and follicle detection within the selected region. This approach allows the model to focus on a region where there are no other organs and various ultrasound artifacts that can be falsely perceived as the object under investigation. For the purpose of ovarian segmentation, the UNet++ architecture [5] was employed in conjunction with the ResNeSt encoder [8], which incorporates the SE-Net [9] and SK-Net [10] attention mechanisms.
The object detection model is employed to identify the location of follicles within the ovary, as it enables precise enumeration of the number of follicles, even in the presence of overlapping structures, a capability that the segmentation model lacks. In our study, we used the YOLOv8 model [11].
Furthermore, data preprocessing has been employed to enhance the quality of model predictions. This has involved the identification and removal of regions with auxiliary information, the reduction of noise, and the augmentation of data.
RESULTS: Two ovarian localization models are presented based on the results of this study. The first model is a segmentation model with an IoU quality of at least 50%. The second model is a detection model with a mAP quality of at least 65%. A third model is a model for follicle detection with subsequent follicle counting. This model has an MAPE error not exceeding 35%.
CONCLUSIONS: The study resulted in the proposal of a method for applying machine learning techniques to the task of analyzing ultrasound images. The developed segmentation and detection models reduce the time and errors in analyzing ovaries and follicles in the images. The use of an attention mechanism and data preprocessing improves the quality of the models. The neural network for follicle detection provides follicle counting, even when follicles overlap.
Обоснование. Овариальный резерв отражает способность женщины к успешной реализации репродуктивной функции. Оценка овариального резерва является актуальной задачей для клинической практики [1] и важна при проведении научных исследований. Использование методов компьютерной обработки диагностических изображений способно ускорить и облегчить выполнение рутинных задач в клинической практике. Их применение при ретроспективном анализе данных в научных целях позволяет повысить объективность исследования, дополнить его вспомогательной информацией [2].
Рассматриваемая задача локализации яичников и фолликулов на ультразвуковых снимках уже исследовалась в других работах. Например, Z. Chen и соавт. [3] применяли модель U-net для сегментации фолликулов на ультразвуковых снимках. А в статье V.K. Singh и соавт. [4] похожая задача решалась с использованием модификации U-net, называемой UNet++ [5], которая является очень популярной моделью для анализа медицинских изображений [6].
Цель — разработка моделей машинного обучения для анализа изображений яичников, полученных с аппарата ультразвуковой диагностики.
Материалы и методы. Для предварительного обучения моделей сегментации яичников и детекции фолликулов использовался открытый набор данных с размеченной областью яичника [7]. Затем для обучения и тестирования использовался собранный нами набор данных, который содержит разметку областей яичников и фолликулов. Всего в нём находится около 800 примеров 50 уникальных пациентов.
Локализация фолликулов на ультразвуковом снимке является сложной задачей, поэтому проектируемая система детектора была разделена на две части: сегментация яичника и детекция фолликулов внутри выделенной области. Это позволяет сконцентрировать внимание модели на области, где нет других органов и различных артефактов ультразвуковой диагностики, которые могут быть ложно восприняты как исследуемый объект. Для сегментации яичников мы использовали архитектуру UNet++ [5] с ResNeSt кодировщиком [8], который объединяет в себе механизмы внимания SE-Net [9] и SK-Net [10].
Для нахождения местоположения фолликулов внутри яичника используется модель детекции объектов, поскольку она позволяет произвести точный подсчёт количества фолликулов, даже если они перекрывают друг друга, чего не может сделать модель сегментации. В своей работе мы использовали YOLOv8 [11].
Кроме того, для улучшения качества предсказаний моделей использована предобработка данных: детекция и удаление области со вспомогательной информацией, снижение шума и аугментации.
Результаты. По результатам данной работы представлены две модели локализации яичников: модель сегментации с качеством IoU не менее 50% и модель детекции с качеством mAP не менее 65%. Модель для детекции фолликулов с последующим подсчётом их количества с ошибкой MAPE не выше 35%.
Заключение. В результате проведённого исследования было предложено, как применить методы машинного обучения для задачи анализа снимков ультразвуковых снимков. Разработанные модели сегментации и детекции уменьшают время и ошибки при анализе яичников и фолликулов на снимках. Использование механизма внимания и предобработки данных повышает качество моделей. Нейронная сеть для детекции фолликулов обеспечивает их подсчёт, даже при их перекрытии.