BACKGROUND: One of the common problems in labeling medical images is inter-observer variability. The same image can be labeled differently by doctors. The main reasons are the human factor, differences in experience and qualifications, different “radiology schools”, poor image quality, and unclear instructions. The influence of some factors can be reduced by proper organization of the annotation; however, the opinion of doctors frequently differs.
AIM: The study aimed to test whether a neural network with an additional module can learn the style and labeling features of different radiologists and whether such modeling can improve the final metrics of object detection on radiological images.
METHODS: For training artificial intelligence systems in radiology, cross-labeling, i.e., annotation of the same image by several doctors, is frequently used. The easiest way is to use labeling from each doctor as an independent example when training the model. Some methods use different rules or algorithms to combine annotation before training. Finally, Guan et al. use separate classification heads to model the labeling style of different doctors. Unfortunately, this method is not suitable for more complex tasks, such as detecting objects on an image. For this analysis, a machine learning model designed to detect objects of different classes on mammographic scans was used. This model is a neural network based on Deformable DETR architecture. A dataset consisting of 7,756 mammographic breast scans and 12,543 unique annotations from 19 doctors was used to train the neural network. For validation and testing, a dataset consisting of 700 and 300 Bi-Rads-labeled scans, respectively, was taken. In all data sets, the proportion of images with pathology was in the 15%–20% range. A unique index was assigned to each of the 19 doctors, and a special module at each iteration of the neural network training found a vector corresponding to this index. The vector was expanded to the size of the feature map of each level of the feature pyramid, and then attached by separate channels to the maps. Thus, the encoder and the decoder of the detector had access to the information about which doctor labeled the scan. The vectors were updated using the back-propagation method. Three methods were chosen for comparison:
Basic model: Combining labels by different doctors using the “voting” method.
New stylistic module: For predictions on the test dataset, a single doctor’s index was taken, which showed the best metrics on the validation dataset.
New stylistic module: The indexes of the five doctors with the best metrics on the validation dataset were used for predictions on the test dataset. Weighted Boxes Fusion was chosen to combine the predictions.
The area under the receiver operating characteristic curve (ROC-AUC) was used as the primary metric on the test dataset (Bi-Rads 3, 4, and 5 categories were referred to pathology). The sum of maximum probabilities of detected malignant objects (malignant masses and calcinates) by cranio-caudal and medio-lateral oblique projections was assumed as the probability of malignancy for each method.
RESULTS: The following ROC-AUC metrics were obtained for the three methods: 0.82, 0.87, and 0.89.
CONCLUSIONS: The information about the labeling doctor allows the neural network to learn and model the labeling style of different doctors more effectively. In addition, this method may obtain an estimate of the uncertainty of the network’s prediction. The use of embedding from different doctors, leading to different predictions, may mean that this data is difficult for an artificial intelligence system to process.
Обоснование: одна из часто встречающихся проблем при разметке медицинских изображений — расхождения между разными врачами-разметчиками (inter-observer variability). Одно и то же изображение может быть размечено врачами по-разному. Основные причины — человеческий фактор, разница в опыте и квалификации, разные «радиологические школы», плохое качество изображения, нечёткие инструкции. Влияние некоторых факторов можно уменьшить за счёт правильной организации процесса разметки, но мнение врачей всё равно нередко различается.
Цель: проверить, может ли нейронная сеть с помощью дополнительного модуля обучиться стилю и особенностям разметки разных врачей-рентгенологов и может ли такое моделирование улучшить итоговые метрики детекции объектов на радиологических изображениях.
Методы: для обучения систем искусственного интеллекта в радиологии часто используется перекрёстная разметка, т.е. разметка одного и того же исследования несколькими врачами. Существуют разные методы работы с такой разметкой. Самый простой способ — использовать разметку от каждого врача как независимый пример при обучении модели. Есть методы, которые с помощью различных правил или алгоритмов объединяют разметку перед обучением. Наконец, M.Y. Guan и соавт. используют отдельные классификационные головы для моделирования стиля разметки разных врачей. К сожалению, этот метод не подходит для более сложных задач, например детекции объектов на изображении. Для данного анализа использовалась модель машинного обучения, предназначенная для детекции объектов различных классов на маммографических исследованиях. Эта модель является нейронной сетью, основанной на архитектуре Deformable DETR. Для обучения нейронной сети использовался набор данных, состоящий из 7756 маммографических исследований молочных желёз и 12 543 уникальных аннотации от 19 врачей; для валидации — набор данных, состоящий из 700 исследований, размеченных по шкале Bi-Rads; для тестирования — набор данных, состоящий из 300 исследований, размеченных по шкале Bi-Rads. Во всех наборах данных доля исследований с патологией находилась в диапазоне 15–20%. Каждому из 19 врачей был присвоен уникальный индекс, по которому специальный модуль на каждой итерации обучения нейронной сети находит соответствующий этому индексу вектор. Этот вектор расширялся до размера карты признаков каждого уровня пирамиды признаков, а затем присоединялся отдельными каналами к этим картам. Таким образом, энкодер и декодер детектора получали доступ к информации о том, какой врач разметил данное исследование. Векторы обновлялись с помощью метода обратного распространения ошибки. Для сравнения были выбраны три метода.
Базовая модель — объединение разметки методом разных врачей с помощью метода "голосования".
Использование нового стилистического модуля. Для предсказаний на тестовом наборе данных был использован индекс одного врача, который показал лучшие метрики на валидационном наборе данных.
Использование нового стилистического модуля. Для предсказаний на тестовом наборе данных были использованы индексы пяти врачей с лучшими метриками на валидационном наборе данных. Для объединения предсказаний применялся метод Weighted Boxes Fusion.
В качестве основной метрики был использован ROC-AUC на тестовом наборе данных (к патологии относились категории Bi-Rads 3, 4, и 5). В качестве вероятности злокачественности для каждого метода использовалась сумма максимальных вероятностей обнаруженных злокачественных объектов (злокачественные образования и кальцинаты) по проекциям CC и MLO.
Результаты: по результатам обучения были получены следующие метрики ROC-AUC для трёх приведённых методов — 0,82; 0,87 и 0,89.
Заключение: использование информации о враче-разметчике позволяет нейронной сети эффективнее обучаться и моделировать стиль разметки разных врачей. Данный метод может также применяться для получения оценки неуверенности сети в своём предсказании. Использование эмбеддингов разных врачей, приводящее к разным предсказаниям, может означать сложность данного исследования для обработки системой искусственного интеллекта.