Инструмент оценки качества исследований диагностической точности алгоритмов искусственного интеллекта (QUADAS-CAD)

ОБОСНОВАНИЕ. Применение искусственного интеллекта (ИИ) для обработки медицинских данных ― перспективное, активно развивающееся направление [1]. Однако в данной области существует проблема стандартизации методологии ― как проведения самих исследований, так и оформления их результатов. В частности, существует потребность оценки методологического качества, ключевым показателем которого является вероятность намеренного или случайного привнесения систематических ошибок (bias) в результаты исследования. Существующий инструмент оценки (QUADAS-2) [2] ориентирован на медицинский тип исследований, что затрудняет его использование для оценки работ, посвящённых теме ИИ [3].

ЦЕЛЬ ― модификация существующей системы оценки методологического качества QUADAS-2 для анализа исследований диагностической точности алгоритмов ИИ.

МЕТОДЫ. Для каждого домена системы QUADAS-2 («patient selection», «index test», «reference standard», «flow and timing») проведена оценка информативности сигнальных вопросов, предложена адаптация или замена низкоинформативных формулировок.

РЕЗУЛЬТАТЫ. Для всех доменов исходной системы QUADAS-2 предложены правки. Вопросы домена «patient selection», посвящённые формированию выборки пациентов, модифицированы с целью оценки сбалансированности набора данных по критериям наличия и вариабельности (степени тяжести) заболевания. Для домена «index test» вопрос о предварительно заданном граничном значении представлен в двух вариантах: для патологии и для ответа ИИ, так как алгоритмы могут использовать вероятностный порог принятия решения. Кроме того, в домен включены вопросы обоснованности размера и отсутствия пересечений (в том числе качественных) обучающей и тестовой выборок. В домене «reference test» один из вопросов адаптирован для оценки качества подготовки референтных данных. Домен «flow and timing» пересмотрен с позиций единообразия условий обработки данных, включён вопрос о типе исследования по источнику исходных данных. Разработанная версия QUADAS-CAD апробирована в рамках работы над систематическим обзором «Диагностическая точность ИИ-алгоритмов обработки КТ для оппортунистического скрининга аневризмы брюшной аорты».

ЗАКЛЮЧЕНИЕ. Использование модифицированной системы QUADAS-CAD повысило эффективность оценки методологического качества в рамках систематического обзора исследований диагностической точности ИИ. Представленные результаты могут быть полезны для задач систематизации и анализа данного типа исследований.