BACKGROUND: Intracranial hemorrhages are associated with high mortality and risk of disability, requiring prompt and accurate diagnosis, particularly within the first 24 hours. The use of artificial intelligence technologies in analyzing brain computed tomography scans can shorten diagnostic time and improve diagnostic quality. The relevance of this study is emphasized by the limited number of certified artificial intelligence services for detecting intracranial hemorrhages in Russia and lacking data on their long-term effectiveness, highlighting the need for multicenter monitoring to assess the stability and accuracy of such systems in clinical practice.
AIM: The study aimed to assess the diagnostic accuracy and stability of an artificial intelligence service in detecting intracranial hemorrhages on non-contrast brain computed tomography scans in a multicenter clinical monitoring setting for 18 months.
METHODS: Anonymized brain computed tomography scans were used. The artificial intelligence service underwent a three-phase evaluation to evaluate its diagnostic accuracy and clinical performance using limited datasets. Two radiologists specializing in neuroimaging examined 80 brain computed tomography scans each month for 18 months, which had been preprocessed by the artificial intelligence service and randomly selected from the clinical workflow. The results were analyzed using ROC analysis with sensitivity, specificity, accuracy, and area under the curve.
RESULTS: During clinical monitoring, 1200 brain computed tomography scans were analyzed, with signs of intracranial hemorrhage detected in 48.3% of the scans. Based on the binary classification of intracranial hemorrhage presence or absence performed by the artificial intelligence service, the following diagnostic metrics were obtained: sensitivity, 97.4% (95.8–98.5); specificity, 75.4% (71.8–78.7); accuracy, 86.0% (83.9–87.9); and area under the curve, 94% (92.6–95.3). Eventually, a significant moderate positive correlation was observed in most diagnostic metrics and the time variable, except for sensitivity, which was affected by an update to the service version. However, full concordance between artificial intelligence-based markings and radiologist conclusions was noted in 28.5% of cases of identified intracranial hemorrhage, whereas discrepancies were found in 71.5%. The refined diagnostic metrics for cases with complete agreement with the radiologists’ report were as follows: sensitivity, 26.6%; specificity, 73.8%; accuracy, 50.1%; and area under the curve, 49.6%.
CONCLUSION: The current configuration of the artificial intelligence service allows ruling out intracranial hemorrhage with very high probability, which may be useful in the initial triaging of patients in emergency settings. However, low values of refined metrics indicate considerable discrepancies between radiologist reports and service-generated results regarding the interpretation of pathological findings.
Обоснование. Внутричерепные кровоизлияния характеризуются высокой летальностью и риском инвалидизации, что обусловливает необходимость оперативной и точной диагностики, особенно в первые 24 часа. Использование технологий искусственного интеллекта для анализа компьютерных томограмм головного мозга позволяет сократить время диагностики и улучшить её качество. Актуальность работы подчёркнута ограниченным числом сертифицированных в России сервисов искусственного интеллекта для выявления внутричерепных кровоизлияний, а также отсутствием данных о их долгосрочной эффективности, что обусловливает необходимость многоцентрового мониторинга для оценки устойчивости и точности таких систем в реальной клинической практике.
Цель исследования. Оценить диагностическую точность и устойчивость сервиса искусственного интеллекта для диагностики внутричерепных кровоизлияний по данным нативной компьютерной томографии головного мозга в условиях многоцентрового клинического мониторинга на протяжении 18 месяцев.
Методы. Для анализа использовали анонимизированные компьютерные томограммы головного мозга. Сервис искусственного интеллекта прошёл трёхэтапное тестирование для оценки его точности и клинической производительности на ограниченных наборах данных. В течение 18 месяцев два врача-рентгенолога, специализирующиеся на нейровизуализации, ежемесячно оценивали 80 компьютерно-томографических исследований головного мозга, предварительно обработанных сервисом искусственного интеллекта и случайным образом выбранных из клинического потока. Результаты проанализировали методом ROC-анализа с вычислением таких метрик, как чувствительность, специфичность, точность, площадь под характеристической кривой.
Результаты. При клиническом мониторинге проанализировано 1200 компьютерных томограмм головного мозга, из которых признаки внутричерепного кровоизлияния выявлены в 48,3% случаев. По результатам их бинарной классификации на наличие внутричерепных кровоизлияний, выполненной сервисом искусственного интеллекта, получены следующие диагностические метрики: чувствительность — 97,4% (95,8–98,5), специфичность — 75,4% (71,8–78,7), точность — 86,0% (83,9–87,9), площадь под характеристической кривой — 94% (92,6–95,3). Со временем наблюдали статистически значимую умеренную положительную корреляция между большинством диагностических метрик и временным показателем, за исключением чувствительности, что обусловлено сменой версии сервиса. Однако полное совпадение разметки и описания с заключением врача в выявленных сервисом искусственного интеллекта случаях внутричерепного кровоизлияния достигнуто в 28,5%, а различные расхождения найдены в 71,5%. Уточнённые метрики для случаев с полным соответствием заключения врача составили: чувствительность, специфичность, точность и площадь под характеристической кривой — 26,6, 73,8, 50,1 и 49,6% соответственно.
Заключение. Текущая конфигурация сервиса искусственного интеллекта позволяет исключать кровоизлияние с очень высокой вероятностью, что может быть полезно для первичной сортировки пациентов в условиях неотложной помощи. Однако низкие значения уточнённых метрик указывают на значительные расхождения между заключениями рентгенологов и результатами сервиса в аспектах детальной интерпретации патологии.
论证。颅内出血具有较高的致死率和致残风险，因此在发病后24小时内实现快速且精准的诊断至关重要。借助人工智能技术分析脑部计算机断层扫描图像，有助于缩短诊断时间并提升诊断质量。本研究的现实背景在于，当前俄罗斯获批用于颅内出血识别的人工智能服务数量有限，且缺乏其长期临床有效性的相关数据，因此亟需通过多中心监测评估其在真实临床条件下的稳定性与诊断准确性。
目的：在18个月多中心临床监测条件下，评估一款人工智能服务在基于原始脑部计算机断层扫描图像诊断颅内出血方面的诊断准确性与稳定性。
方法。分析所用图像为匿名脑部计算机断层扫描图像。该人工智能服务经过三阶段测试，用以评估其在有限数据集上的准确性与临床性能。在18个月内，两位专注于神经影像的放射科医师每月评估80份由人工智能预处理、并从临床流程中随机抽取的脑部计算机断层扫描检查。通过ROC曲线分析评估诊断结果，计算灵敏度、特异度、准确率和曲线下面积等指标。
结果。在临床监测过程中共分析了1200份脑部计算机断层扫描图像，其中在48.3%的病例中检测到颅内出血征象。基于人工智能对是否存在颅内出血的二分类结果，获得的诊断指标为：灵敏度97.4%（95.8–98.5），特异度75.4%（71.8–78.7），准确率86.0%（83.9–87.9），曲线下面积为94%（92.6–95.3）。随着时间的推移，除灵敏度外，大多数诊断指标与时间变量之间呈现统计学显著的中度正相关，这一现象可能与服务版本的更替有关。然而，在人工智能判定为颅内出血的病例中，标注与放射科医生结论完全一致的比例为28.5%，其余71.5%则存在不同差异。在与放射科医生结论完全一致的病例中，修正后诊断指标分别为：灵敏度26.6%、特异度73.8%、准确率50.1%、曲线下面积49.6%。
结论。当前配置下的人工智能服务能够以极高的概率排除颅内出血，可在急诊条件下用于患者的初步分诊。然而，修正后指标数值偏低，反映出人工智能服务在病变细节解读方面与放射科医生的诊断存在显著差异。