Применение навигационной системы на основе технологии дополненной реальности в челюстно-лицевой хирургии

Обложка


Цитировать

Полный текст

Аннотация

Обоснование. Навигационные системы с технологией дополненной реальности позволяют визуализировать различные анатомические структуры челюстно-лицевой области и являются возможной альтернативой стандартным системам хирургической навигации. Мы разработали специальную платформу для управления трёхмерными моделями и применения системы интраоперационной навигации с использованием технологии дополненной реальности при проведении хирургических процедур.

Цель. Оценка восприятия системы навигации с использованием технологии дополненной реальности хирургами и удобство её применения при выполнении наиболее распространённых вмешательств в челюстно-лицевой хирургии.

Материалы и методы. Мы провели фантомное исследование, чтобы определить точность работы системы навигации с использованием технологии дополненной реальности при проведении хирургических операций челюстно-лицевой области. Были определены погрешности регистрации, наблюдаемые в ходе хирургических операций под визуализационным контролем: погрешность регистрации опорных меток, погрешность регистрации мишеней и погрешность локализации опорных меток. После этого было проведено клиническое исследование при участии нескольких хирургов, выполнявших хирургические вмешательства на челюсти с использованием технологии дополненной реальности. По результатам работы с системой навигации с использованием технологии дополненной реальности хирурги заполняли специальный опросник.

Результаты. Среднее значение погрешности регистрации опорных меток составило 0,9 мм (стандартное отклонение 0,7 мм; 95% доверительный интервал 0,4–1,3 мм). Среднее значение погрешности регистрации мишеней составило 1,3 мм (стандартное отклонение 0,5 мм; 95% доверительный интервал 1,1–1,5 мм). Величина погрешности локализации опорных меток была наиболее значительной и составила 2,2 мм (стандартное отклонение 0,9; 95% доверительный интервал 1,9–2,5 мм). Высокие показатели по результатам заполнения опросника для оценки впечатления от использования объяснялись новизной системы навигации с использованием технологии дополненной реальности в челюстно-лицевой хирургии и энтузиазмом от её использования. Прагматический аспект качества касается технической направленности восприятия, то есть насколько продукт, система или услуга помогают достичь целей, поставленных на этапе их разработки. Ожидалось, что эффективность системы будет несколько выше, однако, по нашему мнению, полученные показатели связаны с техническими трудностями, возникшими при реализации новой технологии дополненной реальности в системе.

Заключение. Результаты показали удовлетворительную точность работы системы навигации с использованием технологии дополненной реальности при выполнении операций в челюстно-лицевой хирургии, и опыт её использования у хирургов был положительным.

Полный текст

ОБОСНОВАНИЕ

Спектр вмешательств, выполняемых челюстно-лицевыми хирургами, крайне разнообразен. На костной ткани верхней и нижней челюстей проводится большинство операций, а именно: удаление ретенированных и сверхкомплектных зубов, кист, крупных новообразований и инородных тел [1, 2].

При выполнении подобных процедур могут возникать сложности, связанные с индивидуальным анатомическим строением нервов и корней зубов. Во избежание повреждения анатомических структур применяются методы медицинской визуализации. Кроме того, при проведении хирургических вмешательств в области головы используются различные навигационные системы [3].

Навигационные системы с технологией дополненной реальности (augmented reality, AR) позволяют обеспечить визуализацию одонтогенных кист, новообразований, инородных тел и анатомических структур и являются возможной альтернативой традиционным системам хирургической навигации [4, 5]. Используя сложный процесс регистрации для получения целостного изображения, AR-технология объединяет виртуальные объекты с трёхмерной индивидуальной для каждого пациента реальной средой. В устройствах дополненной реальности на реальное изображение с помощью полупрозрачного экрана накладывается виртуальная информация.

Трёхмерное рентгенографическое изображение черепно-лицевой области получают методом конусно-лучевой компьютерной томографии (КЛКТ). КЛКТ позволяет получить высокоточные изображения твёрдых тканей, которые можно использовать для анализа и формирования целостного изображения зоны вмешательства в челюстно-лицевой хирургии. Трёхмерные (3D) модели, создаваемые на основе КЛКТ-изображений, дают возможность визуализировать поражение и его расположение относительно анатомических структур. Внедрение 3D-изображений в систему AR-навигации облегчает обнаружение очага поражения, ретенированного зуба или инородного тела и тем самым обеспечивает точность выполнения вмешательств под контролем 3D-визуализации [6–8].

Мы разработали специальную платформу для управления 3D-моделями и навигации в челюстно-лицевой хирургии с применением 3D-технологий. Платформа позволяет реконструировать процесс выполнения вмешательства в виртуальной среде, начиная с этапа предоперационного планирования до интраоперационной AR-навигации [9, 10].

ЦЕЛЬ

Оценка восприятия системы AR-навигации хирургами и удобство её использования при выполнении наиболее распространённых вмешательств в челюстно-лицевой хирургии.

МАТЕРИАЛЫ И МЕТОДЫ

Первоначально было произведено фантомное исследование, направленное на определение точности работы AR-системы при проведении вмешательств в челюстно-лицевой области. После этого было выполнено клиническое исследование при участии нескольких хирургов, выполнявших хирургические вмешательства на челюсти с использованием технологии AR. По результатам работы с системой AR-навигации хирурги заполняли специальный опросник.

Этическая экспертиза

Исследование было одобрено локальным этическим комитетом Федерального государственного бюджетного образовательного учреждения высшего образования «Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова» Министерства здравоохранения Российской Федерации (№ 261 от 25.04.2022).

Экспериментальное исследование точности работы системы AR-навигации в челюстно-лицевой хирургии

На точность хирургической операции с применением компьютерных технологий оказывают влияние несколько погрешностей. Наиболее важное значение имеют погрешность регистрации опорных меток (fiducial registration error, FRE), погрешность регистрации мишеней (target registration error, TRE) и погрешность локализации опорных меток (fiducial localization error, FLE). Погрешности регистрации отражают точность навигационного оборудования. Они нередко возникают в ходе хирургических операций. В исследовании оценивалась точность работы системы AR-навигации при выполнении вмешательств в челюстно-лицевой хирургии.

Погрешность регистрации опорных меток

Если указатель модели привязан к измерённому указателю, наличие FLE приведёт к появлению погрешностей расчётного поворота и перемещения изображения. FRE — это остаточные погрешности при определении местоположения опорных меток после регистрации.

При проведении КЛКТ для калибровки положения AR-метки к голове пациента прикрепляли держатель со съёмным локализатором рентгеноконтрастных меток. На лице пациента были закреплены три металлических рентгеноконтрастных шарика: на правой и левой щеках и на спинке носа (рис. 1).

 

Рис. 1. Проведение конусно-лучевой компьютерной томографии. 1 — держатель; 2 — съёмный локализатор рентгеноконтрастных меток; 3 — три металлических рентгеноконтрастных шарика на лице пациента.

 

Непосредственно после КЛКТ металлические рентгеноконтрастные шарики сегментировали в программе Slicer3D, а изображение калибровали и загружали в очки дополненной реальности с помощью программы Medgital Vision Editor (рис. 2).

 

Рис. 2. Этап сегментации в программе Medgital Vision Editor.

 

Съёмный локализатор рентгеноконтрастных точек был заменён на лице пациента AR-меткой (рис. 3).

 

Рис. 3. Лицо пациента с AR-меткой.

 

При этом с помощью AR-очков осуществлялся визуальный контроль положения металлических рентгеноконтрастных шариков (рис. 4).

 

Рис. 4. Изображение лица пациента через AR-очки: контроль местоположения металлических рентгеноконтрастных шариков.

 

С помощью метки трое исследователей поочередно отмечали местоположение металлических рентгеноконтрастных шариков на лице пациента, руководствуясь изображением, загруженным в AR-очки (рис. 5).

 

Рис. 5. Местоположение металлических рентгеноконтрастных шариков на лице пациента: а — проекция шарика через AR-очки; b — местоположение шарика, отмеченное исследователем через AR-очки.

 

Было изменено расстояние между центром рентгеноконтрастной метки и точкой её расположения в соответствии с данными AR.

Погрешность регистрации мишеней

Исследователи, как правило, изучают точки, которые не имеют местоположения опорных меток. Любая подобная точка (не используемая для регистрации) называется мишенью. TRE — это погрешность, соответствующая расстоянию между истинным и зарегистрированным местоположением мишени.

Для определения данной погрешности было напечатано восемь специальных композитных 3D-моделей челюстей, на которые были нанесены по три рентгеноконтрастных метки, соответствующие центральному резцу, левому и правому премолярам (рис. 6).

 

Рис. 6. 3D-модель челюсти с тремя рентгеноконтрастными метками 1, 2 и 3.

 

Была выполнена КЛКТ моделей с последующей сегментацией рентгеноконтрастных меток и загрузкой сегментированных изображений в AR-очки в программе Medgital Vision Editor (рис. 7).

 

Рис. 7. Рентгеноконтрастные метки на этапе сегментации в программе Medgital Vision Editor.

 

Затем исследователь в AR-очках визуально проверял местоположение рентгеноконтрастных меток (рис. 8).

 

Рис. 8. Местоположение рентгеноконтрастной метки через AR-очки.

 

С помощью отслеживаемого карандаша исследователь отмечал местоположение рентгеноконтрастных меток, видимое через AR-очки (рис. 9).

 

Рис. 9. Отмеченное исследователем местоположение рентгеноконтрастных меток через AR-очки.

 

Было измерено расстояние между центрами рентгеноконтрастных меток и точками, нанесёнными отслеживаемым карандашом.

Погрешность локализации опорных меток

Точное местоположение опорных меток невозможно определить из-за погрешностей измерения системы отслеживания. FLE — это погрешность между фактическим местоположением метки и её местоположением, определённым по результатам измерений.

Для оценки точности расположения голограммы в режиме дополненной реальности был разработан стенд, состоящий из трёх взаимно перпендикулярных плоскостей с миллиметровой разметкой. Его рабочая площадь составляла 400×400 мм. Конструкция собрана на металлическом каркасе с регулируемым смещением и наклоном каждой плоскости. Калибровку и регулировку положения плоскостей выполняли с помощью измерительных приборов: угольника и линейки высокого класса точности (рис. 10).

 

Рис. 10. Измерительный стенд.

 

В основе алгоритма использования платформы лежит установка метки в основании системы координат платформы и визуализации сфер диаметром 1 мм на плоскостях платформы в AR-среде. После распознавания метки через очки смешанной реальности наблюдатель отмечает фактическое местоположение сферы на макете платформы. Точки располагаются на расстоянии 25 см от начала координат, что соответствует исходным координатам распознаваемого метки. В общей сложности было проведено 30 измерений. Измерения в каждой плоскости платформы проводили при разных положениях наблюдателя относительно метки, после чего сравнивали смещение (евклидово расстояние) отмеченных точек относительно заданных координат. Всего таких точек было девять, по три на каждой плоскости (рис. 11).

 

Рис. 11. Измерение точности системы дополненной реальности в условиях измерительного стенда: а — метка, установленная с помощью AR-очков; b — смещение отмеченных точек относительно заданных координат. Зелёная точка указывает на запланированное местоположение, красная точка указывает на фактическое местоположение, визуализируемое с помощью AR-очков.

 

Разница в местоположении точек, определяемом в системе дополненной реальности и по результатам фактических измерений, была проверена вручную. Был проведён статистический анализ.

Клиническое исследование применения навигационной системы на основе AR-технологии в челюстно-лицевой хирургии

Отбор пациентов

Исследование проведено на базе кафедры стоматологии хирургической и челюстно-лицевой хирургии и отделения челюстно-лицевой хирургии Научно-исследовательского института стоматологии и челюстно-лицевой хирургии Первого Санкт-Петербургского государственного медицинского университета.

Критерии участия в исследовании

Критерии включения:

  • пациенты мужского и женского пола;
  • возраст ≥18 лет;
  • наличие результатов КЛКТ в соответствии со стандартом создания, хранения, передачи и визуализации цифровых изображений DICOM (Digital Imaging and Communications in Medicine);
  • наличие диагноза новообразования челюсти (доброкачественного), подтверждённого результатами гистологического исследования;
  • наличие диагноза околокорневой кисты зуба, подтверждённого результатами гистологического исследования;
  • присутствие инородного тела в ткани кости челюсти;
  • наличие диагноза ретенированного зуба.

Критерии исключения:

  • наличие системных заболеваний;
  • беременность или грудное вскармливание;
  • подвижность зубов III степени;
  • злокачественные новообразования;
  • клинические случаи, не подтверждённые результатами гистологического исследования;
  • клинические случаи без данных КЛКТ.

Распределение пациентов по нозологии представлено в табл. 1.

 

Таблица 1. Диагнозы и пациенты

Диагноз

Количество пациентов

Процентное соотношение, %

Новообразование челюсти

18

45

Околокорневая киста зуба

11

27,5

Инородное тело в ткани кости челюсти

5

12,5

Ретенированный зуб

6

15

Всего

40

100

 

Мы использовали следующий алгоритм проведения клинического исследования.

  1. Получение традиционных рентгенографических изображений (данные о 3D-объекте, DICOM-файл) и STL-файла по результатам интраорального сканирования.
  2. Сегментация 3D-изображения зоны вмешательства (например, новообразования, кисты, зубы и инородные тела).
  3. Цифровое планирование хирургического доступа к зоне вмешательства.
  4. Загрузка изображения хирургического доступа и 3D-изображения зоны вмешательства в AR-очки.
  5. Проведение операции в AR-среде с ориентацией на местоположение хирургического доступа и зоны вмешательства.
  6. Анализ точности.
  7. Оценка опыта использования системы AR-навигации с помощью опросника.
  8. Статистический анализ.

Получение стандартных рентгенографических изображений (данные о 3D-объекте, DICOM-файл) и STL-файла по результатам интраорального сканирования

Сначала определяли клиническую ситуацию и получали цифровое изображение исключительно на основе результатов исследований высокого качества. При планировании вмешательства в AR-среде проводили рентгенографическое исследование с использованием рентгеноконтрастных меток, в соответствии с которым определяли местоположение AR-метки и выполняли её калибровку для проведения предполагаемого хирургического вмешательства. Для этой цели был изготовлен специальный держатель с AR-меткой и рентгеноконтрастными метками для верхней и нижней челюстей (рис. 12). Была выполнена КЛКТ с использованием одного из держателей. Предоперационная компьютерная томография (КТ) челюстей пациента выполнялась на томографе Planmeca (параметры: область сканирования 8×8 см; размер вокселя 200 мкм; вращение 270°, время экспозиции 12 с, напряжение трубки 90 кВ, сила тока 8,0 мА) для определения расположения интересующего объекта относительно анатомических структур.

 

Рис. 12. Держатели с AR-метками: а — верхняя челюсть; b — нижняя челюсть.

 

Всем пациентам было проведено интраоральное сканирование с помощью сканера iTero 2. Изображения были экспортированы в формате STL и сопоставлены с КЛКТ-изображениями того же пациента.

  1. Сегментация 3D-изображения зоны вмешательства (новообразования, кисты, зубы и инородные тела). Для сегментации изображений и создания 3D-моделей использовали специальное программное обеспечение Medgital Vision Editor, предназначенное для обработки медицинских 3D-изображений.

В программу загружали КЛКТ-изображения в формате DICOM и изображения, полученные методом оптического сканирования на предоперационном этапе. После совмещения DICOM- и STL-файлов хирург определял зону вмешательства и начинал построение 3D-проекции. Зона вмешательства представляет собой область, в которой локализованы новообразования, кисты или ретенированные зубы. В зоне вмешательства предусматривали достаточное расстояние до всех прилежащих анатомических структур, таких как нервы и корни зубов. Следующим шагом была сегментация зоны вмешательства. Сегментацию изображения выполняли вручную или полуавтоматически (рис. 13).

 

Рис. 13. Этап сегментации в программе Medgital Vision Editor (инородное тело в верхнечелюстной пазухе).

 

Полученный файл с сегментированной зоной вмешательства сохраняли в формате STL.

  1. Цифровое планирование хирургического доступа к зоне вмешательства. После сегментации зоны вмешательства хирург выбирал оптимальное местоположение хирургического доступа. Для этого использовали программу RealGuide 5.3, предназначенную для проведения операций по имплантации под визуализационным контролем. Однако вместо виртуальной установки зубного имплантата в требуемом положении виртуально помещали цилиндр, размер которого соответствовал внутреннему размеру трепанационного бора. Цилиндрический имплантат диаметром 5 мм виртуально устанавливали в месте планируемого хирургического доступа (рис. 14). В формате STL создавали и сохраняли виртуальный шаблон для сверления, обеспечивающий ориентацию трепанационного бора, наружный диаметр которого соответствовал цилиндрическому имплантату.

 

Рис. 14. Этап планирования хирургического доступа.

 

  1. Загрузка изображения хирургического доступа и 3D-изображения зоны вмешательства в AR-очки. Полученные изображения в формате STL загружали в AR-очки Microsoft HoloLens 2 с использованием программы Medgital Vision Editor.
  2. Проведение операции в AR-среде с учётом хирургического доступа и местоположения зоны вмешательства. При проведении операции использовали стерильную AR-метку. Метка была прикреплена к AR-держателю (подобного используемому при проведении КЛКТ). Метку 1 располагали в соответствии изображением сегментированного участка челюсти с выделенной визуализационной меткой. Во время хирургического вмешательства и после фиксации AR-метки проверяли калибровку положения метки и проекции сегментированных объектов челюсти. К наконечнику бормашины прикрепляли метку 2. Проекцию костного трепана ориентировали на метку 2. После запуска приложения с помощью голосовой команды на первом этапе выполняли регистрацию местоположения челюсти и наконечника. После регистрации изображения зоны вмешательства и хирургического доступа накладывали на изображение челюсти пациента. При перемещении наконечника через очки HoloLens 2 отслеживали каждое движение бора. Операция проводилась под местной анестезией (рис. 15).

 

Рис. 15. Хирургическое вмешательство в системе AR-навигации: а — этап регистрации; b — визуализация зоны вмешательства и хирургического доступа; c — визуализация хирургического доступа.

 

Послеоперационную КТ проводили с использованием тех же параметров, какие были установлены на предоперационном этапе. При этом для контроля хода хирургического вмешательства использовали тот же компьютерный сканер.

В программе RealGuide 5.3 для оценки точности навигационной системы было проведено сравнение результатов компьютерной томографии пациента до и после вмешательства (DICOM-файлы). В сформированное отверстие в кости устанавливали новый цилиндрический зубной имплантат диаметром 5 мм. Положение имплантата после вмешательства сравнивали с заданными положением. В программе вычисляли расхождение между заданным и фактическим хирургическим доступом.

Оценка опыта использования системы AR-навигации с помощью опросника

После проведения вмешательства хирурги заполняли индивидуальный опросник для оценки полученного опыта использования системы AR-навигации.

Опыт пользователя — это восприятие человеком фактически опробованных или ожидаемых продуктов, систем или услуг и реакция на них с учётом эмоционального профиля, убеждений, предпочтений, когнитивных способностей, физических/психологических реакций, поведения и достижений. Существуют различные механизмы исследования опыта использования.

Краткая версия опросника для оценки пользовательского опыта (short user experience questionnaire, UEQ-S) позволяет быстро и достоверно оценить впечатления от использования интерактивных продуктов, включая прагматический и гедонистический аспекты его качества. Прагматический аспект качества соответствует технической направленности восприятия — позволяет ли дизайн продукта, системы или услуги достичь целей, для которых их разрабатывали. Гедонистический аспект качества, напротив, соответствует факторам помимо технических, связанным с эмоциями пользователя (табл. 2).

 

Таблица 2. Вопросы краткой версии опросника UEQ-S для оценки пользовательского опыта

Привлекательность

Каково Ваше общее впечатление?

Понятность

Насколько легко прошло ознакомление с системой и обучение работе с ней?

Эффективность

Позволяет ли система быстро решать поставленные задачи без лишних усилий?

Надёжность

Надежна ли система, контролирует ли пользователь процесс работы с ней?

Мотивация

Вызывает ли процесс работы с системой энтузиазм и желание использовать её в дальнейшем?

Новизна

Является ли система инновационной и привлекающей внимание?

 

Стандартизированный опросник состоит из 26 вопросов. По каждому вопросу были представлены две противоположных оценки, и участнику было предложено определить, на какой балл по шкале от 1 (полное согласие с оценкой слева) до 7 (полное согласие с оценкой справа) он оценивает свои впечатления (рис. 16).

 

Рис. 16. 26 вопросов, включенных в опросник UEQ.

 

Все баллы, указанные участниками, были переведены на шкалу от –3 (чрезвычайно низкий показатель) до 3 (чрезвычайно высокий показатель). Нейтральное отношение соответствовало оценке в диапазоне от –0,8 до 0,8, при этом балл >0,8 свидетельствовал о положительных впечатлениях, а <–0,8 — об отрицательных.

Статистический анализ

Для описания переменных использовались среднее значение и стандартное отклонение (СО). Кроме того, для оценки истинных значений исследуемых параметров были рассчитаны 95% доверительные интервалы (ДИ).

РЕЗУЛЬТАТЫ

Результаты экспериментального исследования точности работы системы AR-навигации в челюстно-лицевой хирургии

В ходе экспериментов мы успешно оценили различия между дополненной реальностью и реальными объектами. Среднее значение FRE составило 0,9 мм (СО=0,7 мм; 95% ДИ: 0,4–1,3 мм). Значение TRE составило 1,3 мм (СО=0,5 мм; 95% ДИ: 1,1–1,5 мм). Величина FLE была наиболее значительной и составила 2,2 мм (СО=0,9; 95% ДИ: 1,9–2,5 мм). Таким образом, манипулирование голограммой и управление ею с помощью жестов было возможным при любых значениях угла и расстояния. Голограммы при перемещении по ним демонстрировали незначительный дрейф (диапазон 1–2 мм).

Результаты клинического исследования применения системы AR-навигации в челюстно-лицевой хирургии

Результаты проверки точности работы навигационной системы. Среднее угловое отклонение (в градусах) хирургического доступа после применения системы AR-навигации составило 2,5°. При проведении хирургического вмешательства в области боковых зубов угловое отклонение было несколько выше (рис. 17).

 

Рис. 17. Угловое отклонение между заданным и фактическим хирургическим доступом: a — трёхмерная визуализация смещения, где зелёным отмечен достигнутый хирургический доступ, розовым — запланированный; b — фронтальный срез, запланированный хирургический доступ (отмечено белым), достигнутый (отмечено зелёным).

 

Результаты заполнения опросника UEQ. Для оценки личных впечатлений после каждого вмешательства хирурги заполняли опросник UEQ. В табл. 3 и на рис. 18 приведены результаты применения системы AR-навигации по шести критериям.

 

Таблица 3. Опросник UEQ для оценки опыта использования системы AR-навигации при проведении вмешательств в челюстно-лицевой хирургии

Критерий

Среднее значение

Стандартное отклонение

Доверительный интервал

Привлекательность

2,1

0,4

2,0–2,2

Понятность

0,6

0,7

0,4–0,8

Эффективность

1,3

0,4

1,2–1,4

Надёжность

1,7

0,8

1,4–1,9

Мотивация

1,9

0,3

1,8–2,0

Новизна

2,5

0,4

2,4–2,6

 

Рис. 18. Опросник UEQ для оценки опыта использования системы AR-навигации при проведении вмешательств в челюстно-лицевой хирургии.

 

Значения >0,8 соответствуют положительной оценке. Очевидно, что по всем критериям система получила исключительно положительную оценку.

На рис. 19 показаны результаты оценки по всем 26 элементам опросника UEQ. В пункте 4 (систему сложно/ легко освоить) указано отрицательное среднее значение, в то время как по всем остальным пунктам опросника приведены высокие положительные средние значения. Это указывает на возможную проблему по данному аспекту.

 

Рис. 19. Результаты оценки по всем 26 пунктам опросника UEQ.

 

Средние показатели прагматического и гедонистического аспектов качества при оценке опыта использования составили 1,1 (СО=0,5; 95% ДИ: 0,9–1,3 мм) и 2,2 (СО=0,3; 95% ДИ: 2,1–2,3 мм) (рис. 20), что свидетельствует о довольно благоприятной оценке.

 

Рис. 20. Оценка прагматического и гедонистического аспектов качества, а также общего впечатления от использования.

 

Общий показатель составил 1,7 (СО=0,4; 95% ДИ: 1,5–1,8 мм). Это означает, что у хирургов сложилось положительное впечатление от использования системы.

Результаты сравнительного анализа по критериям опросника UEQ. В ходе сравнительного анализа проводится оценка продукта по пяти категориям (по каждому критерию).

  1. Отлично: среднее значение входит в 10% самых высоких оценок.
  2. Хорошо: 10% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 75% результатов — хуже.
  3. Выше среднего: 25% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 50% результатов — хуже.
  4. Ниже среднего: 50% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 25% результатов — хуже.
  5. Плохо: среднее значение входит в 25% самых низких оценок.

На сравнительном графике, построенном в программе Excel, показан уровень пользовательского опыта (UX) при применении исследуемого продукта.

Результаты сравнительного анализа по критериям представлены в табл. 4 и рис. 21.

 

Таблица 4. Сравнительный анализ показателей системы AR-навигации для проведения вмешательств в челюстно-лицевой хирургии

Критерий

Среднее значение

Сравнительный анализ

Интерпретация

Привлекательность

2,10

Отлично

Среднее значение входит в 10% самых высоких оценок

Понятность

0,56

Плохо

Среднее значение входит в 25% самых низких оценок

Эффективность

1,29

Выше среднего

25% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 50% результатов — хуже

Надёжность

1,65

Хорошо

10% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 75% результатов — хуже

Мотивация

1,91

Отлично

Среднее значение входит в 10% самых высоких оценок

Новизна

2,48

Отлично

Среднее значение входит в 10% самых высоких оценок

 

Рис. 21. Сравнительный график показателей системы AR-навигации для проведения вмешательств в челюстно-лицевой хирургии.

 

Результаты сравнительного анализа показателей оценки с помощью опросника UEQ показали, что продукт в целом обладает высоким прагматическим качеством.

Понятность: среднее значение входит в 25% самых низких оценок.

Эффективность: 25% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 50% результатов — хуже.

Надёжность: 10% результатов, включённых в сравнительный анализ, выше средних показателей исследуемого продукта, а 75% результатов — хуже, в то время как оценка гедонистического аспекта качества была отличной (среднее значение входит в 10% самых высоких оценок). Для сравнения, впечатления о гедонистическом аспекте качества были заметно выше, чем о прагматическом.

ОБСУЖДЕНИЕ

В настоящем исследовании был проведен анализ точности работы системы AR-навигации с использованием AR-очков HoloLens 2 и редактора Medgital Vision Editor при выполнении вмешательств в челюстно-лицевой хирургии. Погрешность расположения голограмм можно оценить непосредственно на лице пациента при совмещении с соответствующей голограммой в условиях постоянной визуализации местоположения голограммы относительно лица пациента.

Несмотря на относительно небольшое количество измерений, было установлено, что система AR-навигации обладает достаточной точностью для клинического применения, однако требует усовершенствований. При применении современных методов измерения точности FLE должна составлять <2 мм.

Высокие показатели в опроснике UEQ объяснялись новизной системы AR-навигации в челюстно-лицевой хирургии и энтузиазмом от её использования. Прагматический аспект качества соответствует технической направленности восприятия, то есть достижению целей, для которых разрабатывались продукт, система или услуга.

Ожидалось, что эффективность системы будет несколько выше, однако полученные показатели связаны с техническими трудностями, возникшими при реализации в системе новой технологии дополненной реальности. Самые низкие оценки получили параметры быстроты и организации процедуры.

По нашему мнению, это объясняется проведением процедуры в несколько этапов: получение рентгенографического изображения, его анализ, ручная сегментация зоны вмешательства, загрузка информации о зоне вмешательства в AR-очки, правильная калибровка и настройка системы в ходе операции.

Кроме того, был выполнен анализ этапов, которые получили самые низкие оценки по указанным параметрам. Самые низкие оценки пользователи поставили при выполнении хирургических вмешательств на дистальных отделах нижней челюсти. При выполнении хирургических вмешательств на нижней челюсти требуется индивидуальная каппа с зафиксированной AR-меткой, что увеличивает время подготовки данных для анализа. Проведение хирургического вмешательства на дистальных отделах нижней челюсти потребовало больше времени на подготовку и настройку оборудования.

Таким образом, требуется усовершенствовать систему подготовки данных для интраоперационной навигации, ускорить процедуру анализа рентгенологических данных, возможно, с помощью искусственного интеллекта, сократить время на сегментацию зоны вмешательства за счёт автоматической сегментации данных.

Регистрация данных на нижней челюсти всегда представляет более сложную процедуру, чем на верхней, из-за подвижности нижней челюсти и расположения AR-метки непосредственно в зоне операции. В ходе дальнейших исследований планируется использовать технологию навигации без меток, что позволит сократить время, необходимое для интраоперационной настройки системы.

Гедонистический аспект качества соответствует факторам помимо технических, то есть связанным с эмоциями пользователя. Высокие показатели гедонистического аспекта качества в опроснике UEQ объяснялись новизной системы AR-навигации в челюстно-лицевой хирургии и энтузиазмом по поводу ее использования.

До полного внедрения программного обеспечения важно выполнить оценку пользовательского опыта. Опросник UEQ содержит вопросы, позволяющие выполнить оценку удобства использования. Данная концепция сочетает в себе комплексную оценку эффективности, производительности, эстетических аспектов, удобства использования и привлекательности. Как показывает сравнительный анализ результатов заполнения опросника UEQ, у пользователей сложилось благоприятное впечатление от использования продукта. Впечатления о гедонистическом аспекте качества были значительно выше, чем о прагматическом. В дальнейшем необходимо доработать прототип с целью его усовершенствования и повышения показателей прагматического аспекта качества.

ЗАКЛЮЧЕНИЕ

Судя по результатам заполнения опросника UEQ, у хирургов сложился достаточно положительный опыт использования системы AR-навигации при проведении вмешательств в челюстно-лицевой хирургии. На следующем этапе предполагается провести анализ эффективности использования данной технологии для повышения качества хирургических вмешательств.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Исследование выполнено при поддержке Российского научного фонда по соглашению № 23-21-00349.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Наибольший вклад распределён следующим образом: А.В. Лысенко — концепция и дизайн исследования, сбор и анализ литературных данных, написание текста рукописи; А.И. Яременко, В.М. Иванов — научное редактирование рукописи; А.В. Смирнов, А.А. Прокофьева — сбор и анализ литературных данных, написание текста рукописи; А.И. Любимов — сбор и анализ литературных данных, написание и редактирование рукописи; К.С.М. Иззард — редактирование рукописи.

ADDITIONAL INFORMATION

Funding source. The research was carried out with the support of the Russian Science Foundation under agreement No. 23-21-00349.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

A.I. Yaremenko, V.M. Ivanov — scientific editing of the manuscript; A.V. Smirnov, A.A. Prokofieva — collection and analysis of literary data, writing the manuscript; A.I. Lyubimov — collection and analysis of literary data, writing and editing the manuscript; K.S.M. Izzard — editing the manuscript.

×

Об авторах

Анна Валерьевна Лысенко

Научно-исследовательский институт стоматологии и челюстно-лицевой хирургии

Email: lysenko.anna@mail.ru
ORCID iD: 0000-0001-5625-1085
SPIN-код: 1296-1399

канд. мед. наук, доцент

Россия, Санкт-Петербург

Андрей Ильич Яременко

Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова

Email: ayaremenko@me.com
ORCID iD: 0000-0002-7700-7724
SPIN-код: 7903-8540

д-р мед. наук, профессор

Россия, Санкт-Петербург

Владимир Михайлович Иванов

Санкт-Петербургский политехнический университет Петра Великого

Email: voliva@rambler.ru
ORCID iD: 0000-0001-8194-2718
SPIN-код: 8738-1873

д-р мед. наук, профессор

Россия, Санкт-Петербург

Антон Юрьевич Смирнов

Санкт-Петербургский политехнический университет Петра Великого

Email: ant.suyr@gmail.com
ORCID iD: 0009-0001-2440-2499
SPIN-код: 3559-3318
Россия, Санкт-Петербург

Александр Иванович Любимов

Военно-медицинская академия имени С.М. Кирова

Email: a-drlyubimov@mail.ru
ORCID iD: 0000-0002-7872-9593
SPIN-код: 1118-9920

канд. мед. наук, доцент

Россия, Санкт-Петербург

Charles S. M. Izzard

Эксетерский университет

Email: charles.izzard@btinternet.com
ORCID iD: 0009-0007-5893-1448
Великобритания, Эксетер

Алина Аркадьевна Прокофьева

Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова

Автор, ответственный за переписку.
Email: prokofevaaalina@mail.ru
ORCID iD: 0000-0002-7461-4633
SPIN-код: 9206-3829
Россия, Санкт-Петербург

Список литературы

  1. Lysenko A., Razumova A., Yaremenko A., et al. The use of augmented reality navigation technology in combination with endoscopic surgery for the treatment of an odontogenic cyst of the upper jaw: A technical report // Imaging science in dentistry. 2022. Vol. 52, N 2. P. 225–230. doi: 10.5624/isd.20210256
  2. Лысенко А.В., Разумова А.Я., Яременко А.И. Применение технологии дополненной реальности в качестве навигационной системы при эндовидеоассоциированном удалении кисты верхней челюсти // Стоматология. 2022. Т. 101, № 5. С. 17–21. EDN: FOEOJE doi: 10.17116/stomat202210105117
  3. Bussink T., Maal T., Meulstee J., Xi T. Augmented reality guided condylectomy // British journal of oral and maxillofacial surgery. 2022. Vol. 60, N 7. P. 991–993. doi: 10.1016/j.bjoms.2022.01.008
  4. Shi J., Liu S., Zhu Z., et al. Augmented reality for oral and maxillofacial surgery: The feasibility of a marker-free registration method // The international journal of medical robotics + computer assisted surgery. 2022. Vol. 18, N 4. P. e2401. doi: 10.1002/rcs.2401
  5. Brockmeyer P., Wiechens B., Schliephake H. The Role of Augmented Reality in the Advancement of Minimally Invasive Surgery Procedures: A Scoping Review // Bioengineering (Basel). 2023. Vol. 10, N 4. P. 501. doi: 10.3390/bioengineering10040501
  6. Van Gestel F., Frantz T., Buyck F., et al. Neuro-oncological augmented reality planning for intracranial tumor resection // Frontiers in Neurology. Vol. 14. P. 1104571. doi: 10.3389/fneur.2023.1104571
  7. Farronato M., Maspero C., Lanteri V., et al. Current state of the art in the use of augmented reality in dentistry: a systematic review of the literature // BMC Oral Health. 2019. Vol. 19, N 1. P. 135. doi: 10.1186/s12903-019-0808-3
  8. Stucki J., Dastgir R., Baur D.A., Quereshy F.A. The use of virtual reality and augmented reality in oral and maxillofacial surgery: A narrative review // Oral surgery, oral medicine, oral pathology and oral radiology. 2024. Vol. 137, N 1. P. 12–18. doi: 10.1016/j.oooo.2023.07.001
  9. Cipresso P., Giglioli I.A.C., Raya M.A., Riva G. The Past, Present, and Future of Virtual and Augmented Reality Research: A Network and Cluster Analysis of the Literature // Frontiers in Psychology. 2018. Vol. 9. P. 2086. doi: 10.3389/fpsyg.2018.02086
  10. Yeung A.W.K., Tosevska A., Klager E., et al. Virtual and Augmented Reality Applications in Medicine: Analysis of the Scientific Literature // Journal of medical Internet research. 2021. Vol. 23, N 2. P. e25499. doi: 10.2196/25499

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Проведение конусно-лучевой компьютерной томографии. 1 — держатель; 2 — съёмный локализатор рентгеноконтрастных меток; 3 — три металлических рентгеноконтрастных шарика на лице пациента.

Скачать (163KB)
3. Рис. 2. Этап сегментации в программе Medgital Vision Editor.

Скачать (240KB)
4. Рис. 3. Лицо пациента с AR-меткой.

Скачать (160KB)
5. Рис. 4. Изображение лица пациента через AR-очки: контроль местоположения металлических рентгеноконтрастных шариков.

Скачать (146KB)
6. Рис. 5. Местоположение металлических рентгеноконтрастных шариков на лице пациента: а — проекция шарика через AR-очки; b — местоположение шарика, отмеченное исследователем через AR-очки.

Скачать (193KB)
7. Рис. 6. 3D-модель челюсти с тремя рентгеноконтрастными метками 1, 2 и 3.

Скачать (73KB)
8. Рис. 7. Рентгеноконтрастные метки на этапе сегментации в программе Medgital Vision Editor.

Скачать (74KB)
9. Рис. 8. Местоположение рентгеноконтрастной метки через AR-очки.

Скачать (80KB)
10. Рис. 9. Отмеченное исследователем местоположение рентгеноконтрастных меток через AR-очки.

Скачать (108KB)
11. Рис. 10. Измерительный стенд.

Скачать (237KB)
12. Рис. 11. Измерение точности системы дополненной реальности в условиях измерительного стенда: а — метка, установленная с помощью AR-очков; b — смещение отмеченных точек относительно заданных координат. Зелёная точка указывает на запланированное местоположение, красная точка указывает на фактическое местоположение, визуализируемое с помощью AR-очков.

Скачать (242KB)
13. Рис. 12. Держатели с AR-метками: а — верхняя челюсть; b — нижняя челюсть.

Скачать (115KB)
14. Рис. 13. Этап сегментации в программе Medgital Vision Editor (инородное тело в верхнечелюстной пазухе).

Скачать (240KB)
15. Рис. 14. Этап планирования хирургического доступа.

Скачать (96KB)
16. Рис. 15. Хирургическое вмешательство в системе AR-навигации: а — этап регистрации; b — визуализация зоны вмешательства и хирургического доступа; c — визуализация хирургического доступа.

Скачать (184KB)
17. Рис. 16. 26 вопросов, включенных в опросник UEQ.

Скачать (557KB)
18. Рис. 17. Угловое отклонение между заданным и фактическим хирургическим доступом: a — трёхмерная визуализация смещения, где зелёным отмечен достигнутый хирургический доступ, розовым — запланированный; b — фронтальный срез, запланированный хирургический доступ (отмечено белым), достигнутый (отмечено зелёным).

Скачать (191KB)
19. Рис. 18. Опросник UEQ для оценки опыта использования системы AR-навигации при проведении вмешательств в челюстно-лицевой хирургии.

Скачать (132KB)
20. Рис. 19. Результаты оценки по всем 26 пунктам опросника UEQ.

Скачать (351KB)
21. Рис. 20. Оценка прагматического и гедонистического аспектов качества, а также общего впечатления от использования.

Скачать (110KB)
22. Рис. 21. Сравнительный график показателей системы AR-навигации для проведения вмешательств в челюстно-лицевой хирургии.

Скачать (153KB)

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.