Стриминговые технологии: из игровой индустрии в телеультразвуковые исследования

Полный текст

ОБОСНОВАНИЕ

В настоящее время существует отдельное направление ― телеультразвуковые исследования (телеУЗИ) ― метод проведения ультразвукового исследования (УЗИ) с применением телемедицинских технологий. В ходе данного исследования УЗ-изображение в цифровом виде передаётся удалённо расположенному эксперту для консультирования. В настоящее время широкое развитие получили УЗ-системы со встроенным функционалом для осуществления дистанционного консультирования, однако проблема обновления парка ультразвуковой диагностической аппаратуры остаётся актуальной и по сей день [1, 2].

Для получения телемедицинской консультации по результатам УЗИ можно воспользоваться обычным смартфоном, переслав изображение или кинопетлю, записанную на встроенную камеру [3–5]. Однако этот способ не всегда удобен и сопряжён с большим риском, так как такое сообщение будет содержать персональные данные.

Большая часть УЗ-сканеров 10–20-летней давности имеют видеовыход для подключения внешнего монитора и/или видеопринтера. Используя разработки для игровой индустрии (специальные устройства для захвата аудио и видео во время игры [6]), а также программное обеспечение, позволяющее вести трансляции игрового процесса в режиме реального времени, можно расширить функционал устаревшего диагностического оборудования.

Цель исследования ― изучить возможность применения достижений информационных технологий игровой индустрии в медицине на примере телеУЗИ.

МАТЕРИАЛЫ И МЕТОДЫ

Объектом исследования был один из авторов, которому проводили УЗИ сосудов шеи в 2019 г. В ходе исследования использовались следующие режимы сканирования: В-режим, режим цветового допплеровского картирования кровотока (ЦДК), режим импульсно-волнового допплера, а также их сочетание (В-режим + ЦДК; В-режим + импульсный допплер). В исследовании использовали УЗ- сканер Sequoia 512 Acuson. Регистрация изображения с УЗ-сканера производилась при помощи системы видео-захвата Ezcap 295 HD (http://www.ezcap.com).

Для дистанционной передачи исследования использовалось программное обеспечение фирмы Open Broadcaster Software (http://www.obsproject.com) ― OBS Studio (версия 24.0.3) ― бесплатная программа с открытым исходным кодом для записи видео и потокового вещания. В качестве видеостримингового сервиса был выбран Twitch (http://twitch.tv). В качестве автоматизированного рабочего места (АРМ) видеозахвата использовались компьютер на базе процессора AMD Ryzen 5 3400G, 16 Гб оперативной памяти (оперативное запоминающее устройство, ОЗУ), графическая карта NVIDIA GeForce RTX 2070, 64 bit OS Windows 10 Pro, LAN 100 Mbs, монитор BenQ: IPS 21.5” 1920×1080. Техническим решением для удалённого врача-эксперта был ноутбук на базе AMD E-450 APU, 8 Гб ОЗУ, графическая карта Radeon HD7470 Graphics, 64 bit OS Windows 7, WiFi 72 Mbs, экран 15.6” 1366×768. В качестве мобильного технического решения применялся смартфон Redmi Note4, 3 Гб ОЗУ, экран: IPS 5.5”, 1920×1080, 401 ppi, подключение к интернету по 4G. Для отслеживания УЗ-исследования использовался видеорегистратор Prestige 338, 1920×1080 точек, 25 к/с в режиме веб-камеры.

Оценка качества изображения была проведена тремя экспертами ― врачами функциональной (ультразвуковой) диагностики с опытом работы более 10 лет. Качество исследования считалось достаточным при возможности эксперта корректно оценить дифференцировку комплекса интима-медиа на слои.

Для статистической обработки результатов использовался программный продукт Microsoft Excel. Измеряемые параметры указывали в виде среднего ±SD. Корреляцию показателей оценивали по величине коэффициента корреляции Спирмена, так как данные были распределены непараметрически.

Структурная схема телеУЗИ с использованием стриминговых технологий представлена на рисунке.

Рис. Структурная схема телеУЗИ.

Примечание. Ultrasound System (ультразвуковая система), к которой посредством S-Video (стандарт вывода видеоизображения) подключается Ezcap 295 HD (устройство видеозахвата), который в свою очередь подключён через USB к Workstation (рабочей стации). WEBCAM ― вебкамера также через USB подключена к Workstation (рабочей стации). Трансляция видео/аудио осуществляется посредством Video-Streaming Service (видеостримингового сервиса). В качестве клиентов выступают ноутбук, подключённый к сети Internet посредством Wi-Fi, и 4G-смартфон.

Оценка экспертами проводилась по бинарной шкале: положительная оценка выставлялась при условии высказывания всеми тремя экспертами положительного мнения о субъективном соответствии качества видео на сервере и на экране клиента. Отрицательная оценка выставлялась, если хотя бы один эксперт высказывал мнение о несоответствии качества видеоизображения оригиналу. Для оценки качества каждому эксперту на экран сервера выводилось изображение с одновременной его трансляцией на экран клиента. Оценка качества изображения проводилась экспертами независимо друг от друга.

РЕЗУЛЬТАТЫ

Подключение осуществлялось по следующей схеме: видеовыход с УЗ-сканера поступал на вход платы видеозахвата Ezcap 295 HD, которая по USB была подключена к АРМ видеозахвата с установленным OBS Studio. В качестве видеовыхода УЗ-сканера использовался видеовыход S-Video, предназначенный для подключения видеомагнитофона. На устройстве видеозахвата использовался соответствующий видеовход. Аппаратным способом были выставлены максимальные настройки: разрешение FULL-HD (1920×1080), частота кадров не могла быть изменена и соответствовала заводским установкам ― 30 к/с. На АРМ видеозахвата после установки драйвера устройства видеозахвата Ezcap 295 HD автоматически определился и добавился в качестве источника видеосигнала в OBS Studio. Было протестировано качество картинки на АРМ видеозахвата в сравнении с оригинальным на мониторе УЗ-сканера. Изображение было оценено тремя экспертами, которые единогласно сошлись во мнении, что качество изображения на экране АРМ видеозахвата соответствует оригиналу на экране монитора УЗ-сканера.

Для полноценной работы технологии телеУЗИ требуется два видеопотока (от УЗ-аппарата и от веб-камеры, направленной на исследуемую анатомическую зону пациента), которые объединяются на АРМ видеозахвата и передаются на удалённый сервер. Для тестирования этой возможности была подключена веб-камера с исходным размером изображения 1920×1080. Изображение с веб-камеры было уменьшено методом бикубической интерполяции до 640×360 и накладывалось поверх изображения с УЗ-сканера в углу, вне рабочего поля, чтобы избежать помех.

Устройство видеозахвата имело фиксированное разрешение, в котором происходила оцифровка аналогового сигнала. Разрешение 1080р является избыточным для видеовыхода, применяемого УЗ-сканером, поэтому c целью экономии трафика при трансляции видео размер изображения был уменьшен до 1280×720 методом бикубической интерполяции. Визуально УЗ-изображения до и после интерполяции на мониторе АРМ видеозахвата, по мнению экспертов, не отличались.

На следующем этапе были произведены настройка OBS Studio для трансляции видеопотока на видеостриминговый сервис Twitch и собственно трансляция. Качество изображения оценивали на подключённых к видеостриминговому веб-сервису удалённых устройствах ― ноутбуке и смартфоне. Для кодировки видео на АРМ видеозахвата использовался аппаратный многопоточный кодировщик Nvidia NVENC; качество видео выставлено на максимальное. При таких настройках загрузка CPU (central processing unit ― центральный блок обработки) не превышала 15%, на GPU (graphics processing unit ― графический процессор) ― 30%. Единственный параметр, который подбирался, это битрейт (англ. bitrate ― количество бит, используемых для передачи/обработки данных в единицу времени) видео. Для стабильности качества видео был выбран постоянный битрейт.

В настоящем исследовании мы поставили задачу поиска минимального значения битрейта видео для достоверной оценки изображения удалённо расположенным экспертом. Было принято решение начать тестирование передачи видео с битрейта 3000 Кбит/с с последующим снижением до минимального уровня, на котором качество УЗ-изображения, по мнению врача-эксперта, будет субъективно значительно отличаться от оригинального изображения. Для каждой величины битрейта проводили по три измерения с обязательной остановкой и повторным запуском вещания между ними. Транслируемая запись содержала кинопетли в серошкальном 2D-режиме (В-режиме), кинопетли в дуплексном режиме (В-режим + ЦДК или В-режим + импульсный допплеровский режим), стоп-кадры, в том числе с проводимыми измерениями.

Оценка экспертами проводилась по бинарной шкале: положительная оценка выставлялась при условии высказывания всеми тремя экспертами положительного мнения о субъективном соответствии качества видео на сервере и на экране клиента. Отрицательная оценка выставлялась, если хотя бы один эксперт высказывал мнение о несоответствии качества видеоизображения оригиналу. При проведении оценки качества каждому эксперту показывалось изображение на экране сервера с одновременной трансляцией на экран клиента. Оценка качества изображения проводилась экспертами независимо друг от друга. Результаты тестирования системы телеУЗИ с различными настройками битрейта приведены в таблице.

Таблица. Результаты тестирования системы изображений по технологии телеУЗИ дистанционными врачами-экспертами

С минимальным битрейтром 200 Кбит/с изображение получилось слишком размазанное, что, по единогласному мнению всех экспертов, не позволяло адекватно оценивать УЗ-структуры. Для битрейта 300 Кбит/с оптимальное качество изображения получалось только на стоп-кадре, во время самого исследования мнения экспертов разделились: на экране ноутбука УЗ-изображение выглядело размазанным, на экране смартфона ― более чётким. При битрейте 350 Кбит/с и более качество УЗ-изображения было удовлетворительным на всех платформах и во всех режимах.

Оценивали также временную задержку между видео на экране сервера и на экране клиента. В зависимости от битрейта временная задержка находилась в пределах 3,94–4,92 с и сокращалась с уменьшением битрейта (коэффициент корреляции 0,82).

ОБСУЖДЕНИЕ

На сегодняшний день телемедицинские исследования и консультации могут использоваться в регионах, где имеется большой дефицит медицинских кадров, особенно узких специалистов, а также в учреждениях, где оборудование представлено несовременными моделями, как, например, в настоящем исследовании. Стоит также отметить доступность мобильной связи в нашей стране, поэтому использование смартфона актуально и позволяет осуществлять оперативное подключение к телеконференции, в том числе может применяться в экстренных случаях для дистанционного консультирования.

Нам удалось провести УЗИ с дистанционным анализом врачами-экспертами, используя Ezcap 295 HD, позиционируемое производителем как устройство видеозахвата для видеоигр. Данное устройство продемонстрировало высокое качество видеоизображения, необходимое для качественной работы эксперта по УЗ-диагностике.

OBS Studio от Open Broadcaster Software был выбран нами как один из популярных стриминговых программных продуктов для геймеров, свободно распространяемый и с открытым исходным кодом. Данный программный продукт без труда обнаружил и подключил Ezcap 295 HD. Для проверки стриминга был выбран сервис Twitch, который позиционируется как сервис для стриминга видеоигр. В настоящем исследовании он использовался только для тестирования возможности работы предложенной системы. Результаты такого исследования указывают лишь на возможность использования ПО OBS Studio для описанных выше задач. OBS Studio позволяет проводить стриминг видео на любую платформу потокового видео (согласно информации на сайте).

В дальнейшем для реализации телеУЗИ мы рекомендуем делать выбор в пользу платформ потокового видео, поддерживающих закрытые, защищённые от подключения и просмотра посторонних трансляции материалов. Выбор таких платформ не был задачей данного исследования. Тем не менее вопрос информационной безопасности очень важен при проведении дистанционных исследований в целом и телеУЗИ в частности. При реализации технологии телеУЗИ передаются два вида конфиденциальной информации ― медицинская и персональные данные, безопасность которых должна быть обеспечена в соответствии с действующими нормами и требованиями законодательства РФ. Медицинская информация, передаваемая между клиентом и сервером, составляет врачебную тайну и не может быть доступна в каком бы то ни было виде третьим лицам. Мы предполагаем, что передачу обезличенной медицинской информации (изображения с УЗ-сканера) и сопроводительной медицинской документации (включая персональные данные) необходимо разделить на два потока, используя разные алгоритмы защиты и шифрования, что повысит безопасность проводимых исследований. В дальнейшем можно рассмотреть передачу деперсонализированных кадров УЗИ с присвоенным идентификатором пользователя (user identifier, UID), а состыковку UID с ФИО и другими персональными данными осуществлять в базе МИС (медицинская информационная система), а также при помощи программно-аппаратных шлюзов безопасности (например, Vipnet Coordinator).

В настоящем исследовании мы исходили из информации о том, что для передачи видео в формате H.264 при разрешении 1280×720 оптимально использовать битрейт 3000 Кбит/с [7]. Тем не менее результаты тестирования показали, что при снижении битрейта вплоть до 350 Кбит/с субъективно качество изображения существенно не менялось. Данный факт объясняется тем, что большая часть транслируемого с УЗ-сканера изображения является статическим. При детальном анализе изображения с УЗ-сканера было выявлено, что зона интереса на оригинальном изображении не превышает 880×822, после применения бикубической интерполяции зона интереса не превышает 586×548, что требует уже в 3 раза меньший битрейт. Обращаем также внимание, что УЗ-изображение не цветное, что требует меньшего количества бит для кодирования. Режим ЦДК при использовании имеет ограниченную область окрашивания, а также ограниченную цветовую карту, что также позволяет эффективно работать на низком битрейте.

В ходе исследования выбраны оптимальные, на наш взгляд, параметры настройки видеостриминга: входное изображение с УЗ-сканера 1920×1080 и 30 к/с, с веб-камеры ― 1920×1080 и 24 к/с; выходные данные видео 1280×720, 24 к/с, кодировщик H.264 (Nvidia NVENC), минимальный битрейт 350 Кбит/с.

Обобщая всё вышеизложенное, можно утверждать, что при рекомендуемых настройках возможна устойчивая передача качественного видеоизображения с УЗ-сканера на любое клиентское устройство, в том числе смартфон, с подключением к сети Интернет посредством сотовой связи. Это позволяет использовать рассматриваемую технологию для передачи результатов УЗИ с использованием технологий космической связи VSAT. Задержка в видеотрансляции менее 5 с не может негативно сказаться на качестве телеУЗИ.

В литературе встречаются работы, посвящённые применению таких массовых коммуникативных платформ, как Voip, демонстрирующих высокую эффективность при использовании в телеУЗИ [8]. Так, в исследовании A.S. Liteplo и соавт. [3] сравнивали Skype и iChat ― самые популярные платформы Voip. В том исследовании выбор был сделан в пользу iChat. Позднее была показана возможность эффективного применения Skype [4, 9]. Была показана также эффективность применения для телеУЗИ технологии FaceTime, разработанной компанией Apple [10].

Использование описанных выше технологий требует установки специального программного обеспечения и существенно усложняет подключение клиентов, если число их более одного. В нашем исследовании показана возможность применения технологии стриминга видеоУЗИ с возможностью просмотра на любом устройстве с выходом в интернет без установки специализированного программного обеспечения на стороне клиента. Предлагаемая технология позволяет просматривать транслируемое исследование неограниченному количеству пользователей, что может быть актуально для дистанционного обучения медицинского персонала, а также проведения консультаций и консилиумов с участием специалистов и экспертов для различных медицинских организаций, в том числе из отдалённых регионов. Мы также можем предположить, что увеличение качества изображения на УЗ-сканере приведёт к улучшению качества изображения, получаемого на экране ноутбука или смартфона. По этой причине осуществлялся видеозахват с максимально возможным для устройства видеозахвата разрешением 1080р. Технически применение УЗ-аппарата с цифровым видеоинтерфейсом (HDMI, DVI-D, DP) и высоким разрешением (Full HD и выше) возможно в связке с рассматриваемым устройством видеозахвата.

Кроме того, настоящее исследование отличается от аналогичных тем, что в нём использовались программные и технические решения, разработанные для игровой индустрии, и по этой причине выпадающие из поля зрения других исследователей. Тем не менее нам удалось показать возможность успешного применения этих решений для медицинских задач.

Современные УЗ-сканеры поддерживают функцию передачи исследования в цифровом формате, а отдельные модели позволяют проводить телеУЗИ без применения дополнительных устройств, тем не менее остаётся большое количество устройств, лишённых этих возможностей, а также отличающихся более низким качеством УЗ-изображения. Применение описанной нами методики может быть актуально для медицинских организаций, использующих бюджетное или устаревшее оборудование. Рекомендуемое AAPM (American Association of Physicists in Medicine ― Американская ассоциация физиков в медицине) и SIIM (Society for Imaging Informatics in Medicine ― Общество информатики изображений в медицине) разрешение мониторов для отображения УЗИ составляет 3 Мр (2048×1536) [11]. При использовании устройств видеозахвата, поддерживающих такое разрешение, возможно применение описанной методики с УЗ-сканерами более высокого класса.

Ограничения исследования

В настоящем исследовании проводилось тестирование только на одном УЗ-сканере, тем не менее мы можем сделать предположение, что данное техническое решение подойдёт и для других УЗ-сканеров, имеющих аналогичный или иной поддерживаемый устройством видеозахвата выход.

Проверена работа только одного устройства видеозахвата. Мы предполагаем, что при использовании устройства видеозахвата с техническими характеристиками не хуже Ezcap 295 HD возможно получение аналогичного результата.

Оценка качества УЗ-изображений в настоящем исследовании проводилась только по субъективным критериям. Данное ограничение нами было принято с учётом того, что все УЗИ априори являются субъективными, так как на всех этапах, начиная от выведения УЗ-изображения и заканчивая оценкой УЗ-картины, присутствует человеческий фактор.

Наконец, в данном исследовании не проведено тестирование иных платформ потокового видео.

На сегодняшний день разработано большое количество разнообразных кодеков (устройство или программа для преобразования данных/сигнала), но в данной работе мы использовали H.264. Шумоподавление, которое характерно для кодеков H.264+, H.265, H.265+, может негативно сказаться на качестве УЗ-изображения, поэтому требует дополнительного изучения с целью оценки вносимых изменений в качество передаваемого УЗ-сигнала.

ЗАКЛЮЧЕНИЕ

Технологии, используемые для стриминга видео-игр, могут быть использованы в телемедицине, например, при реализации телеУЗИ в полевых условиях или в мобильных госпиталях при наличии переносного УЗ-аппарата с видеовыходом. Положительной стороной применения данных технологий является их доступность и высокое качество транслируемого видеоизображения при минимальной пропускной способности каналов связи. Данная УЗ-технология также может быть использована в процессе дистанционного обучения или с целью проведения дистанционной консультации.

С учётом того, что предполагается передача медицинских данных для полноценной работы в клинической практике, необходимо также решить вопрос с защищённостью каналов связи от несанкционированного доступа к передаваемой медицинской информации.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: К.М. Арзамасов ― разработка дизайна исследования, доброволец при проведении исследования; К.М. Арзамасов, Т.М. Бобровская ― анализ данных; К.М. Арзамасов, Т.М. Бобровская, В.А. Дроговоз ― интерпретация данных; К.М. Арзамасов, В.А. Дроговоз ― написание рукописи.

Благодарности. Авторы выражают признательность заведующему отделением функциональной диагностики НКЦ ОАО «РЖД» С.В. Иванову за оказанную помощь в организации и проведении исследования на базе НКЦ ОАО «РЖД», а также врачу отделения функциональной диагностики НКЦ ОАО «РЖД» Е.В. Андреевой за помощь в проведении исследования. Авторы выражают благодарность графическому дизайнеру Т.А. Савосиной за создание иллюстрации к статье, а также М.В. Власовой за перевод.

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

К.М. Arzamasov ― research design development, volunteer during research; К.М. Arzamasov, Т.М. Bobrovskaya ― data analysis; К.М. Arzamasov, Т.М. Bobrovskaya, V.А. Drogovoz ― data interpretation; К.М. Arzamasov, V.А. Drogovoz ― writing a manuscript.

Acknowledgments. The authors express their gratitude Head of the Department of Functional Diagnostics of the SCC of JSC “Russian Railways” to S.V. Ivanov for his assistance in organizing and conducting the study on the basis of the SCC of JSC “Russian Railways”, and also to the doctor of the Department of functional diagnostics of the SCC of JSC “Russian Railways” E.V. Andreeva for assistance in conducting the study. The authors express their gratitude to graphic designer T.A. Savosina for creating an illustration for the article, as well as M.V. Vlasova for the translation.

Об авторах

Кирилл Михайлович Арзамасов

Автор, ответственный за переписку.
Email: k.arzamasov@npcmr.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

к.м.н.

Татьяна Михайловна Бобровская

Email: t.bobrovskaya@npcmr.ru
ORCID iD: 0000-0002-2746-7554
SPIN-код: 3400-8575
Россия, Москва

Виктор Анатольевич Дроговоз

Email: Vdrog@mail.ru
ORCID iD: 0000-0001-9582-7147
SPIN-код: 1804-2636

к.т.н.

Список литературы

Дополнительные файлы

Доп. файлы

Действие

1. JATS XML

Скачать

2. Рис. Структурная схема телеУЗИ.

Скачать (180KB)

Метаданные