Streaming technology: from games to tele-ultrasound



Cite item

Abstract

Backgraund: The rapid development of the gaming industry resulted in the emergence of a large number of technical tools and technologies with unique characteristics. One of these technologies, which has a high potential for use in medical diagnostics, is streaming (online streaming). By connecting an ultrasound scanner to a video capture system, it is possible to significantly expand the functionality of the diagnostic device.

Aims: To investigate the possibility to apply information technology of the gaming industry in telemedicine as illustrated by the example of tele-ultrasound.

Materials and methods: In this study, an ultrasound video image was captured using a video capture system developed for gamers. The video was obtained during ultrasound of the brachycephalic arteries in the following modes: greyscale B-mode, color duplex and pulse Doppler mode. The examination was broadcast to a video streaming service in real time.

Results: Optimal video image parameters were obtained and the minimum required video streaming settings were determined for an adequate remote evaluation by the expert sonologist. The following video capture workstation settings are recommended: video: 1280x720, 24 fps, H.264 encoder, bitrate: at least 350 kbps.

Conclusions: It is possible to use technical and software tools developed for video game streaming to provide tele-ultrasound.

Full Text

Обоснование

В настоящее время существует отдельное направление: телеультразвуковые исследования - метод проведения ультразвукового исследования с применением телемедицинских технологий. в ходе данного исследования ультразвуковое изображение в цифровом виде передаётся удаленно расположенному эксперту для консультирования. В настоящее время широкое развитие получили ультразвуковые системы со встроенным функционалом для осуществления дистанционного консультирования,днако проблема обновления парка ультразвуковой диагностической аппаратуры остаётся актуальной и по сей день.[1], [2]

Для получения телемедицинской консультации по результатам УЗИ, можно воспользоваться обычным смартфоном, переслав изображение или кинопетлю, записанную на встроенную камеру [3]–[5]. Однако этот способ не всегда удобен и сопряжен с большим риском, т.к. такое сообщение будет содержать персональные данные.

Большая часть ультразвуковых сканеров 10-20-летней давности имеют видеовыход для подключения внешнего монитора и/или видеопринтера. Используя разработки для игровой индустрии (специальные устройства для захвата аудио и видео во время игры [6]), а также  программное обеспечение, позволяющее вести трансляции игрового процесса в режиме «реального» времени, можно расширить функционал устаревшего диагностического оборудования.

 

Цель

Изучить возможность применения достижений информационных технологий игровой индустрии в медицине на примере телеУЗИ.

Методы

Объектом исследования был один из авторов, которому проводили УЗИ сосудов шеи в 2019 году. В ходе исследования использовались следующие режимы сканирования: В-режим, режим цветового доплеровского картирования кровотока (ЦДК), режим импульсно-волнового доплера, а также их сочетания (В-режим + ЦДК; В-режим + импульсный доплер). В исследовании использовали ультразвуковой (УЗ) сканер Sequoia 512 Acuson. Регистрация изображения с УЗ сканера производилась при помощи системы видеозахвата Ezcap 295 HD (http://www.ezcap.com). Для дистанционной передачи исследования использовалось программное обеспечение фирмы Open Broadcaster Software (http://www.obsproject.com) - OBS Studio (версия 24.0.3) – бесплатная программа с открытым исходным кодом для записи видео и потокового вещания. В качестве видеостримингового сервиса был выбран Twitch (http://twitch.tv). В качестве АРМ видеозахвата использовался компьютер на базе процессора AMD Ryzen™ 5 3400G, 16Гб ОЗУ, графическая карта NVIDEA GeForce RTX 2070, 64 bit OS Windows 10Pro, LAN 100Mbs, монитор BenQ: IPS 21.5" 1920x1080. Техническим решением для удаленного врача-эксперта был ноутбук на базе AMD E-450 APU, 8 Гб ОЗУ, графическая карта Radeon HD7470 Graphics, 64 bit OS Windows 7, WiFi 72Mbs, экран 15.6 " 1366x768. В качестве мобильного технического решения применялся смартфон Redmi Note4, 3Гб ОЗУ, экран: IPS, 5,5", 1920x1080, 401 ppi, подключение к интернету по 4G. Для отслеживания УЗ исследования использовался видеорегистратор Prestige 338, 1920х1080 точек, 25 к/с в режиме вебкамеры. Оценка качества изображения была проведена тремя экспертами – врачами ФД (УЗ) диагностики с опытом работы более 10 лет. Качество исследования считалось достаточным при возможности эксперта корректно оценить дифференцировку комплекса интима-медиа на слои. Для статистической обработки результатов использовался программный продукт Microsoft Excel. Измеряемые параметры указываются в виде: среднее ±SD. Корреляцию показателей оценивали по величине коэффициента корреляции Пирсона.

Структурная схема ТелеУЗИ с использованием стриминговых технологий представлена на рисунке 1.

 

Результаты

Подключение осуществлялось по схеме: видеовыход с УЗ сканера поступал на вход платы видеозахвата Ezcap 295 HD, которая по USB была подключена к АРМ видеозахвата с установленным OBS Studio.  В качестве видеовыхода УЗ сканера использовался видеовыход S-video, предназначенный для подключения видеомагнитофона. На устройстве видеозахвата использовался соответствующий видео-вход. Аппаратным способом были выставлены максимальные настройки: разрешение FULL-HD (1920х1080), частота кадров не могла быть изменена и соответствовала заводским установкам – 30 к/с. На АРМ видеозахвата после установки драйвера устройства видеозахвата, Ezcap 295 HD автоматически определился и добавился в качестве источника видеосигнала в OBS Studio. Было протестировано качество картинки на АРМ видеозахвата в сравнении с оригинальным на мониторе УЗ сканера. Изображение было оценено тремя экспертами, которые единогласно сошлись во мнении что качество изображения на экране АРМ видеозахвата соответствует оригиналу на экране монитора УЗ сканера.

Для полноценной работы технологии ТелеУЗИ требуется два видеопотока (от УЗ аппарата и от веб-камеры, направленной на исследуемую анатомическую зону пациента), которые объединяются на АРМ видеозахвата и передаются на удаленный сервер. Для тестирования этой возможности была подключена вебкамера с исходным размером изображения 1920х1080. Изображение с вебкамеры уменьшено методом бикубической интерполяции до 640х360 и накладывалось поверх изображения с УЗ сканера в углу, вне рабочего поля, чтобы избежать помех.

С целью экономии трафика при трансляции видео размер изображения был уменьшен до 1280х720 методом бикубической интерполяции. Визуально УЗ изображение до и после интерполяции на мониторе АРМ видеозахвата, по мнению экспертов, не отличались.

На следующем этапе была произведена настройка OBS Studio для трансляции видеопотока на видеостриминговый сервис Twitch, после чего начата трансляция. Качество изображения оценивали на подключенных к видеостриминговому веб-сервису удаленных устройствах: ноутбуке и смартфоне. Для кодировки видео на АРМ видеозахвата использовался Nvidia NVENC — аппаратный многопоточный кодировщик, качество видео выставлено на максимальное. При таких настройках загрузка  CPU не превышала 15%, на GPU не превышала 30%. Единственный параметр, который подбирался, это битрейт видео. Для стабильности качества видео был выбран постоянный битрейт. В настоящем исследовании мы поставили задачу поиска минимального значения битрейта видео для достоверной оценки изображения удалено расположенным экспертом. В настоящем исследовании было принято решение начать тестирование передачи видео с битрейта 3000 Кбит/с с последующим снижением до минимального уровня, на котором качество УЗ изображения, по мнению врача-эксперта, будет субъективно значительно отличаться от оригинального изображения. Для каждой величины битрейта проводили 3 измерения с обязательной остановкой и повторным запуском вещания между ними. Транслируемая запись содержала кинопетли в серошкальном 2Д режиме (В-режиме), кинопетли в дуплексном режиме (В-режим + цветовое дуплексное картирование кровотока (ЦДК) или В-режим + импульсный допплеровский режим), стоп-кадры, в т.ч. с проводимыми измерениями.

Оценка экспертами проводилась по бинарной шкале: положительная оценка выставлялась при условии высказывания всеми тремя экспертами положительного мнения о субъективном соответствии качества видео на сервере и на экране клиента. Отрицательная оценка выставлялась, если хотя бы один эксперт высказал мнение о несоответствии качества видео изображения оригиналу. При проведении оценки качества каждому эксперту показывалось изображение на экране сервера с одновременной трансляцией на экран клиента. Оценка качества изображения проводилась экспертами независимо друг от друга.

Результаты тестирования системы ТелеУЗИ с различными настройками битрейта приведены в таблице 1.

С минимальным битрейтром 200 Кбит/с изображение получилось слишком размазанное, что, по единогласному мнению всех экспертов, не позволяло адекватно оценивать УЗ структуры. Для битрейта 300 Кбит/с оптимальное качество изображения получалось только на стоп-кадре, во время самого исследования мнения экспертов разделились: на экране ноутбука УЗ изображение выглядело размазанным, на экране смартфона более четким. При битрейте 350 Кбит/с и более качество УЗ изображения было удовлетворительным на всех платформах и во всех режимах. Также оценивали временную задержку между видео на экране сервера и на экране клиента. В зависимости от битрейта временная задержка находилась в пределах 3,94-4,92 с и уменьшалась с уменьшением битрейта (коэффициент корреляции 0,87).

 

Обсуждение

Нам удалось провести УЗИ с дистанционным анализом врачами-экспертами, используя Ezcap 295 HD, позиционируемое производителем как устройство видеозахвата для видео-игр. Данное устройство продемонстрировало высокое качество видеоизображения, необходимое для качественной работы эксперта по УЗ диагностике.

OBS Studio от Open Broadcaster Software был выбран нами как один из популярных стриминговых программных продуктов для геймеров свободно распространяемый и с открытым исходным кодом. Данный программный продукт без труда обнаружил и подключил Ezcap 295 HD. Для проверки стриминга был выбран сервис Twitch. Данный видеостриминговый сервис позиционируется как сервис для стриминга видеоигр. В настоящем исследовании он использовался только для тестирования возможности работы предложенной системы. Результаты такового исследования указывают лишь на возможность использования ПО OBS Studio для описанных выше задач. OBS Studio позволяет проводить стриминг видео на любую платформу потокового видео (согласно информации на сайте).  В дальнейшем для реализации ТелеУЗИ мы рекомендуем делать выбор в пользу платформ потокового видео, поддерживающих закрытые, защищенные от подключения и просмотра посторонних трансляции материалов. Выбор таких платформ не был задачей данного исследования. Тем не менее вопрос информационной безопасности очень важен при проведении дистанционный исследований в целом и ТелеУЗИ в частности. При реализации технологии телеУЗИ передается два вида конфиденциальной информации – медицинская и персональные данные. Медицинская информация, передаваемая между клиентом и сервером, составляет врачебную тайну и не может быть доступна в каком бы то ни было виде третьим лицам. Мы предполагаем, что передача обезличенной медицинской информации (изображения с УЗ-сканера) и сопроводительной медицинской документации (включая персональные данные) необходимо разделить на два потока, используя разные алгоритмы защиты и шифрования. Это позволит повысить безопасность проводимых исследований. В дальнейшем можно рассмотреть передачу деперсонализированных кадров УЗИ с присвоенным UID (User identifier), а состыковку UID с ФИО и другими персональными данных осуществлять в базе МИС (медицинская информационная система).

В настоящем исследовании мы исходили из информации о том, что для передачи видео в формате H.264 при разрешении 1280х720 оптимально использовать битрейт 3000 Кбит/с [7]. Тем не менее результаты тестирования показали, что при снижении битрейта вплоть до 350 Кбит/с субъективно качество изображения существенно не менялось. Данный факт объясняется тем, что большая часть транслируемого с УЗ сканера изображения является статическим. При детальном анализе изображения с УЗ сканера было выявлено, что зона интереса на оригинальном изображении не превышает 880х822, после применения бикубической интерполяции зона интереса не превышает 586х548, что требует уже в 3 раза меньший битрейт. Также обращаем внимание, что УЗ изображение не цветное, что требует меньшего количества бит для кодирования. Режим ЦДК при использовании имеет ограниченную область окрашивания, а также ограниченную цветовую карту, что также позволяет эффективно работать на низком битрейте. В ходе исследования выбраны оптимальные, на наш взгляд, параметры настройки видеостриминга: входное изображение с УЗ сканера 1920х1080 и 30 к/с, с вебкамеры 1920х1080 и 24 к/с; выходные данные видео1280х720, 24 к/с, кодировщик H.264 (Nvidia NVENC), минимальный битрейт 350 Кбит/с. Обобщая всё вышеизложенное, можно утверждать что при рекомендуемых настройках возможна устойчивая передача качественного видеоизображения с УЗ сканера на любое клиентское устройство, в т.ч. смартфон с подключением к сети интернет посредством сотовой связи. Задержка в видео трансляции менее 5 секунд не может негативно сказаться на качестве телеУЗИ.

В литературе встречаются работы, посвященные применению таких массовых коммуникативных платформ, как Voip, демонстрирующие высокую эффективность при использовании в телеУЗИ [8]. Так в исследовании Liteplo, Noble, & Attwood, 2011 сравнивали Skype и iChat, являющиеся самыми популярными из платформ Voip. В том исследовании выбор был сделан в пользу iChat  [3]. Позднее была показана возможность эффективного применения Skype [9], [4]. Также была показана эффективность применения для телеУЗИ технологии FaceTime, разработанную компанией Apple [10]. Использование описанных выше технологий требует установки специального программного обеспечения, и существенно усложняет подключение клиентов, если их более одного. В нашем исследовании показана возможность применения технологии стриминга видео УЗ исследования с возможностью просмотра на любом устройстве с выходом в интернет без установки специализированного программного обеспечения на стороне клиента. Предлагаемая технология позволяет просматривать транслируемое исследование неограниченному количеству пользователей, что может быть актуально для дистанционного обучения медицинского персонала. 

 Кроме того, настоящее исследование отличается от аналогичных тем, что в нем использовались программные и технические решения, разработанные для игровой индустрии, и по этой причине выпадающие из поля зрения других исследователей. Тем не менее, нам удалось показать возможность успешного применения этих решений для медицинских задач.

 

Ограничения исследования

В настоящем исследовании проводилось тестирование только на одном УЗ сканере, но несмотря на это, мы можем сделать предположение, что данное техническое решение подойдет для других УЗ сканеров, имеющих аналогичный или иной поддерживаемый устройством видеозахвата выход. Также была проверена работа только одного устройство видеозахвата. Мы предполагаем, что при использовании устройства видеозахвата с техническими характеристиками не хуже Ezcap 295 HD возможно получение аналогичного результата. Оценка качества УЗ изображений в настоящем исследовании проводилась только по субъективным критериям. Данное ограничение нами было принято с учетом того, что все УЗ исследования априори являются субъективными, т.к. на всех этапах, начиная от выведения УЗ изображения и заканчивая оценкой УЗ картины, присутствует человеческий фактор.  Наконец, в данном исследовании не проведено тестирование иных платформ потокового видео.

Заключение

Технологии, используемые для стриминга видеоигр, могут быть использованы в телемедицине, например, при реализации ТелеУЗИ в полевых условиях или в мобильных госпиталях при наличии переносного УЗ аппарата с видеовыходом. Положительной стороной применения данных технологий является их доступность и высокое качество транслируемого видео изображения при минимальной пропускной способности каналов связи, что несомненно актуально для технологий космической связи VSAT. Данная УЗ технология также может быть использована в процессе дистанционного обучения или с целью проведения дистанционной консультации. Для полноценной работы в клинической практике необходимо решить вопрос с защищенностью каналов связи от несанкционированного доступа к медицинской информации. Данную задачу возможно решить при помощи программно-аппаратных шлюзов безопасности (например, Vipnet Coordinator)

Дополнительная информация.

Источник финансирования.

Конфликт интересов. «Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи».

Участие авторов. К.М. Арзамасов – разработка дизайна исследования; К.М. Арзамасов - доброволец при проведении исследования, К.М. Арзамасов, Т.М. Бобровская – анализ данных; К.М. Арзамасов, Т.М. Бобровская, В.А. Дроговоз – интерпретация данных; К.М. Арзамасов, В.А. Дроговоз – написание рукописи. Все авторы внесли значимый вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию статьи перед публикацией.

Благодарности. Авторы выражают признательность Иванову С.В., заведующему отделением функциональной диагностики НКЦ ОАО «РЖД» за оказанную помощь в организации и проведения исследования на базе НКЦ ОАО «РЖД», а также врачу отделения функциональной диагностики НКЦ ОАО «РЖД» Андреевой Е.В. за помощь в проведении исследования. Авторы выражают благодарность графическому дизайнеру Савосиной Т.А. за создание иллюстрации к статье, а также Власовой М.В. за перевод.

Таблицы

Таблица1 - Результаты тестирования системы изображений по технологии ТелеУЗИ дистанционными врачами-экспертами

АРМ видеозахвата

Дистанционная оценка УЗ изображения врачом-экспертом

Битрейт видео (Кбит/с)

Тип клиента

Тип подключения

Скорость входящего потока±SD (Кбайт/с)

Задержка ±SD (с)

Оценка качества врачами-экспертами

3000

Ноутбук

WiFi

456,80±

76,28

4,92±

0,24

+

Смартфон

4G

+

2000

Ноутбук

WiFi

311,75±

9,14

4,45±

0,28

+

Смартфон

4G

+

1000

Ноутбук

WiFi

153,92±

19,56

4,64±

0,49

+

Смартфон

4G

+

500

Ноутбук

WiFi

110,00±

2,24

4,24±

0,54

+

Смартфон

4G

+

350

Ноутбук

WiFi

89,00±

4,85

3,94±

0,36

+

Смартфон

4G

+

300

Ноутбук

WiFi

83,67±

1,15

4,03±

0,31

-

Смартфон

4G

+

200

Ноутбук

WiFi

70,00±

0,9

4,11±

0,38

-

Смартфон

4G

-

 

 

Рисунки

Рисунок 1 – Структурная схема ТелеУЗИ. ULTRASOUND SYSTEM (ультразвуковая система) к которой посредством S-VIDEO (стандарт вывода видеоизображения) подключается EZCAP295HD (устройство видеозахвата), который в свою очередь подключен через USB к WORKSTATION (рабочей стации). WEBCAM – вебкамера также через USB подключена к WORKSTATION (рабочей стации). Трансляция видео/аудио осуществляется посредством VIDEO-STREAMING SERVICE (видео-стримингового сервиса). В качестве клиентов выступают ноутбук, подключенный к сети INTERNET посредством Wi-Fi и 4G смартфон.

×

About the authors

Kirill M. Arzamasov

Research and Practical Clinical Center of Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: k.arzamasov@npcmr.ru
ORCID iD: 0000-0001-7786-0349

Head of the Sector for the Systems Development of the Implementation of Medical Intelligent Technologies,  MIRR Department

Russian Federation

Tatiana M. Bobrovskaya

ГБУЗ «НПКЦ диагностики и телемедицины ДЗМ», Москва, РФ

Email: t.bobrovskaya@npcmr.ru
ORCID iD: 0000-0002-2746-7554
SPIN-code: 3400-8575

Младший научный сотрудник

Russian Federation, Россия, 127051, Москва, улица Петровка, д.24 стр.1

Viktor A. Drogovoz

АО «НПО РусБИТех»

Email: Vdrog@mail.ru
ORCID iD: 0000-0001-9582-7147
SPIN-code: 1804-2636

к.т.н., научный сотрудник

Russian Federation

References

  1. V. O. Shchepin, “Equipment and activities of ultrasound diagnostics units of medical organizations of the Russian Federation,” Bulletin of the National Research Institute of Public Health named after N.A. Semashko., vol. S, pp. 20–26, 2014.
  2. S.A. Sterlikov, S.A. Leonov, I. M. Son et al., “Provision of diagnostic equipment in outpatient healthcare organizations,” Health Manager, vol. 3, pp. 44–55, 2016.
  3. A. S. Liteplo, V. E. Noble, and B. H. C. Attwood, “Real-time video streaming of sonographic clips using domestic internet networks and free videoconferencing software.,” J. Ultrasound Med., vol. 30, no. 11, pp. 1459–1466, Nov. 2011, doi: 10.7863/jum.2011.30.11.1459.
  4. S. H. Jensen et al., “Remote Real-Time Ultrasound Supervision via Commercially Available and Low-Cost Tele-Ultrasound: a Mixed Methods Study of the Practical Feasibility and Users’ Acceptability in an Emergency Department.,” J. Digit. Imaging, vol. 32, no. 5, pp. 841–848, Oct. 2019, doi: 10.1007/s10278-018-0157-9.
  5. C. Kim, H. Cha, B. S. Kang, H. J. Choi, T. H. Lim, and J. Oh, “A Feasibility Study of Smartphone-Based Telesonography for Evaluating Cardiac Dynamic Function and Diagnosing Acute Appendicitis with Control of the Image Quality of the Transmitted Videos.,” J. Digit. Imaging, vol. 29, no. 3, pp. 347–356, Jun. 2016, doi: 10.1007/s10278-015-9849-6.
  6. B. Lomb and T. Güneysu, “Decrypting HDCP-protected video streams using reconfigurable hardware,” Proc. - 2011 Int. Conf. Reconfigurable Comput. FPGAs, ReConFig 2011, pp. 249–254, 2011, doi: 10.1109/RECONFIG.2011.24.
  7. A. Aaron, Z. Li, M. Manohara, J. De Cock, and D. Ronca, “Per-title encode optimization,” The Netflix Techblog, 2015.
  8. M. Carbone et al., “A tele-ultrasonographic platform to collect specialist second opinion in less specialized hospitals.,” Updates Surg., vol. 70, no. 3, pp. 407–413, 2018, doi: 10.1007/s13304-018-0582-9.
  9. P. McBeth et al., “Help is in your pocket: The potential accuracy of smartphone- and laptop-based remotely guided resuscitative telesonography,” Telemed. e-Health, vol. 19, no. 12, pp. 924–930, Dec. 2013, doi: 10.1089/tmj.2013.0034.
  10. T. Miyashita, Y. Iketani, Y. Nagamine, and T. Goto, “FaceTime®for teaching ultrasound-guided anesthetic procedures in remote place,” J. Clin. Monit. Comput., vol. 28, no. 2, pp. 211–215, 2014, doi: 10.1007/s10877-013-9514-x.

Supplementary files

There are no supplementary files to display.


Copyright (c) Arzamasov K.M., Bobrovskaya T.M., Drogovoz V.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Свидетельство о регистрации СМИ ПИ № ФС 77 - 79539 от 09 ноября 2020 года выдано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies