直播技术：从游戏行业到远程超声检查

全文:

论证

目前，有一个单独的方向——远程超声检查（teleultrasound），是一种使用远程医疗技术进行超声检查（超声）的方法。在这项研究过程中，超声图像以数字方式传输给远程专家进行咨询。目前，具有内置远程会诊功能的超声系统已得到广泛开发，然而，更新超声诊断设备的问题仍然存在[1，2]。

要接收基于超声波扫描结果的远程医疗咨询，可以使用普通智能手机发送内置摄像头记录的图像或电影循环[3-5]。但是，这种方法并不总是很方便，而且有很大的风险，因为此类信息会包含个人数据。

大多数10-20年的超声扫描器都设有视频输出，用于连接外部显示器和/或视频打印机。利用游戏行业的研制成果（用于在游戏过程中捕获音频和视频的特殊设备[6]），以及允许实时直播游戏的软件，陈旧诊断设备的功能可以得到扩展。

研究目的是以远程超声检查为例，研究将游戏产业信息技术成果应用于医疗的可能性。

材料与方法

研究对象是2019年接受颈部血管超声检查的作者之一。在研究期间，使用了以下扫描模式：B-模式、彩色多普勒血流显像(CFM)、脉冲波多普勒模式，以及其组合（B-模式+CFM；B-模式+脉冲多普勒）。该研究使用了Sequoia 512 Acuson超声波扫描仪。来自超声扫描仪的图像的登记是由Ezcap 295视频捕获系统（http://www.ezcap.com）进行的。

对于研究的远程传输，使用了Open Broadcaster Software (http://www.obsproject.com)、OBS Studio（版本24.0.3）的软件，这是一个用于视频录制和流式传输的免费开源程序。Twitch（http://twitch.tv）被选为视频流服务。使用的视频捕获自动化工作站(AWS)是一台基于AMD Ryzen 5 3400G处理器的电脑，16 GB内存(随机储存器, RAM)，NVIDIA GeForce RTX 2070显卡，64位操作系统Windows 10 Pro， LAN 100 Mbs，明基IPS 21.5" 1920×1080显示器。远程医生专家的技术解决方案为一台基于AMD E-450 APU的笔记本电脑，8 GB内存，Radeon HD7470显卡，64位操作系统Windows 7，WiFi 72 Mbs，15.6" 1366×768屏幕。作为移动技术方案，使用了红米Note4智能手机，3 GB内存，屏幕：IPS 5.5"，1920×1080, 401 ppi，4G互联网连接。为了跟踪超声检查，使用了Prestige 338录像机，1920×1080像素，25帧/秒的网络摄像头模式。

图像质量由三位专家（在功能（超声）诊断方面有10年以上经验的医生)评估。如果专家能够正确评估内-中膜复合体的分层，则认为检查质量足够。

使用Microsoft Excel对结果进行了统计处理。测量的参数报告为平均值±SD。由于数据的分布是非参数化的，指标的相关性是通过斯皮尔曼等级相关系数的数值来评估的。

使用流技术的远程超声框图如图所示。

图远程超声结构图。

注：Ultrasound System（超声系统），Ezcap 295 HD（视频采集设备）通过S-Video（视频输出标准）连接该系统，后者又通过USB连接到Workstation（工作站）。WEBCAM——网络摄像头也通过USB连接到工作站。视频/音频广播是通过Video-Streaming Service（视频流服务）进行的。客户端是一台通过Wi-Fi连接到互联网的笔记本电脑和一部4G智能手机。

专家的评价是用二元范围内进行的：如果三位专家都对服务器和客户端屏幕上的视频质量的主观合规性表达了积极的意见，则给予正面评价。 如果至少有一位专家认为视频图像的质量与原始图像不符，则给予负面评价。为了评估质量，对每个专家都在服务器屏幕上显示图像，并同时传输到客户端屏幕。为了评估质量，对每个专家都在服务器屏幕上显示图像，并同时传输到客户端屏幕。

结果

连接按照以下方案进行：超声扫描仪的视频输出进入Ezcap 295高清视频采集板的输入端，该板通过USB连接到安装了OBS Studio的视频采集自动化工作站。超声波扫描仪的视频输出是用于连接录像机的S-Video输出。在视频捕获设备上使用了适当的视频输入。最大设置由硬件设置：FULL- HD分辨率（1920×1080），帧速率无法更改并且对应于出厂设置——30帧/秒。在视频采集自动化工作站上，安装视频采集设备驱动后，自动检测到Ezcap 295 HD并作为视频信号源添加到OBS Studio中。视频捕获AWS上的图片质量与超声波扫描仪显示器上的原始图片进行了测试。该图像由三位专家评估，他们一致认为AWS视频捕获屏幕上的图像质量与超声扫描仪监视器屏幕上的原始图像质量一致。

远程超声技术的全面运行需要两个视频流（来自超声机和来自针对患者检查解剖区域的网络摄像头），其在视频捕获AWS上组合并传输到远程服务器.为了测试这个功能，连接了一个初始图像大小为1920×1080的网络摄像头。来自网络摄像头的图像通过双三次插值缩小到640×360，并在工作区域外的一个角落叠加在超声扫描仪图像上，以避免干扰。

视频捕获设备有一个固定的分辨率，其中模拟信号被数字化了。对于超声波扫描仪使用的视频输出，1080p的分辨率是多余的；因此，通过双三次插值将图像大小减少到1280×720，以节省播放视频时的流量。据专家介绍，在AWS视频捕获监视器上插值前后的超声图像在视觉上没有差异。

下一步是OBS Studio的配置，为将视频流广播到Twitch视频流服务和广播本身。图像质量是在连接到视频流网络服务的远程设备上评估的——笔记本电脑和智能手机。为了在视频捕获AWS上对视频进行编码，使用了硬件多线程Nvidia NVENC编码器；视频质量设置为最高。在这些设置下，CPU（central processing unit——中央处理器）负载不超过15%，GPU（graphics processing unit—— 图形处理器）负载为30% 。唯一选择的参数是视频比特率（英语，bitrate —— 单位时间内传送/处理比特的数目）。为了视频质量的稳定性，选择了恒定比特率。

在本研究中，我们的任务是找到视频比特率的最小值，以便远程专家对图像进行可靠评估。我们决定从3000 kbps的比特率开始测试视频传输，然后将其降低到检查医生认为超声图像的质量在主观上与原始图像有明显差异的最低水平。对于每个比特率值，进行三个测量，在其之间强制停止和重新启动广播。广播记录包含2D灰度模式（B-模式）的电影回放、双工模式（B-模式+CFM或 B-模式+脉冲多普勒模式）的电影回放、停格，包括正在进行测量的帧。

专家的评价是用二元范围内进行的：如果三位专家都对服务器和客户端屏幕上的视频质量的主观合规性表达了积极的意见，则给予正面评价。 如果至少有一位专家认为视频图像的质量与原始图像不符，则给予负面评价。在质量评估过程中，对每个评估员在服务器屏幕上显示图像，并同时传输到客户的屏幕上。为了评估质量，对每个专家都在服务器屏幕上显示图像，并同时传输到客户端屏幕。远程超声系统在不同比特率设置下的测试结果如下表所示。

表远程专家医生使用远程超声技术测试成像系统的结果

在200 kbps的最低比特率下，图像过于模糊，所有专家一致认为这不允许对超声波结构进行充分评估。对于300 kbps的比特率，只有在停格上才能获得最佳图像质量，在研究本身过程中，专家的意见有了分歧：在笔记本电脑屏幕上，超声图像看起来模糊，在智能手机屏幕上看起来更清晰。在比特率为350 kbps或以上时，超声图像的质量在所有平台和所有模式下都令人满意。

还评估了服务器屏幕和客户端屏幕上的视频之间的时间延迟。根据比特率，时间延迟在3.94-4.92秒之间，并随着比特率的降低而减少（对比系数为0.82）。

讨论

迄今为止，远程医疗研究和咨询可用于医疗人员严重短缺的地区，尤其是狭隘专家，以及设备以陈旧模型为代表的机构，如本研究。还值得注意的是我国移动通信的可用性，因此使用智能手机是有意义的，可以快速连接到电话会议，包括可以在紧急情况下用于远程咨询。

我们能够使用Ezcap 295 HD进行超声波检查，并由专家医生进行远程分析，制造商将其定位为视频游戏的视频捕获设备。该设备展示了超声诊断专家高质量工作所必需的高质量视频图像。

我们选择了Open Broadcaster Software的OBS Studio作为游戏玩家最受欢迎的免费和开源流媒体软件产品之一。该软件产品很容易找到并连接Ezcap 295 HD。为了测试流媒体，选择了Twitch服务，该服务定位为视频游戏流媒体服务。在本研究中，它仅用于测试所提出系统的可行性。这样的研究的结果仅表明，使用OBS Studio软件完成上述任务是可能的。OBS Studio允许将视频流式传输到任何视频流平台（根据网站上的信息）。

今后，对于远程超声的实施，我们建议选择支持关闭、防止连接和观看无关广播材料的流视频平台。此类平台的选择不是本研究的目的。然而，在进行一般远程研究，特别是远程超声研究时，信息安全问题非常重要。在实施远程超声技术时，传输两种机密信息(医疗和个人数据)，其安全性必须按照现行法规和俄罗斯立法的要求予以保证。客户和服务器之间传输的医疗信息构成医疗保密，第三方不得以任何形式获取。我们假设去个性化的医疗信息（来自超声扫描仪的图像）和随附的医疗文档（包括个人数据）的传输应使用不同的保护和加密算法分成两个流，这将提高正在进行的研究的安全性。 今后，可以考虑包含分配的用户标识符（user identifier，UID）传输去个性化的超声帧，在MIS数据库（医疗信息系统）中，以及使用软硬件安全网关（例如，Vipnet Coordinator）进行UID与全名等个人数据的对接。

在本研究中，我们基于的信息是，对于分辨率为1280×720的H.264视频，3000 kbps的比特率是最佳的[7]。然而，测试结果表明，当比特率降低到350 kbps时，主观上图像质量没有明显变化。这一事实的解释是，从超声扫描仪传输的大部分图像是静态的。对超声扫描仪图像的详细分析显示，原始图像上的感兴趣区域不超过880×822，应用双三次插值后感兴趣区域不超过586×548，这需要3比特率低几倍。还要注意的是，超声图像不是彩色的，这需要更少的位进行编码。彩超模式在使用时具有一个有限的色彩区域以及有限的色卡，这也允许在低比特率下有效地工作。

该研究选择了我们认为是最佳的视频流设置：来自超声扫描仪的输入图像1920×1080和30帧，来自网络摄像头1920×1080和24 fps； 视频输出1280×720，24 fps，H.264编码器（Nvidia NVENC），最小比特率为350 kbps。

综上所述，可以说，在推荐的设置下，可以通过蜂窝通信将高质量视频图像从超声波扫描仪稳定地传输到任何客户端设备，包括智能手机，并通过互联网连接。这使得可以应用考察的技术来使用VSAT空间通信技术传输超声结果。少于5秒的视频广播延迟不会对远程超声的质量产生消极影响。

在文献中，有关于使用大众通信平台（如Voip）的论文，这些平台在用于远程超声时表现出很高的效率[8]。例如，A.S. Liteplo等人的一项研究Skype[3]比较了和iChat，这两个最流行的Voip平台。在该研究中，iChat被选中。后来，显示了有效使用Skype的可能性[4，9]。使用苹果开发的FaceTime技术进行远程超声也被证明是有效的[10]。

使用上述技术需要安装特殊软件，如果有多个客户端，则客户端的连接会显着复杂化。我们的研究显示了使用超声视频流技术的可能性，无需安装专门的客户端软件就能在任何具有互联网功能的设备上观看。拟议的技术允许无限数量的用户观看广播的研究，这可能为医务人员的远程培训以及在专家和内行的参与下进行的咨询和会诊（包括来自偏远地区的医疗机构）重要。我们还可以假设，超声扫描仪上图像质量的提高将导致笔记本电脑或智能手机屏幕上图像质量的提高。出于这个原因，视频是以视频捕获设备的最高分辨率1080p捕获的。从技术上讲，可以将具有数字视频接口（HDMI、DVI-D、DP）和高分辨率（ 全高清及更高）的超声设备与所考察的视频捕获设备结合使用。

此外，本研究与同类研究的不同之处在于，它应用了为游戏行业开发的软件和技术解决方案，因此不在其他研究人员的视野范围内。然而，我们已经能够证明这些解决方案可以成功地应用于医疗应用。

现代超声扫描仪支持以数字格式传输研究的功能，并且一些型号允许在不使用额外设备的情况下进行远程超声检查，但是仍然存在大量设备缺乏这些功能，并且质量也较低超声图像。我们描述的方法的应用可能与使用预算或陈旧设备的医疗机构相关。AAPM（American Association of Physicists in Medicine——美国医学物理协会）和SIIM（Society for Imaging Informatics in Medicine——医学影像信息学会）推荐用于显示超声的显示器分辨率为3Mp(2048×1536)[11] 。当使用支持这种分辨率的视频捕获设备时，有可能将所述方法应用于更高级别的超声扫描器。

研究的局限性

在本研究中，仅测试了一台超声扫描仪，但是，我们可以假设该技术方案也适用于其他具有相同或其他视频采集设备支持的视频采集输出的超声扫描仪。

仅测试了一台视频捕获设备。我们假定，使用技术规格至少与Ezcap 295 HD一样好的视频捕获设备可以取得类似的结果。

本研究中超声图像质量的评估仅根据主观标准进行。考虑到所有超声都是先验主观的这一事实，我们接受了这一限制，因为在从去除超声图像到评估超声图像的所有阶段，都存在人为因素。

最后，本研究没有测试其他视频流媒体平台。

迄今为止，已经开发了大量各种编解码器（用于数据/信号转换的设备或程序），但在本研究中我们使用了H.264。H.264+、H.265、H.265+编解码器特有的降噪会对超声图像的质量产生负面影响，因此需要进一步研究，以评估对传输的超声信号质量的改变。

结论

用于游戏直播的技术可用于远程医疗，例如，如果有带视频输出的便携式超声机，可用于在野外或移动医院实施远程医疗。使用这些技术的积极方面是其可用性和以最小的通信信道的带宽提供高质量的广播视频图像。这种超声技术也可用于远程学习过程或用于遥距诊症。

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

К.М. Arzamasov ― research design development, volunteer during research; К.М. Arzamasov, Т.М. Bobrovskaya ― data analysis; К.М. Arzamasov, Т.М. Bobrovskaya, V.А. Drogovoz ― data interpretation; К.М. Arzamasov, V.А. Drogovoz ― writing a manuscript.

Acknowledgments. The authors express their gratitude Head of the Department of Functional Diagnostics of the SCC of JSC “Russian Railways” to S.V. Ivanov for his assistance in organizing and conducting the study on the basis of the SCC of JSC “Russian Railways”, and also to the doctor of the Department of functional diagnostics of the SCC of JSC “Russian Railways” E.V. Andreeva for assistance in conducting the study. The authors express their gratitude to graphic designer T.A. Savosina for creating an illustration for the article, as well as M.V. Vlasova for the translation.

作者简介

Kirill M. Arzamasov

编辑信件的主要联系方式.
Email: k.arzamasov@npcmr.ru
ORCID iD: 0000-0001-7786-0349
SPIN 代码: 3160-8062

MD, Cand. Sci. (Med.)

Tatiana M. Bobrovskaya

Email: t.bobrovskaya@npcmr.ru
ORCID iD: 0000-0002-2746-7554
SPIN 代码: 3400-8575
俄罗斯联邦, Moscow

Viktor A. Drogovoz

Email: Vdrog@mail.ru
ORCID iD: 0000-0001-9582-7147
SPIN 代码: 1804-2636

Cand. Sci. (Technical)

参考

补充文件

附件文件

动作

1. JATS XML

下载

2. 图远程超声结构图。

下载 (166KB)

索引源数据