基于5G的混合现实成像云平台如何应用于远程手术

author
0 minutes, 16 seconds Read

医疗行业是高科技电子信息在现实生活领域应用的先行者。 随着科学技术的日新月异,数字医学不断发展。 混合现实技术为外科疾病的精准化、个性化治疗提供了新途径。 我国“十年”“四五”规划和2035年愿景目标都概述了要打造良好的数字生态系统,推广远程医疗,推动医学影像辅助判读、临床辅助等应用。 混合现实(MR)将虚拟现实(VR)和增强现实(AR)结合起来,通过对传统图像数据进行3D重建,然后通过3D眼镜将3D模型投影到真实场景中。 ,实现了虚拟世界与现实世界的融合,将其应用在医疗过程中可以使诊断更加直观[1]。 5G可以在28GHz超高频段以超过1Gbps/s的速度传输数据。 其通信延迟小,使得远程医疗能够实现实时共享[2]; 5G依托高带宽、低延迟、大连接数的特点[3],通过与混合现实的结合,成为医疗领域创新发展的新趋势[4]。

本研究基于武汉协和医院的建设实践,结合人工智能图像处理、混合现实交互、增强现实音视频融合、云计算等技术应用,构建基于5G的混合现实影像云平台。 院外远程会诊场景下图像数据实时共享和远程精准手术指导,院内手术场景下三维图像重建和精准手术辅助。

为5G、5G等新技术在医院诊疗、教学、科研等方面的融合应用提供实践参考。

1、需求分析

1.1 远程医疗

当前,偏远地区医疗资源匮乏,农村缺乏医务人员,群众看病难。 以大型公立医院为核心建立医疗联合社区的远程医疗模式已成为改善地区间医疗资源不平衡的重要途径。 然而,传统的远程通信技术已不再能够满足当前远程医疗服务的需求[5]。 医疗机构之间医学影像数据的实时传输、存储、检索、检索、数据备份等业务迫切需要与新技术结合,提供更加稳定的服务。 、高效、高体验的服务。

1.2 图像数据互联

医学影像电子胶片本质上是高分辨率的数字图像及其专业的图像浏览系统,基于医学图像归档和通信系统提供图像浏览服务。 因此,未整合的影像数据被分散并存储在医院的图片存档和通信系统(PACS)中。 相关数据的获取、共享和利用,一方面需要医院影像科的批准和授权。 其过程繁琐且耗时。 另一方面,影像系统与各接入系统之间缺乏跨平台传输、检索、结果互认的统一管理。

1.3 手术诊断、治疗及术后恢复

随着医疗技术的发展,传统的影像数据已经不能满足日益增长的疾病精准诊断需求。 对于二维成像胶片,医生很难在脑海中重现。 手术过程中,如果医生不扩大切口面积,就很难了解病人的内部信息。 另外,二维导航缺乏三维性,难以实现精准的手术操作。 手术后,目前对手术效果的评估方法通常只能通过患者自身感受或定期复查来确认,这不利于患者的及时康复。

2. 应用实践

为了更好地满足上述临床需求,我院应用新技术设计构建了基于5G的混合现实影像云平台。 平台采用统一标准与医院系统对接,提供封装的标准化数字接口,接收和存储基层医院的数据,实现院内外数据互联互通。 同时建设数字化基地,整合5G、视频融合、增强现实等技术能力,为后续精准手术服务奠定数据和应用能力基础。

2.1 多模态数据访问

在远程手术服务场景中,基于5G、视频融合技术、AR技术等能力,将远程会诊专家的指导意见(手势或路径)实时融合叠加在实际手术屏幕上。 同时采用H.264视频和AAC音频编码技术标准和双向隧道视频传输解决方案,使音视频流传输流畅自然。 采用多源视频显示技术,支持多种视频源的接入。 具有扩展性高的优势,兼容开放手术、腹腔镜手术、达芬奇机器人、超声等检查设备的视频流信号。

2.2 实现术前互联和三维模拟

图像数据通过云服务器集中处理,最终分发到各个终端,满足不同部门业务场景的需求,实现海量图像数据的按需存储和按需检索,显示图像可以在两种之间自由切换——立体和三维。 ,保证了医生会诊所需的全维度图像,同时还为医生提供了人工智能建模、高性能图像处理、三维图像重建等应用功能,如图1所示。

混合现实心肺复苏_混合现实XR_混合现实相机/

通过混合现实显示设备创建全新的3D可视化环境,可以在物理空间中以1:1的比例显示真实环境与虚拟模型相结合的全息图像。 它可以同时向医生呈现三维虚拟医学图像数据和真实空间环境,并应用更高维度的数据。 ,深度挖掘图像数据信息,提高医生对图像数据的空间认知能力[6]。 此外,还建立了新的医患沟通模式,将传统的二维影片通过三维全息呈现给家属和患者。 凭借三维、直观、真实、直观的显示优势,医患沟通、术前方案讨论更加顺畅、便捷。

2.3 术中手术导航和三维解剖

为各类内窥镜、显微镜等医疗设备提供手术可视化信息管理和实时业务协作,提供图像采集与处理、数据输出与备份、术中远程协作等功能,如图2所示。在多模态成像上,应用于骨科、神经外科、胸外科、耳鼻喉科等外科手术,利用光、磁导航实现目标导航和路径导航。 其中,其在微创骨科手术导航中的应用,有望在不增加软组织损伤的情况下,协助外科医生安全、准确、快速地置入螺钉。 3D打印模型实现高精度定位,模型位置偏差最小可在1厘米以内,为后期精准临床操作提供安全保障。

混合现实心肺复苏_混合现实XR_混合现实相机/

2.4 术后康复对比及三维教学

基于真实人体数据,建立包括骨骼结构和软组织的数字三维模型。 与混合现实眼镜结合,可实现动态教学、动态演示、实时交流、多站点会诊等功能。 将数字三维模型的坐标转换为基于操作平台建立的世界坐标系,并与操作平台的平面进行匹配,达到虚拟物体自然放置在平面上的效果,从而创造出逼真的三维空间。手术气氛。 此外,它还帮助医生和学生使用最习惯的触摸屏方式学习正常人体解剖学和典型临床病例,使原本依赖教材和教具的课堂变得更加直观和立体。 通过该平台,学生可以从“课堂”到“手术室”的转变,让医学生在进入临床工作前具备一定的三维图像重建技能和常见疾病的临床解剖知识,并快速成长为临床医生。医院骨干力量,帮助医生和学生通过观察全息图像学习医学知识,通过三维图像的模拟操作,深入了解解剖结构和操作技术要点,使医学教育直观、形象。使学生以往只能依靠二维图像想象组织器官的三维结构,学生可以快速掌握所学知识,获得真实的操作经验,大大提高教学效率和质量。

2.5 网络安全防护体系

云平台基于混合云架构部署,连接医院内部PACS系统与公有云。 为了保证PACS接入互联网的安全、稳定,基于网络安全等级保护2.0构建了如图3所示的混合云安全防护体系。 根据安全特点,安全区域分为云业务区域、核心网络区域、运维管理区域、互联网接入区域和医院内部防护区域。 医院内部防护区域需要保证医院内网到互联网出口的安全。 需要建立外部安全防护通道,包括内部防护区、隔离交换区、缓冲区、边防检查区、互联网出口区等。 互联网交互应用程序部署在 DMZ 缓冲区中。 缓冲区与内网边界处部署隔离网守、防火墙等安全设备。 在缓冲区和互联网的边界处部署入侵检测系统、入侵防御系统和防拒绝服务攻击。 设备或保护配置,例如 Web 应用程序防火墙。 互联网接入区域负责管理从互联网接入的各种移动、计算机终端的应用访问控制和安全策略,并部署相应的负载均衡、应用防火墙等设备,在保证访问速度的同时保证访问安全。 核心网区域是连接互联网接入区域、医院内部防护区域、云平台业务区域的重要区域。 该区域集中了所有网络流量,也是受网络攻击影响最大的区域。 因此,设立了安全运维管理区域。 部署专门的网络安全防护设备,保护核心网区域的安全,提供身份认证、访问控制、安全审计、入侵防御、恶意代码防御等安全防御能力。 云业务领域主要依托公有云提供平台基础设施并部署相应的云业务应用。 因此,虚拟化安全、存储安全、数据库安全是该领域的核心关注点。 采用应用级容灾的建立,采用高级容灾、虚拟机隔离等数据安全措施,保证云服务的稳定性。

三、应用效果

2018年1月,我院骨科叶哲伟教授带领团队成功实施全球首例利用混合现实技术的三地远程会诊,实现了利用混合现实进行多地远程会诊和远程手术指导。 目前,我院搭建的5G混合现实云平台已与全国多家医院开展联合会诊业务,最远距离达到4500公里。 2021年2月24日至2月25日,我院利用混合现实云平台技术与相距3600公里的解放军新疆军区总医院、解放军第950医院距新疆叶城县解放军4500公里。 ,成功为一线战士和边疆居民开展了3台远程会诊手术。 这也是在平战结合、军民融合的国家政策指导下,首次在边境及边境前线地区实施的混合现实云平台远程手术。 手术治疗为该病提供了解决方案。 应用过程中,借助5G进行远程手术指导,网络速度基本稳定在900M/s,效果与零距离面对面手术类似。 同时,成像技术生成的全息图像与手术部位实际人体结构的平均偏差为0.4厘米。 支持高分辨率成像使医生能够完全控制手术视野,术中所见与术前计划完全一致。 平台投入使用以来,已进行近千次操作,运行稳定,无任何异常情况。

混合现实心肺复苏_混合现实相机_混合现实XR/

4。讨论

4.1 应用优势

(一)改善患者就医体验,增进医患沟通。 患者在医院完成检查后,可通过扫描二维码获取自身影像数据,并通过手机、平板等终端在线浏览,及时了解自身病情。 同时,经过授权,医生可以在线浏览和分析患者影像数据。 如果需要帮助患者了解诊断和治疗方案,可以使用3D图像重建,这将有助于提高患者的满意度和信任度。 在远程手术中,医生可以利用3D图像让患者家属了解患者的身体状况和患病部位,减少了沟通成本,有利于后续治疗方案的制定,进一步改善医患关系。 由于5G与混合技术的结合,缩短了手术时间,降低了手术风险,促进了患者术后康复,改善了患者的医疗体验。

(2)提高医生诊疗效率,节省人力投入。 5G的高带宽特性使得远程医疗能够实现实时共享,为远程医疗双方节省时间和成本。 应用全息3D图像呈现病灶结构,实现患者图像数据的精确3D重建和混合现实全息呈现,可以让医生的诊断更加清晰,提高诊断效率。 医生还可以实时利用三维手部动作来移动和操纵全息图像结构,观察病灶范围及其与周围重要组织和解剖标志的关系,制定手术的最佳路径和方法,提高手术效果。准确性和安全性。

(3)改善医学生学习方式,降低学习成本。 过去,解剖学主要是通过尸体标本和书籍中的二维彩色图册来学习的。 但标本保存困难且有异味,二维图册学生理解困难。 通过三维全息虚拟解剖数字人体系统的搭建,器官的三维呈现更容易让学生理解。

(4)实现院内外数据实时共享。 该平台连接到医院的PACS并分发到临床医生工作站。 图像数据可实时下载和调用,帮助医生随时随地进行手术规划和模拟演练。 5G打破了医院之间的时间和空间障碍,让我院专家更有效地指导基层医院进行会诊和实施高难度手术,在保证手术效果的同时节省转诊时间,也帮助基层医院提高诊疗水平。 ,进一步促进医疗资源均衡发展。

4.2 现有的不足

(1)存在技术限制。 手术过程中,混合现实全息图像与实体组织仍无法精确匹配,难以实现更精准的三维视觉导航。 这个问题也是目前全球混合现实研究面临的问题。

(2)设备尚未普及。 由于混合现实还处于起步阶段,研发成本较高,导致相关配套设施成本较高。 尚未实现量产,尚未在医院普及。 同时,最核心的关键技术在硬件方面尚未解决,需要依赖进口设备。

(三)行业标准有待完善。 5G和混合现实都是新兴技术,业界尚未形成较为完善的标准化规范。 虽然国家提出了5G医疗应用的标准化管理办法,但仍需细化和完善。 例如,在影像数据的传输上要保证有可靠的技术规范,在远程会诊中要确认双方医务人员的服务规范,在诊疗结果上要有可靠的技术规范。处理规范,保证诊疗质量和患者满意度等。

(四)数据安全存在风险。 新技术应用中隐藏的网络安全风险与黑客组织、勒索病毒、医疗设备、侵犯公民个人信息犯罪等老问题交织在一起。 图像数据的传输和共享增加了数据读取和交换过程中的安全风险。

参考

[1] 严晓东,侯建存,田庆,等。 混合现实技术在外科领域应用的研究进展[J]. 山东医药, 2020, 60(35): 112-114.

[2] 孔祥义,王静,方毅。 5G网络技术在医疗领域的应用前景[J]. 医学信息学杂志, 2019, 40(4): 17-20.

[3] 贾飞,王雪梅,王卫国。 5G通信技术在远程医疗中的应用[J]. 信息通信技术与政策,2019(6):92-95。

[4]潘峰. 信息化为健康中国建设插上翅膀——访国家远程医疗中心、郑州大学第一附属医院院长赵杰教授[J]. 中国医药导报, 2019, 16(25): 1-6.

[5]王能才,刘海珍,卫哲。 基于物联网的远程医疗信息服务平台示范与应用[J]. 中国医疗器械, 2018, 15(2): 87-90.

[6] 叶哲伟. 医疗混合现实[M]. 武汉:湖北科学技术出版社,2018。

Similar Posts