账号:
密码:
智动化 / 文章 /

医疗领域正迈入XR+5G时代
电信业者跨域衍生应用
[作者 盧傑瑞]   2021年08月09日 星期一 浏览人次: [3382]

由於AR/VR技术可以突破时空与地域性限制,且随着技术的进步和设备的低成本化,相信未来在医疗救治支援和教育的导入应用,将会越来越容易。在即将到来的5G时代,更可以达到毫无延迟地进行大量的资讯传输,让XR + 5G 的平台在医疗的领域有着更广大的应用性。


由於5G、云端计算和人工智慧(AI)的技术逐渐成熟,在医疗领域也持续将这方面的技术导入到远端医疗或教学。5G已於2020年春季在日本投入商业使用。尽管一般的消费者还没有感受到5G带来的好处,但随着越来越多的智慧手机与该系统相容,5G正逐渐成为我们日常生活的一部分。


5G通讯提供高速、高容量、低延迟和多终端连接,在导入一般消费性应用之前,已经在公共基础建设上进行各种各样应用的开发,包括自动驾驶、物联网等,但其中人们对於在医学中的应用期??值相当高。由於先进影像与通讯技术不断的开发,因此医疗领域也非常期待可在不久的将来能应用於远端治疗和教学上。


电信业者正积极跨入XR + 5G +医疗

很多人在听到XR(VR/AR/MR…)时可,大多都只会联想到娱乐,但近年来各种商业应用一直在扩大。例如,医疗领域已经是VR应用的先进领域之一,而各种验证计画在这两年也持续提出来,尤其日本各大电信业者无不全力投入这方面的开发和验证。


针对远端手术的应用,NTT DoCoMo正积极展开一系列的XR + 5G + 医疗验证计画。在2021年4月,NTT DoCoMo与神户大学、Medicaid、神户市政府合作,利用5G来进行远端手术机器人的验证。


在这次远端手术的验证中,采用了日本Medicaroid所开发的日本第一个手术支援机器人「hinotori手术机器人系统(hinotori Surgical Robot System)」。这套系统已经被神户大学医院的国际癌症中心(ICCRC)成功地和MeDIP进行日本第一次远端模拟手术。这也是世界上第一个成功验证计画。展示的视讯影片中,近??即时的远端手术支援,没有出现任何延迟,这证明了可以透过5G和机器人进行远端医疗支援。


而这样的远端医疗支援,更可利用来帮助缺乏经验的医师,即使处在偏远地区,也能够获得资深医师的指导。进一步的,未来还将可被用在培训,以及远距协助年轻医师进行外科手术。


另外,NTT DoCoMo还与东京女子医科大学合作进行「行动SCOT」。 这个概念是在卡车的内部,安装了由东京女子医科大学、DENSO和其他公司开发的网路化治疗系统,透过5G通讯网路,将已经高度物联网化的行动SCOT,和医院的策略办公桌连接,使医生之间能够即时交换资讯,并支援远端手术,来达到「可行走的智慧手术室」目标。此计画从2019年开始进行验证,经过2年的时间,成功的多次传输外科医师的手部和4K内视镜的高解析影像。


NTT DoCoMo也在2020年9月与Holoeyes公司展开策略合作。整合Holoeyes的?Holoeyes MD?与DoCoMo的XR(VR、AR、MR总称)元件?Magic Leap 1」,向医疗机构提供远距的影像传输服务(图1)。



图1 : 整合Holoeyes MD与Magic Leap 1的应用。(source:PRTime)
图1 : 整合Holoeyes MD与Magic Leap 1的应用。(source:PRTime)

利用5G和XR技术进行远端手术的实验

2021年7月,软银、Holoeyes和Dental Prediction共同合作,验证透过5G和XR来进行远端手术的可靠性和实用性。这项计画是利用5G、XR技术和3D列印,对於一名年轻牙医提供诊断和治疗指导,并透过VR/AR影像技术来进行手术。


目前多数年轻牙医的医疗经验学习,大多都是诊所的资深医师利用临床诊治机会进行传授;但问题是大部分知识和技能的获得,几??都是取决於现场资深医师的指导方式(图2)。


图2 : 验证实验中使用的3D影像和3D列印模型与现场(source:神户市政府)
图2 : 验证实验中使用的3D影像和3D列印模型与现场(source:神户市政府)

这次的验证实验是针对牙齿缺失(因蛀牙或牙周病而拔除)时,进行的植牙手术。具体来说,东京现场(软银总部)指导医生和大阪现场(5G X LAB OSAKA)的年轻牙医,所使用的都是使用Holoeyes的VR设备「Holoeyes XR」,以及远端线上共享会议服务「Holoeyes VS」。Holoeyes XR是Holoeyes为各种设备提供的医疗影像显示服务开发的技术,而Holoeyes VS则是提供远端线上共享会议服务。在网路方面是利用软银的5G网路来进行VR和AR影像的传送和接收,以及提供医疗指导和手术支援。


基於这个实验的结果,Holoeyes的目标是,在未来建立一个远端手术支援解决方案,对牙科诊所提供商业服务。整个验证实验分为2大部分,首先,指导医师利用病人的颌骨3D列印模型进行教学,同时在AR空间中操作3D模型,而年轻的牙医将在观看AR影像的同时,可以透过在模型上钻孔来体验和练习一系列的植牙手术。最後,年轻的牙医将会在大阪市的一家牙科诊所为真正的病人进行手术,而指导医师则是透过东京的AR影像为他提供支援。


利用虚拟空间技术 建构药物的分子结构和器官3D影像

针对虚拟空间技术应用,大日本住友制药和KDDI进行深入合作,针对药物的分子结构和器官,利用虚拟空间技术,进行3D影像的建立,只要透过智慧眼镜「NrealLight」,就可以让医疗相关人员更轻松地体验器官、细胞和药物分子结构的3D影像。


这是日本企业首次将此一技术全面应用於医疗。初期预计这项技术将应用於线上简报和讲座,并於2020财政年度期间作为MR和医疗人员之间的一种新的沟通方法。


为此,大日本住友制药成立市场战略推进室,推动数位技术作为MR和医疗专业人士之间的通讯与资讯传递。目前大日本住友制药透过「iMRs(远端专用MRs)」进行的预约式交流平台,以及最新开发的「vMR"(虚拟MR)」技术,提供视讯内容。


大日本住友制药和KDDI将强化两个领域的合作,包括:为充分应用智慧型眼镜所能呈现的视觉能力,将大量建立3D视讯内容,以及为线上资讯会议和讲座,将利用与各种VR设备建立一个虚拟交流空间。这个交流空间的内容和主题,不受叁与者的位置或地理限制,可以非常便利地叁与和观看,药物的详细资讯,以及器官、细胞和药物分子结构的3D影像。


伦敦医生使用微软的增强现实护目镜减少COVID-19暴露

根据BBC新闻报导,在疫情爆发期间,英国已有100多名国家卫生系统的工作人员死亡,而且还有更多的人受到感染正在医治当中。许多学者专家都表示,对於医护人员来说,目前并没有足够的个人防护设备,因为至少还要在COVID-19的环境中生活一年,可能会更久。因此期??能够有一个安全的解决方案,来让医护人员安心的进行诊治的工作。


伦敦的医院正在测试微软的HoloLens技术,期??能以降低医生接触冠状病毒(COVID-19)患者的数量,该计画如果能成功,可能会在整个国家卫生服务中推广。戴着具有扩充实境能力智慧型眼镜的医师,可以利用微软的Teams视讯会议软体,将病人检查的影像和音讯播放给房间外的同事。利用这样的技术平台,可以最大限度地降低医护人员暴露在高风险环境的次数,也减少了所需的防护设备数量,根据微软提供的资料,这些设备使医疗人员接触疾病的时间减少了83%(图3)。



图3 : 利用HoloLens成功使医疗人员接触疾病的时间减少了83%。 (source:微软)
图3 : 利用HoloLens成功使医疗人员接触疾病的时间减少了83%。 (source:微软)

另一方面,也能让患者利用远端视讯在无压力下,轻松得和医师交谈,以及听取检查的结果。冠状病毒的大流行,推动了各医疗机构大量采用这样的技术平台,这些平台允许病人和医师在毫无疾病传播的风险下完成诊疗。


然而迄今推动HoloLens在医疗中的应用,并不是非常顺利,因为许多医生都反映个人防护设备经常挡住感测器,因此产品似??还需要进行一些修改。此外,这个产品平台还必须符合资料管理规则,将设备连接到国家卫生系统的网路。目前,HoloLens的订价是3000英镑,也可以利用智慧手机进行多人视讯会议,并且同步存取医疗记录和X光片。


在医疗的各种应用纷纷展开

医学教育

VISIBLE BODY 的「人体解剖图谱」是一款 AR 应用平台,可以3D方式查看男性和女性解剖模型。只要利用手指就可以在解剖模型上旋转、放大和缩小,并从各个角度和比例下,观察人体解剖结构。同时还可以再现肌肉和骨骼运动的影片,更深入地了解人体结构。


由Jolly Good、日本医科大学医院、京都化学联合开发的「急救救生VR」是一款可在VR中体验急救医疗。在与时间赛跑的过程中,急诊室的人和物的移动,与正常手术室的移动有很大的不同。通过在真实VR中以重复模拟紧张感,获得更多的急救经验和熟悉度。


美国斯坦福大学开发的「The Stanford Virtual Heart」,让学生利用VR学习和了解患有先天性心脏病的心脏。戴上VR头盔後,透过控制器旋转VR空间中描绘的心脏,观察心脏内部,以准确识别心脏的结构、血流和异常区域(如室间隔缺陷和瓣膜疾病)。更可以在手术前,用来向病人的家人解释手术,帮助他们更清楚地了解疾病和手术内容(图4)。



图4 : The Stanford Virtual Heart可以利用VR技术学习和了解患有先天性心脏病的心脏。(source:stanfordchildrens.org)
图4 : The Stanford Virtual Heart可以利用VR技术学习和了解患有先天性心脏病的心脏。(source:stanfordchildrens.org)

应用在复健

日本mediVR的「mediVR Kagra」是一种利用VR技术的复健医疗设备。它定量评估了步态障碍患者的姿势平衡和认知能力,主要是患者坐在椅子上,在进行伸手动作时,在可以透过VR技术建立的三维空间中伸手寻找座标。而所获得的定量资料将被用於复健训练内容,因为复健训练内容往往取决於个别治疗师的能力,并在适当的时候进行指导(图5)。



图5 : mediVR Kagra可以透过VR技术建立三维空间座标。(source:mediVR)
图5 : mediVR Kagra可以透过VR技术建立三维空间座标。(source:mediVR)

远程医疗应用

「STAR(增强现实远程指导系统)」是美国为了军事目的,利用AR技术所开发的远端医疗系统。透过STAR系统,可以让当地的外科医生将视野分享给远端的医疗专家,再透过AR指导外科医生在病人身上的切囗位置,以便能顺利地进行手术。


位於英国的Proximie也有类似的系统产品。最初开发的目的是利用音讯、视讯和AR技术,为医疗资源有限地区或高风险地区的外科医生,提供远端教育和支援,目前该技术已经能够进行即时手术,不仅在英国,在其他欧洲国家、美国的医院也已经被广泛采用(图6)。



图6 : 目前Proximie已能够应用在进行即时手术。(source:Proximie)
图6 : 目前Proximie已能够应用在进行即时手术。(source:Proximie)

在世界各地都存在着医师集中在大城市,医疗院所分布不均,甚至农村地区的医师严重短缺的问题。所以,可以突破时空与地域性限制的AR/VR技术,相信在医疗救治支援和教育的应用,未来将会变得越来越重要。


另一方面,随着技术的进步和设备的低成本化,AR/VR技术也越来越容易被导入应用,在即将到来的5G时代,更可以达到毫无延迟地进行大量的资讯传输,而让XR + 5G 的平台在医疗的领域有着更广大的应用性。


**刊头图 (source:Training Industry)


相关文章
以Zynq RFSoC为基础的数位基频进行毫米波RF电子设计验证
5G服务加紧脚步 毫米波频段竞赛越演越烈
企业专网加速成型 开启5G新兴应用领域
测量方案东风起 加速5G行动网路创新
5G时代与AI边缘运算结合 倍速实现智慧制造
comments powered by Disqus
  相关新闻
» Basler於台湾医疗科技展展出视觉技术
» 非侵入检测牙周病理快筛系统加速医诊效率
» 2021 BIO Asia --工研院跨域整合提升高阶医材量能
» 中国附医运用Azure云端科技於精准医疗应用
» 讯连与FaceScan携手打造非接触防疫门禁一体机秒刷测温
  相关产品
» 三菱工程开发医用级聚缩??树脂Iupital MA系列有成
» 凌华科技全新All-in-One医用触控电脑为公卫添助力
» 中美万泰推出医用电脑电源内装设计WMP-24G-PIS
» 针对自动驾驶应用 ARM推新处理器Cortex-R52
» 运用耳道声波反射 NEC研发全新生物辨识技术


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2021 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@hope.com.tw