一种基于混合现实技术的远程医疗系统及其操作方法与流程

本发明涉及远程医疗技术领域，具体涉及一种基于混合现实技术的远程医疗系统及其操作方法。

背景技术：

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实(MR)(既包括增强现实和增强虚拟)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。

混合现实技术为人类生活带来了极大的便利，在医疗领域就获得的极大的体现，例如公开号为CN106109015A的发明专利公开了一种头戴式医疗系统及其操作方法，包括AR/MR头戴显示设备和激光发生器，AR/MR头戴显示设备佩戴在医生的头部，激光发生器架设在手术台的上方，在病患者体表做好人造骨性标志，激光发生器对准患者患病部位的体表进行照射，把CT扫描取得的患部3D模型输入AR/MR头戴显示设备中，医生佩戴并启动AR/MR头戴显示设备，视线对准人造骨性标志，佩戴AR/MR头戴显示设备内的摄像头对人造骨性标志进行观察和识别，把患部3D模型显示在患者身体的对应位置，佩戴AR/MR头戴显示设备的医生围绕手术台随意走动，观察患部3D模型，指导手术操作。本发明相对于现有手术技术有更高效、更直观、安全性更高、功能性更强的特点。

虽然应用混合现实技术极大的提高了手术操作者的工作效率和准确性，更加高效直观，但是对于远程会诊的改造还未得到体现，现有的远程医疗系统的主要缺点有：

需要建立远程会诊或医疗室，并配备各种硬件设备，各硬件之间的兼容性相对不稳定。搭建该系统的硬件成本及维护费用非常高。会诊地点受限于会诊室，这不仅使会诊组织者花更多精力进行参会协调，也使与会人员消耗了较多的时间成本。参会人员共同观看显示器所展示的内容，当专科医师需要了解病患在自身医学领域的检查检验报告或者相关医学资料时，无法尽数投射在显示器上，故只能扩充更多的终端显示设备。

技术实现要素：

本发明为了解决上述技术问题，提供一种基于混合现实技术的远程医疗系统及其操作方法，使用全息投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备，极大的提高了远程医疗的便利性和高效性。

为了达到上述技术效果，本发明包括以下技术方案：

本发明提供了一种基于混合现实技术的远程医疗系统，包括服务器、医院信息系统、存储器和多个MR智能终端，

所述服务器，分别连接所述医院信息系统、存储器和多个MR智能终端；

所述医院信息系统包括EMR、PACS系统和LIS系统，用于存储患者的医疗资料，并将所述医疗资料通过服务器上传至MR智能终端，用于生成混合现实场景；

所述存储器用于存储诊疗记录、诊疗建议及意见；

所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将医疗资料投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的医疗资料进行查阅、编辑、整理和统计分析；所述MR智能终端还用于各个佩戴者之间进行音频、视频沟通以及资料共享。

进一步地，所述MR智能终端为MR智能眼镜，包括控制器，还包括与控制器连接的通信模块、光学投射模块、输入模块、输出模块和操作模块，

所述控制器用于控制执行混合现实交互程序；

所述通信模块用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器之间的通信连接；

所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；

所述输入模块，用于输入用于控制MR智能眼镜的数据；

所述输出模块包括扬声器和显示器，分别用于输出音频信号、视频信号；

所述操作模块用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器。

一种上述远程医疗系统的操作方法，包括以下步骤：

步骤一：患者或本地医师所在的空间内和远端医师所在诊疗空间内均设置MR智能终端，各MR智能终端之间建立通信连接；

步骤二：各个空间内的MR智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤三：患者或本地医师所在空间内的MR智能终端连接医院的EMR、PACS或LIS系统，进行数据同步，获取到该患者所需要的医疗资料；

步骤四：MR智能终端将医疗资料经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；

步骤五：MR智能终端佩戴者在混合现实场景中通过多种的控制方式实现对医疗资料的查阅、编辑、整理和统计分析，可以使远端医生迅速了解病人详情，从而做出精准判断。

步骤六：医生与患者之间、不同医生之间通过MR智能终端实时或以留言形式进行沟通交流。

采用上述的方法，医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，只需要佩戴MR智能终端即可进行病历讨论和远程会诊。又具备无线、移动化等特征，使远端医师随时随地进行远程会诊和病历讨论，极大降低时间成本。使用全息投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备。

进一步地，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示。

进一步地，所述的医疗资料包括患者个人信息、诊疗记录、病程记录、医学影像和检查报告。上述的各种信息可以在混合现实场景中呈现并提供给医生参考，方便医生查找医疗数据。

进一步地，医生在查找资料后，可以对数据归类、统计、分析，把病人病情的变化与检查、检验等病理结果建立直观联系，找出更有效的治疗方案。

进一步地，步骤五中的控制方式包括走动、视线凝视、手势操作和语音命令。通过多种多样易于实现的控制方式实现医生与混合现实场景的交互，服务于医疗诊断或治疗。

进一步地，步骤五中对医疗资料的查阅、编辑、整理和统计分析形式包括浏览各种信息、将需要的信息分类集中，移动旋转缩放资料、复制备份资料、圈点标注资料、收藏分享资料和截屏录像录音。

进一步地，所述的MR智能终端可呈现其他与其相连的智能终端的视角。在远程协助治疗或手术的过程中，各岗位指导医师，通过佩戴MR智能终端，查看手术过程中与自身科别相关的实时数据，并可呈现现场医师视角，与同岗位的医师进行实时指导交流。

进一步地，MR智能终端连接有存储器，诊疗记录、诊疗建议及意见存储在存储器内。

进一步地，处于同一空间内的多个MR智能终端看到的混合现实场景自动进行数据同步合并，各个佩戴者在感官上看到的混合现实场景相同。实现混合现实场景的一致性，避免多种混合现实场景对不同的医生诊疗判断带来干扰和影响。

采用上述技术方案，包括以下有益效果：

1)医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，成本得到极大的控制，MR智能终端在硬件上的高度集成，避免因各种硬件交互运行导致的兼容性问题，同时降低维护成本。

2)MR智能终端具备无线、移动化等特征，使参与病例讨论和远程会诊医师随时随地开展工作，极大降低时间成本、提高效率。同时，本地医师与远端医师只需佩戴MR智能终端并连线，即可同时对患者进行面诊交流，本地医师与远端医师可以共享面诊画面，并相互交流。

由此，可以使目前开展并不活跃但意义重大的远程医疗活动，成几何倍级的增长，从而造福广大患者。

3)本方案使用全息投影技术，让指导医生身临其境，更直观的进行医疗指导，突破了空间的限制，展示更多有效内容，避免扩充更多终端显示设备。

4)各岗位指导医师可随时随地进行本岗位的医疗指导，并及时交换指导意见；

5)急救时，现场急救人员佩戴MR智能终端后，指导医师可观察现场情况，而现场人员则可解放双手，采取更有效的施救措施。

附图说明

图1为本发明远程医疗方法一种实施方式的流程框图；

图2为本发明远程医疗系统的通信结构连接示意图；

图3为本发明中MR智能眼镜的结构框图；

图中，

1、服务器；2、医院信息系统；3、存储器；4、MR智能终端；401、控制器；402、通信模块；403、光线投射模块；404、输入模块；405、输出模块；406、操作模块；5、显示终端。

具体实施方式

下面通过具体的实施例对本发明做进一步的详细描述。

本文使用的包括描述性或技术性术语在内的所有术语应当被解释为具有本领域普通技术人员理解的含义。然而，根据本领域普通技术人员的意图、先例或者新技术的出现，术语可具有不同含义。另外，一些术语可由申请人选择，并且在此情况下，所选择的术语的含义将在详细描述中加以详细描述。从而，本文使用的术语必须基于术语的含义连同整个说明书中的描述来定义。

另外，当一部件“包括”或“包含”一元素时，除非有与之相反的具体描述，否则该部件还可包括其他元素，不排除其他元素。在其他的描述中，诸如“模组”和“模块”之类的术语指用于处理至少一个功能或操作的单元，其中该模组和模块可实现为硬件或软件或者可通过组合硬件和软件来实现。

实施例可以以许多不同形式实现，而不应当被解释为限于本文记载的实施例；更确切地说，提供这些实施例是为了使得本公开将会透彻且完整，并且将会把一个或多个实施例的构思完整地传达给本领域普通技术人员。在接下来的描述中，没有详细描述公知的功能或构造，因为它们将会以不必要的细节模糊实施例，并且附图中的相似的标号在整个说明书中始终表示相似或类似的元素。

按照本文使用的，术语“和/或”包括关联的列出项目中的一个或多个的任意和所有组合。诸如“……中的至少一个”之类的表述当在元素的列表之前时修饰整个元素列表，而不修饰列表中的个体元素。

实施例：

本发明提供了一种基于混合现实技术的远程医疗系统，如图1所示，包括服务器1、医院信息系统2、存储器3和多个MR智能终端4，

所述服务器1，分别连接所述医院信息系统2、存储器3和多个MR智能终端4；

所述医院信息系统2包括EMR、PACS系统和LIS系统，用于存储患者的医疗资料，并将所述医疗资料通过服务器1上传至MR智能终端4，用于生成混合现实场景；

所述存储器3用于存储诊疗记录、诊疗建议及意见；

所述MR智能终端4用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将医疗资料投射到物理环境模型中，获得混合现实场景；所述MR智能终端4还用于通过多种控制方式对混合现实场景中的医疗资料进行查阅、编辑、整理和统计分析；所述MR智能终端4还用于各个佩戴者之间进行音频、视频沟通以及资料共享。

在上述实施方式中，所述服务器1还可以采取其他相同功能的计算设备的形式来代替，应当理解，可使用基本上任何计算机架构而不背离本公开的范围，在不同的实施例中，计算设备可以采取大型计算机、服务器1计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些实施例中，服务器1可被集成到MR智能终端4中。

在上述实施方式中，医院信息系统2包括EMR、PACS系统和LIS系统，但不限于此，还可为其他的医院内部的信息系统，例如RIS系统，本领域的技术人员可以根据需要再现有技术手段中进行常规选择。

为保证技术术语使用的准确性，对上述的部分技术术语解释如下：

LIS：实验室信息管理系统(Laboratory Information Management System)，是专为医院检验科设计的一套信息管理系统，能将实验仪器与计算机组成网络，使病人样品登录、实验数据存取、报告审核、打印分发，实验数据统计分析等繁杂的操作过程实现了智能化、自动化和规范化管理。有助于提高实验室的整体管理水平，减少漏洞，提高检验质量。

PACS：医学影像存档与通讯系统(Picture archiving and communication systems)，是近年来随着数字成像技术、计算机技术和网络技术的进步而迅速发展起来的、旨在全面解决医学图像的获取、显示、存贮、传送和管理的综合系统。

RIS：放射信息管理系统(Radioiogy information system)，是优化医院放射科工作流程管理的软件系统,一个典型的流程包括登记预约、就诊、产生影像、出片、报告、审核、发片等环节。

EMR：电子病历(Electronic Medical Record)，是指将传统的纸病历完全电子化，并提供电子贮存、查询、统计、数据交换等管理模式，它是信息技术和网络技术在医疗领域应用的必然产物，是医院计算机网络化管理的必然趋势，目前改领域研究已成为一个新的研究应用热点。

在上述实施方式中，服务器1还可以连接有显示终端5，可以为常规的具有显示功能的终端。例如智能手机，平板电脑或其他。

在上述实施中，具体地，所述MR智能终端4为MR智能眼镜，如图2所示，包括控制器401，还包括与控制器401连接的通信模块402、光学投射模块、输入模块404、输出模块405和操作模块406，

所述控制器401用于控制执行混合现实交互程序；

所述通信模块402用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器1之间的通信连接；

所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；

所述输入模块404，用于输入用于控制MR智能眼镜的数据；

所述输出模块405包括扬声器和显示器，分别用于输出音频信号、视频信号；

所述操作模块406用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器401。

在上述实施方式中，控制器401总体上控制MR智能眼镜的整体操作。例如，控制器401可通过执行其内部存储的程序来总体上控制输出模块405、输入模块404、通信模块402、操作模块406和光线投射模块403。

当用户的采用操作方式进行操作时，控制器401可获得穿戴着MR智能眼镜的用户的运动信息。用户的运动信息可包括用户的运动状态信息、运动速度信息和位置信息中的至少一种。

控制器401可基于MR智能眼镜中的操作模块406中包括的至少一个传感器或元件确定用户是否穿戴着MR智能眼镜，并且当确定用户穿戴着MR智能眼镜时，控制器401可获得用户的运动信息。

控制器401也可通过基于利用MR智能眼镜测量到的走动、视线凝视、手势操作和语音命令的至少一者分析用户的运动来获得用户的运动信息或输入信息。

控制器401可基于用户的运动信息或输入信息确定提供与操作方式相对应的对于混合现实场景的具体操作。

控制器401可考虑到关于从MR智能眼镜起的特定距离内的环境的环境信息来确定将通知内容输出为音频信号或视频信号中的至少一者。环境信息可包括关于在从MR智能眼镜起的特定距离内生成的声音的外部声音信息和关于利用高清摄像头获得的外部图像的信息中的至少一者。

在上述实施方式中，通信模块402可包括使得MR智能眼镜能够与外部设备或服务器1通信的至少一个组件。例如，通信模块402可包括短程无线通信模块402、移动通信模块402(例如GPRS)和广播接收电路模块。短程无线通信模块402可以为蓝牙、NFC、Wi-Fi、紫蜂、IrDA、WFD、UWB和Ant+中的任意一种或几种，但不限于此。

通信模块402可从连接到MR智能眼镜的外部设备请求并接收用户的运动信息。通信模块402可在向外部设备发送利用MR智能眼镜测量到的走动、视线凝视、手势操作和语音命令信息等等的同时请求用户的运动信息。

在上述实施方式中，输入模块404可以是运动输入、触摸输入、键输入、语音输入和多重输入中的至少一者，但不限于此。例如，输入方式可包括用于触摸眼镜的框架的特定区域的输入、用于选择眼镜的框架中包括的按钮的输入、语音声音输入、抬头运动输入等等，但不限于此。眼镜的框架的特定区域可以是预先设定的。

在上述实施方式中，所述输出模块405用于输出音频信号、视频信号或者振动信号，并且可包括显示器、扬声器和振动器，但不局限于此。

在上述实施方式中，所述的操作模块406可包括麦克风、惯性测量传感器、环境感知相机、高清摄像头、景深相机、混合现实捕捉模组、眼球跟踪传感器中的至少一种，但操作模块406中包括的组件不限于此。操作模块406还可包括温度传感器、亮度传感器、压力传感器或虹膜扫描传感器，磁传感器、加速度传感器、倾斜传感器、深度传感器、陀螺仪传感器、位置传感器。因为每个传感器或组件的功能可由本领域普通技术人员基于其名称直观地推断，所以这里不描述其细节。

一种基于混合现实技术的远程医疗方法，如图3所示，包括以下步骤：

S101：患者或本地医师所在的空间内和远端医师所在诊疗空间内均设置MR智能终端4，各MR智能终端4之间建立通信连接；

S102：各个空间内的MR智能终端4自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

S103：MR智能终端4连接医院EMR、PACS或LIS系统，进行数据同步，获取到该患者所需要的医疗资料；

S104：MR智能终端4将医疗资料经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；

S105：MR智能终端4佩戴者在混合现实场景中通过多种控制方式实现对医疗资料的查阅、编辑、整理和统计分析。

S106：医生与患者之间、不同医生之间通过MR智能终端4实时或以留言形式进行沟通交流。

在上述的实施例中，MR智能终端4可以为MR智能眼镜，即可穿戴眼镜，是被穿戴在用户的头上以在用户的眼睛前方提供图像的显示装置。本发明构思不限于眼镜型可穿戴设备，而是也可应用到基于MR技术的头戴式显示器(HMD)装置，其主体的一部分固定到用户的头部以在用户的视角内显示信息。可实现为各种形式，例如，HMD装置可实现为眼镜、头盔和帽子，但不限于此。

在上述的实施例中，S101中，各MR智能终端4之间的通信方式可以为现有技术中各种成熟的通信连接方式，可以为有线连接、WIFI连接、蓝牙连接、NFC连接、移动通信连接，还可以为通过服务器1进行间接连接，但不限于此。

在上述的实施例中，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示，但不限于此。

在上述的实施例中，所述的医疗资料包括患者个人信息、诊疗记录、病程记录、医学影像和检查报告，但不限于此。

在上述的实施例中，步骤五中的控制方式包括走动、视线凝视、手势操作和语音命令，但不限于此。

在上述的实施例中，步骤五中对医疗资料的查阅、编辑、整理和统计分析形式包括浏览各种信息、将需要的信息分类集中，移动旋转缩放资料、复制备份资料、圈点标注资料、收藏分享资料和截屏录像录音，但不限于此。

在上述的实施例中，所述的MR智能终端4可呈现其他与其相连的智能终端的视角。在远程协助治疗或手术的过程中，各岗位指导医师，通过佩戴MR智能终端4，查看手术过程中与自身科别相关的实时数据，并可呈现现场医师视角，与同岗位的医师进行实时指导交流。

在上述的实施例中，MR智能终端4连接有存储器3，诊疗记录、诊疗建议及意见存储在存储器3内。当然所述的存储器3可以为用户自定义的个性化存储器3，例如服务器1内的存储单元、云端存储器3或其他，还可以为设置在MR智能终端4内的存储器3。

在上述的实施例中，处于同一空间内的多个MR智能终端4看到的混合现实场景自动进行数据同步合并，各个佩戴者在感官上看到的混合现实场景相同。处于同一空间内的多个MR智能终端4设备通过空间识别技术，建立统一的空间物理模型，当某个佩戴者对空间中的混合现实场景进行操作后，混合现实场景的最新状态数据将会通过服务器1分发给其他MR智能终端4设备，这些设备根据接收到状态数据，对自身的混合现实场景进行修改，以实现混合现实场景的一致性，避免多种混合现实场景对不同的医生诊疗判断带来干扰和影响。

上述实施方式中的远程医疗系统的具体应用场景可以为远程会诊、远程面诊、远程手术及远程协助急救等。

例如，远程会诊发起后，医师或病患均可佩戴具备MR功能的智能眼镜或类似终端设备参与远程会诊，常规的远程会诊设备也可以连接到本系统中。MR智能终端4会自动识别佩戴者所处物理环境并进行物理环境建模。同时，MR智能终端4会从医院EMR、PACS、LIS系统同步的数据中，获取到远程会诊所需要的资料，并结合物理环境模型，用全息影像的形式，放置(投射)到物理环境中。佩戴者通过自身走动、视线凝视、手势操作、语音命令等方式，操作全息物体，实现例如：翻阅病历、查看医学影像、移动旋转缩放资料、将数据归类并集中展示、复制备份资料、圈点标注资料、收藏分享资料、截屏录像录音等交互操作。MR智能终端4会将佩戴者所看到的影像、所发出的声音、所进行的操作过程及结果，实时共享给其他与会人。这些内容除能在其他佩戴者的MR智能终端4中展示外，也可以在传统的电子设备(如电脑、手机、平板等)中进行展示。通过MR智能终端4的声像系统，佩戴者与其他参会人员进行实时视频语音交流。同时也能收到其他参会人员通过MR或其他设备传输过来的影像。参会者在会诊过程中产生的会诊意见或建议，经过加密后，通过安全信道，实时同步到系统的云端进行安全存储。同时，MR智能终端4自身可保存会诊记录，并离线查看。

再例如，在需要远程面诊时，医师只需佩戴MR智能终端4，即可与患者进行面诊交流，同时，面诊画面也可实时传递给远端专家医师，并接受其指导。

再例如，在远程手术过程中，通过MR智能终端4的全景成像技术，让指导医师身处手术室内，全盘掌握手术室整体进程；各岗位指导医师，通过佩戴MR智能终端4，查看手术过程中与自身科别相关的实时数据，并可将自身视角转换为现场医师视角，与同岗位的医师进行实时指导交流。

再例如，在急救情况发生时，现场急救人员佩戴MR智能终端4进行急救，指导医师通过自己的MR智能终端4或其他移动设备，可切换至现场急救人员视角，观察急救现场，并给予施救建议。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。