一种基于XR技术的影像远程沟通协作系统的制作方法

本发明涉及医疗影像远程沟通协作，具体为一种基于xr技术的影像远程沟通协作系统。

背景技术：

1、xr技术是增强现实(ar)、虚拟现实(xr)和混合现实(mr)的统称，是指通过计算机技术将现实世界和虚拟世界融合在一起，让用户能够在环境中进行沉浸式交互。

2、在医疗领域中，医疗影像数据是医生进行诊断和治疗的重要基础。目前远程会议和视频会议应用已被广泛应用于远程协同场景，然而目前医生们都只是通过电脑的显示屏进行查看和交流，看的也都是二维的医学影像数据，需要很强的空间理解力，在脑海中构建出病灶的三维原始形态，这在理解、交流和沟通效率上都存在很多不便。此外，视力存在问题的用户在佩戴如公开号为cn212229329u中所示的xr设备时还存在看不清楚的问题，这同样也会在医疗会议上为医生用户之间的交流带来不便。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于xr技术的影像远程沟通协作系统，通过利用xr设备中的xr追踪器和xr手套时刻追踪每个用户的手部动作并将其应用到三维医疗影像数据中，从而能够方便不同的用户对所查看的三维医疗影像数据进行旋转、平移、缩放、标注、测量以及剖面查看等操作，从而能够帮助用户指定治疗方案，相对于传统视频会议的方式，本发明大大提高了远程会议的效率和准确性，具有实用性和创新性。

3、(二)技术方案

4、为实现上述目的，本发明采取的技术方案为：一种基于xr技术的影像远程沟通协作系统，包括本地计算机、云服务器和多套自带cpu的xr设备；

5、所述本地计算机用于上传三维医学影像数据给云服务器，该三维医学影像数据的传输方式为gltf格式或fbx格式；

6、所述云服务器用于对接收到的三维医学影像数据进行解析和转换，上述解析和转换出来的指令通过xr设备被重新应用于三维医学影像数据中，该指令包括对三维医学影像数据进行旋转、平移、缩放、标注、测量或剖面查看操作；

7、所述本地计算机上以及xr设备的cpu上均安装有xr远程沟通软件，用于穿戴xr设备的用户之间通过本地计算机上以及xr设备上的xr远程沟通软件进行远程视频交流；

8、每套xr设备均包括xr显示头盔、xr追踪器和xr手套，xr设备自带的cpu安装在xr显示头盔上；

9、每个xr显示头盔分别穿戴在不同用户的头部，用于使不同的用户在虚拟现实场景中加载查看同一例三维医疗影像数据；

10、所述xr追踪器用于追踪xr手套或者直接追踪识别用户手指关节的动作，并将用户的手部动作实时上传到云服务器上并通过xr远程沟通软件进行会议讨论。

11、优选的，所述旋转操作、平移操作和缩放操作是通过借助xr追踪器追踪使用者手势调整的动作并将其实时转化为旋转指令、平移指令或缩放指令，再将旋转指令、平移指令或缩放指令传递给三维医疗影像数据，实现在虚拟现实场景中操作三维医疗影像数据进行旋转、平移或缩放的效果；

12、所述标注操作是基于xr追踪器的精准跟踪记录用户手势的相关坐标和信息，在空间中将这些坐标信息的顶点连接在一起，生成mesh，经过对其进行着色和渲染，完成在虚拟现实场景中对三维医疗影像数据的标注；

13、所述测量操作是基于xr追踪器的精准跟踪实时测量三维医疗影像数据的大小、长度参数，并通过转化的测量操作指令，反应到虚拟现实场景中，实现三维医疗影像数据的精准测量功能；

14、所述剖面查看操作基于xr追踪器的精准跟踪利用剖面工具对三维医疗影像数据进行任意角度的切割展示，用于观察其剖面结构。

15、优选的，所述xr手套内部装有传感器和反馈装置，用于准确地捕捉用户的手势动作并输出相应的信号；

16、所述xr追踪器通过内部的传感器和算法能够精准地跟踪xr手套或者直接识别用户手指关节的运动和姿态，将用户的手部动作实时传输至本地计算机或云服务器上。

17、优选的，所述xr显示头盔包括xr头显主体以及安装在xr头显主体内部的两个镜头，两个镜头分别与用户的两个眼睛对齐；

18、所述xr头显主体两侧均安装有弹性带，两个弹性带远离xr头显的一端连接有同一个限位块，所述限位块被限制在用户头部的后脑勺位置处。

19、优选的，两个镜头远离xr头显主体的一侧均固定有镜片安装块，所述镜片安装块内部插接有镜片，所述镜片顶端贯穿镜片安装块和xr头显主体并延伸出xr头显主体顶部；

20、所述镜片安装块远离镜头的一侧固定连通有瞄准筒，用户的眼睛通过瞄准筒和插接在镜片安装块内部的镜片观察到镜头内部的三维医学影像资料。

21、优选的，所述镜片包括不同度数的近视镜片和不同度数的远视镜片。

22、优选的，两个镜片安装块内部均设有用于固定镜片位置的限位机构；

23、所述限位机构包括安装在两个镜片安装块内部的弧形限位板，每个镜片安装块内部所包含的弧形限位板的数量为四个，四个弧形限位板分别位于镜片的两侧，四个弧形限位板远离镜片的一侧均固定有弹簧，所述弹簧远离弧形限位板的一端与镜片安装块内部固定连接。

24、优选的，两个镜片安装块内部均开设有容纳弧形限位板和弹簧的空腔，每个镜片安装块内部开设的空腔的数量为四个；

25、所述镜片底端边角加工成圆弧形，每个弧形限位板靠近镜片一侧顶部的边角均加工成圆弧形。

26、(三)有益效果

27、与现有技术相比，本发明提供了一种基于xr技术的影像远程沟通协作系统，具备以下有益效果：

28、1、通过利用xr设备和xr远程沟通软件，使得不同的医生等用户能够对同一个三维医疗影像数据进行查看，并通过利用xr设备中的xr追踪器和xr手套时刻追踪每个用户的手部动作并将其应用到三维医疗影像数据中，从而能够方便不同的用户对所查看的三维医疗影像数据进行旋转、平移、缩放、标注、测量以及剖面查看等操作，从而能够帮助用户指定治疗方案，相对于传统视频会议的方式，本发明大大提高了远程会议的效率和准确性，具有实用性和创新性；

29、此外，在本系统中还可以直接利用xr追踪器识别用户手指关节动作，然后将其应用到三维医疗影像数据中，所以在本系统中存在两种操作方式，用户可以选择佩戴xr手套或者不佩戴xr手套，灵活性高。

30、2、本发明提供了一种更适用于xr设备的三维图像数据传输方式——gltf格式或fbx格式，并将其用于三维医学影像数据的传输，解决了传统stl格式的三维数据的诸多问题：其一，stl文件通常较大，gltf和fbx支持数据压缩和二进制格式存储，可以有效地减小文件大小，提高加载效率；其二，stl仅包含几何形状信息，无法直接包含材质和纹理，gltf和fbx支持模型的材质和纹理贴图的嵌入，可以更好地呈现医疗模型的外观和表面特性。

31、3、通过在xr显示头盔中设置cpu，并在该cpu和本地计算机上分别安装xr远程沟通软件，用于支持多个用户之间的远程沟通交流，而且在本系统中的远程沟通不仅仅局限于本地计算机与计算机之间，还可以在xr设备之间以及本地计算机与xr设备之间进行，多种沟通路径可供用户选择。

32、4、通过设置能够矫正用户视力的镜片，并设置了不同度数的多种镜片，以适用于不同视力情况的用户，进而能够帮助用户观察到清晰准确的虚拟现实影像，使该用户能够与其他用户正常交流。