一种基于XR技术的远程手术教学系统及其教学方法与流程

一种基于xr技术的远程手术教学系统及其教学方法
技术领域
1.本发明涉及医疗技术领域，尤其是涉及一种基于xr技术的远程手术教学系统及其教学方法。


背景技术：

2.远程医疗教学可以帮助医学专家进行远程教学指导，通过使用远程通讯方式进行交互，手术现场经验不足的外科医生可以与远程现场的手术专家分享彼此的观点，从而克服距离的障碍实现交互式知识传递和有指导的教学干预，以使经验丰富的外科医生能够以交互方式教授复杂的外科手术程序，且远程交互方式将由2d交互向更具效率的3d交互转变，3d视觉交互系统则取决于虚拟现实(vr)、增强现实(ar)和混合现实(mr)的发展，这些技术统称为“扩展现实”(xr)。
3.目前，传统远程医疗教学方式基于远程会议系统，根据现场摄像头拍摄的手术场景画面进行标注指导手术，远程会议系统将指导标注传输给手术室的监视器，并配合语音进行术中指导，且视角需进行反复切换，同时针对手术场景画面的标注指导，观察效果不理想，很难确定标注的实际大小和位置，易造成误判从而导致手术出现异常，进一步的，在实际远程教学中，难以针对三维场景中的人体姿态进行识别判断，导致在手术教学过程中难以达到预期效果，易因操作不规范影响手术正常进行，因此基于xr技术的远程手术教学方法是十分有必要的。


技术实现要素：

4.本发明的目的解决上述现有技术存在的问题。
5.为实现上述目的，本发明提供了一种基于xr技术的远程手术教学系统，包括数据采集端、交互式教学单元、虚拟现实三维动态场景构建单元、场景姿态识别单元、端口接入模块和验证模块，
6.所述数据采集端用于将手术室的音视频信号压缩编码后通过网络传输至所述交互式教学单元，所述交互式教学单元与端口接入模块相连接，所述交互式教学单元与所述虚拟现实三维动态场景构建单元双向通讯，所述虚拟现实三维动态场景构建单元与所述场景姿态识别单元双向通讯；
7.所述数据采集端、所述交互式教学单元以及所述端口接入模块均与所述验证模块相连接，用于身份验证，并且进行地址解析，对整个教学工作状态进行实时监控，同时用于实现视频转发和协议翻译。
8.优选的，所述交互式教学单元包括教学端、语音麦克和显示模块，所述语音麦克和显示模块均与所述教学端相连接；所述端口接入模块用于将交互式教学单元的端口节点外接，用于多个异地专家以网络会议的形式进行虚拟会诊，同时所有视频、语音、数据均通过端口接入模块实现远程传送至教学端。
9.优选的，所述数据采集端包括高清球机、高清术野机以及高清监听器，所述高清球
机、所述高清术野机以及所述高清监听器均与所述教学端相连接。
10.优选的，所述虚拟现实三维动态场景构建单元包括依次连接的虚拟现实设计模块、三维构建模块和去噪处理模块，所述虚拟现实设计模块与所述教学端相通讯。
11.优选的，所述场景姿态识别单元包括依次连接的数据集构建模块、人体部位检测模块以及部位关节点提取识别模块，所述数据集构建模块用于获取所述虚拟现实三维动态场景构建单元的图像信息，人体部位检测模块用于检测人体部位并进行相应的类别标签，所述位关节点提取识别模块用于提取人体部位的关节点并进行人体姿态识别。
12.一种基于xr技术的远程手术教学系统的教学方法，具体步骤如下：
13.步骤s1：数据采集端通过高清球机和高清术野机对手术室进行全景图像采集，所述高清监听器将主刀医生的语音及整个手术室的语音实时传送至交互式教学单元；
14.步骤s2：所述交互式教学单元中的教学端对采集到的音视频模拟信号进行编码处理，并且通过端口接入模块从网络接收的数字音视频数据进行解码处理，还原为模拟视频信号进行输出，同时配合语音麦克进行手术室现场语音环境的再现和与教学端之间的语音交互，通过显示模块将还原为模拟视频信号输出至教学端的显示设备；
15.步骤s3：虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据；
16.步骤s4：三维构建模块将得到光度立体视觉虚拟现实设计数据进行三维构建，形成三维动态场景；
17.步骤s5：去噪处理模块将步骤s4中的三维动态场景进行去噪，完成最终的三维虚拟现实动态场景的重建；
18.步骤s6：通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，通过数据集构建模块获取的数据信息，通过人体部位检测模块检测人体相应部位，并进行类别标签，通过部位关节点提取识别模块提取人体部位的关节点，并且进行人体姿态的识别；
19.步骤s7：将步骤s5中的三维虚拟现实动态场景和步骤s6中的人体姿态识别结果传输至教学端，并通过显示模块进行显示，由教学端负责人员进行标注指导，并且回传至手术现场的显示设备中。
20.优选的，三维虚拟现实动态场景的重建具体步骤如下：
21.首先，获取光度立体视觉虚拟现实设计数据：
22.通过引入光度立体视觉法进行虚拟现实设计，基础亮度方程为：
[0023][0024]
式中，di为基础亮度总值，α为反射常数，(1-θi)表示由物体表面反射光源强度系数；gj为物体动能法向量，gi为光源折射向量；ψi′
为图像像素，ψ
′
j为图像折射像素，(d
j-di)表示二维参量变换值，反应采集数据的值能够在分析数据的过程中保证数据的完整程度，j∈n(i)表示数据采集点的值域；
[0025]
光度立体视觉法利用多个不共轭来源的光源来获得同一物体的多幅图像，将不同图像的共轭方程联立，求解出物体动能法向量gj以及光源折射向量gi，最终能够实现物体三维立体形状的恢复，则采用多个光源进行三维重建，用矩阵表示为：
[0026][0027]
式中，gh矩阵表示采集到的数据存储计算模式，表示光源的可转化化简条件的数量；
[0028]
经过转化后的数据需要进行相应辨别处理，过程如下：
[0029][0030]
式中，exp(-iβ)表示数据转化后的高阶属性畸变向量，通过高阶属性畸变向量能够反应出转化过程的有效程度，x0表示数据在转化过程中能够有效保留的变量参数，x1,x2,x3,x4表示转化成功率；
[0031]
其次，三维构建模块进行三维构建：
[0032]
首先将光度立体视觉虚拟现实设计数据中rgb图像和深度图像进行提取，将rgb图像经过坐标变换，使得与深度图像坐标对齐，得出空间点的x，y坐标位置，最后将三维坐标点云数据(x,y,z,r,g,b)通过lod层次模型显示：
[0033][0034][0035]
式中，(x-x1)为模型一维坐标的差级质数，(y-y0)为模型二维坐标的数据校验能级变量，(z-z1)为模型三维坐标的差级质数，a
1-a3、b
1-b3以及c
1-c3分别表示为图像在x、y以及z轴坐标的有效值，
[0036]
首次显示过后将会把采集数据进行区域分配，并且进行光度立体yyue校验，过程如下：
[0037][0038]
式中，a0,a1,a2分别为光度立体yyue校验过程的点三维坐标有效值，s为最佳光度
立体yyue校验参数值，l表示为最佳光度立体yyue的单位光源向量；
[0039]
最后，去噪处理过程如下：
[0040]
所述去噪处理模块的去噪条件分为以下两种情况，如下所示：
[0041][0042]
式中，v(a)为正常去噪过程未出现数据丢失遗留的情况；v(b)为发生数据突变值，w表示数据整体完成度，经去噪过程数据能够简易的进行数据运算和储存，过程如下：
[0043][0044]
式中，为数据进行运算和储存过程的有效完成度，vj为数据运算和储存速率参数，为存储过程的叠加极限储量；表示为为存储过程的有效储量，k表示为有效值，mi(t)表示为数据处理最终准确值。
[0045]
优选的，步骤s6具体如下：
[0046]
通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，所述像素的深度差分特征如下表示：
[0047]fu,v
(q)＝d(q+qu)-d(q+qv)(8)
[0048]
式中，u,v为像素q的偏移向量，d(q)为像素q的深度，qu和qv分别表示像素q偏移后的图像位置，qu和qv计算公式如下：
[0049][0050]
通过在数据集构建模块中获取像图像的像素信息，并且基于随机森林的人体部位检测，并进行类别标签；
[0051]
通过部位关节点提取识别模块提取人体部位的关节点，对提取的关节点进行密度函数计算，将每个关节点部位的密度值进行排列组合，形成各个部位关节点的深度图像，识别出人体姿态图像。
[0052]
因此，本发明具有以下有益效果：
[0053]
1、通过虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据，三维构建模块将得到光度立体视觉虚拟现实设计数据进行三维构建，使动态场景的动态呈现，再由去噪处理模块将三维动态场景进行去噪，达到高准确率的处理，保证成像的完整度，完成最终的三维虚拟现实场景的重建，将动态的三维虚拟现实场景传递至显示模块，由
教学端负责人员进行标注指导，并且回传至手术现场，相较于传统方式而言，本发明应用了虚拟现实技术中的单目视觉法进行数据采集处理，保证了在数据采集过程中的数据阻断性，后经过去噪处理，保证成像的完整度。
[0054]
2、通过数据集构建模块获取的数据信息，检测人身体不同的部位，并且根据不同的部位进行类别标签，在人体部位检测模块中提取人体部位的关节点，并且进行人体姿态的识别，有效针对三维场景中的人体姿态进行判断，提高教学过程中学习效果，防止因操作不规范而无法及时调整影响手术的正常进行，采用xr技术准确的确定标注的实际大小和位置，不易造成误判从而导致手术出现异常，从而提高远程教学效果。
[0055]
3、通过数据采集端将手术室的音视频信号压缩编码后，通过网络传输至教学端，由交互式教学单元对传输的数据进行分析，同时配合端口接入模块将交互式教学单元的端口节点外接，使异地不同专家以网络会议的形式进行虚拟会诊，同时所有视频、语音、数据均通过端口接入模块实现远程传送，实现实时动态协同，提高手术诊断准确性。
[0056]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0057]
图1为本发明一种基于xr技术的远程手术教学系统结构示意图；
[0058]
图2为本发明教学方法流程图；
[0059]
图3为本发明虚拟现实三维动态场景构建单元的原理示意图。
具体实施方式
[0060]
实施例
[0061]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0062]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0064]
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0065]
下面结合附图，对本发明的实施方式作详细说明。
[0066]
参考图1，一种基于xr技术的远程手术教学系统包括数据采集端、交互式教学单元、虚拟现实三维动态场景构建单元、场景姿态识别单元、端口接入模块和验证模块。
[0067]
所述交互式教学单元包括教学端、语音麦克和显示模块，教学端具有双向音视频编码功能，对现场采集的音视频模拟信号进行编码处理，并且从网络接收的数字音视频数据进行解码处理，还原为模拟视频信号进行输出。语音麦克用于手术室现场语音环境的再现和与教学端之间的语音交互。显示模块用于将还原为模拟视频信号输出至教学端的显示设备。所述语音麦克和显示模块均与所述教学端相连接；所述端口接入模块用于将交互式教学单元的端口节点外接，用于多个异地专家以网络会议的形式进行虚拟会诊，同时所有视频、语音、数据均通过端口接入模块实现远程传送至教学端，实现实时动态协同。
[0068]
所述数据采集端用于将手术室的音视频信号压缩编码后通过网络传输至所述交互式教学单元。所述数据采集端包括高清球机、高清术野机以及高清监听器，所述高清球机、所述高清术野机以及所述高清监听器均与所述教学端相连接。
[0069]
所述交互式教学单元与端口接入模块相连接，所述交互式教学单元与所述虚拟现实三维动态场景构建单元双向通讯，所述虚拟现实三维动态场景构建单元包括依次连接的虚拟现实设计模块、三维构建模块和去噪处理模块，所述虚拟现实设计模块与所述教学端相通讯。所述虚拟现实三维动态场景构建单元与所述场景姿态识别单元双向通讯。所述场景姿态识别单元包括依次连接的数据集构建模块、人体部位检测模块以及部位关节点提取识别模块，所述数据集构建模块用于获取所述虚拟现实三维动态场景构建单元的图像信息，人体部位检测模块用于检测人体部位并进行相应的类别标签，所述位关节点提取识别模块用于提取人体部位的关节点并进行人体姿态识别。
[0070]
所述数据采集端、所述交互式教学单元以及所述端口接入模块均与所述验证模块相连接，用于身份验证，并且进行地址解析，对整个教学工作状态进行实时监控，同时用于实现视频转发和协议翻译，提高响应访问效率。
[0071]
参考图2，一种基于xr技术的远程手术教学系统的教学方法，具体步骤如下：
[0072]
步骤s1：数据采集端通过高清球机和高清术野机对手术室进行全景图像采集，所述高清监听器将主刀医生的语音及整个手术室的语音实时传送至交互式教学单元。
[0073]
步骤s2：所述交互式教学单元中的教学端对采集到的音视频模拟信号进行编码处理，并且通过端口接入模块从网络接收的数字音视频数据进行解码处理，还原为模拟视频信号进行输出，同时配合语音麦克进行手术室现场语音环境的再现和与教学端之间的语音交互，通过显示模块将还原为模拟视频信号输出至教学端的显示设备。
[0074]
步骤s3：虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据。
[0075]
步骤s4：三维构建模块将得到光度立体视觉虚拟现实设计数据进行三维构建，形成三维动态场景。
[0076]
步骤s5：去噪处理模块将步骤s4中的三维动态场景进行去噪，完成最终的三维虚拟现实动态场景的重建。
[0077]
三维虚拟现实动态场景的重建具体步骤如下：
[0078]
首先，获取光度立体视觉虚拟现实设计数据：
[0079]
通过引入光度立体视觉法进行虚拟现实设计，基础亮度方程为：
[0080][0081]
式中，di为基础亮度总值，α为反射常数，(1-θi)表示由物体表面反射光源强度系数；gj为物体动能法向量，gi为光源折射向量；ψi′
为图像像素，ψ
′
j为图像折射像素，(d
j-di)表示二维参量变换值，反应采集数据的值能够在分析数据的过程中保证数据的完整程度，j∈n(i)表示数据采集点的值域。
[0082]
光度立体视觉法利用多个不共轭来源的光源来获得同一物体的多幅图像，将不同图像的共轭方程联立，求解出物体动能法向量gj以及光源折射向量gi，最终能够实现物体三维立体形状的恢复，则采用多个光源(4-6个)进行三维重建，用矩阵表示为：
[0083][0084]
式中，gh矩阵表示采集到的数据存储计算模式，表示光源的可转化化简条件的数量。
[0085]
经过转化后的数据需要进行相应辨别处理，过程如下：
[0086][0087]
式中，exp(-iβ)表示数据转化后的高阶属性畸变向量，通过高阶属性畸变向量能够反应出转化过程的有效程度，x0表示数据在转化过程中能够有效保留的变量参数，x1,x2,x3,x4表示转化成功率。
[0088]
经上述过程得到光度立体视觉虚拟现实设计数据。
[0089]
其次，三维构建模块进行三维构建：
[0090]
首先将光度立体视觉虚拟现实设计数据中rgb图像和深度图像进行提取，将rgb图像经过坐标变换，使得与深度图像坐标对齐，得出空间点的x，y坐标位置，最后将三维坐标点云数据(x,y,z,r,g,b)通过lod层次模型显示：
[0091]
[0092][0093]
式中，(x-x1)为模型一维坐标的差级质数，(y-y0)为模型二维坐标的数据校验能级变量，(z-z1)为模型三维坐标的差级质数，a
1-a3、b
1-b3以及c
1-c3分别表示为图像在x、y以及z轴坐标的有效值。
[0094]
首次显示过后将会把采集数据进行一定的区域分配，并且进行光度立体yyue校验，过程如下：
[0095][0096]
式中，a0,a1,a2分别为光度立体yyue校验过程的点三维坐标有效值，s为最佳光度立体yyue校验参数值，l表示为最佳光度立体yyue的单位光源向量。能直观地得到能够绘制出图像的点坐标ml(x,y)，f(x,y)，极大地改善了视觉阻扰发生，保证动态场景的动态呈现。
[0097]
最后，去噪处理过程如下：
[0098]
所述去噪处理模块的去噪条件分为以下两种情况，如下所示：
[0099][0100]
式中，v(a)为正常去噪过程未出现数据丢失遗留的情况；v(b)为发生数据突变值，w表示数据整体完成度，经去噪过程数据能够简易的进行数据运算和储存，过程如下：
[0101][0102]
式中，为数据进行运算和储存过程的有效完成度，vj为数据运算和储存速率参数，为存储过程的叠加极限储量；表示为为存储过程的有效储量，k表示为有效值，mi(t)表示为数据处理最终准确值。经上述过程完成去噪处理，同时完成最终的三维虚拟现实场景的重建。
[0103]
步骤s6：通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，通过数据集构建模块获取的数据信息，通过人体部位检测模块检测人体相应部位，并进行类别标签，通过部位关节点提取识别模块提取人体部位的关节点，并且进行人体姿态的识别。
[0104]
步骤s6具体如下：
[0105]
通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，所述像素的深度差分特征如下表示：
[0106]fu,v
(q)＝d(q+qu)-d(q+qv)(8)
[0107]
式中，u,v为像素q的偏移向量，d(q)为像素q的深度，qu和qv分别表示像素q偏移后的图像位置，qu和qv计算公式如下：
[0108][0109]
通过在数据集构建模块中获取像图像的像素信息，并且基于随机森林的人体部位检测，并且根据不同的部位进行类别标签。
[0110]
对随机森林中各棵决策树的训练，采用基于信息增益标准的决策树增长过程，计算步骤如下：
[0111]
输入：样本集合q＝{x,c}，参数集合{(u,v,thres)}，其中x＝{x1,x2,x3,...,xi,...xn}为训练像素的集合，c＝{x1,x2,x3,...,xi,...xn}表示像素所属类别的集合(即人体被细分的31个部位)，u，v分别表示像素的偏移向量，thres表示非叶子结点中的阈值。
[0112]
(1)初始化：决策树增长的停止条件包括树的最大深度和结点中最小样本数。
[0113]
(2)树开始增长：
[0114]
1)判断当前结点是否满足树的停止增长条件，若满足执行步骤2)，否则执行步骤3)。
[0115]
2)生成叶子结点l，计算其中样本集合的类别概率分布p
l
(c)。
[0116]
3)生成分裂结点，根据信息增益标准从参数集合中选取最优参数(u,v,thres)，按照式(10)将当前结点分裂左右子结点q
l
和qr。
[0117]
4)q
l
和qr分别从步骤1)开设执行。
[0118]
(3)输出：每个分裂结点中的参数(u,v,thres)，所有叶子结点中的概率分布p
l
(c)。
[0119]
算法中根据(u,v,thres)判断像素xi的路径时，采用如下公式：
[0120][0121]
随机森林{t1,t2,...,ti,tn}的预测结果是所有决策树共同投票的结果，假设像素xi根据决策树tj学习后的规则到达叶子结点l
tj
，则该像素属于各个类别的概率为随机森林中各棵树的平均：
[0122][0123]
其中用下式得到该像素的最终类别标签
[0124][0125]
通过部位关节点提取识别模块提取人体部位的关节点，部位关节点提取识别模块的具体实施方式如下：
[0126]
提取人体部位的关节点，且包括左/右头的上部、左/右头的下部、脖子、左/右手、左/右手腕、左/右下臂、左/右臂肘、左/右上臂、左/右肩、左/右上躯干、左/右下躯干、左/右下躯干、左/右大腿、左/右膝盖、左/右小腿、左/右脚踝、左/右脚。
[0127]
将占人体像素比例较小的部位划分到相邻的主要部位中((手腕合并到相邻的手部，脖子划分到相邻的躯干、脚踝划分到脚部)及相邻的一些部位合并为人体的主要部位(包括左右上臂下臂臂肘合并为左右臂、左右上躯干合并为人体躯干、左右下躯干合并为人体胯部、左右小腿及脚合并为脚)。
[0128]
经过合并后得到基于15个部位的人体标注图像，对于每个特定部位c，人体上每个像素都有一定的概率属于它(见式11)。
[0129]
对每个部位c采用如下密度函数计算，在样本空间中搜索密度函数的模态，即局部极大值点：
[0130][0131]
式中，xi为第i个像素在三维空间中的坐标，bc为核函数的宽度。
[0132]
将每个关节点部位的密度值进行排列组合，形成各个部位关节点的深度图像，识别出人体姿态图像。
[0133]
步骤s7：将步骤s5中的三维虚拟现实动态场景和步骤s6中的人体姿态识别结果传输至教学端，并通过显示模块进行显示，由教学端负责人员进行标注指导，并且回传至手术现场的显示设备中。
[0134]
因此，本发明通过虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据，应用了虚拟现实技术中的单目视觉法进行数据采集处理，保证了在数据采集过程中的数据阻断性，后经过去噪处理，保证成像的完整度，并且进行人体姿态的识别，有效针对三维场景中的人体姿态进行判断，提高教学过程中学习效果，防止因操作不规范而无法及时调整影响手术的正常进行，采用xr技术准确的确定标注的实际大小和位置，不易造成误判从而导致手术出现异常，从而提高远程教学效果。
[0135]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。