交互力信息处理方法、装置和电子设备

本公开涉及虚拟现实和医疗，尤其涉及一种交互力信息处理方法、装置和电子设备。

背景技术：

1、在医生使用手术机器人进行手术的过程中，由于使用的是主从手控制方式，因此，医生的主手端缺乏力感知，从而会导致诸多问题。例如，由于从手端的手术器械的拉伸力过大而导致的器官损伤，或者由于从手端的手术器械的拉伸力不足而导致的器械和器官组织松脱等。针对上述问题，可以通过在从手端部署的传感器等方法，来对器官的受力进行力估计。

2、基于此，发明人发现，在由于手术器械施力而导致器官受力变形的情况下，器官组织会遮挡手术器械，从而会导致所估计的力准确性低的问题。

技术实现思路

1、鉴于上述问题，本公开提供了一种交互力信息处理方法、装置和电子设备。

2、根据本公开的第一个方面，提供了一种交互力信息处理方法，包括：采集主手信号，其中，主手信号用于控制手术器械和手术器械模型，手术器械模型是在虚拟场景中的手术器械的孪生模型；在手术器械和器官碰撞的情况下，确定手术器械模型和与器官对应的器官模型之间的交互力信息，其中，器官模型是在虚拟场景中的器官的孪生模型；根据交互力信息，确定手术器械的遮挡状况信息，其中，遮挡状况信息表征了手术器械被器官的遮挡状况；在遮挡状况信息表征手术器械被器官遮挡的情况下，根据交互力信息，确定器官与手术器械之间的目标交互力。

3、根据本公开的实施例，确定与手术器械对应的手术器械模型和与器官对应的器官模型之间的交互力信息，包括：根据器官的弹性模量和器官模型的受力部位的位移信息，计算得到第一交互力信息，其中，器官模型的受力部位表征手术器械模型对器官模型施力的部位，受力部位的位移是在受到来自手术器械模型的力的情况下产生的；根据器官的阻尼系数和手术器械模型的移速信息，计算得到第二交互力信息；根据第一交互力信息和第二交互力信息，确定遮挡状况信息。

4、根据本公开的实施例，根据第一交互力信息和第二交互力信息，确定遮挡状况信息，包括：在第一交互力信息为满足预定条件，且第二交互力信息不满足预定条件的情况下，生成表征手术器械被器官遮挡的遮挡状况信息。

5、根据本公开的实施例，上述交互力信息处理方法，还包括：确定在器官模型未受力的情况下，器官模型在虚拟场景的初始坐标；在手术器械模型对器官模型施力，使器官模型发生形变的情况下，确定与器官模型的受力部位所产生的最大位移对应的最大位移坐标；根据器官模型的受力部位，从初始坐标中，确定第一目标初始坐标和第二目标初始坐标，其中，第一目标初始坐标表征受力部位的最大位移点的初始坐标，第二目标初始坐标表征器官模型的未受力的部位的初始坐标；确定与未受力部位对应的位移坐标；根据第一目标初始坐标、第二目标初始坐标、最大位移坐标和位移坐标，确定器官模型的受力部位的位移信息。

6、根据本公开的实施例，上述交互力信息处理方法，还包括：采集虚拟场景的连续的多个图像帧，其中，多个图像帧均包括手术器械模型；根据多个图像帧中的手术器械模型的位置，确定手术器械模型的位移信息；根据位移信息和多个图像帧之间的采集间隔时长，计算得到移速信息。

7、根据本公开的实施例，上述交互力信息处理方法，还包括：根据关于器官的内窥镜图像的信息、双目深度相机的基线距离信息和双目深度相机的焦距信息，确定位于器官的第一目标点的第一真实位置坐标，其中，内窥镜图像是通过双目深度相机采集的，第一真实位置坐标表征了第一目标点在真实场景中的位置；根据第一真实位置坐标和双目深度相机的第二真实位置坐标，确定第一目标点相对于双目深度相机的第一相对位置坐标，其中，第二真实位置坐标表征了双目深度相机在真实场景中的位置；根据虚拟相机采集到的关于器官模型的虚拟场景图像信息，确定位于器官模型的第二目标点的第一虚拟位置坐标，其中，第一虚拟位置坐标表征了第二目标点在虚拟场景中的位置，第一目标点在器官的位置和第二目标点在器官模型的位置相对应；根据第一虚拟位置坐标和虚拟相机的第二虚拟位置坐标，确定第二目标点相对于虚拟相机的第二相对位置坐标，其中，第二虚拟位置坐标表征了虚拟相机在虚拟场景中的位置，双目深度相机的位置坐标和虚拟相机的位置坐标预定为相同坐标；根据第一相对位置坐标和第二相对位置坐标，确定坐标差异信息；根据坐标差异信息，调整器官模型的坐标信息，得到与器官位置同步的器官模型。

8、根据本公开的实施例，根据关于器官的内窥镜图像的信息、双目深度相机的基线距离信息和双目深度相机的焦距信息，确定位于器官的第一目标点的第一真实位置坐标，包括：根据内窥镜图像的信息，确定位于器官的第一目标点在内窥镜图像的横向位置坐标和纵向位置坐标；根据横向位置坐标、基线距离信息和焦距信息，确定第一目标点相对于双目深度相机的深度信息；根据横向位置坐标、纵向位置坐标和深度信息，确定第一目标点的第一真实位置坐标。

9、根据本公开的实施例，上述交互力信息处理方法，还包括：根据器官模型和手术器械模型之间的模型距离和第一预定距离，对器官模型和手术器械模型进行第一碰撞检测，得到第一碰撞检测结果；在第一碰撞检测结果表征器官模型和手术器械模型碰撞的情况下，根据器官模型和手术器械模型之间的模型距离和第二预定距离，对器官模型和手术器械模型进行第二碰撞检测，得到第二碰撞检测结果，其中，第二预定距离小于第一预定距离；在第二碰撞检测结果表征器官模型和手术器械模型碰撞的情况下，确定手术器械和器官碰撞。

10、本公开的第二方面提供了一种交互力信息处理装置，包括：采集模块，用于采集主手信号，其中，主手信号用于控制手术器械和手术器械模型，手术器械模型是在虚拟场景中的手术器械的孪生模型；第一确定模块，用于在手术器械和器官碰撞的情况下，确定手术器械模型和与器官对应的器官模型之间的交互力信息，其中，器官模型是在虚拟场景中的器官的孪生模型；第二确定模块，用于根据交互力信息，确定手术器械的遮挡状况信息，其中，遮挡状况信息表征了手术器械被器官的遮挡状况；第三确定模块，用于在遮挡状况信息表征手术器械被器官遮挡的情况下，根据交互力信息，确定器官与手术器械之间的目标交互力。

11、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

12、根据本公开提供的交互力信息处理方法、装置和电子设备，通过采集主手信号来控制真实手术器械与虚拟手术器械一起运动，并在手术器械和器官碰撞的情况下，确定手术器械模型和器官模型之间的交互力信息。从而可以根据交互力信息确定手术器械是否被器官遮挡。由此，可以在手术器械被器官遮挡的情况下，通过交互力信息，来确定真实场景中手术器械对器官施加的力。基于此，即使手术器械被器官遮挡，也可以准确计算真实场景中手术器械对器官施加的力的值。

技术特征：

1.一种交互力信息处理方法，包括：

2.根据权利要求1所述的方法，其中，所述确定与所述手术器械对应的手术器械模型和与所述器官对应的器官模型之间的交互力信息，包括：

3.根据权利要求2所述的方法，其中，所述根据所述第一交互力信息和所述第二交互力信息，确定所述遮挡状况信息，包括：

4.根据权利要求2所述的方法，还包括：

5.根据权利要求2所述的方法，还包括：

6.根据权利要求1所述的方法，还包括：

7.根据权利要求6所述的方法，其中，所述根据关于所述器官的内窥镜图像的信息、双目深度相机的基线距离信息和所述双目深度相机的焦距信息，确定位于所述器官的第一目标点的第一真实位置坐标，包括：

8.根据权利要求1所述的方法，还包括：

9.一种交互力信息处理装置，包括：

10.一种电子设备，包括：

技术总结
本公开提供了一种交互力信息处理方法、装置和电子设备，可以应用于虚拟现实技术领域和医疗技术领域。该方法包括：采集主手信号，其中，主手信号用于控制手术器械和手术器械模型，手术器械模型是在虚拟场景中的手术器械的孪生模型；在手术器械和器官碰撞的情况下，确定手术器械模型和与器官对应的器官模型之间的交互力信息，其中，器官模型是在虚拟场景中的器官的孪生模型；根据交互力信息，确定手术器械的遮挡状况信息，其中，遮挡状况信息表征了手术器械被器官的遮挡状况；在遮挡状况信息表征手术器械被器官遮挡的情况下，根据交互力信息，确定器官与手术器械之间的目标交互力。

技术研发人员：邢元,张浩,王树新,关博,郑鸿志,史梓潭
受保护的技术使用者：天津大学医疗机器人与智能系统研究院
技术研发日：
技术公布日：2024/3/11