面向肝脏手术的腹腔镜超声扫查系统及力控方法

本发明涉及医疗机器人，具体涉及一种面向肝脏手术的腹腔镜超声扫查系统及力控方法。

背景技术：

1、相较于传统开腹手术，腹腔镜手术具有伤口小、术后疼痛轻、术后康复快、相关并发症轻、视野清楚、出血较少、安全性高等微创手术优势，近年来得到迅速发展，广泛应用于各类外科手术中。然而相较于其他腹腔镜手术，腹腔镜肝脏手术发展较为缓慢，主要包括出血控制困难、手术入路个体化和学习曲线较长等复杂原因。目前，腹腔镜肝脏手术通常由经验丰富的外科手术医生手动操作，但长时间手术会出现体力不支、精神疲惫、手指颤抖等问题，为肝脏手术的正常开展带来了困难。另外，由于肝脏供血丰富，手术过程中的操作失误容易出现大出血问题，出血控制和止血较为不便。

2、由于上述问题，近年来机器人辅助技术得到快速发展和推广，以帮助外科手术医生进行腹腔镜肝脏手术，如腹腔镜超声技术。腹腔镜超声技术是超声检查和腹腔镜外科相结合的术中超声技术，常用于协助疾病与病变的诊断。但现有的腹腔镜超声辅助设备多为刚性结构，探头操作臂长、接触面小，探头的移动范围受到设备结构和手术视野的限制。同时，由于其刚性结构及刚性运动，容易对人体内部柔软的组织器官造成伤害。相较于传统刚性机器人，连续体机器人具有较好的灵活性、柔顺性和安全性，适合狭小曲折的工作环境。

3、连续体机器人是一类能够产生连续变形，具有无限自由度的机器人。线驱动连续体机器人具有较好的负载能力和可控性，仍是目前主流的驱动方案。相比于刚性机器人固定的自由度和运动的可预测性，连续体机器人通常采用长径比大的细长结构，其系统刚度较低，在受到外部驱动时易产生较大变形。当前的腹腔镜超声技术，对末端探头的扫查力具有较高的要求。因此，实现准确的力控制是连续体机器人应用于腹腔镜超声手术的重要研究课题之一。然而，通常的力控制交互接口仅限于刚性机器人，连续体机器人由于其发展较晚、容易变形及模型复杂等特点，其末端受力的精确控制仍需进一步研究。

4、综上所述，面向腹腔镜肝脏手术，利用连续体机器人的灵活柔性运动，实现末端探头的力感知与力控制，进一步拓展腹腔镜超声技术的功能，提高腹腔镜超声技术的扫查范围和扫查安全性是有必要的。

技术实现思路

1、为克服现有技术的不足，本发明的目的是提供一种面向肝脏手术的腹腔镜超声扫查系统及力控方法，基于深度学习的方法，利用肌腱处的拉力传感器和蛇骨末端的压力传感器，构建并训练神经网络模型，预先形成“末端力感知器”，实现末端探头的接触力感知功能，利用连续体机器人的力控制辅助腹腔镜超声技术，优化腹腔镜肝脏手术中肝脏病变的诊断效果。

2、本发明不需要对连续体机器人进行精确物理建模，基于数据驱动的连续体机器人末端接触力感知能够提高连续体机器人末端接触力的控制精度，进行稳定控制，具有实现过程简单、方法通用性强等特点，可在腹腔镜辅助超声扫查的病理分析诊断方面发挥巨大作用。

3、为实现上述目的，本发明采用的技术方案如下：

4、一、一种面向肝脏手术的腹腔镜超声扫查系统：

5、包括机械臂机构、导管偏转机构和柔性导管；导管偏转机构根部安装在机械臂机构末端，导管偏转机构末端安装有柔性导管，柔性导管末端安装有用于超声扫查的探头，导管偏转机构控制柔性导管的变形运动进而用于伸入到腹腔镜中进行适应运动实现超声扫查。

6、所述机械臂机构用于粗略快速调节所述柔性导管的位姿，所述导管偏转机构用于精细调节所述柔性导管的偏转运动。

7、所述导管偏转机构包括直线电机、肌腱、拉力传感器和驱动外壳，驱动外壳固定于机械臂机构末端，驱动外壳内装有直线电机，直线电机输出端经拉力传感器和肌腱的一端连接，肌腱的另一端穿过驱动外壳上的肌腱线孔后连接到导管偏转机构处；

8、所述柔性导管包括长钢管、蛇骨和医用腹腔镜探头，长钢管一端固定于导管偏转机构的驱动外壳上，蛇骨一端安装于长钢管另一端上，蛇骨另一端固定安装有医用腹腔镜探头，且医用腹腔镜探头朝向和蛇骨另一端的轴向平行对齐布置。

9、所述蛇骨为主要由多个关节依次串联铰接的材料，肌腱依次穿过各个关节后末端固定在蛇骨末端，即最后一个关节处，肌腱的数量和导管偏转机构中的直线电机数量相同，蛇骨的每处关节均经各个肌腱和各个直线电机输出端连接，由直线电机带动蛇骨的各处关节的运动进而控制蛇骨的整体运动。

10、蛇骨的关节数量只会改变蛇骨运动的灵活性，与肌腱、电机的数量无关。

11、蛇骨的自由度与肌腱的数量有关，一段蛇骨（自由度2）的肌腱数量为3/4，本专利是选取4个肌腱。n段蛇骨的自由度为2n，肌腱数量为3n/4n。

12、所述肌腱的数量为四个，以两个为一组构成了两对，每对肌腱的两个肌腱以蛇骨的中心轴对称在两侧布置，共同对蛇骨向一个方向施加力，构成蛇骨在方向上的运动。

13、还包括计算机，计算机分别和机械臂机构、导管偏转机构的直线电机和拉力传感器电连接，拉力传感器检测受力进而输入到计算机中，计算机处理反馈控制机械臂机构和直线电机的运动，进而控制柔性导管的蛇骨在腹腔镜中的位姿和形态，以及控制医用腹腔镜探头在腹腔镜中的超声扫查。

14、二、一种面向肝脏手术的腹腔镜超声扫查系统力控方法：

15、方法还设置了压力传感器，所述压力传感器用于和柔性导管末端的医用腹腔镜探头接触而感知医用腹腔镜探头所施加的压力；

16、方法包括以下步骤：

17、1）系统测试准备，确保机械臂机构、导管偏转机构和柔性导管工作正常；

18、2）获取力感知数据集：

19、通过改变医用腹腔镜探头相对于长钢管的位姿状态、肌腱处的拉力大小，依次获取医用腹腔镜探头相对于长钢管的不同位姿状态、不同肌腱处的不同拉力值以及对应的医用腹腔镜探头处的压力值，进而构建获得完备的力感知数据集；

20、3）深度学习模型的构建与训练：构建柔性导管蛇骨正逆运动学的神经网络模型，利用步骤2）中的力感知数据集输入所述神经网络模型通过调整神经网络模型通进行训练；

21、4）基于学习模型的接触力控制：

22、利用步骤3)中获得的神经网络模型实现“力感知”功能与“力估计”功能，具体是利用步骤3)中获得的神经网络模型对待测场景下的医用腹腔镜探头相对于长钢管的位姿状态、肌腱处的拉力值进行控制，同时构建pid控制器维持直线电机的位移，使得各个直线电机处的肌腱拉力的实际值与期望值相同，实现医用腹腔镜探头处的所需压力值。

23、所述步骤2）具体为：

24、2.1）实验设置与数据传输：控制机械臂和蛇骨运动，读取每个肌腱处的拉力传感器的示数和医用腹腔镜探头处的压力传感器示数；

25、所述步骤2.1)中，计算机通过网口通讯控制机械臂机构，带动机械臂运动。同时其通过串口通讯控制导管偏转机构的直线电机，带动肌腱运动。当直线电机朝靠近蛇骨的方向运动时，该方向上的肌腱松弛；当直线电机朝远离蛇骨的方向运动时，该方向上的肌腱拉紧。不同肌腱的松弛、拉紧运动构成了蛇骨的弯曲运动。

26、肌腱一端连接的拉力传感器将以固定频率读取此肌腱状态的拉力大小。在不同的医用腹腔镜探头相对于长钢管的位姿状态下，驱动蛇骨压紧压力传感器，压力传感器同样也会以固定频率读取此蛇骨状态的压力大小。拉力传感器与压力传感器通过串口通讯与计算机进行数据交互。

27、2.2）实验数据采集：依次改变医用腹腔镜探头相对于长钢管的位姿状态、直线电机的输出轴驱动量，记录医用腹腔镜探头相对于长钢管的位姿状态、直线电机的肌腱拉力大小与医用腹腔镜探头处的压力传感器大小之间的关系，进而构建获得完备的力感知数据集。

28、其中医用腹腔镜探头相对于长钢管的位姿状态即为柔性导管的蛇骨末端相对于长钢管的位姿状态。医用腹腔镜探头相对于长钢管的角度为二维角度，忽略圆周周向上的角度变化，即以医用腹腔镜探头的朝向向量和长钢管的中心轴向量位于同一平面内，医用腹腔镜探头的朝向向量和长钢管的中心轴向量之间的夹角为所述角度。

29、所述的步骤2.2）的具体过程为：

30、2.2.1）控制并调节导管偏转机构的各个直线电机，使得蛇骨延长为直线且与长钢管相平行，即医用腹腔镜探头相对于长钢管的弯曲角度theta[0]=0，且此时各肌腱对应的拉力传感器示数处于临界为零状态；

31、2.2.2）控制各个肌腱对应的直线电机进而调整蛇骨末端的位姿，进而调整医用腹腔镜探头相对于长钢管的角度theta[i]到等于按照如下公式所设置的当前弯曲次的角度：

32、theta[i]=phin/n + theta[i-1], i≤n, 其中theta[0]=0

33、其中，i表示弯曲次数序数，n表示总弯曲次数；theta[i]表示当前第i次弯曲下医用腹腔镜探头相对于长钢管的角度，phin表示医用腹腔镜探头相对于长钢管的最大角度；theta[i-1]表示上一次的弯曲角度，即第i-1次弯曲下医用腹腔镜探头相对于长钢管的角度；

34、2.2.3）控制机械臂机构，使得柔性导管的医用腹腔镜探头刚接触并相切于压力传感器，且此时压力传感器处于刚有示数却为零的状态；

35、2.2.4）保持当前医用腹腔镜探头相对于长钢管的角度theta[i]不变，控制并调节导管偏转机构的直线电机输出端以步进量delt步进运动，使柔性导管的蛇骨末端朝向压力传感器弯曲，医用腹腔镜探头向压力传感器施压，逐渐放松在步骤2.2.2)中拉紧的肌腱，以时间频率f采集拉力传感器的拉力f[ijk]和压力传感器的压力f[tip[ij]]分别作为肌腱处的拉力值和医用腹腔镜探头处压力值，其中j≤m，并记录医用腹腔镜探头相对于长钢管的角度作为位姿状态；

36、2.2.5）不断重复步骤2.2.4)直到各个肌腱对应的拉力传感器示数处于为零状态；

37、2.2.6）控制机械臂机构，使得柔性导管的医用腹腔镜探头远离压力传感器，然后回到步骤2.2.2）进行下一次弯曲，以此不断重复步骤2.2.2）-步骤2.2.5）直到弯曲次数i达到总弯曲次数n；

38、2.2.7）最终将上述步骤处理获得的不同医用腹腔镜探头相对于长钢管的位姿状态、不同肌腱处的拉力值和对应的医用腹腔镜探头处压力值构建完备的力感知数据集。

39、所述的步骤3)中，

40、一方面，以医用腹腔镜探头相对于长钢管的位姿状态、不同肌腱处的拉力值为输入，以与之对应的医用腹腔镜探头处的压力值为输出，构建柔性导管蛇骨正运动学的神经网络模型，实现蛇骨末端的“力感知”功能；

41、另一方面，以不同肌腱处拉力值为输出，以医用腹腔镜探头相对于长钢管的位姿状态、与之对应的医用腹腔镜探头处的压力值为输入，构建柔性导管蛇骨逆运动学的神经网络模型，实现蛇骨末端的“力估计”功能。

42、实验中发现运动过程中肌腱和导管间的非线性摩擦，不同肌腱处的拉力值f和与之对应的医用腹腔镜探头处的压力值f[tip]具有明显的迟滞回线特性，当前的压力值f[tip]不仅与当前的拉力值f和位姿状态有关，还与前几步的运动信息有关。因此在所述的步骤3)中，对于蛇骨末端的“力感知”与“力估计”功能，均采用lstm神经网络模型实现，所述的lstm神经网络模型包含依次连接的两个lstm循环层，第二个lstm循环层的输入为第一个lstm循环层的输出并输出计算结果，每个lstm循环层的隐藏层有m个神经元，全连接层为m×n，将特征维度降为n，输出n维结果。这样能很好地解决上述问题。

43、所述步骤4)中，使用增量式pid控制器，能够减小累计误差的影响，其误差仅依赖最近的三个样本。调整增量式pid控制器的系数，可首先将kp和kd置为零，kp和kd分别表示比例系数和微分系数；调整积分系数ki以提高系统的响应速度，在系统响应速度较快时，会出现超调与振荡现象。提高微分系数kd以减小系统的振荡现象，增加比例系数kp以减小系统的超调量。

44、本发明的创新在于集成设计了柔性腹腔镜超声扫查系统，并利用基于数据驱动的接触力感知方法应用于其末端接触力控制环节，进而对系统的末端接触力进行稳定控制，实现过程简单、方法通用性强，实现了柔性腹腔镜超声扫查的扫查范围广、扫查安全性高、扫查力控制稳定等效果，可在肝脏手术的辅助超声扫查的病理诊断方面发挥巨大作用。

45、与现有技术相比，本发明的有益效果是：

46、1) 本发明提供的腹腔镜超声扫查系统弥补了现有腹腔镜超声辅助设备多为刚性结构所导致的探头的移动范围受限、易对人体组织器官造成伤害等问题，该腹腔镜超声扫查系统具有较好的柔顺性和安全性，能实现医用腹腔镜探头的力感知和力控制功能，进一步扩展腹腔镜超声辅助设备的自主超声力控扫查，降低腹腔镜肝脏手术的困难程度和学习曲线。

47、2) 本发明提供的腹腔镜超声扫查系统力控方法，将柔性导管末段接触力的反馈控制分解为基于深度学习的末端接触力感知估计和基于学习模型的末端接触力控制两部分。基于数据驱动的柔性导管末段接触力感知能够提高末端接触力的控制精度，能对肌腱在导管中的摩擦迟滞和肌腱变形等现象造成的误差进行综合考虑，建模过程简单，方法通用性强。

48、3) 本发明提供的腹腔镜超声扫查系统力控方法，弥补了现有技术中连续体机器人接触力建模复杂、求解困难等问题，提高了连续体机器人末端接触力的控制精度和求解效率。