一种力觉控制方法和系统、导管系统的导航方法与流程

1.本技术属于医疗设备技术领域，尤其涉及一种力觉控制方法和系统、导管系统的导航方法。


背景技术：

2.现有导管机器人产品，一般都是基于内窥镜影像和位置形状的传感做纯视觉引导，即，对于操作者而言，通过在内窥镜影响中显示对应的操作图像，以进行操作引导。
3.然而，受视线和眼睛观看角度的影响，容易产生误判，将为操作过程带来风险。
4.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术目的在于提供一种力觉控制方法和系统、导管系统的导航方法，可以对基于导管机器人进行手术的过程进行安全控制，降低操作不当的概率。
6.本技术提供一种力觉控制方法和系统、导管系统的导航方法是这样实现的：
7.一种力觉控制方法，包括：
8.在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；
9.将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
10.按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；
11.将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
12.在一个实施方式中，上述方法还包括：在操作者通过主手端控制导管组件作用在目标组织上的过程中，获取所述导管组件与所述目标组织之间在第一时间的第一接触力和第二时间的第二接触力，以及第一时间与第二时间之间的位置偏差；
13.根据所述第一接触力、第二接触力和所述位置偏差，确定出所述目标组织的刚度数据；
14.获取所述操作者施加在所述主手端的力度值；
15.根据所述刚度数据和所述力度值，计算得到所述主手端的位移量；
16.将所述位移量作用在所述主手端上作为给所述操作者施加的刚度触觉。
17.在一个实施方式中，上述方法还包括：在操作者通过主手端控制导管组件作用在目标组织上的情况下，获取所述导管组件与所述目标组织之间的接触力；
18.将所述接触力转换为反馈力；
19.将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
20.在一个实施方式中，将所述接触力转换为反馈力包括：
21.将所述接触力转换为在所述主手端的各自由度关节处的力矩；
22.将在所述主手端的各自由度关节处的力矩作为所述反馈力，作用在所述主手端的
各自由度关节处。
23.在一个实施方式中，获取所述导管组件与所述目标组织之间的接触力，包括：
24.获取所述导管组件各测点处的实际应变；
25.根据各测点处的实际应变，重构出所述导管组件的实际空间形状；
26.将所述实际空间形状与所述导管组件在自由空间中的形状，进行比较，以确定所述目标组织施加在所述导管组件上的外部载荷力；
27.将所述外部载荷力作为所述接触力。
28.在一个实施方式中，获取所述导管组件各测点处的实际应变，包括：
29.在所述导管组件在延轴线方向设置有多个应力片，一个应力片作为一个测点的情况下，通过所述导管组件中的应力片，获取所述导管组件各测点处的实际应变；
30.或，
31.在所述导管组件在延轴线方向设置光纤的情况下，通过所述导管组件中的光纤，获取所述导管组件各测点处的实际应变。
32.在一个实施方式中，上述方法还包括：
33.在操作者通过主手端控制导管组件向所述目标组织推进的过程中，获取实时的推进截面位置点；
34.将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
35.按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；
36.将所述中心靠近力作用在所述主手端上作为给所述操作者施加的引导力。
37.在一个实施方式中，将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力，包括：
38.获取预设的力度阈值；
39.确定所述反馈力是否超出所述力度阈值；
40.在超出所述力度阈值的情况下，将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
41.一种导管系统的导航方法，包括：
42.获取当前导管组件的推进阶段和/或推进状态；
43.根据所述推进阶段和/或推进状态，确定当前需开启的一个或多个导航方式；
44.通过确定的当前需开启的一个或多个导航方式，对操作者进行操作指引；
45.其中，所述导航方式包括：视觉导航方式、力觉导航方式、力安全保护导航方式。
46.在一个实施方式中，所述推进状态包括以下至少之一：导管推进速度、导管末端接触力、导管姿态。
47.在一个实施方式中，通过力安全保护导航方式对操作者进行操作指引，包括：
48.在操作者通过主手端控制所述导管组件推进的过程中，获取实时的推进截面位置点；
49.将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
50.按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；
51.将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
52.在一个实施方式中，通过力觉导航方式对操作者进行操作指引，包括：
53.在操作者通过主手端控制导管组件作用在目标组织上的情况下，获取所述导管组件与所述目标组织之间的接触力；
54.将所述接触力转换为反馈力；
55.将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
56.一种力觉控制系统，包括：
57.主手端，用于操作者进行操作控制；
58.导管组件，用于在所述操作者通过主手端进行控制的情况下作用在目标组织上；
59.控制器，与所述主手端和所述导管组件相连，用于在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
60.在一个实施方式中，所述导管组件在延轴线方向设置有多个应力片。
61.在一个实施方式中，所述导管组件在延轴线方向设置有光纤。
62.在一个实施方式中，所述主手端和所述控制器设置在主端操作平台上，所述导管组件设置在患者手术平台的推进装置上。
63.在一个实施方式中，所述主端操作平台上还设置有显示器。
64.一种控制器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述方法的步骤。
65.一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
66.本技术提供的力觉控制方法和装置，在操作者通过主手端控制导管组件向目标组织推进的过程中，将实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比，以确定实时推进的便偏移程度，基于偏移程度生成中心靠近力，并形成反馈引导力作用在操作者手上，从而可以避免现有的因为不对推进过程进行力觉引导，而导致容易推进方向偏差对患者造成损伤的问题，达到了有效降低手术时危险发生概率的技术效果。
附图说明
67.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
68.图1是本技术提供的力觉控制方法一种实施例的方法流程图；
69.图2是本技术提供的一种具备触觉辅助控制的导管系统的架构示意图；
70.图3是本技术提供的柔性导管的结构示意图；
71.图4是本技术提供的导管系统的工作原理示意图；
72.图5是本技术提供的在导管中设置感知部件的结构示意图；
73.图6是本技术提供的操作者操作到产生环境力反馈的原理示意图；
74.图7是本技术提供的刚度检测的原理示意图；
75.图8是本技术提供的预定推进路线在气管中的示意图；
76.图9是本技术提供的虚拟夹具的力方向示意图；
77.图10是本技术提供的虚拟夹具生成反馈力的阶段示意图；
78.图11是本技术提供的反馈力的分段示意图；
79.图12是本技术提供的刚性虚拟夹具的力走向示意图；
80.图13是本技术提供的医生自主选择导航模式的系统层次；
81.图14是本技术提供的一种导管系统的导航方法的方法流程图；
82.图15是本技术提供的一种力觉控制方法的电子设备的硬件结构框图；
83.图16是本技术提供的力觉控制装置一种实施例的结构框图。
具体实施方式
84.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
85.考虑到现有的对于导管机器人而言，一般操作者(即，医生)在主端操作平台上通过控制主手端对导管进行控制，使得导管进入术者体内在目标组织进行操作。对于目标组织的情况和操作的过程，仅通过显示屏进行视觉导航，操作者无法感知真实的力度等，这将导致手术过程存在一定的危险。为此，在本例中提供了一种力觉控制方法，即，增加力觉反馈，使得导管作用在组织上的力，可以反馈到操作者端，使得操作者可以直观感受到导管与组织之间的力，从而可以提升手术过程的安全性。考虑到在导管推进的过程中，有时会出现推进路径偏差的问题，因此，可以使用虚拟夹具，来使得推进路径可以与预定的推进路径尽可能吻合，以减少支气管的变形程度，与视觉导航进行互补。
86.图1是本技术提供的力觉控制方法一种实施例的方法流程图。虽然本技术提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本技术实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
87.具体的，如图1所示，上述的力觉控制方法可以包括如下步骤：
88.步骤101：在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；
89.步骤102：将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
90.步骤103：按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心
点靠近的原则，生成中心靠近力；
91.步骤104：将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
92.即，在操作者通过主手端控制导管组件向目标组织推进的过程中，将实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比，以确定实时推进的便偏移程度，基于偏移程度生成中心靠近力，并形成反馈引导力作用在操作者手上，从而可以避免现有的因为不对推进过程进行力觉引导，而导致容易推进方向偏差对患者造成损伤的问题，达到了有效降低手术时危险发生概率的技术效果。
93.进一步的，在进行手术的时候，考虑到不仅可以进行引导力的反馈，还可以进行接触力的反馈，为此，在操作者通过主手端控制导管组件作用在目标组织上的情况下，可以获取所述导管组件与所述目标组织之间的接触力，然后，将接触力转换为反馈力，将反馈力作用在所述主手端上作为给所述操作者施加的交互力，即，基于主手端的操作者一个力觉反馈，这样使得操作者在进行手术操作的时候，可以感知到施加的力，从而可以解决现有的仅有视觉反馈所导致的无法感知真实的用力程度所存在的风险较高的问题，达到了有效降低手术时危险发生概率的技术效果。
94.具体的，可以在导管部件中设置感知部件，例如：应变片、形状位置光纤、或导管本身带有感知，可以在主手端设置力重构设备，例如：力觉手柄、冗余自由度主手等，通过感知部件可以反馈控制器术中的接触力，以重现组织触觉，帮助操作者进行诊断和决策判断，在手术的过程中，触觉设备在医生误操作时，可以提供振动提醒，配合听觉和视觉以进行更为有效的提醒。
95.其中，主手端的关节自由度可以大于6，即，采用冗余自由度的设计方式，且可以均为旋转关节设计，从而可以实现更灵活的拖动操作和更大的工作空间。为了实现力觉的反馈，可以在各自由度关节处设置电机，从而通过预先设置的控制算法可以计算出的期望的关节力矩τ_i(i＝1,
…
,6)，以最终实现主手端的的力觉反馈。
96.具体的，将接触力转换为反馈力可以包括：
97.s1：将所述接触力转换为在所述主手端的各自由度关节处的力矩；
98.s2：将在所述主手端的各自由度关节处的力矩作为所述反馈力，作用在所述主手端的各自由度关节处。
99.即，手术从端导管感知到引导力或者接触力之后，可以先传递给通讯单元，再传递给主手端，将该接触力转化为关节力矩，下发给各关节电机输出执行，最终被操作者的手部感受到。
100.在获取所述导管组件与所述目标组织之间的接触力的时候，可以是获取所述导管组件各测点处的实际应变；根据各测点处的实际应变，重构出所述导管组件的实际空间形状；将所述实际空间形状与所述导管组件在自由空间中的形状，进行比较，以确定所述目标组织施加在所述导管组件上的外部载荷力；将所述外部载荷力作为所述接触力。
101.根据导管组件中感知部件的不同，可以采用不同的方式获取导管组件各测点处的实际应变，例如，在导管组件在延轴线方向设置有多个应力片，一个应力片作为一个测点的情况下，通过所述导管组件中的应力片，获取所述导管组件各测点处的实际应变；在所述导管组件在延轴线方向设置光纤的情况下，通过导管组件中的光纤，获取导管组件各测点处
的实际应变。
102.考虑到组织刚度可以反映目标部位的病情情况，因此，可以增加对刚度的检测，具体的，可以假设导管组件接触的组织的刚度为k，导管组件与组织之间的接触力为f(t)，随着时间变化，给定两个时间点的接触状态，在这两种状态下，接触力大小分别为f(t1)和f(t2)，位置偏差为δx，相应的，该处组织的刚度可以按照如下公式计算得到：
103.k＝abs(f(t1)-f(t2))/δx
104.在计算得到刚度数值之后，可以在显示界面显示以给操作者提示，也可以通过在主手端增加力传感器，可以通过操作者施加在主手端的力和刚度值，确定主手端的位移，从而形成刚度触觉。
105.即，可以在操作者通过主手端控制导管组件作用在目标组织上的过程中，获取所述导管组件与所述目标组织之间在第一时间的第一接触力和第二时间的第二接触力，以及第一时间与第二时间之间的位置偏差；根据所述第一接触力、第二接触力和所述位置偏差，确定出所述目标组织的刚度数据；获取所述操作者施加在所述主手端的力度值；根据所述刚度数据和所述力度值，计算得到所述主手端的位移量；将所述位移量作用在所述主手端上作为给所述操作者施加的刚度触觉。
106.即，通过力反馈与重构功能的引入提供了导管机器人操作的多一个维度的感知，从而使得手术过程更为精准。具体的，可以在操作者通过主手端控制导管组件向所述目标组织推进的过程中，获取实时的推进截面位置点；将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；将所述中心靠近力作用在所述主手端上作为给所述操作者施加的引导力。
107.在具体实现的时候，考虑到可以实时检测反馈力的大小，只有在力度超出预设阈值的情况下，才给予交互力提醒，如果未超出预设阈值，则可以不进行交互力提醒。即，可以根据实际需求和情况进行反馈与否的确认，具体的，将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力，可以包括：获取预设的力度阈值；确定所述反馈力是否超出所述力度阈值；在超出所述力度阈值的情况下，将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
108.在本例中，还提供了一种力觉控制系统，可以包括：
109.1)主手端，用于操作者进行操作控制；
110.2)导管组件，用于在所述操作者通过主手端进行控制的情况下作用在目标组织上；
111.3)控制器，与所述主手端和所述导管组件相连，用于在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
112.上述的导管组件在延轴线方向设置有多个应力片，或者是，导管组件在延轴线方向设置有光纤，以形成力感应。
113.对于主手端和控制器可以设置在主端操作平台上，导管组件设置在患者手术平台
的推进装置上。在主端操作平台上还可以设置有显示器。
114.具体的，在患者手术平台上可以设置有：磁场发生器，用于产生局部空间磁场，可以实时监测该磁场范围内的磁导航传感器在磁场发生器坐标系下的三维空间位姿，作为位置反馈；导管推进/撤退装置，用于驱动导管前进或者后退；调整臂，用于在术前的大范围空间内初步调整导管的位姿，使得导管的入路通畅，阻力小。上述的导管组件可以是柔性导管，为气管镜本体，其末端可以进行任意方向主动弯曲。
115.柔性导管的末端可以包括：内窥镜，用于采集内窥实时影像；器械通道，用于在柔性导管到位后，通入活检器械，消融设备等进行诊断或治疗；导丝，用于驱动柔性导管弯曲运动；照明设备，用于为内窥镜提供照明，可以是导光束、led光源等。
116.下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本技术，并不构成对本技术的不当限定。
117.针对现有的导管机器人仅进行视觉引导所存在的准确性较低的问题，在本例中，考虑到可以引入无力觉反馈与导航，使得操作者在操作的过程中，可以获得操作的力觉信息，从而辅助决策，通过引入力觉引导还可以避免导管与组织接触所引起的变形，从而降低实时配准的难度，且可以从触觉上感知目标组织(例如：病变组织)的刚度。
118.具体的，在导管机器人系统中设置感知部件(例如：应变片、形状位置光纤、或导管本身等)和力重构设备(例如：力觉手柄、冗余自由度主手)。通过感知部件可以反馈控制器术中的接触力，以重现组织触觉，帮助操作者进行诊断和决策判断，进一步的，也可以根据导管相对气管的位置以生成引导力，建立力觉导航。
119.进一步的，在手术的过程中，触觉设备在医生误操作时，可以提供振动提醒，配合听觉和视觉以进行更为有效的提醒；且可以通过建立虚拟夹具，阻止操作者进行危险操作，可以建立虚拟通道，以触觉引导导航，使得气管通道的变形尽可能小，与视觉导航进行互补。即，通过力反馈与重构功能的引入提供了导管机器人操作的多一个维度的感知，从而使得手术过程更为精准。
120.如图2所示，在本例中提供了一种具备触觉辅助控制的导管系统结构，可以包括：主端操作平台和患者手术平台，其中，主端操作平台，可以包括：主手端、导航界面，用于操作者(可以是医生)发送控制指令和获取手术过程中的实时信息，包括：内窥实时影像、导管当前运动状态信息、系统工作状态和报警信息等；患者手术平台，是患者端的手术执行装置，可以包括：推进装置、内窥镜导管、调整臂、磁场发生器和周边设备(例如：蠕动泵，夹管阀等)。
121.具体的，主端操作平台可以如图2所示，包括：导航界面，用于显示内窥实时影像、支气管三维模型(例如：识别的结节、导航路径、辅助标记信息等)、虚拟内窥、导管运动辅助信息(例如：导管当前弯曲角度、方向、速度、位置等)、系统当前状态和报警信息等；力反馈主手(即，主手端)，其中，力反馈主手可以具备冗余自由度。
122.例如，力反馈主手的关节自由度≥6，为旋转关节设计，那么为了实现更灵活的拖动操作和更大的工作空间，可以将力反馈主手和主端触觉设备设计成冗余自由度。为了实现力觉的反馈，在力反馈主手的各自由度关节处安装电机，从而通过预先设置的控制算法可以计算出的期望的关节力矩τ_i(i＝1
…
6)，以最终实现主手末端(医生手捏握处)的力觉f。
123.其中，力矩和力觉之间可以满足如下公式：
[0124][0125]
其中，j为该主手端的雅各比矩阵，上标t表示转置。
[0126]
在具体实现的时候，主手端可以是：omega，force dimension，phamton等主手设备。
[0127]
具体的，患者手术平台可以如图2所示，包括：磁场发生器，用于产生局部空间磁场，可以实时监测该磁场范围内的磁导航传感器在磁场发生器坐标系下的三维空间位姿，作为位置反馈；导管推进/撤退装置，用于驱动导管组件前进或者后退；调整臂，用于在术前的大范围空间内初步调整导管的位姿，使得导管的入路通畅，阻力小；导管组件(即，内窥镜导管)，可以是柔性导管，为气管镜本体，其末端可以进行任意方向主动弯曲。
[0128]
其中，柔性导管可以如图3所示，末端部分包括：内窥镜，用于采集内窥实时影像；器械通道，用于在柔性导管到位后，通入活检器械、消融设备等进行诊断或治疗；导丝，用于驱动柔性导管弯曲运动；照明设备，用于为内窥镜提供照明，可以是导光束、led光源等。
[0129]
导管系统的工作原理可以如图4所示，操作者主动拖动力反馈主手(即，上述主手段)运动，反过来，力反馈操作臂会将控制系统计算得到的，用于提醒的力反馈到操作者的手上；力反馈主手在操作者的拖动下，会在末端位姿产生变化，位姿信息通过主从映射算法传递给柔性内窥镜导管，以实现内窥镜导管运动，包括前进后退，弯曲等；在内窥镜导管运动以后，反馈给操作者的手术视野会发生变化，且内窥镜导管会与患者的支气管组织产生接触，形成接触力；由于内窥镜和磁导航系统的存在，内窥镜返回给医生的实时内窥影像会相应发生变化，且磁导航系统也会监测到该变化，并在导航界面的虚拟内窥中体现该变化，最终使得虚拟内窥与真实内窥图像保持一致。
[0130]
对于柔性导管而言，如图5中的a所示，在可主动弯曲部具备弯曲能力，为了计算导管所受到的外部接触力，可以在导管上集成力感知部件。具体的可以采用如下方式之一进行力感知：
[0131]
1)应变片，如图5中的b所示，可以沿着导管轴线(与轴线平行)方向，布置应变片，因而可以测量各测点处的实际应变；然后由应变，重构出导管的实际空间形状。最后将该形状与自由空间中由导管模型计算出来的形状进行比较，计算出环境施加在导管上的外部荷载力；
[0132]
2)光纤，如图5中的c所示，方法与应变片类似，但是由光纤测量出沿导管轴线方向的应变，进而重构形状，计算出外部荷载力；
[0133]
3)导管本身力学模型。
[0134]
通过力感知，将柔性导管感知到的力反馈到主手端，通过主手端的触觉设备，将该力尽量真实地展现给操作者，以制止或者引导手术操作。
[0135]
具体地，可以如图6所示，手术从端导管感知到环境力(该力可以是真实的环境接触力，也可以是虚拟产生的力)以后，先传递给通讯单元，再传递给主端触觉设备，将该力转
化为关节力矩，下发给各关节电机输出执行，最终被人手感受到；反之，人手会拖动主手操作，形成主手末端速度，该速度通过通讯设备传递给从端导管执行机构，最终形成导管末端的运动速度v。除了速度控制以外，也可以相应地做位置控制，形成导管末端的运动。
[0136]
除了主端力觉重现以外，还可以进行力阈值提示。具体的，可以根据导管的接触力是否超出安全阈值，在交互界面显示不同的状态信息：当未超过阈值时，只显示接触力大小；当超过阈值时，显示力的大小，并在导管模型和力数值显示上通过警示色，闪烁等方式，提醒当前接触力超过阈值。
[0137]
除了主从反馈力，通过该系统，还可以进行刚度检测，其基本原理可以如图7所示，假设被导管接触的组织的刚度为k，导管组件与组织之间的接触力为f(t)，随着时间变化，给定两个时间点的接触状态，在这两种状态下，接触力大小分别为f(t1)和f(t2)，位置偏差为δx，相应的，该处组织的刚度可以按照如下公式计算得到：
[0138]
k＝abs(f(t1)-f(t2))/δx
[0139]
其中，组织刚度可以反映目标位置的良恶性或病情，该数值可以显示在导航界面上，给医生以提示，如果希望在主端展现刚度信息，可以在主手末端添加力传感器，测量医生施加在主手上的力f，并由刚度k，计算出来主手位移x＝f/k，以形成刚度触觉。
[0140]
在上例中，通过应用力反馈导管系统，除了可以进行力安全保护以外，还可以进行手术操作的力觉引导，为此，可以设置虚拟夹具，如图8所示，图中黑色实线为术前规划的路径，期望医生能按照该路径操作导管到达目标靶点(圆点所示)。为了避免医生走错岔路口，或者严重偏离路径对气管腔造成伤害，可以通过力反馈主手对医生操作施加虚拟夹具。
[0141]
虚拟夹具可以如图9所示，由于气管腔截面可以近似为圆形，由虚拟夹具边缘(虚线)向中心位置(实线导航路径)由算法自动生成引导力f，该力与导管在截面方向上距离中心的位置和速度有关，将从端生成的该力反馈给主手端的触觉设备，以引导医生将导管操作至期望的中心位置上。
[0142]
在实现的时候，虚拟夹具生成的反馈力可以按照如下方式计算得到：
[0143]
1)基于从端位置生成主端反馈力，具体地，该反馈力的计算采用分段计算方式，如图10所示：
[0144]
阶段1距离导航路径较近，而距离截面边缘较远，因此，可以使用较小的反馈力；此外，该范围内反馈力大小变化不大，表示该范围内的运动均基本满足要求，如图11中的f1所示；
[0145]
阶段2由于开始偏离路径中心较远，反馈力大小开始快速增加，以提醒操作者正在偏离导航路径，需要纠正操作，起到引导的目的，如图11中的f2所示。
[0146]
阶段3的接近截面边缘，反馈力达到最大值，此时达到主手反馈力饱和，最大反馈力也保持在最大值，不发生较大变化，如图11中的f3所示。
[0147]
在该反馈力生成算法中，所有虚拟夹具反馈力的方向均指向截面中心，虚拟夹具为柔性虚拟夹具。
[0148]
2)基于主端位置生成从端运动速度，使用的刚性虚拟夹具，因此，对从端导管末端运动具有严格的限制，需要限制在图8所示的实线上。即，对于垂直于路径上的力是被过滤掉的，完全按照预定路线推进。
[0149]
当主手末端受到位移p，控制器会将该信息转换成从端导管末端沿着既定轨迹的
运动速度v，如图12所示，位移与运动速度之间的关系可以表示为：
[0150]
v＝kp
[0151]
其中，k为比例系数，物理上表现为虚拟夹具的刚度。
[0152]
因为对从端的运动具有严格的限制，因此从主端触觉上来说，反馈力会很大，因为对于运动路径存在严格的限制，因此，精度要更高一些。
[0153]
即，对于操作过程而言，可以通过多种方式对医生的操作进行规范，例如：1)视觉导航；2)力安全保护；3)力觉导航。即，通过三个不同的感知维度视觉、力觉和交互深度对医生的操作进行规范。
[0154]
为了使得整个操作过程更为可控，可以根据操作者的需求和手术的阶段对各种导航进行灵活选择，即，可以在引导界面上设置选项，以提供三个层次的引导选择：1)视觉辅助导航；2)视觉辅助+力安全保护；3)视觉辅助+力安全保护+力觉引导。操作者在手术的过程中，可以根据实际情况和需求，对引导层次进行选择，且也可以根据手术场景/解剖组织环境等，在手术的过程中对引导层次进行自动切换选择。
[0155]
具体尚未，导航系统可以如图13所示包括三个层次：
[0156]
层次1：视觉导航，完全由导航界面的虚拟内窥引导医生进行手术操作，无力觉信息交互。
[0157]
层次2：视觉导航+力安全保护，在具备视觉导航的前提下，在导管与组织接触力超过阈值的时候，将要对组织造成伤害时，进行主端力反馈，以提醒医生进一步地操作，防止伤害发生；
[0158]
层次3：视觉导航+力安全保护+力觉导航，力反馈系统更进一步融入交互，不仅在伤害将要发生时起作用，还在没有伤害时，应用视觉和力觉对医生进行双重引导，使得能进行最期望的操作，提升手术质量和效率。
[0159]
在具体实现的时候，可以根据实际需求和情况，设置三个维度的引导选择，例如，可以无需医生按需选择，完全由手术中的具体阶段，导管位姿，末端接触力信息智能触发。也可以是视觉导航由于其基础作用，可以默认开启；力安全保护在导管运动速度，或者接触力超过给定阈值的条件下才开启，否则默认不开启；力觉导航只在图10所示的阶段2或阶段3才开启，否则不开启。在同时开启多种力觉导航和力安全保护的情况下，两种方式产生的反馈力可以在主手端的触觉设备处叠加输出。
[0160]
在上例中，在现有的导管机器人产品的基础上增加了力觉导航，从而可以进行振动提示，通过虚拟夹具可以保障推进路径的准确性，减小了气管的变形，有助于实现更精准的实时配准，通过力反馈使得操作者的手术过程安全性更高。
[0161]
在本技术中，还提供了一种导管系统的导航方法，如图14所示，可以包括如下步骤：
[0162]
步骤1401：获取当前导管组件的推进阶段和/或推进状态；
[0163]
其中，推进状态可以包括但不限于以下至少之一：导管推进速度、导管末端接触力、导管姿态。
[0164]
步骤1402：根据所述推进阶段和/或推进状态，确定当前需开启的一个或多个导航方式；
[0165]
步骤1403：通过确定的当前需开启的一个或多个导航方式，对操作者进行操作指
引；
[0166]
其中，所述导航方式可以包括：视觉导航方式、力觉导航方式、力安全保护导航方式：
[0167]
1)通过力安全保护导航方式对操作者进行操作指引，可以是在操作者通过主手端控制所述导管组件推进的过程中，获取实时的推进截面位置点；将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
[0168]
2)通过力觉导航方式对操作者进行操作指引，可以是在操作者通过主手端控制导管组件作用在目标组织上的情况下，获取所述导管组件与所述目标组织之间的接触力；将所述接触力转换为反馈力；将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
[0169]
3)通过视觉导航方式对操作者进行操作指引，可以是通过显示屏上显示手术影像和路径指引，对操作者进行操作指引。
[0170]
本技术上述实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在电子设备上为例，图15是本技术提供的一种力觉控制方法的电子设备的硬件结构框图。如图15所示，电子设备10可以包括一个或多个(图中仅示出一个)处理器02(处理器02可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器04、以及用于通信功能的传输模块06。本领域普通技术人员可以理解，图15所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备10还可包括比图15中所示更多或者更少的组件，或者具有与图15所示不同的配置。
[0171]
存储器04可用于存储应用软件的软件程序以及模块，如本技术实施例中的力觉控制方法对应的程序指令/模块，处理器02通过运行存储在存储器04内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的力觉控制方法。存储器04可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器04可进一步包括相对于处理器02远程设置的存储器，这些远程存储器可以通过网络连接至电子设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0172]
传输模块06用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备10的通信供应商提供的无线网络。在一个实例中，传输模块06包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块06可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0173]
在软件层面，上述力觉控制装置可以如图16所示，包括：
[0174]
获取模块1601，用于在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；
[0175]
对比模块1602，用于将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
[0176]
生成模块1603，用于按照将所述实时的推进截面位置点向预先规划的推进路径截
面的中心点靠近的原则，生成中心靠近力；
[0177]
反馈模块1604，用于将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
[0178]
在一个实施方式中，上述力觉控制装置具体还可以用于在操作者通过主手端控制导管组件作用在目标组织上的情况下，获取所述导管组件与所述目标组织之间的接触力；将所述接触力转换为反馈力；将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
[0179]
在一个实施方式中可以将所述接触力转换为在所述主手端的各自由度关节处的力矩；将在所述主手端的各自由度关节处的力矩作为所述反馈力，作用在所述主手端的各自由度关节处。
[0180]
在一个实施方式中，可以获取所述导管组件各测点处的实际应变；根据各测点处的实际应变，重构出所述导管组件的实际空间形状；将所述实际空间形状与所述导管组件在自由空间中的形状，进行比较，以确定所述目标组织施加在所述导管组件上的外部载荷力；将所述外部载荷力作为所述接触力。
[0181]
在一个实施方式中，可以在所述导管组件在延轴线方向设置有多个应力片，一个应力片作为一个测点的情况下，通过所述导管组件中的应力片，获取所述导管组件各测点处的实际应变；或，在所述导管组件在延轴线方向设置光纤的情况下，通过所述导管组件中的光纤，获取所述导管组件各测点处的实际应变。
[0182]
在一个实施方式中，上述力觉控制装置具体还可以用于在操作者通过主手端控制导管组件向目标组织推进的过程，获取所述导管组件与所述目标组织之间在第一时间的第一接触力和第二时间的第二接触力，以及第一时间与第二时间之间的位置偏差；根据所述第一接触力、第二接触力和所述位置偏差，确定出所述目标组织的刚度数据；获取所述操作者施加在所述主手端的力度值；根据所述刚度数据和所述力度值，计算得到所述主手端的位移量；将所述位移量作用在所述主手端上作为给所述操作者施加的刚度触觉。
[0183]
在一个实施方式中，可以获取预设的力度阈值；确定所述反馈力是否超出所述力度阈值；在超出所述力度阈值的情况下，将所述反馈力作用在所述主手端上作为给所述操作者施加的交互力。
[0184]
本技术的实施例还提供能够实现上述实施例中的力觉控制方法中全部步骤的一种电子设备的具体实施方式，所述电子设备具体包括如下内容：处理器(processor)、存储器(memory)、通信接口(communications interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的力觉控制方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
[0185]
步骤1：在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；
[0186]
步骤2：将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
[0187]
步骤3：按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；
[0188]
步骤4：将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
[0189]
从上述描述可知，本技术实施例在操作者通过主手端控制导管组件向目标组织推进的过程中，将实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比，以确定实时推进的便偏移程度，基于偏移程度生成中心靠近力，并形成反馈引导力作用在操作者手上，从而可以避免现有的因为不对推进过程进行力觉引导，而导致容易推进方向偏差对患者造成损伤的问题，达到了有效降低手术时危险发生概率的技术效果。
[0190]
本技术的实施例还提供能够实现上述实施例中的力觉控制方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的力觉控制方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
[0191]
步骤1：在操作者通过主手端控制导管组件向目标组织推进的过程中，获取实时的推进截面位置点；
[0192]
步骤2：将所述实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比；
[0193]
步骤3：按照将所述实时的推进截面位置点向预先规划的推进路径截面的中心点靠近的原则，生成中心靠近力；
[0194]
步骤4：将所述中心靠近力反馈作用在所述主手端上作为给操作者施加的引导力。
[0195]
从上述描述可知，本技术实施例在操作者通过主手端控制导管组件向目标组织推进的过程中，将实时的推进截面位置点与预先规划的推进路径截面的中心点进行对比，以确定实时推进的便偏移程度，基于偏移程度生成中心靠近力，并形成反馈引导力作用在操作者手上，从而可以避免现有的因为不对推进过程进行力觉引导，而导致容易推进方向偏差对患者造成损伤的问题，达到了有效降低手术时危险发生概率的技术效果。
[0196]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0197]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0198]
虽然本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
[0199]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人
数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0200]
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
[0201]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0202]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0203]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0204]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0205]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0206]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网
络接口和内存。
[0207]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0208]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0209]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0210]
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0211]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0212]
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。