导管机器人及其配准方法、可读存储介质与流程

文档序号:33467718发布日期:2023-03-15 07:14阅读:35来源:国知局
导管机器人及其配准方法、可读存储介质与流程
导管机器人及其配准方法、可读存储介质
1.技术领域
2.本技术涉及手术机器人技术领域,具体而言,涉及一种导管机器人、导管机器人的配准方法、及可读存储介质。
3.

背景技术:

4.微创医疗技术意图减少在医疗程序期间损害的组织量,以减少患者恢复时间、不适感以及有害副作用。在微创医疗技术中经常需要通过患者解剖结构中的自然孔口或通过外科手术切口插入导管,在术中导航系统的配合下,穿过人体管道的复杂结构从而到达或邻近靶目标。
5.大部分情况下,导管是沿着人体管道(例如支气管、血管、输尿管等)运动,而不会以损伤管道的方式自由穿梭,因此可以认为导管/器械的移动路径受限于人体管道内,与人体管道的中心线具有相似性,特别是对于较小的管道,由于径向的可活动范围有限,移动路径与中心线的相似度更高。
6.根据这一原理,术中导航系统可以采用点云配准来实时检测和显示导管末端和/或导管搭载的器械末端的位置。具体的,可以通过传感器采集导管/器械移动的路径数据,并与患者的解剖模型中的管道中心线数据进行匹配,通过点云配准确定二者之间的坐标变换,从而得到导管/器械的实时位置。
7.相关技术中的点云配准采用的欧氏距离最短的准则来寻找对应点对,然后根据对应点对计算坐标转换。然而由于人体管道的复杂性以及患者运动的影响,采用欧式距离最短的准则往往可能出现错误的对应点对,例如,与导管的路径点对应的管道中心线上的点不在导管当前所在的管道内等,从而导致点云配准的精度不高,影响了导管术中导航的准确性。
8.

技术实现要素:

9.本技术实施例提供了一种导管机器人的配准方法、装置及终端设备,可以解决相关技术中难以为路径数据进行准确配准的问题。
10.第一方面,本技术实施例提供了一种导管机器人,该导管机器人包括机械臂,与机械臂的动力部进行接合的导管器械,与机械臂通讯连接的处理器,导管器械包括被设置成与动力部接合的器械盒以及与器械盒连接的导管,导管和/或导管搭载的器械上设置有用于测量导管和/或器械的位置的传感器,处理器被配置成执行以下步骤:利用传感器获取导管和/或器械的实际路径点;根据第一变换矩阵获取导管和/或器械在解剖模型中与实际路径点对应的模拟路径点,解剖模型包括管道中心线;在管道中心线分成的多个管道中心线分段中确定与模拟路径点对应的目标管道中心线分段;计算目标管道中心线分段的形心;
若形心与目标管道中心线分段包括的多个骨架点均不相同,则确定形心与模拟路径点之间的连线,从多个骨架点中选择与连线之间的距离最短的一个作为实际路径点的匹配点。
11.其中,处理器被配置成在确定形心与模拟路径点之间的连线之后执行以下步骤:若形心是多个骨架点中的一个,则获取模拟路径点到投影线的第一垂足,并获取各骨架点到投影线的第二垂足,投影线为通过目标管道中心线分段两个端点的直线;选择与第一垂足之间的距离最短的第二垂足对应的骨架点作为实际路径点的匹配点。
12.其中,处理器被配置成执行以下步骤:利用实际路径点及其匹配点组成的第一点对更新点对集合;若点对集合满足第一条件,则使用点对集合更新第一变换矩阵,其中第一条件包括点对集合中的点对数量大于预设值。
13.其中,处理器被配置成在利用实际路径点及其匹配点组成的匹配点对更新点对集合中执行以下步骤:判断点对集合中是否存在包括匹配点的第二点对;若不存在,则将第一点对加入点对集合,若存在,则根据实际路径点与匹配点计算第一距离,根据第二点对中的路径点与匹配点计算第二距离,若第一距离小于第二距离,则将第二点对替换为第一点对。
14.其中,处理器被配置成在使用点对集合更新第一变换矩阵中执行以下步骤:将点对集合中的点对代入目标函数计算最新的第二变换矩阵;根据最新的第二变换矩阵更新第一变换矩阵。
15.其中,第一变换矩阵为最新的第二变换矩阵与至少部分历史第二变换矩阵的加权平均值,其中最新的第二变换矩阵的权重大于历史第二变换矩阵的权重。
16.其中,处理器被配置成在在管道中心线分成的多个管道中心线分段中确定与模拟路径点对应的目标管道中心线分段之前执行以下步骤:从管道中心线包括的多个骨架点中提取特征骨架点,其中骨架点的位置由编码表示,骨架点的编码s=x1+x2r1+x3r1r2,其中x1、x2、x3分别为骨架点在编码顺序第一、第二、第三的维度上的坐标,r1、r2分别为解剖模型在编码顺序第一、第二的维度上的尺寸;根据特征骨架点将管道中心线划分为多个管道中心线分段。
17.其中,处理器被配置成在从管道中心线包括的多个骨架点中提取特征骨架点中执行以下步骤:确定起始点;从起始点开始,用区域生长法搜索骨架点并统计骨架点的连通数,连通数为骨架点的邻域中所有子节点的数量;若骨架点的连通数大于1,且骨架点的父节点的连通数等于1,则骨架点为特征骨架点中的分叉点,若骨架点的连通数等于1,且骨架点的父节点的连通数等于0,则骨架点为特征骨架点中的末端点。
18.其中,处理器被配置成在选择起始点中执行以下步骤:随机选择一体层;统计体层在垂直于横断面的方向上两侧指定数量的层中骨架点的总数,以确定气道延伸的方向;根据体层中骨架点的总数以及气道延伸的方向寻找气管入口的骨架点作为起始点。
19.其中,处理器被配置成执行以下步骤:统计管道中心线分段中骨架点的数量;删除数量小于预设阈值的管道中心线分段。
20.第二方面,本技术实施例提供了一种导管机器人的配准方法,该方法包括:利用设置在导管和/或导管搭载的器械上的传感器获取导管和/或器械的实际路径点;根据第一变换矩阵获取导管和/或器械在解剖模型中与实际路径点对应的模拟路径点,解剖模型包括管道中心线;在管道中心线分成的多个管道中心线分段中确定与模拟路径点对应的目标管道中心线分段,目标管道中心线分段包括多个骨架点;计算目标管道中心线分段的形心;若
形心与目标管道中心线分段包括的多个骨架点均不相同,则确定形心与模拟路径点之间的连线,从多个骨架点中选择与连线之间的距离最短的一个作为实际路径点的匹配点。
21.第三方面,本技术实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行实现本技术第二方面所述的方法。
22.本技术实施例与现有技术相比存在的有益效果是:通过本技术实施例,利用传感器获取导管和/或器械的实际路径点;根据第一变换矩阵获取导管和/或器械在解剖模型中与实际路径点对应的模拟路径点,解剖模型包括管道中心线;在管道中心线分成的多个管道中心线分段中确定与模拟路径点对应的目标管道中心线分段;计算目标管道中心线分段的形心;确定形心与模拟路径点之间的连线;若形心与目标管道中心线分段包括的多个骨架点均不相同,则从多个骨架点中选择与连线之间的距离最短的一个作为实际路径点的匹配点。为了适应复杂的人体环境,本技术先确定与模拟路径点对应的目标管道中心线分段,以减少匹配点不在导管当前所在的管道内的错误,并且选择距离模拟路径点与目标管道中心线分段的形心之间的连线最短的一个骨架点,可以近似认为该骨架点为连线与目标管道中心线分段的交点,以此交点作为实际路径点的匹配点,能更准确的反映导管在管道内运动的路径点与管道中心线的匹配关系,提高点云配准的精确度,即得到更精确的第一变换矩阵,从而提高导管术中导航的准确性。
23.附图说明
24.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以基于提供的附图获得其他的附图。
25.图1为本技术一实施例提供的导管机器人的示意图;图2为本技术一实施例提供的导管器械与动力部的示意图;图3为本技术一实施例提供的导管机器人的配准方法的流程示意图;图4为本技术一实施例中确定模拟路径点对应的目标管道中心线分段的示意图;图5为本技术一实施例中形心不是目标管道中心线分段上的骨架点的情况下确定匹配点的示意图;图6为本技术一实施例中形心是目标管道中心线分段上的骨架点的示意图;图7为本技术一实施例中形心是目标管道中心线分段上的骨架点的情况下确定匹配点的示意图;图8为图3中s17的具体流程示意图;图9为图3中s18的具体流程示意图;图10为本技术一实施例提供的术中导航的流程示意图;图11为本技术一实施例提供的对管道中心线分段的流程示意图;图12为本技术一实施例中用单个数字的编码表示像素位置的示意图;图13为图11中s21的具体流程示意图;图14为图12中s211的具体流程示意图;
图15为本技术一实施例提供的导管机器人的控制系统的结构示意图;图16为本技术一实施例提供的计算机可读存储介质的结构示意图。
26.具体实施方式
27.下面将参照附图更详细地描述本技术的示例性实施方式。虽然附图中显示了本技术的示例性实施方式,然而应当理解,可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本技术,并且能够将本技术的范围完整的传达给本领域的技术人员。
28.需要注意的是,除非另有说明,本技术使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。
29.下面结合附图来描述根据本技术实施例提出的导管机器人的配准方法、导管机器人,以及计算机可读存储介质。
30.图1示出了本技术一实施例提供的导管系统1000。导管系统1000包括影像车100、分别与所述影像车100连接的台车200和主控器300,可以被接合至所述台车200上的导管器械400,与所述台车200连接的传感器系统500,以及用于在所述导管器械400、所述主控器300、所述传感器系统500以及所述影像车100之间实现控制的控制系统600等。其中,所述主控器300可以与所述台车200有线连接或无线连接。操作者对台车200旁的患者执行各种程序时,可以通过操作所述主控器300触发控制指令,经所述台车200的驱动而控制所述导管器械400前进、缩回以及弯曲转向等。
31.所述台车200通常可以被移动至手术床旁,用于接合所述导管器械400,并在控制指令下控制所述导管器械400沿竖直方向进行升降,或沿水平方向平移,或非竖直以及非水平方向移动,从而为所述导管器械400的操作提供一个较好的术前准备角度。其中,该控制指令可以是来自操作者通过操作所述主控器300而触发的指令,也可以是来自操作者直接通过点击或按压所述台车200上设置的按键而触发的指令。当然,在其他实施例中,所述控制指令还可以是语音控制或通过力反馈机制而触发的指令。
32.如图1所示,进一步地,所述台车200可以包括底座210、可以沿着所述底座210进行升降移动的滑动座体220,以及与所述滑动座体220固定连接的2个机械臂230。所述机械臂230可以包括在关节处联接的多个臂分段,所述多个臂分段为所述机械臂230提供多个自由度,例如,与七个臂分段相对应的七个自由度。所述机械臂230的末端装设有动力部(图中未示出),所述机械臂230的动力部用于接合所述导管器械400,并在所述动力部的驱动作用下控制所述导管器械400的末端相应发生弯曲转向。其中,所述2个机械臂230可以是结构完全相同或部分相同的结构,一个机械臂230用于接合内导管器械410,另一个机械臂230用于接合外导管器械420。装设时,可以先安装所述外导管器械420,待所述外导管器械420安装完毕时,将所述内导管器械410的导管插入所述外导管器械420的导管内。
33.所述传感器系统500具有用于接收关于所述导管器械400的信息的一个或多个子系统。所述子系统可以包括:位置传感器系统;用于确定所述导管器械400的末端和/或沿着可构成所述导管器械400的导管的一个或多个部段的位置、取向、速度、速率、位姿和/或形状的形状传感器系统;和/或用于从所述导管器械400的末端捕获图像的可视化系统。
34.所述影像车100可以设置显示系统110以及冲洗系统(图中未示出)等。所述显示系统110用于显示由传感器系统500的子系统生成的手术部位和导管器械400的图像或表示。还可以显示由可视化系统捕获的手术部位和导管器械400的实时图像。还可以使用来自成像技术的图像数据来呈现术前或术中记录的手术部位的图像,所述成像技术诸如计算机断层扫描(ct)、磁共振成像(mri)、光学相干断层扫描(oct)、以及超声等。术前或术中图像数据可以被呈现为二维、三维或四维(如基于时间或基于速率的信息)图像和/或被呈现为来自根据术前或术中图像数据集创建的模型的图像,还可以显示虚拟导航图像。在所述虚拟导航图像中,所述导管器械400的实际位置与术前图像配准,以从外部向操作者呈现手术部位内的导管器械400的虚拟图像。
35.所述控制系统600包括至少一个存储器和至少一个处理器。可以理解的是,所述控制系统600可以集成于所述台车200或所述影像车100中,也可以独立设置。所述控制系统600可以支持无线通信协议,诸如ieee 802.11、irda、蓝牙、homerf、dect和无线遥测等。所述控制系统600可以传输指示所述导管器械400移动的一个或多个由所述动力部移动所述导管器械400的信号。所述导管器械400可以经由所述患者的自然腔道的开口或手术切口延伸至体内的手术位置。
36.进一步地,所述控制系统600可以包括机械控制系统(图中未示出)和图像处理系统(图中未示出),所述机械控制系统用于控制所述导管器械400的移动,因此,可以集成于所述台车200中。所述图像处理系统用于虚拟导航路径规划,因此,可以集成于所述影像车100中。当然,所述控制系统600的各个子系统并不限于上述列举的具体情况,还可以根据实际情况合理设置。其中,所述图像处理系统可以基于术前或术中记录的手术部位的图像,使用上述成像技术对手术部位进行成像。还可以与手动输入结合使用的软件将记录的图像转换成部分或整个解剖器官或区段的二维或三维合成图像。在虚拟导航程序期间,所述传感器系统500可用于计算导管器械400相对于患者的解剖结构的位置,该位置可用于产生患者的解剖结构的外部跟踪图像和内部虚拟图像,实现导管器械400的实际位置与术前图像配准,从而可以从外部向操作者呈现手术部位内的导管器械400的虚拟图像。
37.所述内导管器械410和所述外导管器械420的结构组成大体相同,分别具有细长柔性的内导管41和外导管42,其中,所述外导管42的直径略大于所述内导管41,以使所述内导管41可以穿过所述外导管42,并为所述内导管41提供一定的支撑性,从而可以使得所述内导管41可以到达患者体内的目标位置,以便于从目标位置处进行组织或细胞取样等操作。
38.所述主控器300的某些运动可以引起导管器械400的对应移动。例如,操作者操作主控器300的方向拨杆向上或向下移动时,所述主控器300的方向拨杆的运动可以被映射到所述导管器械400的末端相应的俯仰运动;当操作者操作主控器300的方向拨杆向左或向右移动时,所述主控器300的方向拨杆的运动可以被映射到所述导管器械400的末端相应的横摆运动。在本实施例中,所述主控器300可以控制所述导管器械400的末端在360
°
空间范围内进行移动。
39.图2示出了本技术一实施例提供的导管器械400。所述导管器械400被配置成与机械臂230的动力部240进行接合,所述导管器械400包括被配置成与所述动力部240接合的器械盒45以及与所述器械盒45连接的导管48。其中,所述“接合”是指所述器械盒45安装至所述动力部240时,所述动力部240的驱动力可以传递至所述器械盒45内、并能使所述导管48
发生正常移动的状态。例如,在所述动力部240的驱动力作用下,所述导管48的末端可以发生弯曲转向等。
40.本技术中的末端,也可以被称为远端或头部,是指远离器械盒45的一端;前端,也可以被称为近端或尾部,是指靠近器械盒45的一端。
41.控制系统600的处理器被配置为执行以下步骤以实现本技术一实施例提供的导管机器人的配准方法。如图3所示,本方法包括:s11:利用传感器获取导管和/或器械的实际路径点。
42.实际路径点为利用传感器获取的导管的末端和/或导管搭载的器械的路径点,一般用导管和/或器械的末端在世界坐标系,或者说手术环境坐标系中的坐标来描述。传感器可以包括位置传感器和/或形状传感器。
43.位置传感器可以设置在导管和/或器械上。一个位置传感器可以是电磁定位系统中的一个部件。电磁定位系统可以进一步包括磁场发生部件和磁场检测部件。磁场发生部件用于产生磁场,位置传感器在磁场中会引发磁场改变,磁场检测部件可以检测到磁场的改变从而检测到位置传感器相对于磁场/磁场发生部件的位姿,结合预先设定或标定得到的位置传感器与导管末端/器械末端之间的坐标转换关系,可以计算得到导管末端/器械末端相对于磁场/磁场发生部件的位置,再结合磁场/磁场发生部件与世界坐标系之间的坐标转换关系,可以计算出导管末端/器械末端在世界坐标系中的位置,即实际路径点。
44.可以用形状传感器系统来获取导管末端/器械末端的位置。例如,形状传感器可以包括与导管对齐的光纤,光纤形成的光纤弯曲传感器可以反馈导管的形状,据此可以计算得到导管末端/器械末端相对于形状传感器的基座的位置,结合形状传感器的基座在世界坐标系中的位置,可以计算出导管末端/器械末端在世界坐标系中的位置,即实际路径点。
45.一个实际路径点反映了传感器反馈时导管末端/器械末端的位置,将同一传感器多次反馈得到的实际路径点按照反馈时间排列,可得到导管末端/器械末端的移动路径。这些实际路径点组成的集合可以被称为路径点集或路径点云。
46.s12:根据第一变换矩阵获取导管和/或器械在解剖模型中与实际路径点对应的模拟路径点。
47.在手术前对患者的目标区域扫描可以得到医学图像(例如ct、mri等),对术前图像进行三维重建得到三维术前图像,对三维术前图像进行适当的图像处理,从而得到解剖模型。图像处理可以包括图像分割和骨架提取,图像分割用于从三维图像中提取出手术涉及的人体管道,为便于术中导航,对人体管道进行骨架提取,得到管道中心线。管道中心线,是人体管道的中心线,也可以被称为人体管道的骨架,是用于描述人体管道的部分几何特征的曲线,位于人体管道的中间部位,与人体管道具有同样的拓扑结构,其宽度一般为单个像素。管道中心线可以提供术中导航所需的信息,同时与原本的人体管道相比,其数据量明显缩小,处理更方便,有利于实时导航。
48.管道中心线是三维曲线,实际应用中,管道中心线往往以多个三维点的方式存储和使用,换言之管道中心线包括这些三维点,这些三维点可以被称为骨架点,骨架点组成的集合可以被称为骨架点集或骨架点云。
49.解剖模型为三维二值图像,其中每个像素(也可以被称为体素)的像素值为0或1,用于表示该像素是否为骨架点。在本技术中的实施例,以骨架点的像素值为1,非骨架点的
像素值为0的例子进行说明。实际上,在其他实施例中也可以取值相反,对此不做限制。
50.像素值的取值范围由显示系统支持的图像位深度决定,常见的取值范围为0~255或0~1023。在显示解剖模型时,为了能够直观的区分骨架点和非骨架点,一般会对解剖模型的像素值进行映射,例如,将骨架点的像素值映射为最大值(255或1023),显示为白色,非骨架点的像素值映射为0,显示为黑色。当然也可以反过来,即骨架点显示为黑色,非骨架点显示为白色。
51.为便于后续的配准,可以对管道中心线进行预处理。预处理可以包括从骨架点集中提取特征骨架点和/或管道中心线的重采样。特征骨架点一般包括分叉点和末端点,用于对管道中心线进行分段。可以通过统计某个骨架点的邻域中骨架点的数量来判断该骨架点是否为特征骨架点。本技术提供了一种基于编码的特征骨架点提取方法,具体见后续实施例。分叉点和末端点反映了人体管道本身的结构特性,除此之外,对于长度过长/弯曲程度过大的分段,可以引入新的特征点来对其进行进一步分段以提高配准精度。
52.为避免破坏管道中心线的连通性,重采样一般是上采样,具体的重采样参数,例如重采样间隔、插值数量可以按照实际需要而决定。如果预处理包括提取特征骨架点和重采样,那么二者的先后顺序并无限制。
53.第一变换矩阵可以为世界坐标系与解剖模型之间的变换矩阵,使用第一变换矩阵可以将实际路径点从世界坐标系变换到解剖模型的坐标系中,得到模拟路径点。
54.模拟路径点反映了导管末端/器械末端在解剖模型中的位置,结合手术部位的显示参数可以得到导管末端/器械末端在显示的手术部位中的位置,从而融合显示手术部位与其中的导管/器械,实现术中导航。手术部位可以以术前图像和/或术中图像的方式显示。如果显示手术部位使用的是术前图像数据,由于解剖模型是对三维术前图像处理得到的,那么根据显示的手术部位相对于三维术前图像的坐标转换关系,即可得到导管末端/器械末端在手术部位中的位置。如果显示手术部位使用的是术中图像数据,那么需要对术中图像与三维术前图像/解剖模型进行配准,从而得到显示的手术部位相对于三维术前图像的坐标转换关系,再得到导管末端/器械末端在手术部位中的位置。
55.为实现术中导航,本技术通过对骨架点集和路径点集进行点云配准以计算世界坐标系与解剖模型之间的变换矩阵,即第一变换矩阵。
56.点云配准的代表算法为最近点迭代(iterative closest point,icp)算法,其核心思想为最小化两个点集间的距离,通过迭代使得两个点集相互接近。下面简单介绍icp的原理。
57.icp的基础方法包括两步:一、对点云q和p进行匹配,找出二者之间的对应点对;二、根据对应点对计算出点云q和p之间的变换矩阵。一个对应点对由两个点组成,其中一个来自于点云p,另一个来自于点云q,这两个点互为对方的匹配点,且这两个点被认为是对应的,即这两个点实质上等同。
58.如果可以直接找出真实准确的对应点对,那么上面的过程只需要进行一次,就可以直接算出足够准确的变换矩阵。然而实际应用中很难直接找到准确的对应点对,因此icp会按照距离(一般是欧式距离)最近的原则进行匹配,即对于点云p中的每一个点,在点云q中寻找与其距离最近的一个点作为其匹配点。然后根据这些点对计算出一个转换矩阵。在完成一轮计算之后,icp会判断是否满足迭代停止条件,如果不满足,则使用本轮计算得到
的转换矩阵对点云p进行变换更新,然后使用点云q和变换后的点云p重复上述过程,直至停止迭代。
59.由于icp对初始值比较敏感,如果点云p和q初始差别比较大,直接使用icp可能无法保证收敛。因此可以将点云配准分为粗配准和精配准两个部分,先采用粗配准得到一个初始变换矩阵,然后使用icp进行精配准,此时第一轮的icp是对点云q和使用初始变换矩阵变换后的点云p进行匹配。
60.导管沿着人体管道运动的过程中,管道的径向上往往存在可活动范围,导致导管可能偏离管道中心线,管道越粗则可活动范围越大,加上器官运动的影响,导致导管的移动路径与骨架中心线的形状可能有所差别。因此,对于路径点集和骨架点集的配准,采用经典的icp难以准确的找到最优匹配点对,得到的配准结果往往陷入局部最优。为此本技术提出一种改进的icp精配准方法,具体见后续描述。在执行本技术提供的icp精配准方法之前,可以先进行粗配准以获取第一变换矩阵的初始值。
61.由于在手术过程中,并不一定需要为每个实际路径点进行匹配,例如icp迭代结束的情况下,只需要得到虚拟路径点以实现术中导航即可,不需要执行后续的配准步骤。因此在本步骤之后,可以判断是否满足配准条件,若满足再执行后续步骤,否则不执行。配准条件可以包括icp迭代进行中、启动icp迭代等。
62.s13:在管道中心线分成的多个管道中心线分段中确定与模拟路径点对应的目标管道中心线分段。
63.根据特征骨架点,可以将管道中心线分为多个管道中心线分段。每个管道中心线分段有两个端点,可以设定一个是起点,另一个是终点,具体哪个是起点哪个是终点可以按照解剖学特性、导管机器人运动路径、实际需求等设定。例如,若人体管道为气道,由于气道为多级分叉的树状结构,一般将两个端点中级别更高(即更接近气管)的一个分叉点作为起点,级别更低(即更接近肺泡)的一个分叉点/端点作为终点,当然也可以按照需求反过来设定。
64.基于导管机器人在人体管道内运动的特性,可以先确定目标管道中心线分段以提高后续匹配的准确度,目标管道中心线分段为估计的模拟路径点所在的管道中心线分段。
65.首先,模拟路径点在目标管道中心线分段内,意味着模拟路径点必须在目标管道中心线分段的两个端点之间。转换成空间的相对位置关系,对于管道中心线分段,只有满足模拟路径点在起点 的偏向终点的一侧,同时在终点的偏向起点 的一侧的条件,才有可能是目标管道中心线分段。据此可以按照以下公式计算和: (1)(2)只有满足 且 的管道中心线分段,才是模拟路径点可能所在的分段(简称可能分段),据此对管道中心线分段进行初步筛选。若找不到满足且的管道中心线分段,则将前一个模拟路径点的目标管道中心线分段作为模拟路径点的目标管道中心线分段。
66.对于初步筛选出的可能分段,若其数量为1,则直接作为目标管道中心线分段;若
数量大于1,则需要进一步筛选。具体的,可以计算模拟路径点到可能分段的投影线段之间的第三距离,选择第三距离最小的一个作为目标管道中心线分段。对于管道中心线分段,其投影线段为起点与终点之间的直线线段。
67.结合附图举例说明,如图4所示,图中虚线表示管道中心线,a,b,c三个管道中心线分段中,对于模拟路径点a满足且 的可能分段为a和b,比较模拟路径点a到a和b的投影线段之间的第三距离,可得模拟路径点a对应的目标管道中心线分段为a。
68.若模拟路径点靠近人体管道的分叉,可能出现最小的第三距离不止一个,或者存在与最小的第三距离非常接近的第三距离的情况,上述确定目标管道中心线分段的方式可能存在一定误差。为此,可以对上述确定方式做一定补充。
69.具体的,对于初步筛选出的可能分段,判断是否需要再次筛选,若需要,则从可能分段中再次筛选得到候选分段,并计算导管的移动方向,在候选分段中选择与移动方向最接近的一个作为目标管道中心线分段;否则直接选择第三距离最小的一个作为目标管道中心线分段。
70.在判断是否需要再次筛选时,可以有基于第三距离和基于模拟路径点的位置两种方式。这两种方式可以独立使用,也可以以和的方式或者以或的方式组合使用。
71.基于第三距离,可以设定一个很小的范围,若除了最小第三距离之外,有其他第三距离与最小第三距离的差值落入这个范围,则需要再次筛选,差值落入该范围的第三距离对应的管道中心线分段即为候选分段。这里的差值可以是绝对值,即差值本身,也可以是相对值,即差值与最小第三距离的比值。
72.基于模拟路径点的位置,可以判断可能分段的各端点中是否存在一端点,它属于分叉点并且与模拟路径点之间的距离小于阈值,如果存在,则选择该端点所属的所有分段作为候选分段。模拟路径点与端点之间的距离可以是二者之间的欧式距离,或者欧式距离与端点所属的投影线段的长度的比值,或者模拟路径点与端点之间的投影距离(模拟路径点在投影线段上的垂足与端点之间的欧氏距离),或者投影距离与端点所属的投影线段的长度的比值,或者模拟路径点的对应点(即模拟路径点到管道中心线分段的形心的连线与管道中心线分段的交点)与端点之间的欧式距离或投影距离,或者该距离与端点所属的投影线段的长度的比值。
73.可以计算在先的模拟路径点指向当前的模拟路径点的向量作为导管的移动方向,h为正整数,可以根据实验、经验等方式设定。候选分段的方向可以为从其起点指向终点的向量。然后通过向量内积的方式来计算导管的移动方向与候选分段之间的夹角,选择夹角最小的一个作为目标管道中心线分段。
74.s14:计算目标管道中心线分段的形心。
75.形心,即形状的中心,其坐标可以为组成目标管道中心线分段的所有骨架点的坐标的平均值。由于目标管道中心线分段是对医学图像进行处理得到的,其密度可以认为是均匀的,因此目标管道中心线分段的形心也就是质心。
76.若形心与组成目标管道中心线分段的多个骨架点均不相同,跳转到s15;若形心是多个骨架点中的一个,则跳转到s16。
77.s15:确定形心与模拟路径点之间的连线,从多个骨架点中选择与连线之间的距离
最短的一个作为实际路径点的匹配点。
78.由于管道中心线反映了人体管道的形状,一般以点集的方式存储和使用,管道中心线往往不能用解析式来表达,无法求出交点的解析解,即使能够求出也不一定刚好是骨架点。因此在本技术中,将目标管道中心线分段上与连线距离最短的一个骨架点近似作为目标管道中心线分段与连线之间的交点。
79.本技术中主要采用目标管道中心线分段与连线之间的交点作为匹配点,这种配准方式更符合导管机器人在人体管道内的运动方式,找到的匹配点更加准确。
80.举例说明,如图5所示,图中的虚线表示目标管道中心线分段,sc为目标管道中心线分段的形心,实线表示导管机器人在解剖模型中的路径,模拟路径点tn与形心sc的连线与目标管道中心线分段的交点近似为骨架点qk,骨架点qk即为tn对应的实际路径点的匹配点。
81.有一种特殊情况:某个目标管道中心线分段的形心刚好是其上的一个骨架点。如图6所示,图中的虚线表示目标管道中心线分段,实线表示导管机器人在解剖模型中的路径,sc为目标管道中心线分段的形心并且sc为目标管道中心线分段上的一个骨架点,在这种情况下,无论模拟路径点在什么位置,连线与该目标管道中心线分段的交点一定是形心sc,也就是说对应该目标管道中心线分段的所有路径点的匹配点均为形心sc,这显然违背了匹配的本意。因此在这种情况下,不能采用交点作为匹配点。
82.s16:获取模拟路径点到投影线的第一垂足,并获取各骨架点到投影线的第二垂足,投影线为通过目标管道中心线分段两个端点的直线;选择与第一垂足之间的距离最短的第二垂足对应的骨架点作为实际路径点的匹配点。
83.若目标管道中心线分段的形心刚好是其上的一个骨架点,则按照投影距离最近的原则来选择匹配点。具体的,获取模拟路径点到投影线的第一垂足,投影线为通过目标管道中心线分段两个端点的直线,并获取各骨架点到投影线的第二垂足。选择与第一垂足之间的距离最短的第二垂足对应的骨架点作为实际路径点的匹配点。由于分段完成后,就确定了各骨架点的第二垂足和第四距离,为缩短计算时间,可以先行计算并存储管道中心线上所有骨架点的第二垂足与所属的管道中心线分段的起点/终点之间的第四距离。后续需要使用投影距离时,只需要调取目标管道中心线分段上所有骨架点的第四距离,并计算第一垂足与目标管道中心线分段的起点/终点之间的第五距离,计算第四距离与第五距离之间的差值即可得到投影距离。
84.举例说明,如图7所示,图中的实线表示导管机器人在解剖模型中的路径,虚线表示目标管道中心线分段,点划线表示投影线,模拟路径点到投影线的第一垂足为,与起点之间的第五距离为 ,骨架点 到投影线的第二垂足为,与起点之间的第四距离为,模拟路径点 与骨架点 之间的投影距离为。
85.s17:利用实际路径点及其匹配点组成的第一点对更新点对集合。
86.由于变换矩阵一般具有6个自由度,单个点对没法求出唯一解,因此需要点对集合来暂时存储多个点对以计算变换矩阵。完成匹配之后,可以用得到的点对尝试更新点对集合。一种更新方式是直接将第一点对加入点对集合。然而由于导管机器人运动的复杂性,可能出现多个路径点匹配到同一个骨架点的情况,这样不利于后续的计算。为解决这一问题,在加入点对集合之前可以先对第一点对进行判定,具体如下。
87.如图8所示,在某些实施例中,本步骤具体包括:s171:判断点对集合中是否存在包括匹配点的第二点对。
88.若不存在,则跳转到s172;若存在,则跳转到s173。
89.s172:将第一点对加入点对集合。
90.s173:根据实际路径点与匹配点计算第一距离,根据第二点对中的路径点与匹配点计算第二距离,若第一距离小于第二距离,则将第二点对替换为第一点对。
91.第一距离可以被称为第一点对的距离,第二距离可以被称为第二点对的距离。第一距离可以为当前的实际路径点对应的模拟路径点与匹配点之间的欧式距离,第二距离可以为第二点对中的路径点对应的模拟路径点与匹配点之间的欧式距离。或者,第一距离可以为当前的实际路径点对应的模拟路径点与匹配点之间的投影距离,第二距离可以为第二点对中的路径点对应的模拟路径点与匹配点之间的投影距离。
92.若第一距离大于或等于第二距离,则不修改点对集合。
93.然后可以判断更新之后的点对集合是否满足第一条件,第一条件是更新变换矩阵的条件。第一条件可以包括点对集合中的点对数量大于预设值。理论上只需要3个点对就能算出变换矩阵的唯一解,为减少误差的影响,实际应用中往往用多个点对以最小二乘法来估算变换矩阵的最优解。预设值为设定的估算变换矩阵所需的点对数量的最小值。预设值必须大于或等于3,具体取值可以按需设定,例如100、200等。
94.若点对集合满足第一条件,则跳转到s18。
95.s18:使用点对集合更新第一变换矩阵。
96.如图9所示,在某些实施例中,本步骤具体包括:s181:将点对集合中的点对代入目标函数计算最新的第二变换矩阵。
97.可以预先设计一目标函数,目标函数一般反映匹配点对的误差,然后将点对集合中的各点对代入目标函数,估算能够使得目标函数最小的变换矩阵作为最新的第二变换矩阵,或者说本轮迭代的第二变换矩阵。
98.可以使用icp常用的目标函数:(3)其中,n为点对集合中点对的总数,i为点对集合中点对的序号,i=1,2,

,n,为第i个点对中匹配点在解剖模型中的坐标,为第i个点对中实际路径点在世界坐标系中的坐标,t为变换矩阵。
99.由于人体管道有粗有细,在更粗的管道中路径相对于中心线的偏移范围就越大。为得到更准确的变换矩阵,可以在目标函数中引入人体管道的半径参数,改进的目标函数为:(4)其中,为第i个点对中实际路径点对应的模拟路径点对应的目标管道中心线分段n的平均半径。
100.s182:根据最新的第二变换矩阵更新第一变换矩阵。
101.可以直接将最新的第二变换矩阵作为更新后的第一变换矩阵。或者,为了适应动
态局部配准的情况,在计算第一变换矩阵的时候可以引入历史第二变换矩阵。可选的,第一变换矩阵为最新的第二变换矩阵与至少部分历史第二变换矩阵的加权平均值,其中最新的第二变换矩阵的权重大于历史第二变换矩阵的权重。
102.举例说明,第一变换矩阵的一种具体的计算公式为:(5)其中,m表示已完成的最新一轮迭代的序号,m表示历史迭代(最新一轮迭代之前的迭代)的序号,m=1,2,

,m-1。
103.每轮icp迭代完成之后,接下来使用更新后的第一变换矩阵来对实际路径点进行变换。
104.通过本实施例的实施,为了适应复杂的人体环境,本技术先确定与模拟路径点对应的目标管道中心线分段,以减少匹配点不在导管当前所在的管道内的错误,并且选择距离模拟路径点与目标管道中心线分段的形心之间的连线最短的一个骨架点,可以近似认为该骨架点为连线与目标管道中心线分段的交点,以此交点作为实际路径点的匹配点,能更准确的反映导管在管道内运动的路径点与管道中心线的匹配关系,提高点云配准的精确度,即得到更精确的第一变换矩阵,从而提高导管术中导航的准确性。
105.下面结合附图,基于从三维肺部ct图像(对多张肺部断层ct图像三维重建得到)中提取得到的解剖模型以及其中的气道中心线举例说明术中导航的完整过程,其中与前述实施例相同的部分不再重复。
106.气道包括气管和支气管,整体呈逐级分叉的树形结构,因此也可以被称为气道树。气管在末端分裂为左、右主支气管,主支气管分布深入左右肺中,在左、右肺中分裂为叶支气管(通常为左肺三支、右肺两支),叶支气管分裂为段支气管,逐级分裂最终至肺泡。
107.如图10所示,本技术一实施例中术中导航的流程包括:s101:获取包含气道中心线的解剖模型。
108.s102:对气道中心线进行重采样。
109.s103:从气道中心线包括的多个骨架点提取出分叉点和末端点。
110.s104:使用分叉点和末端点将气道中心线划分为多个分段。
111.s105:对世界坐标系和解剖模型进行粗配准。
112.一般通过采集少量的具有明显特征的点(例如主隆突,左肺叶和右肺叶的第一级、第二级隆突等)在世界坐标系以及解剖模型中的坐标来进行粗配准。
113.s106:利用传感器获取导管末端的实际路径点。
114.s107:使用第一变换矩阵对实际路径点进行坐标变换得到对应的模拟路径点。
115.s108:判断是否满足配准条件。
116.若满足,则跳转到s109;否则跳转到s106。
117.s109:确定与模拟路径点对应的目标分段。
118.s110:计算目标分段的形心。
119.s111:判断形心是否为目标分段上的一个骨架点。
120.若是,则跳转到s112,否则跳转到s113。
121.s112:获取模拟路径点到投影线的第一垂足,并获取目标分段包括的各骨架点到
投影线的第二垂足,投影线为通过目标分段两个端点的直线;选择与第一垂足之间的距离最短的第二垂足对应的骨架点作为实际路径点的匹配点。
122.跳转到s114。
123.s113:确定形心与模拟路径点之间的连线,从目标分段包括的多个骨架点中选择与连线之间的距离最短的一个作为实际路径点的匹配点。
124.s114:判断点对集合中是否存在包括匹配点的第二点对。
125.若不存在,则跳转到s115;否则跳转到s116。
126.s115:将实际路径点及其匹配点组成的第一点对加入点对集合。
127.跳转到s118。
128.s116:根据实际路径点与匹配点计算第一距离,根据第二点对中的路径点与匹配点计算第二距离,比较第一距离与第二距离的大小。
129.若第一距离小于第二距离,则跳转到s117;否则跳转到s118。在某些实施例中,s117:将第二点对替换为第一点对。
130.s118:判断点对集合是否满足第一条件。
131.若满足,则跳转到s119;否则跳转到s106。
132.s119:将点对集合中的点对代入目标函数计算最新的第二变换矩阵。
133.s120:计算最新的第二变换矩阵与至少部分历史第二变换矩阵的加权平均值作为更新后的第一变换矩阵。
134.跳转到s106。
135.s106-s120的过程可以被称为对世界坐标系和解剖模型的动态精配准。
136.如图11所示,在本发明一实施例中,对管道中心线分段的过程具体包括:s21:从组成管道中心线的多个骨架点中提取特征骨架点。
137.常规三维图像中,像素的位置由三维坐标(x,y,z)表示,需要用3个数来表示像素的位置,占据较大的存储空间,并且由于在查找过程中需要对3个数进行比较,对查找速度也有不利的影响。为减小存储解剖模型等三维图像所占据的空间,以及加快查询速度,本实施例中的骨架点的位置由单个数字的编码表示。
138.具体的,解剖模型中的各像素(包括骨架点在内)的编码s=x1+x2r1+x3r1r2,其中x1、x2、x3分别为像素在编码顺序第一、第二、第三的维度上的坐标,r1、r2分别为解剖模型在编码顺序第一、第二的维度上的尺寸。
139.结合附图举例说明,如图12所示,解剖模型的三个维度为x、y、z,编码顺序依次为x、y、z,则s=x1+x2r1+x3r1r2,x1为像素在x轴上的坐标,x2为像素在y轴上的坐标,x3为像素在z轴上的坐标,r1为解剖模型在x轴上的尺寸,即像素总数,r2为解剖模型在y轴上的尺寸。
140.相关技术中,对二维骨架图像提取特征点一般是先用查表法筛选出候选特征点,再从中提取特征点。查表法的原理是:二维骨架图像是二值图像,那么考虑一个像素的8邻域,包括其自身在内的3
×
3区域共有29=512种可能的排列,每种排列表示一种骨架点的分布,其中哪些排列表示该像素是端点/交叉点是已知的。设计一个3
×
3的卷积核,其中每个位置都设置为不同值,例如1、2、4、8、16、32、64、128、256,卷积之后的值是标量,与以像素为中心的3
×
3区域的排列一一对应,计算端点和交叉点对应的卷积值并存储为特征点对应表。使用时只需要使用该卷积核对二维骨架图像进行卷积,然后在得到的卷积图像中查找
特征点对应表中的卷积值,即可一次性找出所有的候选特征点。
141.然而当查表法应用到三维骨架图像(例如本技术中的解剖模型)时,由于邻域从二维的8邻域扩展到26邻域,3
×
3区域扩展到3
×3×
3区域,可能的排列的类别从29变为2
27
=134217728,表格的生成和查找都将变得非常复杂,查表法并不适用于从三维骨架图像中提取特征骨架点。
142.如图13所示,在本技术一实施例中,提出了基于区域生长法来提取特征骨架点,具体包括:s211:确定起始点。
143.起始点,也称种子点,是作为区域生长起点的骨架点。根据气道树的结构特点,一般选择气道树的起点,也就是气管入口的骨架点作为起始点。相关技术中一般需要人工选择起始点,本技术中提出了一种自动选择起始点的方法,具体如下。
144.如图14所示,在本技术一实施例中,本步骤具体包括:s2111:随机选择一体层。
145.三维ct图像由多张断层ct图像重建得到,其中每张断层ct图像对应一个解剖层。解剖模型是对三维ct图像进行图像处理而得到的,相应的,解剖模型由多个体层组成,每个体层对应一张断层ct图像的处理结果。解剖模型的一个维度(一般为z)用于区分不同的体层。
146.s2112:统计该体层在垂直于横断面的方向上两侧指定数量的层中骨架点的总数,以确定气道延伸的方向。
147.断层ct图像就是通过投影重建对横断面成像。根据气道的结构特点,可以知道在气管入口的位置,与气道延伸方向相同的一侧起始只有少量骨架点(只有气管的部分每层只有一个骨架点),随后骨架点数量迅速增多(包括支气管的部分),与气道延伸方向相反的一侧起始没有骨架点或只有少量骨架点,随后也会变为没有骨架点;气道树的终点附近骨架点数量明显减少,但单层的骨架点数量一般大于气管入口位置。据此可以确定气道延伸的方向。
148.s2113:根据体层中骨架点的总数以及气道延伸的方向寻找气管入口的骨架点作为起始点。
149.从随机选择的体层开始,根据气道延伸的方向向气管入口搜寻,直至找到气管入口的骨架点。
150.s212:从起始点开始,用区域生长法搜索骨架点并统计骨架点的连通数。
151.连通数为骨架点的邻域中所有子节点的数量。传统的三维坐标系中,骨架点与其邻域中的像素点之间的相对坐标关系是已知的,即已知某个骨架点的三维坐标,可以确定其邻域中所有像素点的三维坐标,将该相对坐标关系代入编码计算公式s=x1+x2r1+x3r1r2,即可得到骨架点与其邻域中的像素点之间的相对编码关系。
152.从起始点开始,在起始点的邻域中查找骨架点,找到的骨架点均为起始点的子节点,起始点为这些骨架点的父节点。以此类推,对于除了起始点之外的各骨架点,其邻域内必有一个父节点,其邻域内找到的骨架点中除父节点之外的为该骨架点的子节点,统计子节点的数量得到该骨架点的连通数。
153.s213:根据骨架点及其父节点的连通数确定特征骨架点。
154.若骨架点的连通数大于1,且父节点的连通数等于1,则骨架点为特征骨架点中的分叉点。若骨架点的连通数等于1,且父节点的连通数等于0,则骨架点为特征骨架点中的末端点。
155.s22:根据特征骨架点将管道中心线划分为多个管道中心线分段。
156.为除起始点之外的各特征骨架点确定其父特征点,每个管道中心线分段的两个端点为一个特征骨架点及其父特征点。为某个特征骨架点确定其父特征点的过程包括:沿着该特征骨架点的父节点的方向搜索,即寻找该特征骨架点的父节点,再寻找父节点的父节点,以此类推,找到的第一个特征骨架点即为该特征骨架点的父特征点。
157.由于管道中心线可能会有毛刺,导致提取的特征骨架点以及划分的管道中心线分段中存在错误,可选的,执行后续两个步骤以过滤错误的分段和特征骨架点。
158.s23:统计管道中心线分段中骨架点的数量。
159.s24:删除数量小于预设阈值的管道中心线分段。
160.可以为特征骨架点设置一用于表示级别的参数,每个特征骨架点的级别参数为其父特征点的级别参数加1,级别参数越小,特征骨架点的级别越高,越靠近气管。预设阈值可以是根据管道中心分段的端点的级别参数确定的。一般来说,级别参数越大的特征骨架点对应的支气管段越短,相应的,预设阈值越小。可选的,设定一级别范围,级别范围一般排除较大的级别参数,仅对端点在级别范围内的管道中心线分段进行过滤。
161.若删除某个管道中心线分段,则将其中除起点si(即两个端点中级别参数更小的一个)之外的其他骨架点均改为非骨架点,并删除起点为非骨架点的所有管道中心线分段。若删除之后si作为起点的管道中心线分段的数量等于1,则将si修改为普通的骨架点,若删除之后si作为起点的管道中心线分段的数量等于0,则将si修改为末端点。
162.本技术实施方式还提供一种导管机器人的控制系统。请参考图15,其示出了本技术一实施例提供的导管系统的控制系统的结构示意图。如图15所示,控制系统600包括:处理器60,存储器61,总线62和通信接口63,所述处理器60、通信接口63和存储器61通过总线62连接;所述存储器61中存储有可被所述处理器60执行的计算机程序指令,所述处理器60执行所述计算机程序指令时执行本技术前述任一实施方式所提供的导管机器人的配准方法。
163.其中,存储器61可能包含高速随机存取存储器(ram:random access memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
164.总线62可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器61用于存储程序,所述处理器60在接收到执行指令后,执行所述程序,前述本技术实施例任一实施方式揭示的所述导管机器人的配准方法可以应用于处理器60中,或者由处理器60实现。
165.处理器60可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路
(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61,处理器60读取存储器61中的信息,结合其硬件完成上述方法的步骤。
166.本技术实施例提供的导管机器人的控制系统与本技术实施例提供的导管机器人的配准方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
167.本技术实施方式还提供一种与前述实施方式所提供的导管机器人的配准方法对应的计算机可读存储介质,请参考图16,其示出的计算机可读存储介质6,其上存储有计算机程序指令,所述计算机程序指令在被处理器执行时,会实现前述任意实施方式所提供的导管机器人的配准方法。
168.需要说明的是,所述计算机可读存储介质的例子可以包括,但不限于光盘、相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
169.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的导管机器人的配准方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
170.本技术实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
171.需要说明的是:在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的结构和技术,以便不模糊对本说明书的理解。
172.类似地,应当理解,为了精简本技术并帮助理解各个发明方面中的一个或多个,在上面对本技术的示例性实施例的描述中,本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下示意图:即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本技术的单独实施例。
173.此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
174.以上所述,仅为本技术较佳的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,
都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
175.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以基于需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
176.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
177.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
178.在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
179.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以基于实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
180.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
181.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述
计算机可读介质包含的内容可以基于司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,基于立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
182.应当理解,当在本技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
183.还应当理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
184.如在本技术说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到所描述条件或事件”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到所描述条件或事件”或“响应于检测到所描述条件或事件”。
185.另外,在本技术说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
186.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
187.以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1