一种基于径向样条插值的软组织三维视觉跟踪方法
【技术领域】
[0001 ]本发明属于视觉跟踪技术领域，更为具体地讲，涉及一种基于径向样条插值的软 组织三维视觉跟踪方法。
【背景技术】
[0002] 近年来，以内窥镜手术为代表的微创手术越来越多的用于临床医疗。在这类手术 中，医生通过观察探入内窥镜反馈回的实时影像，操控微创手术器械完成复杂的心脏外科 手术。
[0003] 以脱栗冠脉搭桥术(off pump CABG)为例，这种心脏不停跳的手术可使患者摆脱 人工心肺机，降低体外循环对患者身体的损害，降低并发症的风险，缩短患者的康复时间。 但是由于直接视觉的缺失，手术医生无法准确、直观的感知跳动心脏表面手术区域的三维 运动，这给完成复杂精细的手术操作带来困难。
[0004] 为了给手术医生提供实时、准确的软组织三维运动信息，国外学者尝试利用各种 传感器跟踪软组织的三维运动。由于微创手术空间狭小，无法植入大型三维扫描设备，人体 软组织结构复杂又含较多的非线性形变，软组织三维跟踪成为医学工程领域中的难点。在 不需要额外测量设备，基于立体内窥镜的软组织三维视觉跟踪逐渐受到科研和临床界的重 视 。W.Lau等在文献〈〈Stereo-based endoscopic tracking of cardiac surface deformation》中利用B样条模型基于立体内窥镜影像对心脏表面形变进行三维跟踪， D · Stoyanov等在文献〈〈A practical approach towards accurate dense 3-D depth recovery for robotic laparoscopic surgery》中则使用分片双线性映射模型在机器人 辅助内窥镜手术中对心脏表面进行三维重构和跟踪，R.Richa等在文献《Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model》中使用薄板样条模型跟踪跳动心脏表面的运动。
[0005] 然而，上述方法中所采用的形变模型通常较为复杂，很难实时应用；同时由于模型 较复杂，在每一帧模型参数求解时，往往无法获得最优的参数解，甚至导致迭代求优算法无 法收敛，最终导致跟踪失败。而现有的简单形变模型，如线性仿射变换模型，在用于跟踪时 通常可以满足实时性要求，但由于无法准确描述软组织表面的非线性形变，因而无法获得 精确的三维跟踪结果。
【发明内容】
[0006] 本发明的目的在于克服现有技术的不足，提供一种基于径向样条插值的软组织三 维视觉跟踪方法，通过构造了一种低复杂度的非线性空间形变模型，可以在每一帧快速的 求解出模型参数，实现对软组织目标区域实时、准确的三维视觉跟踪。
[0007] 为实现上述发明目的，本发明一种基于径向样条插值的软组织三维视觉跟踪方 法，其特征在于，包括以下步骤：
[0008] (1)、将立体内窥镜获取的首帧k = 1左图像记为IL1;
[0009] (2)、确定三角形目标区
[0010] 在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶点的像素坐标分别用二 维列向量表示为:m a，mb和mc;在三角形目标区内包含的N个像素点，其坐标分别记为:nu， m2，· · ·，Ι?Ν;
[0011] (3)、保存跟踪模板
[0012] 从左图像IL1中提取目标区内N个点的像素值，按顺序排列并保存为N维行向量，记 为：
[0013] T=[lLi(mi) lLi(m2) ... iLi(mN)]
[0014] 其中，lLi(mn)为左图像Ili中像素点mn(n = l，2,…，N)的像素值；
[0015] (4)、根据步骤(2)确定的三角形目标区，构造径向样条插值三维形变模型；
[0016] (4.1)、构造模型的设计矩阵
[0018]其中，三维列向量λη(η= 1，2，. . .，N)为施在三角形目标区中的重心坐标，由下式获 得：
[0020] λ。为三角形目标区外接圆圆心的重心坐标，由下式获得：
[0022] 8η(η=1，2，···，Ν)为像素点施的径向样条插值系数，由下式计算：
[0024]其中，111。= [ma mb mc]A。为三角形目标区外接圆圆心的像素坐标；
[0025] (4.2 )、构造径向样条插值三维形变模型
[0026] P=[pa pb pc p0]Q
[0027]其中，模型参数口3，、口。、口。分别为三角形目标区的三个顶点1113、1111 )、111。，和外接圆圆 心m。在真实三维空间中的三维坐标列向量;3 XN维的输出矩阵P包含了三角形目标区N个像 素点的三维坐标，即P=[P1 p2…PN]，其中pn为像素点施对应的三维坐标；
[0028] (5)、获得第k帧的左右图像
[0029] 将立体内窥镜获取的第k帧左、右图像分别记为ILk、IRk; (6)、基于步骤⑷构造的 三维形变模型，求解最优的模型参数，使左、右图像ILk、IRk与模板T之间最匹配，可用以下方 程表示为：
[0031] 其中，;为最优的模型参数，它们使目标函数I |Il-t| |2+| |IR-T| I2最小；
[0032] Il= [ iLkCn/l) iLkCn/2) · · · iLkCn/n) ]、Ir= [ lRk(m〃i) lRk(m〃2) · · · lRk(m%)]分 别为三角形目标区内N个点在第k帧左、右图像中的像素值排列而成的行向量，其中π/4Pm〃n 为mn在第k帧左、右图像中的新坐标；
[0033] (7)、输出目标区三维形态
[0034] 将步骤(6)获得的模型参数代入模型方程，得：
[0035] Ρ^=[? pi P* Po'lQ
[0036] 输出矩阵P*包含了目标区N个点在第k帧时刻的三维坐标，从而获得目标区三维形 态；
[0037] (8)、k = k+l:等待下一帧图像到来，帧序号加1，然后返回步骤(5)。
[0038]进一步的，所述的步骤(6)中，像素点施在第k帧左、右图像中的新坐标n/ JPm"n的 计算方法为：
[0040]其中，pn为像素点_对应的三维坐标，α和CR分别为立体内窥镜左、右相机的投影 矩阵，Φ是从三维齐次坐标到二维像素坐标的投影函数，具体定义如下：
[0042]其中，?、F、泛代表任意的三维向量。
[0043]本发明的发明目的是这样实现的：
[0044]本发明基于径向样条插值的软组织三维视觉跟踪方法，在基于软组织图像的三角 形目标区下，构造了一种低复杂度的非线性空间的三维形变模型，在每一帧图像下通过快 速求解出三维形变模型的最优参数，实现对软组织图像的目标区域实时、准确的三维视觉 跟踪，具有简单、灵活等特点，符合当前临床医疗发展的需要。
[0045] 同时，本发明基于径向样条插值的软组织三维视觉跟踪方法还具有以下有益效 果：
[0046] (1)、运算量低、实时性好：由于所构造的径向样条插值模型仅有四个控制点，即三 个顶点加外接圆圆心，共3X4个模型参数，求解简单快速，因此可以在每一帧实时求解模型 参数，实现对目标区的实时三维跟踪。
[0047] (2)、跟踪准确性好:尽管所采用的形变模型较简单，但其包含线性仿射变换和非 线性径向三次样条插值两部分;在第二部分使用的三次样条曲线可以较好的拟合软组织表 面的非线性特性;因此可以获得较好的跟踪结果。
[0048] (3)、模型参数具有实际物理意义，可在每一帧直接获得目标区三个顶点和外接圆 圆心的三维坐标，方便对跟踪结果的直接使用。
[0049] (4)、采用三角形目标区，目标区划定更灵活，容易避开易对跟踪产生不利影响的 无特征或动态特征区域，以及容易被手术器械遮挡的区域。
【附图说明】
[0050] 图1是本发明基于径向样条插值的软组织三维视觉跟踪方法流程示意图；
[0051] 图2是图1中构造径向样条插值模型的原理示意图；
[0052]图3是本发明实施例的三维跟踪结果示意图。
【具体实施方式】
[0053]下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0054] 实施例
[0055] 本发明的基本思想是通过构造一种简单的空间形变模型快速匹配软组织目标区 在当前帧的三维形态，实现实时的三维视觉跟踪。所构造的形变模型包含两部分:第一部分 为线性仿射变换，第二部分为非线性的三次样条插值。尽管模型简单、复杂度低，仅需求解 四个(三个顶点加外接圆圆心)控制点的三维坐标(共12个模型参数），但是由于利用了三次 样条函数匹配软组织表面的非线性形变，因此可以实现对软组织目标区的实时、精确三维 跟踪。
[0056] 下面结合附图对本发明进行详细说明，具体如下：
[0057]图1是本发明基于径向样条插值的软组织三维视觉跟踪方法流程示意图。
[0058]在本实施例中，如图1所示，本发明一种基于径向样条插值的软组织三维视觉跟踪 方法具体包括以下流程：
[0059] S1、获取k = 1帧左图像:将立体内窥镜获取的首帧(k = 1)左图像记为IL1。
[0060] S2、确定三角形目标区：在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶 点的像素坐标分别用二维列向量表示为:m a，mb和mc;在三角形目标区内包含的N个像素点， 其坐标分别记为:mi，m2，· . ·，mN。
[0061] S3保存跟踪模板:从图像Iu中提取目标区N个像素点的像素值，按其位置顺序(如 从左至右或由上而下)排列并保存为N维行向量，记为：
[0062] T=[lLi(mi) lLi(m2)…iLi(mN)]
[0063] 其中，IL1(mn)为左图像IL冲像素 Amn(n = l，2,…，N)的像素值。
[0064] S4、构造径向样条插值模型:根据步骤S2确定的目标区，构造径向样条插值三维形 变模型；
[0065]首先，构造模型的设计矩阵
[0067]其中，三维列向量λη(η= 1，2，. . .，N)为施在三角形目标区中的重心坐标，由下式获 得：
[0069] λ。为三角形目标区外接圆圆心的重心坐标，由下式获得：
[0071] 8η(η=1，2，···，Ν)为像素点施的径向样条插值系数，由下式计算：
[0073]其中，1