11。= [ma mb mc]A。为三角形目标区外接圆圆心的像素坐标；
[0074]其次，构造径向样条插值三维形变模型
[0075] P=[pa Pb Pc p0]Q
[0076]其中，模型参数。^^^。分别为三角形目标区的三个顶点此^^和外接圆圆 心m。在真实三维空间中的三维坐标列向量;3 XN维的输出矩阵P包含了三角形目标区N个像 素点的三维坐标，即P=[P1 p2…PN]，其中pn为像素点施对应的三维坐标；
[0077] 由步骤S4中的模型方程可知，一旦模型参数?3、？^?。、？。确定，即目标区三个顶点 和外接圆圆心的三维坐标确定，则目标区内其它像素点的三维坐标，便由三维形变模型唯 一确定。因此，在后续图像帧中，对目标区的三维跟踪，实际就简化为在每一帧中求解最优 的模型参数。一旦模型参数确定，目标区的三维形态就得以确定。
[0078] S5、获得第k帧左右图像:将立体内窥镜获取的第k帧左、右图像分别记为ILk、lRk。
[0079] S6、求解形变模型参数:基于步骤S4构造的三维形变模型，求解最优的模型参数， 使左、右图像ILk、I Rk与模板T之间最匹配，可用以下方程表示为：
[0081] 其中，为最优的模型参数，它们使目标函数I |Il-t| |2+| |IR-T| I2最小；
[0082] Ιι^??ι^π/ι) iLkCmS)…lRk(m〃2)…lRk(m%)]分 别为三角形目标区内N个点在第k帧左、右图像中的像素值排列而成的行向量，其中π/4Pm〃 n
为mn在第k帧左、右图像中的新坐标，通过下式计算：
[0083]其中，pn为像素点_对应的三维坐标，Cl和CR分别为立体内窥镜左、右相机的投影 矩阵，Φ是从三维齐次坐标到二维像素坐标的投影函数，具体定义如下：
[0085] 其中，泛、f、f代表任意的三维向量。
[0086] 本步骤中的最优参数求解，为常规的无约束最优化问题，可通过最速下降法、拟 Newton法或共辄梯度法等经典的最优化方法求解。
[0087] S7、输出目标区三维形态:将步骤(6)获得的模型参数代入模型方程， 得：
[0089] 输出矩阵P*包含了目标区N个点在第k帧时刻的三维坐标，从而获得目标区三维形 ??τ 〇
[0090] S8、k = k+1:等待下一帧图像到来，帧序号加1，然后返回步骤(5)。
[0091] 图2是图1中构造径向样条插值模型的原理示意图。
[0092] 在本实施例中，如图2所示，径向样条插值三维形变模型分解成两部分:第一部分 是线性的仿射变换，如图2(a)所示;第二部分是非线性的径向样条插值，如图2(b)所示。以 下模型方程的推导中，在步骤S4的叙述中已定义或说明过的变量在此不再赘述。
[0093]第一部分，线性仿射变换模型用方程表不为：
[0095] 其中，3XN维的输出矩阵f = 菸…包含了目标区N个像素点仿射变换 后的三维坐标，A为像素点mn(n=l，2, . . .，N)仿射变换后的三维坐标;λη(η=1，2, . . .，N) 为像素点施在三角形目标区中的重心坐标。由仿射变换原理可知：仿射变换后的目标区仍 为一平面三角形，其形态完全由三个顶点111 ￡1、1]11)、111。确定。
[0096] 第二部分，非线性形变插值，用于匹配目标区的非线性形变。设目标区外接圆圆心 由瓦点形变至P。，形变量为A - ?，其中，爲和P。均代表三维坐标值；目标区内其它像素点 的形变量可据其到外接圆圆心的像素距离通过三次样条插值获得，具体方程为：
[0097] P = [p0-p0Jsl s2 ....
[0098] 其中，3XN维的输出矩阵声包含了目标区N个像素点的非线性形变量；A为目标区 外接圆圆心经第一部分仿射变换后的三维坐标(即未发生非线性形变前的坐标），可表示： [0099] Ρ.β=[Ρα Pi, Pc]K
[0100] 由插值系数Sn的计算方程(见步骤S4)可知，在外接圆圆心处（即mn=m。时），插值系 数为1，故外接圆圆心样条插值后的坐标为P。;而在三个顶点处（即m n=ma，mb和mc时），插值系 数为0,故三个顶点在样条插值后的三维坐标仍为p a，pb和P。。由于插值系数是通过像素点mn 到外接圆圆心m。之间像素距离的三次样条函数计算获得，三次样条函数的连续性保证输出 矩阵多构成一光滑的三角形曲面，可以精确贴合软组织表面。
[0101] 将上述两部分相加，可以得到步骤S4中构造的径向样条插值模型：
[0102] 尸=户+戶=[凡β A凡]0。
[0103] 图3是本发明实施例的三维跟踪结果示意图。
[0104]如图3所示，在本实施例中，在第k=l帧左图像中，划定三角形目标区，其三个顶点 的像素坐标分别为：
[0106]目标区内共包含N=3281个像素点，外接圆圆心的像素坐标和重心坐标分别为：
[0108] 列出部分帧的跟踪结果如下：
[0109] 在第1帧，求解出形变模型参数(即三个顶点和外接圆圆心的三维坐标)分别为：
[0111] 目标区在左、右图像中的位置和在三维空间中的形态如图第一行所示。
[0112] 在第11帧，求解出形变模型参数分别为：
[0114] 当前时刻(帧）目标区在左、右图像中的位置和在三维空间中的形态如图第二行所 不。
[0115] 在第21帧，求解出形变模型参数分别为：
[0117]当前时刻（帧）目标区在左右图像中的位置和在三维空间中的形态如图第三行所 不。
[0118]在第31帧，求解出形变模型参数分别为：
[0120]当前时刻（帧）目标区在左右图像中的位置和在三维空间中的形态如图第四行所 不。
[0121]尽管上面对本发明说明性的【具体实施方式】进行了描述，以便于本技术领域的技术 人员理解本发明，但应该清楚，本发明不限于【具体实施方式】的范围，对本技术领域的普通技 术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些 变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
【主权项】
1. 一种基于径向样条插值的软组织三维视觉跟踪方法，其特征在于，包括以下步骤： (1) 、将立体内窥镜获取的首帧k=l左图像记为IL1; (2) 、确定三角形目标区 在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶点的像素坐标分别用二维列 向量表不为:ma，mb和mc;在三角形目标区内包含的N个像素点，其坐标分别记为:mi,m2,...， Ι?Ν; (3) 、保存跟踪模板 从左图像Iu中提取目标区内N个点的像素值，按顺序排列并保存为N维行向量，记为： T=[lLi(mi) lLi(m2)…Ili(i?)] 其中，IL1(mn)为左图像IL1中像素 Amn(n=l，2,…，N)的像素值； (4) 、根据步骤(3)确定的三角形目标区，构造径向样条插值三维形变模型； (4.1)、构造模型的设计矩阵其中，三维列向量人"(1!=1，2，...，《为11111在三角形目标区中的重心坐标，由下式获得 ：入。为三角形目标区外接圆圆心的重心坐标，由下式获得：sn(n = 1，2，…，N)为像素点mn的径向样条插值系数，由下式计算：其中，111。= [ma mb mc]A。为三角形目标区外接圆圆心的像素坐标； (4.2 )、构径向样条插值三维形变模型 P=[pa pb pc p〇]Q 其中，模型参数Pa、Pb、Pc、p。分别为三角形目标区的三个顶点ma、mb、mc，和外接圆圆心m。 在真实三维空间空间中的三维坐标列向量;3 XN维的输出矩阵P包含了三角形目标区N个像 素点的三维坐标，即P=[P1 p2…PN]，其中pn为像素点施对应的三维坐标； (5) 、将立体内窥镜获取的第k帧左、右图像分别记为ILk、iRk ; (6) 、基于步骤(4)构造的三维形变模型，求解最优的模型参数，使左、右图像ILk、IRk与模 板T之间最匹配，可用以下方程表示为：其中，"式,式为最优的模型参数，它们使目标函数| |IL-T| |2+| |IR-T| |2最小； iLkCmS) ... lRk(m〃2) ... lRk(m%)]分别为 三角形目标区内N个点在第k帧左、右图像中的像素值排列而成的行向量，其中π/ 在第k帧左、右图像中的新坐标； (7) 、输出目标区三维形态 将步骤(6)获得的模型参数K，代入模型方程，得：输出矩阵P*包含了目标区N个点在第k帧时刻的三维坐标，从而获得目标区三维形态； (8) 、k = k+l:等待下一帧图像到来，帧序号加1，然后返回步骤(5)。2. 根据权利要求1所述的基于径向样条插值的软组织三维视觉跟踪方法，其特征在于， 所述的步骤(6)中，像素点施在第k帧左、右图像中的新坐标n/4Pm〃 n的计算方法为：其中，pn为像素点施对应的三维坐标，CL和CR分别为立体内窥镜左、右相机的投影矩阵， Φ是从三维齐次坐标到二维像素坐标的投影函数，具体定义如下：其中，5、在、石代表任意的三维向量。3. 根据权利要求1所述的基于径向样条插值的软组织三维视觉跟踪方法，其特征在于， 所述的径向样条插值三维形变模型包括线性仿射变换模型和非线性的径向样条插值； 所述的性仿射变换模型％ ·其中，3XN维的输出矩矩阵 >=[；再込···包含了目标区N个像素点仿射变换后 的三维坐标，A为像素点mn(n=l，2,. . .，N)仿射变换后的三维坐标； 所述的非线性的径向样条插值为:设三角形目标区的外接圆圆心由氕点形变至P。，形 变量为A -? ;目标区内其它像素点的形变量可据其到外接圆圆心的像素距离通过三次样 条插值获得，具体方程为：其中，％(11=1，2，一，《为像素点11111的径向样条插值系数，3\赠隹的输出矩阵#包含了 三角形目标区N个像素点的非线性形变量；A为目标区外接圆圆心经第一部分仿射变换后 的三维坐标可表示：其中，λ。为三角形目标区外接圆圆心的重心坐标； 将性仿射变换模型与非线性的径向样条插值相加，得到径向样条插值三维形变模型Ρ:
【专利摘要】本发明公开了一种基于径向样条插值的软组织三维视觉跟踪方法，在基于软组织图像的三角形目标区下，构造了一种低复杂度的非线性空间的三维形变模型，在每一帧图像下通过快速求解出三维形变模型的最优参数，实现对软组织图像的目标区域实时、准确的三维视觉跟踪，具有简单、灵活等特点，符合当前临床医疗发展的需要。
【IPC分类】A61B34/10, A61B34/20
【公开号】CN105616003
【申请号】CN201510982502
【发明人】杨波, 郑文锋, 刘珊
【申请人】电子科技大学
【公开日】2016年6月1日
【申请日】2015年12月24日