一种基于机器人视觉的移动目标追踪方法及装置与流程
本发明涉及基于机器人视觉的目标追踪技术领域，具体涉及一种基于机器人视觉的移动目标追踪方法、装置以及计算机存储介质。
背景技术：
在机器人工作过程中，当待定位目标是移动的、定位精度要求较高时，往往需要对移动目标进行辅助定位追踪。例如在利用手术机器人进行经外科手术时，对病灶定位精度要求高的术式，例如，seeg和dbs等复杂术式，如果患者或者操作机械臂之间发生相对位移，那么可能会导致注册失败，术中导航偏移等问题，从而使对靶点定位误差增大的严重后果，因此需要进行器械追踪与导航实现机器人辅助定位。为了降低手术风险，规避相对位移的问题，需要对其位置进行实时、高精度的定位并对术中路径修正，其追踪与导航的准确率直接关系到整个系统的精度和手术的成败。
目前常用的跟踪定位方法有两种，分别是电磁定位和光学定位。电磁定位是利用电磁感应原理，通过探测器接收由磁场发生器发射的磁场信号来实现对目标的定位。该方法定位精度较高，属于非接触式定位，但定位磁场易受磁性物体扰乱，影响定位精度。电磁定位产品有ndi公司的aurora系统、polhemus公司的fastrak系统等，目前精度达到了0.48mm。光学定位一般采用红外模式，以摄像机作为传感器，对捕捉到的光信息进行测量追踪，该方法的优点是定位精度高，视野大；缺点是摄像机和测量目标之前的光线易受遮挡而导致定位失效，光学定位是目前主流的定位方法，产品有ndi公司的prolaris系统、atracsys公司的accutrack系统等，目前精度达到了0.25mm。对比而言，基于光学定位的系统更适用于神经外科手术对精度的要求。在排除遮挡对定位的干扰外，基于光学立体定位系统的精度在测试过程中依旧会引入较大误差，其主要原因主要是标定点的坐标并不是实际的二维图像坐标，并且在成像过程中，标定点本身也会发生形变，从而导致定位准确性无法满足高精度的要求。
技术实现要素：
本发明的目的在于克服上述技术不足，提供一种基于机器人视觉的移动目标追踪方法、装置以及计算机存储介质，解决现有技术中光学定位时光纤易受遮挡导致定位失效的技术问题。
为达到上述技术目的，本发明的技术方案提供一种基于机器人视觉的移动目标追踪方法，包括以下步骤：
获取待追踪目标上标定点的双目图像；
分别提取所述双目图像的两幅视图中与所述标定点相对应的特征点，分别判断两幅视图中的特征点数量是否少于设定数量，如果其中一幅视图中特征点的数量少于设定数量，则根据另一幅视图中特征点对缺失的特征点进行补充；
基于补充后的特征点建立目标坐标系，并计算目标坐标系与世界坐标系之间的转换关系，基于所述转换关系对所述移动目标进行追踪。
本发明还提供一种基于机器人视觉的移动目标追踪装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述基于机器人视觉的移动目标追踪方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述基于机器人视觉的移动目标追踪方法。
与现有技术相比，本发明的有益效果包括：本发明通过对双目图像两幅视图中特征点数量的判断，自动判定是否可以完成追踪定位，如果其中一幅视图缺少特征点，即该视图存在标定点被遮挡的情况，那么就无法直接进行标定追踪。此时，根据另一视图中特征点对缺失的特征点进行补充，补充完后即可进行追踪定位。因此本发明可以实现特征点的自动补充，在部分特征点被遮挡的情况下仍然可以实现对目标的追踪定位。
附图说明
图1是本发明提供的基于机器人视觉的移动目标追踪方法一实施方式的流程图；
图2是本发明提供的采用极线约束匹配法补充特征点一实施方式的原理示意图；
图3是本发明提供的目标坐标系一实施方式的坐标系建立原理图；
图4是本发明提供的用于建立目标坐标系的标定点一实施方式的标定点相对位置关系图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了基于机器人视觉的移动目标追踪方法，包括以下步骤：
s1、获取待追踪目标上标定点的双目图像；
s2、分别提取所述双目图像的两幅视图中与所述标定点相对应的特征点，分别判断两幅视图中的特征点数量是否少于设定数量，如果其中一幅视图中特征点的数量少于设定数量，则根据另一幅视图中特征点对缺失的特征点进行补充；
s3、基于补充后的特征点建立目标坐标系，并计算目标坐标系与世界坐标系之间的转换关系，基于所述转换关系对所述移动目标进行追踪。
具体的，基于双目视觉图像进行定位的方法，是仿照人类双目感知距离的方法，通过双目摄像机获取固定在手术操作对象上的标定点图像，检测出其二维图像坐标，再根据立体视觉原理，结合摄像机标定的结果得出标定点的三维坐标。通常标定点采用表面由大量微小的“全反光镜”的结构实现，目标本身是无源的，在红外摄像机照射下，这些“全反射镜微粒”把光线反射入相机，使成像质量大为提高。在神经外科手术中，标定点被固定在患者与机器人的机械臂上，从而根据标定点实现机械臂与患者的追踪定位，进而计算确定机械臂末端连接的器械相对于患者的位置关系。
在双目立体定向的前提下，优选通过增加标定点数量，使得在部分标定点遮挡的情况下仍然可以完成对目标的准确定位与跟踪。然而，如果增加了标定点的数量，但是双目图像中拍摄到的标定点数量仍然少于进行追踪定位所需的最少数量(即设定数量，例如3个)，那么就需要对特征点进行补充，才能进行后续追踪定位。由于双目图像的两幅视图是符合极线约束的，因此本实施例采用极线约束匹配法对缺失特征点进行补充，从而弥补由于遮挡等外界因素导致的定位误差，减少定位校正的次数，从而缩短了定位时间，提高追踪定位的准确性。
优选的，如果两幅视图中特征点的数量均少于设定数量，则判定无法进行追踪，并输出报警信号。
如果两张视图的特征点均小于三个，无法进行追踪定位，将触发系统警告。
优选的，如果两幅视图中特征点的数量均不少于设定数量，则直接基于提取的特征点进行移动目标的追踪。
通过对两幅视图特征点数量的判断，自动判定是否可以完成重建任务。如果两张视图中的特征点均不少于三个，就认为可以直接进行追踪定位。
优选的，本方法还包括：对摄像机进行标定，获取标定参数，根据所述标定参数对所述特征点进行校正。
在排除遮挡对定位干扰的基础上，本实施例通过对摄像机进行标定，对成像过程中引入的误差进行校正，规避了由于镜头形状导致的径向畸变和由镜头与探测器平面不平行而引入的切向畸变的问题。该误差的主要原因是标定点的坐标并不是实际的二维图像坐标，并且在成像过程中，标定点本身也会发生形变，从而导致定位精度被拉低。
优选的，根据所述标定参数对所述特征点进行校正，包括：
根据所述标定参数对所述特征点的坐标进行校正，以补偿镜头形状带来的径向畸变和/或镜头与探测器平面的不平行带来的切向畸变。
具体的，径向校正前的图像坐标为(x,y)，径向校正后的图像坐标为：
其中，(x,y)为径向校正前的图像坐标，(xr,yr)为径向校正后的图像坐标，
切向校正前的图像坐标为(x,y)，切向校正后的图像坐标为：
其中，(x,y)为切向校正前的图像坐标，(xt,yt)为径向校正后的图像坐标，p1、p2均为切向畸变系数。
摄像机标定是实现立体视觉的基础，其目的是获取摄像机的成像参数，摄像机的成像过程可以利用针孔模型给出。为了使针孔模型更符合摄像机的实际成像过程需要在该模型中补充镜头畸变，包括径向畸变和切向畸变。径向畸变源自镜头的形状，切向畸变来自于镜头与探测器平面的不平行。
利用摄像机标定算法，可以计算出摄像机的成像参数，常用的摄像机标定方法有两种：tsai两步标定法和张正友平面标定法。在进行双目立体视觉系统标定时，张正友平面标定法能够确定两摄像机的位置关系，经立体校正后可实现基于三角测量原理的深度测量，因此本实施例选取张正友平面标定法对摄像机进行标定。标定后得到成像参数，成像参数包括径向畸变系数和切向畸变系数，根据径向畸变系数和切向畸变系数对特征点的坐标进行校正。
优选的，根据另一幅视图中特征点对缺失的特征点进行补充，具体为：
获取两幅视图的投影中心连线与两幅视图的交点，作为两幅视图的极点；
获取缺失特征点在完整视图中对应的特征点，作为匹配点；
获取所述匹配点与完整视图上极点的连线，作为匹配极线；
所述缺失特征点位于相应视图中与所述匹配极线相对应的极线上，即满足极线约束关系式；
将所述匹配点坐标代入所述极线约束关系式得到所述缺失特征点的坐标，实现缺失特征点的补充。
本实施例基于极线约束，对缺失特征点进行补充。具体如图2所示，p1和p2是空间任意点p在左右两个摄像机的投影点，在已知两个摄像机的投影矩阵m1和m2的情况下，可以得到两个成像公式，通过求解四个线性成像方程再利用线性最小二乘法可以求解出成像坐标最优解。但由于在计算机立体视觉中，不同摄像机对应的视图中，一个空间点会有不同的像点，在多个空间点同时定位的情况下，需立体匹配方法将每个空间点对应的像点坐标从多幅视图中建立一一对应关系，这是实现空间点坐标重建的前提。
在采用近红外成像得到双目图像时，图像中仅有灰度信息且空间点周围区域特征不明显，导致依赖区域相似性的匹配方法难以正常工作，极线约束匹配方法仅由相机间的空间位置关系决定，不受颜色、灰度等因素的影响，因此，本实施例选择极线约束匹配法进行缺失特征点的补充。在图2中，两个摄像机的投影中心o1和o2的连线与两个投影面的交点e1和e2称为极点。空间点p在同一视图上的投影点与极点之间的连线为极线，给定一个投影点，例如投影点p1的极线，则另一幅视图上的匹配投影点p2必定在匹配极线(投影点p1与极点e1的连线)的对应极线上，即投影点p1与投影点p2满足极线约束关系式。
具体的，极线约束关系式借助基础矩阵可以表示为：
其中，q1为投影点p1的坐标组成的向量，q2为投影点p2的坐标组成的向量，
基础矩阵f为：
其中，m1为投影点p1对应的摄像机的投影矩阵，m2为投影点p2对应的摄像机的投影矩阵，
旋转矩阵r为：
其中，r1为投影点p1对应的摄像机的旋转矩阵，r2为投影点p2对应的摄像机的旋转矩阵，
平移向量j为：
其中，t1为投影点p1对应的摄像机的平移向量，t2为投影点p2对应的摄像机的平移向量。
因此，基于极线约束关系，如果两个投影点中，已知一个投影点的坐标，将其代入极线约束关系式，即可以求出另一个投影点的坐标。在实际应用中因为存在误差，极限约束关系式
优选的，基于补充后的特征点建立目标坐标系，具体为：
选取三个非共线的特征点，通过其中一个特征点做另两个特征点连线的垂线，以垂足作为原点，以垂线作为x轴方向，以连线作为y轴方向，以过原点且垂直于三个特征点所在平面的射线作为z轴方向，得到所述目标坐标系。
三标定点手术器械标定是利用非共线三点确定一个平面，进而建立器械坐标系(即目标坐标系)，最终求取工作点在该坐标系下的坐标实现器械标定，是一种典型的手术器械标定方法。本实施例中设置的标定点数量大于设定数量(三个)，即追踪定位所需的最少数量，因此即使部分标定点被遮挡，只要未被遮挡的数量不少于设定数量即可进行标定。具体的，以图3为例，图3中设置了四个标定点，在标定点c被遮挡的情况下，过b作线段ad的垂线，垂足为o，位于线段bc上，在以点o、b、d确定的平面上，定义o为原点，向量
值得注意的是，本发明提出的四个共面标定点的手术器械，其四个标定点应构成不对称的四边形，可参考图3、图4的两种构型。考虑到术中操作时存在遮挡问题，为保证定位的精确度，要求未被遮挡的三个标定点同样应构成不对称三角形。
优选的，计算目标坐标系与世界坐标系之间的转换关系，基于所述转换关系对所述移动目标进行追踪，具体为：
获取特征点在世界坐标系下的世界坐标，获取特征点在目标坐标系下的局部坐标，结合所述世界坐标以及局部坐标计算所述目标坐标系与所述世界坐标系之间的旋转矩阵以及平移向量，得到所述转换关系；
获取特征点与待追踪目标的工作点之间的相对位置关系，根据结合所述局部坐标以及所述相对位置关系计算所述工作点的坐标；
结合所述转换关系以及所述工作点的坐标对所述工作点进行追踪。
在手术场景下，对手术器械进行定位追踪的最终目的是获取手术器械工作点，一般为机械臂末端器械与患者的相对位置与方向信息。由于工作点要深入病灶无法直接测量，因此，需建立手术器械的标定点与工作点之前的空间关系，这就是手术器械标定。患者标定的原理与手术器械类似，标定点被固定在离病灶点较近的部位以追踪在术中病灶点随患者的轻微移动。建立了目标坐标系后即可获取特征点的局部坐标，特征点世界坐标系可以通过极线约束匹配法进行计算、补全，因此可以进一步计算出器械坐标系相对于世界坐标系的旋转矩阵和平移向量，基于旋转矩阵和平移向量实现对工作点的追踪。
实施例2
本发明的实施例2提供了基于机器人视觉的移动目标追踪装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的基于机器人视觉的移动目标追踪方法。
本发明实施例提供的基于机器人视觉的移动目标追踪装置，用于实现基于机器人视觉的移动目标追踪方法，因此，基于机器人视觉的移动目标追踪方法所具备的技术效果，基于机器人视觉的移动目标追踪装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的基于机器人视觉的移动目标追踪方法。
本发明实施例提供的计算机存储介质，用于实现基于机器人视觉的移动目标追踪方法，因此，基于机器人视觉的移动目标追踪方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！