三目视觉识别追踪装置及方法与流程

本发明涉及机械视觉识别追踪领域，具体涉及一种三目视觉识别追踪装置及方法。

背景技术：

现有的机械视觉识别追踪通常采用单目或双目摄像头来对目标物体进行特征点提取，然后对该特征点进行识别及追踪，采用单目摄像头时，识别精度差，目标物体(非单一颜色)相对于机器视觉(图像采集设备)发生过大角度变化时，会丢失目标，采用双目摄像头时，可以基于双目摄像头计算深度信息，提高识别精度。但是由于线长度(两台摄像头之间距离)的影响，以及算法复杂的原因，使用场景受限，现有技术方案，在对目标物体为非单一色系物体，自身相对于摄像头存在不规则运动时(左右大幅度摇摆，上下大幅度摇摆)，识别追踪精度低。

技术实现要素：

鉴于上述技术问题，为了克服上述现有技术的不足，本发明提出了三目视觉识别追踪装置及方法。

根据本发明的一个方面，提供一种三目视觉识别追踪装置，包括：三目摄像头，用于捕获立体目标的正面图像、左侧图像以及右侧图像；处理装置，对所述图像进行处理实现目标的识别追踪。

在一些实施例中，所述三目摄像头包括：主摄像头，用于捕获立体目标的正面图像；左摄像头，位于所述主摄像头左侧，用于捕获立体目标的左侧图像；以及右摄像头，位于所述主摄像头右侧，用于捕获立体目标的右侧图像；所述左侧图像的右侧部分与正面图像的左侧部分相重叠，以及所述右侧图像的左侧部分与正面图像的右侧部分相重叠。

在一些实施例中，所述处理装置包括：特征点提取单元，用于分别从正面图像、左侧图像以及右侧图像中针对每一帧提取特征点；特征点重组单元，对三幅图像提取的当前帧特征点进行局部匹配，构建立体目标的当前帧特征点矩阵；以及匹配单元，匹配主摄像头图像后一帧的正面图像的特征点与所述当前帧特征点匹配矩阵，形成匹配特征点矩阵，若匹配特征点矩阵的中心与所述当前帧特征点矩阵的中心偏移，则特征点重组单元更新所述当前帧特征点矩阵。

在一些实施例中，所述处理装置还包括：特征点聚类单元，对所述特征点提取单元提取的当前帧特征点进行聚类，所述特征点重组单元对聚类后的特征点进行局部匹配。

在一些实施例中，所述特征点提取单元采用正向光流和逆向光流追踪来提取所述特征点，根据预定算法提取各帧的初始特征点，设定第一阙值，对图像中相邻两帧前一帧中每一初始特征点的原点追踪至后一帧对应的点，再由所述对应的点追至前一帧中对应的回溯点，仅提取原点与回溯点之间的欧氏距离小于第一阙值的初始特征点作为后一帧图像的特征点。

在一些实施例中，对三幅图像提取的特征点进行局部匹配，构建立体目标的特征点矩阵包括：

基于正面图像提取的特征和左侧图像提取的特征点相同或高度相似的特征点，以及正面图像提取的特征和右侧图像提取的特征点相同或高度相似的特征点构建立体目标的特征点矩阵，所特征点矩阵从左至右依次包括左侧图像独有的特征点，正面图像和左侧图像的相同或高度相似的特征点，正面图像独有的特征点，正面图像和右侧图像的相同或高度相似的特征点，以及右侧图像独有的特征点。

根据本发明的另一方面，提供一种三目视觉识别追踪方法，包括：捕获立体目标的正面图像、左侧图像以及右侧图像；分别从正面图像、左侧图像以及右侧图像各帧中提取特征点；对三幅图像提取的当前帧特征点进行局部匹配，构建立体目标的当前帧特征点矩阵；以及匹配主摄像头图像后一帧的正面图像的特征点与所述当前帧特征点匹配矩阵，形成匹配特征点矩阵，若匹配特征点矩阵的中心与所述当前帧特征点矩阵的中心偏移，则特征点重组单元更新所述当前帧特征点矩阵。

在一些实施例中，在提取特征点和构建特征点矩阵之间还包括：

对所述提取的当前帧特征点进行聚类，对聚类后的特征点进行局部匹配。

在一些实施例中，所述分别从正面图像、左侧图像以及右侧图像各帧中提取特征点包括：采用正向光流和逆向光流追踪来提取所述特征点，根据预定算法提取各帧的初始特征点，设定第一阙值，对图像中相邻两帧前一帧中每一初始特征点的原点追踪至后一帧对应的点，再由所述对应的点追至前一帧中对应的回溯点，仅提取原点与回溯点之间的欧氏距离小于第一阙值的初始特征点作为后一帧图像的特征点。

在一些实施例中，对三幅图像提取的当前帧特征点进行局部匹配，构建立体目标的当前帧特征点矩阵包括：

基于正面图像提取的特征和左侧图像提取的特征点的相同或高度相似的特征点，以及正面图像提取的特征和右侧图像提取的特征点的相同或高度相似的特征点构建立体目标的特征点矩阵，所述特征点矩阵从左至右依次包括左侧图像独有的特征点，正面图像和左侧图像的相同或高度相似的特征点，正面图像独有的特征点，正面图像和右侧图像的相同或高度相似的特征点，以及右侧图像独有的特征点。

从上述技术方案可以看出，本发明至少具有以下有益效果：

基于三摄像头的目标物体识别追踪方式，摄像头之间可相对移动，大大地降低使用场景的限制，提高了目标物体相对于摄影头发生大范围不规则运动时的识别追踪鲁棒性；

通过实时更新特征点矩阵，可以实现对目标物体的广角度追踪，提高识别追踪精度。

附图说明

图1为本发明一实施例中的三目视觉识别追踪装置的三目摄像头排布的结构示意图；

图2为本发明一实施例中三目视觉识别追踪装置的处理装置的结构框图；

图3为本发明一实施例从正面图像、左侧图像以及右侧图像中提取特征点的示意图；

图4为本发明一实施例采用正向光流和逆向光流追踪来提取所述特征点的示意图；

图5为本发明一实施例中匹配成功的特征点矩阵z相对于当前帧聚类后特征点矩阵m的位置示意图；

图6为本发明一实施例中更新后聚类后特征点矩阵m’的示意图；

图7为本发明另一实施例三目视觉识别追踪方法的流程图。

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明实施例提供一种三目视觉识别追踪装置，包括三目摄像头和处理装置，三目摄像头用于捕获立体目标的正面图像、左侧图像以及右侧图像，处理装置，对所述图像进行处理实现目标的识别追踪。基于三摄像头的目标物体识别追踪方式，摄像头之间可相对移动，可以降低使用场景的限制，提高目标物体相对于摄影头发生大范围不规则运动时的识别追踪鲁棒性。

图1为本发明一实施例中的三目视觉识别追踪装置的三目摄像头排布的结构示意图，如图1所示，三目摄像头10包括主摄像头11，左摄像头12以及右摄像头13。主摄像头11用于捕获立体目标20的正面图像；左摄像头12位于所述主摄像头11左侧，用于捕获立体目标20的左侧图像，右摄像头13，位于所述主摄像头11右侧，用于捕获立体目标20的右侧图像，左侧图像的右侧部分与正面图像的左侧部分相重叠，以及右侧图像的左侧部分与正面图像的右侧部分相重叠，本实施例中立体目标20可以为人体。

图2为本发明一实施例中三目视觉识别追踪装置的处理装置的结构框图，如图2所示，处理装置30包括特征点提取单元31、特征点聚类单元32、特征点重组单元33以及匹配单元34。

特征点提取单元31，分别从正面图像、左侧图像以及右侧图像的各帧中提取特征点。

图3为本发明一实施例从正面图像、左侧图像以及右侧图像中提取特征点的示意图，图3所示，分别从正面图像111、左侧图像121以及右侧图像131的当前帧中提取特征点，如图3所示，c为正面图像111与左侧图像121重叠覆盖区域，d为正面图像111与左侧图像131重叠覆盖区域。因此，从正面图像、左侧图像提取的特征点存在部分相同或高度相似的特征点，从正面图像、右侧图像提取的特征点亦存在部分相同或高度相似的特征点。

具体地，特征点提取单元31采用正向光流和逆向光流追踪来提取所述特征点，图4示出了本发明一实施例采用正向光流和逆向光流追踪来提取所述特征点的示意图，首先根据预定算法提取各帧的初始特征点，起始帧的初始点作为其特征点，后续各帧的特征点由前一帧的初始特征点确定，如图4所示设定第一阙值a，对相邻两帧图像中前一帧(例如为第t-1帧，t为正整数，且t≥2)某一初始特征点的原点a进行正向光流追踪，追踪至后一帧(例如为第t帧)对应的点b，再由所述对应的点进行后向光流追踪，追踪至前一帧(第t帧)对应的回溯点a’，计算原点a与回溯点a’之间的欧式距离d并与第一阙值a比较，若该欧式距离d大于第一阙值a，则该特征点为追踪效果不好的初始特征点，将其排除，若该欧式距离d大于第一阙值a，则该特征点为追踪效果好的特征点，将其设置为第t帧的特征点，历遍所有前一帧的初始特征点，获得当前帧的全部特征点。采用上述方式分别获取正面图像111、左侧图像121以及右侧图像131当前帧的(第t帧)特征点。后续各帧的特征点采用相同方法获得。

特征点聚类单元32分别对提取的正面图像、左侧图像以及右侧图像当前帧(第t帧)特征点进行聚类。

具体地，设置第二阙值b，所有特征点进行就近中心聚类处理，提高聚类后特征点的鲁棒性，保证聚类后特征点的准平面旋转不变性。设置第二阙值b，逐次将所获得的特征点中距离最近的两特征点进行合并聚类，直到达到条件满足为止。上述条件可理解为是否满足之前设置的第二阙值b，此阙值为中心聚类的次数，比如为n时，表示进行n次迭代。

采用上述方式分别对正面图像111、左侧图像121以及右侧图像131当前帧的(第t帧)特征点进行聚类。

特征点重组单元33，对三幅图像当前帧聚类后的特征点进行局部匹配，构建当前帧立体目标的特征点矩阵m。

具体地，将通过对主摄像头11获取的当前帧图像处理得到的聚类后特征点(亦称主聚类后特征点)与对左摄像头12获取的当前帧图像处理得到的聚类后特征点(亦称左聚类后特征点)及对右摄像头13获取的当前帧图像处理得到的聚类后特征点(亦称右聚类后特征点)分别进行局部匹配，完成基于三摄像头的当前帧聚类后特征点重组。

在当前帧中，主摄像头11的左侧边缘与左侧摄像头12的右侧边缘的视角部分覆盖，所获取的主聚类后特征点与左侧聚类后特征点局部相同或者高度相似.通过比对此部分特征点，完成主摄像头与左侧摄像头的聚类后特征点重组。

在当前帧中，主摄像头11的右侧边缘与右侧摄像头13的左侧边缘的视角局部覆盖，所获取的主聚类后特征点与右侧聚类后特征点局部相同或者高度相似.通过比对此部分特征点，完成主摄像头11与右侧摄像头13的聚类后特征点重组。

进而实现三幅图像当前帧聚类后的特征点的重组，构建立体目标的当前帧聚类后特征点矩阵m，当前帧聚类后特征点矩阵m从左至右依次包括左侧图像独有的特征点，正面图像和左侧图像的相同特征点，正面图像独有的特征点，正面图像和右侧图像的相同特征点，以及右侧图像独有的特征点。

匹配单元34，利用主摄像头所获取的后一帧图像与当前帧聚类后特征点矩阵进行匹配，追踪目标物体。

匹配主摄像头图像后一帧(第n+1帧)的正面图像的聚类后特征点与当前帧(第n帧)聚类后特征点矩阵中聚类后特征点匹配，形成匹配特征点矩阵z，若匹配特征点矩阵z的中心与当前帧聚类后特征点矩阵m的中心偏移，则特征点重组单元33更新聚类后特征点矩阵。

具体地，当匹配成功，找到目标物体时，匹配成功的特征点矩阵z的中心为后一帧立体目标的中心，判断匹配成功的匹配特征点矩阵z中心是否与当前帧聚类后特征点矩阵m的中心重合，如果重合的话，不更新重组的聚类后特征点矩阵，则将当前帧聚类后特征点匹配m直接作为后一帧的聚类后特征点矩阵。如果不重合的话，根据匹配成功的匹配特征点矩阵z的中心点与当前帧聚类后特征点矩阵中心点的偏移量，进行偏移，更新聚类后特征点矩阵m’使得匹配特征点矩阵z的中心点与更新后聚类后特征点矩阵m’的中心点重合，更新后聚类后特征点矩阵m’作为后一帧聚类后特征点。更新聚类后特征点矩阵m’是在当前帧聚类后特征点匹配m基础上在偏移方向上补充与偏移量相应的后一帧聚类后特征点，在偏移方向反方向上舍弃与偏移量相应的当前帧聚类后特征点。

图5为本发明一实施例中匹配成功的特征点矩阵相对于当前帧聚类后特征点矩阵的位置示意图，以图5为例，匹配成功的局部特征点矩阵z，在当前帧聚类后特征点矩阵的中心部偏左，说明目标物体相对于主摄像头向左后发生旋转。

图6为本发明一实施例中更新后聚类后特征点矩阵m’的示意图，如图6所示，匹配成功的特征点矩阵z需要与更新后聚类后特征点矩阵m’中心重合。当前帧聚类后特征点矩阵m更新时需要向左偏移，去除右侧部分mr。偏移后左侧的当前帧聚类后特征点矩阵部分发生缺失，通过从左侧摄像头获取的后一帧图像中提取特征点并聚类，进行补全更新后聚类后特征点矩阵m’的左侧部分m’l后，聚类后特征点矩阵更新完毕。实时对目标物体的特征点矩阵进行更新，再匹配，确保目标物体在发生大范围角度变化时，对目标物体实时识别追踪的鲁棒性。

在其他实施例中，三摄像头可以发生相对位置移动，此时主摄像头与左摄像头，主摄像头与右摄像头的视角覆盖区域的大小会发生变化，但是不影响重叠区域的比对，及聚类后特征点矩阵的重组。

本发明另一实施例提供一种三目视觉识别追踪方法，图7为本发明另一实施例三目视觉识别追踪方法的流程图，如图7所示，包括以下步骤：

s101捕获立体目标的正面图像、左侧图像以及右侧图像；

采用三目摄像头中的由左至右依次排布的左摄像头、主摄像头及右摄像头分别捕获立体目标的左侧图像、正面图像以及右侧图像。

s102分别从正面图像、左侧图像以及右侧图像的各帧中提取特征点；

具体地，特征点提取单元31采用正向光流和逆向光流追踪来提取所述特征点，图4示出了本发明一实施例采用正向光流和逆向光流追踪来提取所述特征点的示意图，首先根据预定算法提取各帧的初始特征点，起始帧的初始点作为其特征点，后续各帧的特征点由前一帧的初始特征点确定，如图4所示设定第一阙值a，对相邻两帧图像中前一帧(例如为第t-1帧，t为正整数，且t≥2)某一初始特征点的原点a进行正向光流追踪，追踪至后一帧(例如为第t帧)对应的点b，再由所述对应的点进行后向光流追踪，追踪至前一帧(第t帧)对应的回溯点a’，计算原点a与回溯点a’之间的欧式距离d并与第一阙值a比较，若该欧式距离d大于第一阙值a，则该特征点为追踪效果不好的初始特征点，将其排除，若该欧式距离d大于第一阙值a，则该特征点为追踪效果好的特征点，将其设置为第t帧的特征点，历遍所有前一帧的初始特征点，获得当前帧的全部特征点。采用上述方式分别获取正面图像111、左侧图像121以及右侧图像131当前帧的(第t帧)特征点，后续各帧的特征点采用相同方法获得。

s103分别对提取的正面图像、左侧图像以及右侧图像当前帧(第t帧)特征点进行聚类；

具体地，设置第二阙值b，所有特征点进行就近中心聚类处理，提高聚类后特征点的鲁棒性，保证聚类后特征点的准平面旋转不变性。设置第二阙值b，逐次将所获得的特征点中距离最近的两特征点进行合并聚类，直到达到条件满足为止。上述条件可理解为是否满足之前设置的第二阙值b，此阙值为中心聚类的次数，比如为n时，表示进行n次迭代。

采用上述方式分别对正面图像111、左侧图像121以及右侧图像131当前帧的(第t帧)特征点进行聚类。

s104对三幅图像当前帧聚类后的特征点进行局部匹配，构建当前帧立体目标的特征点矩阵m；

具体地，将通过主摄像头11获取的当前帧图像处理得到的聚类后特征点(亦称主聚类后特征点)与左摄像头12获取的当前帧图像处理得到的聚类后特征点(亦称左聚类后特征点)及右摄像头13获取的当前帧图像处理得到的聚类后特征点(亦称右聚类后特征点)分别进行局部匹配，完成基于三摄像头的当前帧聚类后特征点重组。

在当前帧中，主摄像头11的左侧边缘与左侧摄像头12的右侧边缘的视角部分覆盖，所获取的主聚类后特征点与左侧聚类后特征点局部相同或者高度相似.通过比对此部分特征点，完成主摄像头与左侧摄像头的聚类后特征点重组。

在当前帧中，主摄像头11的右侧边缘与右侧摄像头13的左侧边缘的视角局部覆盖，所获取的主聚类后特征点与右侧聚类后特征点局部相同或者高度相似.通过比对此部分特征点，完成主摄像头11与右侧摄像头13的聚类后特征点重组。

进而实现三幅图像当前帧聚类后的特征点的重组，构建立体目标的当前帧聚类后特征点矩阵m，当前帧聚类后特征点矩阵m从左至右依次包括左侧图像独有的特征点，正面图像和左侧图像的相同特征点，正面图像独有的特征点，正面图像和右侧图像的相同特征点，以及右侧图像独有的特征点。

s105利用主摄像头所获取的后一帧图像与当前帧聚类后特征点矩阵进行匹配，追踪目标物体；

匹配主摄像头图像后一帧的正面图像的特征点与当前帧特征点矩阵m中的聚类后特征点匹配，形成匹配特征点矩阵z，若匹配特征点矩阵z的中心与当前帧聚类后特征点矩阵m的中心偏移，则更新聚类后特征点矩阵。

具体地，当匹配成功，找到目标物体时，匹配成功的特征点矩阵z的中心为后一帧立体目标的中心，判断匹配成功的匹配特征点矩阵z中心是否与当前帧聚类后特征点矩阵m的中心重合，如果重合的话，不更新聚类后特征点矩阵，则将当前帧聚类后特征点匹配m直接作为后一帧聚类后特征点。如果不重合的话，根据匹配成功的匹配特征点矩阵z的中心点与当前帧聚类后特征点矩阵中m的中心点的偏移量，进行偏移，更新聚类后特征点矩阵使得匹配特征点矩阵z的中心点与更新后重组的聚类后特征点矩阵m’的中心点重合，更新后聚类后特征点矩阵m’作为后一帧的聚类后特征点。

更新后聚类后特征点矩阵m’是在当前帧聚类后特征点匹配m基础上在偏移方向上补充与偏移量相应的后一帧聚类后特征点，在偏移方向反方向上舍弃与偏移量相应的当前帧聚类后特征点。

应注意，附图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本发明实施例的内容。

实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。