一种基于视觉特征点的自动跟踪方法及装置与流程

本发明属于图像处理技术领域，尤其涉及一种基于视觉特征点的自动跟踪方法及装置。

背景技术：

目前，随着科学技术的发展，跟踪技术越来越受人们的重视，也是当下热门研究的技术之一。各个领域都竞相提出应用需求，例如，军事上协助导弹跟踪目标，无人机实时跟踪指定目标，公共安全场所可以通过摄像头，对目标人物进行跟踪，交通干线跟踪车辆、行人以及掌握交通流量和动向。

基于视觉特征点的跟踪技术是一种通过图像处理与分析的方法，从图像信号中实时自动识别目标，再获取目标的位置信息，然后精确跟踪运动目标的技术。通常采用传感器传回图像，再采用图像特征点或者图像表面的方法，获得目标在图像中的位置，从而实现用户对指定跟随目标的跟踪工作。

但是，现有技术需要对图像进行大规模处理，数据较大，难以保证实时性以及准确度。尤其，在进行目标追踪时，若跟踪目标的形变较大，容易产生目标跟踪丢失，跟踪方式不便捷，用户无法准确获得目标的具体位置。

技术实现要素：

本发明旨在提供一种基于视觉特征点的自动跟踪方法及装置，能够实现在大形变时跟踪目标不丢失，及时回馈跟踪目标的位置。

第一方面，本发明提供一种基于视觉特征点的自动跟踪方法，具体步骤如下：

步骤S1：分别采集图像信息和深度信息，图像信息和深度信息的采集时刻是一一对应的；

步骤S2：锐化处理图像信息，得到图像的特征点；

步骤S3：加权平均化处理深度信息，得到物体的深度距离分布；

步骤S4：扫描第一帧图像的特征点，从第一帧图像的特征点中提取跟踪目标的特征点，确定为前景特征点；根据第一帧图像的特征点，估算前景特征点在第二帧时刻可能出现的估计位置；

步骤S5：扫描第二帧图像的特征点，匹配融合第二帧图像的特征点与估计位置的前景特征点，以得到确定位置的前景特征点；根据确定位置的前景特征点，估算第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，得到有效特征点；

步骤S6：将有效特征点更新至前景特征点，以进行下一轮图像匹配融合；检测深度距离分布，得到有效特征点的具体位置信息。

进一步地，在步骤S1之后，步骤S2之前，该方法还包括：加权处理图像信息，得到对比度增强的图像信息。步骤S2具体包括：锐化处理对比度增强的图像信息，得到图像的特征点。

进一步地，在步骤S4中，提取跟踪目标的特征点之前，该方法还包括：接收用户输入的指定的跟踪目标信息，从第一帧图像的特征点中提取跟踪目标的特征点的具体步骤包括：根据跟踪目标信息，从第一帧图像的特征点中提取跟踪目标的特征点。

进一步地，在步骤S5中，根据确定位置的前景特征点，估算第二帧图像的特征点放大和/或旋转系数，具体方法包括：对比确定位置的前景特征点和第二帧图像的特征点，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数。

进一步地，在步骤S6中，检测深度距离分布的具体方法包括：根据深度距离分布，设置最大范围，在最大范围内，根据有效特征点在图像信息中的位置，检测深度距离分布。

本发明提供的基于视觉特征点的自动跟踪方法，通过锐化处理图像信息，以增加图像的特征点稳定性和数量。对深度部分进行加权平均化，得到物体分布的合理距离。采用估算位置的前景特征点和第二帧图像的特征点进行匹配融合，再通过估算的放大和/或旋转系数，进行阈值判断，获得第二帧图像的有效特征点，实时更新前景特征点，缩减了跟踪计算量，提高了运行速度及准确度，最终从深度距离分布中检测出有效特征点的具体位置信息。

第二方面，本发明提供一种基于视觉特征点的自动跟踪装置，该装置具体说明如下：

该装置包括数据采集装置和数据分析平台，数据采集装置包括RGB-D传感器、图像处理模块和深度处理模块。RGB-D传感器用于采集相同时刻的图像信息和深度信息，并将图像信息发送给图像处理模块，将深度信息发送给深度处理模块。图像处理模块用于接收并锐化处理图像信息，得到图像的特征点，再发送至数据分析平台。深度处理模块用于接收并加权平均化处理深度信息，得到物体的深度距离分布，再发送至数据分析平台。数据分析平台包括位置估算模块、目标判决模块和位置输出模块，位置估算模块用于接收并扫描第一帧图像的特征点，从第一帧图像的特征点中提取跟踪目标的特征点，确定为前景特征点。根据第一帧图像的特征点，估算前景特征点在第二帧时刻可能出现的估计位置，并将估计位置的前景特征点发送至目标判决模块。目标判决模块用于扫描第二帧图像的特征点，匹配融合第二帧图像的特征点与接收的估计位置的前景特征点，以得到确定位置的前景特征点。根据确定位置的前景特征点，估算第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，得到有效特征点，并发送至位置输出模块。位置输出模块用于将接收的有效特征点更新至前景特征点，以进行下一轮图像匹配融合。接收并检测深度距离分布，得到有效特征点的具体位置信息。

进一步地，图像处理模块还用于加权处理图像信息，得到对比度增强的图像信息，再锐化处理对比度增强的图像信息，得到图像的特征点。

进一步地，在提取跟踪目标的特征点时，位置估算模块具体用于接收用户输入的指定的跟踪目标信息，根据跟踪目标信息，从第一帧图像的特征点中提取跟踪目标的特征点。

进一步地，在估算第二帧图像的特征点放大和/或旋转系数时，目标判决模块具体用于对比确定位置的前景特征点和第二帧图像的特征点，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数。

进一步地，在检测深度距离分布时，位置输出模块具体用于根据深度距离分布，设置最大范围，在最大范围内，根据有效特征点在图像信息中的位置，检测深度距离分布。

本发明提供的基于视觉特征点的自动跟踪装置，通过数据采集装置采集图像信息和深度信息，并进行锐化处理得到稳定性更强的图像特征点，加权平均化得到物体的深度距离分布。数据分析平台通过对图像的特征点处理，得到有效特征点，再通过对深度距离分布处理，得到有效特征点的具体位置信息。

因此，本发明提供的基于视觉特征点的自动跟踪方法及装置，能够保证跟踪目标不丢失，即使目标存在较大形变，也能够及时回馈跟踪目标的位置。

附图说明

图1是本发明提供的第一个基于视觉特征点的自动跟踪方法流程图；

图2是本发明提供的第二个基于视觉特征点的自动跟踪方法流程图；

图3是本发明提供的第三个基于视觉特征点的自动跟踪方法流程图；

图4是本发明提供的第四个基于视觉特征点的自动跟踪方法流程图；

图5是本发明提供的一个基于视觉特征点的自动跟踪装置结构图。

具体实施方式

下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。

第一方面，本发明提供了一种基于视觉特征点的自动跟踪方法，具体说明如下：

本实施例提供一种基于视觉特征点的自动跟踪方法，结合图1，该方法具体步骤如下：

步骤S11：分别采集图像信息和深度信息，图像信息和深度信息的采集时刻是一一对应的；

步骤S12：锐化处理图像信息，得到图像的特征点；

步骤S13：加权平均化处理深度信息，得到物体的深度距离分布；

步骤S14：确定前景特征点，通过扫描第一帧图像的特征点，从第一帧图像的特征点中提取跟踪目标的特征点，确定为前景特征点；根据第一帧图像的特征点，估算前景特征点在第二帧时刻可能出现的估计位置；

步骤S15：进行匹配融合，扫描第二帧图像的特征点，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，匹配融合第二帧图像的特征点与估计位置的前景特征点，以得到确定位置的前景特征点；根据确定位置的前景特征点，估算第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，得到有效特征点；

步骤S16：将有效特征点更新至前景特征点，以进行下一轮图像匹配融合；检测深度距离分布，得到有效特征点的具体位置信息。

本实施例提供的基于视觉特征点的自动跟踪方法，通过锐化处理图像信息，以增加图像的特征点稳定性和数量。对深度部分进行加权平均化，得到物体分布的合理距离。采用估算位置的前景特征点和第二帧图像的特征点进行匹配融合，再通过估算的放大和/或旋转系数，进行阈值判断，获得第二帧图像的有效特征点，最终从深度距离分布中检测出有效特征点的具体位置信息。实时更新前景特征点，缩减了跟踪计算量，提高了运行速度及准确度。因此，本发明提供的基于视觉特征点的自动跟踪方法，能够保证跟踪目标不丢失，即使目标存在较大形变，也能够及时回馈跟踪目标的位置。

进一步地，本实施例提供的一种基于视觉特征点的自动跟踪方法，还包括加权处理图像信息过程，减少后续步骤的处理时间，结合图2，具体说明如下：

步骤S21：分别采集图像信息和深度信息，图像信息和深度信息的采集时刻是一一对应的；

步骤S22：加权处理图像信息，得到对比度增强的图像信息；

步骤S23：锐化处理对比度增强的图像信息，得到图像的特征点；

步骤S24：加权平均化处理深度信息，得到物体的深度距离分布；

步骤S25：接收用户输入的指定的跟踪目标信息；通过扫描第一帧图像的特征点，根据跟踪目标信息，从第一帧图像的特征点中提取跟踪目标的特征点，确定为前景特征点；根据第一帧图像的特征点，估算前景特征点在第二帧时刻可能出现的估计位置；

步骤S26：进行匹配融合，扫描第二帧图像的特征点，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，匹配融合第二帧图像的特征点与估计位置的前景特征点，以得到确定位置的前景特征点；对比确定位置的前景特征点和第二帧图像的特征点，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，得到有效特征点；

步骤S27：将有效特征点更新至前景特征点，以进行下一轮图像匹配融合；根据深度距离分布，设置最大范围；根据有效特征点在图像信息中的位置，在最大范围内，进行检测深度距离分布，得到有效特征点的具体位置信息。

本实施例提供的基于视觉特征点的自动跟踪方法，在锐化处理图像信息之前，添加加权处理步骤，减少了后续步骤的处理时间，提高数据处理的效率。对深度部分进行加权平均化，能够除去采集的图像信息中距离偏远的部分，得到合理的深度距离分布，设置检测距离，为后续检测步骤，节省检测时间，数据处理速度更快，提高实时反馈跟踪目标具体位置的效率。

本实施例提供另一种基于视觉特征点的自动跟踪方法，结合图3，该方法具体步骤如下：

步骤S31：分别采集图像信息和深度信息，图像信息和深度信息的采集时刻是一一对应的。

步骤S32：预处理图像信息，即对颜色数据进行加权处理，得到对比度增强的图像信息。

步骤S33：锐化处理对比度增强的图像信息，即将图像灰度化，再采用拉普拉斯算子对图像信息进行扫描加权，得到锐化后的图像，以增加特征点的稳定性和数量。

步骤S34：加权平均化处理深度信息，滤掉过远部分的物体深度信息，得到物体的合理分布距离，即物体的深度距离分布。

步骤S35：扫描第一帧图像的特征点，本方法使用的特征点扫描方法为GFTT算子；

步骤S36：接收用户输入的指定的跟踪目标信息，确定前景特征点和背景特征点。接收用户输入的指定的跟踪目标信息，根据跟踪目标信息，对需要跟随的目标进行框取，从第一帧图像的特征点中框取跟踪目标的特征点，将框内的特征点作为前景特征点，将框外的特征点作为背景特征点。

步骤S37：采用光流法进行估算估计位置的前景特征点。根据第一帧图像的特征点，采用光流法进行估算前景特征点在第二帧时刻可能出现的估计位置。

步骤S38：将第二帧的图像特征点与估计位置的前景特征点进行全局匹配，再融合已匹配上的特征点。扫描第二帧图像的特征点，本方法使用的特征点扫描方法为GFTT算子，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，将第二帧的图像特征点与上一帧跟随到的前景特征点估计的位置进行全局匹配，采用最小邻域方法，选取距离小于阈值的相邻特征点，再融合已匹配上的特征点，以得到确定位置的前景特征点。

步骤S39：对比确定位置的前景特征点和第二帧图像的特征点，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，选取最一致的分布，得到有效特征点和无效特征点。

步骤S40：进行已有成功特征点的学习，保存被成功跟随的新特征点为正样本，背景点为负样本。将有效特征点更新至正样本，在下一步作为前景特征点，有效特征点保存为负样本，作为背景特征点进行剔错。

步骤S41：根据深度距离分布，设置最大范围；根据跟踪目标在图像中的位置，在最大范围内，进行检测深度距离分布，得到有效特征点的具体位置信息，即跟踪目标相对于图像信息采集点或传感器的距离和坐标，并向用户终端返回具体位置信息。

本实施例提供第三种基于视觉特征点的自动跟踪方法，结合图4，该方法具体步骤如下：

步骤S401：读取新一帧图像的数据，该数据包括图像信息和深度信息，且图像信息和深度信息的采集时刻是一一对应的。

步骤S402：保存图像及深度信息，再预处理图像信息，即对颜色数据进行加权处理，得到对比度增强的图像信息。锐化处理对比度增强的图像信息，即将图像灰度化，再采用拉普拉斯算子对图像信息进行扫描加权，得到锐化后的图像，以增加特征点的稳定性和数量。加权平均化处理深度信息，滤掉过远部分的物体深度信息，得到物体的合理分布距离，即物体的深度距离分布。

步骤S403：读取图像的特征点，扫描第一帧图像的特征点，本方法使用的特征点扫描方法为GFTT算子。

步骤S404：运用光流法判断跟踪目标可能位置。接收用户输入的指定的跟踪目标信息，确定前景特征点和背景特征点。接收用户输入的指定的跟踪目标信息，根据跟踪目标信息，对需要跟随的目标进行框取，从第一帧图像的特征点中框取跟踪目标的特征点，将框内的特征点作为前景特征点，将框外的特征点作为背景特征点。采用光流法进行估算估计位置的前景特征点。根据第一帧图像的特征点，采用光流法进行估算前景特征点在第二帧时刻可能出现的估计位置。

步骤S405：将第二帧的图像特征点与估计位置的前景特征点匹配。将第二帧的图像特征点与估计位置的前景特征点进行全局匹配，再融合已匹配上的特征点。扫描第二帧图像的特征点，本方法使用的特征点扫描方法为GFTT算子，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，将第二帧的图像特征点与上一帧跟随到的前景特征点估计的位置进行全局匹配，采用最小邻域方法，选取距离小于阈值的相邻特征点，再融合已匹配上的特征点，以得到确定位置的前景特征点。

步骤S406：通过匹配结果，获取旋转和缩放系数。对比确定位置的前景特征点和第二帧图像的特征点，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数。

步骤S407：判断变化的一致性。将得到第二帧图像的特征点放大和/或旋转系数进行阈值判断，若大于阈值，则跟踪失败，若小于阈值，则代表跟踪成功，即可选取最一致的分布，得到有效特征点和无效特征点。

步骤S408：进行已有成功特征点的学习，将有效特征点更新至正样本，在下一步作为前景特征点，有效特征点保存为负样本，作为背景特征点进行剔错，保存被成功跟随的新特征点为正样本，背景点为负样本。

步骤S409：向用户终端返回具体位置信息。根据深度距离分布，设置最大范围；根据跟踪目标在图像中的位置，在最大范围内，进行检测深度距离分布，得到有效特征点的具体位置信息，即跟踪目标相对于图像信息采集点或传感器的距离和坐标，并向用户终端返回具体位置信息。

第二方面，本发明提供了一种基于视觉特征点的自动跟踪装置，具体说明如下：

本实施例提供一种基于视觉特征点的自动跟踪装置，结合图5，该装置包括数据采集装置和数据分析平台，数据采集装置包括RGB-D传感器51、图像处理模块52和深度处理模块53。RGB-D传感器51采集相同时刻的图像信息和深度信息，并将图像信息发送给图像处理模块，将深度信息发送给深度处理模块。图像处理模块52接收并锐化处理图像信息，得到图像的特征点，再发送至数据分析平台。深度处理模块53进行接收并加权平均化处理深度信息，得到物体的深度距离分布，再发送至数据分析平台。数据分析平台包括位置估算模块54、目标判决模块55和位置输出模块56，位置估算模块54进行接收并扫描第一帧图像的特征点，从第一帧图像的特征点中提取跟踪目标的特征点，确定为前景特征点。根据第一帧图像的特征点，估算前景特征点在第二帧时刻可能出现的估计位置，再将估计位置的前景特征点发送至目标判决模块。目标判决模块55扫描第二帧图像的特征点，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，匹配融合第二帧图像的特征点与接收的估计位置的前景特征点，以得到确定位置的前景特征点。根据确定位置的前景特征点，估算第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，得到有效特征点，再将有效特征点发送至位置输出模块。位置输出模块56将接收的有效特征点更新至前景特征点，以进行下一轮图像匹配融合。接收并检测深度距离分布，得到有效特征点的具体位置信息。

本实施例提供的基于视觉特征点的自动跟踪装置，通过数据采集装置采集图像信息和深度信息，并进行锐化处理得到稳定性更强的图像特征点，加权平均化得到物体的深度距离分布。数据分析平台通过对图像的特征点处理，得到有效特征点，实时更新前景特征点，缩减了跟踪计算量，提高了运行速度及准确度。再通过对深度距离分布处理，得到有效特征点的具体位置信息。因此，本发明提供的基于视觉特征点的自动跟踪装置，能够保证跟踪目标不丢失，即使目标存在较大形变，也能够及时回馈跟踪目标的位置。

本实施例提供另一种基于视觉特征点的自动跟踪装置，结合图5，该装置包括数据采集装置和数据分析平台，数据采集装置包括RGB-D传感器51、图像处理模块52和深度处理模块53，数据采集装置主要用于采集真实世界的信息，包括图像信息和深度信息。数据分析平台包括位置估算模块54、目标判决模块55和位置输出模块56。数据分析平台主要用于对指定跟踪目标的处理，快速获取图像的有效特征点，检测有效特征点的具体位置信息。

数据采集装置的RGB-D传感器51分别采集图像信息和深度信息，图像信息和深度信息的采集时刻是一一对应的，并将图像信息发送给图像处理模块52，将深度信息发送给深度处理模块53。图像处理模块52对图像信息的颜色数据进行加权处理，得到对比度增强的图像信息。再锐化处理对比度增强的图像信息，即将图像灰度化，再采用拉普拉斯算子对图像信息进行扫描加权，得到锐化后的图像，以增加特征点的稳定性和数量，再将图像的特征点发送至数据分析平台。深度处理模块53加权平均化处理深度信息，滤掉过远部分的物体深度信息，得到物体的合理分布距离，即物体的深度距离分布，并将物体的深度距离分布发送至数据分析平台。

数据分析平台的位置估算模块54进行接收并扫描第一帧图像的特征点，采用GFTT算子对特征点进行扫描。位置估算模块54还接收用户输入的指定的跟踪目标信息，根据跟踪目标信息，对需要跟随的目标进行框取，从第一帧图像的特征点中框取跟踪目标的特征点，将框内的特征点作为前景特征点，将框外的特征点作为背景特征点。位置估算模块54再根据第一帧图像的特征点，采用光流法估算前景特征点在第二帧时刻可能出现的估计位置，并将估计位置的前景特征点发送给目标判决模块55。目标判决模块55扫描第二帧图像的特征点，第二帧图像是在采集第一帧图像的相邻下一时刻采集的，采用GFTT算子对特征点进行扫描。目标判决模块55还将第二帧的图像特征点与接收的上一帧跟随到的前景特征点估算的位置进行全局匹配，采用最小邻域方法，选取距离小于阈值的相邻特征点，再融合已匹配上的特征点，以得到确定位置的前景特征点。目标判决模块55最后将确定位置的前景特征点和第二帧图像的特征点进行对比，得到第二帧图像的特征点的变化量，再对变化量进行加权处理，得到第二帧图像的特征点放大和/或旋转系数，并进行阈值判断，选取最一致的分布，得到有效特征点和无效特征点，并发送给位置输出模块56。位置输出模块56将接收的有效特征点更新至前景特征点，以进行下一轮图像匹配融合；将接收的无效特征点更新至背景特征点，已进行踢错。位置输出模块56还根据深度距离分布，设置最大范围；根据跟踪目标在图像中的位置，在最大范围内，进行检测深度距离分布，得到有效特征点的具体位置信息，即跟踪目标相对于RGB-D传感器的距离和坐标，并向用户终端返回具体位置信息。

尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。