一种智能机器人视觉动态定位跟踪方法及系统与流程

本发明涉及一种定位跟踪方法，尤其涉及一种智能机器人视觉动态定位跟踪方法及系统。

背景技术：

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。目前基于视觉的定位方法主要分两类，二维视觉定位与三维建模定位。二维视觉定位方法是用单目对所控制对像及周边环境进行视觉标定，然后通过标定好的坐标进行精确操作。而三维建模定位主要应用2个及以上的摄像头对目标进行拍摄，将所拍图像进行融合，从而建立目标的三维坐标，仿真三维环境，实现对目标的精准操作。

工业机器人广泛应用于工业生产中，在工作人员的指引操作下，可以完成许多的指令，但是机器人没有感知外界的信息的能力，不能调整已改变的工作环境，导致工业生产事物质量与精准度受到严重的影响。因此，在工业机生产中引入计算机视觉技术，可以提高工业机器人作业的精度以及实现实时跟踪纠偏的功能，可以满足生产过程中对机器人的实时性要求，并且使工业机器人更好的适应复杂的现场环境。

目前，国内的很多企业已经可实现智能化生产，但是在产品的分类识别、不合格产品的挑选等方面还存在许多不足，从而使得产品的智能化生产受到许多限制。

技术实现要素：

为克服现有技术的不足及存在的问题，本发明提供一种智能机器人视觉动态定位跟踪方法及系统，利用本发明提供的技术方案，可使得在智能化生产过程中实现产品的分类识别和不合格产品的挑选。

本发明是通过以下技术方案实现的：一种智能机器人视觉动态定位跟踪方法，所述方法包括以下步骤：

s10、特征信息提取步骤，对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；

s20、视频获取步骤，利用图像传感器获取生产过程中产品的生产视频流和/或图片；

s30、视频处理步骤，对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还包括标定训练集处理；

s40、物体识别步骤，依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；

s50、精细化识别步骤，将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；

s60、目标定位跟踪步骤，对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。

优选地，所述目标定位跟踪步骤中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。

较佳地，所述目标定位跟踪步骤中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。

根据上述方法的发明构思，本发明还提供了一种智能机器人视觉动态定位跟踪系统，所述系统包括有：

特征信息提取模块，用于对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；

视频获取模块，用于利用图像传感器获取生产过程中产品的生产视频流和/或图片；

视频处理模块，用于对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还用于标定训练集处理；

物体识别模块，用于依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；

精细化识别模块，用于将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；

目标定位跟踪模块，用于对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。

优选地，所述目标定位跟踪模块中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。

较佳地，所述目标定位跟踪模块中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。

利用本发明，可实现在智能生产过程中多品种产品进行分类识别以及不合格产品的拣选，可有效提高生产效率和降低生产成本，尤其对于食品、药品等行业的智能化、灵活化生产具有重要意义。

附图说明

图1是本发明实施例所述方法的流程示意图。

图2是本发明实施例所述系统的模块结构示意图。

图3是本发明实施例所述目标定位跟踪模块实现目标定位跟踪的简要过程示意图。

具体实施方式

为了便于本领域技术人员的理解，以下结合附图和具体实施例对本发明作进一步详细描述。

如附图1所示，一种智能机器人视觉动态定位跟踪方法，所述方法包括以下步骤：

s10、特征信息提取步骤，对产品进行分类(可采用人工分类)，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；本实施例中，所述特征信息包括目标产品的形状信息和外观轮廓信息等特征信息；

s20、视频获取步骤，利用图像传感器获取生产过程中产品的生产视频流和/或图片；

s30、视频处理步骤，对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还包括标定训练集处理；

s40、物体识别步骤，依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；

s50、精细化识别步骤，将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；

s60、目标定位跟踪步骤，对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。

作为优选的实施例，所述目标定位跟踪步骤中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。本实施例中，所述目标定位跟踪步骤中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。

根据上述方法的发明构思，本发明实施例还提供了一种智能机器人视觉动态定位跟踪系统，所述系统如附图2所示，其包括有：

特征信息提取模块，用于对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；所述特征信息包括目标产品的形状信息和外观轮廓信息等特征信息；

视频获取模块，用于利用图像传感器获取生产过程中产品的生产视频流和/或图片；

视频处理模块，用于对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还用于标定训练集处理；

物体识别模块，用于依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；

精细化识别模块，用于将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；

目标定位跟踪模块，用于对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。

在其中一个优选的实施例中，所述目标定位跟踪模块，其根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。本实施例中，所述目标定位跟踪模块中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。本实施例中的目标定位跟踪模块的实现目标定位跟踪的简要过程如附图3所示。

作为较佳的实施例，所述视频获取模块包含具有视频采集功能的ccd摄像机或者具有类似功能的成像传感器，同时所述视频获取模块与视频处理模块具有数据传输接口，以使得所述视频获取模块与视频处理模块之间可进行数据传输。所述视频获取模块可通过有线或者无线的方式从智能机器人外设设备ccd摄像机获取智能化生产线上的多品种物体进行动态的拍照或者摄像，并通过tcp/ip协议传输到视频处理模块中进行存储并处理，视频处理模块对实时的视频进行预处理，可通过截取一段初始化后有效的视频或者图像信息，通过解码生成清晰有效的序列化图像，同时对训练集进行标定。

利用本发明提供的技术方案，可实现在智能生产过程中多品种的产品进行分类识别以及不合格产品的拣选，可有效提高生产效率和降低生产成本，尤其对于食品、药品等行业的智能化、灵活化生产具有重要意义。

上述实施例为本发明的较佳的实现方式，并非是对本发明的限定，在不脱离本发明的发明构思的前提下，任何显而易见的替换均在本发明的保护范围之内。