专利名称：工业结构化场景中机器视觉精确定位机械零件的系统的制作方法
技术领域：
本发明属于视频分析技术领域，具体涉及基于视频的エ业化场景下机械零件的定位检测系统。
背景技术：
随着科技进步及劳动カ成本的提高,エ业界对于自动化智能化的生产工具的需求不断增长，重复枯燥的零件分检工作可以交由智能软件控制的机器来完成，大大降低了企业对于劳动カ的需求。同时，设计合理的自动化机械完全能以高精度、长时间地进行结构化场景中的重复工作，相比于人力优势明显，保证标准化产品的质量，減少人为失误造成的损失。目前，除了人工方式对零件进行分检外，一些依赖流水线上特殊的结构使零件按特定方式排列，此类方式只能针对特定型号的零件，成本较高，如果改变了零件尺寸就可能要设计新的结构。利用视频分析，则只要求零件放置在简单背景中，给予适当的光照条件，对于不同零件，只要经过简单训练就能够识别，整个系统效率和精度都更高。为了达到全自动化且高效率的系统目标，就要求分析和控制系统的实时性。単一传统图像处理方法用于高清图像时的性能往往不高，而图像分析是整个系统的关键部分。
发明内容
本发明的目的在于提供ー种能够在エ业结构化场景中精确定位机械零件，并可实时快速地给出分析结果的系统。本发明综合多种图像分析技术，将不同方法有机结合，对输入的高清图像进行分析，进行零件定位和检测。本发明提供的エ业结构化场景中，精确定位机械零件的系统，包括
一个安装在零件放置平台正上方、垂直于俯视平台的摄像头，用于拍摄被测零件的图像，并将拍摄图像实时传入计算机；平台使用単色作为画面背景；
一个与摄像头同方向的LED光源，用于摄像补光；
一台计算机，用于对实时传入的拍摄图像进行视频分析。所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块2、摄像机标定与校正模块3、样本训练模块4，为摄像机标定与校正，为目标样本进行训练，为用户提供友好的界面。处理软件系统还包括图像分析模块5、通过通讯模块6 ;系统工作时级联图像分析模块5对零件进行精确实时的检测和定位，并通过通讯模块6将处理结果传输给执行器。本发明中，系统在投入自动运行前要进行标定、校正和训练。具体来说，摄像机标定校正模块3在软件辅助下，使用棋盘格对摄像机进行标定，校正过程由标定与校正模块3对摄像头的设备误差和像素単位与单位间的关系进行标定，校正时需要将ー个校正棋盘格放置于平台上，棋盘每格边长已知，通过校正算法就可以完成标定和误差修正。目标训练模块4在软件辅助下，完成对原型零件的特征提取和保存。训练过程由样本训练模块4对所要定位的零件进行学习，保存被训练零件的特征用于对标准化零件进行识别和定位。训练不需要额外的设备，只需要在系统的软件界面中完成。完成上述初始化工作后，系统就可以开始运行。视频信号通过千兆网卡传输至计算机，摄像头驱动软件将数据经图像格式转换写入计算机内存中，图像分析模块5对内存中的图像数据进行分析，确定目标零件的位置信息，分析结果通过通讯模块6经网络数据报发布。 所述图像分析模块5包括如下子模块初步图像前景分割模块51、连通区域分割模块52、交叉匹配模块53，其中
初步图像前景分割模块51，用于对输入图像进行前景分割，以确定图像中目标物体的外形信息；
连通区域分割模块52，对前景进行连通区域分析，确定图像中的连通区域从而区分不同目标物，通过训练中得到的目标物外形及尺寸信息去除未经训练的目标物或噪声，输出的结果用来逐个精细匹配和定位；
交叉匹配模块53，根据已训练零件信息，对目标物进行级联匹配定位，并进行识别。上述初步图像前景分割模块51，通过对一段时间无零件放置的场景的图像采集，利用中值近似方法进行背景建模，从而分离出后续出现在背景上的前景，通过色彩模型，有效去除弱阴影的干扰。上述连通区域分割模块52，对前景ニ值图像进行形态学操作，找到连通区域，计算连通区域质心，可初歩定位目标。上述交叉匹配模块53，包括主成分分析子模块531、模板匹配子模块532和交叉决策子模块533 ;先通过主成分分析子模块531 (对于対称性低目标物)，对目标物主成分进行分析，确定其主方向；然后由模板匹配子模块532利用训练时保存的零件图像进行相关性匹配；交叉决策子模块533根据匹配度高低确定对目标进行识别。所述的连通区域分割模块52、交叉匹配模块53为进行与训练原型进行级联特征匹配的分析模块。连通区域分割模块52、交叉匹配模块53，通过组合不同图像特征逐层将不符合原型零件特征的目标物剔除，仅将匹配的特征传递给后一级特征处理。所述的级联特征匹配过程为a连通区域分割模块通过面积、周长特征排除不符目标物；b.交叉匹配模块进一步特征分析。上述主成分分析子模块531，对前景ニ值图像进行主成分分析，可快速确定零件的主方向。上述模板匹配子模块532，用于精确定位目标的位置和方向，尝试不同位置和方向以找到最匹配值，利用初歩定位位置和主方向减少搜索范围。使用主方向信息使得匹配的次数大幅減少，不影响精度。目标物与多个原型零件依次经过主成分分析子模块531，对前景ニ值图像进行主成分分析，快速确定零件的主方向，利用次要方向确定匹配度以决定是否进一步特征匹配；模板匹配子模块532利用主成分分析子模块计算的主方向減少对目标匹配运算量；交叉决策模块533根据匹配度高低确定利用近邻分类器对目标进行识别。本发明中，所述的摄像机标定校正模块3可在软件辅助下，使用棋盘格对摄像机进行标定。本发明中，所述的目标训练模块4可在软件辅助下，完成对原型零件的特征提取和保存。本发明中，所述的摄像头I可选用分辨率为400万像素以上，视频每秒25帧以上的彩色摄像头，拍摄角度固定，并使用LED阵列辅助照明设备保证照度均匀。本发明中，所述的通讯模块6可通过IP数据报对结果数据进行实时发布。本发明中，视频信号为高清200万像素图像，处理帧频在IOfps以上，辅助照明设备可用40W环形LED直流光源。本发明的优点
系统搭建简单，软件使用方便，在计算资源有限的情况下，完成实时高精度图像识别，适用于结构化工业生产环境，节省了人力及物力。采用综合级联式的机器视觉特征分析，同时可以降低误检率，对于检测到的目标保证高精度的识别。
图I是本发明的系统结构图。图2是本发明的系统的操作流程图。图3是本发明的图像分析模块分解详图。图4是本发明标定及校准用的棋盘格(7x5)，每格边长为50mm
图中标号1为摄像头，安装流水线的正上方，实时拍摄经过流水线的零件，2为软件界面启动模块，辅助完成系统标定和零件训练，3为摄像头标定和校正模块，对摄像头进行标定和校准，确定摄像头的内部參数及去除成像扭曲。4为样本训练模块，用于对原型零件进行训练预特征提取，以备在零件检测中进行识别和比对。5为图像分析模块，6为通讯模块，将处理结果传输给机械臂，7为机械臂，也可以是完成相同功能的机械结构。51为前景分割模块，52为连通区域分割模块，53为交叉匹配模块，531为主成分分析模块，532为模板匹配子模块，533为交叉决策模块。
具体实施例方式以下根据图I -图3给出本发明的较好实施方案，并予以详细说明，便于更好地理解本发明而非用来限制本发明的使用范围。如图I所示为ー个零件分检系统的硬件组成结构，首先由安装在エ业流水线正上方的高清摄像头I采集实时画面，图像由网线传至计算机，在系统启动之前，已经完成了包括摄像机标定和校正、样本训练等的必要操作，由图像分析模块5进行分析后通过通讯模块6经网络将零件识别结果传输给机械臂7，随后机械臂就可以完成诸如抓取零件、分检零 件等工作。随着传送带的滚动，零件逐次进入画面并经分析处理，这样，整个过程可以持续快速地进行。在系统自动运行之前，要进行必要的训练和标定过程，整个操作流程如图2所示。首先，整个系统包括照明、摄像头、零件放置平台都固定好，将图像采集到计算机中。在计算机中有相应的软件界面2，通过软件可以方便地完成系统的训练及标定；标定及校准模块3是利用棋盘状尺寸已知的网格配合软件算法进行相机參数确定的过程，对于不同的摄像机，内部变换參数都有不同，在使用前都要重新标定。完成标定后，其參数作为分析软件的输入參数保存在计算机中，就可对每帧输入图像进行扭曲去除和坐标变换。样本训练模块4过程是对所需要检测定位的零件进行训练，训练吋，将原型零件放置在画面中，对零件拍摄图像后，通过软件抓取，获得零件特征信息，保存在计算机中，用于零件检测。如果有多种零件要同时定位和检测，可以同时训练多个零件，图像分析模块使用交叉检测方式来判定零件的类型。训练完成后，图像分析模块5启动运行，如图I的说明。通讯模块6通过网络进行发布直到程序结束。本发明的主要工作集中在图像分析模块5中，是完成快速零件检测定位的核心模块。其功能图如图3所示。图像分析模块接收图像输入后，先通过前景分割模块(51)对输入图像进行前景分害I]，以确定目标物体的外形信息。背景建模使用快速而抗干扰能力强的近似中值滤波方法进行。
权利要求
1.一种工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于包括 一个安装在零件放置平台正上方、垂直于俯视平台的摄像头，用于拍摄被测零件的图像，并将拍摄图像实时传入计算机；平台使用单色作为画面背景； 一个与摄像头同方向的LED光源，用于摄像补光； 一台计算机，用于对实时传入的拍摄图像进行视频分析； 所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、摄像机标定与校正模块、样本训练模块，为摄像机标定与校正，为目标样本进行训练，为用户提供友好的界面；处理软件系统还包括图像分析模块、通过通讯模块；系统工作时图像分析模块对零件进行精确实时的检测和定位，并通过通讯模块将处理结果传输给执行器； 所述图像分析模块包括如下子模块初步图像前景分割模块、连通区域分割模块、交叉匹配模块，其中 初步图像前景分割模块，用于对输入图像进行前景分割，以确定图像中目标物体的外形信息； 连通区域分割模块，对前景进行连通区域分析，确定图像中的连通区域从而区分不同目标物，通过训练中得到的目标物外形及尺寸信息去除未经训练的目标物或噪声，输出的结果用来逐个精细匹配和定位； 交叉匹配模块，根据已训练零件信息，对目标物进行级联匹配定位，并进行识别。
2.根据权利要求I所述的工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于 所述初步图像前景分割模块，通过对一段时间无零件放置的场景的图像采集，利用中值近似方法进行背景建模，从而分离出后续出现在背景上的前景，通过色彩模型，有效去除弱阴影的干扰； 所述述连通区域分割模块，对前景二值图像进行形态学操作，找到连通区域，计算连通区域质心,初步定位目标； 所述交叉匹配模块，包括主成分分析子模块、模板匹配子模块和交叉决策子模块；先通过主成分分析子模块对目标物主成分进行分析，确定其主方向；然后由模板匹配子模块利用训练时保存的零件图像进行相关性匹配；交叉决策子模块根据匹配度高低确定对目标进行识别。
3.根据权利要求I所述的工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于所述的摄像机标定模块在软件辅助下，使用棋盘格对摄像机进行标定。
4.根据权利要求I所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的目标训练模块在软件辅助下完成对原型零件的特征提取和保存。
5.根据权利要求I所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的摄像头选用分辨率为400万像素以上、视频每秒25帧以上的彩色摄像头。
6.根据权利要求I所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的通讯模块通过IP数据报对结果数据进行实时发布。
全文摘要
本发明属于视频分析技术领域，具体为一种工业结构化场景中机器视觉精确定位机械零件的系统。该系统包括一个安装在零件放置平台正上方的摄像头，一个LED光源，一台计算机；所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、摄像机标定与校正模块、样本训练模块，还包括图像分析模块、通过通讯模块；系统工作时图像分析模块对零件进行精确实时的检测和定位，并通过通讯模块将处理结果传输给执行器；本发明综合不同图像特征提取方法性能差异，形成一套级联分析算法，可在有限的计算资源下，降低误检率，保证目标物准确识别和定位，并实时的进行分析，以满足工业生产中的实际需要。
文档编号G01B11/00GK102706274SQ20121012271
公开日2012年10月3日 申请日期2012年4月25日 优先权日2012年4月25日
发明者何慧钧, 储之恒, 张文强, 张睿, 杜正阳, 池明旻, 秦晋贤, 邱晓欣 申请人:复旦大学