一种多类型工件批量视觉测量系统及方法与流程

文档序号:16907055发布日期:2019-02-19 18:25阅读:194来源:国知局
一种多类型工件批量视觉测量系统及方法与流程

本发明涉及图像处理、机器视觉、电机控制及传感器等技术,属于机器视觉检测测量领域。更具体地说,是一种以图像处理为核心,基于模式识别的视觉测量系统,具体为一种多类型工件视觉测量系统及方法。



背景技术:

随着柔性化生产时代的到来,生产制造逐渐向定制化,多种类方向转变,不仅进一步加大产品形状的多样性,对测量系统快速性和通用性提出了更高的要求。目前应用于工业测量的方式主要有两种:接触式和非接触式。在接触式检测系统设备中,应用最广泛的是三坐标测量机,但是该设备对环境和人员要求相对较高,检测速度慢,易划伤被测表面。在非接触式测量系统,以视觉为核心的检测设备在工业检测领域应用最广,如摄影测量系统,三维扫描测量系统等,但是大部分针对某一种工件检测,对多面组装件或多类型工件同时检测无法适应,需要人工辅助检测,检测效率较低。

目前已有的成型视觉检测设备存在的主要问题:(1)主要针对一些小型零件以及片状工件的尺寸测量,在测量大尺寸工件时需要多次扫描甚至无法测量,例如中国专利申请号201510111403.8,发明名称为:一种钣金视觉检测装置,该方案设有支架、滑动槽、伺服电机、平行光源、摄像机、透明玻璃板、图像处理器、工件台和光源,其中摄像机设于工件台正下方且方向朝上,透明玻璃板置于工件台上部,钣金放于透明玻璃板上且位于摄像机正上方。该方案只能将尺寸规格较小,质量较轻的钣金工件放在透明玻璃上,摄像机在玻璃正下方拍摄获取图像,但是玻璃板不能够承受较重工件,易受磨损后续维护不便,透过玻璃板拍摄易造成图像畸变影响检测精度,在测量大尺寸工件时不易拓展玻璃板并且单个摄像机拍摄范围有限;(2)对于单一种类工件的测量,视觉测量效率较高,但对于多种类工件同时测量,视觉检测的效率还无法达到在线检测的节拍,如中国专利申请号:201310496405.4,发明名称为:基于机器视觉的批量零件自动检测系统及方法,其方法为:先对工件进行几何量检测;将采集到的图像信息作为模板,零件有关测量操作处理信息存入系统数据库,以供后续零件测量时自动调用;将工件置于透明工作台上,使镜头对准该工件,该工件成像后判断其与模板零件信息的相似性;最后进行自动测量并判断合格性,输出测量报表。该方案技术通过预先存储的工件模板信息进行模板匹配识别待测工件种类,单次检测只能识别出一种工件进行检测,不能满足多种类工件同时检测,对于大量的工件匹配,需要建立庞大的模板库,匹配过程消耗更多的时间,匹配精度难以保证,降低了测量效率,灵活性不够高;(3)只能满足某些特定形状工件的多面测量,应用范围有一定的局限性,有时需要人工调整检测面,在智能化程度上有所欠缺,如中国专利申请号:201710328284.0,发明名称为:多轴联动的视觉、激光复合式非接触测量装置及测量方法,其结构为在两轴移动平台上设置工件放置转台,在工件放置转台的上部设置上下移动的升降机构,视觉检测设备和非接触距离测量设备设置在升降机构上,该方案中视觉检测设备位置固定,只能通过调整测量角度和旋转转台位置获取工件的侧面信息,但是对于侧面含有圆形,三角形等形状特征的工件,由于处于倾斜角度扫描会对图像信息造成一定的形变,不能准确检测工件尺寸。



技术实现要素:

1.发明要解决的技术问题

鉴于现有的成型视觉检测设备不具有通用性,对不同尺寸、形状和复杂程度的工件不能自动识别以及不能批量检测的问题,本发明提出一种多类型工件批量视觉测量系统及方法,是一种能够满足多类型工件同时测量的高自由度测量系统,该系统能够进行单一类型和多类型工件的批量测量。

2.技术方案

为达到上述目的,本发明提供的技术方案为:

一种多类型工件视觉测量方法,包括以下步骤:

步骤一,启动系统,判断待测工件是否放入工件测量平台并确定工件在工件测量平台的位置,若有检测到工件放入工件测量平台则执行步骤二,否则整个系统处于待机状态;

步骤二,通过图像获取单元对待测工件进行扫描并获得各部分的局部图像,若扫描获得的局部图像未得到充分的深度信息,则调整图像获取单元的位置后再次扫描,最终得局部深度图像;

步骤三,系统对获得的局部深度图像进行拼接处理,得到全局扫描图像;

步骤四,对全局扫描图像进行处理,识别工件种类及数量,系统根据识别结果结合系统中待测参数任务表所要求测量的参数,调用图像尺寸处理程序对获取的工件图像信息进行处理,计算出相应的尺寸参数,完成测量任务所要求尺寸参数测量;

步骤五,由上述步骤得到的工件参数与标准参数信息对比,合格工件传入下一步工序,不合格的工件由机械臂抓手剔除或标记。

作为优化方案,步骤三中,根据图像获取单元的个数将工件测量平台上的检测区域划分为若干个子区域,所述子区域之间用标志线分隔,相邻图像获取单元的扫描视场重叠的部分覆盖标志线,在图像拼接处理中,在标志线上放入多个标志块,提取标志块的特征信息,采用平面直角坐标系坐标变换模型进行图像拼接。

作为优化方案,所述提取标志块的特征信息是采用hough变换算法提取圆形标志块的圆心坐标和半径,具体步骤为:

(1)对获取的标志块图像进行去噪并二值化,所述去噪是采用高斯平滑滤波器卷积对图像去噪;

(2)采用canny边缘检测算法提取标志块边缘轮廓,确定hough变换的边缘点;

(3)对边缘轮廓的每一个非零边缘点,在其邻域计算x、y方向上的sobel一阶导数得到梯度:

设某一非零边缘点像素值为i(x,y),利用sobel算子进行求导:

在x方向上变化,可表示为:

在y方向上变化,可表示为:

使用计算梯度幅值和方向;

(4)随机选取多个边缘点,设定搜索圆心位置的搜索半径rs,然后在每个边缘点梯度方向上距离边缘点距离rs的两边各投一点,在hough二维空间绘出所有以边缘点为中心的所投点为端点的梯度线段,将线段经过的点在累加器中计数,选取累加器值最大的点坐标即圆心坐标,根据圆心坐标c(xc,yc)和边缘点坐标i(x,y)求出圆半径。

作为优化方案,所述图像拼接采用平面直角坐标系坐标变换模型实现,步骤如下:

(1)根据上述hough变换的方法获取的圆形标志块的圆心坐标和半径,采用平面直角坐标系坐标变换模型对多幅扫描图进行坐标归一化,所述坐标变换模型为:

式中,△x,△y为平移参数,m为尺度因子,α为旋转参数,(x,y)、(x',y')为同一点在不同平面直角坐标系下的点坐标,要实现坐标点在不同坐标系转换必须求出△x,△y、m、α这四个参数,其中△x,△y容易求得,因此每两幅图之间至少含有两个公共点便于上述坐标变换模型参数求解;

(2)根据求解的坐标变换模型,后一幅图依次进行坐标转换到上一幅图的坐标系中,最终将各扫描信息统一到全局坐标系下并进行图像融合消除拼接缝隙,获得全局扫描图像。

作为优化方案,步骤三中,所述图像拼接采用如下步骤:所述图像获取单元为激光扫描仪,若干台激光扫描仪逐行扫描,每台激光扫描仪采集到的每一行数据分别连续存储于内存地址分块里,内存地址与数据源一一对应,知道每台激光扫描仪采集的每一行数据首地址,根据重合视场区域宽度获得数据存储的偏移量,从指定每行数据的首地址开始连续读取图像数据,找到重复像素的数据存储位置并将其不予读取,从而在图像数据读取环节进行图像拼接,获得全局扫描图像。

作为优化方案,步骤四的具体操作如下:

(1)对全局图像进行预处理、目标区域分割,获得各种工件目标区域;

(2)依次对各工件目标区域进行边缘检测,获得清晰的边缘轮廓并截取,对工件轮廓区域提取外部轮廓特征,通过基于特征的模板匹配方法识别出工件所属大类完成工件识别的粗分类,然后根据所属大类调用经过训练的bp神经网络种类识别模型,提取工件轮廓细节特征,通过所属大类的bp神经网络种类识别模型再次进行分类,确定工件具体类别,完成工件识别的细分类;识别出待测工件种类,统计出各种类数量,统计出各工件对应的图像处理程序编号;

(3)系统截取各工件目标区域,根据工件所对应处理程序编号,从处理程序集成库中调用相应的工件图像处理程序;

(4)系统通过远程服务端获取待测参数任务表;

(5)系统采用并行计算的方式,对全局图像中所有工件目标区域同时进行相应的图像处理程序,结合待测参数任务表,得出任务表所要求各项尺寸参数信息。

作为优化方案,所述对全局图像进行预处理的流程如下:

(1)采用高斯滤波的方法对全局扫描图像整体去噪;

(2)再采用固定阈值的方法进行二值化处理,使工件区域与背景分离;

(3)采用形态学操作的方法先对经过二值化处理的工件图像进行膨胀、腐蚀,平滑图像边缘;

所述边缘检测采用canny边缘检测的方法获得工件的边缘轮廓,便于后续的特征提取;

所述轮廓特征选用hu矩特征,基于hu矩特征模板匹配的处理过程如下:

(1)对待识别的图像进行预处理,根据特征提取算法获取工件图像的轮廓hu矩特征;

(2)将待识别的图像与模板库中的模板图像计算特征的相似度量,选取合适的判定阈值,从而判定出工件所属大类;

利用工件轮廓细节特征完成细分类,细节特征选用小波矩特征,提取过程如下:

(1)对各工件目标区域的工件图像进行归一化:设f(x,y)为二维离散的工件图像,首先确定图像的质心坐标:其次定义缩放因子α,即令取α=n/(4*γ),工件图像的归一化可通过f(x,y)转化成进行;

(2)图像极坐标化:对于连续函数f(x,y),其相应的极坐标函数表示为f(r,θ),其中x=rcosθ,y=rsinθ,r为极径,θ为极角,由于二维数字图像是离散的,所以由直角坐标转换为极坐标时,需对角度进行等分,取δθ=2π/n进行离散化,图像的(p+q)阶矩特征定义如式:fpq=∫∫f(r,θ)gp(r)ejqθdrdθ,其中gp(r)是关于半径r的函数,p,q为整数参数;

(3)fft变换:图像的(p+q)阶矩特征定义式可进一步表示为fpq=∫sq(r)gp(r)rdr,又因是关于变量r的一维序列,且实际进行的是离散的变换,因此需把积分离散化:选取适当的角度间隔δθ=2π/n,则角度积分为:n表示变换点数,m表示[0,n-1]的常数,采用fft实现;

(4)对上述步骤中的积分结果利用小波函数在径向区域{0≤r≤1}内提取特征,通过gp(p)构造小波矩,小波函数将沿着轴向定义为ψj,k=2j/2ψ(2jr-k);选择不同的j和k就可以得到图像的全局特征和局部特征;小波矩不变量的定义为||fj,k,q||=||∫sq(r)ψj,k(r)rdr||,其中式中q=0,1,2…,对于某一固定的r,sq(r)=∫f(r,θ)ejqθdθ,代表着图像f(r,θ)相位空间[0,2π]中第q个特征量;利用不同的尺度因子j、位移因子k,就能够提供||fj,k,q||在不同尺度水平上的特征,记dj为高频细节特征,sj为低频信息特征,以dj,sj为特征量进行识别,选用d4取k=1,2,3,4时的值和s5取k=1,2时的值,共六个值作为特征量;

针对工件图像的小波矩特征值的分类采用单隐层结构bp神经网络构建分类模型,包括输入层,隐层,输出层,其中输入层6个节点,对应工件图像小波矩的6个特征值,对应的工件种类为网络的期望输出,输出层节点数由该网络区分的工件类别数决定,隐层的节点数由经验公式确定:其中k为隐层节点数,n为输入层节点数,m为输出层节点数,a为1~10之间的调节常数,bp神经网络模型通过训练样本的小波矩特征作为bp神经网络的输入进行网络模型训练,得到工件分类模型;

bp神经网络模型的训练步骤如下:

(1)选取所要识别的工件作为样本工件,将各工件分别每隔十五度,即在正负七度的范围内进行图像采集;

(2)对图像采集得到的若干图像进行特征计算,然后统计在不同的光照和距离条件下的均值,建立训练样本库用于bp神经网络模型;

(3)对bp神经网络模型进行训练,采用梯度下降的方法调节各权值;

(4)将训练好的bp神经网络模型导入应用程序,对包含工件的待测图像提取特征进行分类识别并记录各种类数量。

作为优化方案,步骤四中,图像尺寸处理程序获取尺寸参数的具体步骤如下:

(1)对工件目标图像进行边缘检测,提取工件中直线、圆、矩形、椭圆形等形状边缘轮廓;

(2)对各形状边缘轮廓拟合,计算边缘像素间的距离,结合图像像素距离与实际距离的关系,计算出各尺寸参数。

作为优化方案,包括数据处理终端、工件检测单元、图像获取单元、控制单元;

所述数据处理终端用于存储和处理数据信息;

所述工件检测单元用于放置待测工件和启动检测系统;

所述图像获取单元用于获取局部深度图像;

所述控制单元包括运动平台控制单元和抓手控制单元;

所述运动平台控制单元包括运动控制卡和电机驱动器,所述运动控制卡内置工控机主板pci卡槽处,用于向驱动器发出不同频率、不同数量脉冲,所述电机驱动器通过信号线与运动控制卡通信用于接收脉冲来控制电机运动的速度、方向、位置;

所述抓手控制单元用于控制抓取工件的动作;

所述工件检测单元、图像获取单元、运动控制单元和电机驱动器分别与数据处理终端通讯连接。

作为优化方案,所述工件检测单元包括工作测量平台(3)和若干个漫反射光电开关(2),所述工件测量平台(3)表面设检测区域,所述若干个漫反射光电开关(2)等间距、成一排布置在所述工件测量平台(3)边缘处;

所述图像获取单元为激光扫描仪(1);

所述运动平台控制单元为三自由度运动平台,所述抓手控制单元包括机械臂抓手(4)和机械臂运动轨道(5),所述机械臂抓手(3)固定在机械臂运动轨道(5)上;

所述三自由度运动平台包括x轴运动平台轨道(6)、y轴运动平台轨道(7)和z轴运动平台轨道(8);所述x轴运动平台轨道(6)和机械臂运动轨道(5)分别沿水平方向平行布置在所述工作测量平台(3)的两侧,所述z轴运动平台轨道(8)沿竖直方向布置在所述x轴运动平台轨道(6)上,所述y轴运动平台轨道(7)沿垂直于所述x轴运动平台轨道(6)的方向布置在所述z轴运动平台轨道(8)上;所述y轴运动平台轨道(7)上设若干段间隔布置的直线电机运动导轨,若干个所述激光扫描仪(1)分别布置在各段所述直线电机运动导轨上,所述漫反射光电开关(2)的成排方向与所述x轴运动平台轨道(6)的长度方向垂直。

3.有益效果

采用本发明提供的技术方案,与已有的公知技术相比,具有如下显著效果:

(1)本发明通过传感器技术能够自动启动测量系统,通过扫面工件的深度信息自动调整扫面高度,减少了人工干预测量环节,节约了人力成本。本发明通过获取局部深度图像得到全局扫描图像,通过全局扫描图像自动识别检测对象的工件种类及数量,最终通过调用相应的图像处理程序完成测量。本发明能够同时对多种类、多数量工件同时检测,相较于传统测量手段,在测量工件类型、数量、速度和精度等方面都有显著提高。

(2)本发明通过hough变换算法提取多个圆形标志块的圆心坐标,计算平面直角坐标系坐标变换模型中的平移参数△x,△y,尺度因子m,旋转参数α,完成各局部图像坐标统一,从而得到大尺寸工件的全局图像,相比通过大量特征点匹配的图像拼接技术,具有计算量小和拼接精度高等优点。

(3)本发明针对现有视觉检测系统不能同时识别并检测多种类型工件和批量工件的问题,通过提取外部轮廓特征,先进行特征模板匹配确定工件所属大类,然后通过提取工件图像小波不变矩特征,利用bp神经网络分类模型确定各工件具体类别。该方法克服了传统方案中基于外形轮廓模板库过于庞大,工件识别耗时长,对外部轮廓相似内部有差别工件的识别精确度不高等缺点,本发明通过二次分类的方法可以提高检测速度,减少对具有相同外形轮廓内部细节差别工件的误判率,在新的工件加入只需要重新训练所属大类的bp神经网络模型。

(4)本发明还提出了一种多类型工件批量视觉测量系统,针对现有工件视觉检测设备单次拍摄或扫描的范围有限、对于大尺寸工件或批量工件需要多次获取的情况,通过y轴运动平台轨道挂载多个激光扫描仪的结构,增加单次扫描宽度,可以一次性完成大范围检测区域的工件扫描,从而提升了检测效率并可以根据现场检测任务调整激光扫描仪数量,具有一定的可拓展性,另外本发明是系统采用三自由度运动平台可以根据工件尺寸量级及激光扫描仪的有效视场自动调整检测高度,进一步提升检测系统的适应范围。

(5)本发明通过检测平台边缘处安装多个漫反射光电开关,根据各漫反射开关的遮挡信号判别工件是否放入检测平台,相比通过人工判断或通过辅助的相机拍摄图像判断,节约一定的了人力成本和资金成本;本发明采用的扫描仪挂载装置,可依据需求及现场环境挂载多种型号的图像获取设备,系统结构具有较好的拓展性。本发明利用电机执行机构挂载图像获取设备,模式识别技术对工件进行识别分类,图像处理技术获取工件尺寸,构建的高柔性测量系统能同时测量多种类型多个工件,增加同时测量工件数量,提升测量工件种类多样性。

附图说明

图1为本发明测量方法流程图;

图2为本发明测量系统结构图;

图3为工件检测单元控制结构图;

图4为检测平台功能结构图;

图5为检测系统硬件结构主视图;

其中:1-激光扫描仪,2-漫反射光电开关,3-工件测量平台,4-机械臂抓手,5-机械臂运动轨道,6-x轴运动平台轨道,7-y轴运动平台轨道,8-z轴运动平台轨道,9-固定y轴斜拉条,10-标志线。

具体实施方式

实施例1

如图4和5所示,一种多类型工件批量视觉测量系统,包括数据处理终端、工件检测单元、图像获取单元、控制单元;

数据处理终端用于存储和处理数据信息;

工件检测单元用于放置待测工件和启动检测系统;

图像获取单元用于获取局部深度图像;

控制单元包括运动平台控制单元和抓手控制单元;

运动平台控制单元包括运动控制卡和电机驱动器,运动控制卡内置工控机主板pci卡槽处,用于向驱动器发出不同频率、不同数量脉冲,所述电机驱动器通过信号线与运动控制卡通信用于接收脉冲来控制电机运动的速度、方向、位置;

抓手控制单元用于控制抓取工件的动作;

工件检测单元、图像获取单元、运动控制单元和电机驱动器分别与数据处理终端通讯连接,如图2所示。

工件检测单元包括工作测量平台3和漫反射光电开关2,工件测量平台3表面设检测区域,若干个漫反射光电开关2等间距、成一排布置在所述工件测量平台3边缘处;图像获取单元为激光扫描仪1;检测区域包括多个子区域,以标志线10作为相邻子区域的分隔标志。

运动平台控制单元为三自由度运动平台,抓手控制单元包括机械臂抓手4和机械臂运动轨道5,机械臂抓手3固定在机械臂运动轨道5上;

三自由度运动平台包括x轴运动平台轨道6、y轴运动平台轨道7和z轴运动平台轨道8;x轴运动平台轨道6和机械臂运动轨道5分别沿水平方向平行布置在工作测量平台3的两侧,z轴运动平台轨道8沿竖直方向布置在x轴运动平台轨道6上,y轴运动平台轨道7沿垂直于x轴运动平台轨道6的方向布置在z轴运动平台轨道8上;y轴运动平台轨道7上设若干段间隔布置的直线电机运动导轨,若干台激光扫描仪1分别布置在各段直线电机运动导轨上,若干台激光扫描仪确保在同一水平面上,其中扫描仪挂载装置是一个连接于电机导轨移动底座的转接板,激光扫描仪通过数据传输线连接于数据处理终端,并将数据传输数据处理终端。漫反射光电开关2的成排方向与x轴运动平台轨道6的长度方向垂直。电机驱动器各驱动接口通过动力线与每段导轨上的移动滑台相连。

三自由度运动平台优选为三自由度单悬臂运动平台,相对于龙门结构运动平台,单悬臂运动平台中的单悬臂结构三面开放便于各尺寸量级的批量工件摆放并易于拓展延长检测范围,三自由度单悬臂运动平台可以根据被检工件的尺寸量级及扫描仪有效视场,自由调整测量高度和测量范围,相对于一般两轴运动平台,扫描仪距离被检物体高度距离固定限制了测量系统适用工件尺寸范围。三自由度单悬臂运动平台由x,y,z三轴运动平台轨道组成,其中y轴运动平台轨道为挂载扫描仪悬臂,具有多段且不相连的直线电机运动导轨,若干激光扫描仪分别挂载每段导轨上,每台激光扫描仪可灵活直线移动,根据精度要求和激光扫描仪的最大扫描宽度自由调整各扫描仪间距;为了消除悬臂在运动过程中所产生的抖动,在z轴运动平台轨道与y轴运动平台轨道之间安装一根固定悬臂斜拉条9,构成三角稳定结构。

数据处理终端用于集成各个图像处理模块和工件识别模块,存储和处理各类数据信息,控制电机运动,激光扫描仪,机械臂抓手等,数据处理终端包括:工件模板库模块,图像处理模块,电机和机械臂抓手控制模块,数据信息存储和传输模块和显示模块。

y轴运动平台轨道上可沿x轴方向直线运动,x,y,z轴采用直线电机传动;若干台激光扫描仪1可以为四台,四台激光扫描仪1通过四个机械转接板等间距挂载在悬臂上,每个转接板与四个直线电机动子座连接,y轴等间距分为四段导轨且导轨之间不相连,以便于z轴高度变化后调整各扫描仪的间距,保证各扫描仪之间有重叠视场;悬臂可沿z轴方向上下直线移动调整扫描高度,便于激光扫描仪调整视场范围,以便检测较高工件。x,y,z轴运动平台轨道的两端分别安装限位开关,防止移动时超出行程范围。x轴和z轴安装光栅尺且y轴每段导轨都安装光栅尺,以便于实时检测三轴运动速度、位置。

测量平台表面平整光滑耐磨,不易受温度和湿度的变化而发生变形。平台边缘处安装一排等间距漫反射光电开关,数量和间距可根据最小工件尺寸调整,漫反射光电开关的作用不仅能够检测工件是否放入平台而且还能确定工件的摆放位置。

一种多类型工件视觉测量方法,如图1所示,包括以下步骤:

s1:启动系统,每个漫反射光电开关2发射激光束,当工件放入测量平台时,会遮挡一个或多个激光束,从而引发一个或多个光电开关发出高低电平信号,并通过接线端子传入单片机,单片机对传入的高低电平信号进行编码处理传入数据处理终端,得出工件的位置,以此来启动检测系统,如图3所示。

s2:判断待测工件是否放入工件测量平台并确定工件在工件测量平台的位置,若有检测到工件放入工件测量平台则执行步骤二,否则整个系统处于待机状态;

数据处理终端对每个漫反射光电开关2的触发信号进行编号,当工件摆放到工件测量平台上会触发相应的漫反射光电开关2,则系统根据输出信号判定工件在对应激光扫描仪检测路径内,启动相应的激光扫描仪1。

每个检测子区域都有相应的漫反射光电开关发出的激光束,工件放入检测平台后,会遮挡一定数量的激光束,根据被触发光电传感器编号可判断工件摆放在哪一个子区域,每一个子区域对应一个激光扫描仪,则启动时检测时只开启相对应的激光扫描仪,可以减少冗余的图像信息,便于数据处理终端快速处理数据。

s3:若有工件放入测量平台,则向系统中传入工件的位置信息,启动三自由度运动平台和激光扫描仪,挂载于y轴运动平台轨道的激光扫描仪根据预设测量高度对工件测量平台进行扫描并获得局部深度图像,若扫描获得的局部深度图像未得到充分的深度信息,则自动调整y轴运动平台轨道的扫描高度再次扫描;判定是否得到充分的图像深度的依据:激光扫描仪都有特定的视场范围,若待测工件高度超出扫面仪垂直视场范围则获得点云数据为空,以此为原则系统自动升高测量y轴运动平台轨道的高度;

s4:系统将获取的局部深度图像进行拼接处理,得到全局扫描图像;

根据图像获取单元的个数将工件测量平台上的检测区域划分为若干个子区域,所述子区域之间用标志线分隔,相邻图像获取单元的扫描视场重叠的部分覆盖标志线,在图像拼接处理中,在标志线上放入多个标志块,提取标志块的特征信息,采用平面直角坐标系坐标变换模型进行图像拼接;标志块采用圆形标志,圆形标志块易于提取边缘轮廓进而拟合出圆心坐标信息;

提取标志块的特征信息是采用hough变换算法提取圆形标志块的圆心坐标和半径,具体步骤为:

(1)对获取的标志块图像进行去噪并二值化,所述去噪是采用高斯平滑滤波器卷积对图像去噪;

(2)采用canny边缘检测算法提取标志块边缘轮廓,确定hough变换的边缘点;

(3)对边缘轮廓的每一个非零边缘点,在其邻域计算x、y方向上的sobel一阶导数得到梯度:

设某一非零边缘点像素值为i(x,y),利用sobel算子进行求导:

在x方向上变化,可表示为:

在y方向上变化,可表示为:

使用计算梯度幅值和方向,即该点所在圆弧的法线方向和斜率。

(4)随机选取多个边缘轮廓点,设定搜索圆心位置的搜索半径rs,然后在每个边缘轮廓点梯度方向上距离边缘轮廓点距离rs的两边各投一点,在hough二维空间绘出所有以边缘点为中心的所投点为端点的梯度线段,将线段经过的点在累加器中计数,选取累加器值最大的点坐标即圆心坐标,根据圆心坐标c(xc,yc)和边缘点坐标i(x,y)求出圆半径。

图像拼接采用平面直角坐标系坐标变换模型实现,步骤如下:

(1)根据上述hough变换的方法获取的圆形标志块的圆心坐标和半径,采用平面直角坐标系坐标变换模型对多幅扫描图进行坐标归一化,所述坐标变换模型为:

式中,△x,△y为平移参数,m为尺度因子,α为旋转参数,(x,y)、(x,y)为同一点在不同平面直角坐标系下的点坐标,要实现坐标点在不同坐标系转换必须求出△x,△y、m、α这四个参数,其中△x,△y容易求得,因此每两幅图之间至少含有两个公共点进行求解;

(2)根据求解的变换模型,后一幅图依次进行坐标转换到上一幅图的坐标系中,最终将各扫描信息统一到全局坐标系下并进行图像融合消除拼接缝隙,获得全局扫描图像。

s5:对全局扫描图像进行处理,识别工件种类及数量。

识别工件种类的具体过程包括利用工件外部轮廓特征完成粗分类,再利用工件轮廓细节特征完成细分类;为了克服传统方案中基于外形轮廓模板库过于庞大,工件识别耗时长,对外部轮廓相似内部有差别工件的识别精确度不高等缺点,利用工件外部轮廓特征完成粗分类,再利用工件轮廓细节特征完成细分类,首先根据实际生产需要将工件依据外轮廓相似程度分成多个大类,建立每个大类的轮廓特征库,通过工件的外轮廓特征快速匹配工件所属的大类,再利用工件轮廓细节特征作为所属大类bp神经网络的输入进行网络训练,建立基于bp神经网络的具体种类识别模型。本发明通过二次分类的方法可以提高检测速度,减少对具有相同外形轮廓内部细节差别工件的误判率,在新的工件加入时只需要重新训练所属大类的bp神经网络模型。

具体过程为:

(1)对全局图像进行预处理、目标区域分割,获得各种工件目标区域;

(2)依次对各工件目标区域进行边缘检测,获得清晰的边缘轮廓并截取,对工件轮廓区域提取外部轮廓特征,通过基于特征的模板匹配方法识别出工件所属大类完成工件识别的粗分类,然后根据所属大类调用经过训练的bp神经网络种类识别模型,提取工件轮廓细节特征,通过所属大类的bp神经网络种类识别模型再次进行分类,确定工件具体类别,完成工件识别的细分类;识别出待测工件种类,统计出各种类数量,统计出各工件对应的图像处理程序编号;

所述对全局图像进行预处理的流程如下:

(1)采用高斯滤波的方法对全局扫描图像整体去噪;

(2)再采用固定阈值的方法进行二值化处理,使工件区域与背景分离;

(3)采用形态学操作的方法先对经过二值化处理的工件图像进行膨胀、腐蚀,平滑图像边缘,避免工件图像边缘锯齿化和减少一些不必要的细节;

边缘检测采用canny边缘检测的方法获得工件的边缘轮廓,便于后续的特征提取;

轮廓特征选用hu矩特征,hu不变矩特征在旋转、平移、比例方面上具有较强的稳定性,在识别外部轮廓差别较大的工件有较高的准确率,在识别外部轮廓相似的工件时可以忽略细小的差别,本发明利用hu矩特征的特点完成粗分配确定待测工件所属的大类。基于hu特征模板匹配的处理过程如下:

(1)对待识别的图像进行预处理,根据特征提取算法获取工件图像的轮廓hu矩特征;

(2)将待识别的图像与模板库中的模板图像计算特征的相似度量,选取合适的判定阈值,从而判定出工件所属大类。

利用工件轮廓细节特征完成细分类,细节特征选用小波矩特征,提取过程如下:

(1)对工件图像进行归一化:设f(x,y)为二维离散的工件图像,首先确定图像的质心坐标:其次定义缩放因子α,一般缩放因子定义方法具有抗噪性差的缺点,为了提升抗噪性采用另外一种方法,即令取α=n/(4*γ),工件图像的归一化可通过f(x,y)转化成进行;

(2)图像极坐标化:对于连续函数f(x,y)其相应的极坐标函数表示为f(r,θ),其中x=rcosθ,y=rsinθ,r为极径,θ为极角,由于二维数字图像是离散的,所以由直角坐标转换为极坐标时,需对角度进行等分,取δθ=2π/n进行离散化,图像的(p+q)阶矩特征定义如式:fpq=∫∫f(r,θ)gp(r)ejqθdrdθ,其中gp(r)是关于半径r的函数,p,q为整数参数;

(3)fft变换:图像的(p+q)阶矩特征定义式可进一步表示为fpq=∫sq(r)gp(r)rdr,又因是关于变量r的一维序列,且实际进行的是离散的变换,因此需把积分离散化:选取适当的角度间隔δθ=2π/n,则角度积分为:n表示变换点数,m表示[0,n-1]的常数,可采用fft实现;

(4)对上述步骤中的积分结果利用小波函数在径向区域{0≤r≤1}内提取特征,通过gp(p)构造小波矩,小波函数将沿着轴向定义为ψj,k=2j/2ψ(2jr-k)。选择不同的j和k就可以得到图像的全局特征和局部特征。小波矩不变量的定义为||fj,k,q||=||∫sq(r)ψj,k(r)rdr||,其中式中q=0,1,2…,对于某一固定的r,sq(r)=∫f(r,θ)ejqθdθ,代表着图像f(r,θ)相位空间[0,2π]中第q个特征量。利用不同的尺度因子j、位移因子k,就能够提供||fj,k,q||在不同尺度水平上的特征,记dj为高频细节特征,sj为低频信息特征,以dj,sj为特征量进行识别,选用d4取k=1,2,3,4时的值和s5取k=1,2时的值,共六个值作为特征量;

针对工件图像的小波矩特征值的分类采用单隐层结构bp神经网络构建分类模型,包括输入层,隐层,输出层,其中输入层6个节点,对应工件图像小波矩的6个特征值,对应的工件种类为网络的期望输出,输出层节点数由该网络区分的工件类别数决定,隐层的节点数由经验公式确定:其中k为隐层节点数,n为输入层节点数,m为输出层节点数,a为1~10之间的调节常数,bp神经网络通过训练样本的小波矩特征作为bp神经网络的输入进行网络模型训练,得到工件分类模型。

bp神经网络模型的训练步骤如下:

(1)选取所要识别的工件作为样本工件,将各工件(哪一步处理得到的工件)分别每隔十五度,即在正负七度的范围内进行图像采集;

(2)对图像采集得到的若干图像进行特征计算,然后统计在不同的光照和距离条件下的均值,建立训练样本库用于bp神经网络模型;

(3)将得到训练样本(上面步骤并未提到训练样本)对bp神经网络模型进行训练,采用梯度下降的方法调节各权值;

(4)将训练好的bp神经网络模型导入应用程序,对包含工件的待测图像提取特征进行分类识别并记录各种类数量。s6:根据识别的工件种类进行编号,从工件尺寸处理程序库中调用不同的图像处理程序。

s7:对各工件图像同时进行计算处理,并从远程服务端获取任务参数表。

s8:根据任务参数表中各待测尺寸类型,从图此处理程序中输出的所有尺寸结果进行筛选,获取检测任务所要求的工件尺寸参数;

s9:由上述步骤得到的工件参数与标准参数信息对比,合格工件传入下一步工序,不合格的工件由机械臂抓手剔除或标记。

实施例2

实施例2与实施例1的方案基本相同,区别仅在于,图像拼接采用如下步骤:所述图像获取单元为扫描仪,若干台扫描仪逐行扫描,每台扫描仪采集到的每一行数据分别连续存储于内存地址分块里,内存地址与数据源一一对应,知道每台扫描仪采集的每一行数据首地址,根据重合视场区域宽度获得数据存储的偏移量,从指定每行数据的首地址开始连续读取图像数据,找到重复像素的数据存储位置并将其不予读取,从而在图像数据读取环节进行图像拼接,获得全局扫描图像。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1