一种人工辅助的生活垃圾目标识别系统的制作方法
【专利摘要】一种人工辅助的生活垃圾目标识别系统，人工辅助处理模块对接收每帧图像进行连续显示，人工在显示的图像上在需要分拣的目标物上划出一条直线，人工辅助处理模块识别出的目标物本地平面坐标信息和角度信息；同时将识别出的信息和图像信息发送给计算机综合处理单元；计算机综合处理单元对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移；根据接收的数据信息判断人工辅助处理模块识别的信息是否准确，将最终确认准确的信息由本地坐标系转换到图像坐标系下，得到本次识别的目标物的信息，剔除本次识别的与上一次识别的重复的目标物的信息，得到最终的目标物的信息，并在显示图像中最终识别出的目标物上高亮划出直线。
【专利说明】
一种人工辅助的生活垃圾目标识别系统
技术领域
[0001 ]本发明涉及一种人工辅助的生活垃圾目标识别系统。
【背景技术】
[0002]在机器视觉技术中，现有的图像识别方法，通常是对一定的特征进行提取，得到的特征与理想值进行比对，比对相似度高的作为识别结果。
[0003]在多目标分拣领域，需要识别的目标类别、特征种类非常多，例如各种形状、颜色的瓶子、罐子等，由于特征提取的计算量很大，提取多种特征的方法在实时性上不能满足要求;并且特征提取的方法的准确率一直不高，在工业自动化生产线上，很难满足使用要求。
[0004]本发明针对的是生活垃圾分选识别领域，生活垃圾现场环境恶劣、组成复杂多样、目标物容易被其他非目标物遮挡、且目标物容易被沾染混合其他成分，造成目标物形状信息、颜色信息均不突出，不能采用常规的图像处理方法或者材料识别方法进行识别。
【发明内容】
[0005]本发明的技术解决问题是:克服现有技术的不足，提出一种人工辅助的生活垃圾目标识别系统。
[0006]本发明的技术解决方案是:一种人工辅助的生活垃圾目标识别系统，包括人工辅助处理模块和计算机综合处理单元；
[0007]人工辅助处理模块实时接收采样相机拍摄的光学图像，对接收每帧图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上在需要分拣的目标物上划出一条直线，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的时间信息，以人工划动出的直线的起点和终点为起始点计算平均值作为人工辅助处理模块识别出的目标物本地平面坐标信息，以人工辅助划出的直线斜率角度为人工辅助处理模块识别出的角度信息；同时将识别出的信息和图像信息发送给计算机综合处理单元；
[0008]计算机综合处理单元对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移;根据接收的数据信息判断人工辅助处理模块识别的信息是否准确，将最终确认准确的信息由本地坐标系转换到图像坐标系下，得到本次识别的目标物的信息，剔除本次识别的与上一次识别的重复的目标物的信息，得到最终的目标物的信息，并在显示图像中最终识别出的目标物上高亮划出直线，该直线以人工辅助识别出的直线为原始信息结合时间信息对目标物跟踪高亮显示进行。
[0009]人工辅助处理模块具体步骤如下:
[0010](I)人工辅助处理模块实时采集并显示生活垃圾图像信息；
[0011](2)人工发现感兴趣的目标物后在图像上以尽可能贴近目标物长边顶点的位置点为起点，以尽可能贴近目标物长边底点的位置点为终点划出一条直线，划动期间手指不离开屏幕直到底点；
[0012](3)人工辅助处理模块以人工划动的起点为计算起点，以人工划动的终点为计算终点计算出两点的平均点作为人工辅助识别的目标物本地平面坐标信息；
[0013]计算机综合处理单元具体实现步骤如下:
[0014](I)对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移；
[0015](2)对接收的所有目标物的信息都执行如下处理:以接收的某一目标物本地平面坐标信息为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为被识别物的角度；
[0016](3)将步骤(2)中得到的角度与人工辅助处理模块识别出的角度信息进行比对，如果两目标物角度偏差小于预设的阈值，则认为是人工辅助识别正确，否则弹出对话框等待人工确定是否确认点击正确，如果是则认为人工辅助识别正确，否则放弃本次识别并取消步骤(I)的相应直线显示;直至接收的所有目标物信息都处理完成，得到本次识别的目标物的信息；
[0017](4)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除同时删除步骤(I)的直线显示。
[0018]本发明与现有技术相比的有益效果是:
[0019](I)本发明的一种人工辅助的生活垃圾目标识别系统，能够克服上述环境背景复杂、目标物特征不明显的缺点，引入人工辅助识别的方式让人工远离生活垃圾分选现场的情况下完成生活垃圾中目标物的识别。
[0020](2)人工辅助识别的方式解决了纯计算机图像处理方式无法完成复杂非结构背景目标物识别的缺点；
[0021](3)人工辅助识别方式的降低了计算机识别对相机、镜头、光环境、计算机处理能力等方面的要求，有效降低了成本；
[0022](4)人工辅助处理模块与计算机综合处理模块相互结合，既降低了计算机识别的算法难度有解决了纯人工识别容易出错和重复识别的问题，系统结构更为优化。
【附图说明】
[0023]图1为本发明系统框图；
[0024]图2为本发明物理架构实施框图；
[0025]图3为本发明人工辅助识别模块流程图；
[0026]图4为本发明计算机综合处理模块流程图；
[0027]图5为本发明剔出重复目标流程图；
【具体实施方式】
[0028]下面结合附图及实施例对本发明做详细说明。
[0029]如图1、2所示，本发明系统包括人工辅助处理模块和计算机综合处理模块;按照图2中的物理架构，摄像头实时拍摄传送带上的物品，得到视觉图像，人机辅助处理模块可以采用目前常用的触摸屏计算机的方式，人工辅助处理模块、计算机综合处理单元都运行在工控机上，各个部分组合完成对传送带上目标物的识别。下面分别对每部分进行详细说明。
[0030](一)人工辅助处理模块
[0031]人工辅助处理模块实时接收采样相机拍摄的光学图像，对接收每帧图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上在需要分拣的目标物上划出一条直线，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的时间信息，以人工划动出的直线的起点和终点为起始点计算平均值作为人工辅助处理模块识别出的目标物本地平面坐标信息，以人工辅助划出的直线斜率角度为人工辅助处理模块识别出的角度信息。在图像上显示人工识别出的直线信息，并根据已知的图像移动速度相应的移动直线的位置，同时将上述信息人工辅助识别模块识别出的信息和图像信息发送给计算机综合处理单元，上述人工辅助识别过程如图3所示。本地坐标系指的是计算屏幕显示图像的区域的像素坐标系，以屏幕左上角第一个像素为坐标原点，水平方向为横坐标，垂直方向为纵坐标;图像坐标系指的是图2所示的图像识别区域的坐标系，描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角的像素点，坐标为(0，0)，图像坐标系横轴为水平方向，最大值1600，图像坐标系纵轴为垂直方向，最大值为1200，即图像宽度为1600X1200。
[0032](二)计算机综合处理单元
[0033]计算机综合处理单元对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移，目标物移动的速度是已知的固定速度。以上述人工辅助识别出的平面坐标为中心点在两倍目标物面积的区域内进行角度识别，并对识别出的目标物角度与人工识别出的目标物角度信息进行对比，如果误差小于设定的阈值则认为是人工辅助识别信息是正确的，该目标物信息为本息识别的目标物信息，否则计算机综合处理模块通过弹出对话框的形式提醒人工进行确认，如果人工确认是有效的目标物则同样认为该目标信息为本次识别的目标信息，人工确认不是有效的目标物则放弃本次人工辅助识别，并取消关于该目标的直线显示。计算机综合处理过程如图4所示。对所有接收到的目标物的信息都进行上述处理后，得到本次识别确认后的目标物信息；
[0034]计算机综合处理模块识别角度的方法是，以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息。
[0035]计算机综合处理单元将上述确认后的目标物信息本地坐标系下坐标信息转换到图像坐标系下，得到最终的目标物的信息，判断本次识别的目标物坐标信息是否上次识别出的目标物信息有重复并对重复的信息进行剔除，并在显示图像中最终识别出的目标物上高亮划出直线，该直线以人工辅助识别出的直线为原始信息结合时间信息对目标物跟踪高亮显示进行。目标物移动的速度是已知的固定速度。
[0036]剔除重复目标信息的步骤如下:以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除同时删除与其对应的直线显示。
[0037]剔除重复目标信息还可以采用如图5所示的步骤进行，具体如下:
[0038](I)获取目标物的坐标信息、角度信息和时间信息；
[0039](2)从上一个人工辅助点击帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；
[0040](3)判断目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的10%，则执行步骤(4);否则从上一个人工辅助点击帧图像上重新获取对比目标，重新执行步骤
(3)，直至与上一个人工辅助点击帧图像上所有目标比对完成；
[0041](4)判断目标物与对比目标的角度差值是否小于对比目标角度值的30%，若小于，则执行步骤(5)，否则从上一个人工辅助点击帧图像上重新获取对比目标，重新执行步骤
(3)，直至与上一个人工辅助点击帧图像上所有目标比对完成；
[0042](5)根据拍摄时目标物的运动速度V及两帧时间差，计算目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20%，若小于，则该目标物与对比目标为同一目标，将该目标进行剔除同时删除与其对应的直线显示;否则从上一个人工辅助点击帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成。
[0043]以从传送带上的垃圾中识别瓶子目标为例，当人工通过触摸屏上的图像发现感兴趣的瓶子时，人工划动触摸屏上瓶子相应位置，计算机根据划动动作进行上述处理识别出人工辅助识别的目标信息，并以高亮的方式进行显示，人工辅助处理模块将相应的坐标信息发送至计算机综合处理单元。计算机综合处理单元根据上述角度识别方法计算出目标物的角度，如果该角度与人工辅助识别的角度误差较大则在显示图像上弹出对话框，提示人工进行确认是否是目标物，如果确认是则将上述人工辅助识别的信息进行后续的坐标变化等操作形成最终的目标物信息。
[0044]本发明未详细说明部分属于本领域技术人员公知常识。
【主权项】
1.一种人工辅助的生活垃圾目标识别系统，其特征在于包括人工辅助处理模块和计算机综合处理单元； 人工辅助处理模块实时接收采样相机拍摄的光学图像，对接收每帧图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上在需要分拣的目标物上划出一条直线，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的时间信息，以人工划动出的直线的起点和终点为起始点计算平均值作为人工辅助处理模块识别出的目标物本地平面坐标信息，以人工辅助划出的直线斜率角度为人工辅助处理模块识别出的角度信息；同时将识别出的信息和图像信息发送给计算机综合处理单元； 计算机综合处理单元对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移;根据接收的数据信息判断人工辅助处理模块识别的信息是否准确，将最终确认准确的信息由本地坐标系转换到图像坐标系下，得到本次识别的目标物的信息，剔除本次识别的与上一次识别的重复的目标物的信息，得到最终的目标物的信息，并在显示图像中最终识别出的目标物上高亮划出直线，该直线以人工辅助识别出的直线为原始信息结合时间信息对目标物跟踪高亮显示进行。2.根据权利要求1所述的一种人工辅助的生活垃圾目标识别系统，其特征在于:人工辅助处理模块具体步骤如下: (1)人工辅助处理模块实时采集并显示生活垃圾图像信息； (2)人工发现感兴趣的目标物后在图像上以尽可能贴近目标物长边顶点的位置点为起点，以尽可能贴近目标物长边底点的位置点为终点划出一条直线，划动期间手指不离开屏幕直到底点； (3)人工辅助处理模块以人工划动的起点为计算起点，以人工划动的终点为计算终点计算出两点的平均点作为人工辅助识别的目标物本地平面坐标信息。3.根据权利要求1所述的一种人工辅助的生活垃圾目标识别系统，其特征在于:计算机综合处理单元具体实现步骤如下: (1)对接收的图像进行显示并显示人工划动的直线，且直线按照已知的目标物移动速度进行平移； (2)对接收的所有目标物的信息都执行如下处理:以接收的某一目标物本地平面坐标信息为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为被识别物的角度； (3)将步骤(2)中得到的角度与人工辅助处理模块识别出的角度信息进行比对，如果两目标物角度偏差小于预设的阈值，则认为是人工辅助识别正确，否则弹出对话框等待人工确定是否确认点击正确，如果是则认为人工辅助识别正确，否则放弃本次识别并取消步骤(I)的相应直线显示;直至接收的所有目标物信息都处理完成，得到本次识别的目标物的信息; (4)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除同时删除步骤(I)的直线显示。
【文档编号】G06K9/32GK106067021SQ201610364253
【公开日】2016年11月2日
【申请日】2016年5月26日 公开号201610364253.6, CN 106067021 A, CN 106067021A, CN 201610364253, CN-A-106067021, CN106067021 A, CN106067021A, CN201610364253, CN201610364253.6
【发明人】杨涛, 朱成林, 韩志富, 张科, 梁斌焱, 陈志鸿, 王燕波, 邹河彬, 由晓明
【申请人】北京新长征天高智机科技有限公司