一种计算机识别与人工交互结合的生活垃圾目标识别系统的制作方法
【专利摘要】本发明的一种计算机识别与人工交互结合的生活垃圾目标识别系统，包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块；形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，识别并剔除重复目标后，将目标信息及着重显示目标的图像发送至中间结果综合处理单元，将图像发送至人工辅助处理模块；人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，由模块将点击相应的信息发送至中间结果综合处理单元，中间结果综合处理单元根据接收的信息进一步剔除重复的目标，最终输出目标物的坐标及角度信息。
【专利说明】
一种计算机识别与人工交互结合的生活垃圾目标识别系统
技术领域
[0001]本发明涉及一种计算机识别与人工交互结合的生活垃圾目标识别系统。
【背景技术】
[0002]在机器视觉技术中，现有的图像识别方法，通常是对一定的特征进行提取，得到的特征与理想值进行比对，比对相似度高的作为识别结果。
[0003]在多目标分拣领域，需要识别的目标类别、特征种类非常多，例如各种形状、颜色的瓶子、罐子等，由于特征提取的计算量很大，提取多种特征的方法在实时性上不能满足要求;并且特征提取的方法的准确率一直不高，在工业自动化生产线上，很难满足使用要求。
【发明内容】
[0004]本发明的技术解决问题是:克服现有技术的不足，提出一种计算机识别与人工交互结合的生活垃圾目标识别系统。
[0005]本发明的技术解决方案是:一种计算机识别与人工交互结合的生活垃圾目标识别系统，包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块；
[0006]形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送;所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；
[0007]人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元；
[0008]中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息。
[0009]形态学综合处理具体步骤如下:
[0010](I)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；
[0011](2)对采集到的每帧图像做基于颜色的聚类处理；
[0012](3)对聚类后的图像进行最小轮廓识别；
[0013](4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(I)设定的相应最大最小范围之内，如果最小轮廓满足步骤(I)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。
[0014]同一目标的判断方法为:以一帧图像上的一个目标为基准，依次获取其他帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算另外一帧图像上对应目标的理论位置，计算理论位置与该另外一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标。
[0015]中间结果综合处理单元具体实现步骤如下:
[0016](I)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标；
[0017](2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；
[0018](3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。
[0019]人工辅助处理模块的角度识别步骤为:
[0020]以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。
[0021]本发明与现有技术相比的有益效果是:
[0022](I)本发明的一种人工辅助的生活垃圾目标识别系统，能够克服上述环境背景复杂、目标物特征不明显的缺点，引入人工辅助识别的方式让人工远离生活垃圾分选现场的情况下完成生活垃圾中目标物的识别。
[0023](2)人工辅助识别的方式解决了纯计算机图像处理方式无法完成复杂非结构背景目标物识别的缺点；
[0024](3)人工辅助识别方式的降低了计算机识别对相机、镜头、光环境、计算机处理能力等方面的要求，有效降低了成本；
[0025](4)人工辅助处理模块与计算机综合处理模块相互结合，既降低了计算机识别的算法难度有解决了纯人工识别工作量大、容易出错和重复识别的问题，系统结构更为优化。
【附图说明】
[0026]图1为本发明系统框图；
[0027]图2为本发明物理架构实施框图；
[0028]图3为本发明计算机形态学识别模块流程图；
[0029]图4为本发明人工辅助识别模块流程图；
[0030]图5为本发明剔出重复目标流程图。
【具体实施方式】
[0031 ]下面结合附图及实施例对本发明做详细说明。
[0032]如图1、2所示，本发明系统包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块;按照图2中的物理架构，摄像头实时拍摄传送带上的物品，得到视觉图像，人机辅助处理模块可以采用目前常用的触摸屏计算机的方式，形态学识别模块、中间结果综合处理单元和人工辅助处理模块都运行在工控机上，各个部分组合完成对传送带上目标物的识别。下面分别对每部分进行详细说明。
[0033](一)形态学识别模块
[0034]形态学识别模块实时接收拍摄的光学图像，对接收的每帧图像进行形态学处理，即颜色聚类、最小轮廓提取、长度、宽度、长宽比分析处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间与上一帧识别出的结果进行对比，判断是否为重复识别的同一目标物，如果是则放弃本次识别出的信息，否则将本次识别的信息发送至中间结果综合处理单元;将处理后的图像发送至人工辅助处理模块，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；上述形态学识别过程如图3所示，具体步骤如下:
[0035](I)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；上述设定值可以根据待识别物体进行统计得到。
[0036](2)对采集到的每帧图像做基于颜色的聚类处理；
[0037](3)对聚类后的图像进行最小轮廓识别；
[0038](4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(I)设定的相应最大最小范围之内，如果最小轮廓满足步骤(I)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。
[0039]判断是否为同一目标重复识别的过程如图5所示，具体步骤如下:
[0040](I)获取目标物的坐标信息、角度信息和时间信息；
[0041](2)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；
[0042](3)判断目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的10%，则执行步骤(4);否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成；
[0043](4)判断目标物与对比目标的角度差值是否小于对比目标角度值的30%，若小于，则执行步骤(5)，否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成；；
[0044](5)根据拍摄时目标物的运动速度V及两帧时间差，计算目标物X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于对比目标X坐标值的20%，若小于，则该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新执行步骤(3)，直至与上一帧图像上所有目标比对完成。
[0045](二)人工辅助处理模块
[0046]人工辅助处理模块如图4所示，对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉图像的具体情况，在显示的图像上点击尚为识别的目标物。计算机以人工点击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息。最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综合处理单元。
[0047]以从传送带上的垃圾中识别瓶子目标为例，触摸屏上形态学识别模块识别后每帧图像连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方式进行着重显示。当人工通过触摸屏上的图像发现未识别的瓶子时，人工点击触摸屏上相应位置，计算机根基点击动作进行上述处理识别出人工辅助识别的目标无信息并以不同颜色的高亮的方式进行显示，人工辅助处理模块将相应的坐标信息发送至中间结果综合处理单元。
[0048](三)中间结果综合处理单元
[0049]中间结果综合处理单元将计算机形态学识别模块和人工辅助处理模块发送的坐标信息转换到图像坐标系下，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误及重复的目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时通过图5所示的分析流程，将接收的重复目标从图像上去掉，完成视觉识另U。具体实现步骤如下:
[0050](I)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标;其中，
[0051]本地坐标系指的是计算屏幕显示图像的区域的像素坐标系，是以屏幕左上角第一个像素为坐标原点，水平方向为横坐标，垂直方向为纵坐标；图像坐标系指的是图2所示的图像识别区域的坐标系，描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角的像素点，坐标为(O，0)，图像坐标系横轴为水平方向，最大值1600，图像坐标系纵轴为垂直方向，最大值为1200，即图像宽度为1600X 1200。
[0052](2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；
[0053](3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。
[0054]本发明未详细说明部分属于本领域技术人员公知常识。
【主权项】
1.一种计算机识别与人工交互结合的生活垃圾目标识别系统，其特征在于包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块； 形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送;所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角； 人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元； 中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息。2.根据权利要求1所述的一种计算机识别与人工交互结合的生活垃圾目标识别系统，其特征在于:形态学综合处理具体步骤如下: (1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比； (2)对采集到的每帧图像做基于颜色的聚类处理； (3)对聚类后的图像进行最小轮廓识别； (4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(I)设定的相应最大最小范围之内，如果最小轮廓满足步骤(I)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。3.根据权利要求1所述的一种计算机识别与人工交互结合的生活垃圾目标识别系统，其特征在于:同一目标的判断方法为:以一帧图像上的一个目标为基准，依次获取其他帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算另外一帧图像上对应目标的理论位置，计算理论位置与该另外一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标。4.根据权利要求1所述的一种计算机识别与人工交互结合的生活垃圾目标识别系统，其特征在于:中间结果综合处理单元具体实现步骤如下: (1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标； (2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息； (3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。5.根据权利要求1所述的一种计算机识别与人工交互结合的生活垃圾目标识别系统，其特征在于:人工辅助处理模块的角度识别步骤为: 以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[O度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。
【文档编号】G06T3/20GK106022386SQ201610363826
【公开日】2016年10月12日
【申请日】2016年5月26日
【发明人】王燕波, 杨涛, 朱成林, 韩志富, 张科, 梁斌焱, 陈志鸿
【申请人】北京新长征天高智机科技有限公司