基于机器视觉的不规则形状物体的计数方法与装置制造方法
【专利摘要】本发明公开了一种基于机器视觉的不规则形状物体的计数方法，包括以下步骤：建立模板：利用不规则形状物体的模板图像的边缘点信息建立模板信息表；待检测图像预处理：记录待检测图像的边缘点坐标和梯度值信息，后期通过查找模板信息表来重定位目标物体的参考点位置；统计：利用模板信息表中的数据推算并统计参考点信息，根据匹配数，找出最佳的目标物体。利用广义霍夫变换能够快速准确的学习不规则形状物体的轮廓信息，在图像计数阶段，利用 GPU 可以加速算法中对轮廓点信息处理及计算参考定位点的时间，根据阈值的设定，准确的还原出目标物体。
【专利说明】基于机器视觉的不规则形状物体的计数方法与装置
【技术领域】
[0001] 本发明涉及一种视觉识别设备，具体说是一种基于机器视觉的不规则形状物体的 计数方法与装置。
【背景技术】
[0002] 随着计算机视觉的发展，目标计数已经成为重要应用领域之一。目标计数是一种 基于目标几何特征的图像分割统计，其准确性和实时性是整个系统的一项重要能力。在复 杂场景中，需要对多个目标进行实时高效的处理，尤其是对不规则形状物体的计数很难做 到准确、实时。
[0003] 目前针对目标检测的算法有SIFT/SURF算法、Haar特征提取等算法，这些算法基 本都是通过先获取局部特征然后再进行匹配，但无法进行多个目标物体的检测与计数。经 典霍夫变换可应用在识别直线、圆、椭圆等可以用解析方程清晰表达的形状物体。它通过一 种投票算法可检测具有特定形状的多个物体。广义霍夫变换是霍夫变换的推广，可以用来 识别给定的任意形状的曲线，但该算法运算量大。
【发明内容】
[0004] 本发明目的是：提供一种基于机器视觉的不规则形状物体的计数方法与装置，基 于改进的广义霍夫变换原理，根据自适应阈值，实现准确目标计数，并通过将主要算法步骤 运行在GPU上，让GPU与CPU协同处理，达到实时性的要求。
[0005] 本发明的技术方案是：一种基于机器视觉的不规则形状物体的计数方法，包括以 下步骤： (1) 建立模板：利用不规则形状物体的模板图像的边缘点信息建立模板信息表； (2) 待检测图像预处理：记录待检测图像的边缘点坐标和梯度值信息，后期通过查找模 板信息表来重定位目标物体的参考点位置； (3) 统计：利用模板信息表中的数据推算并统计参考点信息，根据匹配数，找出最佳的 目标物体。
[0006] 进一步的，所述步骤（1)包括：先对模板图像进行Canny边缘检测，对模板图像的 每个边缘点信息进行处理，取不规则形状物体区域内的参考点= (Xpyr) ,X是模板图像 的任一边缘点，点X11至边缘点X的差矢量r = Xr-X ;!*与S轴夹角为α ;边缘点X处的梯度 值为0 ;根据梯度值#取值的不同划分区间,将0值在相同区间里的所有边缘点的（r,a) 放入同一表项中，组成模板信息表。
[0007] 进一步的，所述步骤（2)包括：对待检测图像进行Canny边缘检测，记录待检测图 像中边缘点的坐标(X,y〕及梯度值0信息,查找模板信息表中相应的梯度值0中的（Γ,Ct )信 息根据公式Xr= χ十rcosH、= y十rsinO),推算参考点Xr。
[0008] 进一步的，所述步骤（3)还包括改变模板信息表中的α值和Γ值，根据变换后的数 据还原边缘点的相对参考点，统计参考点的匹配次数。
[0009] 进一步的，针对多个目标物体，在广义霍夫变换原理的基础上，设定目标物体的阈 值参数，当参考点的匹配次数大于预先设定的阈值时，则判定为目标物体的参考点，根据坐 标位置相近关系取其中匹配次数最多的参考点，再还原有效的目标物体，并对目标物体进 行计数。
[0010] 进一步的，所述模板信息表存储于GPU的Constant memory,待检测图像的边缘点 信息存储于Texture memory。
[0011] 进一步的，使用GPU不同的block处理不同的角度变换，而同一 block中的线程处 理同一角度变换时的不用尺度变换。
[0012] 本发明还公开了一种基于机器视觉的不规则形状物体的计数装置，其特征在于， 包括传送控制台，所述传送控制台一端设置有拍照触发器，所述拍照触发器上方设置工业 照相机，所述工业照相机与计算机处理器连接，所述电源控制器提供电源，所述计算机处理 器包括CPU和GPU。
[0013] 本发明的优点是： 1.利用广义霍夫变换能够快速准确的学习不规则形状物体的轮廓信息，在图像计数 阶段，利用GPU可以加速算法中对轮廓点信息处理及计算参考定位点的时间，根据阈值的 设定，准确的还原出目标物体。
[0014] 该计数方法能够准确的计算不规则形状物体的个数，而且高效、无损耗。
【专利附图】
【附图说明】
[0015] 下面结合附图及实施例对本发明作进一步描述： 图1为模板信息表不例图； 图2为广义霍夫变换算法原理示意图； 图3为CPU与GPU协同优化程序流程图； 图4为不规则形状物体计数实验装置图； 图5为GPU与CPU实验性能对比曲线图； 图6为实验模板图像与图形计数结果图。
[0016] 其中：1.传送控制台、2.拍照触发器、3.工业照相机、4.计算机处理器、5.电源控 制器。
【具体实施方式】
[0017] 为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参 照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发 明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本 发明的概念。
[0018] 实施例： 本发明基于改进的广义霍夫变换原理，根据自适应阈值，实现准确目标计数，并通过将 主要算法步骤运行在GPU上，让GPU与CPU协同处理，达到实时性的要求。算法实现流程图 如图3所示，图中阴影框为GPU参与加速部分。
[0019] 在实现目标计数时，算法的第一阶段是建立模板，利用不规则形状物体的模板图 像的边缘点信息建立模板信息表。具体步骤为：先对模板图像进行Canny边缘检测，对模板 图像的每个边缘点信息进行处理，设Xr = 是不规则形状物体区域内的参考点（如 区域的中心点），X是模板图像的任一边缘点，点Xr至边缘点X的差矢量r = Xr -X ;r与X 轴夹角为β ;边界点X处的梯度值为0。显然I*、《和0共同确定一个边缘点，根据梯度值0取 值的不同，按照π/12递增，划分成24个区间，将0值在相同区间里的所有边缘点的（Γ,α ) 放入同一表项中，组织成一张模板信息表，如图1所不，其中最大值驟为24。
[0020] 第二阶段是待检测图像预处理阶段，记录待检测图像的轮廓点坐标和梯度值信 息，后期通过查找模板信息表来重定位目标物体的参考点位置。具体步骤为：对待检测图像 进行Canny边缘检测，记录待检测图像中轮廓点的坐标(X.y〕及梯度值0信息，根据广义霍 夫变换原理图2可知，利用轮廓点的坐标信息fx,y),通过查找模板信息表中相应的梯度值 0中的（Γ,α )信息根据公式xr = x + rcaS(o〇、yr =y+rsin(?),可以推算出参考点信 肩、。
[0021] 第三阶段为统计阶段，利用模板信息表中的数据推算并统计参考定位点信息，根 据匹配数，找出最佳的目标物体。为了识别出可能有缩放和旋转变化的目标物体，需要对 模板信息表进行相应的变换，通过改变模板信息表中的α值支持不同的旋转变化，即改变 COS(CZ)、sin(?)计算结果,最大范围支持-π+ν·π旋转,通过改变模板信息表中的Γ值支持 不同的缩放变化，即改变边缘点到参考点的距离Γ ,最大范围支持模板图像的0. 5倍到2倍 的放大缩小变化。具体的支持范围可以根据不同的需要，在程序中做相应的设定。根据变 换后的数据来还原边缘点的相对参考定位点，统计定位点的匹配次数。参考定位点中包含 坐标点位置信息、旋转变化信息及尺度变化信息。
[0022] 针对图片中有多个目标物体，在广义霍夫变换原理的基础上，设定目标物体的阈 值参数，当定位点的匹配次数大于预先设定的阈值时，则被判定为目标图像的参考定位点， 同一个目标物体可能会因旋转缩放的不同值出现多个参考定位点，需要根据坐标位置相近 关系取其中匹配次数最多的定位点进行去重后，再还原有效的目标物体，并对目标物体进 行计数。阈值是根据参考定位点可以匹配目标物体80%的边缘点进行相应的自适应调整， 并通过多次实验确定的最佳数值，当多个目标物体处于重叠或覆盖时，可通过多次实验，确 定最佳的参考点的方法来还原目标图像。
[0023] 随着GPU作为通用处理器出现，可以考虑利用GPU加速广义霍夫变换，减少不规则 形状物体计数的时间。本发明针对原广义霍夫变换算法中间步骤的计算特点，对各中间步 骤采用最佳的GPU优化策略。具体操作为：在对图像进行预处理时利用GPU来进行Canny 边缘检测，加速图像轮廓点信息提取；在第一阶段将模板信息表存放在GPU的Constant memory中，在第二阶段将待检测图像的边缘点信息存储在Texture memory中，可以减少程 序读取数据的时间；第三阶段为GPU优化的重点，根据GPU的结构特点，同一 block中的线 程可以同步操作，而不同block中的线程通信需要一定的代价，为充分利用GPU的性能，让 不同的block处理不同的角度变换，而同一 block中的线程处理同一角度变换时的不用尺 度变换，并行完成整个统计过程。程序中block数R设为32,表示原图的W/16角度偏转为 一个角度变化，thread数S设为60,表示原图的0. 025倍放大为一个尺度变化。根据不同 的精度需求，可以设立不同的线程数。每个线程维护一张相应的旋转缩放变换后的模板信 息表，并将待检测图像轮廓点推算得到的参考定位点信息，记录在一张四维的定位点信息 统计表中，统计表中包含尺度变换信息、角度变换信息、定位点横纵坐标信息。最后由CPU 遍历统计表，根据阈值并去重，找到最佳的参考点，高效准确的识别出多个目标物体并进行 计数。
[0024] 利用待检测图像中的待检测轮廓点数量的不同，实验对比GPU代码与CPU代码运 行时间曲线如图5所示。
[0025] 图4为本发明的识别装置，主要由传送控制台1，拍照触发器2,工业照相机3,计 算机处理器4,电源控制器5等部件构成。传送控制台1 一端设置有拍照触发器2,拍照触 发器2上方设置工业照相机3,工业照相机3与计算机处理器4连接，电源控制器5提供电 源，计算机处理器4包括CPU和GPU。当物体经过触发器2时会触发照相机3拍照，拍摄后 的结果传入计算机处理器4,执行程序，显示输出不规则形状物体的计数结果。
[0026] 在本实施例中利用钥匙作为模板图像，学习轮廓点信息，在待检测物体图像中正 确标识出不同状态的钥匙并进行计数。实验模板图像与图形计数结果如图6所示。
[0027] 应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的 原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何 修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨 在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修 改例。
【权利要求】
1. 一种基于机器视觉的不规则形状物体的计数方法，其特征在于，包括以下步骤： (1) 建立模板：利用不规则形状物体的模板图像的边缘点信息建立模板信息表； (2) 待检测图像预处理：记录待检测图像的边缘点坐标和梯度值信息，后期通过查找 模板信息表来重定位目标物体的参考点位置； (3) 统计：利用模板信息表中的数据推算并统计参考点信息，根据匹配数，找出最佳的 目标物体。
2. 根据权利要求1所述的基于机器视觉的不规则形状物体的计数方 法，其特征在于，所述步骤（1)包括：先对模板图像进行Canny边缘检测，对 模板图像的每个边缘点信息进行处理，取不规则形状物体区域内的参考点 Xr = (xr，x是模板图像的任一边缘点，点Xr至边缘点x的差矢量r = Xf -X ;r与X轴 夹角为a ;边缘点X处的梯度值为0 ;根据梯度值0取值的不同划分区间,将0值在相同区 间里的所有边缘点的（d )放入同一表项中，组成模板信息表。
3. 根据权利要求1所述的基于机器视觉的不规则形状物体的计数方法，其特征在 于，所述步骤（2)包括：对待检测图像进行Canny边缘检测，记录待检测图像中边缘点的 坐标(x.y〕及梯度值0信息，查找模板信息表中相应的梯度值0中的（r,a )信息根据公式 X11 = X 十 r cos|?、^ = y 十 rsin(；o〇 ,推算参考点X11。
4. 根据权利要求2所述的基于机器视觉的不规则形状物体的计数方法，其特征在于， 所述步骤（3)还包括改变模板信息表中的a值和r值，根据变换后的数据还原边缘点的相对 参考点，统计参考点的匹配次数。
5. 根据权利要求1所述的基于机器视觉的不规则形状物体的计数方法，其特征在于， 针对多个目标物体，在广义霍夫变换原理的基础上，设定目标物体的阈值参数，当参考点的 匹配次数大于预先设定的阈值时，则判定为目标物体的参考点，根据坐标位置相近关系取 其中匹配次数最多的参考点，再还原有效的目标物体，并对目标物体进行计数。
6. 根据权利要求1所述的基于机器视觉的不规则形状物体的计数方法，其特征在于， 所述模板信息表存储于GPU的Constant memory,待检测图像的边缘点信息存储于Texture memory〇
7. 根据权利要求4所述的基于机器视觉的不规则形状物体的计数方法，其特征在于， 使用GPU不同的block处理不同的角度变换，而同一 block中的线程处理同一角度变换时 的不用尺度变换。
8. -种基于机器视觉的不规则形状物体的计数装置，其特征在于，包括传送控制台，所 述传送控制台一端设置有拍照触发器，所述拍照触发器上方设置工业照相机，所述工业照 相机与计算机处理器连接，所述电源控制器提供电源，所述计算机处理器包括CPU和GPU。
【文档编号】G06K9/66GK104361364SQ201410726611
【公开日】2015年2月18日 申请日期:2014年12月4日 优先权日:2014年12月4日
【发明者】吴俊敏, 王彦, 郑焕鑫, 李忠键, 赵小雨 申请人:中国科学技术大学苏州研究院, 苏州展科光电科技有限公司