一种基于概率程序推断的锤具识别方法及装置

1.本发明实施例涉及图像识别技术领域，尤其涉及一种基于概率程序推断的锤具识别方法及装置。


背景技术：

2.目前，锤具图像识别主要应用于行李物品安检系统、锤具生产分类系统等涉及工业生产和公共安全的领域，例如：为确保机场、火车站、地铁站等其他人流众多的公共场所安全，行李中的危险物品检测(包括对尖锐锤具的检测)已成为必要的安全手段之一；性能良好、生产效率高的自动化设备在工业生产中尤为重要，通过图像识别可以将不同类型的锤具准确输送到相应的生产线上。现有的通过图像识别进行锤具检测的方式效果并没有达到最佳。


技术实现要素：

3.基于此，本发明实施例提供了一种基于概率程序推断的锤具识别方法及装置，以提高锤具识别的准确性和可信度。技术方案如下：
4.第一方面，本技术实施例中提供了一种基于概率程序推断的锤具识别方法，所述方法包括以下步骤：
5.s1：针对一个锤具图像，采用边缘检测方法来提取锤具的轮廓数据，并将其转换为数据点集；
6.s2：分别针对羊角锤、石工锤和钳工锤设计相应的概率程序
7.s3：针对所述数据点集分别用羊角锤概率程序、石工锤概率程序和钳工锤概率程序进行推断，得到羊角锤候选形状、石工锤候选形状和钳工锤候选形状，再从候选形状中选择相似度最大的形状作为最终形状。
8.可选地，所述s1中边缘检测方法提取锤具轮廓的步骤如下：
9.s1-1：对读入的图像进行压缩，并转换为单通道的灰度图；
10.s1-2：使用改进的canny检测算法进行边缘检测，识别真实边缘；
11.s1-3：去除噪声：在边缘检测完成后，利用形态学“开”操作将小的噪声消除，再离用“闭”操作重建丢失边缘的部分，以填充目标物的内控，获得主要特征对象的轮廓；
12.s1-4：轮廓提取：图像中的每个轮廓均对应一个点集，首先根据判断轮廓的起始点是否闭合来决定是否保存，然后构建轮廓树。其中，使用opencv提供的函数findcontours实现轮廓的构建，选择retr_external检索模式用于只检测外轮廓，选择chain_approx_none近似方法用于存储所有的外周轮廓点。
13.可选地，所述s2中概率程序的构建方法如下：
14.首设置锤头的控制点个数可变，锤柄的控制点个数固定，使用三次b样条(b-spline)方法来描述样条曲线近似拟合，所述概率程序通过多个控制点的闭合样条曲线来描述。
15.可选地，所述s3中概率程序推断的步骤如下：
16.s3-1：根据当前参数值运行概率程序并得到对应的几何形状；
17.s3-2：利用平均测度方法计算该几何形状与图像数据点集的相似度；
18.s3-3：利用杜鹃搜索算法更新概率程序的参数值，并重复上述步骤直至几何形状与图像数据点集的相似度基本不变。
19.第二方面，本技术实施例提供了一种基于概率程序推断的锤具识别装置，所述装置包括：
20.提取模块，用于针对一个锤具图像，采用边缘检测方法来提取锤具的轮廓数据，并将其转换为数据点集；
21.程序设计模块，用于分别针对羊角锤、石工锤和钳工锤设计相应的概率程序；
22.识别模块，用于针对所述数据点集分别用羊角锤概率程序、石工锤概率程序和钳工锤概率程序进行推断，得到羊角锤候选形状、石工锤候选形状和钳工锤候选形状，再从候选形状中选择相似度最大的形状作为最终确定的形状。
23.为了提高锤具识别的准确率和可信度，本发明设计了一种基于概率程序推断的锤具识别方法。该方法的关键在于使用了基于从几何形状到数据点集间误差的锤具相似度度量标准(称为平均测度)，该标准能够鲁棒地评估几何形状和不完美(有噪声，离群点或不完整)数据点集间的相似度。
24.本技术方案的原理及有益效果：
25.本发明利用边缘检测方法来提取锤具图像的轮廓数据，针对羊角锤、石工锤和钳工锤分别设计相应的概率程序，然后对同一个锤具图像分别用羊角锤概率程序、石工锤概率程序和钳工锤概率程序进行推断，得到羊角锤候选形状、石工锤候选形状和钳工锤候选形状，再从候选形状中选择相似度最大的形状作为最终形状。关键步骤之一是概率程序推断，其原理是利用杜鹃搜索算法不断更新优化几何形状，使之能够完全检测出锤具的轮廓。相对于现有其他技术，本技术的数据利用效率高、可解释性好、鲁棒性强。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例中示出的一种基于概率程序推断的锤具识别方法的流程示意图；
29.图2a-2d为本发明实施例中示出的边缘检测方法对锤具的轮廓提取示意图；
30.图3为本发明实施例中示出的概率程序推断流程示意图；
31.图4为本发明实施例中示出的锤具识别方法总体流程示意图；
32.图5a-5f为本发明实施例提供的测试结果图；
33.图6a-6c为本发明实施例提供的锤具概率程序推断的相似度进化过程图；
34.图7为本发明实施例中示出的一种基于概率程序推断的锤具识别装置的结构示意
图。
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.在行李物品安检、工业生产分类等系统中，经常需要进行锤具识别。良好的锤具识别方案有助于解决检测效率较低、存在漏检等问题。本技术实施例提供的一种基于概率程序推断的锤具识别方法使用边缘检测方法得到锤具轮廓并利用概率程序推断进行识别，其不易受到噪声干扰，能够输出较为完整的轮廓，以此提高识别的准确率和可信度，即使数据点集含有大量噪声，本文方法依然能保持着良好的识别能力，程序拥有良好的健壮性。
38.参照图1所示，该方法包括以下步骤s1-s3：
39.s1：针对一个锤具图像，采用边缘检测方法来提取锤具的轮廓数据，并将其转换为数据点集；
40.本技术中，上述步骤s1中，通过边缘检测方法提取锤具轮廓的步骤，具体包括如下步骤：
41.s1-1：对读入的图像进行压缩，并转换为单通道的灰度图；
42.s1-2：使用改进的canny检测算法进行边缘检测，识别真实边缘；
43.s1-3：去除噪声：在边缘检测完成后，利用形态学“开”操作将小的噪声消除，再离用“闭”操作重建丢失边缘的部分，以填充目标物的内控，获得主要特征对象的轮廓；
44.s1-4：轮廓提取：图像中的每个轮廓均对应一个点集，首先根据判断轮廓的起始点是否闭合来决定是否保存，然后构建轮廓树。本技术使用opencv提供的函数findcontours实现轮廓的构建，由于我们只需要锤具的外轮廓，因此选择retr_external检索模式用于只检测外轮廓，选择chain_approx_none近似方法用于存储所有的外周轮廓点。
45.s2：分别针对羊角锤、石工锤和钳工锤设计相应的概率程序
46.锤具的概率程序设计首先要从锤具的几何特点出发，根据经验以及对图像轮廓特征的分析，考虑到以下特点：
①
锤具通常可以分为锤头和锤柄两个有较大轮廓区别的部分；
②
锤柄和锤头都有一定的曲线特征，但基本上可以参照体素化方法描述外围矩形，用于描述基础的轮廓；
③
不同锤具的主要差别在锤头部分，锤柄的差异较小。根据以上特征，锤具程序可以通过多个控制点的闭合样条曲线来描述，而如何确定样条的控制点则需要概率程序来识别和描述。在具体的实现中，使用三次b样条(b-spline)方法来描述样条曲线，用于
近似拟合。另外，由于锤头是识别锤具的中心，因此本文的实现中设置锤头的控制点个数可变，而锤柄的控制点个数固定。
47.锤具的概率程序有4个规则：锤具、锤头、锤柄以及渲染，如下表1、表2、表3、表4所示。该程序首先调用锤具规则(表1)，获取全局的基础参数，包括锚点i、宽度w、高度h以及三次样条曲线的控制点个数k。然后根据获取的这些基础参数调用锤头规则(表2)，在锤头规则中会生成相应的k个控制点，其作用是用于描述锤头的曲线。然后在根据锚点以及基础矩形参数即w和h来调用锤柄规则(表3)，该规则会根据参数生成固定个数(本文设置为5个)的控制点，用于描述具有较简单的形状和结构的锤柄。最后，利用渲染规则(表4)对通过插值计算控制点后生成的曲线点集进行线性变换，包括旋转和放射变换(平移已经通过锤具规则中锚点变量实现)。最后，根据以上生成的点云表示锤具模型。通过对参数规则的分析，该概率程序可表示的总的参数数目是8+k个，锤具模型的具体变量数目通过先验知识或训练获得。
48.表1锤具规则
[0049][0050]
表2锤头规则
[0051][0052]
[0053]
表3锤柄规则
[0054][0055]
表4渲染规则
[0056][0057]
s3：针对s1所述锤具图像提取出的轮廓数据点集分别用羊角锤概率程序、石工锤概率程序和钳工锤概率程序进行推断，得到羊角锤候选形状、石工锤候选形状和钳工锤候选形状，再从候选形状中选择相似度最大的形状作为最终形状。
[0058]
示例性地，如图4所示，获取一张待进行锤具识别的锤具图像，通过n个概率程序分别进行处理得到n(n≥3)个候选形状，比如，通过锤具概率程序1进行处理得到候选形状1，通过锤具概率程序2进行处理得到候选形状2
…
，对得到的n个候选形状进行比对分析，选取相似度最大的候选形状作为最优性状，即确定的最终形状。
[0059]
本技术实施例中，上述步骤s3中概率程序推断具体包括如下步骤：
[0060]
s3-1：根据当前参数值运行概率程序并得到对应的几何形状；
[0061]
s3-2：利用相似度计算方法(本发明采用平均测度方法)计算该几何形状与图像数据点集的相似度；
[0062]
s3-3：利用最优化算法(本发明采用杜鹃搜索算法)更新概率程序的参数值，并重复上述步骤直至几何形状与图像数据点集的相似度基本不变。。
[0063]
如图3所示，概率程序推断的过程，大概包括：输入数据点集，输入概率程序并初始化相关参数，依据最优化算法获取参数(初始化时可以指定或随机生成)并运行概率程序，生成对应的几何模型，通过估计子计算当前模型到数据点集的相似度，再根据最优化算法的提议密度函数更新参数值，如此迭代以上步骤直到目标函数收敛，否则采纳更新后的参数值继续运行概率程序。
[0064]
其中，上述锤具图像轮廓点集的提取过程，包括：边缘检测(参照图2a)；形态学操作(参照图2b)；轮廓提取(参照图2c)；获取的轮廓点集(参照图2d)。
[0065]
图5a-5f为锤具图像及拟合过程示意图，其中，图5a-图5c分别是羊角锤、石工锤和钳工锤锤具图像；图5d-图5f分别是用羊角锤、石工锤和钳工锤概率程序在图5a-图5c图片上拟合的过程，其中蓝色部分为从锤具图像提取出的数据点集，绿色部分为拟合出来的几何形状。
[0066]
图6a-6c为锤具概率程序推断的相似度进化过程图。图中m1、m2、m3分别代表羊角锤、石工锤和钳工锤概率程序。(a)是用m1、m2、m3在羊角锤图像(见图6a)上进行概率程序推断的相似度进化过程图；(b)是用m1、m2、m3在石工锤图像(见图6b)上进行概率程序推断的相似度进化过程图；(c)是用m1、m2、m3在钳工锤图像(见图6c)上进行概率程序推断的相似度进化过程图。从这些相似度进化过程图可以看出，不同种类的锤具能被正确的识别出来。
[0067]
图7为本发明实施例中示出的一种基于概率程序推断的锤具识别装置的结构示意图；参照图7所示，该锤具识别装置，包括：
[0068]
提取模块701，用于针对一个锤具图像，采用边缘检测方法来提取锤具的轮廓数据，并将其转换为数据点集；
[0069]
程序设计模块702，用于分别针对羊角锤、石工锤和钳工锤设计相应的概率程序；
[0070]
识别模块703，用于针对所述数据点集分别用羊角锤概率程序、石工锤概率程序和钳工锤概率程序进行推断，得到羊角锤候选形状、石工锤候选形状和钳工锤候选形状，再从候选形状中选择相似度最大的形状作为最终确定的形状。
[0071]
总结而言，设计稳健的相似度估计子、合适的最优化算法以及如何恰当地预处理图像数据、编写恰当的概率程序，这几部分是本技术方案实现的识别方法的核心。
[0072]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。