一种视频图像的多圆形目标识别方法和系统

1.本发明涉及图像识别技术领域，具体涉及一种视频图像的多圆形目标识别方法和系统。


背景技术：

2.在此之前，对于圆形物体的识别一般都用霍夫圆变化和模板匹配的方法。霍夫圆变化的基本思路是认为图上的每一个点都可能是一个潜在的圆上的一点，通过将图上每个点的可能潜在的圆找出，通过投票选出最有可能的圆。对于图片上固定的一点（即横坐标和纵坐标为定值），则是三维坐标轴中的一条三维曲线，同时一个圆上的点都按这种方法画出潜在圆后，这些曲线都会交在同一点，这个点就是经过这些点的圆。当将图中所有点的可能潜在圆都在一个坐标轴中标出时，这些曲线就会产生许多个交点，当某个交点的由超过一定数量的曲线相交时，这个点所对应的圆就是要找的圆。
3.霍夫圆变化在使用时，由于其算法的特点，导致其时间复杂度和空间复杂度都很高，同时，它也需要用到许多的参数来配置，而这些参数的需要手动输入，而且一旦产生发生变化，就会导致最终的效果发生很大变化。
4.模板匹配是一种通过在大的图片上选择一块与要检测目标相同大小的区域并与要检测目标计算相似度的，选择其中相似度超过一定值的范围为识别目标。以8位灰度图像为例，模板t(m,n)叠放在被搜索图s(w,h)上平移，m、n、w、h均为坐标值。模板覆盖被搜索图的那块区域叫子图，为子图左下角在被搜索图s上的坐标，搜索范围是：1≤i≤w
‑
n，1≤j≤h
‑
m。可以用下式衡量t和的相似性：(1)其中，表示被搜索图s(w,h)的子图，大小与模板相同。
5.将（1）式归一化，得模板匹配的相关系数为：(2)当模板和子图一样时，相关系数r(i,j)=1，在被搜索图s中完成全部搜索后，找出r的最大值 ，其对应的子图即为匹配目标。用这种公式做图像匹配运算量大、速度慢，对于旋转了一定角度的目标的识别准确效果会变差。


技术实现要素：

6.在通常的目标检测的代码中，多用矩形框来实现对目标的检测，这对于不是矩形的物体，在用矩形框预测时，为了能框出识别目标，会导致有很多非识别对象的像素点也同
时被框入，这会在识别的过程中造成一定的误差。本发明解决的一个主要问题是现有的图像目标识别方法运算量大、识别精度低的问题。
7.根据本发明的一个方面，本发明提供一种视频图像的多圆形目标识别方法，包括：检测原始图像中目标物的圆形真实框的参数，根据所述圆形真实框的参数得到目标数据集；设置第一网络初始值，根据所述第一网络初始值构建第一目标检测网络；建立损失函数；将所述目标数据集划分为训练集和验证集；随机加载所述训练集中的图片和与所述图片对应的圆形真实框的参数，训练所述第一目标检测网络；获取所述训练集的特征层，并计算获得所述特征层对应的圆形预选框的参数；从所述特征层中获取第一圆形预测框的参数；根据所述圆形预选框的参数和所述圆形真实框的参数，计算所述圆形预选框和所述圆形真实框的第一交并比，根据所述第一交并比确定所述圆形真实框对应于所述特征层上的位置；根据所述第一圆形预测框的参数和所述圆形真实框的参数，计算所述第一圆形预测框与所述圆形真实框之间的第二交并比；根据所述第二交并比划分正负样本；利用负样本通过所述损失函数计算损失值，并对所述第一目标检测网络进行反向传播，优化所述第一目标检测网络的权值；利用所述验证集验证优化后的所述第一目标检测网络的效果，至此完成一次迭代，重复迭代直至完成所述第一目标检测网络的迭代训练；所述第一目标检测网络迭代训练完成后，保存优化后的所述第一目标检测网络的权值；重新设置第二网络初始值，根据所述第二网络初始值构建第二目标检测网络；加载优化后的所述第一目标检测网络的权值；建立解码工具；将所述原始图像放入所述第二目标检测网络中预测，获得预测结果；利用所述解码工具将所述预测结果转换为第二圆形预测框；分别将预测结果为同一种类的所述第二圆形预测框按照对应的置信度大小排序，并分别计算任意两个预测结果为同一种类的所述第二圆形预测框之间的第三交并比，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框；在所述原始图片上画出非极大抑制后的第二圆形预测框，从而识别目标物体。
8.进一步地，所述第一网络初始值和所述第二网络初始值均包括所述圆形预选框的半径、预测目标的种类数和数据集图片的分辨率。
9.进一步地，基于预测目标的种类数计算所述第一目标检测网络的输出通道的通道数。
10.进一步地，所述计算获得所述特征层对应的圆形预选框的参数的方法包括：计算所述原始图像的大小与特征层的大小的比值，获得特征点对应的像素数量；
计算所述圆形预选框的大小与所述特征点对应的像素数量的比值，获得相对于特征点大小的所述圆形预选框。
11.进一步地，所述第一圆形预测框的参数包括：所述第一圆形预测框的中心点的相对于图片大小的横坐标、纵坐标、半径、置信度和物体类别参数。
12.进一步地，所述确定所述圆形真实框对应于所述特征层上的位置的方法包括：计算相对于图片大小的所述圆形真实框的横坐标与所述特征层的大小的乘积，再对乘积取整得到所述圆形真实框对应于所述特征层的横坐标；计算相对于图片大小的所述圆形真实框的纵坐标与所述特征层的大小的乘积，再对乘积取整得到所述圆形真实框对应于所述特征层的纵坐标；计算相对于图片大小的所述圆形真实框的半径与所述特征层的大小的乘积，得到所述圆形真实框对应于所述特征层的半径。
13.进一步地，所述第一交并比、所述第二交并比和所述第三交并比的计算方法包括：计算两圆框的圆心距离d，根据所述圆心距离判断两圆的关系：如果两圆的关系为相离，则交集为0，所述第一交并比为0；如果两圆的关系为包含，则交集为小圆的面积，第一交并比为小圆面积与大圆面积的比值；如果两圆的关系为相交，计算两圆的交集，并分别计算两圆的面积s1和s2，利用下述公式计算所述第一交并比circle
‑
iou：，进一步地，所述建立解码工具还包括：根据所述第二网络初始值建立解码工具，建立时，所述特征层的最后一维的长度为预测目标的种类数加四。
14.进一步地，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框还包括：所述第三交并比大于预设值时，删除计算所述第三交并比时的两个所述第二圆形预测框中置信度较小的所述第二圆形预测框。
15.根据本发明的另一个方面，还提供一种视频图像的多圆形目标识别系统，所述多圆形目标识别系统包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行时用于调取所述计算机程序，执行如权利要求1
‑
9任一所述的一种视频图像的多圆形目标识别方法。
16.同以往的识别方法相比，本发明采用一种定性的圆形框iou计算方法来替换典型目标检测算法中的矩形框iou测算方法，形成了一种新的目标检测方法，首先基于圆形框的参数建立了目标识别网络模型并对该模型进行迭代训练，并对训练后的网络模型进行优化；在预测阶段，以训练阶段保存的优化权值为输入，获取待识别图像的预测结果，并对预测结果进行解码转换获得圆形预测框；通过计算圆形真实框与圆形预测框间的circle
‑
iou
对圆形预测框进行筛选去噪，从而精确地识别目标物体。本发明能避免很多非识别对象的像素点被框入，从而进一步提高了识别精度，而且还能更精确地处理以及判断圆形预测框的优劣。
附图说明
17.本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
18.图1为本发明实施例中视频图像的多圆形目标识别方法的训练流程示意图。
19.图2为本发明实施例中视频图像的多圆形目标识别方法的预测流程示意图。
20.图3为本发明实施例中视频图像的多圆形目标识别中相交两圆的位置示意图。
具体实施方式
21.下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
22.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
23.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
24.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
25.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
26.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
28.实施例一，如图1所示，为视频图像的多圆形目标识别方法的训练过程，在原本的yolo代码中，每个网格要预测b个bounding_box，每个bounding_box除了要预测中心点的横纵坐标以及矩形框的宽和高，还要附带预测一个confidence值(置信度)和物体类别参数。在本实施例中，为了适合圆形框，将原本的bounding_box修改成了预测中心点的横纵坐标、圆形框的半径、confidence值和物体类别参数。
29.步骤一，首先根据初始值创建目标检测网络模型，即ryolo模型：将预测框由矩形变成圆形，对于源代码中设置的矩形的预选框的初始值设置就不能使用了，所以要将矩形框的宽和长修改为圆形框的半径r，这里具体的修改可以取宽与长的和除以4作为半径r的初始值：其中，分别表示源代码中预选框的长和宽，其值是相对于像素点的大小。
30.之后修改预测目标的种类数，根据修改的半径和预测目标的种类数以及没有修改仍然按照原代码所设置的数据集图片的分辨率等初始值建立网络模型。
31.步骤二，由于修改了预测的bounding_box，原本预测的5个值变成了4个，所以在设置网络模型的输出通道的地方要修改相应的通道数：；其中表示预测目标的种类数，g表示通道数，*表示乘号。
32.给建立的网络模型中加载初始权值文件。
33.步骤三，根据设置的初始值建立rloss函数，在建立的时候，要修改特征层的最后一维的长度：，其中表示最后一维长度。
34.步骤四，将数据集划分为训练集和验证集，从训练集中取一定比例的数据作为验证集，剩余的数据继续作为训练集：步骤五，加载数据集，每一次的迭代分别读取batch_size数量的图片作为本次迭代的训练集和验证集，读取图片与对应的真实框，将读取的真实框除以图片大小，获得相对图片大小的横纵坐标以及半径：其中分别表示真实框距离图片左上角相距的横向像素点数量和纵向像素点数量；表示真实框半径为多少个像素点的长度，分别表示图像的宽、高，分别表示真实框相对于图片大小的横坐标、纵坐标以及半径。
35.步骤六，将图片放入网络中，得到大小分别为13*13、32*32、52*52的特征层，分别获得每个特征层所对应的预选框的大小，即圆形预选框的半径；其中表示特征层宽的大小，表示每个特征点对应的像素点数量，表示预选
框半径为多少个像素点的长度，表示预选框相对于特征点的半径；从特征层中读取出圆形预测框的对应数据，如相对于特征点的的横坐标、纵坐标、半径、置信度和待识别目标的类别，其中，读取圆形框的方法如下：圆形框相比于矩形框，少了一个预测数据，所以将原本最后一个维度上的位置减1才是圆形框的位置，其中，sigmoid表示神经网络的激活函数，分别表示预测框相对于特征点的横坐标、纵坐标以及半径，表示预测框的置信度，在最后一个维度上的长度就是预测目标的种类数，如果预测出来是某个物体，那么那个物体对应的位置上的值是1，其他位置为0，表示输出特征层的最后一维的第0号位置上的值，表示输出特征层的最后一维的第1号位置上的值，表示输出特征层的最后一维的第2号位置上的值，表示输出特征层的最后一维的第3号位置上的值，表示输出特征层的最后一维的第4号位置以及之后所有位置上的值。
36.步骤七，通过计算真实框与预选框的交并比circle
‑
iou，确定真实框所对应于特征层上的位置；其中，确定真实框位置的方法如下：计算真实框相对于图片大小的的横坐标与特征层大小的积，然后对结果向下取整得到真实框在特征层上的横坐标：其中表示真实框相对于特征点的横坐标，表示真实框所在的特征点的横坐标。
37.计算真实框相对于图片大小的的纵坐标与特征层大小的积，然后对结果向下取整得到真实框在特征层上的纵坐标：其中表示特征层高大小，表示真实框相对于特征点的纵坐标,表示真实框所在的特征点的纵坐标。
38.计算真实框相对于图片大小的的半径与特征层大小的积，这里不用向下取整，直接得到真实框在特征层上的半径：
其中表示加上在特征层的位置后的真实框相对于特征点的半径。
39.将真实框相对于特征点大小的横坐标和纵坐标的值变成0作为之后计算circle
‑
iou的输入，将预选框的最后一维增加相对于特征点大小的横坐标和纵坐标的值并设置为0，也作为计算circle
‑
iou的输入；这里以计算真实框与预测框间的第二交并比为例，结合图3，解释计算两圆间交并比的方法，其中真实框与预测框两个圆的交并比的计算方法为：1.设其中一个圆1（真实框）的读入的格式为，圆2（预测框）的读入格式。其中，分别为圆1的圆心横纵坐标和半径，分别为圆2的圆心横纵坐标和半径。
40.2.计算圆心距离d（abs为绝对值计算，保证距离d为正值），（23）3.判断两圆的关系分为：相离，包含，相交，（外切内切等不做特殊区分，当作相离和包含的情况）计算交集：如果两圆的关系为相离，则交集为0，circle
‑
iou为0。
41.如果两圆的关系为包含，则交集为小圆的面积，circle
‑
iou为小圆面积比大圆面积的值。
42.如果两圆的关系为相交，如图3所示，其中为两圆圆心，a和b分别为两圆的交点，2a为由两条半径所夹的圆心角，又根据余弦定理：，反解出a:其中，面积计算公式分别为：
则交集::。
43.计算交并比circle
‑
iou后，划分正负样本，用负样本计算损失值，获得负样本的方法为：1. 获取预测框的横纵坐标和半径值，方法和之前从特征层中取出预测框的对应数据相同。
44.2. 生成网格，先生成一维向量，向量的值为0到特征层的大小减1，向量的形状为（特征层宽大小），然后将其在第一维度扩维成（特征层高大小，特征层宽大小），再在第一维度扩维，变成：，最后变成：。
45.以上生成的是横坐标x的网格，之后按同样的方法生成纵坐标y的网格：（特征层高大小）到（特征层宽大小，特征层高大小）到，再到；生成半径的网格：将获得的横坐标、纵坐标、半径值进行处理:其中e为自然常数。
46.将加上在特征层的位置后的相对于特征点的真实框的数据格式也转化成(
‑
1, 3)
的张量，按前述交并比计算方法，代入上述加上在特征层的位置后的相对于特征点的横坐标、纵坐标和半径计算真实框与预测框的交并比，将大于预设值的交并比的预测框设为0，其余为1，得到负样本。
47.计算真实框相对于特征点的横坐标、纵坐标以及半径。
48.其中分别表示加上在特征层的位置后的真实框相对于特征点的横坐标、纵坐标以及半径。
49.步骤八，用负样本计算rloss值，修改了原本计算长宽的方法，增加计算半径的损失：对所有有目标点的横坐标x：对所有有目标点的纵坐标y：对所有有目标点的纵坐标r：，置信度（有目标点时mask为1，无目标点时为0；有目标点时noobj_mask为0，无目标点时为1；）:其中,mask为记录是否识别出物体的矩阵；对有目标点的分类：其中是真实框的分类。
50.求所有和:。
51.步骤八，对目标检测网络进行反向传播，优化权值文件；并用验证集验证优化效果；步骤九，目标检测网络迭代训练完成后保存优化后的权值文件。
52.人为创建一个txt文档设置物体类别与数字的对应关系，并将该txt文档的路径写到读取物体分类的代码里，使代码在读取物体分类时能正确读取。
53.结合图2，多圆形目标识别方法中的测试步骤如下：人为创建一个txt文档设置物体类别于数字的对应关系，并将该txt文档的路径写到读取物体分类的代码里，使代码在读取物体分类时能正确读取。
54.步骤一，创建ryolo模型。首先根据初始值创建新的ryolo模型；步骤二，加载权值文件。给新建的模型中加载训练过程保存的权值文件；步骤三，建立解码工具。建立将预测结果特征层转化为预测框的解码工具，根据设置的初始值建立解码，在建立的时候，要修改特征层的最后一维的长度：；步骤四，放入图片进行预测。将图片放入网络中进行预测；步骤五，将特征图进行解码。使用解码工具将预测结果转换为预测框，解码过程的具体步骤为：获取每个特征层对应的预选框的大小。获得每个特征层所对应的像素点数量；读取预测框数据。具体为从特征层中读取出圆形预测框的对应数据，如相对于特征点的的横坐标、纵坐标、半径、置信度和待识别目标的类别，其中，读取圆形框的方法如下：圆形框相比于矩形框，少了一个预测数据，所以将原本最后一个维度上的位置减1才是圆形框的位置，生成网格，先生成一维向量，向量的值为0到特征层的大小减1，向量的形状为（特征宽大小），然后将其在第一维度扩维成（特征层高大小，特征层宽大小），再在第一维度扩维，变成：最后变成：。
55.以上生成的是横坐标x的网格，之后按同样的方法生成纵坐标y的网格：
生成半径的网格：将获得的横坐标、纵坐标、半径值进行处理:将加上在特征层的位置后的相对于特征点的预测框的数据格式转化成形状为(
‑
1, 3)的张量。
56.处理预测框数据。具体为修改预测框相对于图片大小的：预测框相对于图片大小的为对应加上在特征层后的相对于特征点的预测框相对于特征点大小的和的乘积。
57.通过计算circle
‑
iou对预测框进行非极大抑制，将大于一定值的框认为是同一个物体从而去除：先获得预测框的外接矩形的左上角的坐标以及右下角的坐标：其中，分别表示预测框相对于图片大小的横纵坐标以及半径，分别表示该圆的外接矩形相对于图片大小的左上角的横纵坐标、右下角的横纵坐标。
58.步骤六，将预测框进行非极大抑制。根据前述步骤五获得外接矩形相关数据，将预测框代入非极大抑制的函数中，在计算circle
‑
iou的时候，再将左上角和右下角的坐标转变成圆形框的横纵坐标以及半径：
步骤七，在图上画框。在图片上画出预测框，将经过非极大抑制函数后留下来的框，按照分类的顺序画框，在画框时再次通过上述的办法获得外接矩形的左上角的坐标以及右下角的坐标，用上述四个坐标数据来画圆框。
59.步骤八，显示预测结果。
60.实施例二，还公开一种视频图像的多圆形目标识别系统，所述多圆形目标识别系统包括处理器和存储器，所述存储器上存储有如前任一所述的一种视频图像的多圆形目标识别方法，处理器运行时能够实现所述多圆形目标识别方法。
61.如表1所示，通过上述图像目标识别方法能有更高的准确性以及识别速度，对于一些其他方法无法识别的椭圆也能精准识别。
62.各类别的识别统计表1：以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
63.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。