一种基于复杂背景下的小目标识别系统

1.本发明涉及目标识别领域，尤其涉及一种基于复杂背景下的小目标识别系统。


背景技术：

2.目标识别现在被广泛应用于各大领域中，例如生物勘测中，当人们需要对某一个地域的生物进行勘测和统计时，通常是在该地域安装隐蔽的摄像头对生物经常出没的地方进行监控，然后通过人们观看监控视频对生物目标进行观察，但是这种方案明显费时费力，所以将目标识别应用于此，通过计算机内置的目标识别算法对图片进行处理，对生物目标进行识别，无需人们费时观看视频，显然是更加实用的方案。
3.但是由于生物勘测时，有部分生物体型很小，并且地域环境较为复杂，所采集的图片具有较为复杂的背景，但包含小目标的图片通过目标识别算法进行检测，图片特征在不断卷积中特征不断聚合造成丢失，识别精度明显下降。


技术实现要素：

4.为了克服现有复杂背景下的小目标识别精度下降的缺点，提供一种能够降低计算量、提高识别精度的工作量的基于复杂背景下的小目标识别系统。
5.为了解决上述技术问题，本发明提供一种基于复杂背景下的小目标识别系统，包括：图片获取模块，用于采集图片信息，并将图片信息发送至图像增强模块；图像增强模块，用于接收来自图片获取模块的图片信息，并通过阈值分割技术对图片信息内的背景进行去除，并将处理后的图片信息发送至图片噪声过滤模块；图片噪声过滤模块，用于接收处理后的图片信息，将处理后的图片信息通过中值滤波法进行噪声的去除；目标识别模块，用于获取降噪后的图片信息，并对图片中的目标进行标注和识别。
6.具体地，所述目标识别模块包括神经网络模型存储单元、神经网络训练单元、神经网络模型选取单元、小目标识别单元和标注单元；所述神经网络模型存储单元用于储存训练好的神经网络模型和神经网络模型模板，所述神经网络模型采用faster-rcnn算法，分为卷积层子模板、rpn网络、roi pooling层和分类层，其中卷积层子模板以vgg16网络作为基础，再加上se模块处理层、采样层和特征融合层组成，其中的vgg16网络去除最后的池化层、全连接层和soft-max分类层，此时的vgg16网络由13个conv+relu层和4个pooling层组成；所述神经网络训练单元用于加载神经网络模型模板，并根据训练数据集对神经网络模型模板进行参数训练；所述神经网络模型选取单元用于响应用户的操作从神经网络模型存储单元中选取对应的训练好的神经网络模型，并送入小目标识别单元；所述小目标识别单元用于加载训练好的神经网络模型，并将获取的图片信息送入
训练好的神经网络模型，训练好的神经网络模型对图片信息进行处理，生成目标类型标签和定位框坐标；所述标注单元用于接收定位框坐标，并根据定位框坐标在图片上进行标注，标注的内容包括定位框和目标类型标签。
7.具体地，训练好的神经网络模型对图片信息进行处理的步骤如下：s1：图片信息经过13个conv+relu层，对图片进行卷积计算和非线性变换，卷积核都为“3
×
3”，期间经过4个pooling层，通过“2
×
2”的滤波器进行下采样；s2：选取conv2和conv13层生成的特征图，分别通过se模块处理层对特征图进行处理，生成的特征图分别记为f1和f2；s3：特征融合层将f2通过双线性插值进行上采样，并与f1进行拼接，生成特征图f3；s4：将特征图f3送入rpn网络，rpn网络根据特征图f3生成包含有目标的预测框坐标；s5：roi pooling层，通过将预测框坐标映射至特征图f3，并将映射后的区域分成相同大小的部分，并对不同部分进行max pooling，生成特征图f4，并送入分类层；s6：分类层对目标进行分类，并生成目标类型标签和定位框坐标。
8.具体地，还包括先验框生成模块；所述先验框生成模块用来根据训练数据集的图片生成目标存在概率最高的区域，记为先验框；所述先验框生成模块生成先验框的步骤为：t1：训练数据集总图片数为m，选取一张训练数据集中的图片，根据其上标注框的坐标位置，获取处于标注框内的所有像素点坐标（xi，yj），并进行存储，记为集合δ，其中i=1,2,3
······
i，i为对应图片像素点x坐标的最大值，j=1,2,3
······
j，j为对应图片像素点y坐标的最大值，集合δ中的每个像素点坐标分配一个权重wn，n=1，2，3
······
n，n为集合δ中所有元素总个数，记录k=1；t2：再选取下一张训练数据集中的图片，根据其上标注框的坐标位置，依次获取标注框内的像素点坐标（xi，yj）；t3：将（k+1）赋值给k，每一次获取像素点坐标（xi，yj），便遍历整个集合δ与此像素点坐标进行匹配；若匹配成功，将wn+1赋值给匹配成功对应的像素点坐标的权重wn；若匹配失败，将此像素点坐标添加至集合δ中，并对其分配权重wn；t4：对k值进行判断，若“k≤m”成立，则回到t2；若“k≤m”不成立，进入t5；t5：对集合δ中所有像素点坐标（xi，yj）按权重wn从大到小进行排序，并选取权重wn在前e的像素点坐标（xi，yj），记为集合μ，其中e为权重置信度阈值；t6：选取集合μ中的所有像素点坐标（xi，yj）中的xi，并将选取的xi按从大到小进行排列，再选取其中的最大值x
max
和最小值x
min
；选取集合μ中的所有像素点坐标（xi，yj）中的yj，并将选取的yj按从大到小进行排列，再选取其中的最大值y
max
和最小值y
min
；以坐标（x
min
，y
min
）和坐标（x
max
，y
max
）为左下角坐标和右上角坐标，生成先验框，先验框以坐标形式储存。
9.具体地，所述步骤t2具体包括：t2.1：再选取下一张训练数据集中的图片，根据其上标注框的坐标位置，依次获取
标注框内的像素点坐标（xi，yj）；t2.2：判断“k≤0.5m”是否成立，若“k≤0.5m”成立，进入t3；若“k≤0.5m”不成立，进入t2.3；t2.3：计算集合δ中所有像素坐标点的个数α，判断“α≤a”是否成立，其中a为集合δ中允许最大的像素坐标点个数，若“α≤a”成立，进入t3；若“α≤a”不成立，进入t2.4；t2.4：对集合δ中所有像素点坐标（xi，yj）按权重wn从大到小进行排序，删除权重wn在后f的像素点坐标（xi，yj），进入t3，其中f为无意义权重阈值。
10.具体地，所述步骤s3具体包括如下步骤：s3.1：特征融合层将f2通过双线性插值进行上采样，并与f1进行拼接，生成特征图f3；s3.2：将先验框映射至特征图f3上，并将映射后选取的区域对应的特征图f5送入基于cnn的深度学习模型，判断此区域是否有目标存在，若有目标存在，将特征图f5送入分类层，进入s6；若无目标存在，进入s4。
11.具体地，所述图片获取模块配置为摄像头，并且图片获取模块每隔15s采集一次图片。
12.具体地，所述a由人为进行设置。
13.与现有技术相比，本发明具有以下优点：1、本发明通过运用先验框对特征图进行判断，当先验框映射的区域内有目标，可以直接进行分类，无需经过rpn网络进行复杂的计算，减少计算量。
14.2、本发明采用otsu法进行图像增强，根据阈值将图片信息中的背景去除，降低复杂背景对小目标识别的干扰，提升小目标识别的精度。
15.3、本发明通过图片噪声过滤模块对图片信息进行降噪处理，降低噪声对后续识别的干扰，并且还能够保持边缘特征，进一步提升小目标识别的精度。
16.4、本发明通过选取第二个卷积层的特征图和第十三个卷积层的特征图，并通过se模块对特征图的浅层特征进行强化，将处理后的两个特征图拼接，使得生成的特征图能够保留浅层特征，避免小目标尺寸小，造成识别精度降低。
附图说明
17.图1为本发明所采用的基于复杂背景下的小目标识别系统的结构示意图。
18.图2为本发明所采用的目标识别模块的结构示意图。
19.图3为本发明所采用的神经网络模型的结构示意图。
20.图4为本发明所采用的生成先验框的流程图。
21.图5为本发明实施例对图片信息进行处理的流程图。
具体实施方式
22.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护
的范围。
23.实施例1本发明提供一种基于复杂背景下的小目标识别系统，如图1所示，包括图片获取模块、图像增强模块、图片噪声过滤模块和目标识别模块：图片获取模块，用于采集图片信息，并将图片信息发送至图像增强模块；图像增强模块，用于接收来自图片获取模块的图片信息，并通过阈值分割技术对图片信息内的背景进行去除，并将处理后的图片信息发送至图片噪声过滤模块；其中阈值分割技术选择otsu法，即最大类间方差法，通过计算得到使目标和背景差异最大的阈值，根据阈值将图片信息中的背景去除，降低复杂背景对小目标识别的干扰；图片噪声过滤模块，用于接收处理后的图片信息，将处理后的图片信息通过中值滤波法进行噪声的去除；通过阈值分割处理后的图片信息此时会有较多噪声，根据中值滤波法，使得每一个像素点的像素点灰度值为该像素点邻域像素点灰度值的中值，能够显著降低噪声对后续识别的干扰，并且还能够保持边缘特征；目标识别模块，用于获取降噪后的图片信息，并对图片中的目标进行标注和识别。
24.如图2所示，所述目标识别模块包括神经网络模型存储单元、神经网络训练单元、神经网络模型选取单元、小目标识别单元和标注单元；所述神经网络模型存储单元用于储存训练好的神经网络模型和神经网络模型模板，如图3所示，所述神经网络模型采用faster-rcnn算法，分为卷积层子模板、rpn网络、roi pooling层和分类层，其中卷积层子模板以vgg16网络作为基础，再加上se模块处理层、采样层和特征融合层组成，其中的vgg16网络去除最后的池化层、全连接层和soft-max分类层，此时的vgg16网络由13个conv+relu层和4个pooling层组成，其中se模块能够增强特征图的浅层特征，避免在识别过程中丢失，提升小目标的识别精度；所述神经网络训练单元用于加载神经网络模型模板，并根据训练数据集对神经网络模型模板进行参数训练；所述参数训练的具体步骤如下：x1：将拍摄好的具有小目标的图片进行整理，并根据目标的不同类型进行分类命名，然后按1:9分为测试数据集和训练数据集；x2：将测试数据集和训练数据集图片中的目标进行画框标注，并记录对应的标注框坐标，标注框坐标以其左下角坐标和右上角坐标组合的形式进行存储；x3：神经网络训练单元加载神经网络模型模板，再将训练数据集图片信息和其对应的类型信息及标注框坐标信息送入神经网络模型模板中；x4：通过训练数据集信息对神经网络模型模板内部参数进行训练；x5：通过测试数据集对训练好的神经网络模型进行检测。
25.所述神经网络模型选取单元用于响应用户的操作从神经网络模型存储单元中选取对应的训练好的神经网络模型，并送入小目标识别单元；所述小目标识别单元用于加载训练好的神经网络模型，并将获取的图片信息送入训练好的神经网络模型，训练好的神经网络模型对图片信息进行处理，生成目标类型标签和定位框坐标；所述标注单元用于接收定位框坐标，并根据定位框坐标在图片上进行标注，标注
的内容包括定位框和目标类型标签；如图1所示，还包括先验框生成模块；所述先验框生成模块用来根据训练数据集的图片生成目标存在概率最高的区域，记为先验框；如图4所示，所述先验框生成模块生成先验框的步骤为：t1：训练数据集总图片数为m，选取一张训练数据集中的图片，根据其上标注框的坐标位置，获取处于标注框内的所有像素点坐标（xi，yj），并进行存储，记为集合δ，其中i=1,2,3
······
i，i为对应图片像素点x坐标的最大值，j=1,2,3
······
j，j为对应图片像素点y坐标的最大值，集合δ中的每个像素点坐标分配一个权重wn，n=1，2，3
······
n，n为集合δ中所有元素总个数，记录k=1；t2.1：再选取下一张训练数据集中的图片，根据其上标注框的坐标位置，依次获取标注框内的像素点坐标（xi，yj）；t2.2：判断“k≤0.5m”是否成立，若“k≤0.5m”成立，进入t3；若“k≤0.5m”不成立，进入t2.3；t2.3：计算集合δ中所有像素坐标点的个数α，判断“α≤a”是否成立，其中a为集合δ中允许最大的像素坐标点个数，所述a由人为进行设置，若“α≤a”成立，进入t3；若“α≤a”不成立，进入t2.4；t2.4：对集合δ中所有像素点坐标（xi，yj）按权重wn从大到小进行排序，设置f=30%，删除权重wn在后30%的像素点坐标（xi，yj），进入t3，其中f为无意义权重阈值，实现当集合δ中的元素较多时，删除权重较低的一些像素点坐标，减少计算量；t3：将（k+1）赋值给k，每一次获取像素点坐标（xi，yj），便遍历整个集合δ与此像素点坐标进行匹配；若匹配成功，将wn+1赋值给匹配成功对应的像素点坐标的权重wn；若匹配失败，将此像素点坐标添加至集合δ中，并对其分配权重wn，用来统计小目标出现概率最高的区域；t4：对k值进行判断，若“k≤m”成立，则回到t2；若“k≤m”不成立，进入t5；t5：对集合δ中所有像素点坐标（xi，yj）按权重wn从大到小进行排序，设置e=40%，并选取权重wn在前40%的像素点坐标（xi，yj），记为集合μ，其中e为权重置信度阈值；t6：选取集合μ中的所有像素点坐标（xi，yj）中的xi，并将选取的xi按从大到小进行排列，再选取其中的最大值x
max
和最小值x
min
；选取集合μ中的所有像素点坐标（xi，yj）中的yj，并将选取的yj按从大到小进行排列，再选取其中的最大值y
max
和最小值y
min
；以坐标（x
min
，y
min
）和坐标（x
max
，y
max
）为左下角坐标和右上角坐标，生成先验框，先验框以坐标形式储存；如图5所示，训练好的神经网络模型对图片信息进行处理的步骤如下：s1：图片信息经过13个conv+relu层，对图片进行卷积计算和非线性变换，卷积核都为“3
×
3”，期间经过4个pooling层，通过“2
×
2”的滤波器进行下采样；s2：选取conv2和conv13层生成的特征图，分别通过se模块处理层对特征图进行处理，通过se模块对特征图的浅层特征进行强化，生成的特征图分别记为f1和f2；s3.1：特征融合层将f2通过双线性插值进行上采样，并与f1进行拼接，生成特征图f3；s3.2：将先验框映射至特征图f3上，并将映射后选取的区域对应的特征图f5送入
基于cnn的深度学习模型，判断此区域是否有目标存在，若有目标存在，将特征图f5送入分类层，进入s6；若无目标存在，进入s4；s4：将特征图f3送入rpn网络，rpn网络根据特征图f3生成包含有目标的预测框坐标；s5：roi pooling层，通过将预测框坐标映射至特征图f3，并将映射后的区域分成相同大小的部分，并对不同部分进行max pooling，生成特征图f4，并送入分类层；s6：分类层对目标进行分类，并生成目标类型标签和定位框坐标。
26.本实施例通过运用先验框对特征图进行判断，当先验框映射的区域内有目标，可以直接进行分类，无需经过rpn网络进行复杂的计算，减少计算量。
27.下面结合生物勘测来介绍本基于复杂背景下的小目标识别系统：w1：通过图片获取模块获取特定地域的图片，所述图片获取模块配置为摄像头，并且图片获取模块每隔15s采集一次图片；w2：将图片送入图像增强模块，对图片进行阈值分割处理，去除复杂背景的干扰；w3：将处理后的图片信息通过图片噪声过滤模块对图片信息进行降噪处理；w4：通过神经网络模型选取单元响应用户的输入，从神经网络模型存储单元选择对应的训练好的神经网络模型，并加载至小目标识别单元；w5：通过小目标识别单元对图片信息进行处理，生成目标类型标签和定位框坐标；w6：根据目标类型标签和定位框坐标，通过标注单元对原图片进行标注。
28.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。