一种基于对位叠加操作的鸟类识别方法、系统及存储介质

1.本发明涉及鸟类监测技术领域，尤其涉及一种基于对位叠加操作的鸟类识别方法、系统及存储介质。


背景技术：

2.鸟类作为森林和湿地生态系统的重要物种，其群落组成和种类分布被认为是保护和监控森林和湿地生态系统的重要指标。利用鸟类的分布信息将可有效的评估森林与湿地的状况，为治理森林和湿地提供依据。通过鸟类识别可以了解鸟类的群落组成和种类分布，并且能够为鸟类爱好者提供有效的帮助，随着相机、收集摄像头和监控系统的发展，基于图像的鸟类识别实用性有了较大提升。鸟类识别属于细粒度识别，即需具体识别出每种鸟的类别。该分类任务极具挑战性，因为不同类别的鸟类具有较为相似的形态，同种类别的鸟类又存在复杂多样的体态特征。目前的鸟类识别方法存在利用局部信息辅助鸟类识别的，但没有将局部信息与原图中对应局部信息进行融合增强以辅助鸟类识别的方法。


技术实现要素：

3.有鉴于此，本发明的目的在于提出一种实施可靠、数据参考性佳和效率高的基于对位叠加操作的鸟类识别方法、系统及存储介质。
4.为了实现上述的技术目的，本发明所采用的技术方案为：
5.一种基于对位叠加操作的鸟类识别方法，包括：
6.s01、获取鸟类全局图像及鸟类局部部位图像；
7.s02、将鸟类局部部位图像输入到基于densenet网络的局部特征提取分支，进行获取dense block(1)后的浅层局部特征和全局平均池化后的深层局部特征以及该局部分支的损失；
8.s03、将鸟类全局图像输入到基于densenet网络的全局特征提取主分支，进行获取在dense block(1)后与局部特征提取分支同位置的特征，即局部图像，然后根据局部图像在鸟类全局图像上的位置坐标进行对位叠加，并在全局平均池化后与局部特征提取分支同位置的特征进行串联，以此进行鸟类识别并得到损失，将该损失与局部特征提取分支损失作为总损失用于模型训练时的网络更新。
9.作为一种可能的实施方式，进一步，所述鸟类局部部位图像为鸟类全局图像中截取获得。
10.作为一种较优的选择实施方式，优选的，s01包括：
11.s011、打开鸟类全局图像；
12.s012、根据鸟类全局图像，对图像中的鸟类局部部位进行标注，然后对部位所处位置的左上角和右下角进行标注，以此形成一个包围盒将部位完整包含在内部，裁剪包围盒内部图像并记录下原图尺寸大小，以及该包围盒在原图上的左上角坐标以及右下角坐标。
13.作为一种较优的选择实施方式，优选的，s012中，通过人工标注的方式标注出局部
图像或将鸟类全局图像经过检测神经网络进行获取局部图像或通过随机裁剪的方式获取。
14.作为一种较优的选择实施方式，优选的，s02包括：
15.s021、输入获得的鸟类局部部位图像，将其缩放至224
×
224尺寸；
16.s022、输入经s021处理的鸟类局部部位图像，首先经过卷积核为7
×
7，步长为2的卷积层得到尺寸为112
×
112的特征，然后densenet网络中每层卷积后面都进行批量正则化和relu激活；
17.s023、将s022得到的特征经过3
×
3，步长为2最大池化层得到尺寸为56
×
56的特征；
18.s024、将s023得到的特征输入到dense block(1)中得到尺寸为56
×
56的特征，其中，dense block(1)包含6组一样的卷积，每组卷积包含1层卷积核为1
×
1和1层卷积核为3
×
3的卷积层，且步长均都为1；densenet网络的dense block中包含密集连接操作，即每组卷积后的得到的特征将与其之后组的特征进行串联作为下次卷积的输入；
19.s025、将dense block(1)得到的特征输入到densenet网络的transition layer(1)中得到尺寸为28
×
28的特征，其中，transition layer包含1层卷积核为1
×
1，步长为1的卷积层，以及1层2
×
2，步长为2平均池化层；
20.s026、经s025得到的特征后续再经过densenet网络的dense block(2)、transition layer(2)、dense block(3)、transition layer(3)、dense block(4)的处理后，得到尺寸为7
×
7的特征；
21.s027、将经s026得到的特征经过全局平均池化层得到尺寸为1
×
1的特征；
22.s028、将经s027得到的特征经过分类层得到结果，再以此计算局部分支的交叉熵损失，其中，分类层包含分类卷积层和softmax函数；
23.s029、输出dense block(1)得到的特征、全局平均池化后的特征和局部分支的交叉熵损失。
24.作为一种较优的选择实施方式，优选的，s026中，局部特征提取分支的densenet网络的dense block(2)、dense block(3)、dense block(4)中每组卷积的操作与该分支densenet网络的dense block(1)一致，其中，dense block(2)、dense block(3)、dense block(4)卷积的组数分别为12、24和16，dense block(2)、dense block(3)、dense block(4)的transition layer操作均一致。
25.作为一种较优的选择实施方式，优选的，s03包括：
26.s031、输入鸟类全局图像，将其缩放至224
×
224尺寸；
27.s032、输入经s031处理的鸟类全局图像，通过densenet网络令其经过与局部特征提取分支一样的卷积、池化操作直至dense block(1)得到尺寸为56
×
56的特征；
28.s033、将s032得到的特征与局部特征提取分支输出的dense block(1)的特征进行对位叠加，得到对位叠加后的特征；
29.s034、将s033得到的对位叠加特征输入到densenet网络与局部特征提取分支一样的dense block(2)、transition layer(2)、dense block(3)、transition layer(3)、dense block(4)进行操作，直至全局平均池化得到尺寸为1
×
1的特征；
30.s035、将s034得到的特征与局部特征提取分支输出的全局平均池化后的特征进行串联得到串联后的特征；
31.s036、将串联后的特征经过分类层得到最终的鸟类分类结果，并以此计算主分支的交叉熵损失，然后与局部分支的损失相加作为网络总损失；
32.s037、输出网络总损失用于网络训练，以及输出最终的鸟类分类结果。
33.作为一种较优的选择实施方式，优选的，s033中的对位叠加方法为：首先读取局部特征提取分支输出的dense block(1)的特征的尺寸并计算该尺寸与原图尺寸的比例，结合裁剪局部图像时记录的左上角和右下角坐标计算局部特征对应原图特征需要缩放的尺寸，然后根据计算的尺寸缩放局部特征，再根据记录的左上角坐标和比例计算对应在原图特征上局部特征的左上角位置，最后将缩放后的局部特征的左上角在原图特征上对应计算出的左上角坐标进行对应位置的叠加。
34.基于上述方案，本发明还提供一种基于对位叠加操作的鸟类识别系统，其包括：
35.局部特征提取分支，其用于将鸟类局部部位图像导入至一个完整的densenet网络中，且在densenet网络的dense block(1)后生成浅层的局部特征以及全局平均池化后生成深层的局部特征进行输出；
36.全局特征提取主分支，其用于将输入的鸟类全局图像导入至一个完整的densenet网络中，在该主分支的densenet网络的dense block(1)后接收局部特征提取分支的局部信息，进行对应位置的叠加操作，叠加后的结果作为剩余网络的输入，并在全局平均池化后与局部特征提取分支进行串联，最后对串联结果进行分类以识别图像中的鸟类。
37.基于上述方案，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的基于对位叠加操作的鸟类识别方法。
38.采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案巧妙性提供的一种基于对位叠加操作的鸟类识别方法，其不仅融合了全局与局部信息，并且在模型中间将局部信息在全局中的对应位置进行叠加从而达到对全局的增强，更加有效得利用了局部信息，从而可以进一步拓展在鸟类识别领域的应用及研究。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明方法的简要实施流程示意图。
具体实施方式
41.下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
42.结合图1所示，本方案一种基于对位叠加操作的鸟类识别方法，包括：
43.s01、获取鸟类全局图像及鸟类局部部位图像，其中，所述鸟类局部部位图像为鸟
类全局图像中截取获得；
44.s02、将鸟类局部部位图像输入到基于densenet网络的局部特征提取分支，进行获取dense block(1)后的浅层局部特征和全局平均池化后的深层局部特征以及该局部分支的损失；
45.s03、将鸟类全局图像输入到基于densenet网络的全局特征提取主分支，进行获取在dense block(1)后与局部特征提取分支同位置的特征，即局部图像，然后根据局部图像在鸟类全局图像上的位置坐标进行对位叠加，并在全局平均池化后与局部特征提取分支同位置的特征进行串联，以此进行鸟类识别并得到损失，将该损失与局部特征提取分支损失作为总损失用于模型训练时的网络更新。
46.具体的，本方案s01包括：
47.s011、打开鸟类全局图像；
48.s012、根据鸟类全局图像，对图像中的鸟类局部部位进行标注，然后对部位所处位置的左上角和右下角进行标注，以此形成一个包围盒将部位完整包含在内部，裁剪包围盒内部图像并记录下原图尺寸大小，以及该包围盒在原图上的左上角坐标以及右下角坐标；优选的，本步骤中，可以通过人工标注的方式标注出局部图像或将鸟类全局图像经过检测神经网络进行获取局部图像或通过随机裁剪的方式获取。
49.具体的，本方案s02包括：
50.s021、输入获得的鸟类局部部位图像，将其缩放至224
×
224尺寸；
51.s022、输入经s021处理的鸟类局部部位图像，首先经过卷积核为7
×
7，步长为2的卷积层得到尺寸为112
×
112的特征，然后densenet网络中每层卷积后面都进行批量正则化(bn，batch normalization)和relu激活；
52.s023、将s022得到的特征经过3
×
3，步长为2最大池化层得到尺寸为56
×
56的特征；
53.s024、将s023得到的特征输入到dense block(1)中得到尺寸为56
×
56的特征，其中，dense block(1)包含6组一样的卷积，每组卷积包含1层卷积核为1
×
1和1层卷积核为3
×
3的卷积层，且步长均都为1；densenet网络的dense block中包含密集连接操作，即每组卷积后的得到的特征将与其之后组的特征进行串联作为下次卷积的输入，例如，第6组卷积的输入为前5组卷积结果的串联，第5组卷积的输入为前4组卷积结果的串联；
54.s025、将dense block(1)得到的特征输入到densenet网络的transition layer(1)中得到尺寸为28
×
28的特征，其中，transition layer包含1层卷积核为1
×
1，步长为1的卷积层，以及1层2
×
2，步长为2平均池化层；
55.s026、经s025得到的特征后续再经过densenet网络的dense block(2)、transition layer(2)、dense block(3)、transition layer(3)、dense block(4)的处理后，得到尺寸为7
×
7的特征，其中，局部特征提取分支的densenet网络的dense block(2)、dense block(3)、dense block(4)中每组卷积的操作与该分支densenet网络的dense block(1)一致，其中，dense block(2)、dense block(3)、dense block(4)卷积的组数分别为12、24和16，dense block(2)、dense block(3)、dense block(4)的transition layer操作均一致；
56.s027、将经s026得到的特征经过全局平均池化层得到尺寸为1
×
1的特征；
57.s028、将经s027得到的特征经过分类层得到结果，再以此计算局部分支的交叉熵损失，其中，分类层包含分类卷积层和softmax函数；其中，表1以cub200-211鸟类公共数据集为例，其包含200类鸟，因此为200维的卷积层，即200d conv；
58.s029、输出dense block(1)得到的特征、全局平均池化后的特征和局部分支的交叉熵损失。
59.表1处理cub200-211鸟类公共数据集的简要数据流程
[0060][0061]
具体的，本方案s03包括：
[0062]
s031、输入鸟类全局图像，将其缩放至224
×
224尺寸；
[0063]
s032、输入经s031处理的鸟类全局图像，通过densenet网络令其经过与局部特征提取分支一样的卷积、池化操作直至dense block(1)得到尺寸为56
×
56的特征；
[0064]
s033、将s032得到的特征与局部特征提取分支输出的dense block(1)的特征进行对位叠加，得到对位叠加后的特征，其中，对位叠加方法为：首先读取局部特征提取分支输出的dense block(1)的特征的尺寸并计算该尺寸与原图尺寸的比例，结合裁剪局部图像时记录的左上角和右下角坐标计算局部特征对应原图特征需要缩放的尺寸，然后根据计算的尺寸缩放局部特征，再根据记录的左上角坐标和比例计算对应在原图特征上局部特征的左上角位置，最后将缩放后的局部特征的左上角在原图特征上对应计算出的左上角坐标进行对应位置的叠加；
[0065]
s034、将s033得到的对位叠加特征输入到densenet网络与局部特征提取分支一样的dense block(2)、transition layer(2)、dense block(3)、transition layer(3)、dense block(4)进行操作，直至全局平均池化得到尺寸为1
×
1的特征；
[0066]
s035、将s034得到的特征与局部特征提取分支输出的全局平均池化后的特征进行串联得到串联后的特征；
[0067]
s036、将串联后的特征经过分类层得到最终的鸟类分类结果，并以此计算主分支的交叉熵损失，然后与局部分支的损失相加作为网络总损失；
[0068]
s037、输出网络总损失用于网络训练，以及输出最终的鸟类分类结果。
[0069]
基于上述方案，本发明还提供一种基于对位叠加操作的鸟类识别系统，其包括：
[0070]
局部特征提取分支，其用于将鸟类局部部位图像导入至一个完整的densenet网络中，且在densenet网络的dense block(1)后生成浅层的局部特征以及全局平均池化后生成深层的局部特征进行输出；
[0071]
全局特征提取主分支，其用于将输入的鸟类全局图像导入至一个完整的densenet网络中，在该主分支的densenet网络的dense block(1)后接收局部特征提取分支的局部信息，进行对应位置的叠加操作，叠加后的结果作为剩余网络的输入，并在全局平均池化后与局部特征提取分支进行串联，最后对串联结果进行分类以识别图像中的鸟类。
[0072]
除上述之外，本方案中的局部特征提取分支和全局特征提取分支所采用的模型不限于densenet模型，其还可以采取任何模型等效提取局部信息和全局信息进行对位叠加操作；而且，本技术方案中的局部特征提取分支不限于1条分支，可添加多条局部特征提取分支，每条分支都可进行对位叠加操作，无论选取多少条局部特征提取分支进行对位叠加操作。
[0073]
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0074]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0075]
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。