一种基于云边协同控制的鸟鸣声智能监测系统

本发明涉及语音识别，尤其涉及一种基于云边协同控制的鸟鸣声智能监测系统。

背景技术：

1、在生态系统保护领域，鸟类是野生动物中具有代表性的类群之一，鸟类分布十分广泛且对环境变化极为敏感，是生态系统的重要组成部分并发挥着巨大作用。传统的鸟类监测方法是依靠调查者进行长期蹲点完成的，需要耗费大量的人力和物力，无法持续监测，并且会影响鸟类生态。声学监测作为一种非入侵性的监测手段，通过采集分析环境中发声动物的声音特征来评估生物多样性，是近年来生物声学监测研究的热点之一。然而，在目前的保护规划和实践中，被动声学监测产生了大量的音频记录，这些原始数据的管理和分析正在面临挑战和瓶颈，导致整个智能化监测周期长、效率低。

2、现有技术中，申请号为202021676264.6的专利提供一种基于dsp的便携式鸟鸣声识别系统，通过对鸟鸣声数据进行采集和处理，再对数据存储模块中存储的已知鸟类的声音信息进行一一对比，查找确认鸟类品种。其缺少对鸟鸣声信息的有效利用；并且鸟鸣声识别是通过和存储样本比对的方式实现，由于样本的选取存在特殊性，会导致识别结果并不充分可靠。

3、现有技术还通过一种利用声学监测和深度学习建立动物自动声学监测系统。使用三星s10记录花园鸟类的声音，并通过简单邮件传输协议(smtp)自动上传到面向公众的网站。该方法使用机器学习中的前沿技术从时间序列音频信号中自动提取特征，并建立深度学习模型，根据不同鸟类发出的声音对其进行分类。利用mel-frequency倒谱(mfc)对采集到的鸟鸣信号进行处理，提取特征，然后使用多层感知器(mlp)对特征进行分类。将训练过的模型使用tensorflow 2.2托管，并通过网站提供服务进行分类。但是其中鸟鸣声的采集过程粗糙，缺乏针对性；虽然采用移动设备进行了声音采集和传输，但并未在云边建立起可修正优化的识别系统。

4、为了解决上述问题，本发明利用云边在智能监测应用上的协同优势，综合时延、成本、性能和可靠性等因素，考虑建立一种基于云边协同控制的鸟鸣声智能监测系统，实现野外鸟鸣声数据的互联互通和开放共享；系统平台集合鸣声数据、物种信息和采集地信息，利用统计和数值模型，对监测数据进行科学分析。

技术实现思路

1、本发明的目的在于提出一种基于云边协同控制的鸟鸣声智能监测系统以解决背景技术中所提出的问题：

2、缺少对鸟鸣声信息的有效利用；边缘侧识别结果并不充分可靠；鸟鸣声采集缺乏针对性；未能构建可持续优化的智能识别系统。

3、为了实现上述目的，本发明采用了如下技术方案：

4、一种基于云边协同控制的鸟鸣声智能监测系统，包括：边缘节点和云边协同全局管理平台，所述边缘节点采集真实环境中的鸟鸣声数据，并将所述鸟鸣声数据上报至所述云边协同全局管理平台，所述云边协同全局管理平台对由边缘设备构成的边缘节点进行统一纳管；

5、所述边缘节点包括鸣声采集模块、音频管理模块、鸣声识别模块、人机交互模块、数据存储模块和数据上传模块；

6、所述鸣声采集模块用于采集真实环境中的鸟鸣声数据；

7、所述音频管理模块用于对采集的所有鸟鸣声数据进行管理；

8、所述鸣声识别模块用于对鸟鸣声数据进行识别；

9、所述人机交互模块用于进行人机交互；

10、所述数据存储模块用于存储鸟鸣声数据和鸟类物种信息；

11、所述数据上传模块用于将鸟鸣声数据上传至云边协同全局管理平台；

12、所述云边协同全局管理平台包括数据分析层、深度学习层和人机交互层；

13、所述数据分析层用于对多种数据源对象类型进行统一的数据采集、分析及控制；

14、所述深度学习层用于对所述数据分析层的进行增量学习和训练，其中通过多维代表性评估模块对云端音频数据进行筛选；

15、所述人机交互层用于为使用者提供可操作界面以及将采集到的鸟类信息进行可视化展示。

16、优选地，所述鸣声采集模块在采集音频数据的同时根据音频数据实时绘制时域波形图。

17、优选地，所述鸣声识别模块基于tcnn的轻量化鸟鸣声识别模型进行鸟鸣声的智能识别，所述轻量化鸟鸣声识别模型是基于编解码器结构，在编码器和解码器之间插入时间卷积模型进行实时语音增强和智能识别。

18、优选地，所述数据存储模块基于android room框架搭建鸟类数据库。

19、优选地，所述数据上传模块还通过android提供的地理位置监听器获取当前的地理信息；执行上传功能时，边缘设备通过4g/5g通信与云端相连接。

20、优选地，所述数据分析层接收到来自边缘设备的数据后进行统计和分析处理，自动判断识别结果准确率过低的样本，并将其作为未知类提供给前端进行甄别和重新标注；对其他样本按照识别的类别直接进行存储。

21、优选地，所述多维代表性评估模型对原模型的数据集、与原始数据集包含的类别相同的新数据和新增类别的新数据进行筛选，再对物种区分因素进行权重制定，基于层次分析法评估物种当前的生态代表性。

22、优选地，所述多维代表性评估模型基于群体选择、辨别式采样的方法进行样本音频特征代表性的筛选，其中群体采用按照样本距离类中心的距离分布进行分析抽样，辨别式采样选择已定义决策边界的样本。

23、与现有技术相比，本发明提供了一种基于云边协同控制的鸟鸣声智能监测系统，具备以下有益效果：

24、本发明通过以融合增量学习的“云端训练+边缘推理”智能边缘数据分析技术为核心，以智能移动设备为边缘设备基础，提供一种结合人工智能对鸟鸣声进行本地识别的边缘智能分析方法；该方法以android开发技术为基础，结合传统声音采集方式，针对鸟鸣声采集开发了适配的功能配件完成数据采集，外加部署云端下发的鸟鸣声识别模型，在边缘侧实现鸟鸣声的本地智能识别。以移动通信技术为信息通道，连接高性能的云端智能服务器，形成具有持续学习能力的云边协同鸟鸣声监测模式。实现野外鸟鸣声采集的远程上传和自动识别，构建开放、精准识别和持续进化的云边协同鸟类鸣声监测系统。

技术特征：

1.一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，包括：边缘节点(1)和云边协同全局管理平台(2)，所述边缘节点(1)采集真实环境中的鸟鸣声数据，并将所述鸟鸣声数据上报至所述云边协同全局管理平台(2)，所述云边协同全局管理平台(2)对由边缘设备构成的边缘节点(1)进行统一纳管；

2.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述鸣声采集模块(110)在采集音频数据的同时根据音频数据实时绘制时域波形图。

3.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述鸣声识别模块(130)基于tcnn的轻量化鸟鸣声识别模型进行鸟鸣声的智能识别，所述轻量化鸟鸣声识别模型是基于编解码器结构，在编码器和解码器之间插入时间卷积模型进行实时语音增强和智能识别。

4.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述数据存储模块(150)基于android room框架搭建鸟类数据库。

5.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述数据上传模块(160)还通过android提供的地理位置监听器获取当前的地理信息；执行上传功能时，边缘设备通过4g/5g通信与云端相连接。

6.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述数据分析层(210)接收到来自边缘设备的数据后进行统计和分析处理，自动判断识别结果准确率过低的样本，并将其作为未知类提供给前端进行甄别和重新标注；对其他样本按照识别的类别直接进行存储。

7.根据权利要求1所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述多维代表性评估模型对原模型的数据集、与原始数据集包含的类别相同的新数据和新增类别的新数据进行筛选，再对物种区分因素进行权重制定，基于层次分析法评估物种当前的生态代表性。

8.根据权利要求7所述的一种基于云边协同控制的鸟鸣声智能监测系统，其特征在于，所述多维代表性评估模型基于群体选择、辨别式采样的方法进行样本音频特征代表性的筛选，其中群体采用按照样本距离类中心的距离分布进行分析抽样，辨别式采样选择已定义决策边界的样本。

技术总结
本发明公开了一种基于云边协同控制的鸟鸣声智能监测系统，涉及语音识别技术领域。本发明与之前的鸟鸣声处理系统相比，改进了缺少对鸟鸣声信息的有效利用；边缘侧识别结果并不充分可靠；鸟鸣声采集缺乏针对性；未能构建可持续优化的智能识别系统的问题，通过以融合增量学习的云端训练+边缘推理的智能边缘数据分析技术为核心，以智能移动设备为边缘设备基础，以移动通信技术为信息通道，连接高性能的云端智能服务器，形成具有持续学习能力的云边协同鸟鸣声监测模式。实现野外鸟鸣声采集的远程上传和自动识别，构建开放、精准识别和持续进化的云边协同鸟类鸣声监测系统。

技术研发人员：谢将剑,王颖祺,张飞宇,张军国
受保护的技术使用者：北京林业大学
技术研发日：
技术公布日：2024/2/29