基于机器学习技术的用于环境监测的智能传感系统框架

：本发明涉及环境监测及机器学习领域，设计一种基于机器学习技术的用于环境监测的智能传感系统框架。

背景技术

0、
背景技术：

1、环境监测是指对环境中各种要素(如空气、水、土壤、噪声、电磁辐射等)运用化学、物理、生物、医学、遥测、遥感、计算机等现代科技手段进行长期、系统、科学、定性和定量的监测，以了解环境质量的变化情况、变化原因和变化趋势，并为环境管理、环境保护和环境规划提供科学依据。

2、机器学习是人工智能的分支之一，它是指利用计算机算法和模型，让计算机系统根据给定的数据和目标，自动提高其执行某一特定任务的能力，而无需进行明确的编程。简单来说，机器学习就是让计算机系统通过不断地学习和优化来提高自己的表现能力和准确性。在现代社会中，机器学习已经被广泛应用在物联网、自动驾驶、医疗诊断、金融风险评估、语音识别等各种场合，成为了科技发展和社会进步的重要驱动力。

3、现有技术缺陷：

4、(a)难以广泛部署收集大空间数据。由于成本、能源、维护和数据传输能力等问题，特别是在水环境中，部署通常会受到数量的限制，难以广泛部署、收集大空间数据。

5、(b)可靠性低。现代环境传感技术，因传感器漂移和生物附聚等环境因素引起传感器不可靠性，并进一步造成大多数水域的空间覆盖不足。

技术实现思路

0、
技术实现要素：

1、为解决上述问题，本发明提供了一种基于机器学习技术的用于环境监测的智能传感系统框架，包括数据收集层、数据处理层、信息层；

2、所述数据收集层前端与进行环境监测的观测站点通信连接，后端则与数据处理层通信连接；用于从各观测站点原位传感器中提取数据，并存储数据到数据存储库，向数据处理层提供特定格式化的数据段；

3、所述数据处理层从数据存储库中提取所需要的的数据段，通过机器学习，通过异常事件检测和聚类，将原位传感器测量值转换为用户易于理解和访问的有组织的信息；

4、所述信息层用于为终端用户提供图形用户界面，显示原位传感器检测到的异常事件、原位传感器读数并供终端用户查询。

5、进一步的，数据收集层的工作流程包括：

6、步骤1.1：预先在数据收集层接口中预定义各原位传感器的数据格式和通信方法；

7、步骤1.2：数据收集层连接不同观测站点的多个数据源，并获取数据输入；

8、步骤1.3：数据收集层以预定义的通信方法将获取的数据保存在集中的数据存储库中。

9、进一步的，数据处理层通过执行异常事件检测流程、异常特征提取流程、事件构建流程、事件特征提取流程、事件聚类流程实现异常事件检测和聚类。

10、进一步的，异常事件检测流程用于监测出异常的传感器数值，该流程包括如下步骤：

11、步骤2.1：建立测量值趋势模型和异常分类；

12、定义测量值趋势模型为b(t),b(t)是由近期预定时间段内n个从数据存储库中获取的n个测量值bi(t)组成的数组，即：

13、b(t)＝{b1(t),...,bi(t),...,bn(t)}

14、从数据存储库中获取新测量值i(t),新测量值i(t)分类依据如下：

15、

16、其中，dist(i(t),bi(t))表示新测量值i(t)和已知测量值bi(t)之间的距离，min(dist(i(t),bi(t)))表示新测量值i(t)与b(t)中所有元素距离的最小值，t(t)表示距离阈值,i∈(1,2,...,n)；新测量值i(t)有为1则被认为异常，并执行步骤2.2；

17、步骤2.2：计算距离dist()，根据计算结果进行异常分类；

18、

19、进一步的，异常事件检测流程中，如果新测量值i(t)被赋值为0，归类为正常值，则还包括更新测量值趋势模型b(t)及更新距离阈值t(t)的步骤：

20、更新测量值趋势模型b(t)的方式为：

21、步骤a.随机选择bi(t)∈b(t)

22、步骤b.令bi(t)＝i(t)；

23、更新距离阈值t(t)的方式为：

24、

25、其中，tinc/dec是一个控制阈值更新率的静态值；tscale为固定值；表示前n个dmin(t)的平均值，dmin(t)＝min(dist(i(t),bi(t)))；tlower、tupper分别为阈值的上界、下界。

26、进一步的，异常特征提取流程用于捕获检测到异常的相似性，并进一步聚类为异常事件，在该流程中，设置有异常特征集，定义为f:

27、f＝[i(t-1)-i(t),i(t),i(t)-i(t+1),dmin,dmin-t(t)]

28、f内元素包括：传感器前一个测量值i(t-1)与传感器当前测量值i(t)之间的差异值、传感器当前测量值i(t)，传感器当前测量值i(t)与传感器下一个测量值i(t+1)，传感器测量值和测量值趋势模型之间的最小距离dmin，最小距离dmin与距离阈值t(t)之间的距离。

29、进一步的，事件构建流程将检测到的异常现象根据其时间信息，采用凝聚层次聚类方法分组为事件，分组规则如下：

30、a.连续的异常现象将被组合成一个单一事件；

31、b.新的异常与先前的异常之间的时间间隔小于预设固定值时，则新的异常值将合并到同一事件中，反之，则会创建一个新事件。

32、进一步的，事件特征提取流程采用k-means聚类方法。

33、进一步的，事件聚类流程具体为：

34、设已知事件集合e＝{e1,...,enum1}，num1代表事件数目，映射函数为令输入集合x＝e，映射函数设置阈值ε，n＝0，nmax；

35、调用在线鲁棒性凝聚聚类法，获得事件分组集合{y1,...,ynum2}，下标num2代表事件分组个数。

36、进一步的，信息层为终端用户提供的图形用户界面包含传感器读数显示单元、参数设置单元、异常事件显示单元。

37、本发明的有益效果为：本发明提出了一种基于机器学习技术的用于环境监测的智能传感系统框架，与目前环境传感技术相比有如下优势：

38、1.准确性高。本发明设计的异常检测框架对已知的传感器测量值的趋势建模，能够基于数据流的变化不断调整决策阈值，准确性高。

39、2.适合大规模部署。本发明设计的数据存储库可以为一个云数据中心，能够应对随着数据量增长，处理和存储数据所需的计算和存储资源也会增加的问题。另外，本发明设计的异常检测框架是基于mopbas无监督学习方法修改获得的，相对于有监督的学习方法，计算成本更低，消耗更少的功率，维护该系统的成本更低，适合大规模部署。

技术特征：

1.基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，包括数据收集层、数据处理层、信息层；

2.如权利要求1所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，数据收集层的工作流程包括：

3.如权利要求1所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，数据处理层通过执行异常事件检测流程、异常特征提取流程、事件构建流程、事件特征提取流程、事件聚类流程实现异常事件检测和聚类。

4.如权利要求3所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，异常事件检测流程用于监测出异常的传感器数值，该流程包括如下步骤：

5.如权利要求4所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，异常事件检测流程中，如果新测量值i(t)被赋值为0，归类为正常值，则还包括更新测量值趋势模型b(t)及更新距离阈值t(t)的步骤：

6.如权利要求3所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，异常特征提取流程用于捕获检测到异常的相似性，并进一步聚类为异常事件，在该流程中，设置有异常特征集，定义为f:

7.如权利要求3所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，事件构建流程将检测到的异常现象根据其时间信息，采用凝聚层次聚类方法分组为事件，分组规则如下：

8.如权利要求3所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，事件特征提取流程采用k-means聚类方法。

9.如权利要求3所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，事件聚类流程具体为：

10.如权利要求1所述的基于机器学习技术的用于环境监测的智能传感系统框架，其特征在于，信息层为终端用户提供的图形用户界面包含传感器读数显示单元、参数设置单元、异常事件显示单元。

技术总结
本发明公开了一种基于机器学习技术的用于环境监测的智能传感系统框架，包括数据收集层、数据处理层、信息层，通过设计异常事件检测和聚类方法，采用机器学习技术对原始传感器测量值进行自动处理，并转换为最终用户易于理解和访问的有组织的信息，有效地解决了环境监测空间不广、不可靠、不智能的问题，更好地管理和保护生态系统。

技术研发人员：张殿,肖振宇,刘子璇,周孝尚,高大勇
受保护的技术使用者：海南大学
技术研发日：
技术公布日：2024/1/16