一种基于大数据的智慧环卫云平台管理方法及系统与流程

本发明属于环卫管理，具体涉及一种基于大数据的智慧环卫云平台管理方法及系统。

背景技术：

1、随着经济的快速发展和城市化进程的加快，环境问题也日益严重，目前通过智慧环卫管理系统，环卫运营企业可对人、车、物、事进行有效监控及资源的合理配置，但同时也将面临以下问题：

2、(1)随着环境监管规模的不断增长，采集的环境数据存在跨度大、分类多的特点，使得每一个单独种类的环境数据无法在管理系统中发挥良好的效果，现有的采集技术无法满足智慧环卫管理系统的工作需求。

3、(2)云平台仍难在短时间内处理高性能的任务需求，计算资源难以支撑计算密集度和时延灵敏度较高的任务，并且因无法实时了解环境现状，环卫工人需每天定时定点的对所有环卫区域进行逐个排查，耗费大量人力、财力且效率极低。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了一种基于大数据的智慧环卫云平台管理方法及系统，本发明的目的可以通过以下技术方案实现：

2、s1：获取环境多源异构数据，对所述环境多源异构数据进行多层次关联提取出混合数据；

3、s2：对所述混合数据进行标准化处理得到环境结构化数据和数值结构化数据，根据所述环境结构化数据和所述数值结构化数据建立增量映射表，对所述数值结构数据进行冗余处理，将所述增量映射表实时传输至云平台；

4、s3：在所述云平台中对所述增量映射表进行缓冲存储，根据所述增量映射表中的环境结构化数据建立卸载任务决策模型得到云边协同计算任务序列，根据所述云边协同计算任务序列将对应的所述增量映射表发送至边缘计算平台；

5、s4：在所述边缘计算平台中提取所述增量映射表中的区域编号和工人编号并组成分配矩阵集合，根据所述增量映射表建立初始任务模型得到初始解并计算适应度，将所述适应度从小到大排列组成适应度向量，通过所述初始解搜索所述分配矩阵集合得到新解和新解的适应度，判定新解的适应度是否大于预设阈值，是，则更新所述适应度向量，否，则重复循环搜索，当搜索完成时，选取适应度向量对应的分配矩阵作为分配结果；

6、s5：将所述分配结果数据进行压缩并同步上传至云平台，根据所述增量映射表中的环境结构化数据搭建三维可视化场景，根据所述分配结果数据建立任务约束并生成清洁任务视图。

7、作为本发明的一种优选技术方案，所述多层次关联具体包括：确定所述环境多源异构数据的属性对应关系，将指代同一实体的数据连接起来，只保留一项不同来源的同一实体的属性值，并将描述两个实体间关系的数据字段加在数据末尾。

8、具体地，所述步骤s2具体包括：

9、提取所述混合数据中的区域编号得到区域数，根据所述区域数创建对应数量的增量映射表，提取所述混合数据中的属性类别和映射关系集合度作为所述增量映射表的环境结构化数据，将所述混合数据中的属性类别对应的数值数据作为数值结构化数据添加到增量映射表中；

10、通过哈希值识别数值结构化数据中包含的冗余数据，根据所述哈希值计算所述数值结构数据的类间距离，判断所述类间距离是否大于预设阈值，是，则剔除所述数值结构数据，否，则保留所述数值结构数据，计算公式为：

11、

12、

13、其中，h为哈希值，i和j为数值结构数据样本计数，a为杂凑因子，b为计算辅助参数，lij为数值结构数据样本i与数值结构数据样本j间的距离，p为指数参数，w为计算因子；

14、为所述增量映射表添加分布式锁和定时执行任务，利用ftp协议将所述增量映射表实时传输至云平台。

15、具体地，所述步骤s3具体包括：

16、根据所述增量映射表获取高算力服务器算力数据、位置数据和传输时间，根据所述位置数据得到高算力服务器总量，通过设置卸载决策变量ai得到卸载决策集合，计算公式为：a＝{ai}i∈n，其中，a为卸载决策集合，i为高算力服务器计数，n为高算力服务器总量，当ai＝1时，表示将计算任务卸载到第i个服务器，当ai＝0，表示第i个服务器无计算任务；

17、根据所述算力数据和所述传输时间建立边缘计算模型得到时延和能耗，计算公式为：

18、

19、ei＝pikdi(fi)2，

20、其中，t为时延，i为服务器计数，h为计算数据量，r为传输速率，d为云平台计算资源，f为边缘平台计算资源，e为能耗，p为逗留时间概率密度函数，k为高算力服务器算力；

21、根据所述时延、所述能耗和所述卸载决策集合建立卸载任务决策模型，根据所述卸载任务决策模型得到效益函数，计算公式为：

22、

23、其中，q为效益函数，i为高算力服务器计数，f为边缘平台计算资源，θ为收益系数，t为时延，e为能耗，为计算成本，为迁移成本；

24、根据所述卸载决策集合和所述位置数据建立状态空间和动作空间，通过迭代所述高算力服务器，计算所述效益函数最大值，得到云边协同计算任务；

25、将实时上传的所述增量映射表通过所述卸载任务决策模型得到的云边协同计算任务组成云边协同计算任务序列，根据所述云边协同计算任务序列将对应的所述增量映射表发送至所述边缘计算平台。

26、具体地，所述步骤s4具体包括：

27、根据所述增量映射表中的区域编号和工人编号并组成分配矩阵集合，提取所述增量映射表中的成本信息数据建立时效函数，计算公式为：

28、

29、其中，f为时效值，n为区域总数，m为工人总数，c为成本系数，x为工作效率；

30、根据所述分配矩阵集合生成初始解空间得到初始解和适应度，计算公式为：

31、x＝xmin+rand(0，1)(xmax-xmin)，

32、

33、其中，x为初始解，xmin为预设初始解空间分量最小值，xmax初始解空间分量最大值，fit为适应度，f为时效值；

34、根据所述分配矩阵和所述初始解计算得到新解和新解的适应度，计算公式为：

35、vi＝xi+rand(-1，1)(xi-xj)，

36、其中，vi为新解，i为分配矩阵行向量计数，j为分配矩阵列向量计数，x为初始解；

37、将大于预设阈值的新解的适应度添加到所述适应度向量中，通过上述方式对所述分配矩阵集合进行搜索，当搜索完成时选取所述适应度向量对应的分配矩阵作为分配结果。

38、优选地，所述任务约束包括时间次序约束、时间窗口约束、任务渐次生成约束；其中，所述时间次序约束对任务序列进行偏序排序；所述时间窗口约束设置任务开始时间和结束时间；所述任务渐次生成约束为任务序列添加并发锁和时间锁，在任务开始执行时解除并发锁并触发时间锁，在任务结束时触发并发锁并解除时间锁。

39、一种基于大数据的智慧环卫云平台管理系统，其特征在于，包括：数据采集模块、数据处理模块、计算卸载模块、任务分配模块、数据显示交互模块；

40、所述数据采集模块用于获取环境多源异构数据，对所述环境多源异构数据进行多层次关联提取出混合数据；

41、所述数据处理模块用于对所述混合数据进行标准化处理得到环境结构化数据和数值结构化数据，根据所述环境结构化数据和所述数值结构化数据建立增量映射表，对所述数值结构数据进行冗余处理，将所述增量映射表实时传输至云平台；

42、所述计算卸载模块用于在所述云平台中对所述增量映射表进行缓冲存储，根据所述增量映射表中的环境结构化数据建立卸载任务决策模型得到云边协同计算任务序列，根据所述云边协同计算任务序列将对应的所述增量映射表发送至边缘计算平台；

43、所述任务分配模块在所述边缘计算平台中提取所述增量映射表中的区域编号和工人编号并组成分配矩阵集合，根据所述增量映射表建立初始任务模型得到初始解并计算适应度，将所述适应度从小到大排列组成适应度向量，通过所述初始解搜索所述分配矩阵集合得到新解和新解的适应度，判定新解的适应度是否大于预设阈值，是，则更新所述适应度向量，否，则重复循环搜索，当搜索完成时，选取适应度向量对应的分配矩阵作为分配结果；

44、所述数据显示交互模块用于将所述分配结果数据进行压缩并同步上传至云平台，根据所述增量映射表中的环境结构化数据搭建三维可视化场景，根据所述分配结果数据建立任务约束并生成清洁任务视图。

45、本发明的有益效果为：

46、(1)通过建立数据采集模型，提取环境信息中的组织关系和属性描述的细化内容，深入分析了多源异构数据源间的映射关系，降低了数据采集的量化误差，提升了环境数据采集质量，有利于智能环卫管理系统的稳定运行。

47、(2)通过设置云平台管理系统，使云服务器作为最终载体，实现远程信息管理、计算、存储，在网络边缘部署边缘计算平台，降低了云平台的计算负载，减少了网络任务交付时延并减轻了网络拥塞，创建了高性能、低时延的管理环境，以时效性能为目标完成清洁任务分配，实现环卫系统的智能化、高效化，实现了对环卫区域的合理规划管理。