一种基于大数据的云平台架构及其数据处理方法与流程

文档序号:26589874发布日期:2021-09-10 20:33阅读:来源:国知局

技术特征:
1.一种基于大数据的云平台架构,其特征在于,所述云平台架构自下而上依次包括边缘层、大数据处理分析层、大数据应用层,所述边缘层自下而上依次包括数据采集传感器子层和边缘数据处理子层;所述大数据处理分析层自下而上依次包括数据接口子层、数据存储子层、数据处理分析子层和数据验证子层。2.根据权利要求1所述的一种基于大数据的云平台架构,其特征在于,所述数据采集传感器子层由生产过程中用到的各种传感器组成,所述边缘数据处理子层由各传感器对应的数据处理器组成,所述边缘层中的传感器和对应的数据处理器组成传感器节点。3.根据权利要求2所述的一种基于大数据的云平台架构,其特征在于,所述边缘数据处理子层定时对传感器采集到的数据进行处理,得到第一处理结果;所述数据处理分析子层对传感器采集到的数据进行处理,得到第二处理结果;所述数据验证子层对同一时刻的第一处理结果和第二处理结果进行比较,如果二者不一致,则采用第一处理结果作为最终的处理结果,并对数据传输环境或传输设备进行检修。4.根据权利要求3所述的一种基于大数据的云平台架构,其特征在于,所述数据处理器对该节点的传感器采集的数据进行本地备份;在各所述传感器节点之间建立各所述传感器节点之间的循环索引链表,将各所述传感器采集的数据按照所述循环索引链表,循环备份到所述循环索引链表中相邻的传感器节点,以实现各传感器之间的循环备份。5.一种基于权利要求1

4任一项所述的基于大数据的云平台架构的数据处理方法,其特征在于,包括如下步骤:s1、所述传感器节点采集数据,对采集数据进行本地备份,记作第一备份数据,同时传感器节点的数据处理器定时对采集数据进行处理,得到第一处理结果;s2、传感器节点的数据处理器按照循环索引链表,将该传感器节点采集的数据备份到所述循环索引链表中相邻的传感器节点,记作第二备份数据;s3、数据处理器将该传感器节点采集的数据传输到所述数据接口子层,所述数据处理分析子层将接收到的采集数据备份到所述数据存储子层,记作第三备份数据,并且所述数据处理分析子层对数据进行处理,得到第二处理结果;s4、所述数据验证子层对比第一处理结果和第二处理结果,如果不一致,则采用第一处理结果作为最终的处理结果,并对数据传输环境或传输设备进行检修;s5、所述数据验证子层对比第一备份数据、第二备份数据和第三备份数据,如果三者一致,则采用任一项作为备份数据,如果三者中两者数据相同,另一者不同,则采用相同的两个作为备份数据,如果三者都不相同,则选取数据偏差较小的两个数据的平均值作为备份数据。

技术总结
本发明提供一种基于大数据的云平台架构和数据分析方法,所述云平台架构自下而上依次包括边缘层、大数据处理分析层、大数据应用层,所述边缘层自下而上依次包括数据采集传感器子层和边缘数据处理子层;所述大数据处理分析层自下而上依次包括书接口子层、数据存储子层、数据处理分析子层和数据验证子层。本发明提高了云平台的稳定性和可靠性。提高了云平台的稳定性和可靠性。提高了云平台的稳定性和可靠性。


技术研发人员:王超锋 周凯 王伟 赵铭璐 王飞 赵志
受保护的技术使用者:上海西信信息科技股份有限公司
技术研发日:2021.06.10
技术公布日:2021/9/9
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1