一种基于大数据的云平台架构及其数据处理方法与流程

1.本发明涉及物联网中大数据处理领域，尤其涉及一种基于大数据的云平台架构及其数据处理方法，被应用于在具体生产环境中的物联网建立云平台架构并进行数据处理。


背景技术：

2.随着互联网的技术不断发展，硬件计算存储性能不断提高，互联网为各行各业带来了大数据和云计算等新兴技术，帮助各个领域在生产研发方面变得更加高效。诸如大数据分析，云计算技术等互联网新兴技术都需要依托于庞大数据，对于工厂工业领域来说这部分数据不仅来源于厂区工人的记录，更是庞大复杂的传感器网络所生产的巨大数据。这个由大量传感器及设备执行器所组成的网络被称之为物联网。目前，市面上许多知名的互联网公司都逐渐的推出了自己的大型综合性物联网云平台。这些物联网云平台以租赁的方式向企业方提供服务，企业将自己的传感器与根据这些云平台提供的接口建立连接，将传感器数据上传到云平台上，并通过云平台对数据进行处理、计算，同时，也可以通过云平台对执行器设备进行远程控制。
3.对于现在市面上较普遍的以云端数据中心为核心的大型物联网系统来说，主要由边缘层和云层两个部分组成，利用边缘计算与云计算相结合的方式进行数据处理，发挥边缘端与云端两者优势，并使边缘端与云端进行协同工作。
4.然而，在具体的工厂的生产中，需要采用物联网技术对生产的各个环节的数据进行采集，并采用云计算平台对数据进行计算和分析，以对生产的各个环境进行控制。例如，在汽车生产的车间中，需要对各种各样的参数进行检测，例如温度、湿度、压力、实时图像、距离、位移、焊接质量、组装质量、部件重量、电压、电流、胎压等等，需要用到各种各样的传感器，并组成了物联网，这些传感器被设置在生产过程的各个环节和各个位置。但是，由于在生产过程中，环境复杂，空间有限，不便于布线，因此生产中的物联网主要是使用无线传输的方式进行数据传输，但是由于生产中用到各种各样的电磁设备，存在严重的电磁干扰，造成这种物联网的无线传输方式容易受到生产环境的电磁干扰，造成数据传输错误或数据丢失，可靠性和稳定性较差，影响云计算平台的使用。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于大数据的云平台架构，所述云平台架构自下而上依次包括边缘层、大数据处理分析层、大数据应用层，所述边缘层自下而上依次包括数据采集传感器子层和边缘数据处理子层；所述大数据处理分析层自下而上依次包括数据接口子层、数据存储子层、数据处理分析子层和数据验证子层。
6.优选的，所述数据采集传感器子层由生产过程中用到的各种传感器组成，所述边缘数据处理子层由各传感器对应的数据处理器组成，所述边缘层中的传感器和对应的数据处理器组成传感器节点。
7.优选的，所述边缘数据处理子层定时对传感器采集到的数据进行处理，得到第一
处理结果；所述数据处理分析子层定时对传感器采集到的数据进行处理，得到第二处理结果；所述数据验证子层对同一时刻的第一处理结果和第二处理结果进行比较，如果不一致，则采用第一处理结果作为最终的处理结果，并对数据传输环境或传输设备进行检修。
8.优选的，所述数据处理器对该节点的传感器采集的数据进行本地备份；在各所述传感器节点之间建立各所述传感器节点之间的循环索引链表，将各所述传感器采集的数据按照所述循环索引链表，循环备份到所述循环索引链表中相邻的传感器节点，以实现各传感器之间的循环备份。
9.本发明还提供一种基于大数据的云平台架构的数据处理方法，包括如下步骤:s1、所述传感器节点采集数据，对采集数据进行本地备份，记作第一备份数据，同时传感器节点的数据处理器定时对采集数据进行处理，得到第一处理结果；s2、传感器节点的数据处理器按照循环索引链表，将该传感器节点采集的数据备份到所述循环索引链表中相邻的传感器节点，记作第二备份数据；s3、数据处理器将该传感器节点采集的数据传输到所述数据接口子层，所述数据处理分析子层将接收到的采集数据备份到所述数据存储子层，记作第三备份数据，并且所述数据处理分析子层对数据进行处理，得到第二处理结果；s4、所述数据验证子层对比第一处理结果和第二处理结果，如果不一致，则采用第一处理结果作为最终的处理结果，并对数据传输环境或传输设备进行检修；s5、所述数据验证子层对比第一备份数据、第二备份数据和第三备份数据，如果三者一致，则采用任一项作为备份数据，如果三者中两者数据相同，另一者不同，则采用相同的两个作为备份数据，如果三者都不相同，则选取数据偏差较小的两个数据的平均值作为备份数据。
10.本发明的有益效果是：1、云平台架构的大数据处理分析层设置有数据验证子层，对边缘层处理的数据和大数据处理分析层处理的数据进行对比验证，通过这样的手段判断无线传输是否稳定，是否可靠，以提高云平台的稳定性和可靠性。
11.2、在边缘层的传感器节点中组建循环索引链表，实现采集数据的循环备份，当某一传感器节点异常或损坏时，能够按照循环索引链表，从循环索引链表中相邻的传感器节点读取备份数据，提高云平台的鲁棒性和可靠性。
12.3、在边缘层对采集数据进行本地备份、循环索引链表备份，在大数据处理分析层进行层间备份，实现三重备份，并对三种备份进行对比，提高备份数据的准确性。
13.4、在对备份数据进行对比时，如果三者一致，则采用任一项作为备份数据。如果三者中两者数据相同，另一者不同，则采用相同的两个备份数据作为备份数据。如果三者都不相同，则选取数据偏差较小的两个数据的平均值作为备份数据，保证数据备份的可靠性。
14.5、通过三重备份方式，如果循环索引链表中相邻的多个节点传感器损坏，则采用大数据处理分析层的数据存储子层中的备份数据作为备份数据，提高备份数据的准确性。
附图说明
15.图1表示基于大数据的云平台架构的结构示意图；图2表示基于大数据的云平台架构的数据处理方法的流程图。
具体实施方式
16.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
17.在本发明的描述中，需要说明的是，术语“中心”、
ꢀ“
上”、
ꢀ“
下”、
ꢀ“
左”、
ꢀ“
右”、
ꢀ“
竖直”、
ꢀ“
水平”、
ꢀ“
内”、
ꢀ“
外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了 便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、 以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、
ꢀ“
第二”、
ꢀ“
第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
18.实施例1如图1所示，本发明提供一种基于大数据的云平台架构，该云平台架构自下而上依次包括边缘层、大数据处理分析层、大数据应用层，边缘层自下而上依次包括数据采集传感器子层和边缘数据处理子层；大数据处理分析层自下而上依次包括数据接口子层、数据存储子层、数据处理分析子层和数据验证子层。
19.这样的基于大数据的云平台架构应用在应用于生产环境中时，在边缘层的数据采集传感器子层有各种各样的传感器，采集各种各项的参数，例如温湿度传感器、图像传感器、压力传感器、激光测距传感器、超声波传感器、涡流传感器、电压传感器、传感器、称重传感器等，用于采集例如温度、湿度、压力、实时图像、距离、位移、焊接质量、组装质量、部件重量、电压、电流、胎压等参数。并且各传感器都对应的设置有数据处理器，进行数据的模数转换、滤波、放大等基本操作，并能够进行简单的数据计算和传输，传感器数据采集子层的各传感器采集的各项数据分别传输到与之对应的数据处理器，这些与传感器对应的数据处理器构成边缘层的边缘数据处理子层。
20.在边缘层中，传感器和与之对应的数据处理器共同组成传感器节点，共同实现数据的采集、处理和传输。
21.由于边缘数据处理子层的各数据处理器计算速度和计算能力都比较弱，无法做到对数据的实时处理，因此边缘数据处理子层的各数据处理器主要被用于数据的转换和层间数据的传输。但是由于在复杂的生产环境中存在各种各样的电磁干扰，无线传输时，数据传输存在传输错误或数据丢失等问题，因此有必要进行数据备份和验证，验数据传输是否出现故障，例如丢包、丢帧或数据丢失，并在数据传输出现故障时候对数据传输环境或传输设备进行检修。
22.因此，本发明在云平台架构的大数据处理分析层三者数据验证子层，对边缘层处理的数据和大数据处理分析层处理的数据进行对比验证，通过这样的手段判断无线传输是否稳定，是否可靠，以提高云平台的稳定性和可靠性。
23.以图像传感器对焊缝进行检测为例，图像传感器对焊缝进行拍摄，图像传感器对应的数据处理器进行滤波等常规处理，将处理后的数据传输到大数据处理分析层，大数据处理分析层进行图像处理，得到焊缝的轮廓、宽度、宽度变化率、孔洞等缺陷情况。
24.与此同时，图像传感器对应的数据处理器采用定时抽样的方式，按照与大数据处理分析层相同的算法，对图像传感器采集的焊缝图像进行处理，得到相对应的焊缝的轮廓、
宽度、宽度变化率、孔洞等缺陷情况。
25.在大数据处理分析层设置有数据验证子层，该子层会定期对大数据处理分析层处理得到的缺陷数据和图像传感器对应的数据处理器处理得到的缺陷数据进行对照验证，如果数据不一致，则说明边缘层和大数据处理分析层之间的数据传输存在错误，则将图像传感器对应的数据处理器处理得到的数据得到的数据作为准确数据，并对数据传输环境或传输设备进行检修和维护。具体的采用图像传感器对应的数据处理器处理得到的数据得到的数据作为准确数据，其原因是，传感器采集到的大量的原始数据通过无线的方式传输到大数据处理分析层，数据传输出差的概率比较大，因此大数据处理分析层处理得到的缺陷数据出差的概率同样较大，而图像传感器对应的数据处理器处理得到的缺陷数据，是传感器节点本地处理得到的，存储的概率要远小于大数据处理分析层处理得到的结果，因此两者数据不一致时，选取图像传感器对应的数据处理器处理得到的数据得到的数据作为准确数据，并说明无线传输存在错误，需要对其进行检修和维护。
26.由于在生产中采用了大量的传感器，难以避免部分传感器会工作异常或者被损坏，造成数据丢失，因此需要对数据进行备份。为了能够提高数据备份的可靠性，本发明采用本地备份、层内循环备份和层间备份的三重备份方式，对数据进行备份，提高可靠性。
27.具体的，在传感器节点完成数据采集和数据处理之后，传感器对应的数据处理器对数据进行本地备份。
28.传感器节点还将采集的数据存储到大数据处理分析层的数据存储子层，进行存储和备份。
29.在边缘层内，建立各传感器节点之间的循环索引链表，将各传感器采集的数据按照循环索引链表，循环备份到循环索引链表中相邻的传感器节点，以实现各传感器节点之间的循环备份，当某一传感器异常或损坏，则可按照循环索引链表，从循环索引链表中相邻的传感器节点读取备份数据。
30.当需要读取备份数据时，从传感器节点读取本地备份数据，为第一备份数据，同时按照循环索引链表，从相应的传感器节点读取备份书，为第二备份数据，同时从大数据处理分析层的数据存储子层读取备份数据，为第三备份数据，通过这样的手段实现采集数据的三重备份。
31.数据验证子层对比第一备份数据、第二备份数据和第三备份数据，如果三者一致，则采用任一项作为备份数据，如果三者中两者数据相同，另一者不同，则采用相同的两个作为备份数据，如果三者都不相同，则选取数据偏差较小的两个数据的平均值作为备份数据。
32.通过该三重备份方式，如果循环索引链表中相邻的多个节点传感器损坏，则采用大数据处理分析层的数据存储子层中的备份数据作为备份数据。
33.根据上文的描述，本发明还提供一种基于大数据的云平台架构的数据处理方法，其特征在于，包括如下步骤:s1、所述传感器节点采集数据，对采集数据进行本地备份，记作第一备份数据，同时传感器节点的数据处理器对采集数据进行处理，得到第一处理结果；s2、传感器节点的数据处理器按照循环索引链表，将该传感器节点采集的数据备份到所述循环索引链表中相邻的传感器节点，记作第二备份数据；s3、数据处理器将该传感器节点采集的数据传输到所述数据接口子层，所述数据
处理分析子层将接收到的采集数据备份到所述数据存储子层，记作第三备份数据，并且所述数据处理分析子层对数据进行处理，得到第二处理结果；s4、所述数据验证子层对比第一处理结果和第二处理结果，如果不一致，则采用第一处理结果作为最终的处理结果，并对数据传输环境或传输设备进行检修；s5、所述数据验证子层对比第一备份数据、第二备份数据和第三备份数据，如果三者一致，则采用任一项作为备份数据，如果三者中两者数据相同，另一者不同，则采用相同的两个作为备份数据，如果三者都不相同，则选取数据偏差较小的两个数据的平均值作为备份数据。
34.通过这样的三重备份方式，如果循环索引链表中相邻的多个节点传感器损坏，则采用大数据处理分析层的数据存储子层中的备份数据作为备份数据。
35.实施例2本实施例是在实施例1的基础上进行进一步改进，技术方案共同的部分在此不再赘述。为了进一步提高云平台架构的可靠性和稳定性，在传感器节点间进行数据传输时候，和/或在边缘层和大数据处理分析层间进行数据传输时，采用跳频技术实现，有效的避开电磁干扰，发挥无线通信效能。
36.实施例3本实施例是在实施例1或2的基础上进行进一步改进，技术方案共同的部分在此不再赘述。为了进一步提高云平台架构的易用性，大数据应用层设置有报表自动生成，故障自动定位等功能，并且可以实时更新数据，并通过通信网络传输到手机终端，便于随时掌控生产过程。
37.以上所述为本发明较佳实施例，需要说明的是，对于本领域普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围。