一种云平台数据处理方法与流程

本发明涉及数据处理技术领域，尤其涉及一种云平台数据处理方法。

背景技术：

随着科学技术的发展，云平台的应用范围越来越广泛。

云计算是一种能够通过网络以便利的、按需的方式获取计算资源模式，这些资源和来自一个共享的、可配置的资源池，并能够快速获取和释放。它颠覆了传统it行业的消费模式和服务方式，实现了从以前的购买软硬件产品向购买服务的转变，作用主要体现在虚拟化数据信息处理计算方面，是一种新型的商业模式，越来越多的平台和应用，同时作为生产者和消费者，也使得互联网上的数据量以惊人的速度日益扩增，在很多情况下需要对sdn架构中的应用服务器的计算进行动态调整，应用服务器在访问高峰应用服务器的计算压力大，此时需要更多的计算资源，以增加应用服务器的计算性能，而在访问低谷时，应用服务器的计算压力小，如果应用服务器的计算性能过大，则就会造成计算资源的浪费，但是目前sdn架构的应用服务器计算性能在进行调整时，只能依赖于手动进行应用服务器的增减，调整速度较慢，无法满足应用服务器快速扩展和收缩的要求，数据处理计算因此就成为云计算基础架构的重要一环，针对大规模数据的高效管理已经成为亟需解决的技术问题。为此，我们提出了一种云平台数据处理方法。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种云平台数据处理方法。

为了实现上述目的，本发明采用了如下技术方案：

设计一种云平台数据处理方法，包括如下步骤：

s1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；

s2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；

s3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；

s4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。

优选的，s1中物联网平台上连接有设备管理模块，设置的设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理，物联网平台上的数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析。

优选的，s1中物联网平台上连接有软件管理模块，软件管理模块用于对数据采集设备中各个设备的系统软件进行管理，并通过数据收集模块对数据采集模块进行数据采集的操作进行管理，以及通过设备认证与授权模块对数据采集模块的认证和授权进行管理。

优选的，s1中的云服务器上设置有后台服务模块，且后台服务模块中部署不同的基于sdn的服务器软件，同时云服务器上设置有元数据处理模块、数据持久化模块，并在元数据处理模块中部署不同的元数据服务器软件，在数据持久化组件中设置数据库服务和文件服务。

优选的，s2中设置有数据清洗模块，对从物联网平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果，且数据分流模块包括计算单元，用于统计所述数据流的大小，并计算平均分配给各所述块文件中的数据量，数据分流模块还包括分块单元，用于根据所述计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。

优选的，s4中业务处理模块包括接入管理模块，接入管理模块上还连接有服务模块，且服务模块上还电性连接有存储模块，存储模块上还电性连接有数据访问模块。

优选的，接入管理模块上电性连接有权限管理模块，且权限管理模块上还电性连接有安全控制模块，安全控制模块还和配额管理模块进行电性连接。

优选的，服务模块上电性连接有用户服务模块，用户服务模块上还电性连接有设备管理模块，且设备管理模块和系统管理模块电性连接，系统管理模块上电性连接有系统设置模块，系统设置模块和数据报表模块进行电性连接。

本发明提出的一种云平台数据处理方法，有益效果在于：本发明可将云平台中的数据流分成多个块文件，并将各块文件分别进行存储，并保存各块文件的存储位置，根据各块文件的存储位置，读取并执行相应的任务处理，然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果，最后通过业务处理系统将数据处理系统传输的分析结果进行存储，缓解了现有技术中在对数据进行分析时，成本较高且安全性较低的技术问题，保证了云端计算服务的稳定性。

附图说明

图1为本发明提出的一种云平台数据处理方法的流程示意图。

图2为本发明提出的一种云平台数据处理方法的数据处理模块的流程示意图。

图3为本发明提出的一种云平台数据处理方法的业务处理模块流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-3，一种云平台数据处理方法，包括如下步骤：

s1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；

s2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；

s3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；

s4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。

优选的，s1中物联网平台上连接有设备管理模块，设置的设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理，物联网平台上的数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析。

s1中物联网平台上连接有软件管理模块，软件管理模块用于对数据采集设备中各个设备的系统软件进行管理，并通过数据收集模块对数据采集模块进行数据采集的操作进行管理，以及通过设备认证与授权模块对数据采集模块的认证和授权进行管理。

s1中的云服务器上设置有后台服务模块，且后台服务模块中部署不同的基于sdn的服务器软件，同时云服务器上设置有元数据处理模块、数据持久化模块，并在元数据处理模块中部署不同的元数据服务器软件，在数据持久化组件中设置数据库服务和文件服务。

s2中设置有数据清洗模块，对从物联网平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果，且数据分流模块包括计算单元，用于统计所述数据流的大小，并计算平均分配给各所述块文件中的数据量，数据分流模块还包括分块单元，用于根据所述计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。

s4中业务处理模块包括接入管理模块，接入管理模块用于为客户端提供数据连接接口，还用于在客户端接入数据处理系统时，验证客户端是否符合接入业务处理系统的接入条件，接入管理模块上还连接有服务模块，用于在接入管理模块的管理下实现与客户端的连接，且服务模块上还电性连接有存储模块，存储模块与数据处理系统连接，用于存储数据处理系统传输的数据和分析结果，存储模块上还电性连接有数据访问模块。

接入管理模块上电性连接有权限管理模块，权限控制模块用于验证客户端所属用户是否有接入权限，以及用于验证通过客户端进行登录的登录信息是否为有效的登录信息，且权限管理模块上还电性连接有安全控制模块，安全控制模块用于对接入数据处理系统的客户端进行安全检测，以检测客户端是否为非法程序，安全控制模块还和配额管理模块进行电性连接，配额管理模块用于按照已接入数据处理系统的客户端的优先级，对已接入数据处理系统的客户端的接入状态进行管理。

服务模块上电性连接有用户服务模块，用户管理服务为对客户端所属用户的用户信息进行管理的服务，用户服务模块上还电性连接有设备管理模块，设备管理服务为对数据采集设备中的设备进行管理的服务，且设备管理模块和系统管理模块电性连接，系统管理模块上电性连接有系统设置模块，系统设置模块用于为用户提供系统设置服务，系统设置模块和数据报表模块进行电性连接，数据报表模块用于为用户提供数据报表服务。

本发明可将云平台中的数据流分成多个块文件，并将各块文件分别进行存储，并保存各块文件的存储位置，根据各块文件的存储位置，读取并执行相应的任务处理，然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果，最后通过业务处理系统将数据处理系统传输的分析结果进行存储，并通过业务处理系统为客户端提供相关业务服务，使得数据采集设备采集到的数据在处理的过程中更加安全可靠，进而缓解了现有技术中在对数据进行分析时，成本较高且安全性较低的技术问题，保证了云端计算服务的稳定性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。