一种大数据计算机平台

本发明涉及大数据平台，尤其涉及一种大数据计算机平台。

背景技术：

1、大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。容量上，数据的大小决定所考虑的数据的价值和潜在的信息；种类上，数据类型具有多样性；数据量巨大，来源多渠道。

2、计算机平台的概念基本上有三种，一种是基于快速开发目的技术平台；第二种是基于业务逻辑复用的业务平台；第三种平台基于系统自维护，自扩展的应用平台。技术平台和业务平台都是软件开发人员使用的平台，而应用平台则是应用软件用户使用的平台。

3、目前网络环境的安全性越来越低，计算机系统在进行大数据处理时容易被恶意数据进行攻击，甚至导致计算机系统崩溃，因此，提出的一种大数据计算机平台。

技术实现思路

1、本发明的目的是为了解决现有技术中存在网络环境的安全性越来越低，计算机系统在进行大数据处理时容易被恶意数据进行攻击，甚至导致计算机系统崩溃的缺点，而提出的一种大数据计算机平台。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种大数据计算机平台，包括：

4、登录模块，用于用户进行计算机平台使用其功能并对其身份进行验证；

5、处理平台，用于对计算机平台在使用过程中产生的数据或者获取的数据进行数据预处理；

6、展示模块，用于对处理平台处理分析后的数据进行展示；

7、安全平台，用于对计算机平台产生的数据进行安全分析并对其进行处理，确保整个使用过程数据的安全可靠；

8、服务器，用于连接计算机平台与大数据服务器及其平台；

9、大数据平台，用于向计算机平台提供所需要的数据及对数据进行共享；

10、所述登录模块发送控制信号到处理平台，所述处理平台通过服务器与大数据平台连接并从中获取数据信息，所述处理平台将处理好的数据传输到展示模块，所述处理平台将数据通过服务器传输到大数据平台中进行共享，所述处理平台获取或处理的数据传输到安全平台，所述安全平台通过服务器从大数据平台中获取数据信息。

11、上述技术方案进一步包括：

12、所述登录模块收到权限管理模块的控制，所述权限管理模块只允许管理员使用，所述权限管理模块对登录模块使用的账号进行管理，同时根据登录人员的不同属性分配权限，从而使用不同的功能。

13、所述登录模块从数据库中获取允许成功登录的账号信息，将数据进行调取对比，识别使用者身份信息，所述数据库中的账号信息来自注册模块，所述注册模块使用特定身份信息进行账号注册，并设置密码防止非指定人员使用造成数据泄露，所述注册模块注册的相关信息传输到数据库中进行保存，用户在注册模块注册完成后进行登录模块的账号登录，所述用户在后续使用时无需再次注册账号，可直接进行登录操作，所述注册模块还提供密码修改及找回密码的功能，用户使用注册时提供的身份信息进行密码修改及找回。

14、所述处理平台包括数据处理模块、在线处理单元、离线处理单元和数据分析模块，所述数据处理模块将获取的数据进行数据预处理并将数据传输到在线处理单元和离线处理单元，所述在线处理单元和离线处理单元将数据传输到数据分析模块，所述数据分析模块将数据传输到展示模块，所述数据处理模块用于利用主成分分析的方法对数据进行预处理去除冗余信息，所述在线处理单元用于在线对某些数据进行处理，所述离线处理单元用于对一些优先级不高的数据处理任务进行离线处理，所述数据分析模块用于对处理后的数据进行分析，并将分析得出的相关结果进行可视化后再传输到相关模块。

15、所述数据处理模块应用的主成分分析方法进行数据处理：

16、将预处理后的数据设置为m个样本{x1,x2,...,xm},每个样本有n维特征每一个特征xj都有各自的特征值；

17、对所有特征进行去中心化，即去均值，求出每个特征的平均值；

18、对于所有的样本，每一个特征都减去自身的均值，其中各均值分别为在去中心化后再求协方差矩阵其中，对角线上分别是特征x1和x2的方差，非对角线上是协方差，cov(x1,x1)的计算公式为由此得出m个样本在这n维特征下的协方差矩阵c；

19、得到协方差矩阵后，根据特征方程cμ＝λμ求出其特征值及其对应的特征向量；其中，λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，去除大量冗余信息，提高数据利用率，减轻计算机处理数据的负荷。

20、所述安全平台包括控制模块、安全分析模块、异常处理模块和数据加密模块，所述控制模块对处理平台的相关数据处理进行控制，所述安全分析模块获取来自处理模块的数据和大数据平台通过服务器传输来的数据进行安全性分析，所述异常处理模块将安全分析模块分析得出的存在安全风险的数据进行处理，所述数据加密模块对传输来的数据进行部分加密，将大部分数据传输到大数据平台进行共享，并将部分数据进行加密防止数据泄露。

21、所述异常处理模块采用删除含有异常值的记录的方法进行处理，部分数据重要时还将将异常值视为缺失值，交给缺失值处理方法来处理，对数据进行恢复或者用平均值来修正。

22、所述数据加密模块使用公钥加密法，每个用户拥有一个密钥对，其中私钥仅为其个人所知，公钥则可分发给任意需要与之进行加密通信的人；例如：a想要发送加密信息给b，则a需要用b的公钥加密信息，之后只有b才能用他的私钥对该加密信息进行解密；虽然密钥对中两把钥匙彼此相关，但要想从其中一把来推导出另一把，以目前计算机的运算能力来看，这种做法几乎完全不现实；在这种加密法中，公钥可以广为分发，而私钥则需要仔细地妥善保管。

23、本发明具备以下有益效果：

24、1、本发明中，管理员通过权限管理模块对登录模块进行控制，确保使用者的权限在可控范围之内，防止非指定人员对计算机进行操作，造成数据泄露。

25、2、本发明中，通过处理平台、安全平台和大数据平台共同构成计算机平台，对数据进行处理、分析，并在数据从大数据中传输过来时，确保数据安全，对数据进行安全分析，分析通过后再投入使用，降低恶意数据对平台的影响。

技术特征：

1.一种大数据计算机平台，包括：

2.根据权利要求1所述的一种大数据计算机平台，其特征在于，所述登录模块收到权限管理模块的控制，所述权限管理模块只允许管理员使用，所述权限管理模块对登录模块使用的账号进行管理，同时根据登录人员的不同属性分配权限，从而使用不同的功能。

3.根据权利要求2所述的一种大数据计算机平台，其特征在于，所述登录模块从数据库中获取允许成功登录的账号信息，将数据进行调取对比，识别使用者身份信息，所述数据库中的账号信息来自注册模块，所述注册模块使用特定身份信息进行账号注册，并设置密码防止非指定人员使用造成数据泄露，所述注册模块注册的相关信息传输到数据库中进行保存，用户在注册模块注册完成后进行登录模块的账号登录，所述用户在后续使用时无需再次注册账号，可直接进行登录操作，所述注册模块还提供密码修改及找回密码的功能，用户使用注册时提供的身份信息进行密码修改及找回。

4.根据权利要求1所述的一种大数据计算机平台，其特征在于，所述处理平台包括数据处理模块、在线处理单元、离线处理单元和数据分析模块，所述数据处理模块将获取的数据进行数据预处理并将数据传输到在线处理单元和离线处理单元，所述在线处理单元和离线处理单元将数据传输到数据分析模块，所述数据分析模块将数据传输到展示模块，所述数据处理模块用于利用主成分分析的方法对数据进行预处理去除冗余信息，所述在线处理单元用于在线对某些数据进行处理，所述离线处理单元用于对一些优先级不高的数据处理任务进行离线处理，所述数据分析模块用于对处理后的数据进行分析，并将分析得出的相关结果进行可视化后再传输到相关模块。

5.根据权利要求4所述的一种大数据计算机平台，其特征在于，所述数据处理模块应用的主成分分析方法进行数据处理：

6.根据权利要求1所述的一种大数据计算机平台，其特征在于，所述安全平台包括控制模块、安全分析模块、异常处理模块和数据加密模块，所述控制模块对处理平台的相关数据处理进行控制，所述安全分析模块获取来自处理模块的数据和大数据平台通过服务器传输来的数据进行安全性分析，所述异常处理模块将安全分析模块分析得出的存在安全风险的数据进行处理，所述数据加密模块对传输来的数据进行部分加密，将大部分数据传输到大数据平台进行共享，并将部分数据进行加密防止数据泄露。

7.根据权利要求6所述的一种大数据计算机平台，其特征在于，所述异常处理模块采用删除含有异常值的记录的方法进行处理，部分数据重要时还将将异常值视为缺失值，交给缺失值处理方法来处理，对数据进行恢复或者用平均值来修正。

8.根据权利要求6所述的一种大数据计算机平台，其特征在于，所述数据加密模块使用公钥加密法，每个用户拥有一个密钥对，其中私钥仅为其个人所知，公钥则可分发给任意需要与之进行加密通信的人；例如：a想要发送加密信息给b，则a需要用b的公钥加密信息，之后只有b才能用他的私钥对该加密信息进行解密；虽然密钥对中两把钥匙彼此相关，但要想从其中一把来推导出另一把，以目前计算机的运算能力来看，这种做法几乎完全不现实；在这种加密法中，公钥可以广为分发，而私钥则需要仔细地妥善保管。

技术总结
本发明公开了一种大数据计算机平台，包括：登录模块，用于用户进行计算机平台使用其功能并对其身份进行验证；处理平台，用于对计算机平台的数据进行数据预处理；展示模块，用于对处理平台处理分析后的数据进行展示；安全平台，用于进行安全分析并对其进行处理，确保整个使用过程数据的安全可靠；服务器，用于连接计算机平台与大数据服务器及其平台；大数据平台，用于向计算机平台提供所需要的数据及对数据进行共享。本发明中，管理员通过权限管理模块对登录模块进行控制，确保使用者的权限在可控范围之内，防止非指定人员对计算机进行操作，造成数据泄露，获取数据时对数据进行安全分析，分析通过后再投入使用，降低恶意数据对平台的影响。

技术研发人员：李向阳,袁彧
受保护的技术使用者：中原工学院
技术研发日：
技术公布日：2024/1/15