一种基于深度学习的大数据信息处理方法与流程

本公开涉及大数据应用，尤其涉及一种基于深度学习的大数据信息处理方法、系统和电子设备。

背景技术：

1、“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

2、随着大数据的不断涌现，对多维度信息的分析、排名和有价值提取变得至关重要，从大数据中进行有价值的数据挖掘和分析，能够将大数据最大化地转换，为企业等用户提供具有高价值的商业数据信息。

3、大数据的信息处理流程，一般分为以下步骤：

4、1.数据采集：采集需要分析的数据，通常包括结构化数据、半结构化数据和非结构化数据；

5、2.数据清洗： 对采集到的数据进行处理和清洗、去重等问题；

6、3.数据转换：将数据转换成适合分析的格式；

7、4.数据挖掘：使用统计学方法和算法，从数据中找出有用的信息、模式和趋势；

8、5.数据分析：对挖掘到的数据进行分析，从而得出有用的信息和结论，并给出基于数据的建议和解决方案；

9、6.数据应用： 将分析结果应用数据计算和共享等等。

10、然而，对于有价值的大数据情报，需要结合数据特征提取方式，进行有用的信息数据提取，若是需要深度分析和挖掘数据信息，还需要深入数据细节进行把控和数据处理把控：

11、一方面需要考虑到大数据处理流程的分析模型所带来的数据处理响应效率和成本，对有用、有价值的信息进行细化提取，排除低价值甚至无价值的信息，降低数据容量。

12、另一方面需要考虑到硬软件对大数据处理的支持能力。但是现有企业等用户部署的数据服务器，对海量的大数据处理，为了降低硬软件成本，基本是采用若干台低成本的服务器进行处理，比如采用附图1所示的普通hadoop集群结构的分布网络进行大数据分布计算，hadoop集群结构的分布网络之间通过光纤高速交换机完成彼此的连接与交互，每个机架（rack) 有30-40个服务器，配置一个1gb的交换机，并向上连接到一个核心交换机或者路由器 (1gb或以上）。虽然hadoop集群结构的分布网络可以将大数据处理任务进行分散处理，降低主机的运算压力，但是也会造成如下问题：

13、一是海量低成本的服务器分机，性能低下，运算速度低，分机总控成本占比大；二是主机对各个分机的数据调度存在过于分散、调度繁琐、总耗时大的问题；三是运算的数据量能力优先，当文件过大时，上下数据传输非常消耗时间。

技术实现思路

1、为了解决上述问题，本技术提出一种基于深度学习的大数据信息处理方法、系统和电子设备。

2、本技术一方面，提出一种基于深度学习的大数据信息处理方法，基于主机服务器和云服务器之间的数据交互进行实现，包括如下步骤：

3、在云服务器上构建分布式计算模型，并生成所述分布式计算模型的云计算名单ccl；

4、建立主机服务器和所述云服务器之间的访问通信，并将所述云计算名单ccl备份至所述主机服务器；

5、将待处理的大数据m导入所述主机服务器，利用所述主机服务器上预先部署的分类模型，对所述大数据进行信息分类，得到若干不同信息性质的数据块{m1，m2，m3......}；

6、将所述数据块{m1，m2，m3......}发送至所述云服务器，由所述云服务器对所述数据块{m1，m2，m3......}中各个数据块的数据特征p进行排名；

7、按照特征排名序列，将各个数据块分发于所述分布式计算模型，进行数据处理，并由所述云服务器将处理结果按序反馈至所述主机服务器。

8、作为本技术的一可选实施方案，可选地，所述分布式计算模型优选mapreduce。

9、作为本技术的一可选实施方案，可选地，生成所述分布式计算模型的云计算名单ccl，包括：

10、预设云计算格式名单；

11、记录各个分布式部署的所述计算模型的模型id，并将各个分布式部署的所述计算模型的模型id依次写入所述云计算格式名单；

12、由所述云服务器对所述云计算格式名单进行身份统计和识别之后，保存为所述分布式计算模型的云计算名单ccl。

13、作为本技术的一可选实施方案，可选地，建立主机服务器和所述云服务器之间的访问通信，包括：

14、所述主机服务器向所述云服务器发起建立大数据交互通信链路的访问请求，其中，所述访问请求中包含所述主机服务器的主机身份信息、安全地址信息和待处理的大数据m的数据领域；

15、所述云服务器接收并解析所述访问请求，对所述主机服务器进行验证，判断：

16、（1）所述主机服务器的主机身份信息是否合格；

17、（2）所述主机服务器的安全地址信息是否具备地址安全认证；

18、（3）所述主机服务器的待处理的大数据m的数据领域，是否符合自身的云技术服务领域；

19、若（1）~（3）皆满足，则向所述主机服务器发出接收所述访问请求的反馈信息；

20、所述主机服务器根据所述云服务器的反馈信息，基于ip协议建立与所述云服务器之间的大数据交互通信链路。

21、作为本技术的一可选实施方案，可选地，将所述云计算名单ccl备份至所述主机服务器，包括：

22、所述云服务器向所述主机服务器发出备份所述云计算名单ccl的通告，并判断在预定时间内是否收到所述主机服务器的反馈：

23、若在预定时间内收到所述主机服务器的接收反馈，则将所述云计算名单ccl共享至所述主机服务器；

24、所述主机服务器接收并读取所述云计算名单ccl，获得各个分布式部署的所述计算模型的模型id，并保存在主机数据库中。

25、作为本技术的一可选实施方案，可选地，将所述云计算名单ccl备份至所述主机服务器，还包括：

26、若在预定时间内未收到所述主机服务器的接收反馈，则向所述主机服务器发出大数据领域合格通告，同时将所述云计算名单ccl共享至所述主机服务器；

27、所述主机服务器接收并读取所述云计算名单ccl，获得各个分布式部署的所述计算模型的模型id，并保存在主机数据库中。

28、作为本技术的一可选实施方案，可选地，将所述数据块{m1，m2，m3......}发送至所述云服务器，由所述云服务器对所述数据块{m1，m2，m3......}中各个数据块的数据特征p进行排名，包括：

29、所述云服务器接收所述数据块{m1，m2，m3......}，并将所述数据块{m1，m2，m3......}中的各个数据块随机导入预先部署的深度学习模型；

30、利用所述深度学习模型，对各个数据块进行数据特征提取，提取得到各个数据块的数据特征p；

31、使用对应所述深度学习模型的特征重要性评估工具，对各个数据块的所述数据特征p进行特征排名，得到各个数据块的特征排名序列mp。

32、作为本技术的一可选实施方案，可选地，按照排名，将各个数据块分发于所述分布式计算模型，进行数据处理，并由所述云服务器将处理结果按序反馈至所述主机服务器，包括：

33、读取所述特征排名序列mp，将所述特征排名序列mp按照阶梯式排列，得到若干呈阶梯分布的排名子序列mp0；

34、将各个所述排名子序列mp0分发于所述分布式计算模型，让各个分布式部署的所述计算模型，分别处理一个所述排名子序列mp0对应的所述数据块；

35、各个所述计算模型分别输出对应所述数据块的数据处理结果，并将所述数据处理结果与所述计算模型的模型id进行绑定，用于后续所述数据块的追踪查询处理；

36、由所述云服务器收集本次所有的所述数据处理结果，并按照所述特征排名序列mp，有序反馈至所述主机服务器。

37、本技术另一方面，提出一种实现所述基于深度学习的大数据信息处理方法的系统，包括：

38、云计算模型构建模块，用于在云服务器上构建分布式计算模型，并生成所述分布式计算模型的云计算名单ccl；

39、访问通信建立模块，用于建立主机服务器和所述云服务器之间的访问通信，并将所述云计算名单ccl备份至所述主机服务器；

40、分类模块，用于将待处理的大数据m导入所述主机服务器，利用所述主机服务器上预先部署的分类模型，对所述大数据进行信息分类，得到若干不同信息性质的数据块{m1，m2，m3......}；

41、排名模块，用于将所述数据块{m1，m2，m3......}发送至所述云服务器，由所述云服务器对所述数据块{m1，m2，m3......}中各个数据块的数据特征p进行排名；

42、分布计算模块，用于按照所述特征排名序列，将各个数据块分发于所述分布式计算模型，进行数据处理，并由所述云服务器将处理结果按序反馈至所述主机服务器。

43、本技术另一方面，还提出一种电子设备，包括：

44、处理器；

45、用于存储处理器可执行指令的存储器；

46、其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于深度学习的大数据信息处理方法。

47、本发明的技术效果：

48、本技术在主机服务器和云服务器之间进行大数据信息处理，利用云上部署的分布式计算模型mapreduce，对主机服务器发布的大数据处理任务进行分布处理，整个大数据处理过程在主机服务器和云服务器之间进行，避免了hadoop集群结构的分布网络所导致的技术缺陷，不需要若干物理分机和交换机，大大节省分布计算网络架构成本和时间，利用云技术的分布式计算模型mapreduce，可以大大提高大数据的处理速度，大大降低主机服务器的运行压力和提高对大数据的响应需求。本方案在云上还利用了特征模型对大数据的数据块进行特征提取和排名，根据排名进行分布计算，可以按照特征价值排名，有序安排计算模型，将有价值的数据特征的计算结果优选输出，按照使得大数据按照特征排名进行输出和应用，进一步细化大数据计算结果的应用程度，最优化利用大数据的处理结果，为企业等用户提供具有高价值的商业数据信息。

49、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。