一种基于云计算和大数据的数据处理方法及系统与流程

1.本发明属于数据处理技术领域，尤其涉及一种基于云计算和大数据的数据处理方法及系统。


背景技术：

2.数据处理，数据处理是系统工程和自动控制的基本环节，是用计算机收集、记录数据，经加工产生新的信息形式的技术。数据处理贯穿于社会生产和社会生活的各个领域。数据处理对数据进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用。
3.随着云计算的发展，数据处理的过程可以采用自主处理和云计算处理两种方式，由于有些数据需要多个设备进行配合处理，而现有的数据处理方法不能够实现对数据的阶段化处理与分配，无法实现对数据进行自主处理和云计算处理的分配结合，不便于多个设备对数据的配合处理。


技术实现要素：

4.本发明实施例的目的在于提供一种基于云计算和大数据的数据处理方法及系统，旨在解决背景技术中提出的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：一种基于云计算和大数据的数据处理方法，所述方法具体包括以下步骤：接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息；进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息；按照所述需求匹配信息，从多个所述数据处理阶段中匹配并标记多个自主处理阶段和多个辅助处理阶段；进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果；对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
6.作为本发明实施例技术方案进一步的限定，所述接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息具体包括以下步骤：接收待处理数据；将所述待处理数据进行阶段化分析，生成阶段化分析信息；按照所述阶段化分析信息，对所述待处理数据进行阶段化处理，得到多个数据处
理阶段；对多个数据处理阶段分别进行阶段需求分析，得到多个阶段需求信息。
7.作为本发明实施例技术方案进一步的限定，所述进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息具体包括以下步骤：按照多个所述阶段需求信息，确定多个环境分析指标；根据多个所述环境分析指标，进行自主的处理环境分析，得到自主环境信息；对多个所述阶段需求信息和多个所述自主环境信息进行需求匹配分析，生成需求匹配信息。
8.作为本发明实施例技术方案进一步的限定，所述按照所述需求匹配信息，从多个所述数据处理阶段中匹配并标记多个自主处理阶段和多个辅助处理阶段具体包括以下步骤：按照所述需求匹配信息，对多个所述数据处理阶段进行匹配处理，生成匹配处理结果；按照所述匹配处理结果，标记多个自主处理阶段；将剩余的多个数据处理阶段均标记为辅助处理阶段。
9.作为本发明实施例技术方案进一步的限定，所述进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果具体包括以下步骤：向多个云计算处理目标发送环境分析信号；获取多个云计算处理目标的环境分析反馈，生成云计算环境信息；按照所述云计算环境信息，标记多个辅助处理目标；对多个所述辅助处理目标与多个所述辅助处理阶段进行分配分析，生成分配分析结果。
10.作为本发明实施例技术方案进一步的限定，所述对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理具体包括以下步骤：确定多个所述自主处理阶段和多个所述辅助处理阶段的阶段顺序；按照阶段顺序，生成顺序处理指令；按照所述顺序处理指令，对多个所述自主处理阶段进行大数据的自主数据处理；按照所述顺序处理指令和所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
11.一种基于云计算和大数据的数据处理系统，所述系统包括处理阶段分析单元、自主环境分析单元、需求阶段匹配单元、辅助环境分析单元和分配数据处理单元，其中：处理阶段分析单元，用于接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息；自主环境分析单元，用于进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息；需求阶段匹配单元，用于按照所述需求匹配信息，从多个所述数据处理阶段中匹
配并标记多个自主处理阶段和多个辅助处理阶段；辅助环境分析单元，用于进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果；分配数据处理单元，用于对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
12.作为本发明实施例技术方案进一步的限定，所述处理阶段分析单元具体包括：数据接收模块，用于接收待处理数据；阶段分析模块，用于将所述待处理数据进行阶段化分析，生成阶段化分析信息；阶段处理模块，用于按照所述阶段化分析信息，对所述待处理数据进行阶段化处理，得到多个数据处理阶段；需求分析模块，用于对多个数据处理阶段分别进行阶段需求分析，得到多个阶段需求信息。
13.作为本发明实施例技术方案进一步的限定，所述自主环境分析单元具体包括：指标确定模块，用于按照多个所述阶段需求信息，确定多个环境分析指标；环境分析模块，用于根据多个所述环境分析指标，进行自主的处理环境分析，得到自主环境信息；需求匹配模块，用于对多个所述阶段需求信息和多个所述自主环境信息进行需求匹配分析，生成需求匹配信息。
14.作为本发明实施例技术方案进一步的限定，所述需求阶段匹配单元具体包括：匹配处理模块，用于按照所述需求匹配信息，对多个所述数据处理阶段进行匹配处理，生成匹配处理结果；第一标记模块，用于按照所述匹配处理结果，标记多个自主处理阶段；第二标记模块，用于将剩余的多个数据处理阶段均标记为辅助处理阶段。
15.与现有技术相比，本发明的有益效果是：本发明实施例通过接收待处理数据，对待处理数据进行处理阶段分析；进行自主的处理环境分析，进行需求匹配分析；匹配并标记多个自主处理阶段和多个辅助处理阶段；进行云计算的处理环境和分配分析，生成分配分析结果；对多个自主处理阶段进行自主数据处理，对多个辅助处理阶段进行辅助数据处理。能够对待处理数据进行处理阶段分析，并进行自主和云计算的处理环境分析，标记多个自主处理阶段和多个辅助处理阶段，分别进行自主数据处理和辅助数据处理，从而实现对数据的阶段化处理与分配，将自主处理和云计算处理进行分配结合，便于多个设备对数据的配合处理。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
17.图1示出了本发明实施例提供的方法的流程图。
18.图2示出了本发明实施例提供的方法中数据处理阶段分析的流程图。
19.图3示出了本发明实施例提供的方法中自主环境分析处理的流程图。
20.图4示出了本发明实施例提供的方法中处理阶段匹配标记的流程图。
21.图5示出了本发明实施例提供的方法中云计算环境分析处理的流程图。
22.图6示出了本发明实施例提供的方法中处理阶段数据处理的流程图。
23.图7示出了本发明实施例提供的系统的应用架构图。
24.图8示出了本发明实施例提供的系统中处理阶段分析单元的结构框图。
25.图9示出了本发明实施例提供的系统中自主环境分析单元的结构框图。
26.图10示出了本发明实施例提供的系统中需求阶段匹配单元的结构框图。
实施方式
27.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
28.可以理解的是，现有技术中，数据处理的过程可以采用自主处理和云计算处理两种方式，由于有些数据需要多个设备进行配合处理，而现有的数据处理方法不能够实现对数据的阶段化处理与分配，无法实现对数据进行自主处理和云计算处理的分配结合，不便于多个设备对数据的配合处理。
29.为解决上述问题，本发明实施例通过接收待处理数据，对待处理数据进行处理阶段分析；进行自主的处理环境分析，进行需求匹配分析；匹配并标记多个自主处理阶段和多个辅助处理阶段；进行云计算的处理环境和分配分析，生成分配分析结果；对多个自主处理阶段进行自主数据处理，对多个辅助处理阶段进行辅助数据处理。能够对待处理数据进行处理阶段分析，并进行自主和云计算的处理环境分析，标记多个自主处理阶段和多个辅助处理阶段，分别进行自主数据处理和辅助数据处理，从而实现对数据的阶段化处理与分配，将自主处理和云计算处理进行分配结合，便于多个设备对数据的配合处理。
30.图1示出了本发明实施例提供的方法的流程图。
31.具体的，一种基于云计算和大数据的数据处理方法，所述方法具体包括以下步骤：步骤s101，接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息。
32.在本发明实施例中，接收待处理数据，通过对待处理数据进行阶段化分析，生成阶段化分析信息，进而按照阶段化分析信息，将待处理数据进行阶段化处理，得到多个数据处理阶段，并对多个数据处理阶段分别进行存储空间、处理软件、传输速率等多个因素进行阶段需求分析，得到与多个数据处理阶段分别对应的阶段需求信息。
33.具体的，图2示出了本发明实施例提供的方法中数据处理阶段分析的流程图。
34.其中，在本发明提供的优选实施方式中，所述接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息具体包括以下步骤：步骤s1011，接收待处理数据。
35.步骤s1012，将所述待处理数据进行阶段化分析，生成阶段化分析信息。
36.步骤s1013，按照所述阶段化分析信息，对所述待处理数据进行阶段化处理，得到多个数据处理阶段。
37.步骤s1014，对多个数据处理阶段分别进行阶段需求分析，得到多个阶段需求信
息。
38.进一步的，所述基于云计算和大数据的数据处理方法还包括以下步骤：步骤s102，进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息。
39.在本发明实施例中，按照多个阶段需求信息对应的存储空间、处理软件、传输速率等多个需求因素，确定与多个数据处理阶段分别对应的环境分析指标，且基于环境分析指标，进行自主的处理环境分析，得到自主环境信息，自主环境信息中记录有存储空间、处理软件、传输速率等多个需求因素的有无和/或具体数值，通过将多个阶段需求信息和多个自主环境信息进行需求匹配分析，生成需求匹配信息。
40.具体的，图3示出了本发明实施例提供的方法中自主环境分析处理的流程图。
41.其中，在本发明提供的优选实施方式中，所述进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息具体包括以下步骤：步骤s1021，按照多个所述阶段需求信息，确定多个环境分析指标。
42.步骤s1022，根据多个所述环境分析指标，进行自主的处理环境分析，得到自主环境信息。
43.步骤s1023，对多个所述阶段需求信息和多个所述自主环境信息进行需求匹配分析，生成需求匹配信息。
44.进一步的，所述基于云计算和大数据的数据处理方法还包括以下步骤：步骤s103，按照所述需求匹配信息，从多个所述数据处理阶段中匹配并标记多个自主处理阶段和多个辅助处理阶段。
45.在本发明实施例中，按照需求匹配信息，对多个数据处理阶段进行匹配处理，将能够满足自主环境信息的多个数据处理阶段标记为自主处理阶段，将不能够满足自主环境信息的多个数据处理阶段标记为辅助处理阶段。
46.具体的，图4示出了本发明实施例提供的方法中处理阶段匹配标记的流程图。
47.其中，在本发明提供的优选实施方式中，所述按照所述需求匹配信息，从多个所述数据处理阶段中匹配并标记多个自主处理阶段和多个辅助处理阶段具体包括以下步骤：步骤s1031，按照所述需求匹配信息，对多个所述数据处理阶段进行匹配处理，生成匹配处理结果。
48.步骤s1032，按照所述匹配处理结果，标记多个自主处理阶段。
49.步骤s1033，将剩余的多个数据处理阶段均标记为辅助处理阶段。
50.进一步的，所述基于云计算和大数据的数据处理方法还包括以下步骤：步骤s104，进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果。
51.在本发明实施例中，通过确定多个能够进行辅助处理的云计算处理目标，向多个云计算处理目标发送环境分析信号，进而接收多个云计算处理目标的环境分析反馈，统计整理生成云计算环境信息，并通过对云计算环境信息进行分析，将能够满足多个辅助处理阶段中相应阶段需求的云计算处理目标标记为辅助处理目标，得到多个辅助处理目标，进而对多个辅助处理目标与多个辅助处理阶段进行分配分析，生成分配分析结果。
52.具体的，图5示出了本发明实施例提供的方法中云计算环境分析处理的流程图。
53.其中，在本发明提供的优选实施方式中，所述进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果具体包括以下步骤：步骤s1041，向多个云计算处理目标发送环境分析信号。
54.步骤s1042，获取多个云计算处理目标的环境分析反馈，生成云计算环境信息。
55.步骤s1043，按照所述云计算环境信息，标记多个辅助处理目标。
56.步骤s1044，对多个所述辅助处理目标与多个所述辅助处理阶段进行分配分析，生成分配分析结果。
57.进一步的，所述基于云计算和大数据的数据处理方法还包括以下步骤：步骤s105，对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
58.在本发明实施例中，将多个自主处理阶段和多个辅助处理阶段，按照多个数据处理阶段对应的顺序进行排列，得到阶段顺序，进而按照阶段顺序，在处于相应的自主处理阶段或辅助处理阶段时，生成并发送顺序处理指令，使得在自主处理阶段时，按照顺序处理指令，进行相应的大数据的自主数据处理，在辅助处理阶段时，按照顺序处理指令，进行相应的大数据的辅助数据处理，实现对数据的阶段化处理与分配。
59.具体的，图6示出了本发明实施例提供的方法中处理阶段数据处理的流程图。
60.其中，在本发明提供的优选实施方式中，所述对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理具体包括以下步骤：步骤s1051，确定多个所述自主处理阶段和多个所述辅助处理阶段的阶段顺序。
61.步骤s1052，按照阶段顺序，生成顺序处理指令。
62.步骤s1053，按照所述顺序处理指令，对多个所述自主处理阶段进行大数据的自主数据处理。
63.步骤s1054，按照所述顺序处理指令和所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
64.进一步的，图7示出了本发明实施例提供的系统的应用架构图。
65.其中，在本发明提供的又一个优选实施方式中，一种基于云计算和大数据的数据处理系统，包括：处理阶段分析单元101，用于接收待处理数据，对所述待处理数据进行处理阶段分析，得到多个数据处理阶段和对应的阶段需求信息。
66.在本发明实施例中，处理阶段分析单元101接收待处理数据，通过对待处理数据进行阶段化分析，生成阶段化分析信息，进而按照阶段化分析信息，将待处理数据进行阶段化处理，得到多个数据处理阶段，并对多个数据处理阶段分别进行存储空间、处理软件、传输速率等多个因素进行阶段需求分析，得到与多个数据处理阶段分别对应的阶段需求信息。
67.具体的，图8示出了本发明实施例提供的系统中处理阶段分析单元101的结构框图。
68.其中，在本发明提供的优选实施方式中，所述处理阶段分析单元101具体包括：
数据接收模块1011，用于接收待处理数据。
69.阶段分析模块1012，用于将所述待处理数据进行阶段化分析，生成阶段化分析信息。
70.阶段处理模块1013，用于按照所述阶段化分析信息，对所述待处理数据进行阶段化处理，得到多个数据处理阶段。
71.需求分析模块1014，用于对多个数据处理阶段分别进行阶段需求分析，得到多个阶段需求信息。
72.进一步的，所述基于云计算和大数据的数据处理系统还包括：自主环境分析单元102，用于进行自主的处理环境分析，得到自主环境信息，并按照多个所述阶段需求信息进行需求匹配分析，生成需求匹配信息。
73.在本发明实施例中，自主环境分析单元102按照多个阶段需求信息对应的存储空间、处理软件、传输速率等多个需求因素，确定与多个数据处理阶段分别对应的环境分析指标，且基于环境分析指标，进行自主的处理环境分析，得到自主环境信息，自主环境信息中记录有存储空间、处理软件、传输速率等多个需求因素的有无和/或具体数值，通过将多个阶段需求信息和多个自主环境信息进行需求匹配分析，生成需求匹配信息。
74.具体的，图9示出了本发明实施例提供的系统中自主环境分析单元102的结构框图。
75.其中，在本发明提供的优选实施方式中，所述自主环境分析单元102具体包括：指标确定模块1021，用于按照多个所述阶段需求信息，确定多个环境分析指标。
76.环境分析模块1022，用于根据多个所述环境分析指标，进行自主的处理环境分析，得到自主环境信息。
77.需求匹配模块1023，用于对多个所述阶段需求信息和多个所述自主环境信息进行需求匹配分析，生成需求匹配信息。
78.进一步的，所述基于云计算和大数据的数据处理系统还包括：需求阶段匹配单元103，用于按照所述需求匹配信息，从多个所述数据处理阶段中匹配并标记多个自主处理阶段和多个辅助处理阶段。
79.在本发明实施例中，需求阶段匹配单元103按照需求匹配信息，对多个数据处理阶段进行匹配处理，将能够满足自主环境信息的多个数据处理阶段标记为自主处理阶段，将不能够满足自主环境信息的多个数据处理阶段标记为辅助处理阶段。
80.具体的，图10示出了本发明实施例提供的系统中需求阶段匹配单元103的结构框图。
81.其中，在本发明提供的优选实施方式中，所述需求阶段匹配单元103具体包括：匹配处理模块1031，用于按照所述需求匹配信息，对多个所述数据处理阶段进行匹配处理，生成匹配处理结果。
82.第一标记模块1032，用于按照所述匹配处理结果，标记多个自主处理阶段。
83.第二标记模块1033，用于将剩余的多个数据处理阶段均标记为辅助处理阶段。
84.进一步的，所述基于云计算和大数据的数据处理系统还包括：辅助环境分析单元104，用于进行云计算的处理环境分析，得到云计算环境信息，按照所述云计算环境信息，对多个辅助处理阶段进行分配分析，生成分配分析结果。
85.在本发明实施例中，辅助环境分析单元104通过确定多个能够进行辅助处理的云计算处理目标，向多个云计算处理目标发送环境分析信号，进而接收多个云计算处理目标的环境分析反馈，统计整理生成云计算环境信息，并通过对云计算环境信息进行分析，将能够满足多个辅助处理阶段中相应阶段需求的云计算处理目标标记为辅助处理目标，得到多个辅助处理目标，进而对多个辅助处理目标与多个辅助处理阶段进行分配分析，生成分配分析结果。
86.分配数据处理单元105，用于对多个所述自主处理阶段进行大数据的自主数据处理，并按照所述分配分析结果，对多个所述辅助处理阶段进行大数据的辅助数据处理。
87.在本发明实施例中，分配数据处理单元105将多个自主处理阶段和多个辅助处理阶段，按照多个数据处理阶段对应的顺序进行排列，得到阶段顺序，进而按照阶段顺序，在处于相应的自主处理阶段或辅助处理阶段时，生成并发送顺序处理指令，使得在自主处理阶段时，按照顺序处理指令，进行相应的大数据的自主数据处理，在辅助处理阶段时，按照顺序处理指令，进行相应的大数据的辅助数据处理，实现对数据的阶段化处理与分配。
88.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
89.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
90.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
91.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
92.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。