一种基于计算机大数据信息采集系统的制作方法

1.本发明涉及数据处理技术领域，尤其涉及基于计算机大数据信息采集系统。


背景技术：

2.数据是对事实、概念或指令的一种表达形式，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
3.对于一个集体，如企业、学校、工厂等，在大数据共联的背景下，每天产生的数据以及要处理的数据是庞杂的，并且需要从海量数据中进行所需要的信息采集；
4.采集的数据是否全面、快速、是否能够定位到数据来源、是否能够很好的响应索引需求以及对数据处理的方式都会影响到决策，若是数据无法采集、采集的数据无法定位来源都会可能产生损失，并且在计算机终端获得数据集采集信息时，不一定能够很好的准确的获得相关性信息。
5.现有技术中，如何从海量的数据中获取对企业等有用的数据成为需要解决的问题，在需要进行索引时，如何从海量数据中，索引、采集相关的、需求的信息也是需要面对的问题。


技术实现要素：

6.本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于计算机大数据信息采集系统。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息。
9.进一步地，索引单元包括实时信息共享模块，用于将计算机终端和服务器终端的规定信息进行实时共享；
10.需求信息索求模块，用于根据需求指令或需求信息转换为向计算机终端或服务器终端的索求信息；
11.信息匹配传输模块，用于根据索求信息进行数据的匹配和传输。
12.进一步地，所述计算机终端包括设备区分模块，用于连接服务器终端生成区分设备的识别码；
13.分类空间标记模块，用于绑定设备的识别码并分配计算机终端所需要的资源空间和在服务器终端内的资源空间；
14.数据空间传输模块，用于根据设备识别码在相应的资源空间内传输数据和命令指令；
15.路线传输模块，用于连接各个信息采集终端，并传输完整的数据；
16.空间分配模块，用于划分、分配和调整资源空间；
17.采集结果模块，用于对计算机终端获得的采集数据进行信息提取、分析、分类并获得结果；
18.采集规则交互模块，用于连接服务器终端相互传输采集规则方式，实现采集不同的信息数据，其中：
19.所述路线传输模块连接所述设备区分模块，所述设备区分模块分别连接所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块，所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块均通过所述采集规则交互模块连接所述采集结果模块。
20.进一步地，所述空间分配模块的步骤流程为：根据计算机终端的空间资源以及计算机终端所连接的各个信息采集终端，划分能够满足计算和存储的资源空间，并同步要求服务器终端中具备同样属性的资源空间，且进行点对点传输。
21.进一步地，设备区分模块的流程步骤为：当前计算连接服务器终端，并同时传输当前计算机终端的位置信息、硬件信息以及应用场景信息；
22.服务器终端获取传输的信息，基于信息转化具有相应编号的设备识别码，存储云端同时传输给计算机终端。
23.进一步地，服务器终端包括信息采集单元，用于与计算机终端交互采集规则，对传输的数据进行采集；
24.区域标注模块，用于根据设备识别码进行区域信息标注和识别；
25.区域信息处理模块，用于根据区域信息，匹配相应的采集规则、数据分析规则和数据提取方式；
26.数据转化模块，用于提取数据关键信息，转化为相应的可采集的关键信息；
27.数据引流模块，用于根据关键信息，将信息进行标准并分配至相应的存储空间，其中：
28.所述信息采集模块连接所述区域标注模块，所述区域标注模块通过所述区域信息处理模块连接所述数据转化模块，所述数据转化模块连接所述数据引流模块。
29.进一步地，所述数据转化模块和所述数据引流模块的提取的关键信息包括位置信息、信息类型、信息关键词、语句匹配和语义归类，其中，关键信息提取时，每提取一个关键信息时，在提取的信息数据基础上提取下一个关键信息。
30.进一步地，所述信息采集单元在计算机终端进行信息采集的完成后，统计有效的采集关键字符、采集流程顺序和采集优先级方式，并记录至当前计算机终端中，作为采集规则，对下一数据集进行同样的采集流程。
31.相比于现有技术，本发明的有益效果在于：利用大数据获取关联信息，将关联的计算机终端作为独立的信息采集和计算单元，充分的利用计算机终端的计算资源和本地的运算能力，提升效率，解决计算资源占用过度的问题；
32.将数据计算分布至运算时间更短、采集结果更加明确的对应终端中，利用计算机终端的位置特性和与其连接的信息采集终端，来增加获得结果的速度以及缓解对海量数据进行信息采集的压力；
33.能够提高信息采集需求速度，对海量数据进行提取和划分，计算机终端的本地库不需要完全共享，仅需要发送和处理相应的索求指令，反馈采集结果，达到获取所需要的信息采集目的，根据采集的结果也可以反向定位计算机终端，能够定位和寻找数据来源。
附图说明
34.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
35.图1为本发明提出的基于计算机大数据信息采集系统的流程示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
37.基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端。
38.实施例一
39.参照图1，基于计算机大数据信息采集系统，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息；
40.索引单元包括实时信息共享模块，用于将计算机终端和服务器终端的规定信息进行实时共享；
41.需求信息索求模块，用于根据需求指令或需求信息转换为向计算机终端或服务器终端的索求信息；
42.信息匹配传输模块，用于根据索求信息进行数据的匹配和传输。
43.实施例二
44.在实施例一的基础上，所述计算机终端包括设备区分模块，用于连接服务器终端生成区分设备的识别码；
45.分类空间标记模块，用于绑定设备的识别码并分配计算机终端所需要的资源空间和在服务器终端内的资源空间；
46.数据空间传输模块，用于根据设备识别码在相应的资源空间内传输数据和命令指令；
47.路线传输模块，用于连接各个信息采集终端，并传输完整的数据；
48.具体的，信息采集终端包括摄像头、各类传感器、gps、麦克风等相适配关联的用于数据采集的终端。
49.空间分配模块，用于划分、分配和调整资源空间；
50.采集结果模块，用于对计算机终端获得的采集数据进行信息提取、分析、分类并获得结果；
51.采集规则交互模块，用于连接服务器终端相互传输采集规则方式，实现采集不同的信息数据，其中：
52.所述路线传输模块连接所述设备区分模块，所述设备区分模块分别连接所述分类
空间标记模块、所述数据空间传输模块和所述空间分配模块，所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块均通过所述采集规则交互模块连接所述采集结果模块；
53.所述空间分配模块的步骤流程为：根据计算机终端的空间资源以及计算机终端所连接的各个信息采集终端，划分能够满足计算和存储的资源空间，并同步要求服务器终端中具备同样属性的资源空间，且进行点对点传输；
54.设备区分模块的流程步骤为：当前计算连接服务器终端，并同时传输当前计算机终端的位置信息、硬件信息以及应用场景信息；
55.服务器终端获取传输的信息，基于信息转化具有相应编号的设备识别码，存储云端同时传输给计算机终端。
56.同一发明的优选实施例：
57.服务器终端包括信息采集单元，用于与计算机终端交互采集规则，对传输的数据进行采集；
58.区域标注模块，用于根据设备识别码进行区域信息标注和识别；
59.区域信息处理模块，用于根据区域信息，匹配相应的采集规则、数据分析规则和数据提取方式；
60.数据转化模块，用于提取数据关键信息，转化为相应的可采集的关键信息；
61.数据引流模块，用于根据关键信息，将信息进行标准并分配至相应的存储空间，其中：
62.所述信息采集模块连接所述区域标注模块，所述区域标注模块通过所述区域信息处理模块连接所述数据转化模块，所述数据转化模块连接所述数据引流模块；
63.所述数据转化模块和所述数据引流模块的提取的关键信息包括位置信息、信息类型、信息关键词、语句匹配和语义归类，其中，关键信息提取时，每提取一个关键信息时，在提取的信息数据基础上提取下一个关键信息；
64.所述信息采集单元在计算机终端进行信息采集的完成后，统计有效的采集关键字符、采集流程顺序和采集优先级方式，并记录至当前计算机终端中，作为采集规则，对下一数据集进行同样的采集流程。
65.在本技术的上述实施例中，当服务器终端或计算机终端进行信息采集时，对数据进行快速的关键信息提取，根据提取的关键信息确定对应位置的计算机终端，交互验证后，数据直接传输，利用计算机终端利用划分的空余计算资源在本地进行运算，并采集实时的、相关的可用信息，存储于本地资源库中；
66.此外，当通过某一计算机终端采集到数据集或者云服务器中某一数据集具有采集需求后，会根据数据集的关键信息，传输至相应计算机终端或者附近的响应的计算机终端，计算机终端可直接依照本地库和相连接的信息采集终端的记录根据需求进行实时的信息分析和采集，并获得结果，如当需要获得区域内的天气信息时或者需要从一段数据内采集天气信息时，提取位置信息等关键信息，传输至具有解决能力或者关键信息相同即相同位置区域的计算机终端中，计算机终端即可利用本地库以及与其连接的传感器等信息采集终端，快速获取和分析所需要采集的数据结果并反馈；
67.随后将采集信息的结果同时附带采集的全部数据整合发送至服务器终端中，服务
器终端获得结果后，将数据分类存储到相应的云端空间，根据索引请求或者查看信息请求，可直接显示结果，并将原有的数据集根据采集结果反向索引相应部分内容展示。
68.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。