一种面向建筑施工企业的大数据采集方法与流程

1.本发明涉及建筑施工企业大数据技术领域，尤其涉及一种面向建筑施工企业的大数据采集方法。


背景技术：

2.随着网络的迅速发展大量的信息会汇集到一起，从而无法在在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据具有五大特点，即大量、高速、多样、低价值密度、真实性。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，也就是对这些数据进行“加工处理”，通过加工实现数据的增值。
3.现有的建筑施工企业其种类较多，并且按区域划分具有不同的特点，但是无法将其很好的进行归类和对比影响建筑业的发展，为了更好的推进建筑业的发展需要将其进行归类和整理，便于查阅。为此，我们提出了一种面向建筑施工企业的大数据采集方法来解决上述问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种面向建筑施工企业的大数据采集方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种面向建筑施工企业的大数据采集方法，包括以下步骤：
7.s1、收集建筑施工企业的信息；
8.s2、对建筑企业以市值进行排名；
9.s3、将建筑企业以区域进行划分，并建立对应的文档目录，并根据文档目录建立对应的文件档案；
10.s4、设置网络数据采集模块，在网络中对建筑企业的信息进行采集；
11.s5、设置增量对比采集模块和定时更新模块；
12.s6、设置信息转换模块，将采集到的信息转化成能识别的网络信息；
13.s7、设置分类模块，将采集并转化后的信息进行分类；
14.s8、设置引导模块，将分类后的信息输送至对应文件中。
15.优选地，所述网络数据采集模块是用于采集多种不同类型的网络数据，所述信息转换模块用于将多种不同类型的网络数据根据统一的转换规则转换为通用网络数据。
16.优选地，所述网络数据包括经交换机监听接口监听的网络流量信息和目标网络设备的配置信息、日志信息和设备状态信息。
17.优选地，所述网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对所述网络设备的配置信息、日志信息和设备状态信息进行采集。
18.优选地，所述定时更新模块可根据需要进行设置成24小时、48小时、72小时为限进
行更新。
19.优选地，所述建筑施工企业的信息包括公司名字、资质类别、资质证书号、资质名称、发证日期、证书有效期、发证机关。
20.优选地，所述增量对比采集模块能将采集到的信息与原有信息进行对比，并仅收录新增信息。
21.本发明的有益效果是：
22.1、通过对建筑企业信息的收集和整理从而能很好的了解建筑企业的资质，并且方便根据区域情况进行分布，便于准确的了解建筑业发展的动向；
23.2、通过设置网络数据采集模块、增量对比采集模块和定时更新模块从而能很好的更新和采集建筑施工企业的信息，便于及时了解建筑企业的情况，方便不同的人员获取相应的信息，从而便于选择和促进建筑施工企业的发展；
24.综上所述，本发明能很好的将建筑企业的信息进行归类和整理，方便使用者进行选择，并且能很好的展示建筑施工企业发展的状态，从而有助于促进建筑施工企业良好正常的进行发展。
附图说明
25.图1为本发明提出的一种面向建筑施工企业的大数据采集方法的流程图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
27.参照图1，一种面向建筑施工企业的大数据采集方法，包括以下步骤：
28.s1、收集建筑施工企业的信息，建筑施工企业的信息包括公司名字、资质类别、资质证书号、资质名称、发证日期、证书有效期、发证机关，从而能很好的了解企业的资质，确定企业所能承接工程的范围，并且还需要全面收集企业所建设的项目，以及对项目的评价和投入使用后的评价；
29.s2、对建筑企业以市值进行排名，对所有建筑施工企业进行总体排名；
30.s3、将建筑企业以区域进行划分，并建立对应的文档目录，并根据文档目录建立对应的文件档案，将排名后的企业以区域形势进行划分，从而能很清晰的了解到建筑行业的布局和发展动态；
31.s4、设置网络数据采集模块，在网络中对建筑企业的信息进行采集，网络数据采集模块是用于采集多种不同类型的网络数据，信息转换模块用于将多种不同类型的网络数据根据统一的转换规则转换为通用网络数据，网络数据采集模块还用于采集局域网数据据，网络数据包括经交换机监听接口监听的网络流量信息和目标网络设备的配置信息、日志信息和设备状态信息，网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对网络设备的配置信息、日志信息和设备状态信息进行采集，通过多种方式采集信息，并且将信息进行规整和转化，使之形成通用格式，从而方便进行使用；
32.s5、设置增量对比采集模块和定时更新模块，增量对比采集模块能将采集到的信息与原有信息进行对比，并仅收录新增信息，定时更新模块可根据需要进行设置成24小时、
48小时或72小时为限进行更新，便于快速进行更新，能时刻扩充，根据实际情况设置对应的更新时间，在更新时，能对网络中的数据进行收集，收集完毕后与现有的信息进行对比，已有的不进行拷贝，新更新的进行拷贝存储，并按照工序进行转换格式等；
33.s6、设置信息转换模块，将采集到的信息转化成能识别的网络信息，转化成能通用格式，方便不同的设备使用，便于进行拷贝和使用；
34.s7、设置分类模块，将采集并转化后的信息进行分类，便于工作人员更加清晰的了解建筑施工企业的情况，方便有序进行了解，更好的进行展示；
35.s8、设置引导模块，将分类后的信息输送至对应文件中，并且通过设置引导模块，在引导模块内设置对应的查询模块，并且设置关键字查询，方便工作人员快速进行查询，提升查找的速率，便于工作人员根据需要快速查找到对应的资料，了解改建筑施工企业的规模和资质。
36.在本发明中，工作人员首先收集建筑施工企业的信息，建筑施工企业的信息包括公司名字、资质类别、资质证书号、资质名称、发证日期、证书有效期、发证机关，从而能很好的了解企业的资质，确定企业所能承接工程的范围，并且还需要全面收集企业所建设的项目，以及对项目的评价和投入使用后的评价,对建筑企业以市值进行排名，对所有建筑施工企业进行总体排名,将建筑企业以区域进行划分，并建立对应的文档目录，并根据文档目录建立对应的文件档案，将排名后的企业以区域形势进行划分，从而能很清晰的了解到建筑行业的布局和发展动态,设置网络数据采集模块，在网络中对建筑企业的信息进行采集，网络数据采集模块是用于采集多种不同类型的网络数据，信息转换模块用于将多种不同类型的网络数据根据统一的转换规则转换为通用网络数据，网络数据采集模块还用于采集局域网数据据，网络数据包括经交换机监听接口监听的网络流量信息和目标网络设备的配置信息、日志信息和设备状态信息，网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对网络设备的配置信息、日志信息和设备状态信息进行采集，通过多种方式采集信息，并且将信息进行规整和转化，使之形成通用格式，从而方便进行使用,设置增量对比采集模块和定时更新模块，增量对比采集模块能将采集到的信息与原有信息进行对比，并仅收录新增信息，定时更新模块可根据需要进行设置成24小时、48小时或72小时为限进行更新，便于快速进行更新，能时刻扩充,、设置信息转换模块，将采集到的信息转化成能识别的网络信息，转化成能通用格式，方便不同的设备使用,设置分类模块，将采集并转化后的信息进行分类,设置引导模块，将分类后的信息输送至对应文件中。
37.在本发明中，以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。