交通政务资源数据处理方法、装置、设备及存储介质与流程

本技术涉及大数据的，尤其是涉及一种交通政务资源数据处理方法、装置、设备及存储介质。

背景技术：

1、随着信息化的发展和集约化进程的推进，实现数据共享已经不能简单依赖数据接口，往往一个系统需要与多个系统进行数据交换，必须利用数据交换平台对各系统间的数据进行统一交换和共享，提供数据资源梳理、元数据管理、数据标准、分类目录、资源注册、导航、搜索、数据可视化管理等功能。

2、通过数据交换平台的建设，与第三方系统进行数据对接，实现与异构系统数据的采集、交换、发布与共享。

3、在实现本技术的过程中，发明人发现该技术中至少存在如下问题：交通内部及外部对数据需求的持续增加，导致数据采集共享系统承载压力巨增，数据采集共享系统一直处于高负荷运转，负载能力问题日益突出。

技术实现思路

1、为了降低数据采集共享系统的承载压力，本技术提供的一种交通政务资源数据处理方法、装置、设备及存储介质。

2、第一方面，本技术提供一种交通政务资源数据处理方法，采用如下的技术方案：所述方法包括：获取采集数据，所述采集数据包括数据来源信息；

3、根据所述数据来源信息对所述采集数据进行分类，得到若干分类数据；

4、对所述分类数据进行预处理，得到存储数据；

5、将所述存储数据按照对应的数据来源信息进行存储。

6、通过上述技术方案，数据采集共享系统在接收到由安装的采集设备传输的采集数据后，根据采集数据对应的数据来源信息进行分类，将杂乱无章的采集数据划分为不同类别的数据，并对分类后的数据分别进行预处理，降低数据量，进而降低数据采集共享系统存储数据的负荷。

7、在一个具体的可实施方案中，所述对所述分类数据进行预处理，得到存储数据，具体包括：

8、将所述分类数据与最近一次存储的同类型的历史分类数据进行对比；

9、若所述分类数据与最近一次存储的同类型的历史分类数据之间的数据差值小于预设的第一阈值，则判断所述分类数据的数据量是否超过最近一次存储的同类型的历史分类数据的数据量；

10、若所述分类数据的数据量超过最近一次存储的同类型的历史分类数据的数据量，则根据所述分类数据对最近一次存储的同类型的历史分类数据进行更新。

11、通过上述技术方案，数据采集共享系统在存储数据之前，首先判断需要存储的数据与同类型最近一次存储的历史数据之间的数据差值是否超过了预设的阈值，若是未超过预设的阈值，可以说明的最新采集到的数据与历史数据的差距较小，因此数据采集共享系统将最新数据作为需要被存储数据进行存储，对历史数据进行更新，在保留数据价值与意义的基础上，尽量减少数据采集共享系统内的数据存储容量。

12、在一个具体的可实施方案中，所述分类数据包括若干子数据，在所述根据所述分类数据对最近一次存储的同类型的历史分类数据进行更新之后，还包括：

13、将所述分类数据中的若干子数据依次与最近一次存储的同类型的历史分类数据中历史子数据进行对比；

14、若所述子数据与所述历史子数据之间的差值超过了预设的第二阈值，则将保留所述历史子数据。

15、通过上述技术方案，数据采集共享系统在计算得到的最新数据与同类型最近一次存储的历史数据之间的数据差值超过了阈值的情况下，会依次对比最新数据中的子数据与历史数据中子数据，若是两者之间的差值超过了允许的范围，那么系统会单独对该子数据进行存储。

16、在一个具体的可实施方案中，在所述将所述存储数据按照对应的数据来源信息进行存储之前，还包括：

17、读取所述存储数据对应的采集时间；

18、在预设的特殊时间库中查找是否存在与所述采集时间一致的特殊时间；

19、若存在与所述采集时间一致的特殊时间，则将所述存储数据标记为特殊数据。

20、通过上述技术方案，数据采集共享系统在将经过处理后的分类数据存储至数据库中之前，还会读取数据对应的采集时间，若是数据对应的采集时间与预设的特殊时间一致，那么数据采集共享系统会对该数据进行标记，工作人员能够通过标记检索到该类数据，以便于工作人员查阅到这些特殊数据。

21、在一个具体的可实施方案中，在所述对所述分类数据进行预处理，得到存储数据之后，还包括：

22、判断所述分类数据对应的数据格式是否为预设的标准格式；

23、若所述分类数据对应的数据格式不满足所述标准格式，则将所述分类数据对应的数据格式修正为所述标准格式。

24、通过上述技术方案，数据采集共享系统在得到存储数据之后，会检查存储数据的数据格式，若是存储数据的数据格式不符合标准格式，则将其数据格式进行修改，使其满足标准格式，以便于其他系统能够调用数据采集共享系统存储的数据文件。

25、在一个具体的可实施方案中，获取请求指令；

26、获取所有服务器的执行状态，所述执行状态包括占用状态以及空闲状态；

27、若所述服务器的执行状态均为占用状态，则将所述请求指令添加至等候队列。

28、通过上述技术方案，数据采集共享系统数据交换或是数据传输业务繁忙时接收到请求指令，会先将请求指令添加至等候对比，使得请求指令能够按照时间顺序依次得到响应，尽量避免了数据采集共享系统由于访问负载过重而导致宕机的情况。

29、在一个具体的可实施方案中，所述请求指令包括第一请求指令以及第二请求指令，在所述将所述请求指令添加至等候队列之后，还包括：

30、若是获取的请求指令为第一请求指令，则将所述第一请求指令添加至所述等候队列中所有第二请求指令之前。

31、通过上述技术方案，数据采集共享系统根据请求指令的优先级对请求指令的处理顺序进行排序有助于使得一些优先级较高的请求能够尽快得到响应。

32、第二方面，本技术提供一种交通政务资源数据处理装置，采用如下技术方案：所述装置包括：

33、采集数据获取模块，用于获取采集数据，所述采集数据包括数据来源信息；

34、采集数据分类模块，用于根据所述数据来源信息对所述采集数据进行分类，得到若干分类数据；

35、采集数据处理模块，用于对所述分类数据进行预处理，得到存储数据；

36、采集数据存储模块，用于将所述存储数据按照对应的数据来源信息进行存储。

37、第三方面，本技术提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种交通政务资源数据处理方法的计算机程序。

38、第四方面，本技术提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种交通政务资源数据处理方法的计算机程序。

39、综上所述，本技术包括以下至少一种有益技术效果：

40、1.数据采集共享系统在接收到由安装的采集设备传输的采集数据后，根据采集数据对应的数据来源信息进行分类，将杂乱无章的采集数据划分为不同类别的数据，并对分类后的数据分别进行预处理，降低数据量，进而降低数据采集共享系统存储数据的负荷；

41、2.数据采集共享系统在将经过处理后的分类数据存储至数据库中之前，还会读取数据对应的采集时间，若是数据对应的采集时间与预设的特殊时间一致，那么数据采集共享系统会对该数据进行标记，工作人员能够通过标记检索到该类数据，以便于工作人员查阅到这些特殊数据。