数据处理方法、装置、电子设备以及存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备以及存储介质。


背景技术：

2.随着粮食信息化的推广与应用，收集粮情时需要采集的粮食品种越来越多，各个粮食品种也都对应着不同的厂商，这就对粮情的统一化带来了困难，而统一化第一步就面临了各个厂商的数据提取。
3.现有技术中通过人工对各个厂商的数据进行提取，由于各个厂商的数据库地址、数据种类等都存在差异，所以需要选择不同的算法对各个厂商的数据地址进行解析，通常也是以人工的方式进行算法的选择，但是人工选择算法时容易出现算法不匹配的情况，同时人工对数据进行提取速度较慢，提取到的数据容易出现错误。因此，粮情数据处理方法的可靠性较差。


技术实现要素：

4.有鉴于此，本发明实施例提供一种数据处理方法及装置、电子设备以及存储介质，以解决上述问题。
5.根据本发明实施例的第一方面，提供一种数据处理方法，包括：基于数据库地址，从预设解析算法库中匹配解析算法；基于配置信息及解析算法，与数据库地址建立连接；基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准；将符合数据标准的同步数据进行存储。
6.在本发明的另一实现方式中，基于配置信息及所述解析算法，与数据库地址建立连接，包括：通过解析算法对数据库地址进行解析，得到解析结果；根据配置信息配置连接接口；通过连接接口和解析结果，与数据库地址建立连接。
7.在本发明的另一实现方式中，通过连接接口和解析结果，与数据库地址建立连接，包括：判断是否与数据库地址连接成功；若与数据库地址连接失败，则从预设解析算法库中重新匹配解析算法对数据库地址进行解析，直至与数据库地址连接成功。
8.在本发明的另一实现方式中，数据处理方法还包括：同步数据不符合数据标准，或与解析数据库地址连接失败，则解析算法对数据库地址解析失败；若解析算法库中的解析算法均对数据库地址解析失败，则通过扩展插件扩展新的解析算法，通过新的解析算法对数据库地址进行解析处理，直至对数据库地址解析成功。
9.在本发明的另一实现方式中，判断同步数据是否符合数据标准，包括：对同步数据进行文本特征分析处理，生成分析结果；根据分析结果判断同步数据是否符合数据标准；若分析结果指示同步数据的文本特征存在异常，则同步数据不符合数据标准。
10.在本发明的另一实现方式中，将符合数据标准的同步数据进行存储，包括：根据数
据类型对同步数据建立类别标签；根据类别标签将同步数据存储至对应的标签数据库中。
11.在本发明的另一实现方式中，数据处理方法还包括：根据数据库地址，从预设配置信息库中匹配配置信息；通过配置信息对数据库地址及连接接口进行信息配置；若配置信息对数据库地址及连接接口配置失败，则重新匹配配置信息对数据库地址及连接接口进行信息配置，直至配置成功。
12.根据本发明实施例的第二方面，提供一种数据处理装置，包括：连接模块：用于基于数据库地址，从预设解析算法库中匹配解析算法；还用于基于配置信息及解析算法，与数据库地址建立连接；处理模块：用于基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；还用于若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准；存储模块：用于将符合数据标准的同步数据进行存储。
13.根据本发明实施例的第三方面，提供一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的数据处理方法的步骤。
14.根据本发明实施例的第四方面，提供一种计算机存储介质，其特征在于，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的数据处理方法中的步骤。
15.在本发明实施例的数据处理方法中，获取配置信息及从解析算法库中匹配的解析算法，与数据库地址建立连接，将数据库中的数据通过同步算法进行同步处理，得到同步数据，将符合数据标准的同步数据进行存储，通过自动从解析算法库中匹配解析算法，使得数据处理的效率更高，同时依据数据标准对同步数据的数据质量进行判断，使得同步数据更加准确，进一步提高了粮情数据处理的可靠性。
附图说明
16.为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，通过阅读下文实施方式的详细描述，方案中的优点和益处对于本领域的技术人员变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
17.图1为本发明的一个实施例的数据处理方法的步骤流程图。
18.图2为本发明的另一实施例的数据处理装置的结构框图。
19.图3为本发明的另一实施例的电子设备的结构示意图。
具体实施方式
20.为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
21.图1为本发明实施例提供的一种数据处理方法的步骤流程图，如图1所示，本实施例主要包括以下步骤：
22.s101、基于数据库地址，从预设解析算法库中匹配解析算法。
23.示例性地，获取数据库地址，数据库地址由各个厂商自行提供，从预设解析算法库中匹配适配的解析算法，对数据库地址进行解析。获取的数据库地址可以直接进行解析处理，也可以将数据库地址存储至地址库中方便下次使用，对于是否将数据库地址进行存储根据用户需求可自行选择，本技术不作具体限制。
24.s102、基于配置信息及解析算法，与数据库地址建立连接。
25.示例性地，通过解析算法对数据库地址进行解析，得到解析结果，同时通过配置信息对数据库地址相关信息进行配置，通过解析结果及配置信息与数据库地址建立连接。配置信息包括接口配置信息、数据库配置信息等，其中，接口信息用于对连接接口进行配置，数据库配置信息用于获取数据库中的数据。
26.s103、基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据。
27.示例性地，预设同步算法库，根据用户需求匹配合适的同步算法对数据库中的数据进行同步处理，得到同步数据。例如可以选择同步部分数据或者同步全部数据等。
28.s104、若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准。
29.示例性地，根据获取到的同步数据生成测试报告，根据测试报告判断同步数据是否符合数据标准，如果同步数据不符合数据标准，则需要从预设解析算法库中重新匹配新的解析算法对数据库地址进行解析。数据标准包括：同步数据中是存在乱码，是否存在缺失数据等。
30.s105、将符合数据标准的同步数据进行存储。
31.示例性地，将符合数据标准的同步数据存储至对应的文件夹中。
32.在本发明实施例的数据处理方法中，获取配置信息及从解析算法库中匹配的解析算法，与数据库地址建立连接，将数据库中的数据通过同步算法进行同步处理，得到同步数据，将符合数据标准的同步数据进行存储，通过自动从解析算法库中匹配解析算法，使得数据处理的效率更高，同时依据数据标准对同步数据的数据质量进行判断，使得同步数据更加准确，进一步提高了粮情数据处理的可靠性。
33.在本发明的另一实现方式中，基于配置信息及所述解析算法，与数据库地址建立连接，包括：通过解析算法对数据库地址进行解析，得到解析结果；根据配置信息配置连接接口；通过连接接口和解析结果，与数据库地址建立连接。
34.示例性地，通过匹配的解析算法对数据库地址进行解析，得到解析结果，从预设配置信息库中匹配合适的配置信息对连接接口及数据库进行配置，通过连接接口及解析结果，与数据库地址建立连接。如果配置信息库中没有相匹配的配置信息，则向预设配置信息库中输入新的配置文件，通过新的配置文件对连接接口及数据库进行配置，直至配置成功。
35.在本发明实施例的方法中，通过从预设解析算法库及预设配置信息库中匹配合适的解析算法及配置信息，避免多次录入解析算法及配置信息，节省了工作量，提高了数据处理的效率。
36.在本发明的另一实现方式中，通过连接接口和解析结果，与数据库地址建立连接，包括：判断是否与数据库地址连接成功；若与数据库地址连接失败，则从预设解析算法库中
重新匹配解析算法对数据库地址进行解析，直至与数据库地址连接成功。
37.示例性地，判断是否与数据库地址连接成功，如果与数据库地址连接失败，则表示使用的解析算法对数据库地址解析失败，重新从预设解析算法库中匹配解析算法对数据库地址进行解析，直至与数据库地址连接成功。
38.在本发明实施例的方法中，若与数据库地址连接失败，则自动匹配新的解析算法对数据库地址进行解析，实现了自动化处理，节省了人工的工作量，提高了数据处理的效率。
39.在本发明的另一实现方式中，数据处理方法还包括：同步数据不符合数据标准，或与解析数据库地址连接失败，则解析算法对数据库地址解析失败；若解析算法库中的解析算法均对数据库地址解析失败，则通过扩展插件扩展新的解析算法，通过新的解析算法对数据库地址进行解析处理，直至对数据库地址解析成功。
40.示例性地，当预设解析算法库中所有的解析算法均对数据库地址解析失败时，通过扩展插件扩展新的解析算法，将新的解析算法与数据库地址进行匹配解析，直至对数据库地址解析成功。
41.在本发明实施例的方法中，通过扩展插件实现自定义算法，使得数据处理的方法的适用范围更广。
42.在本发明的另一实现方式中，判断同步数据是否符合数据标准，包括：对同步数据进行文本特征分析处理，生成分析结果；根据分析结果判断同步数据是否符合数据标准；若分析结果指示同步数据的文本特征存在异常，则同步数据不符合数据标准。
43.示例性地，通过语义分析算法对同步数据进行文本特征分析，得到分析结果，分析结果包括：同步数据中是否存在乱码数据、是否有缺失数据、或是否存在异常数据，如果分析结果指示存在异常，则同步数据不符合数据标准。
44.在本发明实施例的方法中，通过对同步数据进行文本特征分析，判断同步数据是否符合数据标准，如不符合数据标准需要重新对数据库中的数据进行同步处理，保证了同步数据的准确性。
45.在本发明的另一实现方式中，将符合数据标准的同步数据进行存储，包括：根据数据类型对同步数据建立类别标签；根据类别标签将同步数据存储至对应的标签数据库中。
46.示例性地，根据数据类型对同步数据建立类别标签，将不同类别的数据存储至对应的标签文件夹中。其中，数据类型由用户根据需求自行设定，例如可以根据粮食种类分类、或根据加工步骤分类等，对于数据类型不做具体限制。
47.在本发明实施例的方法中，通过将数据分类存储，方便用户查找所需数据，提高了数据使用的便捷性。
48.在本发明的另一实现方式中，数据处理方法还包括：根据数据库地址，从预设配置信息库中匹配配置信息；通过配置信息对数据库地址及连接接口进行信息配置；若配置信息对数据库地址及连接接口配置失败，则重新匹配配置信息对数据库地址及连接接口进行信息配置，直至配置成功。
49.示例性地，根据数据库地址，从预设配置信息库中匹配对应的配置信息，通过对应的配置信息对连接接口及数据库进行信息配置，判断配置信息是否对数据库及连接接口配置成功，如果配置失败，则从预设配置信息库中重新匹配配置信息进行信息配置，直至对连
接接口及数据库配置成功。如果预设配置信息库中所有的配置信息均对连接接口及数据库配置失败，则向预设配置信息库中输入新的配置文件，通过新的配置文件对连接接口及数据库进行配置，直至配置成功。
50.在本发明实施例的方法中，通过将配置信息存储至预设配置信息库中，可以实现对数据库地址的自动配置，节约了人工输入及匹配的时间，提高了数据处理的效率，同时预设配置信息库中的配置信息是逐渐增多的，可以满足更多的配置需求，提高了信息配置的准确性。
51.根据本发明实施例的第二方面，提供一种数据处理装置200，包括：
52.连接模块201：用于基于数据库地址，从预设解析算法库中匹配解析算法；还用于基于配置信息及解析算法，与数据库地址建立连接。
53.处理模块202：用于基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；还用于若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准。
54.存储模块203：用于将符合数据标准的同步数据进行存储。
55.在本发明实施例的数据处理装置200中，获取配置信息及从解析算法库中匹配的解析算法，与数据库地址建立连接，将数据库中的数据通过同步算法进行同步处理，得到同步数据，将符合数据标准的同步数据进行存储，通过自动从解析算法库中匹配解析算法，使得数据处理的效率更高，同时依据数据标准对同步数据的数据质量进行判断，使得同步数据更加准确，进一步提高了粮情数据处理的可靠性。
56.在本发明的另一实现方式中，连接模块201还用于通过解析算法对数据库地址进行解析，得到解析结果；根据配置信息配置连接接口；通过连接接口和解析结果，与数据库地址建立连接。
57.在本发明的另一实现方式中，连接模块201还用于判断是否与数据库地址连接成功；若与数据库地址连接失败，则从预设解析算法库中重新匹配解析算法对数据库地址进行解析，直至与数据库地址连接成功。
58.在本发明的另一实现方式中，连接模块201还用于同步数据不符合数据标准，或与解析数据库地址连接失败，则解析算法对数据库地址解析失败；若解析算法库中的解析算法均对数据库地址解析失败，则通过扩展插件扩展新的解析算法，通过新的解析算法对数据库地址进行解析处理，直至对数据库地址解析成功。
59.在本发明的另一实现方式中，处理模块202还用于对同步数据进行文本特征分析处理，生成分析结果；根据分析结果判断同步数据是否符合数据标准；若分析结果指示同步数据的文本特征存在异常，则同步数据不符合数据标准。
60.在本发明的另一实现方式中，存储模块203还用于根据数据类型对同步数据建立类别标签；根据类别标签将同步数据存储至对应的标签数据库中。
61.在本发明的另一实现方式中，连接模块201还用于根据数据库地址，从预设配置信息库中匹配配置信息；通过配置信息对数据库地址及连接接口进行信息配置；若配置信息对数据库地址及连接接口配置失败，则重新匹配配置信息对数据库地址及连接接口进行信息配置，直至配置成功。
62.本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法
实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
63.如图3所示，该电子设备300可以包括：处理器(processor)301、存储器(memory)303、以及通信总线304、通信接口(communications interface)305。
64.其中：
65.处理器301、存储器303以及通信接口305、通过通信总线304完成相互间的通信。
66.通信接口305，用于与其它电子设备或服务器进行通信。
67.处理器301，用于执行程序302，具体可以执行上述实施例中任一项数据处理方法的步骤。
68.具体地，程序302可以包括程序代码，该程序代码包括计算机操作指令。
69.处理器301可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
70.存储器303，用于存放程序302。存储器303可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
71.程序302具体可以用于使得处理器301执行以实现实施例中所描述任一项数据处理方法的步骤。程序302中各步骤的具体实现可以参见上述步骤中任一项数据处理方法所执行的步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述。
72.本技术示例性实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本技术各实施例的方法。
73.上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
74.至此，已经对本发明的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
75.需要说明的是，本发明实施例中所有方向性指示(诸如上、下、左、右、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
76.在本发明的描述中，术语“第一”、“第二”仅用于方便描述不同的部件或名称，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
77.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
78.需要说明的是，虽然结合附图对本发明的具体实施例进行了详细地描述，但不应理解为对本发明的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属于本发明的保护范围。
79.本发明实施例的示例旨在简明地说明本发明实施例的技术特点，使得本领域技术人员能够直观了解本发明实施例的技术特点，并不作为本发明实施例的不当限定。
80.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。