一种数据筛选方法、系统、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，更具体地说，涉及一种数据筛选方法、系统、电子设备及存储介质。


背景技术：

2.随着业务拓展和信息维度的增加，各行各业的信息量也在不断增加，数据中的无效数据也在不断增加，故可以通过筛选出数据中的无效数据和存在数据缺陷的数据，以提高数据的数据质量。
3.在现有技术行中，通过人工审核的方式对数据进行逐个筛查，来筛选出数据中的无效数据和存在数据缺陷的数据。但是，当数据的数据量庞大时，采用人工审核的方式进行数据筛选，不仅数据筛选效率低，还容易出现漏选和错选的情况的，数据筛选准确率低。


技术实现要素：

4.有鉴于此，本发明提供一种数据筛选方法、系统、电子设备及存储介质，以提高数据筛选效率和提高数据筛选准确率为目的。
5.本发明第一方面公开一种数据筛选方法，应用于数据筛选系统，所述方法包括：
6.实时判断是否检测到数据筛选请求；
7.当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；
8.根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；
9.根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是基于用户输入的数据筛选规则生成；
10.执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。
11.可选的，所述方法还包括：
12.根据所述数据记录生成相应的数据记录清单，并将所述数据记录清单存储至所述数据库；
13.当接收到所述用户发送的数据记录清单查看请求时，从所述数据库中获取并展示所述数据记录清单。
14.可选的，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句之前，所述方法还包括：
15.将所述目标任务加入消息队列；
16.所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句，包括：
17.当检测到所述消息队列中存储目标任务时，所述根据所述目标任务模板编号，从
数据库中获取与所述目标任务匹配的目标sql语句。
18.可选的，所述方法还包括：
19.实时检测所述数据筛选系统的当前时间是否到达预设数据筛选时间；
20.当检测到所述数据筛选系统的当前时间到达所述预设数据筛选时间，发起数据筛选请求。
21.可选的，所述基于用户输入的数据筛选规则生成相应的sql语句，并将所述sql语句存储至所述数据库，包括：
22.当检测到用户输入的数据筛选规则时，根据所述数据筛选规则生成相应的sql语句；判断所述sql语句是否为合格的sql语句；
23.若所述sql语句为合格的sql语句，将所述sql语句与对应的任务模板的任务模板编号进行绑定；
24.将绑定所述任务模板编号后的所述sql语句，存储至所述数据库中。
25.本发明第二方面公开一种数据筛选系统，所述系统包括：数据筛选请求检测模块，用于实时判断是否检测到数据筛选请求；
26.目标任务模板获取模块，用于当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；
27.目标任务生成模块，用于根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；
28.数据处理模块，用于根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是规则处理模块基于用户输入的数据筛选规则生成。
29.可选的，所述系统还包括：
30.数据记录清单生成模块，用于根据所述数据记录生成相应的数据记录清单，并将所述数据记录清单存储至所述数据库；
31.展示模块，用于当接收到所述用户发送的数据记录清单查看请求时，从所述数据库中获取并展示所述数据记录清单。
32.可选的，所述系统还包括：
33.加入模块，用于将所述目标任务加入消息队列；
34.所述数据处理模块，还用于当检测到所述消息队列中存储目标任务时，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句。
35.本发明第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如上述本发明第一方面公开的数据筛选方法。
36.本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面公开的数据筛选方法。
37.本发明提供一种数据筛选方法、系统、电子设备及存储介质，可以预先基于用户输
入的数据筛选规则生成相应的sql语句，进而可以通过实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；根据所述目标任务模板和所述任务生成请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。本发明可以通过执行对应的sql语句完成数据筛选，不需要人工介入，从而数据筛选效率和提高数据筛选准确率。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本发明实施例提供的一种数据筛选装置的架构图；
40.图2为本发明实施例提供的一种数据筛选方法的流程示意图；
41.图3为本发明实施例提供的一种数据筛选系统的结构示意图；
42.图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
45.参见图1，示出本发明实施例提供的一种数据筛选装置的架构图，该数据筛选装置包括数据筛选系统和数据库；其中，数据筛选系统至少包括消息队列、多个数据处理模块和规则处理模块。
46.基于图1示出的数据筛选装置，相应的，本发明实施例提供的一种数据筛选方法，如图2所示，该数据筛选方法应用于图1所示的数据筛选系统，该数据筛选方法具体包括以下步骤：
47.s201：实时判断是否检测到数据筛选请求；若检测到数据筛选请求，执行步骤s202。
48.作为本技术实施例的一种优选方式，可以在数据筛选系统中设置预设数据筛选时
间，进而可以实时检测数据筛选系统的当前时间是否到达预设数据筛选时间，当检测到数据筛选系统的当前时间到达预设数据筛选时间，发起数据筛选请求。
49.作为本技术实施例的另一种优选方式，数据管理员可以直接通过数据筛选系统发送数据筛选请求。
50.在具体实施步骤s201的过程中，数据筛选系统可以实时判断是否检测到数据管理员，或者系统自动发起的数据筛选请求；如果检测到数据筛选请求，则执行步骤s202。
51.需要说明的是，数据筛选请求可以包括用于进行数据筛选的目标数据表的目标数据表名称、数据筛选条件和任务频次。
52.还需要说明的任务频次可以为每天执行一次，或者是每周执行一次，可以根据实际应用进行设置，本技术实施例不加以限定。
53.s202：获取与数据筛选请求匹配的目标任务模板。
54.在本技术实施例中，预先根据每种数据筛选条件设置对应的任务模板，该任务模板至少包括任务模板编号。
55.在具体执行步骤s202的过程中，当检测到数据筛选请求时，可以根据数据筛选请求中的数据筛选条件，从预先设置的多个任务模板中确定与该数据筛选条件匹配的目标任务模板。
56.s203：根据目标任务模板和数据筛选请求，生成相应的目标任务。
57.在具体执行步骤s203的过程中，获取到与数据筛选请求匹配的目标任务模板后，可以根据数据筛选请求中的目标数据表名称和目标任务模板生成相应的目标任务。
58.其中，目标任务至少包括目标数据表名称和目标任务模板编号。
59.进一步的，在本技术实施例中，可以将生成的目标任务加入消息队列中。
60.s204：根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句，并执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。
61.在本技术实施例中，数据库中包括多条sql语句，每条sql语句是基于用户输入的数据筛选规则生成。
62.可选的，数据筛选系统可以通过规则处理模块实时检测是否存在用户输入的数据筛选规则，当规则处理模块检测到用户输入的数据筛选规则时，根据数据筛选规则生成相应的sql语句；判断sql语句是否为合格的sql语句；若sql语句为合格的sql语句，将sql语句与对应的任务模板的任务模板编号进行绑定；将绑定任务模板编号后的sql语句，存储至数据库中。
63.如果sql语句不为合格的sql语句，输出相应的报警信息，以提示用户当前输入的数据筛选规则错误，以便用户及时进行纠正。
64.例如，用户姓名为公开的数据可以认为是存在数据缺陷的数据，进而用户可以输入相应的数据筛选规则为“用户姓名为空”；如果用户输入的数据筛选规则为“用户姓名为空”，根据该数据筛选规则生成相应的sql语句为“user_name＝
‘’”
。
65.如果确定“收入大于100，小于1000”的数据为无用数据，用户可以输入相应的数据筛选规则为“收入大于100，小于1000”，根据该数据筛选规则生成相应的sql语句为“income》100and income《1000”。
66.在具体执行步骤s204的过程中，数据筛选系统可以通过任一个数据处理模块从消息队列中获取相应的目标任务，进而可以根据目标任务中的目标任务模板编号，从数据库中获取与该目标任务模板编号匹配的目标sql语句，并执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。
67.在本技术实施例中，如果数据筛选系统的当前时间同时达到多个预设数据筛选时间，可以同时发送每个预设数据筛选时间对应的数据筛选请求。当同时检测到多个数据筛选请求时，可以获取每个数据筛选请求匹配的目标任务模板，根据每个数据筛选请求及其对应的目标任务模板生成相应的目标任务，可以将生成的各个目标任务加入消息队列中。最后可以并行通过各个数据处理模块从消息队列中获取相应的目标任务，进而可以根据目标任务中的目标任务模板编号，从数据库中获取与该目标任务模板编号匹配的目标sql语句，并执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。
68.需要说明的是，一个数据处理模块获取一个目标任务。
69.s205：根据数据记录生成相应的数据记录清单，并将数据记录清单存储至数据库。
70.在具体执行步骤s205的过程中，当筛选出与目标数据筛选规则对应的数据记录后，可以根据数据记录生成相应的数据记录清单，并将数据记录清单存储至数据库，以便在接收到用户发送的数据记录清单查看请求时，从数据库中获取并展示数据记录清单。
71.s206：当接收到用户发送的数据记录清单查看请求时，从数据库中获取并展示数据记录清单。
72.本发明提供一种数据筛选方法，可以预先基于用户输入的数据筛选规则生成相应的sql语句，进而可以通过实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与数据筛选请求匹配的目标任务模板；根据目标任务模板和数据筛选请求，生成相应的目标任务，其中，目标任务至少包括目标数据表名称和目标任务模板编号；根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句；执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。本发明可以通过执行对应的sql语句完成数据筛选，不需要人工介入，从而数据筛选效率和提高数据筛选准确率。
73.与上述本发明实施例公开的一种数据筛选方法相对应，本发明实施例还提供了一种数据筛选系统，参见图3，示出本发明实施例提供的一种数据数据筛选系统的结构示意图，该系统包括：
74.数据筛选请求检测模块31，用于实时判断是否检测到数据筛选请求；
75.目标任务模板获取模块32，用于当检测到数据筛选请求时，获取与数据筛选请求匹配的目标任务模板；
76.目标任务生成模块33，用于根据目标任务模板和数据筛选请求，生成相应的目标任务，其中，目标任务至少包括目标数据表名称和目标任务模板编号；
77.数据处理模块34，用于根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句；执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录；其中，目标sql语句包括目标数据筛选规则，数据库中包括多条sql语句，每条sql语句是规则处理模块基于用户输入的数据筛选规则生成。
78.上述本发明实施例公开的数据筛选系统中各个单元具体的原理和执行过程，与上述本发明实施例图2公开的数据筛选方法相同，可参见上述本发明实施例图2公开的数据筛选方法中相应的部分，这里不再进行赘述。
79.本发明提供一种数据筛选系统，可以预先基于用户输入的数据筛选规则生成相应的sql语句，进而可以通过实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与数据筛选请求匹配的目标任务模板；根据目标任务模板和数据筛选请求，生成相应的目标任务，其中，目标任务至少包括目标数据表名称和目标任务模板编号；根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句；执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。本发明可以通过执行对应的sql语句完成数据筛选，不需要人工介入，从而数据筛选效率和提高数据筛选准确率。
80.可选的，本发明实施例提供的数据筛选系统，还包括：
81.数据记录清单生成模块，用于根据数据记录生成相应的数据记录清单，并将数据记录清单存储至数据库；
82.展示模块，用于当接收到用户发送的数据记录清单查看请求时，从数据库中获取并展示数据记录清单。
83.可选的，本发明实施例提供的数据筛选系统，还包括：
84.加入模块，用于将目标任务加入消息队列；
85.数据处理模块，还用于当检测到消息队列中存储目标任务时，根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句。
86.可选的，本发明实施例提供的数据筛选系统，还包括：
87.实时检测模块，用于实时检测数据筛选系统的当前时间是否到达预设数据筛选时间；
88.数据筛选请求发起模块，用于当检测到数据筛选系统的当前时间到达预设数据筛选时间，发起数据筛选请求。
89.可选的，规则处理模块，包括：
90.sql语句生成模块，用于当检测到用户输入的数据筛选规则时，根据数据筛选规则生成相应的sql语句；判断sql语句是否为合格的sql语句；
91.绑定模块，用于若sql语句为合格的sql语句，将sql语句与对应的任务模板的任务模板编号进行绑定；
92.存储模块，用于将绑定任务模板编号后的sql语句，存储至数据库中。
93.本技术实施例还提供一种电子设备，该电子设备包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，该程序用于实现数据筛选方法。
94.下面参考图4，其示出了适于用来实现本发明公开实施例的电子设备的结构示意图。本发明公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本发明公开实施例的功能和使用范围带来任何限制。
95.如图4所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储装置408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram 403中，还存储有电子设备操作所需的各种程序和数据。处理装置401、rom 402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
96.通常，以下装置可以连接至i/o接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
97.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的数据筛选方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从rom 402被安装。在该计算机程序被处理装置401执行时，执行本发明公开实施例的数据筛选方法中限定的上述功能。
98.更进一步的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行数据筛选方法。
99.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是基于用户输入的数据筛选规则生成；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。
100.在本发明公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
101.需要说明的是，本发明公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连
接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
102.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
103.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
104.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
105.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
106.以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。