一种政务电子数据筛选方法及系统与流程

本发明涉及数据筛选，尤其涉及一种政务电子数据筛选方法及系统。

背景技术：

1、政务数据涉及的数据量大、数据类型多、来源广泛、数据格式复杂，随着大数据和互联网的发展，政府、社会对挖掘各部门领域的政务数据价值的需求越来越大，在政务活动中，需要从海量的数据库中筛选出所需的数据。

2、政务电子数据的筛选效率较低，同时对于时间较为久远的政务电子数据，则无法通过人工进行筛选，这样的筛选方式极大地限制了电子政务的发展；因此，在上述条件相同的情况下，通过缩小待筛选的数据库，可更为快速地筛选出需要的政务电子数据；所以如何缩小政务电子数据的筛选范围是本发明所要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种政务电子数据筛选方法及系统，以解决上述背景技术中提出的如何缩小政务电子数据的筛选范围的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、采集用户数据作为用户日常使用习惯参数；并根据所述习惯参数，创建常用数据集合和非常用数据集合；

4、获取政务电子数据，将所述政务电子数据输入到预设的目标分类模型中，输出所述政务电子数据属于常用数据集合的第一概率和属于非常用数据集合的第二概率；

5、若所述第一概率或第二概率大于预设的阈值时，则将所述政务电子数据归入到相应的数据集合中；

6、若所述第一概率和第二概率均大于预设的阈值时，确定第一概率和第二概率中的较大值，并将所述政务电子数据归入到所述较大值所对应的数据集合中；

7、若所述第一概率和第二概率均小于预设的阈值，则对政务电子数据进行回溯，并对回溯到的政务电子数据进行清洗，再将清洗后的政务电子数据输入到预设的目标分类模型中，重新进行分类；

8、创建筛选框，其中筛选框包括数据集合选择、关键词输入；接收用户输入的筛选框信息，并在常用数据集合和非常用数据集合中进行筛选，显示筛选出的政务电子数据。

9、进一步的，所述采集用户数据作为用户日常使用习惯参数；并根据所述习惯参数，创建常用数据集合和非常用数据集合的步骤包括：

10、主动采集用户数据，根据所述用户数据确定目标用户的习惯参数，基于所述习惯参数确定政务数据的使用频率；

11、基于所述使用频率，创建常用数据集合和非常用数据集合；

12、分别向常用数据集合和非常用数据集合插入频率标签。

13、进一步的，所述获取政务电子数据，将所述政务电子数据输入到预设的目标分类模型中，输出所述政务电子数据属于常用数据集合的第一概率和属于非常用数据集合的第二概率的步骤包括：

14、获取政务电子数据，构建初始分类模型，在初始分类模型中引入训练层，并通过在政务电子数据中随机选择样本，对训练层进行训练和更新，得到目标分类模型；

15、将获取到的政务电子数据输入到目标分类模型中，输出政务电子数据属于常用数据集合的第一概率和非常用数据集合的第二概率。

16、进一步的，所述若所述第一概率或第二概率大于预设的阈值时，则将所述政务电子数据归入到相应的数据集合中；若所述第一概率和第二概率均大于预设的阈值时，确定第一概率和第二概率中的较大值，并将所述政务电子数据归入到所述较大值所对应的数据集合中；若所述第一概率和第二概率均小于预设的阈值，则对政务电子数据进行回溯，并对回溯到的政务电子数据进行清洗，再将清洗后的政务电子数据输入到预设的目标分类模型中，重新进行分类的步骤包括：

17、若所述目标分类模型输出的第一概率或第二概率大于常用数据集合或非常用数据集合的频率标签，则将所述政务电子数据归入到对应的数据集合中；

18、若所述第一概率和第二概率同时小于常用数据集合和非常用数据集合的频率标签，则回溯输入的政务电子数据；

19、基于已确定的清洗策略对回溯到的政务电子数据进行清洗，得到清洗结果；

20、将所述清洗结果输入到目标分类模型中，再次输出分类结果。

21、进一步的，所述创建筛选框，其中筛选框包括数据集合选择、关键词输入；接收用户输入的筛选框信息，并在常用数据集合和非常用数据集合中进行筛选，显示筛选出的政务电子数据的步骤包括：

22、创建筛选框，并在所述筛选框中开放数据集合选择端口和关键词输入端口；

23、接收用户输入的筛选框信息，基于所述筛选框信息在常用数据集合和非常用数据集合中筛选；

24、根据筛选后政务电子数据与筛选框的匹配程度进行排序，获得筛选后的数据列表，并显示所述数据列表。

25、进一步的，所述方法还包括：

26、将所述政务电子数据输入到预设的目标分类模型中；

27、输出得到政务电子数据中敏感数据组成的加密集合；

28、对加密集合的权限进行定义和配置；生成与所述定义和配置的权限相关联的权限数据；

29、将权限数据推送给管理人员。

30、进一步的，所述方法还包括：

31、记录政务电子数据的存储时间，并在所述筛选框中加入存储时间项；

32、利用存储时间项对数据列表进行校正，剔除无效数据后，获得最终列表；显示所述最终列表。

33、进一步的，所述系统包括：

34、集合创建模块，用于采集用户数据作为用户日常使用习惯参数；并根据所述习惯参数，创建常用数据集合和非常用数据集合；

35、数据分类模块，用于获取政务电子数据，将所述政务电子数据输入到预设的目标分类模型中，输出所述政务电子数据属于常用数据集合的第一概率和属于非常用数据集合的第二概率，若所述第一概率或第二概率大于预设的阈值时，则将所述政务电子数据归入到相应的数据集合中；若所述第一概率和第二概率均大于预设的阈值时，确定第一概率和第二概率中的较大值，并将所述政务电子数据归入到所述较大值所对应的数据集合中；若所述第一概率和第二概率均小于预设的阈值，则对政务电子数据进行回溯，并对回溯到的政务电子数据进行清洗，再将清洗后的政务电子数据输入到预设的目标分类模型中，重新进行分类；

36、筛选显示模块，能够创建筛选框，其中筛选框包括数据集合选择、关键词输入；接收用户输入的筛选框信息，并在常用数据集合和非常用数据集合中进行筛选，显示筛选出的政务电子数据。

37、进一步的，所述集合创建模块包括：

38、信息采集单元，能够主动采集用户数据，根据所述用户数据确定目标用户的习惯参数，根据所述习惯参数确定政务数据的使用频率；

39、创建单元，能够基于所述使用频率，创建常用数据集合和非常用数据集合；

40、标签插入单元，分别向常用数据集合和非常用数据集合插入频率标签。

41、进一步的，所述数据分类模块包括：

42、模型创建单元，能够获取政务电子数据，构建初始分类模型，在初始分类模型中引入训练层，并通过在政务电子数据中随机选择样本，对训练层进行训练和更新，得到目标分类模型；

43、预处理单元，用于将获取到的政务电子数据输入到目标分类模型中，输出政务电子数据属于常用数据集合的第一概率和非常用数据集合的第二概率；

44、归入单元，用于若所述目标分类模型输出的第一概率或第二概率大于常用数据集合或非常用数据集合的频率标签，则将所述政务电子数据归入到对应的数据集合中；若所述第一概率和第二概率均大于预设的阈值时，确定第一概率和第二概率中的较大值，并将所述政务电子数据归入到所述较大值所对应的数据集合中；若所述第一概率和第二概率同时小于常用数据集合和非常用数据集合的频率标签，则回溯输入的政务电子数据；

45、清洗单元，能够基于已确定的清洗策略对回溯到的政务电子数据进行清洗，得到清洗结果；

46、显示单元，能够将所述清洗结果输入到目标分类模型中，输出分类结果。

47、与现有技术相比，本发明的有益效果是：

48、1、通过对政务电子数据进行分类，可缩小政务电子数据的筛选范围，减少筛选的工作量，同时通过对政务电子数据的分类，可减少无用数据造成的干扰，保证筛选的准确性，此外通过快速锁定常用数据集合和非常用数据集合，结合筛选框，可快速筛选出所需的政务电子数据，筛选效率高，同时还可对筛选内容进行排序展示，使得筛选结果的查看更为方便。

49、2、通过对政务电子数据中敏感数据进行加密，可保证数据的安全性，降低数据外泄风险。