一种数据采集及管理系统的制作方法

本发明涉及信用数据采集，具体涉及一种数据采集及管理系统。

背景技术：

近年来，我国大力推进社会信用体系建设，信用在社会治理、商务合作、金融信贷等领域的作用愈发重要，利用政务大数据帮助各类社会主体识别信用主体的信用状况和信用风险十分必要。

政务数据逐渐由“信息孤岛”走向整合共享，由“碎片化”走向“集中化”，形成了价值较高的政务数据池。但是，仍然存在单个数据价值密度较低、大量数据组合使用价值较高的问题。挖掘政务大数据在信用评价体系中的作用，已经成为社会关注的问题。

政务大数据存在维度多、涉及面广的特点，可以供众多领域开展信用评价。然而，现有的数据采集及管理系统无法针对用户的个人信用信息进行有效采集，并且不能对采集到的个人信用信息进行有效核验，无法查验信息的真伪，从而使得当前数据采集及管理系统不具备对用户信用进行有效跟踪的功能。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种数据采集及管理系统，能够有效克服现有技术所存在的无法对用户信用进行有效跟踪的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种数据采集及管理系统，包括服务器，以及

注册登录模块，用于用户进行注册、登录操作；

信息编辑模块，用于用户编辑用户个人信息、个人信用信息；

信息存储模块，用于存储用户相关的用户个人信息、个人信用信息；

爬虫抓取单元，用于根据用户登录信息从政务数据系统中抓取个人信用信息；

信息抓取模块，用于从语音采集模块采集的语音、图像采集模块采集的图像中获取用户新增个人信用信息；

数据审核模块，用于将信息编辑模块中用户编辑的个人信用信息、信息抓取模块中用户新增的个人信用信息与爬虫抓取单元抓取的个人信用信息进行比对审核；

数据匹配模块，用于将符合比对审核结果的个人信用信息存入信息存储模块中对应用户的存储区块；

积分评价模块，用于对用户在交流互动模块、日常考核模块中的表现进行评价，并给予对应积分奖励；

积分兑换模块，用于用户将自己持有的积分兑换成实物奖励；

权限管理模块，用于根据用户对应身份以及在积分评价模块中的评分对用户在系统中的操作权限进行管理。

优选地，用户初次通过所述注册登录模块进行注册操作后，系统弹出所述信息编辑模块，供用户编辑用户个人信息、个人信用信息。

优选地，用户通过所述语音采集模块、图像采集模块输入新增个人信用信息之前，需要输入用户个人信息，所述爬虫抓取单元根据用户个人信息从政务数据系统中抓取个人信用信息。

优选地，所述数据审核模块将信息抓取模块中用户新增的个人信用信息与爬虫抓取单元抓取的个人信用信息进行比对审核，所述数据匹配模块将比对审核结果一致的个人信用信息存入信息存储模块中该用户的存储区块；

所述数据匹配模块将只存在于爬虫抓取单元中的个人信用信息补充存入信息存储模块中该用户的存储区块。

优选地，所述数据审核模块定期向爬虫抓取单元发送数据更新信息，所述数据审核模块将爬虫抓取单元抓取的个人信用信息与信息存储模块中对应用户存储区块中的个人信用信息进行比对审核，所述数据匹配模块将只存在于爬虫抓取单元中的个人信用信息补充存入信息存储模块中该用户的存储区块。

优选地，所述爬虫抓取单元包括用于根据用户个人信息设置并调度抓取任务的任务调度模块，用于接收抓取任务并链接到政务数据系统进行下载，生成数据包的任务下载模块，用于对任务下载模块生成的数据包进行数据解析的数据解析模块，以及用于对解析数据进行去重、过滤处理的数据处理模块。

优选地，所述积分评价模块通过关键字检索在交流互动模块中查询用户在相关讨论话题中进行讨论的频率，来对对用户在交流互动模块中的表现进行评价。

优选地，所述权限管理模块根据用户的身份以及在积分评价模块中的评分，设定用户所属等级，并根据等级与系统操作权限之间的关系对用户相关操作权限进行管理。

优选地，包括用于根据信息存储模块中的用户个人信息定期向对应用户进行费用缴纳提醒的费用管理模块。

(三)有益效果

与现有技术相比，本发明所提供的一种数据采集及管理系统，是基于大数据、智能语音、图文识别等技术搭建的数据采集系统，能够利用系统随时、实时地采集、录入用户个人信用信息，并且能够利用政务数据进行数据审核、数据更新，有效提升采集数据的可靠性、全面性，实现对用户信用的有效跟踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统示意图；

图2为本发明中爬虫抓取单元的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种数据采集及管理系统，如图1和图2所示，包括服务器，以及

注册登录模块，用于用户进行注册、登录操作；

信息编辑模块，用于用户编辑用户个人信息、个人信用信息；

信息存储模块，用于存储用户相关的用户个人信息、个人信用信息；

爬虫抓取单元，用于根据用户登录信息从政务数据系统中抓取个人信用信息；

信息抓取模块，用于从语音采集模块采集的语音、图像采集模块采集的图像中获取用户新增个人信用信息；

数据审核模块，用于将信息编辑模块中用户编辑的个人信用信息、信息抓取模块中用户新增的个人信用信息与爬虫抓取单元抓取的个人信用信息进行比对审核；

数据匹配模块，用于将符合比对审核结果的个人信用信息存入信息存储模块中对应用户的存储区块；

积分评价模块，用于对用户在交流互动模块、日常考核模块中的表现进行评价，并给予对应积分奖励；

积分兑换模块，用于用户将自己持有的积分兑换成实物奖励；

权限管理模块，用于根据用户对应身份以及在积分评价模块中的评分对用户在系统中的操作权限进行管理。

用户初次通过注册登录模块进行注册操作后，系统弹出信息编辑模块，供用户编辑用户个人信息、个人信用信息。

用户通过语音采集模块、图像采集模块输入新增个人信用信息之前，需要输入用户个人信息，爬虫抓取单元根据用户个人信息从政务数据系统中抓取个人信用信息。

数据审核模块将信息抓取模块中用户新增的个人信用信息与爬虫抓取单元抓取的个人信用信息进行比对审核，数据匹配模块将比对审核结果一致的个人信用信息存入信息存储模块中该用户的存储区块，从而能够对采集数据进行有效核验，查验信息的真伪。

同时，数据匹配模块将只存在于爬虫抓取单元中的个人信用信息补充存入信息存储模块中该用户的存储区块，能够有效提升用户个人信用信息采集的全面性。

数据审核模块定期向爬虫抓取单元发送数据更新信息，数据审核模块将爬虫抓取单元抓取的个人信用信息与信息存储模块中对应用户存储区块中的个人信用信息进行比对审核，数据匹配模块将只存在于爬虫抓取单元中的个人信用信息补充存入信息存储模块中该用户的存储区块，能够对用户个人信用信息进行及时更新，实现对用户信用的有效跟踪。

本申请技术方案中，爬虫抓取单元包括用于根据用户个人信息设置并调度抓取任务的任务调度模块，用于接收抓取任务并链接到政务数据系统进行下载，生成数据包的任务下载模块，用于对任务下载模块生成的数据包进行数据解析的数据解析模块，以及用于对解析数据进行去重、过滤处理的数据处理模块。

积分评价模块通过关键字检索在交流互动模块中查询用户在相关讨论话题中进行讨论的频率，来对对用户在交流互动模块中的表现进行评价。

权限管理模块根据用户的身份以及在积分评价模块中的评分，设定用户所属等级，并根据等级与系统操作权限之间的关系对用户相关操作权限进行管理，实现对用户相关操作权限的动态管理。

本申请技术方案中，包括用于根据信息存储模块中的用户个人信息定期向对应用户进行费用缴纳提醒的费用管理模块，能够对用户缴纳费用进行及时提醒。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。