金融信息采集处理系统及方法与流程

本发明涉及数据采集技术领域，具体地，涉及一种金融信息采集处理系统及方法。

背景技术：

目前数据采集涉及到的领域和技术众多，但不同领域对信息采集处理的技术要求被企业自身所在行业所主导。随着科技的迅速发展，金融行业也在不断转型升级，随之互联网金融崛起，金融业作为一个信息密集型的行业，目前已成为应用大数据技术的先锋，那么对于金融信息的采集处理，就要符合新金融体系的发展。

专利文献cn108416034a(申请号：201810201458.1)公开了一种基于金融异构大数据的信息采集系统及其控制方法，包括互联网信息源、linux后台服务端系统、web客户端程序系统和客户终端，所述互联网信息源、linux后台服务端系统、web客户端程序系统、客户终端依次相连，所述linux后台服务端系统包括异构信息收集及预处理模块、抽取规则生成模块、信息抽取评估模块，所述异构信息收集及预处理模块包括爬虫url解析器、pdf解析器、搜索引擎检索器、html解析器、数据存储器。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种金融信息采集处理系统及方法。

根据本发明提供的一种金融信息采集处理系统，包括：

权限管理模块：对用户进行权限的管理；

业务展示设置模块：对用户权限配置完成后，对系统中数据采集界面进行配置；

数据库设置模块：展示设置完成后，根据具体展示情况，建立对应的数据库结构；

数据采集模块：数据库设置完成后，对不同业务属性的数据信息，进行采集或维护；

数据校对模块：数据采集完成后，需要对采集后的数据进行校对。

优选地，所述权限管理模块包括：对于金融信息采信处理系统用户进行包括新增用户、修改基本资料用户及权限操作用户的操作，在权限管理模块中进行；

在对具体用户进行设置前，需要对金融信息采信处理系统中各类角色进行设置，即完成角色权限配置；用户基本信息设置完成后，根据预设的各类角色，对用户进行权限级别及角色的设定。

优选地，所述业务展示设置模块包括：金融信息采信处理系统支持预设层数菜单的内容设置，金融信息采信处理系统依据金融业务属性，将数据采集的层数菜单划分为预设值级数菜单，每级菜单通过设置包括实现动态增加及删除的操作，同时信息采集支持展示内容、控件及控件选项的设置。

优选地，所述数据库设置模块包括：展示设置完成后，根据具体展示情况，建立对应的数据库结构，以便后续对采集信息数据的内容进行维护；数据结构设置包括同展示内容相对应的表、表涉及到的字段以及字段相应的属性。

优选地，所述数据采集模块包括：对不同业务属性的数据信息，进行采集或维护；涉及到的数据采集业务分类，与数据采集的层数菜单的预设值级数菜单相对应，在相应的金融业务属性下对具体内容进行采集维护，并支持审阅当前采集数据内容；

所述数据校对模块包括：数据采集完成后，需要对采集后的数据进行校对；包括校对规则定义、规则明细和表间差异校对，对采集后的数据内容进行审核；

数据校对前，需要设定校对规则，校对规则包括规则名称、规则类型、规则说明、数据校对以及逻辑校对，最终完成数据采集流程。

本发明提供的一种金融信息采集处理方法，包括：

权限管理步骤：对用户进行权限的管理；

业务展示设置步骤：对用户权限配置完成后，对金融信息采信处理系统中数据采集界面进行配置；

数据库设置步骤：展示设置完成后，根据具体展示情况，建立对应的数据库结构；

数据采集步骤：数据库设置完成后，对不同业务属性的数据信息，进行采集或维护；

数据校对步骤：数据采集完成后，需要对采集后的数据进行校对。

优选地，所述权限管理步骤包括：对于金融信息采信处理系统用户进行包括新增用户、修改基本资料用户及权限操作用户的操作，在权限管理步骤中进行；

在对具体用户进行设置前，需要对金融信息采信处理系统中各类角色进行设置，即完成角色权限配置；用户基本信息设置完成后，根据预设的各类角色，对用户进行权限级别及角色的设定。

优选地，所述业务展示设置步骤包括：金融信息采信处理系统支持预设层数菜单的内容设置，金融信息采信处理系统依据金融业务属性，将数据采集的层数菜单划分为预设值级数菜单，每级菜单通过设置包括实现动态增加及删除的操作，同时信息采集支持展示内容、控件及控件选项的设置。

优选地，所述数据库设置步骤包括：展示设置完成后，根据具体展示情况，建立对应的数据库结构，以便后续对采集信息数据的内容进行维护；数据结构设置包括同展示内容相对应的表、表涉及到的字段以及字段相应的属性。

优选地，所述数据采集步骤包括：对不同业务属性的数据信息，进行采集或维护；涉及到的数据采集业务分类，与数据采集的层数菜单的预设值级数菜单相对应，在相应的金融业务属性下对具体内容进行采集维护，并支持审阅当前采集数据内容。

所述数据校对步骤包括：数据采集完成后，需要对采集后的数据进行校对；包括校对规则定义、规则明细和表间差异校对，对采集后的数据内容进行审核；

数据校对前，需要设定校对规则，校对规则包括规则名称、规则类型、规则说明、数据校对以及逻辑校对，最终完成数据采集流程。

与现有技术相比，本发明具有如下的有益效果：

1、有效整合金融行业产生的大量不同属性数据，为用户提供经采集、抽取、校验、分析后的全面而有效的金融数据；

2、将数据管理同数据采集功能同时集成在系统里，减少人工跨平台操作，提高工作效率；

3、实现高度自定义的系统架构，减少因行业业务发展或者行业业务需求变化而产生大量系统改造工作；

4、建立符合新金融体系的大数据信息采集处理平台，为金融行业能更好的转型升级提供强大的基础数据支撑；

5、考虑用户实际业务应用场景，结合自身金融行业经验，整合金融多源数据，构建高度智能化信息采集处理平台，减少人工操作及维护成本。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为系统功能框架图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

首先描述本系统包括哪些模块及其实现的功能、获取的数据、以及数据后续被哪个模块调用等；然后对于包含的内容比较多的模块，可以进一步划分为多个子模块，并描述每个子模块具体实现的功能、获取的数据、以及数据后续被哪个模块调用等。

金融信息采集处理系统整合用户管理功能和信息采集功能，实现业务数据和管理数据有效结合，减少用户跨平台操作时间，实现信息采集从底层数据处理到前端业务展示高度自定义的系统架构，提高日常工作效率及减少日常维护工作。

根据本发明提供的一种金融信息采集处理系统，包括：

权限管理模块：对用户进行权限的管理；

具体地，所述权限管理模块包括：对于金融信息采信处理系统用户进行包括新增用户、修改基本资料用户及权限操作用户的操作，在权限管理模块中进行；

在对具体用户进行设置前，需要对金融信息采信处理系统中各类角色进行设置，即完成角色权限配置；用户基本信息设置完成后，根据预设的各类角色，对用户进行权限级别及角色的设定。

业务展示设置模块：对用户权限配置完成后，对系统中数据采集界面进行配置；

具体地，所述业务展示设置模块包括：金融信息采信处理系统支持三层数菜单的内容设置，金融信息采信处理系统依据金融业务属性，将数据采集的菜单划分为十二个一级菜单，125个二级菜单以及510个三级菜单，每级菜单都可以通过设置包括实现动态增加及删除的操作，同时信息采集支持展示内容、控件及控件选项的设置。

数据库设置模块：展示设置完成后，根据具体展示情况，建立对应的数据库结构；

具体地，所述数据库设置模块包括：展示设置完成后，根据具体展示情况，建立对应的数据库结构，以便后续对采集信息数据的内容进行维护；数据结构设置包括同展示内容相对应的表、表涉及到的字段以及字段相应的属性。

数据采集模块：数据库设置完成后，对不同业务属性的数据信息，进行采集或维护；

具体地，所述数据采集模块包括：对不同业务属性的数据信息，进行采集或维护；涉及到的数据采集业务分类，与数据采集的层数菜单的三级数菜单相对应，在相应的金融业务属性下对具体内容进行采集维护，并支持审阅当前采集数据内容；

数据校对模块：数据采集完成后，需要对采集后的数据进行校对。

所述数据校对模块包括：数据采集完成后，需要对采集后的数据进行校对；包括校对规则定义、规则明细和表间差异校对，对采集后的数据内容进行审核；确保采集数据正确性和有效性；

数据校对前，需要设定校对规则，校对规则包括规则名称、规则类型、规则说明、数据校对以及逻辑校对，最终完成数据采集流程。

权限管理是对系统用户进行赋权操作，赋对应权限后，方可对该系统其他功能进行业务设置或者数据编辑，例如对业务展示界面的菜单项等内容进行设置。对业务展示内容和数据库结构设置完成后，会在数据采集模块看到设置后的菜单效果以及需要采集内容的名称，包括对应字段枚举类型等，此时用户即可对展示的业务字段进行具体数据的采集或者维护。数据校对模块，是对采集入库后的数据进行校对，若发现业务规则问题，需要对相应的采集数据进行修正并入库。

根据本发明提供的一种金融信息采集处理方法，包括：

权限管理步骤：对用户进行权限的管理；

具体地，所述权限管理步骤包括：对于金融信息采信处理系统用户进行包括新增用户、修改基本资料用户及权限操作用户的操作，在权限管理步骤中进行；

在对具体用户进行设置前，需要对金融信息采信处理系统中各类角色进行设置，即完成角色权限配置；用户基本信息设置完成后，根据预设的各类角色，对用户进行权限级别及角色的设定。

业务展示设置步骤：对用户权限配置完成后，对系统中数据采集界面进行配置；

具体地，所述业务展示设置步骤包括：金融信息采信处理系统支持三层数菜单的内容设置，金融信息采信处理系统依据金融业务属性，将数据采集的菜单划分为十二个一级菜单，125个二级菜单以及510个三级菜单，每级菜单都可以通过设置包括实现动态增加及删除的操作，同时信息采集支持展示内容、控件及控件选项的设置。

数据库设置步骤：展示设置完成后，根据具体展示情况，建立对应的数据库结构；

具体地，所述数据库设置步骤包括：展示设置完成后，根据具体展示情况，建立对应的数据库结构，以便后续对采集信息数据的内容进行维护；数据结构设置包括同展示内容相对应的表、表涉及到的字段以及字段相应的属性。

数据采集步骤：数据库设置完成后，对不同业务属性的数据信息，进行采集或维护；

具体地，所述数据采集步骤包括：对不同业务属性的数据信息，进行采集或维护；涉及到的数据采集业务分类，与数据采集的层数菜单的三级数菜单相对应，在相应的金融业务属性下对具体内容进行采集维护，并支持审阅当前采集数据内容；

数据校对步骤：数据采集完成后，需要对采集后的数据进行校对。

所述数据校对步骤包括：数据采集完成后，需要对采集后的数据进行校对；包括校对规则定义、规则明细和表间差异校对，对采集后的数据内容进行审核；确保采集数据正确性和有效性；

数据校对前，需要设定校对规则，校对规则包括规则名称、规则类型、规则说明、数据校对以及逻辑校对，最终完成数据采集流程。

权限管理是对系统用户进行赋权操作，赋对应权限后，方可对该系统其他功能进行业务设置或者数据编辑，例如对业务展示界面的菜单项等内容进行设置。对业务展示内容和数据库结构设置完成后，会在数据采集步骤看到设置后的菜单效果以及需要采集内容的名称，包括对应字段枚举类型等，此时用户即可对展示的业务字段进行具体数据的采集或者维护。数据校对步骤，是对采集入库后的数据进行校对，若发现业务规则问题，需要对相应的采集数据进行修正并入库。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。