一种针对大型金融机构的后线数据处理系统的制作方法

本发明涉及数据处理技术领域，更具体的，涉及一种针对大型金融机构的后线数据处理系统。

背景技术：

大型金融机构往往包括总部和多个分部，其中，总部和分部又包括多个业务部门，每个业务部门都会产生大量业务数据，且每个业务部门的数据需求各不相同。

多年来大型金融机构的总部受各类后线业务应用的驱动建设了各种部门级数据集市，有的也建设了企业级数据仓库，但由于受限于当时的计算与存储技术或者受制于系统建设的思想和策略，大部分机构对全辖数据的管理和应用状况并不理想，没有解决统一数据标准和统一服务界面的问题，没有充分发挥数据的潜在价值。金融机构的分部也面临着与总部相似的数据需求问题。

在前几年传统关系型数据库盛行时期，大型金融机构的后线数据解决方案都是基于关系型数据库的。但关系型数据库最擅长的是联机交易处理，对于联机分析性质的后线数据处理，性能问题是关系数据无能逾越的障碍。随着近年来金融机构数据量的快速增长和数据应用需求的提升，基于关系型数据库的后线分析处理系统逐渐被新出现的分布式数据处理系统取代。

对于中小型机构，基于一套分布式数据库或几套关系型数据库建立的数据仓库或集市，也许可以满足存储和处理全辖数据的需求。但对于大型金融机构而言，各部门、各分部以及外部监管的数据需求实在过于复杂繁多，仅采用分布式数据库或仅采用关系型数据库都无法满足大型金融机构中数据量越来越大、需求越来越复杂的后线数据处理需求。

技术实现要素：

有鉴于此，本发明提供了一种针对大型金融机构的后线数据处理系统，满足了大型金融机构各个业务部门的后线数据处理需求，提高了大型金融机构的后线数据处理效率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种针对大型金融机构的后线数据处理系统，包括总部后线数据处理子系统和多个分部后线数据处理子系统；

所述总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统；

所述分部后线数据处理子系统包括分部数据下传平台、分部基础数据平台、分部大数据平台和多个数据应用系统；

根据数据处理需求，所述总部数据下传平台将数据下传到所述分部数据下传平台，或将数据下传到所述总部基础数据平台和/或所述总部大数据平台；

所述分部数据下传平台根据数据处理需求，将数据下传到所述分部基础数据平台和/或所述分部大数据平台；

其中，所述总部基础数据平台和/或所述总部大数据平台和/或所述分部基础数据平台和/或所述分部大数据平台对数据进行初步处理，并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。

可选的，所述总部数据下传平台包括：

数据转换单元，用于将数据源系统中的数据转换为统一编码的标准文本文件格式；

数据下传单元，用于将转换后的标准文本文件格式数据采用与数据处理需求相对应的数据下传方式下传到所述分部数据下传平台，或将数据下传到所述总部基础数据平台和/或所述总部大数据平台。

可选的，所述总部数据下传平台还用于根据数据的临时性处理需求或独立性处理需求，将数据直接下传到与数据处理需求相对应的数据应用系统。

可选的，所述总部基础数据平台和所述分部基础数据平台采用一体机结构的关系数据库，所述总部大数据平台和所述分部大数据平台采用分布式数据库。

可选的，所述总部基础数据平台包括：

第一预处理单元，用于加载数据，并按第一预设标准对数据进行全量加工；

第一基础数据单元，用于按第二预设标准对所述预处理单元加工后的数据进行标准数据加工，并存储第一时间段数据；

汇总数据单元，用于按预设指标对宽表数据进行汇总。

可选的，所述总部基础数据平台还包括：

共享数据单元，用于为具体应用提供数据存储和加工服务，生成具体应用决策分析所需的数据。

可选的，所述总部大数据平台包括：

第二预处理单元，用于与所述总部基础数据平台同步加载数据，并按第一预设标准对数据进行全量加工；

第二基础数据单元，用于对大型数据表进行处理，并存储第二时间段数据。

可选的，所述总部后线数据处理子系统还包括：

历史数据平台，用于对所述总部基础数据平台和所述总部大数据平台下传的历史数据进行存储。

可选的，所述数据应用系统采用数据集市模式或共享数据集市模式，用于为其对应的业务系统提供数据加工和数据分析服务。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种针对大型金融机构的后线数据处理系统，包括总部后线数据处理子系统和多个分部后线数据处理子系统，可以满足总部业务系统、以及每个分部业务系统的后线数据处理需求。其中，总部后线数据处理子系统中的总部数据下传平台提供了统一的数据下传通道，根据数据处理需求将数据下传到分部数据下传平台，或将数据下传到总部基础数据平台和/或总部大数据平台，基础数据平台和大数据平台对数据进行初步处理，满足了大型金融机构海量数据的处理需求，并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理，满足了不同业务系统的数据处理需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种针对大型金融机构的后线数据处理系统结构示意图；

图2为本发明实施例公开的另一种针对大型金融机构的后线数据处理系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例公开了一种针对大型金融机构的后线数据处理系统，包括总部后线数据处理子系统和多个分部后线数据处理子系统，以银行系统为例，总部后线数据处理子系统为总行后线数据处理子系统，分部后线数据处理子系统为分行后线数据处理子系统。

总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统。

数据源系统中的数据通过总部数据下传平台进行下传，总部数据下传平台实现了各业务系统向后线系统下传数据的高速通道，屏蔽了数据源系统的技术差异，将数据源系统中的数据转换为同一编码的标准文本文件格式。

总部数据下传平台将转换后的标准文本文件格式数据采用与数据处理需求相对应的数据下传方式下传到所述分部数据下传平台，或将数据下传到所述总部基础数据平台和/或所述总部大数据平台。

具体的，对于公共信息数据总部数据下传平台只需进行简单的全量下传，对于海量时点数据总部数据下传平台可以分类型、分省进行增量下传，对于交易类数据总部数据下传平台可以采用分省、期间全量下传。如一个某类交易表每天下传到数据仓库，全量下传指每次都下传该类交易表的全部数据(包括所有历史数据和当前新发生的交易数据)，期间全量下传指每次下传当天发生交易的全量数据。

总部数据下传平台的数据下传方向包括：总部基础数据平台、总部大数据平台和分部数据下传平台。

其中，需要说明的是，总部基础数据平台和分部基础数据平台采用一体机结构的关系数据库，总部大数据平台和分部大数据平台采用分布式数据库，如mpp数据库(massivelyparallelprocessor，大规模并行处理数据库)。使针对大型金融机构的后线数据处理系统在满足联机交易处理需求的基础上，满足海量数据的大数据处理需求，保证后线数据处理系统的稳定性和高处理性能。

总部数据下传平台可以将数据下传到总部基础数据平台或总部大数据平台，如将普通数据下传到总部基础数据平台进行初步处理，将大型数据表数据下传到总部大数据平台进行大数据处理。

需要说明的是，总部数据下传平台还包括一个数据下传方向：数据应用系统。总部数据下传平台还用于根据数据的临时性处理需求或独立性处理需求，将数据直接下传到与数据处理需求相对应的数据应用系统。其中，数据应用系统可以采用数据集市或共享数据集市的模式，数据应用系统并不是标准的数据下传出口，但是出于临时性处理需求、独立性处理需求或由于历史原因，可以允许这个非标准通道，前提是对全辖数据标准和流程规范没有负面影响。

总部基础数据平台是总部后线应用最基础的统一数据平台，基础功能包括数据加载、数据清洗、数据导入和数据导出，核心功能包括数据字典管理、标准数据加工、数据汇总、数据基础加工等。

总部大数据平台与总部基础数据平台同等重要，相当于集群配置，与总部基础数据平台密切分工协作。总部大数据平台可以分担总部基础数据平台的数据加载和数据加工任务，可以存储比总部基础数据平台时间更久的数据，扩大了总部基础数据平台的数据服务能力。总部大数据平台可以与总部基础数据平台同步完成数据加载和数据清洗等数据前期处理工作，甚至也可以分工完成一分部数据标准化工作。

总部基础数据平台和/或总部大数据平台和/或分部基础数据平台和/或分部大数据平台对数据进行初步处理，并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。数据应用系统采用数据集市模式或共享数据集市模式，用于为其对应的业务系统提供数据加工和数据分析服务。

本实施例公开的一种针对大型金融机构的后线数据处理系统，包括总部后线数据处理子系统和多个分部后线数据处理子系统，可以满足总部业务系统、以及每个分部业务系统的后线数据处理需求。其中，总部后线数据处理子系统中的总部数据下传平台提供了统一的数据下传通道，根据数据处理需求将数据下传到分部数据下传平台，或将数据下传到总部基础数据平台和/或总部大数据平台，基础数据平台和大数据平台对数据进行初步处理，满足了大型金融机构海量数据的处理需求，并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理，满足了不同业务系统的数据处理需求。

在上述实施例公开的一种针对大型金融机构的后线数据处理系统的基础上，请参阅图2，本实施例公开了另一种针对大型金融机构的后线数据处理系统。

总部后线数据子系统还包括历史数据平台，用于对总部基础数据平台和总部大数据平台下传的历史数据进行存储。如，总部基础数据平台可以存储1年的数据，总部大数据平台可以存储3年的数据，历史数据平台可以存储超过3年的数据，总部大数据平台将超过3年的数据迁移到历史数据平台，保证总部大数据平台的轻量快捷。

历史数据平台可以采用hadoop(hadoopdistributedfilesystem，分布式文件系统)大数据存储，并选用sql技术实现对hadoop历史数据的访问、数据查询和数据提取功能。

还需要说明的是，历史数据平台还可以包括应用数据系统，支持数据集市或共享数据集市，提供数据加工和数据分析等应用服务。

总部基础数据平台包括：第一预处理单元、第一基础数据单元和汇总数据单元。

第一预处理单元，用于加载数据，并按第一预设标准对数据进行全量加工；

第一基础数据单元，用于按第二预设标准对所述预处理单元加工后的数据进行标准数据加工，并存储第一时间段数据；

汇总数据单元，用于按预设指标对宽表数据进行汇总。

其中，汇总数据是针对普通数据需求为了提高数据处理效率而提供的更高层级的数据服务，如按预设指标对宽表数据进行汇总。

总部大数据平台可以与总部基础数据平台同步完成数据加载和数据处理等工作，相应的总部大数据平台包括：

第二预处理单元，用于与所述总部基础数据平台同步加载数据，并按第一预设标准对数据进行全量加工；

第二基础数据单元，用于对大型数据表进行处理，并存储第二时间段数据。

优选的，总部基础数据平台和总部大数据平台还可以包括数据应用系统，数据应用系统采用数据集市模式或共享数据集市模式，用于提供特定的数据加工和数据分析服务。

本实施例公开的针对大型金融机构的后线数据处理系统，通过在总部基础数据平台、总部大数据平台和历史数据平台设置数据应用系统，满足了大型金融机构的后线数据处理的各种数据处理需求，提高了后线数据处理效率。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。