一种数据处理模型构建方法、平台及存储介质与流程

本发明涉及数据处理领域，具体为一种数据处理模型构建方法、平台及存储介质。

背景技术：

1、随着我国金融的高速发展，中国人民银行、银保监、外汇管理局等重要监管单位都要求金融机构周期性上报银行数据，包括年报、季报、月报，并逐渐向日报和实时报送发展，从而形成数据的监管报送；而由于金融机构发展的起始时间不一样，数据数字化建设程度不一样，不同的金融机构开展的业务也有所差异，不同金融机构的核心交易系统也不同、数据存储和构建的方式也不同，对监管报送要求的理解也不同，对监管报送数据的处理逻辑也不同，监管报送数据的可复用性差，因此造成了报送数据的千差万别，影响了监管效率，而监管效果差，优会影响业务的项目周期和交付质量，并且经过近些年监管的持续完善，穿透式监管已逐步完成，金融机构若不能按要求、保质量的完成报送，会面临着越来越严重的行政处罚，近年来处罚金额也达到了千万级，严重时甚至会导致金融机构破产。

技术实现思路

1、本发明的目的之一在于提供一种数据处理模型构建方法，能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

2、本发明提供的基础方案一：一种数据处理模型构建方法，包括如下内容：

3、s1、获取监管报送范围信息，根据监管报送范围信息，获取对应报送模块；

4、s2、接收报送模块的发文，获取报送要求，根据报送要求，获取所需的数据范围以及对于数据的具体要求；并根据数据范围以及对于数据的具体要求，对数据进行解析，获取扩充数据；

5、s3、根据扩充数据，对其对应的对不同报送模块中业务含义、名称相同和不同的部分进行裁剪整理，获取初步的数据中间需求；对数据中间需求所需的数据进行解析，直至不存在扩充数据；

6、s4、根据业务的不同，将数据归类到不同的主题，确定出不同主题下所需的表；

7、s5、根据金融业务的属性、关系以及数据的存储方式，获取表与表之间的mapping关系；

8、s6、根据经典银行金融模型和数仓设计标准，将不同表归类到不同的数仓层级中；

9、s7、根据报送要求，设置ads层表结构，并进行报送。

10、进一步，通过复制、拆分和整合一种或多种方式进行裁剪整理：将报送模块间业务含义、名称均不相同的字段进行复制，将业务含义、名称相同的多个字段进行合并，将业务含义不同、名称相同的多个字段进行拆分。

11、进一步，所述主题，包括：公共、财务、客户、产品、协议、账户和事件；

12、通过金融模型业务剪裁，保留与监管和风险有关的主题、实体和属性，删除与监管和风险无关的主题、实体和属性，根据实际业务对主题进行新增与合并，从而确定不同的主题。

13、进一步，所述s6，包括：根据经典银行金融模型和数仓设计标准，将数仓拆分成ods层、bdm层、adm层、idm层和ads层；

14、将不同表归类到不同的数仓层级中。

15、进一步，所述ods层，用于获取数据，其中数据为原始数据；

16、bdm层，用于采用基础数据模型对数据进行处理；

17、adm层，用于对基础层的数据进行进一步分析处理，生成指标数据；

18、idm层，用于存储指标数据；

19、ads层，用于报送数据。

20、本方案的基本原理和优点：本方案首先明确监管报送范围，减少数据处理量，再获取监管报送范围内对应的报送模块和版本，从而能获取报送要求，并对报送要求进行处理，以获取数据范围以及对于数据的具体要求，为后续确定数据处理模型奠定基础；

21、后续根据业务的不同，将数据归类到不同的主题，涵盖公共、财务、客户、产品、协议、账户、事件等7大主题，参考了经典银行金融模型(fs-ldm/bdwm)主题，同时也整合不同监管报送制度主题划分(east、金融基础数据等)，模型从明细报送需求出发设计基础层，并自下而上分层设计模型，形成ods层、bdm层、adm层、idm层和ads层，可以帮助金融机构的it技术人员、业务人员、财务人员在应对来自银保监、人民银行等不同监管部门的几十种报送需求，最终可以实现数据的可得、可见、可信、可溯、可用，解决不同监管模块“数出同源”口径不一致的问题。从而能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

22、本发明的目的之二在于提供一种数据处理模型构建平台，能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

23、本发明提供基础方案二：一种数据处理模型构建平台，采用上述数据处理模型构建方法。

24、基础方案二的有益效果：本方案首先明确监管报送范围，减少数据处理量，再获取监管报送范围内对应的报送模块和版本，从而能获取报送要求，并对报送要求进行处理，以获取数据范围以及对于数据的具体要求，为后续确定数据处理模型奠定基础；

25、后续根据业务的不同，将数据归类到不同的主题，涵盖公共、财务、客户、产品、协议、账户、事件等7大主题，参考了经典银行金融模型(fs-ldm/bdwm)主题，同时也整合不同监管报送制度主题划分(east、金融基础数据等)，模型从明细报送需求出发设计基础层，并自下而上分层设计模型，形成ods层、bdm层、adm层、idm层和ads层，可以帮助金融机构的it技术人员、业务人员、财务人员在应对来自银保监、人民银行等不同监管部门的几十种报送需求，最终可以实现数据的可得、可见、可信、可溯、可用，解决不同监管模块“数出同源”口径不一致的问题。从而能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

26、本发明的目的之三在于提供一种数据处理模型构建存储介质，能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

27、本发明提供基础方案三：一种数据处理模型构建存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述数据处理模型构建方法。

28、基础方案三的有益效果：数据处理模型构建存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述数据处理模型构建方法，能提高数据的可复用性和监管效率，以保障项目周期和交付质量，以便于数据处理模型构建方法的应用。

技术特征：

1.一种数据处理模型构建方法，其特征在于：包括如下内容：

2.根据权利要求1所述的数据处理模型构建方法，其特征在于：通过复制、拆分和整合一种或多种方式进行裁剪整理：将报送模块间业务含义、名称均不相同的字段进行复制，将业务含义、名称相同的多个字段进行合并，将业务含义不同、名称相同的多个字段进行拆分。

3.根据权利要求1所述的数据处理模型构建方法，其特征在于：所述主题，包括：公共、财务、客户、产品、协议、账户和事件；

4.根据权利要求1所述的数据处理模型构建方法，其特征在于：所述s6，包括：根据经典银行金融模型和数仓设计标准，将数仓拆分成ods层、bdm层、adm层、idm层和ads层；

5.根据权利要求4所述的数据处理模型构建方法，其特征在于：所述ods层，用于获取数据，其中数据为原始数据；

6.一种数据处理模型构建平台，其特征在于：采用如权利要求要求1-5中任一项数据处理模型构建方法。

7.一种数据处理模型构建存储介质，所述存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求要求1-5中任一项上述数据处理模型构建方法。

技术总结
本发明涉及数据处理领域，具体为一种数据处理模型构建方法、平台及存储介质，其中方法，S1、根据监管报送范围信息，获取对应报送模块和版本；S2、接收报送模块的发文，获取报送要求，并获取所需的数据范围以及对于数据的具体要求；S3、对不同报送模块中业务含义、名称相同和不同的部分进行裁剪整理，获取初步的数据中间需求；S4、根据业务的不同，将数据归类到不同的主题，确定出不同主题下所需的表；S5、根据金融业务的属性、关系以及数据的存储方式，获取表与表之间的mapping关系；S6、将不同表归类到不同的数仓层级中；S7、根据报送要求，设置ADS层表结构，并进行报送。本方案能提高数据的可复用性和监管效率，以保障项目周期和交付质量。

技术研发人员：卞雨茗,王明刚,樊晓燕,范鹏鹏,柯昕艺,王运逵
受保护的技术使用者：盛宝金融科技有限公司
技术研发日：
技术公布日：2024/1/15