一种银行数据分析方法、装置、系统和介质与流程

文档序号:31364373发布日期:2022-08-31 15:16阅读:35来源:国知局
1.本技术涉及计算机
技术领域
:,特别涉及一种银行数据分析方法、装置、系统和介质。
背景技术
::2.目前,随着银行国际化的不断提高,需要处理越来越多的国际业务,因此银行开发了海外分行监管报送及内部管理主题应用系统,为海外各分行加工海外共享数据集,存储到各行数据库,并支持各行用户访问本行数据集数据。3.海外分行监管报送及内部管理主题应用系统,基于统一数据平台从各个来源系统加载数据,为海外分行加工海外共享数据集,打造海外监管报送和内部管理数据服务基础设施。系统通过执行大规模分布式并行数据库集群系统数据库中的存储过程,自动抽取、计算、汇总监管报表所需数据,生成监管报送要求的数据文件,并通过文件传输下传数据文件至海外分行。4.但是,目前海外分行监管报送及内部管理主题应用系统对海外共享数据集的加工完全依赖于存储过程。对于一张海外分行监管报送及内部管理主题应用系统数据表的加工通常需要多个存储过程,而一个存储过程则依赖于多个来源表的数据,所以在编写存储过程前,开发人员需要花费大量的时间去分析各来源表的关联条件、筛选条件等规则。同样,测试人员在测试一张数据表前,也需要花大量的时间去沟通了解开发人员提供的关联条件、筛选条件等规则,时间成本较高,过程复杂。5.其中,存储过程(storedprocedure)是在大型数据库系统中,一组为了完成特定功能的结构化查询语言语句集,它存储在数据库中,一次编译后永久有效,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。技术实现要素:6.有鉴于此,本技术的目的在于提供一种银行数据分析方法、装置、系统和介质,可以节约时间成本,减少人工工作,提高效率。7.提供该
发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该
发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。8.为实现上述目的,本技术有如下技术方案:9.第一方面,本技术实施例提供了一种银行数据分析方法,包括:10.导入待分析存储过程;11.利用所述待分析存储过程中的预设关键字对所述待分析存储过程进行解析,以得到所述待分析存储过程的血缘分析结果;12.将所述血缘分析结果进行存储,建立数据表的批次号和表名,与,所述血缘分析结果的映射关系;13.当接收到所述数据表的批次号和表名时,根据所述映射关系,展现所述数据表的批次号和表名,对应的,所述血缘分析结果。14.在一种可能的实现方式中,利用所述待分析存储过程中的预设关键字对所述待分析存储过程进行解析,以得到所述待分析存储过程的血缘分析结果,包括:15.截取所述预设关键字包括的所述待分析存储过程对应的当前数据表表名、上游数据表表名、关联条件和筛选条件作为所述血缘分析结果。16.在一种可能的实现方式中,所述方法还包括:17.判断所述上游数据表是否为贴源数据表;18.当所述上游数据表不为贴源数据表时,将所述当前数据表表名等于所述上游数据表表名得到替换后的当前数据表;19.根据所述替换后的当前数据表查找所述映射关系以得到所述贴源数据表。20.在一种可能的实现方式中,所述方法还包括:21.提供所述血缘分析结果的更新界面,以便开发测试人员对所述血缘分析结果进行更新;22.当所述血缘分析结果更新时,将存储的所述血缘分析结果进行更新。23.第二方面,本技术实施例提供了一种银行数据分析装置,包括:24.导入单元,用于导入待分析存储过程;25.解析单元,用于利用所述待分析存储过程中的预设关键字对所述待分析存储过程进行解析,以得到所述待分析存储过程的血缘分析结果;26.存储单元,用于将所述血缘分析结果进行存储,建立数据表的批次号和表名,与,所述血缘分析结果的映射关系;27.展现单元,用于当接收到所述数据表的批次号和表名时,根据所述映射关系,展现所述数据表的批次号和表名,对应的,所述血缘分析结果。28.在一种可能的实现方式中,所述解析单元,具体用于:29.截取所述预设关键字包括的所述待分析存储过程对应的当前数据表表名、上游数据表表名、关联条件和筛选条件作为所述血缘分析结果。30.在一种可能的实现方式中,所述装置还包括:31.判断单元,用于判断所述上游数据表是否为贴源数据表;32.替换单元,用于当所述上游数据表不为贴源数据表时,将所述当前数据表表名等于所述上游数据表表名得到替换后的当前数据表;33.贴源单元,用于根据所述替换后的当前数据表查找所述映射关系以得到所述贴源数据表。34.在一种可能的实现方式中,所述装置还包括:35.提供单元,用于提供所述血缘分析结果的更新界面,以便开发测试人员对所述血缘分析结果进行更新;36.更新单元,用于当所述血缘分析结果更新时,将存储的所述血缘分析结果进行更新。37.第三方面,本技术实施例提供了一种银行数据分析系统,包括:38.存储器,用于存储计算机程序;39.处理器,用于执行所述计算机程序时实现如上述所述银行数据分析方法的步骤。40.第四方面,本技术实施例提供了一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理执行时实现如上述所述银行数据分析方法的步骤。41.与现有技术相比,本技术实施例具有以下有益效果:42.本技术实施例提供了一种银行数据分析方法、装置、系统和介质,可应用于大数据领域或金融领域。该方法包括:导入待分析存储过程,利用待分析存储过程中的预设关键字对待分析存储过程进行解析,以得到待分析存储过程的血缘分析结果,将血缘分析结果进行存储,建立数据表的批次号和表名,与,血缘分析结果的映射关系,当接收到数据表的批次号和表名时,根据映射关系,展现数据表的批次号和表名,对应的,血缘分析结果。从而实现数据表自动化血缘分析及可视化功能,降低分析的时间成本,减少重复性分析工作,避免开发测试信息不同步等问题,大大地提高了数据分析类产品的开发测试效率。附图说明43.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。44.图1示出了本技术实施例提供的一种银行数据分析方法的流程图;45.图2示出了本技术实施例提供的一种银行数据分析装置的示意图。具体实施方式46.需要说明的是,本发明提供的一种银行数据分析方法、装置、系统和介质可应用于大数据领域或金融领域。上述仅为示例,并不对本发明提供的一种银行数据分析方法、装置、系统和介质的应用领域进行限定。47.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。48.本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。49.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。50.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。51.正如
背景技术
:中的描述,经申请人研究发现,目前,随着银行国际化的不断提高,需要处理越来越多的国际业务,因此银行开发了海外分行监管报送及内部管理主题应用系统,为海外各分行加工海外共享数据集,存储到各行数据库,并支持各行用户访问本行数据集数据。52.海外分行监管报送及内部管理主题应用系统,基于统一数据平台从各个来源系统加载数据,为海外分行加工海外共享数据集,打造海外监管报送和内部管理数据服务基础设施。系统通过执行大规模分布式并行数据库集群系统数据库中的存储过程,自动抽取、计算、汇总监管报表所需数据,生成监管报送要求的数据文件,并通过文件传输下传数据文件至海外分行。53.但是,目前海外分行监管报送及内部管理主题应用系统对海外共享数据集的加工完全依赖于存储过程。对于一张海外分行监管报送及内部管理主题应用系统数据表的加工通常需要多个存储过程,而一个存储过程则依赖于多个来源表的数据,所以在编写存储过程前,开发人员需要花费大量的时间去分析各来源表的关联条件、筛选条件等规则。同样,测试人员在测试一张数据表前,也需要花大量的时间去沟通了解开发人员提供的关联条件、筛选条件等规则,时间成本较高,过程复杂。54.其中,存储过程(storedprocedure)是在大型数据库系统中,一组为了完成特定功能的结构化查询语言语句集,它存储在数据库中,一次编译后永久有效,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。55.因此,存在以下几个问题:56.1.开发人员、测试人员分析的时间成本高;57.2.一张数据表需要多个存储过程实现;58.3.存储过程关联过于繁多且复杂;59.4.分析步骤一环接一环重复性高;60.5.开发人员、测试人员信息不同步;61.6.历史分析结果容易丢失62.为了解决以上技术问题,本技术实施例提供了一种银行数据分析方法、装置、系统和介质,可应用于大数据领域或金融领域。该方法包括:导入待分析存储过程,利用待分析存储过程中的预设关键字对待分析存储过程进行解析,以得到待分析存储过程的血缘分析结果,将血缘分析结果进行存储,建立数据表的批次号和表名,与,血缘分析结果的映射关系,当接收到数据表的批次号和表名时,根据映射关系,展现数据表的批次号和表名,对应的,血缘分析结果。从而实现数据表自动化血缘分析及可视化功能,降低分析的时间成本,减少重复性分析工作,避免开发测试信息不同步等问题,大大地提高了数据分析类产品的开发测试效率。63.示例性方法64.参见图1所示,为本技术实施例提供的一种银行数据分析方法的流程图,包括:65.s101:导入待分析存储过程。66.s102:利用所述待分析存储过程中的预设关键字对所述待分析存储过程进行解析,以得到所述待分析存储过程的血缘分析结果。67.在本技术实施例中,为了对银行数据进行分析,首先可以导入待分析存储过程,具体的,可以通过前端模块导入存储过程。导入完成后,前端可视化模块会通知后台解析程序进行解析。68.其中,存储过程(storedprocedure)是在大型数据库系统中,一组为了完成特定功能的结构化查询语言语句集,它存储在数据库中,一次编译后永久有效,用户可以通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。69.在本技术实施例中,可以利用待分析存储过程中的预设关键字对待分析存储过程进行解析,以得到待分析存储过程的血缘分析结果。70.具体的,在人类社会中,血缘关系是指由婚姻或生育而产生的人际关系,是最早形成的一种社会关系。今天,人类进入了大数据时代。每天,世界上都有海量的,各种类型的,关系复杂的数据在快速产生。这些庞大复杂的数据汇聚又产生新的数据。数据在产生、融合、流转,消亡过程中形成一种逻辑关系。我们借鉴人类社会中的血缘关系来表达数据之间的这种关系,称之为数据的血缘关系。71.数据的血缘关系包含了一些特有的特征:数据的归属性(数据所属组织或个人),数据的来源多样性(相同数据来源不止一个),数据的可追溯性(数据从产生到消亡的整个过程),数据的层次性(数据的分类、归纳、总结形成了数据层次)等。72.数据之间这种血缘关系的追踪和分析,称之为数据的血缘分析。73.在一种可能的实现方式中,可以截取预设关键字包括的待分析存储过程对应的当前数据表表名、上游数据表表名、关联条件和筛选条件作为血缘分析结果,74.举例来说,可以寻找存储过程中的关键字:table、where、join、on、and等关键字,随后自动截取关键字后包含的当前数据表表名、上游数据表表名、关联条件、筛选条件等信息,最后记录在表级数据溯源参数表中,以得到待分析存储过程的血缘分析结果。75.在一种可能的实现方式中,可以判断解析出来的上游数据表是否为贴源数据表,当上游数据表不为贴源数据表时,可以将当前数据表表名等于上游数据表表名得到替换后的当前数据表,根据替换后的当前数据表查找映射关系以得到贴源数据表。76.其中,具体的,数据贴源层,用来储存原始数据,即贴源数据表。77.当不存在贴源数据表时,可以查找映射关系以得到最接近贴源数据表的数据表。78.s103:将所述血缘分析结果进行存储,建立数据表的批次号和表名,与,所述血缘分析结果的映射关系。79.在本技术实施例中,可以将血缘分析结果进行存储,建立数据表的批次号和表名,与,血缘分析结果的映射关系,以便后续可以直接根据数据表的批次号和表名得到血缘分析结果。80.具体的,可以按批次号、当前数据表表名、上游数据表表名、贴来源数据表表名存储,存储着数据表的基本信息、表间关系、来源系统等信息。81.表间关系信息包括来源主表的表名、筛选条件;主表连接的其他辅助表的表名、关联条件、筛选条件;以及对应的贴源数据表信息,以形成表级数据溯源参数表82.s104:当接收到所述数据表的批次号和表名时,根据所述映射关系,展现所述数据表的批次号和表名,对应的,所述血缘分析结果。83.在本技术实施例中,当接收到数据表的批次号和表名时,可以根据映射关系,展现数据表的批次号和表名,对应的,血缘分析结果。84.即为了方便用户的查看,可以提供可视化的数据表血缘分析,通过输入批次号、数据表表名等信息查询血缘分析结果,基于输入,在表级数据溯源参数表中匹配对应的结果,并且以血缘图的方式展现。85.举例来说,设置按钮实现血缘图的直观展示,可以通过点击“+”号一步一步展现详细的数据表血缘分析结果;点击“‑”号回退到上一层。每次点击,前端可视化模块会去调表级数据溯源参数表进行查询。86.在一种可能的实现方式中,可以提供血缘分析结果的更新界面,以便开发测试人员对血缘分析结果进行更新,当血缘分析结果更新时,将存储的血缘分析结果进行更新。87.举例来说,开发测试人员可以通过双击点入对应的分析进行维护和修改,前端可视化模块通知后台解析程序模块进行分析结果的更新,当接收到前端可视化模块的通知,把更新的分析结果写入表级数据溯源参数表。88.表级数据溯源参数表接收后台程序模块更新的分析结果,按照批次号,把分析结果进行更新,从而可以实现数据的实时更新。89.从而实现了数据管理系统下,实现数据表自动化血缘分析,实现血缘分析可视化,降低分析的时间成本,且可以即时查询血缘分析结果,避免开发测试不同步,大大地提高了数据分析类产品的开发测试效率。90.本技术实施例提供了一种银行数据分析方法,可应用于大数据领域或金融领域。该方法包括:导入待分析存储过程,利用待分析存储过程中的预设关键字对待分析存储过程进行解析,以得到待分析存储过程的血缘分析结果,将血缘分析结果进行存储,建立数据表的批次号和表名,与,血缘分析结果的映射关系,当接收到数据表的批次号和表名时,根据映射关系,展现数据表的批次号和表名,对应的,血缘分析结果。从而实现数据表自动化血缘分析及可视化功能,降低分析的时间成本,减少重复性分析工作,避免开发测试信息不同步等问题,大大地提高了数据分析类产品的开发测试效率。91.示例性装置92.参见图2所示,为本技术实施例提供的一种银行数据分析装置,包括:93.导入单元201,用于导入待分析存储过程;94.解析单元202,用于利用所述待分析存储过程中的预设关键字对所述待分析存储过程进行解析,以得到所述待分析存储过程的血缘分析结果;95.存储单元203,用于将所述血缘分析结果进行存储,建立数据表的批次号和表名,与,所述血缘分析结果的映射关系;96.展现单元204,用于当接收到所述数据表的批次号和表名时,根据所述映射关系,展现所述数据表的批次号和表名,对应的,所述血缘分析结果。97.在一种可能的实现方式中,所述解析单元,具体用于:98.截取所述预设关键字包括的所述待分析存储过程对应的当前数据表表名、上游数据表表名、关联条件和筛选条件作为所述血缘分析结果。99.在一种可能的实现方式中,所述装置还包括:100.判断单元,用于判断所述上游数据表是否为贴源数据表;101.替换单元,用于当所述上游数据表不为贴源数据表时,将所述当前数据表表名等于所述上游数据表表名得到替换后的当前数据表;102.贴源单元,用于根据所述替换后的当前数据表查找所述映射关系以得到所述贴源数据表。103.在一种可能的实现方式中,所述装置还包括:104.提供单元,用于提供所述血缘分析结果的更新界面,以便开发测试人员对所述血缘分析结果进行更新;105.更新单元,用于当所述血缘分析结果更新时,将存储的所述血缘分析结果进行更新。106.本技术实施例提供了一种银行数据分析装置,可应用于大数据领域或金融领域。利用该装置的方法包括:导入待分析存储过程,利用待分析存储过程中的预设关键字对待分析存储过程进行解析,以得到待分析存储过程的血缘分析结果,将血缘分析结果进行存储,建立数据表的批次号和表名,与,血缘分析结果的映射关系,当接收到数据表的批次号和表名时,根据映射关系,展现数据表的批次号和表名,对应的,血缘分析结果。从而实现数据表自动化血缘分析及可视化功能,降低分析的时间成本,减少重复性分析工作,避免开发测试信息不同步等问题,大大地提高了数据分析类产品的开发测试效率。107.在上述实施例的基础上,本技术实施例提供了一种银行数据分析系统,包括:108.存储器,用于存储计算机程序;109.处理器,用于执行所述计算机程序时实现如上述银行数据分析方法的步骤。110.在上述实施例的基础上,本技术实施例还提供了一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理执行时实现如上述银行数据分析方法的步骤。111.需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。112.上述计算机可读介质可以是上述系统中所包含的;也可以是单独存在,而未装配入该系统中。113.特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。114.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。115.以上所述仅是本技术的优选实施方式,虽然本技术已以较佳实施例披露如上,然而并非用以限定本技术。任何熟悉本领域的技术人员,在不脱离本技术技术方案范围情况下,都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本技术技术方案的内容,依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰,均仍属于本技术技术方案保护的范围内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1