信息管理系统及方法
【专利摘要】本发明公开了一种信息管理系统，包括：数据接收模块，用于通过分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据；数据报表生成模块，用于生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工；数据上传模块，用于将报表分别上传至相应平台。本发明公开了一种信息管理方法，包括：数据接收步骤；数据报表生成步骤；数据上传步骤。本发明的信息管理系统及方法能够保证现有系统整体架构不发生重大调整的前提下，支持新线业务数据的生成与展现，并且较大提升了系统的功能。
【专利说明】信息管理系统及方法
【技术领域】
[0001]本发明涉及银行数据处理【技术领域】，尤其涉及一种信息管理系统及方法。
【背景技术】
[0002]现有技术中，银行海外分行原有IT系统被新线60多个系统(升级后银行核心系统)整合替代，信息管理报表系统(海外)需要同时支持B0C2000等旧线系统(升级前银行核心系统)及BOCS等新线的数据加工与分析。海外各分行存在时区、语言、业务流程和监管上的差异，各种差异最终都体现在数据上，数据上的差异对本系统提出很高的要求。由于时效性和多语言展现的要求，核心银行系统BOCS部门报表剥离出来在本系统实现，在监管报表需要对数据深度分析的的前提下，如何保证新增业务报表的时效性，是本系统不得不面对的挑战。外围系统全球化支持，版本升级的时差，将导致源系统数据结构的差异，本系统需要考虑如何处理源系统送过来的内容不一样的数据文件。
[0003]随着社会的发展，各种应用软件在企业机构中大量使用，各个企业机构与其它企业机构之间发生业务往来也越来越频繁。这种情况促使各个企业机构之间采用大量应用程序和进程进行互联互通，使之紧密的联系在一起，形成一个大的互联互通的网络。
[0004]此时，业务逐渐扩大，新增业务和数据不断涌现，伴随而来的就是系统需要不断升级，但是新线系统和旧线系统在数据结构上往往存在差异。分散在庞大网络中的各个企业在数据的时区，语言，业务流程和监管上都有可能存在差异，外围系统全球化的支持，版本升级的时差等等也存在差异，各种差异最终都体现在数据上，因此，数据上的差异对系统升级提出了很高的要求。
[0005]由此，各个企业在监管数据需要对数据进行深度分析的前提下，迫切需要一种机制，既能够保证新增业务的时效性，又能够很好的处理源系统所传数据结构不一致的数据文件，解决上述非常棘手的信息管理问题。
【发明内容】
[0006]本发明提供一种信息管理系统及方法，能够保证现有系统整体架构不发生重大调整的前提下，支持新线业务数据的生成与展现，并且较大提升了系统的功能。
[0007]为了解决上述技术问题，本发明提供了一种信息管理系统，应用于升级前银行核心系统和升级后银行核心系统，所述信息管理系统包括:
[0008]数据接收模块，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据；
[0009]数据报表生成模块，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工；
[0010]数据上传模块，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台。
[0011]作为优选，所述信息管理系统采用中心组件进行作业调度以为生成报表提供作业平台环境，其具体配置为:根据数据源采集时点，加工频度和时效将数据作业划分为多个子系统，采用中心组件对所述子系统进行调度。
[0012]作为优选，所述信息管理系统中数据存储分为三层:
[0013]ODS源数据区、UDM统一数据模型和FCT事实表，
[0014]其中，在ODS层和UDM层，所述升级后银行核心系统的数据与所述升级前银行核心系统的数据相互隔离，并在FCT层合并存储。
[0015]作为优选，所述信息管理系统进一步配置有相互独立的业务报表数据区和分析类报表数据去，以对所述业务类报表与所述分析类报表进行逻辑隔离并独立进行数据加载和加工。
[0016]作为优选，当数据源系统数据结构发生变更时，所述信息管理系统配置有滚动升级机制，该机制为:
[0017]停止ETL服务器第一节点服务，更新所述第一节点数据清洗和数据装载程序；
[0018]变更所述信息管理系统的数据结构，更新数据加工作业程序；
[0019]更改数据下传平台文本订阅参数，已经变更数据结构的数据发送给所述第一节点，未变更数据结构的数据发送给ETL服务器第二节点；
[0020]所述第一节点按照新数据结构进行数据清洗和数据装载，所述第二节点按照升级前数据结构进行数据清洗和数据装载；
[0021]数据装载到所述信息管理系统数据库后，按照升级后的映射规则进行报表加工；
[0022]根据银行核心系统版本升级情况，生成相应报表。
[0023]本发明还提供一种信息管理方法，包括:
[0024]数据接收步骤，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据；
[0025]数据报表生成步骤，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工；
[0026]数据上传步骤，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台，
[0027]其中数据报表生成步骤具体包括:
[0028]日报表批量处理步骤，用于接收所述升级后银行核心系统源表数据文件，将符合要求的数据文件加载到源数据区，数据入库后进行全量累积和其它数据加工，通过报表批量处理产生相应报表；
[0029]月报表批量处理步骤，用于按时接收所述升级后银行核心系统和所述升级前银行核心系统的源表数据文件和补录数据文件，将符合要求的数据文件加载到源数据区，数据入库后进行数据整合加工，将整合后的数据放入统一数据模型，在分析类报表生成日，系统利用统一数据模型数据生成报表元素、事实表和指标数据，存入事实表区，使用所述事实表区数据生成报表数据存储到报表区中。
[0030]作为优选，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工，具体包括:
[0031]数据清洗相对独立，按时完成送达数据的清洗，并将文件状态进行注册；
[0032]业务报表子系统与数据清洗相对应，按时进行数据加载及报表生成；
[0033]分析报表子系统对数据进行后续加工，生成分析报表。
[0034]与现有技术相比，本发明的信息管理系统及方法的有益效果在于:
[0035]1、统一数据模型UDM(Unifiled Dimens1nal Model)优化，将海外各分行的差异化数据整合到统一模型。
[0036]2、实现使用新线系统和旧线系统的海外分行并表。
[0037]3、在共用数据库、统一调度的基础上，实现分析报表和业务报表逻辑隔离，同时满足决策分析和核心业务开展的需要。
[0038]4、支持源系统版本升级不同步造成的数据结构不一致，满足全球化软件升级要求。
[0039]5、系统支持数据清洗集群、数据库集群、多地区数据并行处理。
【专利附图】
【附图说明】
[0040]图1是根据一实施例,信息管理系统整体架构图。
[0041]图2是根据一实施例，信息管理系统逻辑架构图。
[0042]图3是根据一实施例，新旧数据一体处理逻辑图。
[0043]图4是根据一实施例，分析类报表与业务类报表数据隔离示意图。
[0044]图5是根据一实施例，信息管理方法中的数据报表处理流程图。
[0045]图6是根据一实施例,信息管理系统的高可用性架构图。
【具体实施方式】
[0046]下面结合附图和具体实施例对本发明的实施例的信息管理系统及方法作进一步详细描述，但不作为对本发明的限定。
[0047]先做如下说明。
[0048]方案考虑到升级前银行核心系统，即旧线B0C2000和BOCS数据不一致，针对BOCS的业务建立了新线UDM数据模型，对新线的业务整合到新线数据模型，旧线业务保留原来加工方式，使用旧线数据模型。在事实表层进行新旧线报表数据的并表。
[0049]系统设立分析报表和业务报表两个独立模块，从ODS (数据仓库体系结构)层开始实现数据隔离，两个模块独立进行数据加载，独立数据加工，为两类报表的独立加工提供数据基础。另外，在对共公组件不改造的前提下，通过设立独立的子系统，实现业务报表独立日切，满足业务报表的时效性需要，也能达到多时区处理的要求。
[0050]本发明的实施例的信息管理系统，应用于升级前银行核心系统和升级后银行核心系统，所述信息管理系统包括:
[0051]数据接收模块，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据；
[0052]数据报表生成模块，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工；
[0053]数据上传模块，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台。
[0054]作为一种【具体实施方式】，升级后银行核心系统包括银行目前的新一代核心银行系统、新一代国际结算和贸易融资系统等，升级前银行核心系统包括银行早期并正在运行的旧线海外核心银行系统、旧线银团贷款系统等。
[0055]本发明还提供一种信息管理方法，包括:
[0056]数据接收步骤，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据；
[0057]数据报表生成步骤，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工；
[0058]数据上传步骤，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台。
[0059]本发明的实施例的信息管理方法的数据报表生成步骤具体包括日报表批量处理步骤和月报表批量处理步骤。
[0060]日报表批量:系统接收所需的新线系统源表数据文件,将符合要求的数据文件加载到源数据区(0DS区)，数据入库后进行全量的累积以及其它简单的加工，随后通过日报表批量处理产生相应报表，例如CBS报表以及海外核心剥离报表。
[0061]月报表批量:每日，系统接收所需的新、旧线源表数据文件和补录数据文件，将符合要求的数据文件加载到源数据区(0DS区)。数据入库后进行数据整合加工，将整合后的数据放入统一数据模型(UDM区)。报表日，系统利用UDM数据生成报表元素、事实表、和指标数据，放入事实表区(FCT区)，然后使用FCT区数据生成报表数据放入报表区(REPORT区)。
[0062]本发明保持IMRS(海外)整体架构不发生重大调整的前提下，支持新线存量报表及新增报表生成与展现，并且较大提升了系统的功能。
[0063]结合图1至图6所示内容，以下以【具体实施方式】以及优选方案为例详细说明本发明的信息管理系统及方法。
[0064]银行核心系统分新线、旧线两部分，均通过数据下传平台将文本数据传送至本系统,本系统对业务数据进行整合加工处理,生成两类报表:业务类报表、分析类报表,并分别传送至电子报表平台和信息服务平台。
[0065]所述信息管理系统采用中心组件进行作业调度以为生成报表提供作业平台环境，其具体配置为:根据数据源采集时点，加工频度和时效将数据作业划分为多个子系统，采用中心组件对所述子系统进行调度。
[0066]所述信息管理系统中数据存储分为三层:0DS源数据区、UDM统一数据模型和FCT事实表，其中，在ODS层和UDM层，所述升级后银行核心系统的数据与所述升级前银行核心系统的数据相互隔离，并在FCT层合并存储。
[0067]本系统结构体系核心为ETL应用、数据加工、Report (报表)应用，采用中心组件(jobctl组件:银行开放平台批量作业调度系统)统一调度，为生成报表提供作业平台环境；数据存储分3层，分别为ODS源数据区，UDM统一数据模型，FCT事实表。
[0068]在ODS、UDM层，新线与旧线数据隔离起来，为保障报表并表汇总，在FCT层合并存储。
[0069]ETL数据库采用RAC集群(实时应用集群)部署，ETL应用可并行处理共享文件数据装载入库、分银行(国家)对数据加工整合；报表服务器也采用集群方式部署，可依据负载大小针对不同银行(国家)出表；I_R印ort子系统采用主机HA互备模式。
[0070]为了满足对新旧线源系统数据分析的需要，方案对数据模型UDM规划，并考虑到新旧并表(图1和图3)。对于旧线模块加载加工B0C2000、LIMS等旧线系统的业务数据，整合到旧线UDM数据模型中，根据旧线数据结构加工报表元数据。新线模块加载加工BOCS、GTS等新线系统的业务数据，整合到新线UDM数据模型中，根据新线数据结构加工报表元数据。新旧报表元数据在同一个数据库中物理存放，方便实现海外机构汇总报表。
[0071]系统采用中心组件JOBCTL进行作业调度。为了满足不同周期、不同时效报表加工要求，JOBCTL以“子系统”为调度监控单位，允许根据数据源采集时点、加工频度和时效要求等属性，将作业划分为不同“子系统”，形成相对独立的“作业群”。在“子系统”的有作业都成功完成后，“子系统”下所有作业切换到下一工作日。本系统存量报表为分析类报表，满足总行监管报送和内部管理需要，报表频率为月报、季报和年报。分析类报表在等待财管数据和手工补录数据抵达后，在月后6日生成报表即可。由于分析类报表数据采集时点、加工频率及时效要求一致，分析类报表使用公共的0DS、UDM、FCT层数据，不会造成互相干扰。而新增“业务报表”的周期为日，而且必须在T+1日出表，需要每天刷新0DS、UDM和FCT数据，如果共用基础业务数据，将对分析类报表形成干扰。新线建设需要将两个数据区隔离开来，建立独立业务报表数据区(如图4所示)。具体说明如下:1、数据清洗相对独立，按时完成送达数据的清洗，并将文件状态进行注册。如在20120106自然日，将完成BOCS系统20120105工作日前的文件清洗。2、业务报表子系统，和数据清洗相对应，每日都进行数据加载及报表生成。自然日20120106，工作日20120105，作业L_AA_CBS将20120105工作日的文本加载，后续进行数据加工，最后完成业务报表生成。3、分析报表子系统，自然日20120101，工作日20111231，在完成20111231工作日的其他系统文本加载后，由于财管数据没抵达，系统等待财管数据SRS系统的文本。月后5日，财管数据SRS文本抵达，系统L_BB加载20111231工作日财管数据，并进行后续加工，生成分析报表。此时，自然日为20120105，报表日期为20111231。在完成报表日20111231的报表加工后，分析报表子系统进行后续报表日的处理。
[0072]全球化系统建设给版本升级带来更高的要求，本系统为全海外逻辑集中系统。如果数据源系统数据结构发生的变更，滚动升级策略如下:本系统生产系统有两个ETL服务器节点，分别为第一节点(A节点)和第二节点(B节点)，首先停止节点A服务，更新A节点数据清洗和数据装载程序；变更本系统数据结构，并更新数据加工作业程序；更改数据下传平台(DCDS)文本订阅参数，将已经进行了数据结构更改的海外分行数据文本送往节点A，未进行数据结构更改的海外分行数据文本送往节点B ;节点A按照新数据结构进行数据清洗和数据装载，节点B按照旧数据结构进行数据清洗和数据装载；数据装载到本系统数据库后，按照新的映射规则进行报表加工；根据源系统版本升级情况，对于数据已经变更的分行，变更的数据体现在生成的报表上；对于源系统版本未变更的分行，由于无数据支持，应用程序按照默认值进行报表加工并生成报表；在源系统版本全球升级完毕后，变更的数据体现在所有分行的报表上
[0073]以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
【权利要求】
1.一种信息管理系统，应用于升级前银行核心系统和升级后银行核心系统，其特征在于，所述信息管理系统包括: 数据接收模块，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据； 数据报表生成模块，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工； 数据上传模块，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台。
2.根据权利要求1所述的信息管理系统，其特征在于，所述信息管理系统采用中心组件进行作业调度以为生成报表提供作业平台环境，其具体配置为:根据数据源采集时点，力口工频度和时效将数据作业划分为多个子系统，采用中心组件对所述子系统进行调度。
3.根据权利要求1所述的信息管理系统，其特征在于，所述信息管理系统中数据存储分为三层: ODS源数据区、UDM统一数据模型和FCT事实表， 其中，在ODS层和UDM层，所述升级后银行核心系统的数据与所述升级前银行核心系统的数据相互隔离，并在FCT层合并存储。
4.根据权利要求1所述的信息管理系统，其特征在于，所述信息管理系统进一步配置有相互独立的业务报表数据区和分析类报表数据去，以对所述业务类报表与所述分析类报表进行逻辑隔离并独立进行数据加载和加工。
5.根据权利要求1所述的信息管理系统，其特征在于，当数据源系统数据结构发生变更时，所述信息管理系统配置有滚动升级机制，该机制为: 停止ETL服务器第一节点服务，更新所述第一节点数据清洗和数据装载程序； 变更所述信息管理系统的数据结构，更新数据加工作业程序； 更改数据下传平台文本订阅参数，已经变更数据结构的数据发送给所述第一节点，未变更数据结构的数据发送给ETL服务器第二节点； 所述第一节点按照新数据结构进行数据清洗和数据装载，所述第二节点按照升级前数据结构进行数据清洗和数据装载； 数据装载到所述信息管理系统数据库后，按照升级后的映射规则进行报表加工； 根据银行核心系统版本升级情况,生成相应报表。
6.—种信息管理方法,包括: 数据接收步骤，用于通过数据下传平台，分别接收升级后银行核心系统和升级前银行核心系统所传来的文本数据； 数据报表生成步骤，用于将所述升级后银行核心系统所传数据使用升级后数据模型加工，将所述升级前银行核心系统所传数据使用升级前数据模型加工，然后对传来的所述文本数据进行整合加工处理，生成业务类报表和分析类报表，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工； 数据上传步骤，用于将所述业务类报表和所述分析类报表分别上传至电子报表平台和信息服务平台， 其中数据报表生成步骤具体包括: 日报表批量处理步骤，用于接收所述升级后银行核心系统源表数据文件，将符合要求的数据文件加载到源数据区，数据入库后进行全量累积和其它数据加工，通过报表批量处理产生相应报表； 月报表批量处理步骤，用于按时接收所述升级后银行核心系统和所述升级前银行核心系统的源表数据文件和补录数据文件，将符合要求的数据文件加载到源数据区，数据入库后进行数据整合加工，将整合后的数据放入统一数据模型，在分析类报表生成日，系统利用统一数据模型数据生成报表元素、事实表和指标数据，存入事实表区，使用所述事实表区数据生成报表数据存储到报表区中。
7.根据权利要求6所述的信息管理方法，所述业务类报表与所述分析类报表逻辑隔离，并独立进行数据加载和加工，具体包括: 数据清洗相对独立，按时完成送达数据的清洗，并将文件状态进行注册； 业务报表子系统与数据清洗相对应，按时进行数据加载及报表生成； 分析报表子系统对数据进行后续加工，生成分析报表。
【文档编号】G06F17/30GK104199955SQ201410469392
【公开日】2014年12月10日 申请日期:2014年9月15日 优先权日:2014年9月15日
【发明者】钟剑标, 韩英, 易金华, 谢玲 申请人:中国银行股份有限公司