数据处理系统的制作方法
【专利摘要】本发明公开了一种数据处理系统，基于WIN平台用于银行分行的海量营销数据处理，包括：参数配置管理模块，用于对所述系统进行整体控制；文件下载模块；文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确；数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库；文件上传模块；作业生成模块；作业运行监控模块。本发明的数据处理系统，支持海量数据的处理，并且能够减少数据处理对现有联机业务的影响。
【专利说明】数据处理系统
【技术领域】
[0001]本发明涉及银行辖内网点服务【技术领域】，尤其涉及一种基于WIN平台用于银行分 行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持的数据处理系统。
【背景技术】
[0002]现有技术，银行辖内网点服务为了向客户推荐产品，需要分行将客户以及营销产 品的推荐信息导入网点服务销售系统的数据库，面对大型商业银行全行有数以亿计的庞大 客户群，营销产品可能会有成百上千个，那么客户营销产品推荐信息的数据量有可能达到 10亿的规模。在高峰时期，有可能存在各分行同时网点服务销售系统导入数据的情况，如 何支持在非营业时间段处理完10亿级别的数据量以及减少数据处理对现有联机业务的影 响，成为一个需要解决的问题。
[0003]为满足覆盖银行辖内网点服务销售流程需要，针对未来新线网点综合柜员、综合 客户经理等再造要求，结合对分行调研情况及各分行的实践，建立以客户为中心的新线网 点服务销售标准流程，达到提升客户体验及服务质量、提高网点销售能力及网点销售考核 需要目的，提出了网点综合客户经理及服务销售方案。
[0004]为了满足面向网点客户到达柜台前的服务支持和业务处理需要，包括网点客户信 息传递、客户业务申请资料预处理、交叉销售支持、网点员工服务销售积分管理等方面功能 需求，为上述方案配套的具体的数据处理系统的开发就成了需要解决的问题。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种数据处理系统，围绕网点渠道的服务与销 售提供系统支持，支持客户基本信息及资产情况的海量数据的处理；支持客户与营销产品 关系的海量数据的处理；支持客户与营销活动关系的海量数据的处理，并且能够减少数据 处理对现有联机业务的影响。
[0006]为了解决上述技术问题，本发明提供了一种数据处理系统，所述系统基于WIN平 台用于银行分行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持，包括:
[0007]参数配置管理模块，用于对所述系统总体进行控制；
[0008]文件下载模块，用于对各分行的客户营销产品信息文件进行下载；
[0009]文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息 是否正确；
[0010]数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数 据库；
[0011]文件上传模块，将处理过的结果文件传回分行，以供分行对处理结果进行审核；
[0012]作业生成模块，用于根据不同的参数配置，生成最终的运行作业；
[0013]作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行状 态。[0014]作为优选，所述参数配置管理模块的功能为:
[0015]用于控制文件类型以及该文件类型的处理模块，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；
[0016]用于控制数据处理的并发度，根据系统资源的情况，选择合适的并发度；
[0017]用于控制数据的成功率，通过控制数据处理的成功率判定该文件处理成功并可以应用；
[0018]用于控制错误文件的枚举行数，通过当数据处理发生错误时控制返回给分行的文件的错误数据的行数，使得分行根据列出的错误数据再次调整数据文件。
[0019]作为优选，所述文件下载模块的功能为对下载的各分行的客户营销产品信息文件名称进行校验，判断文件属性信息是否合法，以及该文件是否被下载过并将下载过的文件移到指定文件夹中。
[0020]作为优选，所述数据处理模块的功能为向按照分行建立不同的分区的数据库以并行方式导入已经并行处理校验过的数据文件，并且生成处理结果文件，所述处理结果文件包括已处理的数据行数信息、总共处理时间信息和存在主键冲突而导入失败的数据行信息。[0021]作为优选，所述系统基于? NET Framework技术实现。
[0022]作为优选，所述系统使用三层式架构，包括:
[0023]服务层，用于提供服务接口供外部程序调用；
[0024]业务处理层，用于提供业务逻辑处理功能；
[0025]数据层，用于提供对数据库的访问。
[0026]作为优选，所述系统的联机接口通信承载协议采用国际通用标准协议。
[0027]作为优选，所述系统的联机接口数据交换协议采用可扩展标记语言。
[0028]作为优选，所述系统采用可扩展性模块组合设计。
[0029]与现有技术相比，本发明的数据处理系统的有益效果在于:
[0030]1.高性能:可以支持多家分行在同一时间点同时导入海量的客户营销产品信息数据，并且减少导入时间，同时在处理过程中不会影响联机业务的运行；
[0031]2.安全:数据生效时间在秒级别，数据处理使用分区切换技术，先将各分行的数据导入临时表，成功之后再统一切换到业务数据表，所以业务数据生效的时间在秒级别，同时不会影响联机业务的运行；
[0032]3.扩展性好:可以通过配置文件控制文件类型以及相应的处理模块，每个文件类型的处理模块都不尽相同，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；
[0033]4.灵活的容错机制:可以通过配置文件来配置全量数据文件的导入成功率；
[0034]5.保存历史数据。可以通过配置，使数据库中自动保存上一个版本的营销信息历史数据，当当前版本存在问题时，可以快速恢复到上一个正确的版本，或者将上一个版本的数据用于查询核对；
[0035]6.并发机制:可以通过配置来调节系统任务的并发度，根据系统资源情况调整为合适的并发度，已达到最佳性能。
[0036]7.丰富的错误处理功能:给分行的返回文件中可以记录已处理的数据行数，总共处理的时间，哪一行数据导入失败存在主键冲突等信息，方便分行进行核对并进行相应调
難
iF.0
【专利附图】
【附图说明】
[0037]图1为本发明的实施例的数据处理系统的整体结构以及围绕网点渠道的服务与销售提供系统支持的示意图；
[0038]图2为本发明的实施例的数据处理系统的逻辑架构图。
【具体实施方式】
[0039]下面结合附图和具体实施例对本发明的实施例的数据处理系统作进一步详细描述，但不作为对本发明的限定。
[0040]图1为本发明的实施例的数据处理系统的整体结构以及围绕网点渠道的服务与销售提供系统支持的示意图；图2为本发明的实施例的数据处理系统的逻辑架构图。参考图1和图2所示，本发明的实施例的数据处理系统，基于WIN平台用于银行分行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持，包括以下模块:
[0041]1、参数配置管理模块，对系统进行整体控制，优选的功能为:
[0042]a.控制文件类型以及相应的处理模块，每个文件类型的处理模块都不尽相同，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；
[0043]b.控制数据处理的并发度，根据系统资源的情况，选择合适的并发度；
[0044]c.控制数据的成功率。因为每次都是全量导入数据，可以控制控制数据处理的成功率，例如全量数据中有80%导入成功则认为该文件处理成功，并可以应用；
[0045]d.控制错误文件的枚举行数。当数据处理发生错误时可以控制返回给分行的文件的错误数据的行数，以便分行根据列出的错误数据再次调整数据文件，而且又不会因为错误数据过多影响系统性能。
[0046]2、文件下载模块，用于对各分行的客户营销产品信息文件进行下载，优选的功能为，校验文件名称、文件属性信息是否合法，该文件是否以及下载过等，并将下载过的文件移入指定文件夹。
[0047]3、文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确等。
[0048]4、数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库，优选的功能为，并行处理校验过的数据文件，将其以并行的方式同时导入数据库，该数据库中按照分行建立不同的分区，支持各分行数据的同时导入，并且使用分区切换技术保证数据可以在瞬间生效，同时在数据导入过程中又不会影响联机业务。生成处理结果文件，包含已处理的数据行数，总共处理的时间，哪一行数据导入失败存在主键冲突等信肩、O
[0049]5、文件上传模块，用于将处理过的结果文件传回分行，以供分行对处理结果进行审核。
[0050]6、作业生成模块，用于根据不同的参数配置，生成最终的运行作业。作业指所有可以被用于调度的应用程序。
[0051]7、作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行 状态。
[0052]参考图1所示，以具体服务实例说明，本发明的实施例的数据处理系统围绕网点 渠道的服务与销售提供系统支持，支持客户基本信息及资产情况的海量数据的处理；支持 客户与营销产品关系的海量数据的处理；支持客户与营销活动关系的海量数据的处理，其 中，
[0053]对外提供数据服务包括:
[0054]I)、通过协议接口，向例如柜面前端系统提供营销数据查询、营销记录、交易场景 获取等联机服务；
[0055]2)、通过协议接口，向例如柜面前端系统提供配置管理交易，借助柜面前端系统完 成自身的参数配置及管理接口；
[0056]3)、通过协议接口，向多渠道接入系统提供特定客户(如VIP)信息查询的联机服 务;
[0057]4)、基于FTP协议，向网点信息管理系统提供交易数据、营销数据和积分计算规则 数据；
[0058]5)、采用用户体验设计，界面设计上满足用户需求、使用过程中收集用户反馈信
肩、O
[0059]柜面前端系统是基于网页的银行前端业务平台，作为银行集中的柜面前端系统， 承担核心银行系统和各外围系统的柜面交易。
[0060]多渠道接入系统，作为电子渠道系统与新线后台核心及外围产品系统之间的统一 接入模块，提供以下功能:新线核心系统及外围产品系统的交易服务代理、渠道间服务交 叉访问的投送与转接、实现不同渠道间服务的共享、可以满足不同渠道的特色要求、屏蔽电 子渠道系统与新线核心及外围产品之间的接口差异及优化整个电子渠道系统接入的体系 架构、各电子渠道系统相关交易公共逻辑的集中处理，包括交易的组合、拆分等。
[0061]网点信息管理系统，通过联机和批量方式采集网点的基本及经营信息，进行折算 汇总等加工，并出相关报表。用户可通过联机查询或从电子报表管理系统下载报表，获得网 点相关信息。另外，网点信息管理系统还接收网点服务销售的相关积分等数据，并加工报表 供用户下载查询。
[0062]接收的数据批量包括:
[0063]I)、卡营销数据，以客户号和客户姓名、证件类型以及证件号码为索引的各类围绕 客户的营销数据；
[0064]2)、营销分析数据，以客户号和客户姓名、证件类型、以及证件号码为索引的各类 围绕客户的营销数据；
[0065]3 )、特定客户(如VIP )信息；
[0066]4)、通过FTP只读方式取得柜员机构的回执信息，并对该信息进行处理。
[0067]作为一种改进，本发明的实施例的数据处理系统基于.NET Framework技术实现。 其中.NET Framework是用于Windows的新托管代码编程模型,优选地用于敏捷软件开发、 快速应用开发、平台无关性和网络透明化的软件开发平台。参考图2所示，本实施例使用三层架构，其中，服务层提供服务接口，包括通讯服务，供外部程序调用，例如柜面前端系统及相应的服务器、客户端等，以及通过外部联机系统连接的分行客服平台等；业务处理层具有报文处理、业务处理组件、通讯组件以及工作流引擎提供业务逻辑处理功能；数据层提供对数据库的访问，例如包括有网点信息管理系统、数据下传平台等的外部数据系统。
[0068]作为改进，本发明的实施例的数据处理系统的(I)联机接口服务程序宿主运行在IIS/W3WP进程中，使用独立的应用程序池，本实施例的联机接口通信承载协议采用国际通用标准HTTP POST/GET，利用 ASP.NET HTTP Handler 统一侦听HTTP GET/POST接 口调用。并且，联机接口数据交换协议采用XML，请求XML消息统一接收，解析获得消息头；将请求XML消息头数据与消息体数据链式传入消息处理组合模块组；将解析好的原始请求对应的友好的结构化参数，转发专用业务处理组件处理，并生成应答XML数据，返回调用方。优选地，客户端接口调用安全认证采用客户端Windows认证，利用IIS提供Windows集成方式实现对调用方的安全认证，其他信任系统后台通信接口调用安全认证采用IP认证。
[0069]作为更进一步的改进，本发明的实施例的数据处理系统采用可扩展性模块组合设计，即基于.NET MEF设计。Managed Extensibility Framework或MEF是一个用于创建可扩展的轻型应用程序的库。利用该库实现发现并使用扩展组件，而无需进行配置。避免生成脆弱的硬依赖项。有别于显式注册可用组件的做法，MEF提供一种通过“组合”隐式发现组件的方法。MEF组件(称为“部件”)以声明方式同时指定其依赖项(称为“导入”)及其提供的功能(称为“导出”)。创建一个部件时，MEF组合引擎会使其导入与其他部件提供的内容相符合。由于MEF部件以声明方式指定其功能，因此在运行时可发现这些部件。这意味着，应用程序无需硬编码的引用或脆弱的配置文件即可利用相关部件。通过MEF，应用程序可以通过部件的元数据来发现并检查部件，而不用实例化部件，或者甚至不用加载部件的程序集。因此，没有必要仔细指定应何时以及如何加载扩展。除了部件提供的导出以外，部件还可以指定其导入，然后由其他部件填充这些导入。这不仅使各部件之间的通信变为可能，而且使通信变得很容易，此外，还可以合理地分解代码。例如，可以将许多组件的公用服务分解到单独的部件中，以便于修改或替换。由于MEF模型不要求硬依赖于特定的应用程序程序集，因此，此模型允许在应用程序之间重用扩展。利用此模型，还可以轻松地开发独立于应用程序的测试工具来测试扩展组件。使用MEF编写的可扩展应用程序会声明一个可由扩展组件填充的导入，而且还可能会声明导出，以便向扩展公开应用程序服务。每个扩展组件都会声明一个导出，而且还可能会声明导入。通过这种方式，扩展组件本身是自动可扩展的。
[0070]本发明的实施例的数据处理系统整体应用部署方面，与总行及各分行的配套数据系统、网点柜员客户端等构建功能完整的营销数据处理架构，全辖逻辑及数据集中，易于应用访问和系统部署维护。采用服务器集群结构，确保运行健壮性，且易于横向扩展及灾备架构的冗余数据备份。同时，数据存储、应用逻辑、工作流相互独立，易于管理。
[0071]以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
【权利要求】
1.一种数据处理系统，其特征在于，所述系统基于WIN平台用于银行分行的海量营销数据处理，包括: 参数配置管理模块，用于对所述系统进行整体控制； 文件下载模块，用于对各分行的客户营销产品信息文件进行下载； 文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确； 数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库； 文件上传模块，将处理过的结果文件传回分行，以供分行对处理结果进行审核； 作业生成模块，用于根据不同的参数配置，生成最终的运行作业； 作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行状态。
2.根据权利要求1所述的数据处理系统，其特征在于，所述参数配置管理模块的功能为: 用于控制文件类型以及该类型文件的处理模块，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块； 用于控制数据处理的并发度，根据系统资源的情况，选择合适的并发度； 用于控制数据的成功率，通过控制数据处理的成功率判定该文件处理成功并可以应用； 用于控制错误文件的枚举行数，通过当数据处理发生错误时控制返回给分行的文件的错误数据的行数，使得分行根据列出的错误数据再次调整数据文件。
3.根据权利要求2所述的数据处理系统，其特征在于，所述文件下载模块的功能为对下载的各分行的客户营销产品信息文件名称进行校验，判断文件属性信息是否合法，以及该文件是否被下载过并将下载过的文件移到指定文件夹中。
4.根据权利要求3所述的数据处理系统，其特征在于，所述数据处理模块的功能为向按照分行建立不同的分区的数据库以并行方式导入已经并行处理校验过的数据文件，并且生成处理结果文件，所述处理结果文件包括已处理的数据行数信息、总共处理时间信息和存在主键冲突而导入失败的数据行信息。
5.根据权利要求4所述的数据处理系统,其特征在于，所述系统基于.NET Framework技术实现。
6.根据权利要求5所述的数据处理系统，其特征在于，所述系统使用三层式架构，包括: 服务层，用于提供服务接口供外部程序调用； 业务处理层，用于提供业务逻辑处理功能； 数据层，用于提供对数据库的访问。
7.根据权利要求6所述的数据处理系统，其特征在于，所述系统的联机接口通信承载协议采用国际通用标准协议。
8.根据权利要求7所述的数据处理系统，其特征在于，所述系统的联机接口数据交换协议采用可扩展标记语言。
9.根据权利要求8所述的数据处理系统，其特征在于，所述系统采用可扩展性模块组合设计。
【文档编号】G06Q40/02GK103578032SQ201310567365
【公开日】2014年2月12日 申请日期:2013年11月14日 优先权日:2013年11月14日
【发明者】张立强, 张明威, 黄海峰, 李星星, 高辉, 张合枰 申请人:中国银行股份有限公司