OLTP与OLAP一体化的汽车金融大数据系统的制作方法

本发明是oltp与olap一体化的汽车金融大数据系统，属于汽车金融风控技术领域。

背景技术：

传统的olap（onlineanalyticalprocessing）系统解决方案都是先建好数据仓库，然后从oltp（onlinetransactionprocessing）系统导入数据到数据仓库，这里就存在一个从oltp系统到olap系统的数据迁移的过程，而与oltp的实时性相比，数据迁移的过程是非常耗时的，另一方面，oltp和olap系统运行的高峰期是不同的，比如说oltp系统处理请求的高峰期是在白天，而olap系统主要在晚上做计算量很大的数据处理，两个系统分开部署的结果是各个系统所用的集群计算机资源在每天的很大一部分时间中都是空闲的，为此，本发明提出一种oltp与olap一体化的汽车金融大数据系统。

技术实现要素：

针对现有技术存在的不足，本发明目的是提供oltp与olap一体化的汽车金融大数据系统，以解决上述背景技术中提出的问题，本发明设计合理，使oltp系统和olap系统共用一套数据库定义并实现了接近实时的风控模型，为较大型的银行和汽车融资租赁公司提供了一套完整的可本地化的风控解决方案。

为实现上述目的，本发明提供如下技术方案：oltp与olap一体化的汽车金融大数据系统，包括模块a、模块b、模块c、模块d、模块e和模块f，所述模块f包括客户前端ui和管理后台ui；

所述模块a为关系型数据库，如mysql，在使用时，首先要定义数据库的表结构，主要包含以下3种表：

①：oltp系统表，用于定义和管理oltp系统，比如说需要多用户的管理功能，在数据库中要有相应的表结构支持；

②：olap系统表，比如说olap系统需要定义任务管理的表结构；

③：客户的订单数据表，这部分数据是风控模型的输入数据，以json格式保存在数据库中；

所述模块b为缓存数据库，主要的作用是为从oltp系统到数据仓库的数据传输提供一个缓冲的作用，模块b是可选的，当模块b关闭时，oltp系统将会把数据直接存入数据仓库，当模块b启用时，用一个独立的服务程序去管理数据仓库的数据写入，如果使用hadoop系统的话，可以用hbase、phoenix加spark的方式用多台集群计算机实现数据的快速写入，实现接近实时的数据仓库；

所述模块c为数据仓库，采用星型架构保存数据，即数据仓库的表由事实表和维度表组成，事实表和维度表通过外键连接，星型架构中的数据将由风控模型直接读取，hadoop文件系统的冗余存储可以保证系统的高可用性，hadoop集群也易于添加节点横向扩展，实现系统的可扩展性；

所述模块e为olap系统，olap系统包含风控报告查询接口和风控模型，oltp和olap合并后能够实现接近实时的风控模型，当模块c数据仓库被更新以后，olap系统中的风控模型能够及时的读取数据仓库内的星型架构的数据，用自动化的特征工程、数据清洗和模型训练更新模型到最新的状态，更新后的模型参数存放在关系型数据库mysql中，所以olap系统对数据仓库只有读操作，没有写操作，订单数据从oltp系统到缓存数据库，再到数据仓库，最后到olap系统是一个单向流动的过程，当风控报告查询接口接到oltp系统的订单查询时，会从关系型数据库中读取最新的风控模型以及该模型对应的参数，用这个模型计算出订单查询的结果并返回给oltp系统，所以订单查询并不需要与数据仓库有关的任何操作；

所述模块d为oltp系统，oltp系统包含客户风控订单接口和第三方数据源接口，客户风控订单接口负责接收客户的订单，客户可以以api调用的方式调用客户风控订单接口，也可以通过客户前端ui下订单，当一个客户下单时，oltp系统会有以下操作：

①：调用第三方数据源接口获取贷款申请人的数据，包括身份验证、银行资产和消费数据，负面信息数据，借贷历史数据，信用数据，联系人数据和反欺诈数据等；

②：把客户风控订单接口传入的数据和第三方数据源接口收集的数据作为参数，并调用olap系统中的风控报告查询接口；

③：保存订单相关数据，当风控报告查询接口返回结果时，把所有与这个订单有关的数据保存到mysql和redis缓存；

④：生成风控报告并发送给客户。

一实施例中：所述模块a中的各个表结构的部署是灵活的，它们并不需要物理的保存在同一台计算机中，具体可以根据项目的需要或负载进行部署。

一实施例中：所述数据仓库为非关系型数据库，如hbase。

一实施例中：所述客户前端ui为客户前端交互界面，所述管理后台ui为供项目管理员使用的管理后台界面。

采用上述技术方案后，一方面，本发明首次提出了oltp与olap一体化的大数据系统解决方案，这里的一体化包含了数据一体化即oltp与olap两个项目数据库的一体化和集群计算机资源的一体化，数据一体化后将不存在从oltp到olap的数据迁移的问题，两个系统将会共用同一个数据库，同时让两个系统共用一个计算机集群，提高集群计算资源的利用效率；

另一方面，能够使oltp系统和olap系统共用一套数据库定义并实现了接近实时的风控模型，为较大型的银行和汽车融资租赁公司提供了一套完整的可本地化的风控解决方案；

此外，oltp和olap的一体化部署能够为企业节省大量的云计算成本，并同时保证整个系统的高可用性和可扩展性。

附图说明

图1为本发明oltp与olap一体化的汽车金融大数据系统的实现步骤流程图；

图中：1-模块a、2-模块b、3-模块c、4-模块d、5-模块e、6-模块f、7-客户风控订单接口、8-第三方数据源接口、9-风控报告查询接口、10-风控模型、11-客户前端ui、12-管理后台ui。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供oltp与olap一体化的汽车金融大数据系统，包括模块a1、模块b2、模块c3、模块d4、模块e5和模块f6，所述模块f6包括客户前端ui11和管理后台ui12；

所述模块a1为关系型数据库，如mysql，在使用时，首先要定义数据库的表结构，主要包含以下3种表：

①：oltp系统表，用于定义和管理oltp系统，比如说需要多用户的管理功能，在数据库中要有相应的表结构支持；

②：olap系统表，比如说olap系统需要定义任务管理的表结构；

③：客户的订单数据表，这部分数据是风控模型的输入数据，以json格式保存在数据库中；

所述模块b2为缓存数据库，如redis，主要的作用是为从oltp系统到数据仓库的数据传输提供一个缓冲的作用，模块b2是可选的，当模块b2关闭时，oltp系统将会把数据直接存入数据仓库，当模块b2启用时，用一个独立的服务程序去管理数据仓库的数据写入，如果使用hadoop系统的话，可以用hbase、phoenix加spark的方式用多台集群计算机实现数据的快速写入，实现接近实时的数据仓库；

所述模块c3为数据仓库，采用星型架构保存数据，即数据仓库的表由事实表和维度表组成，事实表和维度表通过外键连接，星型架构中的数据将由风控模型直接读取，hadoop文件系统的冗余存储可以保证系统的高可用性，hadoop集群也易于添加节点横向扩展，实现系统的可扩展性；

所述模块e5为olap系统，olap系统包含风控报告查询接口9和风控模型10，oltp和olap合并后能够实现接近实时的风控模型10，当模块c3数据仓库被更新以后，olap系统中的风控模型10能够及时的读取数据仓库内的星型架构的数据，用自动化的特征工程、数据清洗和模型训练更新模型到最新的状态，更新后的模型参数存放在关系型数据库mysql中，所以olap系统对数据仓库只有读操作，没有写操作，订单数据从oltp系统到缓存数据库，再到数据仓库，最后到olap系统是一个单向流动的过程，当风控报告查询接口9接到oltp系统的订单查询时，会从关系型数据库中读取最新的风控模型10以及该模型对应的参数，用这个模型计算出订单查询的结果并返回给oltp系统，所以订单查询并不需要与数据仓库有关的任何操作；

所述模块d4为oltp系统，oltp系统包含客户风控订单接口7和第三方数据源接口8，客户风控订单接口7负责接收客户的订单，客户可以以api调用的方式调用客户风控订单接口7，也可以通过客户前端ui11下订单，当一个客户下单时，oltp系统会有以下操作：

①：调用第三方数据源接口8获取贷款申请人的数据，包括身份验证、银行资产和消费数据，负面信息数据，借贷历史数据，信用数据，联系人数据和反欺诈数据等；

②：把客户风控订单接口7传入的数据和第三方数据源接口8收集的数据作为参数，并调用olap系统中的风控报告查询接口9；

③：保存订单相关数据，当风控报告查询接口9返回结果时，把所有与这个订单有关的数据保存到mysql和redis缓存；

④：生成风控报告并发送给客户。

本实施例中，所述模块a1中的各个表结构的部署是灵活的，它们并不需要物理的保存在同一台计算机中，具体可以根据项目的需要或负载进行部署。

进一步的，所述数据仓库为非关系型数据库，如hbase。

在应用本发明oltp系统与olap系统一体化的汽车金融大数据系统时，首先，需要一个计算机集群，在oltp系统方面，需要在集群的所有计算机上安装oltp系统，在一台计算机上安装负载均衡路由器，它将在客户请求较多时平衡集群各个计算机的负载，在olap系统方面，需要在每台计算机上安装olap系统，一个olap系统包含风控报告查询接口9和风控模型10，另外需要一个任务执行服务，在一台计算机上安装任务调度服务，还需要一个总调度服务，负责每台计算机上oltp系统和olap系统的开关，由于oltp系统和olap系统工作的时间点各不相同，比如说oltp系统在白天时负载较大，因此可把集群中的大部分计算机切换到oltp系统模式，在晚上oltp系统的请求很少时，可把集群切换到olap系统模式，进行密集的模型训练任务，每台计算机上的oltp系统仅调用本计算机的olap系统的接口，以保证工作量的平均分配，系统投入使用后，一方面，本发明首次提出了oltp系统与olap系统一体化的大数据系统解决方案，这里的一体化包含了数据一体化即oltp系统与olap系统两个项目数据库的一体化和集群计算机资源的一体化，数据一体化后将不存在从oltp系统到olap系统的数据迁移的问题，两个系统将会共用同一个数据库，同时让两个系统共用一个计算机集群，提高集群计算资源的利用效率，另一方面，能够使oltp系统和olap系统共用一套数据库定义并实现了接近实时的风控模型，为较大型的银行和汽车融资租赁公司提供了一套完整的可本地化的风控解决方案。

优选的，本实施例还具有以下配置，所述客户前端ui11为客户前端交互界面，所述管理后台ui12为供项目管理员使用的管理后台界面。

此外，oltp系统和olap系统的一体化部署能够为企业节省大量的云计算成本，并同时保证整个系统的高可用性和可扩展性。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。