大数据金融平台的实现方法及系统与流程

本发明涉及企业征信技术领域，具体而言，涉及一种大数据金融平台的实现方法及系统。

背景技术：

小企业融资难是目前普遍存在的现象，一方面，小企业经营过程中经常会遇到周转资金紧张的情况，对一些经营情况比较好，但又没有什么可抵押资产的企业，也很难从银行等金融机构融到资金。另一方面，金融机构也希望在小企业融资方面进行拓展，但由于不了解企业经营状况，征信的成本很高，对于小企业的小额贷款来说就没有利润可图。因此，如何为借贷双方提供高效沟通通道成为亟待解决的问题。

技术实现要素：

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提出了一种大数据金融平台的实现方法。

本发明的另一个目的在于提出了一种大数据金融平台的实现系统。

有鉴于此，根据本发明的一个目的，提出了一种大数据金融平台的实现方法，包括：收集企业数据；根据企业数据，计算企业指标；接收对企业指标的访问请求；根据访问请求，允许金融机构访问企业指标。

本发明提供的大数据金融平台的实现方法，接收由企业上传的企业数据，根据企业数据进行企业指标计算，并且允许金融机构对企业指标的访问，本发明能够将企业与金融机构通过大数据连接起来，不只是从企业的财务报表掌握企业情况，而且还能从业务数据校验企业的财务数据真实性，为金融机构高效的提供征信服务，能够帮助金融机构及时反馈企业的经营信息，降低金融机构的风险，并且通过本发明使得企业能够方便地找到适合自己的金融产品，通过企业经营过程产生的数据就能进行信用贷款，还能享受更优惠的服务。

根据本发明的上述大数据金融平台的实现方法，还可以具有以下技术特征：

在上述技术方案中，优选地，收集企业数据，具体包括：基于https协议，按照预设时间收集企业数据。

在该技术方案中，由于客户均为中小企业，大部分不具备机房，一般是通过个人电脑运行财务软件，因此在个人电脑随时可能会关机或者在一段时间内无网络连接的情况下，基于https协议进行企业数据的传输，保证了企业数据的安全性。此外，企业数据一般以月为单位上报，所以大部分企业数据的上报会集中在某一个时间段，在客户端设置上报时间时，要保证不同企业的上报时间不同，避免服务器的某个时间段的压力过大。

在上述任一技术方案中，优选地，根据企业数据，计算企业指标的步骤，具体包括：对企业数据进行数据清理，生成格式化数据；对格式化数据进行关联转换，得到中间结果；对中间结果进行聚合，获取企业指标。

在该技术方案中，企业指标的计算过程是一个etl(extracttransformload，数据仓库技术)数据处理过程，具体为先进行数据清理，生成格式化的初步数据，然后进行关联转换操作，得到中间结果，最后对中间结果进行聚合，得到企业指标。企业指标计算过程是多个计算过程，这些计算过程之间并行或相互依赖，所以采用azkaban作为定时任务调度系统，保证依赖的先后顺序，同时也保证充分地并行，还能够提供友好的web界面，方便的交互方式，以及失败通知及失败重试等。

在上述任一技术方案中，优选地，在收集企业数据的同时，还包括：记录企业数据的时间戳。

在该技术方案中，考虑到客户端环境复杂性，允许多次上传，即对每条上报的企业数据记录下时间戳，对于相同的企业数据获取的是时间戳最晚的企业数据。

在上述任一技术方案中，优选地，在根据访问请求，允许金融机构访问所述企业指标之前，还包括：对金融机构进行身份验证；当金融机构身份验证通过后，允许金融机构访问所述企业指标。

在该技术方案中，基于https协议，按照预设时间收集企业数据，对企业数据一次进行清理、关联转换、聚合后获取企业指标，在金融机构想查看企业指标时，提前给金融机构提供秘钥对，根据秘钥对对金融机构的身份进行验证，根据金融机构的身份可以确定金融机构能够访问的企业数据的范围，从而保证了数据的安全性。

在上述任一技术方案中，优选地，企业数据包括以下一种或其组合：企业经营数据、企业财务数据。

在该技术方案中，在企业授权下获取企业经营数据、企业财务数据。通过企业经营数据、企业财务数据计算企业指标，为金融机构给企业放贷提供重要参考。

在上述任一技术方案中，优选地，企业指标包括以下一种或其组合：企业健康指数、企业财务指数、企业综合评分。

在该技术方案中，通过健康指数、财务指数、综合评分等企业指标，使得企业财务情况、经营状况进行可视化展示，使金融机构贷前、贷后都能及时掌握企业情况。

根据本发明的另一个目的，提出了一种大数据金融平台的实现系统，包括：数据收集单元，用于收集企业数据；处理单元，用于根据企业数据，计算企业指标；接收单元，用于接收对企业指标的访问请求；交互单元，用于根据访问请求，允许金融机构访问企业指标。

本发明提供的大数据金融平台的实现系统，数据收集单元接收由企业上传的企业数据，处理单元根据企业数据进行企业指标计算，通过交互单元允许金融机构对企业指标的访问，本发明能够将企业与金融机构通过大数据连接起来，不只是从企业的财务报表掌握企业情况，而且还能从业务数据校验企业的财务数据真实性，为金融机构高效的提供征信服务，能够帮助金融机构及时反馈企业的经营信息，降低金融机构的风险，并且通过本发明使得企业能够方便地找到适合自己的金融产品，通过企业经营过程产生的数据就能进行信用贷款，还能享受更优惠的服务。

根据本发明的上述大数据金融平台的实现系统，还可以具有以下技术特征：

在上述技术方案中，优选地，数据收集单元，具体用于：基于https协议，按照预设时间收集企业数据。

在该技术方案中，由于客户均为中小企业，大部分不具备机房，一般是通过个人电脑运行财务软件，因此在个人电脑随时可能会关机或者在一段时间内无网络连接的情况下，数据收集单元基于https协议进行企业数据的传输，保证了企业数据的安全性。此外，企业数据一般以月为单位上报，所以大部分企业数据的上报会集中在某一个时间段，在客户端设置上报时间时，要保证不同企业的上报时间不同，避免服务器的某个时间段的压力过大。

在上述任一技术方案中，优选地，处理单元，具体用于：对企业数据进行数据清理，生成格式化数据；对格式化数据进行关联转换，得到中间结果；对中间结果进行聚合，获取企业指标。

在该技术方案中，企业指标的计算过程是一个etl数据处理过程，具体为先进行数据清理，生成格式化的初步数据，然后进行关联转换操作，得到中间结果，最后对中间结果进行聚合，得到企业指标。企业指标计算过程是多个计算过程，这些计算过程之间并行或相互依赖，所以采用azkaban作为定时任务调度系统，保证依赖的先后顺序，同时也保证充分地并行，还能够提供友好的web界面，方便的交互方式，以及失败通知及失败重试等。

在上述任一技术方案中，优选地，还包括：记录单元，用于记录企业数据的时间戳。

在该技术方案中，考虑到客户端环境复杂性，允许多次上传，通过记录单元对每条上报的企业数据记录下时间戳，对于相同的企业数据获取的是时间戳最晚的企业数据。

在上述任一技术方案中，优选地，还包括：验证单元，用于对金融机构进行身份验证；交互单元，还用于当金融机构身份验证通过后，允许金融机构访问企业指标。

在该技术方案中，基于https协议，按照预设时间收集企业数据，对企业数据一次进行清理、关联转换、聚合后获取企业指标，在金融机构想查看企业指标时，提前给金融机构提供秘钥对，根据秘钥对对金融机构的身份进行验证，验证单元根据金融机构的身份可以确定金融机构能够访问的企业数据的范围，从而保证了数据的安全性。

在上述任一技术方案中，优选地，企业数据包括以下一种或其组合：企业经营数据、企业财务数据。

在该技术方案中，在企业授权下获取企业经营数据、企业财务数据。通过企业经营数据、企业财务数据计算企业指标，为金融机构给企业放贷提供重要参考。

在上述任一技术方案中，优选地，企业指标包括以下一种或其组合：企业健康指数、企业财务指数、企业综合评分。

在该技术方案中，通过健康指数、财务指数、综合评分等企业指标，使得企业财务情况、经营状况进行可视化展示，使金融机构贷前、贷后都能及时掌握企业情况。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的大数据金融平台的实现方法的流程示意图；

图2示出了本发明的另一个实施例的大数据金融平台的实现方法的流程示意图；

图3a示出了本发明的再一个实施例的大数据金融平台的实现方法的流程示意图；

图3b示出了本发明的又一个实施例的大数据金融平台的实现方法的流程示意图；

图4a示出了本发明的一个实施例的大数据金融平台的实现系统的示意框图；

图4b示出了本发明的另一个实施例的大数据金融平台的实现系统的示意框图；

图5示出了本发明的一个具体实施例的大数据金融平台的实现系统的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种大数据金融平台的实现方法，图1示出了本发明的一个实施例的大数据金融平台的实现方法的流程示意图：

步骤102，收集企业数据；

步骤104，根据企业数据，计算企业指标；

步骤106，接收对企业指标的访问请求；

步骤108，根据访问请求，允许金融机构访问企业指标。

本发明提供的大数据金融平台的实现方法，接收由企业上传的企业数据，根据企业数据进行企业指标计算，并且允许金融机构对企业指标的访问，本发明能够将企业与金融机构通过大数据连接起来，不只是从企业的财务报表掌握企业情况，而且还能从业务数据校验企业的财务数据真实性，为金融机构高效的提供征信服务，能够帮助金融机构及时反馈企业的经营信息，降低金融机构的风险，并且通过本发明使得企业能够方便地找到适合自己的金融产品，通过企业经营过程产生的数据就能进行信用贷款，还能享受更优惠的服务。

图2示出了本发明的另一个实施例的大数据金融平台的实现方法的流程示意图：

步骤202，基于https协议，按照预设时间收集企业数据；

步骤204，根据企业数据，计算企业指标；

步骤206，接收对企业指标的访问请求；

步骤208，根据访问请求，允许金融机构访问企业指标。

在该实施例中，由于客户均为中小企业，大部分不具备机房，一般是通过个人电脑运行财务软件，因此在个人电脑随时可能会关机或者在一段时间内无网络连接的情况下，基于https协议进行企业数据的传输，保证了企业数据的安全性。此外，企业数据一般以月为单位上报，所以大部分企业数据的上报会集中在某一个时间段，在客户端设置上报时间时，要保证不同企业的上报时间不同，避免服务器的某个时间段的压力过大。

图3a示出了本发明的再一个实施例的大数据金融平台的实现方法的流程示意图：

步骤302，基于https协议，按照预设时间收集企业数据；

步骤304，对企业数据进行数据清理，生成格式化数据；

步骤306，对格式化数据进行关联转换，得到中间结果；

步骤308，对中间结果进行聚合，获取企业指标；

步骤310，接收对企业指标的访问请求；

步骤312，根据访问请求，允许金融机构访问企业指标。

在该实施例中，企业指标的计算过程是一个etl(extracttransformload，数据仓库技术)数据处理过程，具体为先进行数据清理，生成格式化的初步数据，然后进行关联转换操作，得到中间结果，最后对中间结果进行聚合，得到企业指标。企业指标计算过程是多个计算过程，这些计算过程之间并行或相互依赖，所以采用azkaban作为定时任务调度系统，保证依赖的先后顺序，同时也保证充分地并行，还能够提供友好的web界面，方便的交互方式，以及失败通知及失败重试等。

在本发明的一个实施例中，优选地，在收集企业数据的同时，还包括：记录企业数据的时间戳。

在该实施例中，考虑到客户端环境复杂性，允许多次上传，即对每条上报的企业数据记录下时间戳，对于相同的企业数据获取的是时间戳最晚的企业数据。

图3b示出了本发明的又一个实施例的大数据金融平台的实现方法的流程示意图：

步骤302，基于https协议，按照预设时间收集企业数据；

步骤304，对企业数据进行数据清理，生成格式化数据；

步骤306，对格式化数据进行关联转换，得到中间结果；

步骤308，对中间结果进行聚合，获取企业指标；

步骤310，接收对企业指标的访问请求；

步骤314，对金融机构进行身份验证；

步骤316，当金融机构身份验证通过后，根据访问请求，允许金融机构访问企业指标。

在该实施例中，基于https协议，按照预设时间收集企业数据，对企业数据一次进行清理、关联转换、聚合后获取企业指标，在金融机构想查看企业指标时，提前给金融机构提供秘钥对，根据秘钥对对金融机构的身份进行验证，根据金融机构的身份可以确定金融机构能够访问的企业数据的范围，从而保证了数据的安全性。

在本发明的一个实施例中，优选地，企业数据包括以下一种或其组合：企业经营数据、企业财务数据。

在该实施例中，在企业授权下获取企业经营数据、企业财务数据。通过企业经营数据、企业财务数据计算企业指标，为金融机构给企业放贷提供重要参考。

在本发明的一个实施例中，优选地，企业指标包括以下一种或其组合：企业健康指数、企业财务指数、企业综合评分。

在该实施例中，通过健康指数、财务指数、综合评分等企业指标，使得企业财务情况、经营状况进行可视化展示，使金融机构贷前、贷后都能及时掌握企业情况。

本发明第二方面的实施例，提出一种大数据金融平台的实现系统400，图4a示出了本发明的一个实施例的大数据金融平台的实现系统400的示意框图：

数据收集单元402，用于收集企业数据；

处理单元404，用于根据企业数据，计算企业指标；

接收单元406，用于接收对企业指标的访问请求；

交互单元408，用于根据访问请求，允许金融机构访问企业指标。

本发明提供的大数据金融平台的实现系统400，数据收集单元402接收由企业上传的企业数据，处理单元404根据企业数据进行企业指标计算，通过交互单元408允许金融机构对企业指标的访问，本发明能够将企业与金融机构通过大数据连接起来，不只是从企业的财务报表掌握企业情况，而且还能从业务数据校验企业的财务数据真实性，为金融机构高效的提供征信服务，能够帮助金融机构及时反馈企业的经营信息，降低金融机构的风险，并且通过本发明使得企业能够方便地找到适合自己的金融产品，通过企业经营过程产生的数据就能进行信用贷款，还能享受更优惠的服务。

在本发明的一个实施例中，优选地，数据收集单元402，具体用于：基于https协议，按照预设时间收集企业数据。

在该实施例中，由于客户均为中小企业，大部分不具备机房，一般是通过个人电脑运行财务软件，因此在个人电脑随时可能会关机或者在一段时间内无网络连接的情况下，数据收集单元基于https协议进行企业数据的传输，保证了企业数据的安全性。此外，企业数据一般以月为单位上报，所以大部分企业数据的上报会集中在某一个时间段，在客户端设置上报时间时，要保证不同企业的上报时间不同，避免服务器的某个时间段的压力过大。

在本发明的一个实施例中，优选地，处理单元404，具体用于：对企业数据进行数据清理，生成格式化数据；对格式化数据进行关联转换，得到中间结果；对中间结果进行聚合，获取企业指标。

在该实施例中，企业指标的计算过程是一个etl数据处理过程，具体为先进行数据清理，生成格式化的初步数据，然后进行关联转换操作，得到中间结果，最后对中间结果进行聚合，得到企业指标。企业指标计算过程是多个计算过程，这些计算过程之间并行或相互依赖，所以采用azkaban作为定时任务调度系统，保证依赖的先后顺序，同时也保证充分地并行，还能够提供友好的web界面，方便的交互方式，以及失败通知及失败重试等。

图4b示出了本发明的另一个实施例的大数据金融平台的实现系统400的示意框图：

数据收集单元402，用于收集企业数据；

处理单元404，用于根据企业数据，计算企业指标；

接收单元406，用于接收对企业指标的访问请求；

交互单元408，用于根据访问请求，允许金融机构访问企业指标；

记录单元410，用于记录企业数据的时间戳。

在该实施例中，考虑到客户端环境复杂性，允许多次上传，通过记录单元对每条上报的企业数据记录下时间戳，对于相同的企业数据获取的是时间戳最晚的企业数据。

在本发明的一个实施例中，如图4b所示，优选地，大数据金融平台的实现系统400，还包括：

验证单元412，用于对金融机构进行身份验证；

交互单元408，还用于当金融机构身份验证通过后，根据访问请求，允许金融机构访问企业指标。

在该实施例中，基于https协议，按照预设时间收集企业数据，对企业数据一次进行清理、关联转换、聚合后获取企业指标，在金融机构想查看企业指标时，提前给金融机构提供秘钥对，根据秘钥对对金融机构的身份进行验证，验证单元412根据金融机构的身份可以确定金融机构能够访问的企业数据的范围，从而保证了数据的安全性。

在本发明的一个实施例中，优选地，企业数据包括以下一种或其组合：企业经营数据、企业财务数据。

在该实施例中，在企业授权下获取企业经营数据、企业财务数据。通过企业经营数据、企业财务数据计算企业指标，为金融机构给企业放贷提供重要参考。

在本发明的一个实施例中，优选地，企业指标包括以下一种或其组合：企业健康指数、企业财务指数、企业综合评分。

在该实施例中，通过健康指数、财务指数、综合评分等企业指标，使得企业财务情况、经营状况进行可视化展示，使金融机构贷前、贷后都能及时掌握企业情况。

结合图5详细说明本发明的大数据金融平台的实现系统的具体实施例：

一.数据收集

1.数据传输方式：由于客户均为中小企业，大部分不具备本企业的机房，一般是由个人电脑运行财务软件。这就可能出现个人电脑随时会关机，或者在一段时间内无法连接网络的问题。因此如图5所示，业务端的数据传输基于https协议，从而保证了数据安全性。并且传输接口保证幂等性，业务端一旦发送数据失败，可以重传，不会造成数据重复。

2.数据上报机制：企业财务数据一般以月为单位上报，所以大部分企业数据上报时间会集中在某一天。本发明在业务端设置上报时间时，保证不同企业上报时间不同，避免某个时间点的服务器的压力过大。同时电脑可能在企业设置的时间点是关机或者网络断开状态，所以业务端要保存上报结果的状态，每次网络好了后要进行检查，将历史遗留的数据上报。

二.接口层设计

1.幂等性：考虑到客户端环境复杂性，本发明允许数据多次上传，也即对每条上报的数据记录下时间戳，取数据时，对于相同的数据可以取时间最晚的那条。

2.消息队列：接口层本身不存储数据，而是作为业务端和kafka集群的中间层，进行数据格式校验、合理性校验，以及将数据打上时间戳，然后发送到kafka集群。

三.数据持久化

kafka集群收到的数据需要持久化存储，采用的是logstash定时向kafka集群拉取数据，其中logstash是一款轻量级的日志搜索处理框架，并且将数据存储到hdfs中，其中hdfs是hadoop分布式文件系统。

四.企业指标计算

1.计算步骤：企业指标计算过程是一个典型的etl数据处理过程，简单说就是先进行数据清理，生成格式化的初步数据，然后进行关联转换操作，得到中间结果，最后对中间结果进行聚合，得到最终企业指标数据。企业指标数据主要有健康指数、财务指数、综合评分等。

2.定时调度：企业指标计算过程是多个计算过程，计算过程之间有并行，也有相互依赖，所以设计定时任务时要保证依赖的先后顺序，以及保证任务运行能够充分地并行，也是为了减少总运行时间。如图5所示，定时任务的调度系统采用azkaban，azkaban除了能满足以上的需求外，还能够提供友好的web界面，方便的交互方式，以及失败通知、失败重试等。

五.与金融机构数据同步

如图5所示以平台的形式提供数据查询接口，基于rbac(rolebasedaccesscontrol，基于角色的访问控制)。数据权限层面控制涉及数据的行权限、列权限，提前给金融机构提供密钥对，根据金融机构的身份可以确定金融机构能够访问哪些数据，从而保证了数据的安全性。

本发明通过数据采集及大数据计算，能够使企业财务情况及经营状况进行可视化展示，并且实现了企业数据与金融机构同步以及确保了同步的安全性，使得贷款方与借款方的双向选择，以及金融机构贷前及贷后都能及时掌握企业情况。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。