本发明涉及互联网技术，更具体地说，涉及互联网金融领域的用户评价技术。
背景技术：
互联网金融随着互联网技术的发展而得到了快速的发展。与传统金融业不同，互联网金融的多数操作在线上，而非现场完成。互联网金融以快速便捷，全程在线操作，无需现场处理为特点，大幅提升了用户的使用便利程度，因此得到了广泛的欢迎和迅速的发展。
但线上操作的互联网金融也面临一些困难。风控是金融的生命，不同的金融形式对风控的要求不尽相同。传统金融更加偏向线下风控，通过实地采集客户资料、信用调查、央行征信、学历等信息进行审核。传动的线下风控节奏较慢，审核周期长，但对于风险的识别和控制相对较好。以线上形式出现的互联网金融，其特点就是快速便捷的操作，因此无论是用户还是企业都追求更快的节奏，传统的线下审核的方式显然速度偏慢，不能满足互联网金融的需求。现有技术中，部分互联网金融企业将原来的线下审核移到了线上实现，但就本质而言，依旧是线下审核的模式。区别仅在于用户通过互联网提交数据，企业收集数据后按批次进行人工审核，再通过互联网反馈审核结果。这种模式虽然与完全线下的审核方式相比提升了审核速度，但依然存在明显的缺陷：
首先，用户提交资料后并不能在线实时(或者说在很短周期内)获得审核结果，还是按照处理批次等待人工审核的结果，实质上并没有达到互联网金融的节奏要求。
其次，这种审核方式的审核内容与传统线下审核基本相同，仅仅是压缩了审核时间，由于审核时间减少而审核的内容并没有大的变化，因此对于潜在风险的识别率可能降低，给企业带来风险隐患。
技术实现要素：
本发明提出一种基于大数据，能实时对用户进行信用评分的技术。
根据本发明的一实施例，提出一种用户信用的实时评分方法，包括：
数据获取步骤，通过互联网获取用户的基础数据；
数据加工步骤，将所获取的基础数据导入到数据流计算集群中进行实时数据加工；
评分步骤，将经加工的基础数据导入一个或数个评分模型中进行评分，其中评分模型是根据已有数据建立；
数据存储及反馈步骤，将基础数据、经加工的基础数据和评分保存到数据库中，获取反馈信息；
模型评估及优化步骤，根据所保存的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化；
更新步骤，依据优化后的评分模型和数据流计算集群对所使用的评分模型和数据流计算集群进行更新。
在一个实施例中，数据获取步骤包括：获取用户的身份信息；获取用户的基础信息，依据用户的身份信息，通过互联网，从一个或数个第三方获取该用户的基础信息。
在一个实施例中，数据加工步骤包括：将用户的基础数据导入数据流计算框架中，所述数据流计算框架是spark数据流计算框架；根据数据分类模型，对用户的基础数据进行分类，数据分类模型与计算维度相对应；数据流计算框架对各个计算维度使用对应分类的基础数据进行实时计算；保存计算结果并将计算结果提供给各个评分模型。
在一个实施例中，依据用户的基础数据获得用户画像，用户画像中不同属性的基础数据对应不同的计算维度，根据同一计算维度对数个用户的用户画像进行计算，获得对应该计算维度的细分客户群数据。
在一个实施例中，反馈信息包括用户的后续实际操作行为。
在一个实施例中，模型评估及优化步骤包括：用户级评估及优化，依据单个用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。客户群级评估及优化：根据计算维度，依据一个细分客户群中的用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。
在一个实施例中，每次评分模型和数据流计算集群被优化后，对正在使用的评分模型和数据流计算集群进行实时更新。
在一个实施例中，评分模型是根据已有的数据，由逻辑回归、随机森林、gbdt或xgboost进行建模。
在一个实施例中，数据库包括非结构化数据库hbase和关系型数据库mysql，使用数据传输中间件kafka对数据库进行存取操作。
根据本发明的一实施例，提出一种用户信用的实时评分系统，包括：数据接入口、数据流计算集群、一个或数个评分模型、数据库和模型评估及优化装置。数据接入口通过互联网获取用户的基础数据。所获取的基础数据导入到数据流计算集群中，数据流计算集群进行实时数据加工。经加工的基础数据导入评分模型中进行评分，其中评分模型是根据已有数据建立。将基础数据、经加工的基础数据和评分保存到数据库中。模型评估及优化装置获取反馈信息，并根据所保存的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化，根据优化后的评分模型和数据流计算集群对评分模型和数据流计算集群进行更新。
在一个实施例中，数据接入口包括数据获取装置，数据获取装置获取用户的身份信息并依据用户的身份信息，通过互联网从一个或数个第三方获取该用户的基础信息。
在一个实施例中，数据流计算框架是spark数据流计算框架。数据流计算框架根据数据分类模型对用户的基础数据进行分类，数据分类模型与计算维度相对应，数据流计算框架对各个计算维度使用对应分类的基础数据进行实时计算，保存计算结果并将计算结果提供给各个评分模型。
在一个实施例中，反馈信息包括用户的后续实际操作行为。模型评估及优化装置还依据用户的基础数据获得用户画像，用户画像中不同属性的基础数据对应不同的计算维度，根据同一计算维度对数个用户的用户画像进行计算，获得对应该计算维度的细分客户群数据。
在一个实施例中，模型评估及优化装置进行的模型评估及优化包括：用户级评估及优化，依据单个用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。客户群级评估及优化：根据计算维度，依据一个细分客户群中的用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。
在一个实施例中，模型评估及优化装置每次对评分模型和数据流计算集群进行优化后，对正在使用的评分模型和数据流计算集群进行实时更新。
在一个实施例中，评分模型是根据已有的数据，由逻辑回归、随机森林、gbdt或xgboost进行建模。数据库包括非结构化数据库hbase和关系型数据库mysql，使用数据传输中间件kafka对数据库进行存取操作。
本发明提出的用户信用的实时评分方法和用户信用的实时评分系统能通过互联网获取用户的基础信息，利用大数据技术和数据流技术从多维度对用户作出实时评分，评分被提供给后续的处理使用。本发明还将用户的后续实际操作作为反馈，对建模和数据流进行评估和优化，利用机器自学习原理使得评分体系不断进化。本发明能为互联网金融中的用户实时授信和贷中风险管控提供强有力的数据理论支持。
附图说明
本发明上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变的更加明显，在附图中相同的附图标记始终表示相同的特征，其中：
图1揭示了根据本发明的一实施例的用户信用的实时评分方法的实现过程。
图2揭示了根据本发明的一实施例的用户信用的实时评分系统的结构框图。
具体实施方式
随着大数据技术的发展，通过大数据能够获取用户更加全面的信息，从用户的真实行为对用户的风险进行评估，比传统的背景信息的审核更加有效。同时，大数据技术借助于快速的数据处理能力，能在很短时间内完成大量数据的运算和处理，可以满足用户“实时”的需求。因此，基于大数据的线上审核方法正在逐步兴起，成为互联网金融领域的重要审核手段。
本发明提出一种用户信用的实时评分方法，图1揭示了根据本发明的一实施例的用户信用的实时评分方法的实现过程。如图1所示，该方法包括：
102、数据获取步骤，通过互联网获取用户的基础数据。在一个实施例中，数据获取步骤包括：获取用户的身份信息的步骤和获取用户的基础信息的步骤。在获取用户的基础信息的步骤中，依据用户的身份信息，通过互联网，从一个或数个第三方获取该用户的基础信息。用户的身份信息一般是由用户自行提供，身份信息通常是诸如身份证号、姓名、身份证有效期、身份证照片的信息。在一些实施例中，还需要用户提供手机号作为身份信息的一部分。借助于大数据技术，在互联网上利用诸如爬虫技术之类的手段，可以根据用户的身份信息获取用户在互联网上的其他信息，这些信息称为用户的基础信息。基础信息可以来自一个或多个第三方，例如：来自电信运营商、来自银行系统、来自其他互联网金融系统、来自征信系统、来自社交软件、来自线上交易软件、来自线上功能应用等。基础信息可以包括：通讯录和通话详单、学历、是否存在于黑名单上、网络购物行为、航旅信息、网络借款行为、社交账号关系网、网络社区行为、征信报告、还款状况等。
104、数据加工步骤，将所获取的基础数据导入到数据流计算集群中进行实时数据加工。在一个实施例中，数据加工步骤包括如下的过程：
将用户的基础数据导入数据流计算框架中，数据流计算框架是spark数据流计算框架。spark数据流计算框架是分布式内存计算框架，计算速度快，且以数据流形式可以实现数据的连续实时处理。在一个实施例中，使用数据传输中间件kafka实现数据的传输，比如通过kafka中间件将数据导入到spark数据流计算框架中，以及通过kafka中间件将spark数据流计算框架的运算结果提供给评分模型或者保存到数据库中。kafka中间件是高吞吐量的分布式订阅消息系统，用它来订阅消息和实现消息共享，通知相关系统收到哪些数据，kafka中间件适合于大数据量、短延时要求数据传输。
根据数据分类模型，对用户的基础数据进行分类，数据分类模型与计算维度相对应。数据分类模型用于将用户的基础数据与评分模型所需要的计算维度对应起来。依据用户的基础数据获得用户画像，用户画像中不同属性的基础数据对应不同的计算维度。举例而言，用户的基础数据可以包括：性别、年龄、所在城市、居所地址、所在行业、公司名称、职位、学历、教育背景、征信报告、网络购物行为统计、网络借款行为统计、还款状况、航旅数据、通讯录及通讯详单、社交媒体账户、社交媒体关系网、社交媒体动态等。其中：
性别和年龄可以归入基础属性(对应年龄或者性别的计算维度)；
所在城市和居所地址可以归入地域属性(对应地域的计算维度)；
所在行业、公司名称、职位可以归入工作属性(对应工作的计算维度)；
学历和教育背景可以归入学历属性(对应学历的计算维度)；
征信报告、网络借款行为统计、还款状况可以归入征信属性(对应征信的计算维度)；
网络购物行为统计和航旅数据可以归入行为属性(对应行为的计算维度)；
通讯录及通讯详单、社交媒体账户、社交媒体关系网、社交媒体动态可以归入社会关系属性(对应关系网的计算维度)。
数据流计算框架对各个计算维度使用对应分类的基础数据进行实时计算。如上面所述的，在需要对某个计算维度进行计算时，会选择对应属性的基础数据进行运算。
保存计算结果并将计算结果提供给各个评分模型。
106、评分步骤，将经加工的基础数据导入一个或数个评分模型中进行评分，其中评分模型是根据已有数据建立。在一个实施例中，评分模型是根据数据库中已有的数据，由逻辑回归、随机森林、gbdt或xgboost进行建模而得到。每一个评分模型进行哪一种的评分，如何评分，这是根据策略决定。策略和评分模型的具体种类，以及评分模型建模过程并不在本发明所讨论的范围内，本发明是对于已经建模完成的评分模型的直接利用。
108、数据存储及反馈步骤，将基础数据、经加工的基础数据和评分保存到数据库中，获取反馈信息。在一个实施例中，本发明所使用的数据库包括非结构化数据库hbase和关系型数据库mysql，使用数据传输中间件kafka对数据库进行存取操作。hbase是分布式列式非结构化数据库，查询速度快，将基础数据、经加工的基础数据和评分保存到hbase数据库中，能满足实时查询的要求。mysql是关系型数据库，用户保存部分结构化配置信息。反馈信息主要指用户的实际行为。用户信用的评分方法所获得的评分结果是根据用户的基础数据和已有历史数据所做出的“预估数据”，为了验证该“预估数据”是否正确，还需要采集后续的实际数据来进行验证。比如在针对用户信用的评分中，评分的“预估数据”代表了用户的还款意愿和还款能力的评估值，但用户是否真的进行了还款，还需要根据用户的实际行为来进行判断。因此，在一个实施例中，反馈信息包括用户的后续实际操作行为。
110、模型评估及优化步骤；根据所保存的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。在一个实施例中，对评分模型和数据流计算集群进行评估和优化包括两个层面：用户级评估及优化以及客户群级评估及优化。用户级评估及优化是依据单个用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。客户群级评估及优化是根据计算维度，依据一个细分客户群中的用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。所谓客户群及其获得方法如下：依据用户的基础数据获得用户画像，用户画像中不同属性的基础数据对应不同的计算维度，根据同一计算维度对数个用户的用户画像进行计算，获得对应该计算维度的细分客户群数据。回到前面所举的例子，用户的基础数据可以包括：性别、年龄、所在城市、居所地址、所在行业、公司名称、职位、学历、教育背景、征信报告、网络购物行为统计、网络借款行为统计、还款状况、航旅数据、通讯录及通讯详单、社交媒体账户、社交媒体关系网、社交媒体动态等。
性别和年龄可以归入基础属性(对应年龄或者性别的计算维度)；
所在城市和居所地址可以归入地域属性(对应地域的计算维度)；
所在行业、公司名称、职位可以归入工作属性(对应工作的计算维度)；
学历和教育背景可以归入学历属性(对应学历的计算维度)；
征信报告、网络借款行为统计、还款状况可以归入征信属性(对应征信的计算维度)；
网络购物行为统计和航旅数据可以归入行为属性(对应行为的计算维度)；
通讯录及通讯详单、社交媒体账户、社交媒体关系网、社交媒体动态可以归入社会关系属性(对应关系网的计算维度)。
按照年龄计算维度，可以筛选出年龄落在一定范围内，例如20-22岁的年轻客户群。或者，按照年龄结合性别，可以筛选出20-22岁的男性年轻客户群。
再比如，按照学历计算维度结合年龄计算维度，可以筛选出20-22岁，具有本科以上学历的高学历年轻客户群。
通过不同的计算维度的组合，可以获得具有不同属性的细分客户群。将各个细分客户群的反馈数据与之前评分获得的“预估数据”比较，可以对评分模型和数据流计算集群(主要是其中的数据分类模型)进行评估。该评估可以有效发现评分模型和数据流计算集群针对特定的细分客户群的不适应性，比如针对某一个细分客户群，“预估数据”与反馈的实际数据差异较大时，就说明评分模型和数据流计算集群针对该细分客户群存在盲区，不适应该细分客户群的特点。之后根据实际的反馈情况对评分模型和数据流计算集群(主要是其中的数据分类模型)进行优化，优化点主要是针对“预估数据”与反馈的实际数据中存在显著差异的点。该优化可以将模型优化与策略结合，分析评分模型和策略结合的最佳应用方案，保证评分模型在各个细分客户群中都具有较好的有效性和稳定性。关于评分模型优化的具有方案，不在本发明的讨论范围内。
112、更新步骤，依据优化后的评分模型和数据流计算集群对所使用的评分模型和数据流计算集群进行更新。在一个实施例中，每次评分模型和数据流计算集群被优化后，对正在使用的评分模型和数据流计算集群进行实时更新。由于本发明采用的是数据流处理方式，对于收到的每一个用户的数据都是实时进行处理，所以，在完成某一次的用户级评估及优化或者客户群级评估及优化后，当评分模型和数据流计算集群进行优化后，立即对当前正在使用的评分模型和数据流计算集群进行更新，这样，下一个用户的数据就能采用优化后的评分模型和数据流计算集群处理。
需要说明的是，本发明的用户信用的实时评分方法采用的是数据流实时处理的方式，从单个用户的角度而言，数据获取步骤、数据加工步骤、评分步骤、数据存储及反馈步骤、模型评估及优化步骤和更新步骤是依次执行。从整体方法的角度而言，由于在同一时刻有很多用户在同步进行处理，各个用户所处的阶段不同，所以从整体方法的角度看，数据获取步骤、数据加工步骤、评分步骤、数据存储及反馈步骤、模型评估及优化步骤和更新步骤可以交替执行，或者同时进行。因此上面的描述中虽然对各个步骤进行了编号，但该编号是为了描述方便，并非限制各个步骤的执行顺序。
本发明还揭示了一种用户信用的实时评分系统，参考图2所示，图2揭示了根据本发明的一实施例的用户信用的实时评分系统的结构框图。该用户信用的实时评分系统包括：数据接入口202、数据流计算集群204、一个或数个评分模型206、数据库208和模型评估及优化装置210。
数据接入口202通过互联网获取用户的基础数据。在一个实施例中，数据接入口202包括数据获取装置，数据获取装置获取用户的身份信息并依据用户的身份信息，通过互联网从一个或数个第三方获取该用户的基础信息。数据接入口202执行前述的数据获取步骤102，具体细节此处不再重复描述。
所获取的基础数据导入到数据流计算集群204中，数据流计算集群204进行实时数据加工。在一个实施例中，数据流计算框架204是spark数据流计算框架。数据流计算框架204根据数据分类模型对用户的基础数据进行分类，数据分类模型与计算维度相对应，数据流计算框架对各个计算维度使用对应分类的基础数据进行实时计算，保存计算结果并将计算结果提供给各个评分模型。数据流计算集群204执行前述的数据加工步骤104，具体细节此处不再重复描述。
经加工的基础数据导入一个或数个评分模型206中进行评分，其中评分模型是根据已有数据建立。在一个实施例中，评分模型206是根据已有的数据，由逻辑回归、随机森林、gbdt或xgboost进行建模。评分模型206执行前述的评分步骤106，具体细节此处不再重复描述。
数据库208用于保存基础数据、经加工的基础数据和评分。在一个实施例中，数据库包括非结构化数据库hbase和关系型数据库mysql，使用数据传输中间件kafka对数据库进行存取操作。数据库208执行前述的数据存储及反馈步骤108中的数据存储环节，具体细节此处不再重复描述。
模型评估及优化装置210获取反馈信息，并根据所保存的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化，根据优化后的评分模型和数据流计算集群对评分模型和数据流计算集群进行更新。在一个实施例中，反馈信息包括用户的后续实际操作行为。模型评估及优化装置210依据用户的基础数据获得用户画像，用户画像中不同属性的基础数据对应不同的计算维度，根据同一计算维度对数个用户的用户画像进行计算，获得对应该计算维度的细分客户群数据。在获得了细分客户群之后，模型评估及优化装置210进行的模型评估及优化包括两个层面：用户级评估及优化以及客户群级评估及优化。用户级评估及优化依据单个用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。客户群级评估及优化根据计算维度，依据一个细分客户群中的用户的基础数据、经加工的基础数据、评分和反馈信息，对评分模型和数据流计算集群进行评估和优化。在一个实施例中，在模型评估及优化装置210每次对评分模型和数据流计算集群进行优化后，对正在使用的评分模型和数据流计算集群进行实时更新。模型评估及优化装置210执行前述反馈步骤108中的反馈环节、模型评估及优化步骤110和更新步骤112，具体细节此处不再重复描述。
本发明提出的用户信用的实时评分方法和用户信用的实时评分系统能通过互联网获取用户的基础信息，利用大数据技术和数据流技术从多维度对用户作出实时评分，评分被提供给后续的处理使用。本发明还将用户的后续实际操作作为反馈，对建模和数据流进行评估和优化，利用机器自学习原理使得评分体系不断进化。本发明能为互联网金融中的用户实时授信和贷中风险管控提供强有力的数据理论支持。
上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。