征信数据的处理方法、装置及系统、存储介质、终端与流程

本发明涉及数据处理技术领域，尤其涉及一种征信数据的处理方法、装置及系统、存储介质、终端。

背景技术：

在信用借贷领域里，目前的征信数据是分散的、独立的、还有重复的，提供征信数据的提供方多达百家以上，例如提供黑名单服务的，提供多头借贷信息的，提供学历认证的，提供人脸比对服务的等。不仅如此，新的提供方也在不断的产生。

现有技术中，为了利用征信数据进行审核，采用的方案通常都是在信用审批系统上外挂至少一个提供方的征信数据，并在新的提供方出现时再逐渐增加新的提供方的征信数据。

但是，对于信用审批系统，每次新增加提供方的征信数据，就可能需要改写审批系统的内部程序。但是程序开发需要取决于是否有资源，而且开发调试都需要花时间，严重影响审批效率，与金融领域需求的高效率不匹配。

技术实现要素：

本发明解决的技术问题是如何提高征信数据处理的效率。

为解决上述技术问题，本发明实施例提供一种征信数据的处理方法，征信数据的处理方法包括：接收来自多个数据源的原始征信数据；对所述原始征信数据进行预处理，以得到标准征信数据，所述标准征信数据包括预设的多个字段；将所述标准征信数据传输至信贷审核系统；其中，所述标准征信数据包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量。

可选的，所述接收来自多个数据源的原始征信数据包括：对于提供相同字段的原始征信数据的不同数据源，接收其中至少一个数据源提供的第一原始征信数据。

可选的，所述对所述原始征信数据进行预处理包括：从所述第一原始征信数据中提取对应的字段，以得到所述标准征信数据。

可选的，所述接收至少一个数据源提供的第一原始征信数据包括：通过开关在所述不同数据源中选择性地接收所述至少一个数据源提供的第一原始征信数据。

可选的，所述接收来自多个数据源的原始征信数据包括：对于提供相同字段的原始征信数据的不同数据源，确定每个数据源所提供的原始征信数据的比例；按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。

可选的，所述确定每个数据源所提供的原始征信数据的比例包括：根据每个数据源所提供的原始征信数据的价格和/或质量确定每个数据源所提供的原始征信数据的比例。

可选的，所述对所述征信数据进行预处理包括：对来自不同数据源的原始征信数据中的同一字段进行整合，以得到所述标准征信数据中对应的字段。

可选的，所述对所述征信数据进行预处理包括：对所述原始征信数据中的字段进行语义提取，以得到所述标准征信数据中对应的字段。

可选的，所述对所述征信数据进行预处理包括：对所述原始征信数据在设定时间段内的分布情况进行分析，以确定分析结果；根据所述分析结果确定异常征信数据，以用于在所述原始征信数据中滤除所述异常征信数据。

本发明实施例还公开了一种征信数据的处理装置，征信数据的处理装置包括：接收模块，适于接收来自多个数据源的原始征信数据；预处理模块，适于对所述原始征信数据进行预处理，以得到标准征信数据，所述标准征信数据包括预设的多个字段；传输模块，适于将所述标准征信数据传输至信贷审核系统；其中，所述标准征信数据包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量。

可选的，所述接收模块包括：第一接收单元，适于对于提供相同字段的原始征信数据的不同数据源，接收其中至少一个数据源提供的第一原始征信数据。

可选的，所述预处理模块包括：提取单元，适于从所述第一原始征信数据中提取对应的字段，以得到所述标准征信数据。

可选的，所述第一接收单元通过开关在所述不同数据源中选择性地接收所述至少一个数据源提供的第一原始征信数据。

可选的，所述接收模块包括：比例确定单元，适于对于提供相同字段的原始征信数据的不同数据源，确定每个数据源所提供的原始征信数据的比例；第二接收单元，适于按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。

可选的，所述比例确定单元根据每个数据源所提供的原始征信数据的价格和/或质量确定每个数据源所提供的原始征信数据的比例。

可选的，所述预处理模块包括：整合单元，适于对来自不同数据源的原始征信数据中的同一字段进行整合，以得到所述标准征信数据中对应的字段。

可选的，所述预处理模块包括：提取单元，适于对所述原始征信数据中的字段进行语义提取，以得到所述标准征信数据中对应的字段。

可选的，所述预处理模块包括：分析单元，适于对所述原始征信数据在设定时间段内的分布情况进行分析，以确定分析结果；异常征信数据确定单元，适于根据所述分析结果确定异常征信数据，以用于在所述原始征信数据中滤除所述异常征信数据。

本发明实施例还公开了一种征信数据处理系统，包括：征信数据平台，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述征信数据的处理方法的步骤；信贷审核系统，适于接收标准征信数据，并利用所述标准征信数据进行信用评级。

本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述征信数据的处理方法的步骤。

本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述征信数据的处理方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案接收来自多个数据源的原始征信数据；对所述原始征信数据进行预处理，以得到标准征信数据，所述标准征信数据包括预设的多个字段；将所述标准征信数据传输至信贷审核系统。本发明技术方案通过将原始征信数据进行预处理，得到标准征信数据，保证传输至信贷审核系统的标准征信数据中包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量，从而在数据源增加的情况下，无需对信贷审核系统做修改也可以得到标准征信数据，进而保证了信贷审核系统的正常稳定运行，减小了系统开发工作量，提高了征信数据处理的效率。

进一步，所述接收来自多个数据源的原始征信数据包括：对于提供相同字段的原始征信数据的不同数据源，接收其中至少一个数据源提供的第一原始征信数据。本发明技术方案中，对于提供相同字段的原始征信数据，可以由不同数据源来提供，从而保证在一个数据源出现问题时，可以及时切换至其他数据源，进一步保证了信贷审核系统的稳定性，以及征信数据的处理的稳定性。

进一步，所述接收来自多个数据源的原始征信数据包括：对于提供相同字段的原始征信数据的不同数据源，确定每个数据源所提供的原始征信数据的比例；按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。本发明技术方案按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据，可以保证原始征信数据的数据质量，从而保证了传输至信贷审核系统的标准征信数据的数据质量，进而保证了征信数据的处理的准确性。

进一步，所述对所述征信数据进行预处理包括：对来自不同数据源的原始征信数据中的同一字段进行整合，以得到所述标准征信数据中对应的字段；或者，对所述原始征信数据中的字段进行语义提取，以得到所述标准征信数据中对应的字段。本发明技术方案通过对原始征信数据进行整合或提取处理，以得到标准征信数据，可以使得信贷审核系统利用标准征信数据进行信用评级时，可以减小运算量，进一步提高征信数据的处理的效率。

附图说明

图1是本发明实施例一种征信数据的处理方法的流程图；

图2是本发明实施例一种征信数据处理系统的结构示意图；

图3是本发明实施例一种征信数据的处理装置的结构示意图。

具体实施方式

如背景技术中所述，对于信用审批系统，每次新增加提供方的征信数据，就需要改写审批系统的内部程序。但是程序开发需要取决于是否有资源，而且开发调试都需要花时间，严重影响审批效率，与金融领域需求的高效率不匹配。其次，由于政策的原因，或者是由于公司自身管理的原因，或者是系统的原因等，提供方提供的服务会有不稳定的现象发生。而对于同样的数据服务，现有技术是选择一家提供方然后接入信用审批系统，如果该提供方出现问题，数据提供服务就断了，影响了金融业务的稳定性。

如何更有效、更稳定地支撑信贷审核系统是一个亟需解决的问题。

本发明技术方案通过将原始征信数据进行预处理，得到标准征信数据，保证传输至信贷审核系统的标准征信数据中包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量，从而在数据源增加的情况下，也可以得到标准征信数据，进而保证了信贷审核系统的正常稳定运行，减小了系统开发工作量，提高了征信数据处理的效率。

本发明技术方案提供一种征信数据的处理方法，可以在接入新的数据源(也即提供方)提供的征信数据时不必关停信贷审核系统，不必技术开发或只有很少的开发工作量，不会出现或减少出现数据源出现问题导致的信用审核受到影响的现象。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种征信数据的处理方法的流程图。

图1所示的征信数据的处理方法可以包括以下步骤：

步骤s101：接收来自多个数据源的原始征信数据；

步骤s102：对所述原始征信数据进行预处理，以得到标准征信数据，所述标准征信数据包括预设的多个字段；

步骤s103：将所述标准征信数据传输至信贷审核系统。

其中，所述标准征信数据包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量。

在步骤s101的具体实施中，可以接收来自多个数据源的原始征信数据。具体而言，多个数据源可以提供多个原始征信数据。原始征信数据可以包含一个或多个字段，各个原始征信数据包含的字段可以相同，也可以不同。其中，字段可以表示原始征信数据的属性，例如可以是年龄、性别、居住地、购物信息等；原始征信数据可以是用户的表示信用的信息，可以是具体属性的值，例如可以是年龄值、性别值等。

本领域技术人员应当理解的是，原始征信数据可以是任意可实施的表示信用的数据，本发明实施例对此不做限制。

在步骤s102的具体实施中，可以对接收到的原始征信数据进行预处理，预处理得到的标准征信数据可以在步骤s103中被传输至信贷审核系统。信贷审核系统可以利用标准征信数据进行信用的评级和判定。

具体而言，标准征信数据包括预设的多个字段，且标准征信数据包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量。

在具体应用中，提供原始征信数据的数据源的数量可能会增加，为了在增加数据源的情况下不影响信贷审核系统的正常运行，预先配置标准征信数据包含的字段数量，且原始征信数据被预处理形成标准征信数据；由此，当数据源的数量增加时，标准征信数据中也可以有足够的字段可以使用，从而避免了停止信贷审核系统业务。

可以理解的是，标准征信数据包括的预设的字段的数量可以根据具体的应用环境进行配置；通常为了满足实际需要，预设的字段的数量大于等于设定阈值。例如设定阈值为5000。

进一步而言，标准征信数据可以经由数据接口传输至信贷审核系统。标准征信数据包括预设的多个字段可以被定义为不同的属性，也即不同的数据类型。例如，字段1被定义为年龄，字段2被定义为性别等。

本发明实施例通过将原始征信数据进行预处理，得到标准征信数据，保证传输至信贷审核系统的标准征信数据中包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量，从而在数据源增加的情况下，也可以得到标准征信数据，进而保证了信贷审核系统的正常稳定运行，减小了系统开发工作量，提高了征信数据处理的效率。

优选地，对于提供相同字段的原始征信数据的不同数据源，接收其中至少一个数据源提供的第一原始征信数据。也即，提供相同字段的原始征信数据可以同时由两个或更多个数据源来提供，由此可以进行数据校验、备份、缺失数据恢复等。

本实施例中，同一字段的原始征信数据可以由多个数据源提供，提供同一字段的原始征信数据的数据源的数量可以根据实际需求进行配置，例如最多3个。多个数据源提供相同字段的原始征信数据时，可以选择接收其中至少一个数据源提供的第一原始征信数据，以用于进行预处理传输至信贷审核系统。优选地，可以根据数据源的状态选择接收其中一个数据源提供的第一原始征信数据。例如，对于提供相同字段的两个数据源，在一个数据源出现问题时，可以选择仅接收另一个数据源提供的原始征信数据，这样就可以避免在只有一个数据源提供原始征信数据时，该数据源不稳定影响信贷审核系统取不到值的情况。

进一步地，接收至少一个数据源提供的第一原始征信数据包括：通过开关在所述不同数据源中选择性地接收所述至少一个数据源提供的第一原始征信数据。

本实施例中，通过开关选择性地接收所述至少一个数据源提供的第一原始征信数据。具体而言，所述开关可以是可编程开关，可以通过可编程程序来控制开关的闭合。

在本发明实施例一具体应用场景中，数据源a、数据源b和数据源c提供同一种数据，分别使用开关1、开关2和开关3来选择性地接收原始征信数据。由此，在数据源a出现问题时，可以控制关闭开关1；打开开关2和/或开关3来接通数据源b和/或数据源c提供的原始征信数据，避免信贷审核系统取不到值的情况，保证信贷审核系统的稳定运行。

优选地，图1所示的步骤s101可以包括以下步骤：对于提供相同字段的原始征信数据的不同数据源，确定每个数据源所提供的原始征信数据的比例；按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。

本实施例中，同一字段的原始征信数据可以由多个数据源提供，多个数据源提供的原始征信数据的数据质量是不同的。因此，为了保证传输至信贷审核系统的数据质量，可以确定要接收的每个数据源所提供的原始征信数据的比例，进而按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。具体而言，可以通过可编程开关控制所述比例。

在本发明实施例另一个具体应用场景中，数据源a、数据源b和数据源c提供同一种数据，分别使用开关1、开关2和开关3来选择性地接收原始征信数据。开关1、开关2和开关3可以都打开，同时，开关1控制数据源a提供的原始征信数据的接收比例为60％，开关2控制数据源b提供的原始征信数据的接收比例为20％，开关3控制数据源c提供的原始征信数据的接收比例为20％。

进一步地，所述确定每个数据源所提供的原始征信数据的比例包括：根据每个数据源所提供的原始征信数据的价格和/或质量确定每个数据源所提供的原始征信数据的比例。

本实施例中，所述比例可以是根据数据源所提供的原始征信数据的价格和/或质量确定的。例如，原始征信数据的价格越低，该原始征信数据的比例越高；原始征信数据的质量越高，该原始征信数据的比例越高。

优选地，图1所示的步骤s102可以包括以下步骤：对来自不同数据源的原始征信数据中的同一字段进行整合，以得到所述标准征信数据中对应的字段。

本实施例中，对于不同数据源提供的原始征信数据中的同一字段，可以分别进行预处理，分别得到标准征信数据中对应的字段；也可以将不同数据源的原始征信数据中的同一字段进行整合，共同得到所述标准征信数据中对应的字段。具体而言，整合的过程可以是对多个原始征信数据中的同一字段进行逻辑运算，并整合成一个字段输出的过程。

例如，对于数据源a、数据源b和数据源c提供的同一字段a的字段值分别是a1、a2和a3；将字段值a1、a2和a3进行与运算、或运算、加运算、减运算等，来得到标准征信数据中对应的字段a的字段值。

需要说明的是，对字段进行整合的方式可以采用现有技术中任意可实施的逻辑运算方式，本发明实施例对此不做限制。

优选地，图1所示的步骤s102可以包括以下步骤：对所述原始征信数据中的字段进行语义提取，以得到所述标准征信数据中对应的字段。

本实施例中，通常原始征信数据中的字段是句子或段落，为了减小信贷审核系统的处理量，在信贷审核系统进行数据处理之前，通过预处理过程提取出原始征信数据的语义，来得到标准征信数据中对应的字段。具体而言，对所述原始征信数据中的字段进行语义提取的过程可以是，对接入的原始征信数据处理产生新的变量的过程。

例如，原始征信数据中的字段“xx平台催促还款n次”，经过语义提取可以得到标准征信数据中对应的字段为“逾期严重”；原始征信数据中的字段“在一个月内登陆网站m次”，经过语义提取可以得到标准征信数据中对应的字段为“30天和m次”。

优选地，图1所示的步骤s102可以包括以下步骤：对所述原始征信数据在设定时间段内的分布情况进行分析，以确定分析结果；根据所述分析结果确定异常征信数据，以用于在所述原始征信数据中滤除所述异常征信数据。

为了对原始征信数据进行监控，本实施例对所述原始征信数据在设定时间段内的分布情况进行分析，所述分析结果可以表示数据分布情况。由此，通过数据分布情况可以确定异常征信数据，并在本次或者下次接收原始征信数据时进行滤除。此外，根据数据分布情况还可以了解原始征信数据的质量与稳定性，以用于后续的决策。

本发明又一具体应用场景中，可以对数据源提供的原始征信数据中的字段的逾期比例进行分析。数据源a在最近三天内提供的原始征信数据中的字段的逾期比例分别是：前天5％、昨天10％、今天30％，作为分析结果。并可以确定今天的逾期比例突然增多，因此可以对数据源a在今天提供的原始征信数据为异常征信数据，可以进行筛查滤除。

或者，可以对多个数据源提供的原始征信数据中的字段的空值状态进行分析。对于数据源a、数据源b和数据源c提供的原始征信数据，数据源a、数据源b和数据源c的原始征信数据中的字段为非空值，数据源d的原始征信数据中的字段为空值，作为分析结果。并可以确定数据源d的原始征信数据为异常征信数据。

图2是本发明实施例一种征信数据的处理系统的结构示意图。

图2所示的征信数据的处理系统20可以包括征信数据平台201和信贷审核系统202。

本实施例中，征信数据平台201可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器可以运行所述征信数据的处理方法的步骤。

信贷审核系统202适于接收标准征信数据，并利用所述标准征信数据进行信用评级。

本实施例中，征信数据平台201配置于信贷审核系统202和数据源203之间，可以对数据源203提供的原始征信数据进行接收、预处理，并传输至信贷审核系统202。

征信数据平台201与信贷审核系统202之间通过接口传输标准征信数据。接口的字段数量可以是固定的，比如5000个字段。每个字段可以被定义为表示不同的数据属性或类型。这样无论数据源203的数量如何增加，不会影响信贷审核系统202的业务。也即信贷审核系统202不用停机开发而影响业务，也不会出现因没有开发资源而不能加入新的原始征信数据。

例如，数据源c是新接入的数据源，则增加数据源c的原始征信数据时，真正需要开发的是征信数据平台201和数据源c的数据接口的对接，这样就大大提升了信用审核的效率。

本实施例中，当某个字段可以由多个数据源提供时，可以配置最多设定数量的数据源并行接入征信数据平台201，只有一个数据源的原始征信数据能给到该字段。这样就避免只有一个数据源且其不稳定时立即影响信贷审核系统202取不到值的情况。

对于接入的数据源a、数据源b和数据源c，分别设定一个对应的开关。由征信数据平台201通过程序控制这些开关。当一个数据源出现问题时，可以切换到另外一个数据源。征信数据平台201也可以通过程序来控制三个开关都打开，但是接通的比例不一样。比如数据源a开通60％，数据源b开通20％，数据源c开通20％。

进一步地，征信数据平台201还具有原始征信数据存储、加工、整合、分析和监控的功能。具体而言，征信数据平台201还可以对接入的数据源203的原始征信数据进行存储，存储的原始征信数据与信贷审核系统202是独立分开的。征信数据平台201还可以对接入的原始征信数据进行衍生加工提取产生新的变量。征信数据平台201还可以对多个原始征信数据进行逻辑运算，整合成一个标准征信数据输出至信贷审核系统202。征信数据平台201还可以分析原始征信数据的分布及有效性。征信数据平台201还可以根据数据的分布与有效值的情况可以了解征信公司数据的质量与稳定性。

关于所述征信数据处理系统20的工作原理、工作方式的更多内容，可以参照图1中的相关描述，这里不再赘述。

图3是本发明实施例一种征信数据的处理装置的结构示意图。

图3所示的征信数据的处理装置30可以包括接收模块301、预处理模块302和传输模块303。

其中，接收模块301适于接收来自多个数据源的原始征信数据；预处理模块302适于对所述原始征信数据进行预处理，以得到标准征信数据，所述标准征信数据包括预设的多个字段；传输模块303适于将所述标准征信数据传输至信贷审核系统；其中，所述标准征信数据包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量。

本发明实施例通过将原始征信数据进行预处理，得到标准征信数据，保证传输至信贷审核系统的标准征信数据中包含的字段数量大于等于所述多个数据源的原始征信数据包含的字段数量，从而在数据源增加的情况下，也可以得到标准征信数据，进而保证了信贷审核系统的正常稳定运行，减小了系统开发工作量，提高了征信数据处理的效率。

优选地，接收模块301可以包括第一接收单元3011，第一接收单元3011适于对于提供相同字段的原始征信数据的不同数据源，接收其中至少一个数据源提供的第一原始征信数据。

优选地，第一接收单元3011通过开关在所述不同数据源中选择性地接收所述至少一个数据源提供的第一原始征信数据。

优选地，预处理模块302可以包括第一提取单元3021，第一提取单元3021适于从所述第一原始征信数据中提取对应的字段，以得到所述标准征信数据。

优选地，接收模块301可以包括比例确定单元3012和第二接收单元3013。

其中，比例确定单元3012适于对于提供相同字段的原始征信数据的不同数据源，确定每个数据源所提供的原始征信数据的比例；第二接收单元3013适于按照每个数据源所提供的原始征信数据的比例接收所述原始征信数据。

进一步地，比例确定单元3012根据每个数据源所提供的原始征信数据的价格和/或质量确定每个数据源所提供的原始征信数据的比例。

优选地，预处理模块302可以包括整合单元3022，整合单元3022适于对来自不同数据源的原始征信数据中的同一字段进行整合，以得到所述标准征信数据中对应的字段。

优选地，所述预处理模块302可以包括第二提取单元3023，第二提取单元3023适于对所述原始征信数据中的字段进行语义提取，以得到所述标准征信数据中对应的字段。

优选地，所述预处理模块302可以包括分析单元3024和异常征信数据确定单元3025，分析单元3024适于对所述原始征信数据在设定时间段内的分布情况进行分析，以确定分析结果；异常征信数据确定单元3025适于根据所述分析结果确定异常征信数据，以用于在所述原始征信数据中滤除所述异常征信数据。

关于所述征信数据的处理装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。

本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1中所示的征信数据的处理方法的步骤。所述存储介质可以包括rom、ram、磁盘或光盘等。

本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1中所示的征信数据的处理方法。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。