本发明涉及大数据处理
技术领域：
，尤其涉及一种数据处理方法、装置及电子设备。
背景技术：
：近年来，大数据处理与分析已经成为全球性问题，随着我国经济社会信息化和自动化水平的不断提高，在政府、公共服务、科学研究和商业应用等许多领域也面临大数据问题。目前，随着保险业贷款保证保险战略性业务的快速发展，保险公司保证保险业务处理系统对接银行数量的持续增多，业务量的成倍增长以及数据量急剧增大，导致各项系统流程执行时间长，报表查询缓慢，通过采用原有sql语句、存储过程实现批处理任务的方式已经无法保证数据的生成时效，从而严重影响了保险机构对贷后逾期催收和贷款到期提醒等业务的开展工作。技术实现要素：本发明实施例的目的是提供一种数据处理方法、装置及电子设备，以解决现有技术中面对数据量急剧增大，采用原有sql语句、存储过程实现批处理任务的方式无法保证数据的生成时效，从而严重影响了保险机构对贷后逾期催收和贷款到期提醒等业务的开展问题。为了解决上述技术问题，本发明实施例是这样实现的：第一方面，本发明实施例提供了一种数据处理方法，包括：获取待处理的目标贷后数据；根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；输出所述不同业务类别的目标贷后数据的处理结果。可选地，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。可选地，所述输出所述不同业务类别的目标贷后数据的处理结果，包括：将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。可选地，所述方法还包括：根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。可选地，所述将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，包括：通过java数据库连接jdbc回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的informix数据库。可选地，在所述获取待处理的目标贷后数据之后，还包括：调用预定的shell脚本将获取到的目标贷后数据存储到hadoop大数据平台上的基于kudu的分布式列存储系统中。可选地，在所述获取待处理的目标贷后数据之前，还包括：获取源贷后数据；对获取到的所述源贷后数据进行处理，得到预定的数据格式的不同业务类别的所述目标贷后数据。第二方面，本发明实施例提供了一种数据处理装置，包括：目标数据获取模块，用于获取待处理的目标贷后数据；处理结果生成模块，用于根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；处理结果输出模块，用于输出所述不同业务类别的目标贷后数据的处理结果。可选地，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。可选地，所述处理结果输出模块，用于：将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。可选地，所述装置还包括处理结果推送模块，用于：根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。可选地，所述处理结果输出模块，用于：通过java数据库连接jdbc回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的informix数据库。可选地，所述装置还包括：目标数据存储模块，用于：调用预定的shell脚本将获取到的目标贷后数据存储到hadoop大数据平台上的基于kudu的分布式列存储系统中。可选地，所述装置还包括目标数据生成模块，用于：获取源贷后数据；对获取到的所述源贷后数据进行处理，得到预定的数据格式的不同业务类别的所述目标贷后数据。第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的数据处理方法步骤。第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的数据处理方法步骤。本说明书实施例提供了一种数据处理方法、装置及电子设备，该方法包括：获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，能够对pb级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的数据处理方法的第一种流程示意图；图2为本说明书实施例提供的数据处理方法的第二种流程示意图；图3为本说明书实施例提供的数据处理方法的第三种流程示意图；图4为本说明书实施例提供的数据处理方法的第四种流程示意图；图5为本说明书实施例提供的数据处理方法的第五种流程示意图；图6为本说明书实施例提供的数据处理方法的第六种流程示意图；图7为本说明书实施例提供的数据处理方法的系统流程图；图8为本说明书实施例提供的数据处理装置的模块组成示意图；图9为本说明书实施例提供的电子设备的结构示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。目前，各保险机构广泛开展贷款保证保险业务，使得待处理的业务数据量急剧增大。贷后业务需处理的并行数据流程包括check存储过程生成逾期催收及到期提醒任务、针对逾期及到期提醒任务启动短信逻辑处理并发送短信、7天未放款注销保单处理、银行审批不通过批退、央行征信报送、到期提示存储过程、理赔结清业务推送理赔、提前结清业务批退保单、月度佣金跑批任务进行罚金计算、银行放款对保单进行批生效操作等。然而，现有的技术方案在处理上述贷款保证保险业务时，采用的是通过java程序代码，调用不同的sql处理逻辑及存储过程来进行业务处理。由于每个金融机构(如银行等)设定有相应的存储过程以及相应的代码流程，随着对接金融机构数量增多，数据量的急剧增长，导致数据处理逻辑愈发复杂，报表查询缓慢，每个流程都需通过硬编码方式完成调度处理。这在一定程度上造成了数据处理所用时间越来越长，已无法满足保险机构各级管理机构快速决策和数据使用的需求，而且伴随着所对接的金融机构数量的增加和业务复杂度的提高，存储过程的开发性和移植性缺点愈加明显，造成数据处理效率及性能的低下。hadoop是一个分布式系统基础架构。hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。hadoop体系主要包括impala内存计算引擎、yarn资源调度平台、hive数据仓库管理、kudu数据存储、hdfs原始数据存储等。基于hadoop中的impala内存计算引擎和kudu数据存储来进行数据处理，由于kudu存储数据支持数据更新操作，所有流程都可以放到hadoop中进行实现，不需要接口的频繁交互，也不需要数据的频繁导入，而且impala基于内存进行计算，能够对pb级数据进行快速查询、分析，有效保证了后续业务数据量增加后系统的稳定性以及数据的处理效率。此外，hadoop是一个能够对大量数据进行分布式处理的软件框架，是一个能够让用户轻松架构和使用的分布式计算平台。hadoop支持开发和运行处理海量数据的应用程序及组件，由于，hadoop环境是所有组件运行的基础环境，因此，本说明书实施例提供的一种数据处理方法中涉及的各项任务的计算与处理都可以在hadoop下进行。本说明书实施例应用hadoop大数据技术提升数据处理时效性，有力提升了数据处理的并发生成效率，从而进一步保障了保险行业或其他贷款行业的业务快速决策的进度，进一步保障了业务决策效率。如图1所示，本说明书实施例提供一种数据处理方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法可以用于对pb级数据进行快速数据处理。图1为本说明书实施例提供的数据处理方法的第一种流程示意图，如图1所示，该方法至少包括以下步骤：s101，获取待处理的目标贷后数据。其中，目标贷后数据可以是保险机构将获取到的多个金融机构(如银行等)产生的数据文件，经过统一处理后得到的预定数据格式的不同业务类别的目标贷后数据。上述目标贷后数据可以是：放款数据、审批数据、贷款期供数据、贷款还款数据、理赔申请数据、理赔处理数据、保费期供数据、保费还款数据、对账数据、追偿代扣数据、保费扣收失败数据、代扣保费明细数据以及提前还款时所扣违约金数据中的一个或多个。s102，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定。其中，预定业务规则可以是针对某类贷款业务预先设置的业务规则，例如：针对到期提醒业务类别，该预设业务规则可以是到期前5天，每天给即将到期的贷款用户发送短信，以提醒贷款用户及时偿还贷款。贷款期限的相关信息可以是期供、还款信息以及提前结清、理赔结清等相关信息。在实施中，由于kudu是运行在hadoop大数据平台上的列式存储系统，存储数据的同时支持数据更新操作，所有流程都可以放到hadoop大数据平台中进行实现，不需要接口的频繁交互，也不需要数据的频繁导入，并且使用了高性能的存储设备，且支持跨地域的实时数据备份和查询优点，因此，可以将上述得到的目标贷后数据导入到hadoop大数据平台中的kudu中。另外，由于impala作为sql(structuredquerylanguage，结构化查询语言)解析引擎，其查询类请求的稳定性和速度在工业界得到过广泛的验证，impala并没有自己的存储引擎，其负责解析sql，并连接其底层的存储引擎。在发布之初impala主要支持hdfs，kudu发布之后，impala和kudu更是做了深度集成。基于此，本实施例中采用impala和kudu集成的方法，利用impala对存储在上述kudu中的目标贷后数据进行处理。在实施中，当将获取到的待处理的目标贷后数据存放到kudu中，待kudu环境数据准备完毕后，可以将复杂的业务处理所需的sql通过启用impala内存计算引擎来进行处理。具体的，根据目标贷后数据和目标贷后数据对应的预定业务规则，通过相应的sql语句，以及经过impala的数据运算和处理，得到到期提醒、逾期催收、贷后状态统计等各个流程环节所需的数据结果，其中，impala可以基于内存进行计算，能够对pb级数据进行交互式实时查询、分析，有效提升了数据处理效率。在实施中，例如，impala使用示例代码如下：stringloanaftersql＝"selectdistinct"......+"re.comcodecomcode,"+"uwt.insuredname,"+"com.comcname,"+"re.proposalnoproposalno,"+"re.policynopolicyno,"+"loan.loanamt,"+"fromprpdloaninfoloan"+"joinre_pproposalre"+"ontrim(re.policyno)＝trim(loan.guarantyid)"+"joinuwtmainuwt"+"ontrim(re.proposalno)＝trim(uwt.proposalno)"......+"whereloan.corpbankcode＝'"+bankcode+"'"；ps＝impalaconn.preparestatement(loanaftersql.tostring())；rs＝ps.executequery()；s103，输出不同业务类别的目标贷后数据的处理结果，其中，上述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。在实施中，可以将上述得到的不同业务类别的目标贷后数据的处理结果输出给预订的数据库(如：informix数据库)进行持久化存储，以供后续业务使用。也可以将上述得到的不同业务类别的目标贷后数据，根据具体的业务规则，利用接口推送至其他系统。此外，还可以将上述得到的不同业务类别的目标贷后数据的处理结果，根据业务规则，拼装承保相应的业务所需的报表，帮助业务人员高效工作。本说明书实施例中，获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，能够对pb级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。其中，如图2所示，上述s103的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述s1031-s1032的处理。s1031，将不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，s1032，将不同业务类别的目标贷后数据的处理结果写入预定的展示页面，其中，上述预定的数据库可以是informix数据库。其中，如图3所示，上述方法还包括：s104，根据目标贷后数据的处理结果所对应的业务类别，将相应的目标贷后数据的处理结果推送给预定的处理系统。其中，预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个，还贷提醒系统可以是短信提醒系统，贷款催收系统可以是智能语音催收系统。在实施中，可以将上述s103输出的不同业务类别的目标贷后数据的处理结果，根据目标贷后数据的处理结果所对应的业务类别，将相应的目标贷后数据的处理结果直接推送给预定的处理系统。也可以将上述s103输出的不同业务类别的目标贷后数据的处理结果先持久化存储在informix数据库中，然后，根据目标贷后数据的处理结果所对应的业务类别，从informix数据库中，将相应的目标贷后数据的处理结果推送给预定的处理系统。其中，如图4所示，上述s1031具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述s10311的处理。s10311，通过java数据库连接jdbc回写机制，将不同业务类别的目标贷后数据的处理结果写入至预定的informix数据库。其中，通过jdbc(javadatabaseconnectivity，java数据库连接)回写机制，使得向各种关系型数据发送sql语句变得更加的方便快捷。采用jdbc回写机制，就不必为访问sybase数据库专门写一个程序，为访问oracle数据库又专门写一个程序，或为访问informix数据库又编写另一个程序等等，再将不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储时，只需用jdbcapi(applicationprograminterface，应用程序接口)写一个程序就够了，它可向上述预订的数据库发送sql，将不同业务类别的目标贷后数据的处理结果写入至预定的informix数据库中，或是oracle等数据库中。此外，通过jdbc回写机制，还可以为后续系统页面展示报表数据，以及与其他业务系统交互做好持久化数据存储。其中，如图5所示，在上述s101获取待处理的目标贷后数据之后，还包括：s105，调用预定的shell脚本将获取到的目标贷后数据存储到hadoop大数据平台上的kudu列式存储系统中。其中，kudu作为底层存储，在支持高并发低延迟kv查询的同时，还保持良好的scan性能，该特性使得其理论上能够同时兼顾oltp类(on-linetransactionprocessing，联机事务处理过程)和olap类(on-lineanalyticalprocessing，联机分析处理)查询，kudu是一个为hadoop系统环境打造的列存储管理器，与一般的hadoop生态环境中的其他应用一样，具有能在通用硬件上运行、水平扩展性和支持高可用性操作等功能，基于此，可以将获取到的目标贷后数据存储到hadoop大数据平台上的基于kudu的分布式列式存储系统中。在实施中，例如，可以使用shell导数脚本将获取到的存放在informix数据库中的目标贷后数据存储到hadoop的kudu中，例如，针对金融机构(如：银行)审批信息表prpdloaninfo的导入脚本如下：//数据库驱动、校验等参数配置-connect"jdbc:informix-sqli://10.133.201.77:10001/blazedundb:informixserver＝gdfx_hdr；newlocale＝zh_cn,en_us；newcodeset＝gbk,8859-1,819；ifx_use_strenc＝true"--usernameccpqry--password-aliasmydb.password.alias--query"select*,rowidfromprpdloaninfowhere\$conditionsandoperatetimebetweenextend(date(today),yeartosecond)andextend(date(today)+1,yeartosecond)-interval(1)secondtosecond"--fields-terminated-by'\001'--lines-terminated-by'\n'-m1--target-dir/user/hive/warehouse/prpdloaninfo--hive-tableprpdloaninfo--append；upsertintoprpdloaninfoselect*fromhive_prpdloaninfo；……具体的，可以使用shell导数脚本将获取到的待处理的目标贷后数据导入到hadoop的kudu中，调用预定的shell脚本，将上述shell脚本上传到应用服务器对应文件目录下，然后通过java程序代码向服务器发送指令，运行脚本完成目标贷后数据从informix数据库到kudu的转储：其中，如图6所示，在上述s101获取待处理的目标贷后数据之前，还可以执行下述s099-s100的处理。s099，获取源贷后数据，其中，上述源贷后数据可以是金融机构(如银行等)回传的数据文件。具体的，金融机构(如银行等)每天凌晨将银行文件以txt的形式存放到sftp(securefiletransferprotocol，安全文件传送协议)服务器，上述数据文件包括：放款数据、审批数据、贷款期供数据、贷款还款数据、理赔申请数据、理赔处理数据、保费期供数据、保费还款数据、对账数据、追偿代扣数据、保费扣收失败数据、代扣保费明细文件以及提前还款时所扣违约金数据中的一个或多个。在实施中，可以通过银保通从sftp服务器获取上述源贷后数据，并对上述获取到的源贷后数据通过java应用程序进行解析，然后，可以将解析后的数据存储到informix数据库中的银行基础表中进行持久化存储，确保金融机构提供的源贷后数据与存放在informix数据库中的数据的一致性，确保了后续流程处理的准确性。s100，对获取到的源贷后数据进行处理，得到预定的数据格式的不同业务类别的目标贷后数据。在实施中，考虑到每个金融机构设定有相应的存储过程，对所存储的数据会预先设定相应的格式标准，因此，当保险机构或借贷公司在获取到多个金融机构提供的源贷后数据后，需要对获取到的多个金融机构提供的源贷后数据进行处理，得到预定的数据格式的不同业务类别的目标贷后数据。其中，如图7所示，图7为本说明书实施例提供的一种数据处理方法的系统流程图，其中，数据处理的具体过程可以为：(1)获取源贷后数据，其中，上述源贷后数据可以是金融机构(如银行等)回传的数据文件。(2)可以通过银保通对获取到的源贷后数据进行解析，并对解析后的源贷后数据进行处理，得到预定的数据格式的不同业务类别的目标贷后数据。(3)将上述得到的预定数据格式的不同业务类别的目标贷后数据，导入到预定的数据库(如：保险公司保证保险业务处理系统informix数据库)中的金融机构基础表中。(4)调用预定的shell脚本，将上述预先存放在保险公司保证保险业务处理系统informix数据库中金融机构基础表中的目标贷后数据，转储到hadoop大数据平台上的基于kudu的分布式列式存储系统中。(5)根据目标贷后数据和目标贷后数据对应的预定业务规则，启用impala内存计算引擎进行数据处理，得到数据处理结果，其中，上述数据处理结果包括：7天审核失效任务、到期提醒、处理逾期保单以及贷后状态处理等业务所需的或者流程需要的具体表数据。(6)通过jdbc回写机制，将上述数据处理结果存储到预定的数据库(如：保险公司保证保险业务处理系统informix数据库)中的预定基础表中。(7)根据具体的业务规则，将上述预定基础表中的数据处理结果，可以利用接口推送到预定的处理系统(如：保险公司保证保险业务处理系统)，其中，上述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。也可以根据具体的业务规则，进行报表提数(如：拼装承保相应的业务所需的报表)，进而通过上述业务所需的报表帮助业务人员高效工作。本说明书实施例中的数据处理方法，包括：获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，能够对pb级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。进一步的，利用hadoop大数据平台中的kudu存储系统及impala内存处理机制，对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，这样，利用impala和kudu来进行数据处理，其中，kudu存储数据支持数据更新操作，所有流程都可以放到hadoop大数据平台中进行实现，不需要接口的频繁交互，也不需要数据的频繁导入。对应上述实施例提供的数据处理方法，基于相同的技术构思，本说明书实施例还提供了一种数据处理装置，图8为本说明书实施例提供的数据处理装置的模块组成示意图，该数据处理装置用于执行图1至图7描述的数据处理方法，如图8所示，该数据处理装置包括：目标数据获取模块801，用于获取待处理的目标贷后数据；处理结果生成模块802，用于根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；处理结果输出模块803，用于输出所述不同业务类别的目标贷后数据的处理结果。本说明书实施例提供了一种数据处理装置，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制impala内存处理机制对目标贷后数据进行处理，能够对pb级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。可选地，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。可选地，上述处理结果输出模块803，用于：将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。可选地，上述装置还包括处理结果推送模块，用于：根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。可选地，上述处理结果输出模块803，用于：通过java数据库连接jdbc回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的informix数据库。可选地，上述装置还包括：目标数据存储模块，用于：调用预定的shell脚本将获取到的目标贷后数据存储到hadoop大数据平台上的基于kudu的分布式列式存储系统中。可选地，上述装置还包括目标数据生成模块，用于：获取源贷后数据；对获取到的所述源贷后数据进行处理，得到预定的数据格式的不同业务类别的所述目标贷后数据。本说明书实施例中的数据处理装置，获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对目标贷后数据进行处理，能够对pb级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。进一步的，利用hadoop大数据平台中的kudu存储系统及impala内存处理机制，对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，这样，利用impala和kudu来进行数据处理，其中，kudu存储数据支持数据更新操作，所有流程都可以放到hadoop大数据平台中进行实现，不需要接口的频繁交互，也不需要数据的频繁导入。本发明实施例提供的数据处理装置能够实现上述数据处理方法对应的实施例中的各个过程，为避免重复，这里不再赘述。需要说明的是，本发明实施例提供的移动终端与本发明实施例提供的数据处理方法基于同一发明构思，因此该实施例的具体实施可以参见前述数据处理方法的实施，重复之处不再赘述。对应上述实施例提供的数据处理方法，基于相同的技术构思，本发明实施例还提供了一种电子设备，该电子设备用于执行上述的恶意扣费的识别方法，图9为实现本发明各个实施例的一种电子设备的结构示意图，如图9所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在电子设备上执行存储器902中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906。具体在本实施例中，电子设备包括有处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现以下方法步骤：获取待处理的目标贷后数据；根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；输出所述不同业务类别的目标贷后数据的处理结果。本申请实施例还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下方法步骤：获取待处理的目标贷后数据；根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用hadoop大数据平台中的impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；输出所述不同业务类别的目标贷后数据的处理结果。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类别的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。当前第1页1 2 3