本发明涉及计算机
技术领域：
：，尤其涉及一种数据预处理方法和装置。
背景技术：
：hadoop是一个能够对大量数据进行分布式处理的软件框架。hadoop实现了一个分布式文件系统(hadoopdistributedfilesystem)，简称hdfs。spark是一个为速度和通用目标设计的集群计算平台，能更有效地支持多种类型的计算，如交互式查询和流处理。随着hadoop+spark大数据框架的逐步发展，越来越多擅长不同编程语言的数据挖掘工程师会利用大数据框架开发不同的业务模型，例如用户信用评分模型、刷单模型、黄牛识别模型。之后，数据挖掘工程师可针对各个业务模型进行数据预处理、模型训练等。在现有技术中，往往是针对各个业务模型单独编写对应的数据预处理程序。例如，针对信用评分模型编写了数据预处理程序，针对刷单模型编写了数据预处理程序。虽然这两个模型都用到了用户历史订单相关的指标，比如历史有效订单量，但是需要分别针对该指标进行预处理。另外，虽然这两个模型都用到了相同的离散化处理方法，但是需要各自编写预处理程序。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：第一、数据预处理不统一。对于相同的数据，不同业务模型会有不同的预处理过程。第二，代码重复。对于不同业务模型中相同的预处理步骤，需要重复开发代码，增加开发成本。第三、变更不同步。当业务变化导致数据变更时，需要分别对不同业务模型中的预处理程序进行修改处理。技术实现要素：有鉴于此，本发明实施例提供一种数据预处理方法和装置，能够有效解决现有技术中存在的数据预处理不统一、代码重复、变更不同步的问题。为实现上述目的，根据本发明实施例的一个方面，提供了一种数据预处理方法。本发明实施例的数据预处理方法包括：步骤s1、接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数；步骤s2、遍历配置文件，查找与所述源数据参数匹配的预处理配置信息；步骤s3、根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。可选地，所述源数据参数包括：表名、表中的字段名；所述预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。可选地，所述表中字段的预处理配置参数包括以下至少一项：数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。可选地，在步骤s1之前，所述方法还包括：初始化配置文件，并将初始化后的配置文件写入缓存。可选地，在步骤s3之后，所述方法还包括：将源数据预处理结果返回至所述业务模型。为实现上述目的，根据本发明实施例的另一个方面，提供了一种数据预处理装置。本发明实施例的数据预处理装置包括：接收模块，用于接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数；匹配模块，用于遍历配置文件，查找与所述源数据参数匹配的预处理配置信息；执行模块，用于根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。可选地，所述接收模块接收的源数据参数包括：表名、表中的字段名；所述匹配模块查找到的预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。可选地，所述匹配模块查找到的表中字段的预处理配置参数包括以下至少一项：数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。可选地，所述装置还包括：配置文件加载模块，用于初始化配置文件，并将初始化后的配置文件写入缓存。可选地，所述装置还包括：输出模块，用于将源数据预处理结果返回至所述业务模型。为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。本发明实施例的电子设备，包括：一个或多个处理器；以及，存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的数据预处理方法。为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。本发明实施例的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的数据预处理介质。上述发明中的一个实施例具有如下优点或有益效果：在本发明实施例中，针对不同业务模型的数据预处理需求，开发了统一的代码包以及统一的配置文件。在业务模型有数据预处理需求时，通过接收业务模型发出的调用包中的清洗方法的请求，查找与所述请求包含的源数据参数相匹配的预处理配置信息，并根据包中的预处理程序和查找到的预处理配置信息对源数据进行预处理。这样一来，有效解决了现有技术存在的数据预处理不统一、代码重复、变更不同步的问题。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是根据本发明实施例的数据预处理方法的主要步骤示意图；图2是根据本发明实施例的数据预处理方法的流程示意图；图3是图2所示步骤a7的一种流程示意图；图4是根据本发明实施例的数据预处理装置的主要模块组成示意图；图5是用于实现本发明实施例的电子设备的计算机系统的结构示意图。具体实施方式以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本发明的主要思路是：针对不同业务模型的数据预处理需求，开发统一的代码包以及统一的配置文件。在业务模型有数据预处理需求时，通过代码包中的预处理程序、与源数据匹配的预处理配置信息进行数据预处理。这样一来，有效解决了现有技术存在的数据预处理不统一、代码重复、变更不同步的问题。图1是根据本发明实施例的数据预处理方法的主要步骤示意图。图1是从数据预处理装置一侧对数据预处理方法进行描述的。如图1所示，本发明实施例的数据预处理方法主要包括以下步骤：步骤s1、接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数。其中，所述述源数据参数包括：表名、表中的字段名。进一步，在步骤s1之前，所述方法还包括：初始化配置文件，并将初始化后的配置文件写入缓存。步骤s2、遍历配置文件，查找与所述源数据参数匹配的预处理配置信息。其中，所述预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。进一步，所述表中字段的预处理配置参数包括以下至少一项：数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。步骤s3、根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。进一步，在步骤s3之后，所述方法还包括：将源数据预处理结果返回至所述业务模型。在本发明实施例中，针对不同业务模型统一开发代码包、统一开发配置文件，并在接收到业务模型发出的调用包中的清洗方法请求时，根据与源数据匹配的预处理配置信息有针对性地执行预处理程序中的部分代码。这样一来，有效解决了现有技术存在的数据预处理不统一、代码重复开发、变更不同步的问题。图2是根据本发明实施例的数据预处理方法的流程示意图。图2是从业务模型、数据预处理装置两侧展开描述的。如图2所示，本发明实施例的数据预处理方法的流程包括：a1、业务模型读取源数据。a2、业务模型导入代码包。a3、数据预处理装置初始化配置文件并缓存。a4、业务模型请求调用包中的清洗方法。需指出的是，所述清洗方法并不执行具体的清洗逻辑，其不同于上文提到的核心对象中的归一化方法、离散化方法等方法。a5、数据预处理装置接收调用请求；该调用请求包括：表名、表中的字段名。a6、数据预处理装置根据调用请求中的表名、表中的字段名对缓存中的配置文件进行遍历，获取与表名、表中的字段名匹配的预处理配置信息。a7、数据预处理装置根据匹配的预处理配置信息和包中的预处理程序对源数据进行处理。a8、数据预处理装置将预处理结果返回业务模型。在图2所示流程之前，可统一开发代码包、统一开发配置文件。其中，统一开发的配置文件可采用xml(可扩展性标记语言)格式，以便于针对不同的预处理过程进行灵活扩展。比如，针对一个离散化方法，要能支持处理订单量、账号量等具体的源数据字段。在开发完配置文件以后，可将配置文件存在hdfs的指定目录下，并将配置文件的绝对路径作为代码包的配置项。这样一来，在步骤a3中，即可对所述绝对路径下的配置文件进行初始化，并将初始化后的配置文件写入缓存。下面以一个实例对统一开发的xml格式的配置文件进行详细说明。该配置文件的代码如下：在上述代码中，table_name为表名，feature_name为表中的字段名，type为数据类型，maximum为最大值，minunum为最小值，precision为精度，regular为正则表达式，enumerationlist为枚举值列表，outlierslist为异常值列表，missing为缺失值，noise为噪音范围，normalized为归一化，discretization为离散化，zoom为缩放。上述代码表示，对于app.app_jrdm_risk_user_log表中的user_ordnum_last_30day字段，数据类型配置值为int、最大值配置值为10000、最小值配置值为0、精度配置值为0、缺失值配置值为0。为了进一步理解图2所示流程图，下面结合图3进行详细阐述。图3是图2所示步骤a7的一种流程示意图。在图3中，所用的配置文件为xml格式。图3所用的代码包包括一个核心对象，该核心对象可包括：配置文件的读取、缓存、更新方法，源数据参数的解析方法，遍历字段的方法，异常值监测处理方法，缺失值处理方法，噪音去除方法，归一化方法，离散化方法，缩放方法。如图3所示，步骤a7的流程如下：a701、按表、表中的字段进行循环。a702、异常数据检测、处理。a703、缺失数据检测、处理。a704、判断是否需要噪音去除。具体来说，若与源数据匹配的预处理配置信息中的noise字段为空，则不需要进行噪音去除，直接进入步骤a706。若noise字段不为空，进入步骤a705。a705、根据noise字段的配置值进行噪音去除处理，然后进入步骤a706。a706、判断是否需要归一化处理。具体来说，若与源数据匹配的预处理配置信息中的normalized字段为空，则不需要进行归一化处理，直接进入步骤a708。若normalized字段不为空，则进入步骤a707。a707、根据normalized字段的配置值进行归一化处理，然后进入步骤a708。a708、判断是否需要离散化处理。具体来说，若与源数据匹配的预处理配置信息中的discretization字段为空，则不需要进行离散化处理，直接进入a710。若discretization字段不为空，则进入步骤a709。a709、根据discretization字段的配置值进行离散化处理，然后进入步骤a710。a710、判断是否需要缩放处理。具体来说，若与源数据匹配的预处理配置信息中的zoom字段为空，则直接进入步骤a712。若zoom字段不为空，则进入步骤a711。a711、根据zoom字段的配置值进行缩放处理，然后进入步骤a712。a712、判断循环是否结束。若没有结束，则再次进入步骤a701，否则退出循环。另一方面，本发明实施例还提供了一种数据预处理装置。图4是根据本发明实施例的数据预处理装置的主要模块组成示意图。如图4所示，数据预处理装置40包括：接收模块401、匹配模块402、执行模块403。接收模块401，用于接收业务模型发出的调用包中的清洗方法的请求。其中，所述请求包括：源数据参数。其中，接收模块401接收的源数据参数包括：表名、表中的字段名。匹配模块402，用于遍历配置文件，查找与所述源数据参数匹配的预处理配置信息。其中，匹配模块402查找到的预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。进一步，匹配模块402查找到的表中字段的预处理配置参数包括以下至少一项：数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。执行模块403，用于根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。具体来说，执行模块可根据与源数据参数匹配的预处理配置信息，有针对性地执行代码包中的部分预处理程序。关于执行模块403如何对源数据进行预处理，可参考图3所示流程。进一步，数据预处理装置40还包括：配置文件加载模块。配置文件加载模块用于初始化配置文件，并将初始化后的配置文件写入缓存。在具体实施时，在开发完配置文件以后，可将配置文件存在hdfs的指定目录下，并将配置文件的绝对路径作为代码包的配置项。在业务模型导入代码包之后，配置文件加载模块即可对所述绝对路径下的配置文件进行初始化，并将初始化后的配置文件写入缓存中。这样一来，匹配模块402便可直接从缓存中遍历配置文件，从而加快了数据预处理的效率。进一步，数据预处理装置还包括：输出模块。输出模块，用于将源数据预处理结果返回至所述业务模型。在本发明实施例中，通过构建包括接收模块、匹配模块、执行模块的数据预处理装置，能够在接收到业务模型发出的调用包中的清洗方法请求时，根据与源数据匹配的预处理配置信息有针对性地执行预处理程序中的部分代码。这样一来，有效解决了现有技术存在的数据预处理不统一、代码重复开发、变更不同步的问题。再一方面，本发明实施例还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；以及，存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的数据预处理方法。图5是用于实现本发明实施例的电子设备的计算机系统的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图5所示，计算机系统50包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统50操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。进一步，计算机系统50还包括连接至i/o接口505的以下部件：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。进一步，根据本发明实施例，上文中数据预处理方法描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行本发明实施例的数据预处理方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明实施例中的计算机系统限定的上述功能。需要说明的是，在本发明实施例中，所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明实施中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。所述传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。附图所示的流程图和框图，图示了根据本发明各种实施例的系统、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，也可以用专用硬件与计算机指令的组合来实现。本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、匹配模块、执行模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“接收调用请求的模块”。又一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，实现上述实施例的数据预处理方法：步骤s1、接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数；步骤s2、遍历配置文件，查找与所述源数据参数匹配的预处理配置信息；步骤s3、根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。当前第1页12当前第1页12