大数据处理方法及平台的制作方法
【技术领域】
[0001]本申请涉及大数据处理技术领域，特别涉及一种大数据处理方法及平台。
【背景技术】
[0002]互联网每天产生着巨大数量的数据。例如，国内的博客、微博、交易平台，国外的Twitter、Facebook等社交网络,每天都在产生着海量的数据。数据已经渗透到每一个行业和业务职能领域，交易过程、产品使用和人类行为都可以数据化。可见，数据已成为重要的生产因素。
[0003]这些数据看似庞杂没有规律可循，但是，从整体分布上，有存在一定的特性，能够反映某些特点。从海量庞杂的数据中，如何挖掘、处理得到有用的信息，是大数据和数据挖掘(DataMining)领域的重要研究课题。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
[0004]大数据挖掘中，一种重要的处理是对大数据进行聚类处理。大量的数据对象的集合可被划分为一系列有意义的子集，即聚类。聚类分析是把一组数据对象按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等多种领域。
[0005]聚类处理通常包括对数据对象分组，把相似的数据对象聚在一个类里。现有技术中一种典型的聚类方法包括K-MEANS算法。这种算法接收输入的聚类个数k，并接收包含N个数据对象的数据库，将该N个数据对象输出至满足方差最小标准的k个聚类中。划分至k个聚类中的N个数据对象，同一聚类中的数据对象相似度较高，而不同聚类中的数据对象相似度较小。通常，这种聚类相似度可以利用各聚类中数据对象的均值所获得一个“中心对象”(引力中心)来进行计算。
[0006]K-MEANS算法的实现过程具体包括:
[0007](I)从η个数据对象任意选择k个对象作为初始聚类中心；
[0008](2)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；
[0009](3)重新计算每个(有变化)聚类的均值(中心对象);
[0010](4)计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤(2)。
[0011]在实现本申请过程中，发明人发现现有技术中至少存在如下问题:
[0012]现有技术中采用K-MEANS算法进行聚类的过程，常针对η为固定值的情况。对于数据数量η为变化值的情况，在处理过程中，η每变化一次，例如η的值增加I个，对应的情况例如需要处理的数据增加I个新的数据记录，则需要重新执行上述步骤(I)?(4)的过程。
[0013]对于大数据而言，需要相当大的硬件资源执行上述聚类过程，且当数据数量发生变化时需要重新执行一次上述过程。这种方式占用硬件资源的很大开销。
【发明内容】
[0014]本申请实施例的目的是提供一种大数据处理方法及平台，以节省硬件资源的开销。
[0015]为解决上述技术问题，本申请实施例提供一种大数据处理方法及平台是这样实现的:
[0016]一种大数据处理方法，包括:
[0017]接收包含用户第一数据的请求信息；
[0018]如果所述第一数据大于预定限额，查询所述用户的历史数据；
[0019]基于所述历史数据在聚类后的分类中查找对应分类；
[0020]将查找到的对应分类按照预定映射规则得到动态额度；
[0021]如果所述第一数据不大于预定限额与动态额度之和，则批准所述请求信息。
[0022]一种大数据处理平台，包括:
[0023]接收单元，用于接收包含用户第一数据的请求信息；
[0024]查询单元，用于当所述第一数据大于预定限额时，查询所述用户的历史数据；
[0025]查找单元，基于所述历史数据在聚类后的分类中查找对应分类；
[0026]映射单元，用于将查找到的对应分类按照预定映射规则得到动态额度；
[0027]审核单元，用于当所述第一数据不大于预定限额与动态额度之和时，批准所述请求信息。
[0028]由以上本申请实施例提供的技术方案可见，本申请实施例中的聚类可以预先根据预定数量的大数据完成。在新接收到用户传来数据请求的情况下，不需要将包括该新接收数据的大量数据重新进行聚类，相反，基于所述用户历史数据在聚类后的分类中可以查找到对应分类，从而依据预定映射规则可以得到动态额度。这样，可以节省硬件资源的开销。
【附图说明】
[0029]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本申请大数据处理方法一个实施例的流程图；
[0031]图2为本申请大数据处理方法一实施例中群落和离群点示意图；
[0032]图3为本申请大数据处理方法一实施例中剔除离群点算法的示意图；
[0033]图4为本申请大数据处理平台一个实施例的模块图；
[0034]图5为本申请大数据处理平台一个实施例的模块图；
[0035]图6为本申请大数据处理方法中利用决策树进行分类的示意图。
【具体实施方式】
[0036]本申请实施例提供一种大数据处理方法及平台。
[0037]为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0038]随着电子商务的普及，支付平台在人们的日常生活中扮演了越来越重要的作用。通过绑定用户的银行卡，支付平台为用户支付带来了很大的便利，创造了良好的支付体验，但同时，支付的便捷性也增加了交易的风险，这对风险控制提出了更高的要求，其中重要的控制手段就是对用户的消费进行限额管理。支付平台可以对用户交易进行限额管理。现有技术中的，较常用的方式是按照固定限额对交易进行限制。例如，支付平台可以设置白名单，对白名单中的用户给予较高的限额，对于不在白名单中的用户给予较低的限额。进而判断用户消费是否超过限额以限制交易进行。这种方式中，限额通常是由人工指定且固定不变的，不能根据不同用户、不同场景灵活调整。
[0039]大数据中的聚类方法，可以应用于限额的制定，以灵活调整不同用户、不同场景中的限额，并设法节省硬件资源的开销。以下结合附图1说明本申请大数据处理方法一实施例:
[0040]SlOO:接收包含用户第一数据的请求信息。
[0041]所述请求信息中可以包含用户的订单，例如发送至交易平台的购买商品的订单信肩、O
[0042]所述第一数据，可以包括订单信息中的待支付的金额。
[0043]此外，所述第一数据，还可以包括订单信息中的商品种类。
[0044]S200:如果所述第一数据大于预定限额，查询所述用户的历史数据。
[0045]所述预定限额，可以是人为指定的，例如由系统设定或由用户指定，此外，也