一种大数据分析处理方法与流程

文档序号:14940904发布日期:2018-07-13 20:44阅读:201来源:国知局

本发明涉及一种处理方法,具体是一种大数据分析处理方法。



背景技术:

近几年,由于数据在互联网领域的持续增长,各公司都面临海量数据的处理需求。部门内的数据分析主要为公司各部门运维服务,数据分析主要基于各部门的服务器产生的日志来进行分析,目的是基于这些日志对用户访问、数据流量在时间维度、产品线维度、域名维度等有明确的量化数据,从而为公司服务器运维管理、流量分配、预估等提供建议。在现有的数据分析系统中,针对用户不同的分析需求,需要采用专用的数据分析方法,即针对用户不同的分析需求,都需要设计一套数据分析方法。因此,导致数据分析的效率底下,成本高昂。



技术实现要素:

本发明的目的在于提供一种大数据分析处理方法,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:

一种大数据分析处理方法,包括如下步骤:获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表;根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解,生成数据项值,并将数据项值与所述数据项名称列表进行关联,形成数据项名称与数据项值对应的中间数据对;根据设定统计规则,对所述中间数据对进行统计分析,接收源数据库发送的日志信息,所述日志信息用于表示所述源数据库中的数据修改操作;获取所述日志信息中所述数据修改操作的类型和参数,并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中,生成数据修改操作语句;运行所述数据修改操作语句,完成对目标数据库中相同存储位置的数据的修改,得到数据分析结果。

作为本发明进一步的方案:在根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解之前,还包括:获取边界鉴定正则表达式,并对所述待分析数据应用所述边界鉴定正则表达式进行边界鉴定,提取出所述待分析数据中的数据段。

作为本发明进一步的方案:所述将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中,生成数据修改操作语句之前,还包括:生成所述语句类型。

作为本发明进一步的方案:在所述运行所述数据修改操作语句之前,还包括:将所述数据修改操作语句添加到语句组;所述运行所述数据修改操作语句,完成对目标数据库中相同存储位置的数据的修改具体包括:在所述语句组的语句类型为预设类型时,运行所述语句组,完成对目标数据库中相同存储位置的数据的修改。

作为本发明进一步的方案:对所述中间数据对进行统计分析,得到数据分析结果,包括:获取统计分析结果字段表中的结果字段,结果字段包括字段统计公式,所述统计分析结果字段表包括至少一个结果字段;根据字段统计公式,对所述中间数据对中的相应数据进行统计。

作为本发明再进一步的方案:所述结果字段还包括字段值;根据字段统计公式,对所述中间数据对中的相应数据进行统计,包括:将所述中间数据对和字段值代入字段统计公式,计算得到新的字段值;将新的字段值替换所述字段值,并保存至统计分析结果字段表中的对应结果字段中。

与现有技术相比,本发明的有益效果是:本发明通过根据用户分析需要设定数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表,实现对待分析数据的不同需求的分解和提取,提高了数据分析的通用性。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例中,一种大数据分析处理方法,包括如下步骤:获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表;根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解,生成数据项值,并将数据项值与所述数据项名称列表进行关联,形成数据项名称与数据项值对应的中间数据对;根据设定统计规则,对所述中间数据对进行统计分析,接收源数据库发送的日志信息,所述日志信息用于表示所述源数据库中的数据修改操作;获取所述日志信息中所述数据修改操作的类型和参数,并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中,生成数据修改操作语句;运行所述数据修改操作语句,完成对目标数据库中相同存储位置的数据的修改,得到数据分析结果。

在根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解之前,还包括:获取边界鉴定正则表达式,并对所述待分析数据应用所述边界鉴定正则表达式进行边界鉴定,提取出所述待分析数据中的数据段。

所述将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中,生成数据修改操作语句之前,还包括:生成所述语句类型。

在所述运行所述数据修改操作语句之前,还包括:将所述数据修改操作语句添加到语句组;所述运行所述数据修改操作语句,完成对目标数据库中相同存储位置的数据的修改具体包括:在所述语句组的语句类型为预设类型时,运行所述语句组,完成对目标数据库中相同存储位置的数据的修改。

对所述中间数据对进行统计分析,得到数据分析结果,包括:获取统计分析结果字段表中的结果字段,结果字段包括字段统计公式,所述统计分析结果字段表包括至少一个结果字段;根据字段统计公式,对所述中间数据对中的相应数据进行统计。

所述结果字段还包括字段值;根据字段统计公式,对所述中间数据对中的相应数据进行统计,包括:将所述中间数据对和字段值代入字段统计公式,计算得到新的字段值;将新的字段值替换所述字段值,并保存至统计分析结果字段表中的对应结果字段中。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。



技术特征:

技术总结
本发明公开了一种大数据分析处理方法,包括如下步骤:获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表;根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解,生成数据项值,并将数据项值与所述数据项名称列表进行关联,形成数据项名称与数据项值对应的中间数据对。本发明通过根据用户分析需要设定数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表,实现对待分析数据的不同需求的分解和提取,提高了数据分析的通用性。

技术研发人员:戴亚娥
受保护的技术使用者:浙江工商职业技术学院
技术研发日:2017.12.13
技术公布日:2018.07.13
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1