一种数据分析方法、装置和系统与流程

文档序号:25038496发布日期:2021-05-11 17:11阅读:来源:国知局

技术特征:

1.一种数据分析方法,其特征在于,包括:

获取预先为数据分析任务编写的业务逻辑脚本;其中,所述业务逻辑脚本包括数据源参数信息和业务逻辑代码;

执行所述业务逻辑代码的数据提取逻辑,以从所述数据源参数信息指定的数据源中获取业务数据;

执行所述业务逻辑代码的数据处理逻辑,以调用所述数据处理逻辑中设定的计算器集,对所述业务数据进行数据加工处理。

2.根据权利要求1所述的方法,其特征在于,所述数据源参数信息包括数据源参数元组,所述数据源参数元组包括数据源基本信息和数据读取指令;

从所述数据源参数信息指定的数据源中获取业务数据,包括:

根据所述数据源基本信息,与对应的数据源建立连接;

执行所述数据读取指令,以从所述数据源中获取业务数据。

3.根据权利要求1所述的方法,其特征在于,所述计算器集中包括用于数据加工处理的单一职责的计算器,所述计算器将所述业务数据或者所述业务数据的加工处理结果作为入参,对所述入参进行加工处理后,返回所述入参的加工处理结果。

4.根据权利要求2所述的方法,其特征在于,所述数据分析任务为物品问答数据的聚类任务,所述业务数据为所述物品问答数据,所述计算器集包括分词计算器、相似度计算器和聚类计算器;

调用所述数据处理逻辑中设定的计算器集,对所述业务数据进行数据加工处理,包括:

调用所述分词计算器,对所述物品问答数据进行分词,得到分词结果;

调用所述相似度计算器,对所述分词结果中同一物品的分词记录进行相似度计算,得到相似度计算结果;

调用所述聚类计算器,以基于所述相似度计算结果,对所述物品问答数据进行聚类。

5.根据权利要求1所述的方法,其特征在于,所述数据源参数信息包括参数标识;

从所述数据源参数信息指定的数据源中获取业务数据,包括:

根据所述参数标识,获取对应的数据源参数元组;其中,所述数据源参数元组包括数据源基本信息和数据读取指令;

根据所述数据源基本信息,与对应的数据源建立连接;

执行所述数据读取指令,以从所述数据源中获取业务数据。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

接收数据源配置信息,为所述数据源配置信息的数据源参数元组生成对应的参数标识;其中,所述数据源配置信息包括数据源类型和所述数据源类型对应的数据源参数元组。

7.根据权利要求1所述的方法,其特征在于,所述业务数据包括存量数据和/或增量数据,所述增量数据通过订阅业务系统的消息队列的方式,存储到数据源组件。

8.一种数据分析装置,其特征在于,包括:

脚本获取模块,用于获取预先为数据分析任务编写的业务逻辑脚本;其中,所述业务逻辑脚本包括数据源参数信息和业务逻辑代码;

数据获取模块,用于执行所述业务逻辑代码的数据提取逻辑,以从所述数据源参数信息指定的数据源中获取业务数据;

数据处理模块,用于执行所述业务逻辑代码的数据处理逻辑,以调用所述数据处理逻辑中设定的计算器集,对所述业务数据进行数据加工处理。

9.一种数据分析系统,其特征在于,包括:

管理后台,用于将为数据分析任务编写的业务逻辑脚本发送至组装器组件;其中,所述业务逻辑脚本包括数据源参数信息和业务逻辑代码;

所述组装器组件,用于执行所述业务逻辑代码的数据提取逻辑,以发送数据获取请求至数据源组件;还用于执行所述业务逻辑代码的数据处理逻辑,以发送计算器调用请求至计算器组件;

所述数据源组件,用于接收所述数据获取请求,从所述数据获取请求指定的数据源中获取业务数据,将所述业务数据发送至所述组装器组件;

所述计算器组件,用于接收所述计算器调用请求,调用所述计算器调用请求中指定的计算器集,对所述业务数据进行数据加工处理。

10.根据权利要求9所述的系统,其特征在于,所述计算器组件,还用于:将加工处理结果发送至所述组装器组件,以由所述组装器组件把所述加工处理结果存储至所述数据源组件;

所述系统还包括:检索系统,用于根据数据查询条件,从所述数据源组件中检索所述加工处理结果。

11.一种电子设备,其特征在于,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。


技术总结
本发明公开了一种数据分析方法、装置和系统,涉及计算机技术领域。该方法的一具体实施方式包括:获取预先为数据分析任务编写的业务逻辑脚本;其中,所述业务逻辑脚本包括数据源参数信息和业务逻辑代码;执行所述业务逻辑代码的数据提取逻辑,以从所述数据源参数信息指定的数据源中获取业务数据;执行所述业务逻辑代码的数据处理逻辑,以调用所述数据处理逻辑中设定的计算器集,对所述业务数据进行数据加工处理。该方法通过获取包含业务逻辑代码的业务逻辑脚本,从指定的数据源中获取业务数据,之后调用计算器集实现对业务数据的加工处理,使得系统代码可以复用,开发效率高。

技术研发人员:李伟进;侯会满
受保护的技术使用者:北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司
技术研发日:2019.11.08
技术公布日:2021.05.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1