数据处理方法、装置、电子设备及计算机可读介质与流程

文档序号:26539131发布日期:2021-09-07 21:00阅读:来源:国知局

技术特征:
1.一种数据处理方法,所述方法包括:对从不同的数据源实时获取的业务对象数据进行统一解析,以获得用于生成业务对象数据表的业务对象结构化数据;将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库,使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表,并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。2.根据权利要求1所述的方法,其中,所述对从不同的数据源实时获取的业务对象数据进行统一解析之前,所述方法还包括:对从不同的所述数据源实时获取的所述业务对象数据进行清洗,以获得清洗后的所述业务对象数据;所述对从不同的数据源实时获取的业务对象数据进行统一解析,包括:对清洗后的所述业务对象数据进行统一解析,以获得用于生成所述业务对象数据表的所述业务对象结构化数据。3.根据权利要求1所述的方法,其中,所述对从不同的数据源实时获取的业务对象数据进行统一解析,包括:对从不同的所述数据源实时获取的所述业务对象数据的数据格式进行转换,以获得具有统一数据格式的所述业务对象数据;对所述具有统一数据格式的所述业务对象数据进行结构化,以获得所述业务对象结构化数据。4.根据权利要求3所述的方法,其中,所述业务对象结构化数据包括为所述业务对象数据标识的类型数据,所述对所述具有统一数据格式的所述业务对象数据进行结构化,包括:对所述具有统一数据格式的所述业务对象数据进行类型标识,以获得为所述业务对象数据标识的类型数据。5.根据权利要求1-4中任意一项权利要求所述的方法,其中,所述业务对象数据包括以下中的至少一者:针对业务对象的操作数据、针对所述业务对象进行操作的地域数据、所述业务对象的投放数据。6.根据权利要求5所述的方法,其中,所述针对业务对象的操作数据包括以下中的至少一者:针对所述业务对象的展现操作数据、针对所述业务对象的点击操作数据、针对所述业务对象关联的商品的购买操作数据、针对所述业务对象的请求操作数据、针对所述业务对象的下发操作数据。7.一种数据处理方法,所述方法包括:第一数据仓库获取etl工具加载的用于生成第一业务对象数据表的业务对象结构化数据,所述业务对象结构化数据为所述etl工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的;所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表;所述第一数据仓库将所述第一业务对象数据表导入业务对象投放平台进行展示。8.根据权利要求7所述的方法,其中,所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表,包括:
通过所述第一数据仓库的存放层,存放所述业务对象结构化数据;通过所述第一数据仓库的统计层,对所述业务对象结构化数据进行统计,以获得所述业务对象结构化数据的明细数据;通过所述第一数据仓库的汇总层,对所述业务对象结构化数据的明细数据进行汇总,以获得所述业务对象结构化数据的汇总结果;通过所述第一数据仓库的应用层,应用所述业务对象结构化数据的汇总结果,以实时生成所述第一业务对象数据表。9.根据权利要求7所述的方法,其中,所述方法还包括:当所述第一数据仓库实时生成所述第一业务对象数据表出现故障时,所述第一数据仓库获取第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表,并根据所述第二业务对象数据表实时生成所述第一业务对象数据表。10.一种数据处理方法,所述方法包括:第二数据仓库获取etl工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据,所述业务对象结构化数据为所述etl工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的;所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表;所述第二数据仓库将所述第二业务对象数据表导入业务对象投放平台进行展示。11.根据权利要求10所述的方法,其中,所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表,包括:通过所述第二数据仓库的存放层,存放所述业务对象结构化数据;通过所述第二数据仓库的统计层,对所述业务对象结构化数据进行统计,以获得所述业务对象结构化数据的明细数据;通过所述第二数据仓库的汇总层,对所述业务对象结构化数据的明细数据进行汇总,以获得所述业务对象结构化数据的汇总结果;通过所述第二数据仓库的应用层,应用所述业务对象结构化数据的汇总结果,以离线生成所述第二业务对象数据表。12.根据权利要求10所述的方法,其中,所述方法还包括:当所述第二数据仓库离线生成所述第二业务对象数据表出现故障时,所述第二数据仓库获取第一数据仓库根据所述业务对象结构化数据实时生成的第一业务对象数据表,并根据所述第一业务对象数据表离线生成所述第二业务对象数据表。13.一种数据处理方法,所述方法包括:接收用户输入的业务对象数据表生成触发操作,根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息;根据所述用户对展示的所述业务对象结构化数据的信息的选择操作,将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库,使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表,并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。14.根据权利要求13所述的方法,其中,在所述将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库之前,所述方法还包括:
接收所述用户输入的第一数据仓库的信息和第二数据仓库的信息,并根据所述第一数据仓库的信息和所述第二数据仓库的信息,分别确定所述所选择的业务对象结构化数据待发送的第一数据仓库和第二数据仓库。15.根据权利要求13或14所述的方法,其中,所述方法还包括:若接收到所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表的故障信息,则获取并展示第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的所述业务对象数据表的信息,并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第一数据仓库,以使所述第一数据仓库实时生成业务对象数据表;或者,若接收到所述第二数据仓库根据所述业务对象结构化数据离线生成所述业务对象数据表的故障信息,则获取并展示第一数据仓库根据所述业务对象结构化数据实时生成的业务对象数据表的信息,并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第二数据仓库,以使所述第二数据仓库离线生成业务对象数据表。16.一种数据处理装置,所述装置包括:解析模块,用于对从不同的数据源实时获取的业务对象数据进行统一解析,以获得用于生成业务对象数据表的业务对象结构化数据;加载模块,用于将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库,使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表,并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。17.一种数据处理装置,所述装置包括:第一获取模块,用于获取etl工具加载的用于生成第一业务对象数据表的业务对象结构化数据,所述业务对象结构化数据为所述etl工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的;第一生成模块,用于根据所述业务对象结构化数据实时生成所述第一业务对象数据表;第一导入模块,用于将所述第一业务对象数据表导入业务对象投放平台进行展示。18.一种数据处理装置,所述装置包括:第二获取模块,用于获取etl工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据,所述业务对象结构化数据为所述etl工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的;第三生成模块,用于根据所述业务对象结构化数据离线生成所述第二业务对象数据表;第二导入模块,用于将所述第二业务对象数据表导入业务对象投放平台进行展示。19.一种数据处理装置,所述装置包括:第一接收模块,用于接收用户输入的业务对象数据表生成触发操作,根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息;选择模块,用于根据所述用户对展示的所述业务对象结构化数据的信息的选择操作,将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库,
使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表,并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。20.一种电子设备,所述设备包括:一个或多个处理器;计算机可读介质,配置为存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任意一项权利要求所述的数据处理方法,或者实现如权利要求7-9中任意一项权利要求所述的数据处理方法,或者实现如权利要求10-12中任意一项权利要求所述的数据处理方法,或者实现如权利要求13-15中任意一项权利要求所述的数据处理方法。21.一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-6中任意一项权利要求所述的数据处理方法,或者实现如权利要求7-9中任意一项权利要求所述的数据处理方法,或者实现如权利要求10-12中任意一项权利要求所述的数据处理方法,或者实现如权利要求13-15中任意一项权利要求所述的数据处理方法。

技术总结
本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读介质,涉及数据仓库领域。其中,所述方法包括:对从不同的数据源实时获取的业务对象数据进行统一解析,以获得用于生成业务对象数据表的业务对象结构化数据;将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库,使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表,并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。本申请实施例通过对从不同的数据源实时获取的业务对象数据进行统一解析,只需开发和运行维护一套ETL解析逻辑,而无需开发和运行维护多套ETL解析逻辑,大大减轻人力成本。大减轻人力成本。大减轻人力成本。


技术研发人员:康进 王彧博 曹正伟
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2020.03.06
技术公布日:2021/9/6
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1