一种个性化大数据分析系统和方法与流程

文档序号:15636959发布日期:2018-10-12 21:35阅读:201来源:国知局

本发明涉及计算机技术领域,特别是一种个性化大数据分析系统和方法。



背景技术:

随着大数据时代的来临,传统的数据报表,已经远远无法满足软件系统的要求,主要存在以下不足:

传统的数据报表由软件开发商根据客户需求开发设计,不同的需求就得开发不同的报表,这种方式,开发效率低,工作量大,又无法满足所有客户的需求,对于实现产品化更是困难重重,特别是saas的产品,面向众多客户,无法灵活地满足所有的客户需求。

另外,当前已处于数据大爆发的时代,数据量急剧增长,基于传统数据库的数据报表,已经无达到快速响应的要求,甚至已经到了无法负载的程度,无法计算得出结果,用户体验极差。



技术实现要素:

为了解决上述现有技术的不足,本发明公开了一种个性化大数据分析系统和方法,目的是实现数据分析报表的自定义开发,节约开发成本,提高开发效率,满足客户个性化开发需求,并且对于大数据分析的响应迅速,用户体验好。

为实现上述技术目的,达到上述技术效果,本发明公开了一种个性化大数据分析系统,包括用户自定义数据模块、数据加工模块和报表生成模块,其中,

所述的用户自定义数据模块,用于用户根据自身的业务需求,进行个性化数据源选取;

所述的数据加工模块,用于用户根据自身的业务需求,进行个性化数据加工条件设置,并根据所述的数据加工条件进行数据加工;

所述的报表生成模块,用于用户根据自身的业务需求,创建需要展示的报表。

进一步地,所述的用户自定义数据模块,包括数据源选取单元、多表关联单元、分组条件设置单元和数据集输出单元,其中,

所述的数据源选取单元,用于用户根据自身的业务需求,选取数据源;

所述的多表关联单元,用于判断数据源是否分布于多表中,如果是多表分布,进行多表关联关系设置;

所述的分组条件设置单元,用于设置数据筛选的分组条件,所述的分组条件也包括虚拟字段;

所述的数据集输出单元,用于选取要输出的数据集。

进一步地,所述的数据加工模块,包括过滤条件设置单元、数据加工方式设置单元和数据加工单元,其中,

所述的过滤条件设置单元,用于用户根据自身的业务需求,对所述的数据集进行过滤条件的设置;

所述的数据加工方式设置单元,用于对过滤后的数据加工方式进行设置;

所述的数据加工单元,用于将过滤后的数据和加工方式提交至大数引擎,进行数据加工。

进一步地,所述的报表生成模块,包括模板选取单元、数据设置单元、图表插入单元、报表生成单元,其中,

所述的模板选取单元用于选取报表模板;

所述的数据设置单元用于将所述的数据集设置为数据来源,选取展示字段;

所述的图表插入单元用于将所述的数据加工单元得到的数据加工结果转换为图表形式,插入报表模板中;

所述的报表生成单元用于生成个性化数据分析报表。

本发明还公开了一种个性化大数据分析方法,所述的方法包括如下步骤:

s1:用户根据自身的业务需求,进行个性化数据源选取;

s2:用户根据自身的业务需求,进行个性化数据加工条件设置,并根据所述的数据加工条件进行数据加工;

s3:用户根据自身的业务需求,创建需要展示的报表。

进一步地,步骤s1包括如下步骤:

s1-1:用户根据自身的业务需求,选取数据源;

s1-2:判断步骤s3-1中的数据源是否分布于多表中,如果是多表分布,设置多表关联关系;

s1-3:设置数据筛选的分组条件,所述的分组条件也包括虚拟字段;

s1-4:选取要输出的数据集。

进一步地,步骤s2包括如下步骤:

s2-1:用户根据自身的业务需求,对步骤s1-4输出的所述的数据集进行过滤条件的设置;

s2-2:对步骤s2-1过滤后的数据加工方式的设置;

s2-3:将步骤s2-1得到的数据和步骤s2-2设置的加工方式提交至大数引擎,进行数据加工。

进一步地,步骤s3包括如下步骤:

s3-1:选取报表模板;

s3-2:将步骤s1-4输出的所述的数据集设置为数据来源,选取展示字段;

s3-3:将步骤s2-3得到的数据加工结果转换为图表形式,插入报表模板中;

s3-4:生成个性化数据分析报表。

本发明具有以下有益效果:

(1)本发明实现将具体的报表由客户自定义完成,使得开发人员从繁杂的业务中抽离出来,不仅节省了开发成本,提高了开发效率,而且还能满足众多客户个性化的需求,达到千人千面的效果;

(2)本发明在大数据量的情景下,能够快速响应,实现大数据分析,提高用户体验,更好地帮助用户进行日常生产生活的决策。

附图说明

图1为本发明的大数据分析系统的结构框架示意图。

图2为本发明的用户自定义数据模块的结构框架示意图。

图3为本发明的数据加工模块的结构框架示意图。

图4为本发明的报表生成模块的结构框架示意图。

图5为本发明的大数据分析方法的流程示意图。

图6为本发明的个性化数据源选取的流程示意图。

图7为本发明的数据分析加工的流程示意图。

图8为本发明的报表生成展示的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。

本发明公开了一种个性化大数据分析系统,如图1所示,包括用户自定义数据模块、数据加工模块和报表生成模块。

用户自定义数据模块,用于用户根据自身的业务需求,进行个性化数据源选取。如图2所示为用户自定义数据模块的结构框架示意图,包括数据源选取单元、多表关联单元、分组条件设置单元和数据集输出单元。其中,

数据源选取单元,用于用户根据自身的业务需求,选取数据源。

多表关联单元,用于判断数据源是否分布于多表中,如果是多表分布,进行多表关联关系设置。

分组条件设置单元,用于设置数据筛选的分组条件,分组条件也包括虚拟字段。

在具体实施当中,数据源可以通过键盘直接输入、外部源数据导入,也可以通过可视化拖拉开发工具快速地选取数据源、设置多表关联关系、设置分组条件。本发明所述及的可视化拖拉开发工具采用了mxgraph前端框架来实现,具体的业务流程如下:(1)创建数据源;(2)进入数据源编缉页面,根据业务需求将定义好的节点模板(如:表,分组条件,关联条件),拖拉到画板中,节点之间采用数据线连接起来;(3)设置好数据源后,进入下一步设置数据的筛选条件。

数据集输出单元,用于选取要输出的数据集。数据加工模块,用于用户根据自身的业务需求,进行个性化数据加工条件设置,并根据数据加工条件进行数据加工。如图3所示为数据加工模块的结构框架示意图,包括过滤条件设置单元、数据加工方式设置单元和数据加工单元。其中,

过滤条件设置单元,用于用户根据自身的业务需求,对数据集进行过滤条件的设置。在具体实施当中,用户可以按照需求设置,例如可以按客户的名称,数据时间段,客户的年龄、性别等来设置过滤条件。

数据加工方式设置单元,用于对过滤后的数据加工方式进行设置。在具体实施当中,数据加工方式有定时加工(如一天加工一次)和实时查询。

数据加工单元,用于将过滤后的数据和加工方式提交至大数引擎,进行数据加工。为了实现大数据的快速响应,可以采用大数据框架spark+snappydata作为数据存储加工的大数引擎。单表查询直接由大数引擎读取展示;多表关联查询则按用户自定义数据模块的多表关联的设置条件,将数据加工到数据仓库中,报表则从数据仓库读取展示。

报表生成模块,用于用户根据自身的业务需求,创建需要展示的报表。如图4所示为报表生成模块的结构框架示意图,包括模板选取单元、数据设置单元、图表插入单元、报表生成单元。其中,

模板选取单元用于选取报表模板。具体地,模板类型包括销售统计模板、订单统计模板、回购周期分析模板、新老客占比模板等。

数据设置单元用于将数据集设置为数据来源,选取展示字段。在具体实施当中,展示字段来源于数据源,如数据库的表字段,如客户信息、订单信息等。

图表插入单元用于将数据加工单元得到的数据加工结果转换为图表形式,插入报表模板中。在具体实施当中,图表形式包括柱状图、饼状图、折线图、计量图,目前的报表都是在网页上展示,图表也是以网页的形式展示。

报表生成单元用于生成个性化数据分析报表。

本发明还公开了一种个性化大数据分析方法,如图5所示,方法包括如下步骤:

s1:用户根据自身的业务需求,进行个性化数据源选取。

具体地,如图6所示,步骤s1包括如下步骤:

s1-1:用户根据自身的业务需求,选取数据源。

s1-2:判断步骤s3-1中的数据源是否分布于多表中,如果是多表分布,设置多表关联关系。

s1-3:设置数据筛选的分组条件,分组条件也包括虚拟字段。

s1-4:选取要输出的数据集。

在具体实施当中,数据源可以通过键盘直接输入、外部源数据导入,也可以通过可视化拖拉开发工具快速地选取数据源、设置多表关联关系、设置分组条件。本发明所述及的可视化拖拉开发工具采用了mxgraph前端框架来实现,具体的业务流程如下:(1)创建数据源;(2)进入数据源编缉页面,根据业务需求将定义好的节点模板(如:表,分组条件,关联条件),拖拉到画板中,节点之间采用数据线连接起来;(3)设置好数据源后,进入下一步设置数据的筛选条件。

s2:用户根据自身的业务需求,进行个性化数据加工条件设置,并根据数据加工条件进行数据加工。

具体地,如图7所示,步骤s2包括如下步骤:

s2-1:用户根据自身的业务需求,对步骤s1-4输出的数据集进行过滤条件的设置。在具体实施当中,用户可以按照需求设置,例如可以按客户的名称,数据时间段,客户的年龄、性别等来设置过滤条件。

s2-2:对步骤s2-1过滤后的数据加工方式的设置。在具体实施当中,数据加工方式有定时加工(如一天加工一次)和实时查询。

s2-3:将步骤s2-1得到的数据和步骤s2-2设置的加工方式提交至大数引擎,进行数据加工。

具体地,在步骤s2中,为了实现大数据的快速响应,可以采用大数据框架spark+snappydata作为数据存储加工的大数引擎。单表查询直接由大数引擎读取展示;多表关联查询则按用户自定义数据模块的多表关联的设置条件,将数据加工到数据仓库中,报表则从数据仓库读取展示。

s3:用户根据自身的业务需求,创建需要展示的报表。

具体地,如图8所示,步骤s3包括如下步骤:

s3-1:选取报表模板。具体地,模板类型包括销售统计模板、订单统计模板、回购周期分析模板、新老客占比模板等。

s3-2:将步骤s1-4输出的数据集设置为数据来源,选取展示字段。在具体实施当中,展示字段来源于数据源,如数据库的表字段,如客户信息、订单信息等。

s3-3:将步骤s2-3得到的数据加工结果转换为图表形式,插入报表模板中。在具体实施当中,图表形式包括柱状图、饼状图、折线图、计量图,目前的报表都是在网页上展示,图表也是以网页的形式展示。

s3-4:生成个性化数据分析报表。

报表生成单元用于生成个性化数据分析报表。

本发明的实施例实现将具体的报表由客户自定义完成,使得开发人员从繁杂的业务中抽离出来,不仅节省了开发成本,提高了开发效率,而且还能满足众多客户个性化的需求,达到千人千面的效果;在大数据量的情景下,能够快速响应,实现大数据分析,提高用户体验,更好地帮助用户进行日常生产生活的决策。

为了解决这方面的困难,我们设计了,由客户实现,可视化、可拖拉的、基于大数据引擎的,数据分析报表,解决传统数据分析报表的各种弊端。

以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1