教研数据的处理方法、装置、设备及介质与流程

文档序号:31045612发布日期:2022-08-06 05:20阅读:143来源:国知局
教研数据的处理方法、装置、设备及介质与流程

1.本公开涉及计算机技术领域,尤其涉及一种教研数据的处理方法、装置、设备及介质。


背景技术:

2.在应用大数据技术的教研领域,基于数据资产的多维分析应用是其中最核心的实践之一。通过数据多维分析应用,可以为教研数据从上至下的不同纬度、不同人员、不同角度提供有效帮助,为教研数据提供多维度的统计分析、教研计划的决策支撑、数据驱动、对学员的辅导计划优化、对课程内容把控、对教学效果的评价等多方面的功能支持。
3.但是,在将市面上的数据多维分析工具应用于教研领域的过程中,发现目前的olap(online analytical processing,联机分析处理)技术日新月异,更新速度很快,各个olap引擎的查询方式、语法细节不尽相同,数据分析工具需要不断地去适配新的olap引擎,导致适配成本过高,缺少统一的数据分析查询服务。


技术实现要素:

4.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种教研数据的处理方法、装置、设备及介质。
5.根据本公开的一方面,提供了一种教研数据的处理方法,包括:对待分析的教研数据的数据源进行配置,得到目标数据源;针对所述目标数据源所连接数据库中的表和字段,执行预设的数据集配置操作,得到目标数据集;其中,所述数据集配置操作包括:数据库表选择、数据库表中数据集对应的指标和维度的配置以及数据集准确性校验;通过配置功能不同的多个模块形成图形化管理工具,所述图形化管理工具用于对所述目标数据集进行图形化展示。
6.根据本公开的另一方面,提供了一种教研数据的处理装置,包括:数据源配置模块,用于对待分析的教研数据的数据源进行配置,得到目标数据源;数据集配置模块,用于针对所述目标数据源所连接数据库中的表和字段,执行预设的数据集配置操作,得到目标数据集;其中,所述数据集配置操作包括:数据库表选择、数据库表中数据集对应的指标和维度的配置以及数据集准确性校验;工具配置模块,用于通过配置功能不同的多个模块形成图形化管理工具,所述图形化管理工具用于对所述目标数据集进行图形化展示。
7.根据本公开的另一方面,提供了一种电子设备,所述电子设备包括:处理器;以及存储程序的存储器,其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据上述教研数据的处理方法。
8.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行根据教研数据的处理方法。
9.本公开实施例提供的技术方案与现有技术相比具有如下优点:本公开实施例提供的教研数据的处理方法、装置、设备及介质,包括:对待分析的教研数据的数据源进行配置,得到目标数据源;针对目标数据源所连接数据库中的表和字段,执行预设的数据集配置操作,得到目标数据集;其中,数据集配置操作包括:数据库表选择、数据库表中数据集对应的指标和维度的配置以及数据集准确性校验;通过配置功能不同的多个模块形成图形化管理工具,图形化管理工具用于对目标数据集进行图形化展示。本公开能够降低用户适配成本。
附图说明
10.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
11.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
12.图1为本公开实施例提供的教研数据的处理方法流程图;图2为本公开实施例提供的图形化管理工具的示意图;图3为本公开实施例提供的一种数据分析生成的报表示意图;图4为本公开实施例提供的分析结果示意图;图5为本公开实施例提供的另一种数据分析生成的报表示意图;图6为本公开实施例提供的教研数据的处理装置结构框图;图7为本公开实施例提供的电子设备的结构示意图。
具体实施方式
13.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
14.应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
15.本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
16.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
17.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
18.目前,通过数据多维分析应用可以对教研数据资产进行快速变现。但是,将市面上的图形化多维分析工具直接应用于教研领域,还存在着诸多问题,比如以下几点:第一,缺少统一的数据分析查询服务。目前的olap(online analytical processing,联机分析处理)技术日新月异,更新速度很快,各个olap引擎的查询方式、语法细节不尽相同,数据分析查询工具需要不断地去适配新的olap引擎。
19.第二,用户学习成本较高。数据分析应用普遍采用原生sql(structured query language,结构化查询语言)语句进行配置,一般只能面向数据分析师等专业人员。而真正的用户,如教研负责人、管理老师、课程设计老师等,只能被动的使用已经配置好的可视化管理工具,无法自行探索、自定义想要的数据;若有相关数据分析需求,则需要联系数据分析师进行配置,效率较低。以及,因为依赖用户编写sql,所以对用户书写的sql内容也要求较高;若用户编写的sql存在问题,系统较难校验纠错,需要用户自行校对;若用户编写的sql性能较差,会导致数据分析应用性能降低,影响使用体验。
20.第三,图形化组建不够丰富,展现形式单一,对多端的适配能力不够。
21.基于此,为改善上述问题至少之一,本公开实施例提供一种教研数据的处理方法、装置、设备及介质。本公开实施例提供的教研数据的处理方法,可以用于教研方面的数据分析,实现包括图形化管理工具、双端查询、多维分析、灵活取数等多种功能的综合性数据分析方法。上述数据分析指对大量数据进行适当的统计和分析,以求最大化地开发数据的功能,发挥数据的作用。通过数据分析提取有用信息和形成结论,从而对数据加以详细研究和概括总结。本公开的用户包括专门从事教研行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员,还包括用于教研数据多维分析的用户。为便于理解,以下对本公开实施例展开描述。
22.图1为本公开实施例提供的一种教研数据的处理方法流程图,该方法可以应用于web端;如图1所示,该方法包括如下步骤:步骤s102,对待分析的教研数据的数据源进行配置,得到目标数据源。
23.其中,数据源为待分析的教研数据的来源,比如教研数据来自mysql数据库,在对数据源进行配置时,需要配置该mysql库的地址、用户名、密码、连接参数等信息,得到配置好的目标数据源。
24.步骤s104,针对目标数据源所连接数据库中的表和字段,执行预设的数据集配置操作,得到目标数据集。
25.在本实施例中,数据集配置操作可以理解为:对目标数据源所连接数据库中使用的表及字段进行聚合及二次加工,对指标字段和维度字段进行定义;数据集配置操作诸如包括:数据库表选择、数据库表中数据集对应的指标和维度的配置以及数据集准确性校验。
26.步骤s106,通过配置功能不同的多个模块形成图形化管理工具,图形化管理工具用于对目标数据集进行图形化展示。
27.本实施例中的图形化管理工具,在实际应用中也常称为看板,其用于对目标数据集中的教研数据进行图形化展示。通常配置好的一个图形化管理工具可以应用于多个数据集的数据;在一种示例中,可以采用图形化管理工具,为目标数据集中的教研数据配置不同
展示类型的图形化展示结果;其中,展示类型包括:图标、表格和筛选项;该筛选项还可以与图表和表格相关联。
28.本实施例在配置好图形化管理工具之后,可以向不同的用户终端发布图形化管理工具,满足数据分析师之类的专业人员和教研负责人之类的实际使用用户的数据分析需求。
29.上述实施例中,通过配置目标数据源、配置目标数据集和配置图形化管理工具,实现教研数据的处理方法,对用户隐藏具体的实现细节,降低了用户适配成本。
30.为便于理解,以下对本公开实施例提供的教研数据的处理方法展开详细描述。
31.针对上述步骤s102,配置目标数据源的实施例可以包括如下内容。
32.步骤1,当在web端新增教研数据的数据源时,响应于数据库类型的选择操作,获取待新增的数据源的目标数据库类型。具体的,可以根据用户的新增操作确定需要新增教研数据的数据源,根据用户对数据库类型的选择操作,从多个数据库类型中获取目标数据库类型;数据库类型例如mysql(关系型数据库管理系统)、postgresql(对象-关系型数据库管理系统)、clickhouse(列式存储数据库)和presto等。
33.步骤2,响应于配置信息输入操作,获取待新增的数据源的数据源配置信息。数据源配置信息具体可以包括:数据源名称、数据库的ip地址、用户名、密码等信息。
34.步骤3,根据目标数据库类型和数据源配置信息,判断web端是否成功连接上述待新增的数据源。在web端成功连接待新增的数据源的情况下,将待新增的数据源保存为目标数据源。反之,在web端成功连接待新增的数据源的情况下,对目标数据库类型和/或数据源配置信息进行修改,以及根据修改后的目标数据库类型和数据源配置信息,再次判断web端是否成功连接上述待新增的数据源。
35.本实施例以连接一个mysql数据库进行举例说明。在配置时,待新增的数据源的目标数据库类型为mysql数据库,基于此,可以从预先提供的多个数据库类型中选择mysql选项。数据源名称对应的是该待新增的数据源创建好之后,需要在web端展示的数据源名称;数据库的ip地址对应的是服务器ip地址;用户名是连接mysql的用户名,密码对应的是该用户创建数据库时使用的密码;最后对待新增的数据源进行连通性测试,判断是否测试成功;如果成功,表示web端成功连接待新增的数据源,则将该待新增的数据源保存为目标数据源;如果失败,则检查并修改目标数据库类型和数据源配置信息,修改后再次判断是否成功连接待新增的数据源。
36.本实施例提供一种基于目标数据源的表和字段执行预设的数据集配置操作,得到目标数据集的方法,参照如下所示。
37.数据集又称为资料集、数据集合或资料集合,是数据库里面的表或者通过join函数连接的表的字段的集合。数据集的每一列代表一个特定变量,每一行对应某一成员的数据集。每个数值被称为数据资料,对应于行数,该数据集的数据可能包括一个或多个成员。其中对于每一列的字段,按照其作用又区分为指标字段和维度字段。同时,由于数据表里的原生字段有时不能完全满足用户所需,需要额外进行定义、修饰、计算,从而衍生出了自定义指标与自定义维度。
38.本实施例可以先根据数据库表选择配置目标数据库表,对目标数据库表中数据集对应的指标和维度进行配置,而后根据上述配置的目标数据库表以及指标字段和维度字段
得到目标数据集,以及对目标数据集进行准确性校验。
39.在一些实施例中,目标数据集中可能只有单数据库表,也可能包括多个数据库表,基于此提供一种根据数据库表选择配置目标数据库表的实施例,包括:从目标数据源中确定待使用的目标数据库;其中,目标数据库包括多个数据库表;响应于针对目标数据库包括的多个数据库表中至少一个目标数据库表的表选择操作,将目标数据库表移至预设的图形化配置区域。
40.具体实施时,目标数据源对应多个数据库,根据用户的选择从多个数据库中确定目标数据库。获取目标数据库对应的多个数据库表;根据表选择操作从多个数据库表中选择想要使用的目标数据库表,采用拖拽的方式将目标数据库表拖至图形化配置区域。在图形化配置区域中可以对目标数据库表及其字段进行编辑。
41.本实施例从原生sql生成数据集的方式转变为通过图形界面拖拽自动化生成数据集,降低了对用户的要求。提高了自动化程度,对用户行为进行了精准预测校验,限制了不可预测输入,提高了系统性能。在此之前,本实施例为了将原生sql模式转化为图形化拖拽生成的模式,可以预先对常见的多维分析场景sql进行收集分析,提炼出常用的通过图形化拖拽自动化生成sql需要实现的功能列表,再结合不同的数据源,对功能列表进行实现,使得功能完全覆盖用户需求。
42.在一种实施例中,在目标数据库表为不少于两个时,数据库表选择还包括:在完成全部目标数据库表的表选择操作后,响应于针对图形化配置区域中的关系配置按钮的操作,配置多个目标数据库表之间的关联关系。
43.在具体实施例中,数据集配置可以支持多数据库表的关联配置。数据库表的关联关系是指两个数据库表之间的数据相互依赖和影响的关系。数据库的关联关系在sql语句中表现为内连接、左连接、右连接、全外连接等连接方式;本实施例中数据集配置过程可以支持数据库表之间的内连接、左连接、全外连接三种关联关系。
44.当需要对两个及以上数据库表进行关联查询时,先按照上述的单数据表的配置方式配置各个目标数据库表,并将需要关联的两张数据库表移至图形化配置区域。在图形化配置区域中包括用于配置数据库表之间关联关系的关系配置按钮;基于此,响应于用户点击关系配置按钮,弹出数据库表关联关系的配置界面,该配置界面展示由内连接、左连接、全外连接三个关联关系,以使用户从这些关联关系中选择要配置的关联关系。另外,本实施例还可以包括,响应于用户点击添加关联字段按钮,对两个数据库表之间的关联字段进行选择与添加。当所有需要配置的目标数据库表及其之间的关联关系全部添加完成后,则数据库表选择完成。
45.为了更好地理解数据库表中数据集对应的指标和维度的配置,本实施例先对指标字段和维度字段进行介绍。
46.维度字段用于表示事物或现象的特征,如城市、注册渠道、购课渠道和时间等。每个维度字段均具备自己的取值范围和数据类型,一般用到的维度字段需要用户提前定义好规则。上述维度字段中,购课渠道是分析优秀渠道比较重要的维度指标,通过购课渠道的人数对比,可以确定出比较好的购课渠道。时间也是一种常用的、特殊的渠道,通过时间前后对比,可以确定事情发展的好坏程度,如用户数环比上月增长10%、同比去年同期增长20%,活跃用户环比、注册用户环比等纵比;以及不同省份注册人数、不同城市续报率、不同部门
之间的横比。
47.维度字段可以根据数据类型来划分为定性维度字段和定量维度字段;具体的,数据类型为字符型(文本型),也就是数据库常用的varchar类型是定性维度字段,如地区、性别、时间等都属于定性维度字段;数据类型为数值类型的为定量维度字段,如收入、年龄、消费电等。考虑到分组越细,规律就越不明显,本实施例通常需要对定量维度字段进行数值化处理,也就是数值型数据离散化,从而使规律更加明显。
48.本实施例中的维度字段还可以根据来源区分为原生维度字段与自定义维度字段。原生维度字段为取值是数据库中数据表的原始字段的维度字段;相对的,自定义字段为取值为数据库中的原始字段值通过sql语句进行处理后的到维度字段。
49.指标字段是用于衡量事物发展程度的单位或方法,也称度量。例如购课量、购课人次、累计注册用户数、净购课人次、出勤率、流失率、续报率、人头数、利润率等。市面上很多公司都会根据指标字段去衡量公司业务运营的好坏,指标字段需要经过加和、平均等运算方式得到,并且需要在预设条件下进行汇总计算,如时间、地点、范围,也就是常说的指标计算口径,需要业务方统一指标计算口径。指标字段可以分为绝对值指标字段和相对数指标字段,绝对数指标字段反映的是规模大小的指标,如注册人数、用户数、购课人次,而相对数指标字段主要用来反映质量好坏的指标,如续报率、留存率、利润率等。在实际应用中,分析一个事物发展程度可以从数量和质量两个角度分析,以全面衡量事物发展程度。指标字段用于衡量事物发展程度,发展程度的好坏需要通过不同维度来对比。
50.本实施例中的指标字段可以根据来源区分为原生指标字段与自定义指标字段。原生指标字段是指,取值为数据库中数据表的原始字段进行聚合的指标字段;相对的,自定义指标字段是指,取值是数据库中的原始字段值通过一定sql语句进行处理聚合后的指标字段。
51.根据以上实施例对指标字段和维度字段的描述,本实施例提供一种数据库表中数据集对应的指标和维度的配置方法。
52.在本实施例中,在将目标数据库表移至预设的图形化配置区域时,将目标数据库表中的数值型字段划分为指标字段,非数值型字段划分为维度字段。将指标字段和维度字段展示在预设的字段编辑展示区域中。
53.具体实现时,每当将目标数据库表拖拽至图形化配置区域时,根据字段类型将目标数据库表中的字段自动划分为指标字段和维度字段,并将指标字段和维度字段展示在预设的字段编辑展示区域中。在自动划分时,例如mysql中的int、double等字段类型为数值型字段的,被划分为指标字段。目标数据库表中的字段的数据类型为其他字段类型的,例如mysql中的char、vchar等字符类型,例如mysql中的timestamp等时间类型,对于这些非数值型字段被自动划分为维度字段。
54.在本实施例中,可以根据编辑操作在字段编辑展示区域中对目标字段进行编辑;其中,目标字段包括选中需要操作的指标字段和维度字段。上述编辑操作包括但不限于:转换字段类型的操作、设置隐藏字段的操作、增加字段名称和描述信息的操作以及新增自定义字段的操作。
55.考虑到根据字段类型划分指标字段和维度字段,并不能完全满足实际用户需求。例如:若存在一张数据库表,其中有一字段类型为数值型,其存储的是学生班级号,基于字
段类型的划分规则,此字段会被划分为指标字段。但是很明显,此字段应属于维度字段,用于对数据进行区分,而不是作为指标字段来用于聚合计算。在此情况下,本实施例需要对基于字段类型自动划分的指标字段和维度字段进行转换,以更加合理准确的划分指标字段和维度字段。
56.基于此,本实施例针对编辑操作中的转换字段类型的操作,提供一种根据编辑操作在字段编辑展示区域中对目标字段进行编辑的如下方式。
57.根据转换字段类型的操作,在字段编辑展示区域中确定待转换字段类型的目标字段。在一具体示例中,可以在图形化的字段编辑展示区域选中需要操作的目标字段,响应于用户点击目标字段的编辑按钮和转换按钮,将目标字段的字段类型进行转换,并根据转换后的字段类型重新划分目标字段为指标字段或维度字段。在目标字段为指标字段的情况下,根据字段类型的划分规则,目标字段原被划分为指标字段,而在此则将目标字段的字段类型从数值型转换为非数值型,并将转换为非数值型后的目标字段划分为维度字段。相应地,在目标字段为维度字段的情况下,将目标字段的字段类型从非数值型转换为数值型,并将转换为数值型后的目标字段划分为指标字段。
58.在实际应用中,存在于目标数据集的所有字段都可以被图形化管理工具使用。然而可能数据库表的中的某些字段并不想被用户在编辑图形化管理工具时使用,需要对配置图形化管理工具的用户不可见。本实施例可以通过设置隐藏字段的操作实现上述功能。
59.在执行设置隐藏字段的操作时,获取悬停在字段编辑展示区域中的鼠标的悬停位置,确定悬停位置对应字段为目标字段,在目标字段对应的区域(如上方)展示预设的隐藏字段按钮。当检测到鼠标对隐藏字段按钮的点击操作时,设置隐藏目标字段。从而,当目标字段所在的目标数据集被图形化管理工具使用时,目标字段就不会显示出来。
60.一般而言,目标数据库表的字段是研发人员按照一定的研发规范设命名的,而这这些原始字段名对于业务人员来说是非常不友好、难以解读的。同时,有的字段仅仅只通过命名来让业务人员理解也是不够的。基于此,本实施例可以根据信息设置操作在字段编辑展示区域中对目标字段进行编辑,以按照业务的理解来对字段进行重命名,以及添加字段的描述,进而方便业务人员理解字段。
61.本实施例可以包括:根据信息设置操作,在字段编辑展示区域中确定需要增加业务信息的目标字段;获取用户输入的目标业务信息,并将目标业务信息添加至目标字段;其中,目标业务信息包括:字段名称和描述信息。
62.与前述设置隐藏字段的实施例相似,本实施当检测到鼠标对目标字段上信息设置按钮的点击操作时,进入编辑界面,编辑界面用于用户编辑目标字段的字段名称和描述信息等相关的目标业务信息。将从编辑界面获取到的目标业务信息添加至目标字段。当被图形化管理工具使用该目标字段时,可以看到该目标字段的字段名称和描述信息。
63.到目前为止,目标数据集中的所有字段都是通过拖拽数目标据库表自动生成,然而有的时候这些原生字段并不能满足用户的使用。以维度字段为例,有一个字段为学生的年级:初一、初二、初三、高一、高二、高三等,但是用户其实想要的是学生的类型:初中、高中等;此时现有字段无法满足用户使用,需要定义新的满足用户使用需求的维度字段。在此情况下,本实施例可以通过新增自定义字段的操作在字段编辑展示区域中自定义字段。
64.首先响应于用户在字段编辑展示区域中对新增维度按钮或新增指标按钮的点击
操作,展示用于自定义字段的新建字段界面。在新建字段界面上,用户可以编辑字段名称、字段描述、数据类型、sql表达式等自定义信息;其中,对于sql表达式的编辑,可以通过点击插入指标和插入维度来插入目标数据集的原生指标字段和原生维度字段的原始字段名,从而方便编写sql表达式。而后,获取并保存新建字段界面上的上述自定义信息,至此完成新建自定义字段。
65.根据以上对目标字段进行编辑的实施例,当目标数据集的所有字段编辑完成后,可以对目标数据集进行数据集准确性校验。示例性的,当检测到针对图形化配置区域中查看宽表按钮的点击操作时,对目标数据集进行数据集准确性校验。具体的,可以按照配置的目标数据集信息自动生成一条查询sql并执行,若执行成功会返回查询结果及生成的sql,若执行失败会将报错信息返回给用户,以方便用户调整配置。
66.基于配置完成的目标数据源、目标数据集和图形化管理工具,本实施例还可以提供一种事件分析方法,该方法包括:在目标数据集中选择指标字段和维度字段,将选择的指标字段和维度字段作为初始查询结果;对初始查询结果进行筛选和排序,得到目标查询结果;采用图形化管理工具对目标查询结果进行可视化展示。
67.本实施例的事件分析,是指使用目标数据集,选定其中的部分指标字段与维度字段作为初始查询结果,按设定的条件维度进行数据筛选,使用初始查询结果中的指标字段进行聚合、再将结果按照排序条件进行排序,得到最终目标查询结果的过程。
68.一次事件分析的过程包括指标、维度、过滤条件、排序条件这四个关键要素。其中,维度字段与指标字段的设置是其他元素设置的前提条件。筛选条件是为了进一步细化查看数据分析结果而设置的某些条件,可以理解为sql语句的where条件,对查询维度进行查询限制,从而筛选出更加细致、准确、直观的数据,筛选条件都是针对维度做限制查询。排序条件是指为了对初始查询结果按照某一设定的排序规则进行有序显示的查询条件,可以理解对应于sql语句中的order by语句。
69.示例性的,对于需要跟踪用户路径的事件分析,用于事件分析的事件可以包括用户注册、登录、购课、app模块点击、广告点击、现金充值、课程续报等,这些事件都是根据数据需求事先设定好的,可以通过数据收集保存数据,再按照选择的分析条件进行分析,得出最终结果。
70.对于事件分析常用的分析条件,包括维度、指标以及常用的筛选条件。比如在某一关于课程销量的分析场景中,需要的维度字段可以分为城市、学科、注册渠道、购课渠道,包含的指标字段可以包含报课人数(规定时间范围内购买课程的人数总和)、注册人数、包括课程购买人次、广告点击次数(一定时间范围内点击改广告的次数)等等,用户可以自由选择需要分析的数据进行维度字段和指标字段的搭配。
71.在得到目标查询结果后,可以采用图形化管理工具对目标查询结果进行可视化展示,如利用图形化管理工具中的如下图标组件类型对目标查询结果进行可视化展示:表格、指标卡、折线图、柱状图等。
72.参照图2,本实施例提供图形化管理工具的具体示例。图形化管理工具包括:看板访问、用户相关、后台管理、看板配置、基础建设、权限控制和移动端展示这些主要的功能模块。看板访问是用户用来查看分析结果所用的文件目录和图形化管理工具的展示介质。后
台管理可用于对用户的权限加以控制,在数据分析中,数据的保密性和重要性是比较高的,权限的设计也是数据分析中比较重要的一个环节。图形化管理工具的配置是数据分析显示界面的一部分,在图形化管理工具中,数据分析结果可以使用不同的可视化图表去展示分析结果,常用的包括表格、折线图、柱状图等可视化工具。移动端设备指常用的手机、平板电脑等,移动端对手机品牌、型号没有限制,机型适配包括pc端设备。在此不再对图形化管理工具中的各个模块展开更加详细的描述。
73.本实施例基于图形化管理工具的数据分析,能够支持折线图、条形图、柱状图、折线柱状图、堆积柱状图、百分比柱状图、饼图、热力图、仪表盘、漏斗、地图、指标卡、图标等多种展现形式。同时还支持多种条件筛选组件增加对结果的条件查询,使得用户可以方便的按照自己的需要,设置数据分析查询条件,从而对数据进行多维度分析,自由化探索,支持多端发布。
74.本实施例可以对图形化管理工具和图形化管理工具中的各个模块进行收藏,而后可以在收藏中快速查看分析结果。对于已经收藏的图形化管理工具或模块,还可以取消收藏。
75.为便于理解,本公开实施例提供一种应用上述教研数据的处理方法,对数据进行分析并生成分析报告的具体示例。
76.本实施例可以根据教研数据的处理方法,对目标数据生成数据分析报告。其中,目标数据可以为已脱敏处理的mock(模拟)数据;数据分析报告可以在移动终端的图形化管理工具进行查看。
77.在如图2的看板访问模块下面访问大盘门户,可以查看已经生成的数据分析报表,数据报表如图3所示。本示例首先需要根据分析项目获取项目标识和项目查询条件,用于向服务器查询所分析项目的配置信息。
78.由于通常分析的数据量都是比较大的,从而本实施例对于项目配置等信息可以是在服务器进行操作的。
79.在图3的实施例中,可以看到分析结果中包含一个维度信息和一个指标标识。其中,指标标识是指一个项目中一个指标的名字,通常也称为别名,当一个项目包含多个指标的时候,就会有很多指标标识,当然,也可以采用字段名作为指标标识。图3中的分天购课和全链路指标数据包含了一个维度和一个指标;维度就是时间,也就是折线图中的横坐标,指标为净购课人次。
80.指标是指具体要分析的维度度量值,针对图3中分天购课和全链路指标数据的分析项目:净购课人次、转化次数和激活率等都可以作为指标;指标标识可以是文字,也可以是具体的数据id,例如:净购课人次可以对应为001,转化次数的指标标识可以对应为002,对指标的标识不做任何格式限制。
81.如图3所示,上方包含两个标签页面,标签是将用户选定的一个查询参数或者一组查询查询转化为字符串形式保存下来,本实施例包含“销转全链路”,“截面数据”两个标签。
82.将所添加的标签保存在分天购课和全链路指标数据这个标签预览组里面,所述标签概览组用于存放所保存的标签,一个标签预览组可以保存一个或多个标签,标签概览组也会创建一个默认的标签。每个标签所保存的查询参数都是隔离的。
83.基于标签的预览的步骤包括:用户首先需要获取标签预览组的配置信息,从标签
预览组的配置信息中获取关于每个标签的信息,渲染对应的标签组。用户触发标签相应选中的事件,根据从预览组获取出来的标签信息从服务器查询标签对应的数据,然后再根据标签的查询条件查询标签所保存的字符串配置信息,根据标签的字符串配置信息渲染的对应标签的数据列表或者折线图、柱状图等可视化界面。
84.标签可以包含标签名称、一个或多个查询参数,标签名称可以是用户输入确定,也可以是默认自动生成的标签名称。
85.如图4所示在左侧图形化管理工具(可简称为看板)查看区打开标签预览组,标签预览组名为看板名,提供关闭按钮,在一个标签预览组里面标签过多的话,会在标签渲染区域出现横向滚动条。
86.在图4的左侧,可以看到当分析结果分类过多,标签预览组过多时,在标签预览组查找需要查看的分析结果页面比较困难。所以在标签预览组还可以对分析结果预览组进行快捷搜索,搜索输入标识为预览组名称,预览组名称是用户在创建预览组是手动输入的预览组标识。通过快捷搜索不仅可以对预览组名称进行快捷搜索,也可以对分析结果进行搜索;例如:分天购课和全链路指标数据进行搜素之后,触发搜索结果就可以直接进入到该分析结果所在的标签页,实现快速定位查找分析结果。
87.如上述操作所示,在预览组过多的时候,还可以进行目录分类,将同类型的预览组分类存放在相同的目录下,可以通过目录分类,有结构层次的查找预览组页面。
88.上述实施例中数据分析结果使用的数据源如图5所示,该数据分析结果依据的数据源类型就是mysql,数据源名称为demo,数据源名称是唯一的数据源标识,不允许出现重名结果,重名在保存是服务器会给出报错信息,移动终端展示报错信息;完整的数据源需要使用服务器地址、用户名、密码,此实施例只是演示使用,本实施例可以支持用户选择各种数据源类型进行连接。
89.在图5的实施例中可以看到在图3实施例上新增了一个日期筛选的控件对分析结果进行时间范围的筛选,针对不同场景的数据分析结果,可以选择不同的时间范围进行查看。
90.日期代表的当前分析结果指标的统计日期范围,例如:如需看到月报数据,可以选择日期范围从本月月初至今,对应的统计日期就是:2022-03-01~2022-03-24。
91.在图5实施例中,在数据分析结果中,计划类型筛选了一项为29元计划的筛选项,该筛选关联的是分天购课和全链路指标数据,筛选和分析项目的关联关系是用户选择的。
92.筛选是为了进一步细化查看数据分析结果而设置的条件,对查询维度进行查询限制,分天购课和全链路指标数据这个分析项目限制了29元计划的数据。计划类型这个筛选可以包含“29元计划”、“28元计划”,“0元计划”等多个枚举值,用户可以根据枚举值选择一个或多个对分析结果进行数据限制。
93.本实施例中计划类型的筛选项里面的“计划类型”只是此筛选组件的标识,计划类型是一个维度,其中“0元计划”、“29元计划”只是该维度值的其中几类。本实施例中包含了开课日期、一级渠道、二级渠道、渠道类型等多个筛选项,都可以用来对分析结果进行条件限制。
94.用户对日期或筛选进行一次触发,分析结果就需要重新从服务器获取新的携带筛选条件的结果,移动终端需要通过图形化管理工具对分析结果进行重新渲染,以便用户能
够查看到最新的分析结果。
95.本实施例提供的方法,不仅是图形化报告渲染,还可以进行文字模板的渲染,文字信息也是存在于标签页配置信息内。在标签配置页,可以选择对应的文字组件,对分析结果和指标口径作详细描述。在图4中对应的标号3部分中的“这里是文本框,可以根据需求写备注或文字说明”,用户可以对文字内容作自由描述,不限制内容和字数。在图4中的标号6这里,还可以用文字对分析结果的描述,每个分析对应的数据分析结果代表的含义是不一样的,分析结果a对应的文字模板就是a,分析结果b对应的文字模板描述为b。文字模板描述也是用户自己定义的数据分析的内容。
96.本实施例提供的方法,可以在手机、ipad等移动终端查看分析结果对应的报告,报告中可以包含表格、折线图、柱状图、饼图等各种不同的图形化展示工具,满足不同业务对看数分析的可视化需求,有利于用户直观、清晰观看数据的分析结果页。
97.参照图6所示,本公开实施例提供一种教研数据的处理装置,该教研数据的处理装置600包括:数据源配置模块602,用于对待分析的教研数据的数据源进行配置,得到目标数据源;数据集配置模块604,用于中的目标数据源所连接数据库中的表和字段,执行预设的数据集配置操作,得到目标数据集;其中,数据集配置操作包括:数据库表选择、数据库表中数据集对应的指标和维度的配置以及数据集准确性校验;工具配置模块606,用于通过配置功能不同的多个模块形成图形化管理工具,图形化管理工具用于对目标数据集进行图形化展示。
98.在一些实施例中,数据源配置模块602具体用于:当在web端新增教研数据的数据源时,响应于数据库类型的选择操作,获取待新增的数据源的目标数据库类型;响应于配置信息输入操作,获取待新增的数据源的数据源配置信息;根据目标数据库类型和数据源配置信息,判断web端是否成功连接待新增的数据源;在web端成功连接待新增的数据源的情况下,将待新增的数据源保存为目标数据源;在web端未成功连接待新增的数据源的情况下,对目标数据库类型和/或数据源配置信息进行修改。
99.在一些实施例中,数据集配置模块604包括数据库表选择单元,该单元用于:从目标数据源中确定待使用的目标数据库;响应于针对目标数据库包括的多个数据库表中至少一个目标数据库表的表选择操作,将目标数据库表移至预设的图形化配置区域,其中,在目标数据库表为不少于两个时,数据库表选择还包括:在完成全部目标数据库表的表选择操作后,响应于针对图形化配置区域中的关系配置按钮的操作,配置多个目标数据库表之间的关联关系。
100.在一些实施例中,数据集配置模块604包括数据库表中数据集对应的指标和维度的配置单元,该单元用于:
在将目标数据库表移至预设的图形化配置区域时,将目标数据库表中的数值型字段划分为指标字段,非数值型字段划分为维度字段;将指标字段和维度字段展示在预设的字段编辑展示区域中;根据编辑操作在字段编辑展示区域中对目标字段进行编辑;其中,目标字段包括指标字段和维度字段。
101.在一些实施例中,上述编辑操作包括:转换字段类型的操作;上述数据库表中数据集对应的指标和维度的配置单元还用于:根据转换字段类型的操作,在字段编辑展示区域中确定待转换字段类型的目标字段;在目标字段为指标字段的情况下,将目标字段的字段类型从数值型转换为非数值型,并将转换为非数值型后的目标字段划分为维度字段;在目标字段为维度字段的情况下,将目标字段的字段类型从非数值型转换为数值型,并将转换为数值型后的目标字段划分为指标字段。
102.在一些实施例中,上述编辑操作包括:信息设置操作;上述数据库表中数据集对应的指标和维度的配置单元还用于:根据信息设置操作,在字段编辑展示区域中确定需要增加业务信息的目标字段;获取用户输入的目标业务信息,并将目标业务信息添加至目标字段;其中,目标业务信息包括:字段名称和描述信息。
103.在一些实施例中,装置600还包括:采用图形化管理工具,为目标数据集中的教研数据配置不同展示类型的图形化展示结果;其中,展示类型包括:图标、表格和筛选项。
104.在一些实施例中,装置600还包括:在目标数据集中选择指标字段和维度字段,将选择的指标字段和维度字段作为初始查询结果;对初始查询结果进行筛选和排序,得到目标查询结果;采用图形化管理工具对目标查询结果进行可视化展示。
105.本实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
106.本公开示例性实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
107.本公开示例性实施例还提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
108.参考图7,现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
109.如图7所示,电子设备700包括计算单元701,其可以根据存储在只读存储器(rom)
702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序,来执行各种适当的动作和处理。在ram 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
110.电子设备700中的多个部件连接至i/o接口705,包括:输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备,输入单元706可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元704可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙tm设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
111.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如,在一些实施例中,教研数据的处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行教研数据的处理方法。
112.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
113.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
114.如本公开使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(pld)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。
115.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
116.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
117.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
118.以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1