数据处理方法、数据处理装置、电子设备以及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及数据仓库、大数据和云计算技术。具体地，涉及一种数据处理方法、数据处理装置、电子设备以及存储介质。


背景技术：

2.利用具有较高质量的业务数据来执行数据处理操作，可以提高项目的安全性与稳定性，推动项目的落地化进程。
3.例如，可以根据具有较高质量的业务数据，得到具有较高质量的标注数据。可以将具有较高质量的标注数据作为用于训练人工智能领域的模型的训练样本，从而提高基于模型的相关项目的安全性和稳定性。


技术实现要素：

4.本公开提供了一种数据处理方法、数据处理装置、电子设备以及存储介质。
5.根据本公开的一方面，提供了一种数据处理方法，包括：从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据，其中，上述任务维度数据表征与上述任务主题相关的维度对应的业务数据，上述用户维度数据表征与上述用户主题相关的维度对应的业务数据；基于业务层级关系，根据上述任务维度数据、上述用户维度数据和上述事实数据，得到至少一个事实数据集合，其中，上述业务层级关系表征上述任务主题具有的层级关系和上述用户主题具有的层级关系；以及，根据上述至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合。
6.根据本公开的另一方面，提供了一种数据处理装置，包括：获取模块，用于从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据，其中，上述任务维度数据表征与上述任务主题相关的维度对应的业务数据，上述用户维度数据表征与上述用户主题相关的维度对应的业务数据；第一获得模块，用于基于业务层级关系，根据上述任务维度数据、上述用户维度数据和上述事实数据，得到至少一个事实数据集合，其中，上述业务层级关系表征上述任务主题具有的层级关系和上述用户主题具有的层级关系；以及，第二获得模块，用于根据上述至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合。
7.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
8.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
9.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算
机程序在被处理器执行时实现如上所述的方法。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用于更好地理解本方案，不构成对本公开的限定。其中：
12.图1示意性示出了根据本公开实施例的可以应用数据处理方法及装置的示例性系统架构；
13.图2示意性示出了根据本公开实施例的数据处理方法的流程图；
14.图3示意性示出了根据本公开实施例的数据查询过程的示例示意图；
15.图4示意性示出了根据本公开实施例的将原始业务数据存储至数据仓库的流程图；
16.图5示意性示出了根据本公开实施例的获取多个原始业务数据过程的示例示意图；
17.图6示意性示出了根据本公开实施例的生成统计数据集合过程的示例示意图；
18.图7示意性示出了根据本公开实施例的数据处理装置的框图；以及
19.图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.为了获得具有较高质量的标注数据，需要提供较为高效的业务数据。在获得较为高效的业务数据的过程中，涉及对业务数据的计算。可以利用脚本，执行结构化查询语句之后，将业务数据存储至数据库中实现。例如，利用php(hypertext preprocessor，超文本预处理器)执行结构化查询语句之后，将业务数据存储至数据库。上述处理方式的处理效率不高。
22.为此，本公开实施例提出了一种基于数据仓库的数据处理方案，即，从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据。任务维度数据表征与任务主题相关的维度对应的业务数据，用户维度数据表征与用户主题相关的维度对应的业务数据。基于业务层级关系，根据任务维度数据、用户维度数据和事实数据，得到至少一个事实数据集合。业务层级关系表征任务主题具有的层级关系和用户主题具有的层级关系。根据至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合，实现了较为快速地构建与统计指标对应的业务数据，提高了数据处理效率。为了便于后续理解，首先对本公开实施例所涉及的概念进行说明。
23.数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研
究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。
24.主题可以指在较高层次上将业务数据综合和归类，并进行分析利用的抽象。每个主题对应一个宏观的分析领域。
25.维度可以指对事实的选择和度量，可以看作是分析业务数据的视角。
26.事实可以指需要关注的数据，即，从业务数据中提取出来的度量值。度量值可以包括累计的度量值和非累计的度量值。
27.图1示意性示出了根据本公开实施例的可以应用数据处理方法及装置的示例性系统架构。
28.需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
29.如图1所示，根据该实施例的系统架构100可以包括业务系统110、数据仓库系统120和应用层系统130。数据仓库系统120可以通过网络分别与业务系统110和应用层系统130实现通信连接。网络可以是提供通信链路的介质。网络可以包括各种连接类型，例如有线通信链路和无线通信链路等中的至少一项。
30.业务系统110可以包括数据库111、日志系统112、事件总线打点系统113和云存储114。
31.数据仓库系统120可以包括元数据管理121、数据质量监控122、原始数据(operational data store，ods)层123、数据仓库(data warehouse，dw)层124和数据应用(application data service，ads)层125。数据仓库层124可以包括数据明细(data warehouse detail，dwd)层1240、公共维度汇总(即dim)层1241和数据汇总(data warehouse summary，dws)层1242。
32.数据仓库系统120可以是提供各种服务的服务器，例如服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，解决了传统物理主机与vps服务(virtual private server，vps)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
33.应用层130可以包括报表平台131、实验平台132、和统计应用程序接口133和业务模块134。
34.数据仓库系统120可以获取来自业务系统110的原始业务数据。数据仓库系统120可以从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据。任务维度数据表征与任务主题相关的维度对应的业务数据，用户维度数据表征与用户主题相关的维度对应的业务数据。基于业务层级关系，根据任务维度数据、用户维度数据和事实数据，得到至少一个事实数据集合。业务层级关系表征任务主题具有的层级关系和用户主题具有的层级关系。根据至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合。
35.应用层系统130可以生成查询请求，查询请求包括查询条件。将生成请求发送给数据仓库系统120。数据仓库系统120可以响应于查询请求，根据查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查
询结果。
36.需要说明的是，本公开实施例所提供的数据处理方法一般可以由数据仓库系统120执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于数据仓库系统120中。本公开实施例所提供的数据处理方法也可以由不同于数据仓库系统120且能够与数据仓库系统120通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于数据仓库系统120且能够与数据仓库系统120通信的服务器或服务器集群中。
37.应该理解，图1中的系统架构仅仅是示意性的。根据实现需要，可以是其他形式的系统架构。
38.图2示意性示出了根据本公开实施例的数据处理方法的流程图。
39.如图2所示，该方法200包括操作s210～s230。
40.在操作s210，从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据。任务维度数据表征与任务主题相关的维度对应的业务数据，用户维度数据表征与用户主题相关的维度对应的业务数据。
41.在操作s220，基于业务层级关系，根据任务维度数据、用户维度数据和事实数据，得到至少一个事实数据集合。业务层级关系表征任务主题具有的层级关系和用户主题具有的层级关系。
42.在操作s230，根据至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合。
43.根据本公开的实施例，业务数据可以指与业务相关的数据。例如，业务数据可以是用户进行相关操作产生的操作数据。
44.根据本公开的实施例，主题可以包括任务主题和用户主题。针对每个业务场景，可以从任务主题和用户主题这两个角度对其进行分析。即，针对每个业务场景，可以将分析业务场景的角度划分到任务主题和用户主题上。任务主题可以指从任务角度来分析业务数据的主题。用户主题可以指从用户角度来分析业务数据的主题。任务主题和用户主题均可以是具有层级关系的主题。即，任务主题可以包括多个与任务主题相关的维度，多个与任务主题相关的维度之间具有层级关系。用户主题可以包括多个与用户主题相关的维度，多个与用户主题相关的维度之间具有层级关系。
45.根据本公开的实施例，业务层级关系可以用于表征任务主题具有的层级关系和用户主题具有的层级关系。业务层级关系可以用于作为构建事实数据集合的依据。统计指标可以用于作为业务数据聚合的依据。统计指标可以包括与项目相关的指标、与资源相关的指标和与交互相关的指标。
46.根据本公开的实施例，在获得多个业务数据之后，可以从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据。然后，可以基于任务主题具有的层级关系和用户主题具有的层级关系，将与任务主题相关的维度和与用户主题相关的维度进行关联。根据关联后的与任务主题相关的维度和与用户主题相关的维度，从任务维度数据、用户维度数据和事实数据中获取与关联后的与任务主题相关的维度和与用户主题相关的维度对应的业务数据，将与关联后的与任务主题相关的维度和与用户主题相关的维度对应的业务数据进行聚合，得到至少一个事实数据集合。
事实数据集合可以是事实数据表。最后，可以确定至少一个统计指标。针对至少一个统计指标中的每个统计指标，可以从至少一个事实数据集合中获取与统计指标对应的业务数据。根据与统计指标对应的业务数据，得到与统计指标对应的至少一个统计数据集合。统计数据集合可以是统计数据表。
47.根据本公开的实施例，通过基于业务层级关系，根据任务维度数据、用户维度数据和事实数据，得到至少一个事实数据集合，根据至少一个事实数据集合，得到与统计指标对应的至少一个统计数据集合，实现了较为快速地构建与统计指标对应的业务数据，提高了数据处理效率。
48.下面参考图3～图6，结合具体实施例对根据本公开实施例所述的数据处理方法做进一步说明。
49.根据本公开的实施例，操作s210可以包括如下操作。
50.根据特征关联关系，确定与任务主题对应的特征、与用户主题对应的特征和与事实对应的特征。根据与任务主题对应的特征，从多个业务数据中，获取与任务主题对应的任务维度数据。根据与用户主题对应的特征，从多个业务数据中，获取与用户主题对应的用户维度数据。根据与事实对应的特征，从多个业务数据中，获取与事实对应的事实数据。
51.根据本公开的实施例，特征关联关系可以指分析角度与分析角度所涉及的特征之间的关联关系。分析角度可以包括主题和事实。主题可以包括任务主题和用户主题。
52.根据本公开的实施例，可以根据分析角度与分析角度所涉及的特征之间的关联关系，确定与分析角度对应的特征。在确定与分析角度对应的特征之后，根据与分析角度对应的特征，从多个业务数据中获取与分析角度对应的业务数据。
53.例如，如果分析角度是任务主题，则任务主题所涉及的特征可以包括与任务主题相关的维度对应的特征。例如，与任务主题相关的维度对应的特征可以包括与页维度对应的特征、与任务维度对应的特征、与批维度对应的特征和与项目维度对应的特征。
54.例如，如果分析角度是用户主题，则用户主题所涉及的特征可以包括与用户主题相关的维度对应的特征。例如，与用户主题相关的维度对应的特征可以包括与用户维度对应的特征、与公会维度对应的特征和与代理商维度对应的特征。
55.例如，如果分析角度是事实，则事实所涉及的特征可以包答题正确率和答题时间等。
56.根据本公开的实施例，任务主题包括多个具有层级关系的与任务主题相关的维度，用户包括多个具有层级关系的与用户主题相关的维度。
57.根据本公开的实施例，操作s220可以包括如下操作。
58.将多个具有层级关系的与任务主题相关的维度和多个具有层级关系的与用户主题相关的维度进行关联，得到多个具有层级关系的关联维度。基于多个具有层级关系的关联维度，对任务维度数据、用户维度数据和事实数据进行聚合处理，得到至少一个事实数据集合。
59.根据本公开的实施例，任务主题可以包括多个与任务主题相关的维度。多个与任务主题相关的维度可以具有层级关系。用户主题可以包括多个与用户主题相关的维度。多个与用户主题相关的维度可以具有层级关系。维度可以包括至少一个子维度。
60.例如，与任务主题相关的维度可以包括页维度、任务维度、批次维度和项目维度。
页维度、任务维度、批次维度和项目维度的层级依次提高。与用户主题相关的维度可以包括用户维度、公会维度和代理商维度。用户维度、公会维度和代理商维度的层级依次提高。
61.根据本公开的实施例，关联维度可以表征与与任务主题相关的维度和与用户主题相关的维度均相关的维度。多个关联维度可以是将具有层级关系的多个与任务主题相关的维度和具有层级关系的多个与用户主题相关的维度进行关联得到的。多个关联维度可以具有层级关系。
62.例如，用户主题可以包括m个与用户主题相关的维度，即第1与用户主题相关的维度、第2与用户主题相关的维度、
……
、第i与用户主题相关的维度、
……
、第(m-1)与用户主题相关的维度和第m与用户主题相关的维度。i∈{1，2，
……
，m-1，m}。m可以是大于或等于2的整数。
63.例如，任务主题可以包括n个与任务主题相关的维度，即，第1与任务主题相关的维度、第2与任务主题相关的维度、
……
、第j与任务主题相关的维度、
……
、第(n-1)与任务主题相关的维度和第n与任务主题相关的维度。n可以是大于或等于2的整数。j∈{1，2，
……
，n-1，n}。关联维度可以包括第i与用户主题相关的维度-第j与任务主题相关的维度。
64.根据本公开的实施例，可以将具有层级关系的多个与任务主题相关的维度和具有层级关系的多个与用户主题相关的维度进行关联，形成多个具有层级关系的关联维度。在确定多个具有层级关系的关联维度之后，可以从任务维度数据、用户维度数据和事实数据中获取与关联维度相关的业务数据，对与关联维度相关的业务数据进行聚合处理，得到至少一个事实数据集合。
65.根据本公开的实施例，操作s230可以包括如下操作。
66.根据业务需求规则，确定至少一个统计指标。针对至少一个统计指标中的每个统计指标，对与统计指标对应的至少一个事实数据集合进行关联，得到与统计指标对应的至少一个统计数据集合。
67.根据本公开的实施例，业务需求规则可以用于作为确定统计指标的规则。可以根据业务需求规则，确定与业务需求规则对应的至少一个统计指标。在确定至少一个统计指标之后，可以根据每个统计指标，从至少一个事实数据集合中查找与统计指标相关的事实数据集合，并将与统计指标相关的事实数据集合进行关联，从而得到与统计指标对应的一个或多个统计数据集合。
68.例如，业务需求可以是统计用户的角色信息的需求。根据业务需求规则确定的统计指标包括类型、时间和参与项目。在确定这三个统计指标之后，可以从至少一个事实数据集合中查找与三个统计指标中的每个统计指标相关联的事实数据集合，得到与每个统计指标对应的至少一个统计数据集合。
69.根据本公开的实施例，上述数据处理方法还可以包括如下操作。
70.响应于查询请求，根据查询请求包括的查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查询结果。
71.根据本公开的实施例，查询请求可以指用于请求处理查询与查询请求包括的查询条件的请求。查询请求可以是在检测到针对查询框的查询操作被触发的情况下生成的。查询框可以用于输入查询条件或用于选择查询条件。查询操作可以包括点击操作、滑动操作或语音触发操作。例如，在检测到针对查询框的查询操作被触发的情况下，获取操作体在查
询框中输入的查询条件。根据查询条件生成查询请求。查询条件可以指需要获取的业务数据所需要满足的条件。
72.根据本公开的实施例，可以获取查询请求，查询请求可以包括查询条件。响应于查询请求，根据查询条件从至少一个统计数据集合中确定与查询条件相匹配的业务数据，将与查询条件相匹配的业务数据确定为数据查询结果。
73.根据本公开的实施例，响应于查询请求，根据查询请求包括的查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查询结果，可以包括如下操作。
74.响应于查询请求，调用数据仓库接口。利用数据仓库接口，根据查询请求包括的查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查询结果。
75.根据本公开的实施例，可以配置数据仓库接口。数据仓库接口可以指用于获取与查询请求包括的查询条件相匹配的数据查询结果的接口。数据仓库接口可以具有restful风格规范。rest(representational state transfer，表现层状态转化)表征互联网资源的表现层状态转化。restful是一种互联网软件架构。
76.根据本公开的实施例，可以响应于查询请求，调用数据仓库接口，再利用数据仓库接口，从至少一个统计数据集合中查询与查询条件相匹配的业务数据，根据与查询条件相匹配的业务数据得到数据查询结果。
77.根据本公开的实施例，数据仓库系统还可以接入dashboard(即数据可视化)模块和showx模块来适配业务需求。
78.根据本公开的实施例，在获取数据查询结果之后，还可以对数据查询结果以业务报表的形式进行展示。展示形式可以包括柱状图、折线图、进度图和表格中的至少一项。
79.根据本公开的实施例，上述数据处理方法还可以包括如下操作。
80.对数据查询结果进行处理，得到数据处理结果。
81.根据本公开的实施例，在获得数据查询结果之后，可以利用数据查询结果进行后续数据处理。例如，可以利用数据查询结果进行数据标注，得到数据标注结果。例如，针对人工智能领域的数据标注，可以根据模型需求信息，确定数据标签。根据数据标签对数据查询结果进行数据标注，得到数据标注结果。
82.根据本公开的实施例，利用基于构建的与统计指标对应的统计数据集合进行其他计算，能够提高处理效率，满足海量数据的短时间生成需求。
83.图3示意性示出了根据本公开实施例的数据查询过程的示例示意图。
84.如图3所示，在300中，响应于查询请求，调用数据仓库接口302。利用数据仓库接口302，根据查询请求包括的查询条件，在数据仓库301中，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查询结果303。
85.根据本公开的实施例，上述数据处理方法还可以包括如下操作。
86.对多个原始业务数据进行数据清洗，得到多个业务数据。
87.根据本公开的实施例，数据清洗可以用于过滤掉不符合预设要求的业务数据，保留符合预设要求的业务数据。需要进行数据清洗的业务数据的类型可以包括不完整的业务数据、错误的业务数据和重复的业务数据中的至少一项。
88.根据本公开的实施例，可以对来自多个数据源的多个原始业务数据进行数据清洗，得到多个业务数据。每个数据的原始业务数据可以包括一个或多个。
89.根据本公开的实施例，通过对多个原始数据进行数据清洗，提高了业务数据的数据质量。
90.图4示意性示出了根据本公开实施例的将原始业务数据存储至数据仓库的流程图。
91.如图4所示，该方法400包括操作s401～s402。
92.在操作s401，基于数据仓库的数据结构规范和多个数据源中的每个数据源的数据结构，确定与每个数据源对应的原始业务数据的存储策略。
93.在操作s402，根据与每个数据源对应的原始业务数据的存储策略，将原始业务数据存储至数据仓库。
94.根据本公开的实施例，数据仓库具有相应的数据结构规范。数据仓库的数据结构规范可以指用于规定存储至数据仓库的数据所需要遵循的数据结构。每个数据源具有与该数据源对应的数据结构。数据源可以包括汇总级数据库、业务配置数据源、细粒度分布式数据库、系统服务、系统日志和系统总线中的至少一项。
95.根据本公开的实施例，存储策略可以指用于如何实现在将与每个数据源对应的原始业务数据存储至数据仓库的情况下，与每个数据源对应的原始业务数据的数据结构是与数据仓库的数据结构规范相匹配的数据结构的策略，即，存储策略可以指按照数据仓库的数据结构规范对与每个数据源的业务数据进行存储，使得存储至数据仓库的数据源的原始业务数据的数据结构与数据结构规范对应的数据结构相匹配。
96.根据本公开的实施例，针对多个数据源中的每个数据源，可以根据数据仓库的数据结构规范和该数据源的数据结构，确定与该数据源对应的原始业务数据的存储策略，即，确定用于存储与该数据源对应的原始业务数据的存储策略。在确定与该数据源对应的原始业务数据的存储策略的情况下，可以根据与该数据源对应的原始业务数据的存储策略，将与该数据源对应的原始业务数据存储至数据仓库。
97.根据本公开的实施例，根据与该数据源对应的原始业务数据的存储策略，将与该数据源对应的原始业务数据存储至数据仓库可以包括：获取来自该数据源的原始业务数据。根据与该数据源对应的原始业务数据的存储策略，将原始业务数据存储至数据仓库，以便存储至数据仓库的与该数据源对应的原始业务数据的数据结构与数据仓库的数据结构规范对应的数据结构相匹配。将与该数据源对应的原始业务数据存储至数据仓库可以包括：将与该数据源对应的原始业务数据存储至数据仓库的原始数据层。
98.根据本公开的实施例，利用基于数据仓库的数据结构规范和多个数据源中的每个数据源的数据结构，确定出的与每个数据源对应的原始业务数据的存储策略，将与每个数据源对应的原始业务数据存储至数据仓库，有效保证了来自不同数据源的原始业务数据的数据结构能够与数据仓库的数据结构规范对应的数据结构相匹配，从而解决了数据结构的异构性问题，降低了开发复杂度。
99.根据本公开的实施例，操作s402可以包括如下操作。
100.根据与每个数据源对应的原始业务数据的存储策略，确定与存储策略相匹配的数据导入工具。利用与存储策略相匹配的数据导入工具，将原始业务数据存储至数据仓库。
101.根据本公开的实施例，针对多个数据源中的每个数据源，在确定与该数据源对应的原始业务数据的存储策略之后，可以根据与该数据源对应的原始业务数据的业务需求和存储策略，确定与该业务需求和存储策略相匹配的数据导入工具，以便利用数据导入工具，获取来自该数据源的原始业务数据。根据与该数据源对应的原始业务数据的存储策略，将原始业务数据存储至数据仓库，以便存储至数据仓库的与该数据源对应的原始业务数据的数据结构与数据仓库的数据结构规范对应的数据结构相匹配，并且能够满足业务需求。
102.通过适配不同业务需求，能够降低开发成本。业务需求可以包括实时性需求、数据量需求和数据存储特征需求中的至少一项。例如，针对实时性需求，如果原始业务数据对实时性要求较高，则可以选择具有支持较为快速同步功能的数据导入工具或具有支持连接导入功能的数据导入工具来执行存储操作。例如，具有支持较为快速同步功能的数据导入工具可以包括dts(data transmission service，数据传输服务)。具有支持连接导入功能的数据导入工具可以包括flink。针对数量量需求和数据存储特征需求，如果原始业务数据的数据量较大且数据存储较为分散，则可以选择支持连接汇总功能的数据导入工具来执行存储操作。例如，具有支持连接汇总功能的数据导入工具可以包括spark。
103.图5示意性示出了根据本公开实施例的获取多个原始业务数据过程的示例示意图。
104.如图5所示，在500中，数据源包括汇总级数据库、业务配置数据源、细粒度分布式数据库、系统服务、系统日志和系统总线。
105.针对汇总级数据库，可以利用数据导入工具dts，根据配置信息，将汇总级数据库中的原始业务数据同步至数据仓库中的原始数据层。例如，可以利用dts来调用由doris提供的stream load机制，将汇总级数据库中的原始业务数据同步至数据仓库中的原始数据层。此外，可以利用数据导入工具doris，基于doris的mapping(即映射)机制，将汇总级数据库中的原始业务数据存储至数据仓库中的原始数据层。doris可以是基于mpp(massively parallel processor，大规模并行处理)架构的交互式sql(structured query language，结构化查询语言)的数据仓库。
106.针对业务配置数据源，可以利用数据导入工具doris，基于doris的mapping(即映射)机制，将业务配置数据源中的原始业务数据存储至数据仓库中的原始数据层。
107.针对细粒度分布数据库、系统服务和系统日志，可以利用数据导入工具spark，执行连接脚本，基于连接(即connector)机制将细粒度分布数据库、系统服务和系统日志中的原始业务数据存储至数据仓库中的原始数据层。
108.针对系统总线，可以利用数据导入工具flink和数据导入工具doris中的至少一项，将系统总线中的原始业务数据存储至数据仓库中的原始数据层。例如，可以基于flink的连接(即connector)机制或基于doris的routine load机制，将系统总线中的原始业务数据存储至数据仓库中的原始数据层。
109.图6示意性示出了根据本公开实施例的生成统计数据集合过程的示例示意图。
110.如图6所示，在600中，在数据仓库的原始数据层存储有多个原始业务数据。例如，多个原始业务数据是与答题任务相关的业务数据。多个原始业务数据可以包括原始任务信息、原始用户信息、
……
、原始页答题记录、原始页正确率记录和原始工时记录等。
111.数据仓库的数据明细层对多个原始业务数据进行数据清洗，得到多个业务数据。
例如，多个业务数据可以包括任务信息、用户信息、
……
、页答题记录、页正确率记录和工时记录等。
112.数据仓库的公共维度数据层根据特征关联关系，确定与任务主题对应的特征和与用户主题对应的特征。根据与任务主题对应的特征，从多个业务数据中，获取与任务主题对应的任务维度数据。根据与用户主题对应的特征，从多个业务数据中，获取与用户主题对应的用户维度数据。例如，任务主题可以包括4个与任务主题相关的维度，即，分别为页维度、任务维度、批次维度和项目维度。页维度、任务维度、批次维度和项目维度的层级依次提高。用户主题可以包括4个与用户主题相关的维度，即，分别为用户维度、公会维度和代理商维度。用户维度、公会维度和代理商维度的层级依次提高。任务维度可以包括任务状态、任务类型、任务阶段和参与类型等。用户维度可以包括公会关联信息、代理商、属性信息和时间信息等。
113.数据仓库的数据汇总层可以根据与事实对应的特征，从多个业务数据中，获取与事实对应的事实数据。将多个具有层级关系的与任务主题相关的维度和多个具有层级关系的与用户主题相关的维度进行关联，得到多个具有层级关系的关联维度。基于多个具有层级关系的关联维度，对任务维度数据、用户维度数据和事实数据进行聚合处理，得到至少一个事实数据集合。例如，关联维度可以包括用户-任务、用户-批次、公会-任务、公会-项目、代理商-项目、任务进度和项目进度等。图6中该部分的
“→”
表征层级关系，
“→”
左侧表征层级低的关联维度，
“→”
后侧表征层级高的关联维度。至少一个事实数据集合可以包括用户-任务工作量、任务正确率、用户-任务工时、公会-任务工作量、用户-批次工作量、任务进度、公会-项目工作量、代理商-项目工作量和项目进度等。可以根据用户-任务工作量，得到公会-任务工作量、用户-批次工作量和任务进度。可以根据公会-任务工作量，得到公会-项目工作量和代理商-项目工作量。可以根据任务进度，得到项目进度。
114.数据仓库的数据应用层可以根据业务需求规则，确定至少一个统计指标。针对至少一个统计指标中的每个统计指标，对与统计指标对应的至少一个事实数据集合进行关联，得到与统计指标对应的至少一个统计数据集合。例如，至少一个统计数据集合可以包括对象能力标签、对象7天内活跃情况、
……
、对象效率、对象平均产能和对象工效占比等。
115.以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他数据处理方法，只要能够实现较为高效的数据计算即可。
116.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
117.图7示意性示出了根据本公开实施例的数据处理装置的框图。
118.如图7所示，数据处理装置700可以包括获取模块710、第一获得模块720和第二获得模块730。
119.获取模块710，用于从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数据。任务维度数据表征与任务主题相关的维度对应的业务数据，用户维度数据表征与用户主题相关的维度对应的业务数据。
120.第一获得模块720，用于基于业务层级关系，根据任务维度数据、用户维度数据和事实数据，得到至少一个事实数据集合。业务层级关系表征任务主题具有的层级关系和用户主题具有的层级关系。
121.第二获得模块730，用于根据至少一个事实数据集合，得到与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合。
122.根据本公开的实施例，上述数据处理装置700还可以包括第三获得模块。
123.第三获得模块，用于对多个原始业务数据进行数据清洗，得到多个业务数据。
124.根据本公开的实施例，上述数据处理装置700还可以包括第一确定模块和存储模块。
125.第一确定模块，用于基于数据仓库的数据结构规范和多个数据源中的每个数据源的数据结构，确定与每个数据源对应的原始业务数据的存储策略。
126.存储模块，用于根据与每个数据源对应的原始业务数据的存储策略，将原始业务数据存储至数据仓库。
127.根据本公开的实施例，存储模块可以包括第一确定单元和存储单元。
128.第一确定单元，用于根据与每个数据源对应的原始业务数据的存储策略，确定与存储策略相匹配的数据导入工具。
129.存储单元，用于利用与存储策略相匹配的数据导入工具，将原始业务数据存储至数据仓库。
130.根据本公开的实施例，获取模块可以包括第二确定单元、第一获取单元、第二获取单元和第三获取单元。
131.第二确定单元，用于根据特征关联关系，确定与任务主题对应的特征、与用户主题对应的特征和与事实对应的特征。
132.第一获取单元，用于根据与任务主题对应的特征，从多个业务数据中，获取与任务主题对应的任务维度数据。
133.第二获取单元，用于根据与用户主题对应的特征，从多个业务数据中，获取与用户主题对应的用户维度数据。
134.第三获取单元，用于根据与事实对应的特征，从多个业务数据中，获取与事实对应的事实数据。
135.根据本公开的实施例，任务主题包括多个具有层级关系的与任务主题相关的维度，用户包括多个具有层级关系的与用户主题相关的维度；
136.第一获得模块720可以包括第一获得单元和第二获得单元。
137.第一获得单元，用于将多个具有层级关系的与任务主题相关的维度和多个具有层级关系的与用户主题相关的维度进行关联，得到多个具有层级关系的关联维度。
138.第二获得单元，用于基于多个具有层级关系的关联维度，对任务维度数据、用户维度数据和事实数据进行聚合处理，得到至少一个事实数据集合。
139.根据本公开的实施例，第二获得模块可以包括第三确定单元和第三获得单元。
140.第三确定单元，用于根据业务需求规则，确定至少一个统计指标。
141.第三获得单元，用于针对至少一个统计指标中的每个统计指标，对与统计指标对应的至少一个事实数据集合进行关联，得到与统计指标对应的至少一个统计数据集合。
142.根据本公开的实施例，上述数据处理装置700还可以包括第二确定模块。
143.第二确定模块，用于响应于查询请求，根据查询请求包括的查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的
数据查询结果。
144.根据本公开的实施例，第二确定模块可以包括调用单元和第四确定单元。
145.调用单元，用于响应于查询请求，调用数据仓库接口。
146.第四确定单元，用于利用数据仓库接口，根据查询请求包括的查询条件，从与至少一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查询结果。
147.根据本公开的实施例，上述数据处理装置700还可以包括第四获得模块。
148.第四获得模块，用于对数据查询结果进行处理，得到数据处理结果。
149.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
150.根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
151.根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
152.根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
153.图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
154.如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
155.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
156.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程
序加载到ram 803并由计算单元801执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
157.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
158.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
159.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
160.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
161.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
162.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计
算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
163.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
164.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。