数据处理方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，具体而言，本技术涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着互联网的发展，利用埋点进行数据处理和分析越来越普遍，所谓埋点就是在应用或网页中特定的流程收集一些数据信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑，包括访问数(visits)、访客数(visitor)、停留时长(time on site)、页面浏览数(page views)和跳出率(bounce rate)等。
3.目前，若根据用户再次发出埋点数据获取和/或分析的请求时，需要重新定制埋点程序。每个埋点数据对应一个埋点程序，获取所需数据。即每个埋点，对应各自的埋点程序，埋点程序之间相互独立的。换言之，对于同一应用或网页中的不同数据处理和分析需求场景，需要定制化开发不同的埋点程序，使得基于埋点的数据处理和分析效率低，且人力成本较高。


技术实现要素：

4.本技术的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
5.第一方面，本技术实施例提供了一种数据处理方法，包括：
6.获取待处理数据，并获取待处理数据对应的事件标识id和标签id；
7.通过埋点规则配置页面将事件id和标签id提供给用户，并获取用户基于事件id和标签id配置的规则数据；
8.基于规则数据获取对应的规则表，并基于规则表对待处理数据进行处理得到处理后的数据。
9.在本技术的一种可选实施例中，获取用户基于事件id和标签id配置的规则数据，包括：
10.获取用户基于事件id和标签id配置的至少一个筛选步骤和各筛选步骤之间的顺序；
11.基于至少一个筛选步骤和对应的顺序，获取对应的规则数据。
12.在本技术的一种可选实施例中，获取用户基于事件id和标签id配置的至少一个筛选步骤，包括：
13.获取用户基于事件id和标签id为每一步骤配置的至少一个限制条件和各限制条件之间的组合关系；
14.基于至少一个限制条件和对应的组合关系，获取对应的筛选步骤。
15.在本技术的一种可选实施例中，各限制条件之间的组合关系包括逻辑与关系和逻辑或关系，其中，逻辑与关系需要对应的各限制条件的事件id相同。
16.在本技术的一种可选实施例中，基于规则数据获取对应的规则表，包括：
17.以拉链表的形式存储规则数据，得到对应的规则表。
18.在本技术的一种可选实施例中，基于规则表对待处理数据进行处理得到处理后的数据，包括：
19.基于规则表，获取对应的埋点程序；
20.利用埋点程序对待处理数据进行处理得到对应的处理后的数据。
21.在本技术的一种可选实施例中，利用埋点程序对待处理数据进行处理得到对应的处理后的数据，包括：
22.利用埋点程序对应的各筛选步骤分别对待处理数据进行处理，得到每个筛选步骤对应的用户数、设备数、发生次数、用户总体转化率以及设备总体转化率。
23.第二方面，本技术实施例提供了一种数据处理装置，包括：
24.待处理数据获取模块，用于获取待处理数据，并获取待处理数据对应的事件标识id和标签id；
25.规则数据获取模块，用于通过埋点规则配置页面将事件id和标签id提供给用户，并获取用户基于事件id和标签id配置的规则数据；
26.数据处理模块，用于基于规则数据获取对应的规则表，并基于规则表对待处理数据进行处理得到处理后的数据。
27.在本技术的一种可选实施例中，规则数据获取模块具体用于：
28.获取用户基于事件id和标签id配置的至少一个筛选步骤和各筛选步骤之间的顺序；
29.基于至少一个筛选步骤和对应的顺序，获取对应的规则数据。
30.在本技术的一种可选实施例中，规则数据获取模块进一步用于：
31.获取用户基于事件id和标签id为每一步骤配置的至少一个限制条件和各限制条件之间的组合关系；
32.基于至少一个限制条件和对应的组合关系，获取对应的筛选步骤。
33.在本技术的一种可选实施例中，各限制条件之间的组合关系包括逻辑与关系和逻辑或关系，其中，逻辑与关系需要对应的各限制条件的事件id相同。
34.在本技术的一种可选实施例中，数据处理模块具体用于：
35.以拉链表的形式存储规则数据，得到对应的规则表。
36.在本技术的一种可选实施例中，数据处理模块进一步用于：
37.基于规则表，获取对应的埋点程序；
38.利用埋点程序对待处理数据进行处理得到对应的处理后的数据。
39.在本技术的一种可选实施例中，数据处理模块进一步用于：
40.利用埋点程序对应的各筛选步骤分别对待处理数据进行处理，得到每个筛选步骤对应的用户数、设备数、发生次数、用户总体转化率以及设备总体转化率。
41.第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器；
42.存储器中存储有计算机程序；
43.处理器，用于执行计算机程序以实现第一方面实施例中所提供的方法。
44.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面实施例中所提供的方法。
45.本技术提供的技术方案带来的有益效果是：
46.通过将待处理数据携带的事件id和标签id配置通过埋点规则配置页面提供给用户，并通过用户配置的事件id和标签id获取对应的规则数据，进而基于规则数据对应的规则表对待处理数据进行处理，由于用户可基于待处理数据携带的事件id和标签id灵活配置规则数据，得到所需的各种规则表，使得数据处理和分析效率得到了大大提高，且降低了人力成本。
附图说明
47.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
48.图1为本技术实施例提供的一种数据处理方法的流程示意图；
49.图2为本技术实施例的一个示例中用户通过埋点规则配置页面进行规则数据配置的示意图；
50.图3本技术实施例提供的一种数据处理装置的结构框图；
51.图4为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
52.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
53.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
54.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
55.图1为本技术实施例提供的一种数据处理方法的流程示意图，如图1所示，该方法可以包括：
56.步骤s101，获取待处理数据，并获取待处理数据对应的事件标识id和标签id。
57.需要说明的是，本技术实施例依赖于一个埋点配置系统，该埋点配置系统包括埋点规则配置页面和埋点配置后台。其中，埋点规则配置页面通过网页或相应的应用程序的显示页面显示给用户，用户在埋点规则配置页面进行埋点相关信息的配置。埋点配置后台用于获取用户配置的信息以生成对应的埋点程序，并利用埋点程序对待处理数据进行处理，得到处理后的数据。那么，可以理解的是，本技术实施例提供的数据处理方法的执行主体可以为该埋点配置系统。
58.其中，待处理数据来自于待分析网页或app(application，应用程序)，例如，待处
理数据可以来自于某一游戏app运行过程中产生的数据。
59.具体地，埋点配置系统获取待分析网页或app运行过程中产生的原始数据，并基于需要分析的事件(埋点事件)和对应的标签将原始数据进行分类和格式转换后存储至预设数据库中，可以理解的是，预设数据库中的待处理数据携带有对应的事件名(即事件id)和标签名(即标签id)。其中，所需要分析的事件可以为登录、浏览次数等，标签为待处理数据对应的属性。那么，可以理解的是，每个待处理数据可以携带有一个或多个事件id，以及一个或多个标签id。
60.步骤s102，通过埋点规则配置页面将事件id和标签id提供给用户，并获取用户基于事件id和标签id配置的规则数据。
61.具体地，当用户发出埋点配置指令后，埋点配置系统向用户显示埋点规则配置页面，埋点规则配置也面将上一步骤获取到的待处理数据的事件id和对应的标签id提供给用户，例如，可以通过下拉选项或待选子窗口的形式显示给用户，以供用户选择。用户根据业务需求，确定需要获取和分析哪些事件下的待处理数据，然后在埋点规则配置页面选取对应的事件id和对应的标签id，从而得到对应的规则数据。
62.可以理解的是，若用户有不同的业务需求，只需要在埋点规则配置页面对之前的配置信息进行修改，具体来说，只需要修改对应的事件id和对应的标签id，即可得到新的规则数据。也即可以根据业务需求，通过规则配置页面灵活配置规则数据，从而得到新的规则数据。
63.需要说明的是，该步骤中仅对用户配置的规则数据中的事件id和标签id进行了详细说明，在实际的配置过程中，用户还需要配置待处理数据来源、规则数据对应的埋点程序的开始时间、结束时间以及有效时间等常规数据，在此不在赘述。
64.步骤s103，基于规则数据获取对应的规则表，并基于规则表对待处理数据进行处理得到处理后的数据。
65.具体地，埋点配置系统后台基于上一步骤获取到的规则数据生成对应的规则表，然后利用该规则表即可获取对应的埋点程序，利用该埋点程序即可对待处理数据进行处理，得到对应的处理后的数据。
66.本技术提供的方法，通过将待处理数据携带的事件id和标签id配置通过埋点规则配置页面提供给用户，并通过用户配置的事件id和标签id获取对应的规则数据，进而基于规则数据对应的规则表对待处理数据进行处理，由于用户可基于待处理数据携带的事件id和标签id灵活配置规则数据，得到所需的各种规则表，使得数据处理和分析效率得到了大大提高，且降低了人力成本。
67.在本技术的一种可选实施例中，获取用户基于事件id和标签id配置的规则数据，包括：
68.获取用户基于事件id和标签id配置的至少一个筛选步骤和各筛选步骤之间的顺序；
69.基于至少一个筛选步骤和对应的顺序，获取对应的规则数据。
70.具体地，每个埋点对应的规则数据中包含一个或多个筛选步骤，且每个筛选步骤可以包括至少一个限制条件。各个筛选步骤在埋点程序中并行地对待处理数据进行处理，得出对应的处理后的结果。具体来说，虽然各筛选步骤独立对待处理数据进行处理，但是，
在得到处理后的结果的过程中还需要参考上一筛选步骤对应的相关处理后的结果，对于某些处理后的结果，如用户总体转换率和设备总体转换率，就需要用本筛选步骤中的用户数除以上一筛选步骤中的用户数，用本筛选步骤中的设备数除以上一筛选步骤中的设备数。换言之，各个筛选步骤分别对待处理数据进行筛选，且相邻的两个筛选步骤对应的处理结果数据有一定相关性，那么，对应的埋点可以理解为一个漏斗，按顺序排列的各个筛选步骤即可理解为漏洞中的各层漏斗步骤。因此，获取用户基于事件id和标签id配置的至少一个筛选步骤和各筛选步骤之间的顺序，即可得到对应的筛选数据。
71.可以理解的是，当埋点只包含一个筛选步骤时，用户就无需配置其顺序。
72.在本技术的一种可选实施例中，获取用户基于事件id和标签id配置的至少一个筛选步骤，包括：
73.获取用户基于事件id和标签id为每一步骤配置的至少一个限制条件和各限制条件之间的组合关系；
74.基于至少一个限制条件和对应的组合关系，获取对应的筛选步骤。
75.具体地，每个筛选步骤由一个或多个限制条件组合构成，用户在配置各限制条件时，可以配置每个限制条件的事件id和标签id，在此基础上，还可以进一步配置标签id对应的标签值和标签值的限定条件。同时，还要配置各限制条件之间的组合关系。具体来说，各限制条件之间的组合关系包括逻辑与关系和逻辑或关系，其中，逻辑与关系需要对应的各限制条件的事件id相同。若各限制条件之间为逻辑与的关系，则对应的筛选步骤在对待处理数据进行筛选时，需要对应满足所有限制条件；若各限制条件之间为逻辑或的关系，则对应的筛选步骤在对待处理数据进行筛选时，只需对应满足各限制条件中的一个限制条件即可。举例来说，筛选步骤1的限制条件为限制条件a、限制条件b和限制条件c，且限制条件a、限制条件b和限制条件c之间的组合关系为逻辑与关系，那么利用筛选步骤1对待处理数据进行处理时，需要对应同时满足限制条件a、限制条件b和限制条件c。筛选步骤2的限制条件为限制条件d、限制条件e和限制条件f，且限制条件d、限制条件e和限制条件f之间的组合关系为逻辑或关系，那么利用筛选步骤2对待处理数据进行处理时，只需对应满足限制条件d、限制条件e和限制条件f中的一个限制条件即可。因此，获取用户基于事件id和标签id为每一步骤配置的至少一个限制条件和各限制条件之间的组合关系，即可获取对应的筛选步骤。
76.可以理解的是，当筛选步骤中只包含一个限制条件时，用户就无需配置其组合关系。
77.下面通过一个示例来对上述方案进行进一步说明，如图2所示，为埋点规则配置页面中的筛选步骤配置部分，用户通过该部分配置新的步骤的顺序和限制条件。具体来说，通过输入框204输入该新的步骤的顺序。通过下拉框201配置事件id，下拉显示待处理数据对应的所有事件id以供用户选择，且可以用各关键词检索精确查找相应的事件id。通过下拉框202配置标签id，下拉显示待处理数据对应的所述有标签id以供用户选择，且可以用个关键词检索精确查找相应的标签id。用户通过下拉框201和下拉框202即可确定出该新的步骤中的各限制条件对应的事件id和标签id。通过点击按钮203可以切换各限制条件之间的组合关系，即切换“逻辑或”和“逻辑与”，图中示出了“逻辑与”的情形，未示出“逻辑或”的情形。用户在具体配置过程中的配置顺序不做限制，只需要保证按钮203指示的逻辑关系为逻
辑与时，各限制条件的事件id相同即可，换言之，当各限制条件的事件id不同时，按钮203不能被配置为逻辑与，此时各限制条件之间的组合关系默认为逻辑或。
78.在本技术的一种可选实施例中，基于规则数据获取对应的规则表，包括：
79.以拉链表的形式存储规则数据，得到对应的规则表。
80.具体地，规则表以拉链表开断链的形式保存规则数据。拉链表可以存储不同的时间点规则表中的规则数据，以及规则数据的修改记录。以拉链表的形式存储规则数据，得到对应的规则表，带来的好处有：
81.1、可以存储不同时间段内的规则数据以供查看；
82.2、可以基于不同时间段的规则数据对应的规则表来对待处理数据进行处理，具体来说，(1)可以用过去的某个时间点的历史规则数据作用于现在的待处理数据；(2)追溯之前某个时间段的多个历史规则数据，并获取每个历史规则数据对应的历史待处理数据，可以基于该历史规则数据对应的历史规则表来处理对应的历史待处理数据。换言之，相当于再执行一次将某个时间段内的每个历史规则数据对应的历史规则表作用于对应的历史待处理数据。
83.在本技术的一种可选实施例中，基于规则表对待处理数据进行处理得到处理后的数据，包括：
84.基于规则表，获取对应的埋点程序；
85.利用埋点程序对待处理数据进行处理得到对应的处理后的数据。
86.进一步地，利用埋点程序对待处理数据进行处理得到对应的处理后的数据，包括：
87.利用埋点程序对应的各筛选步骤分别对待处理数据进行处理，得到每个筛选步骤对应的用户数、设备数、发生次数、用户总体转化率以及设备总体转化率。
88.具体地，在通过上述实施例获取到用户配置的规则表后，可以通过一个规则引擎(包含于规则配置系统中)来驱动并执行规则表，将规则表转化为多条可执行的埋点程序。具体来说，规则引擎可以根据服务器的性能动态调整需要并行执行的程序的数量，也可以优先执行重要性高的程序。规则引擎将同时满足将开始时间、结束时间、有效时间等规则数据转换成可执行程序。然后利用规则表转化得到的埋点程序对待处理数据进行处理，得到对应的处理后的结果。其中该处理结果包括每个筛选步骤对应的用户数、设备数、发生次数、用户总体转化率以及设备总体转化率。举例来说，若业务需求为分析某一游戏app的登录事件，用户配置的埋点程序包括两个筛选步骤分别为筛选步骤a和筛选步骤b，且筛选步骤a的顺序在筛选步骤b之前，筛选步骤a对应的处理后的数据中用户数5000、设备数4000、发生次数10000，筛选步骤b对应的处理后的数据中用户数为2500、设备数为1000、发生次数为8000。那么，进一步地，筛选步骤a对应的处理后的数据中用户总体转化率为100％、设备总体转化率为100％，筛选步骤b对应的处理后的数据中用户总体转化率为50％、设备总体转化率为25％。
89.需要说明的是，在将规则表转换成可执行程序的同时，会根据数据的字段类型进行待处理数据的标签值数据格式转换(待处理数据的标签值为待处理数据的一部分)，可执行的埋点程序方可以作用于转换了格式的待处理数据。其中，根据数据类型可以确定对应的约束条件，不同的数据类型可以设定不同的数约束条件。例如，针对数据类型为string的数据，约束条件可以是等于或不等于；针对数据类型为date的数据，约束条件可以是小于等
于或大于等于。根据约束条件生成规则数据的同时对标签值进行类型转化。
90.图3为本技术实施例提供的一种数据处理装置的结构框图，如图3所示，该装置300可以包括：待处理数据获取模块301、规则数据获取模块302以及数据处理模块303，其中：
91.待处理数据获取模块301用于获取待处理数据，并获取所述待处理数据对应的事件标识id和标签id；
92.规则数据获取模块302用于通过埋点规则配置页面将所述事件id和所述标签id提供给用户，并获取所述用户基于所述事件id和所述标签id配置的规则数据；
93.数据处理模块303用于基于所述规则数据获取对应的规则表，并基于所述规则表对所述待处理数据进行处理得到处理后的数据。
94.本技术提供的方案，通过将待处理数据携带的事件id和标签id配置通过埋点规则配置页面提供给用户，并通过用户配置的事件id和标签id获取对应的规则数据，进而基于规则数据对应的规则表对待处理数据进行处理，由于用户可基于待处理数据携带的事件id和标签id灵活配置规则数据，得到所需的各种规则表，使得数据处理和分析效率得到了大大提高，且降低了人力成本。
95.在本技术的一种可选实施例中，规则数据获取模块具体用于：
96.获取用户基于事件id和标签id配置的至少一个筛选步骤和各筛选步骤之间的顺序；
97.基于至少一个筛选步骤和对应的顺序，获取对应的规则数据。
98.在本技术的一种可选实施例中，规则数据获取模块进一步用于：
99.获取用户基于事件id和标签id为每一步骤配置的至少一个限制条件和各限制条件之间的组合关系；
100.基于至少一个限制条件和对应的组合关系，获取对应的筛选步骤。
101.在本技术的一种可选实施例中，各限制条件之间的组合关系包括逻辑与关系和逻辑或关系，其中，逻辑与关系需要对应的各限制条件的事件id相同。
102.在本技术的一种可选实施例中，数据处理模块具体用于：
103.以拉链表的形式存储规则数据，得到对应的规则表。
104.在本技术的一种可选实施例中，数据处理模块进一步用于：
105.基于规则表，获取对应的埋点程序；
106.利用埋点程序对待处理数据进行处理得到对应的处理后的数据。
107.在本技术的一种可选实施例中，数据处理模块进一步用于：
108.利用埋点程序对应的各筛选步骤分别对待处理数据进行处理，得到每个筛选步骤对应的用户数、设备数、发生次数、用户总体转化率以及设备总体转化率。
109.基于相同的原理，本技术实施例还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，实现本技术任一可选实施例中所提供的方法，具体可实现如下几种情况：
110.获取待处理数据，并获取待处理数据对应的事件标识id和标签id；通过埋点规则配置页面将事件id和标签id提供给用户，并获取用户基于事件id和标签id配置的规则数据；基于规则数据获取对应的规则表，并基于规则表对待处理数据进行处理得到处理后的数据。
111.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本技术任一实施例所示的方法。
112.可以理解的是，介质中存储的可以是数据处理方法对应的计算机程序。
113.图4中示出了本技术实施例所适用的一种电子设备的结构示意图，如图4所示，图4所示的电子设备400包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。进一步地，电子设备400还可以包括收发器404，电子设备400可以通过收发器404与其他电子设备进行数据的交互。需要说明的是，实际应用中收发器404不限于一个，该电子设备400的结构并不构成对本技术实施例的限定。
114.其中，处理器401应用于本技术实施例中，可以用于实现图3所示的数据处理装置的功能，
115.处理器401可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
116.总线402可包括一通路，在上述组件之间传送信息。总线402可以是pci总线或eisa总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
117.存储器403可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
118.存储器403用于存储执行本技术方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现图3所示实施例提供的数据处理装置的动作。
119.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
120.以上仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。