数据处理方法、装置、服务器及计算机可读存储介质与流程

文档序号:33123716发布日期:2023-02-01 04:30阅读:36来源:国知局
数据处理方法、装置、服务器及计算机可读存储介质与流程

1.本技术涉及计算机技术领域,具体涉及一种数据处理方法、装置、服务器及计算机可读存储介质。


背景技术:

2.用户关联会将公域、私域的疑似同一用户的相关用户信息关联到一起,并进行合并。由于各个渠道在记录用户行为时,为了使得用户画像更加精准和全面,会同步记录业务渠道中用户行为产生的事件数据,例如某个用户标识在某个业务渠道进行了相关的业务操作,会对该业务操作产生的事件数据进行记录,然后基于事件数据进行用户画像。目前,由于用户在各个渠道均有事件数据,导致难以全面且有效地获取用户的事件数据,从而降低了用户画像的精准性。


技术实现要素:

3.本技术提供了一种数据处理方法,在用户标识发生合并之后,将对应的事件数据也进行合并,避免用户数据缺失。
4.第一方面,本技术提供了一种数据处理方法,所述方法包括:
5.获取目标用户标识以及所述目标用户标识关联的目标事件数据,所述目标事件数据包括事件发生时间;
6.监测所述目标用户标识是否合并至其他用户标识;
7.若所述目标用户标识合并至其他用户标识,根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
8.在本技术一些实施例中,所述根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识,包括:
9.若所述时效策略为实时关联策略,确定所述事件发生时间是否超过预设的处理时效;
10.若所述事件发生时间未超过所述处理时效,将所述目标用户标识的目标事件数据关联至所述其他用户标识;
11.若所述事件发生时间超过所述处理时效,停止将所述目标用户标识的目标事件数据关联至所述其他用户标识。
12.在本技术一些实施例中,所述若所述事件发生时间未超过所述处理时效,将所述目标用户标识的目标事件数据关联至所述其他用户标识,包括:
13.确定当前处理所述目标事件数据的数据数量是否超过预设的数量阈值;
14.若当前处理所述目标事件数据的数据数量未超过所述数量阈值,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
15.在本技术一些实施例中,所述根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识,包括:
16.若所述时效策略为离线关联策略,确定所述事件发生时间是否超过预设的处理时效;
17.若所述事件发生时间超过所述处理时效,且处于预设的处理时段,则确定存储所述目标用户标识的存储策略;
18.根据所述存储策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
19.在本技术一些实施例中,所述根据所述存储策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识,包括:
20.若所述存储策略为单机存储策略,获取所述目标用户标识的事件发生时间最新的事件数据,将所述事件发生时间最新的事件数据之外的所述目标用户标识的历史事件数据删除;
21.将所述目标用户标识的所述事件发生时间最新的事件数据关联至所述其他用户标识;
22.若所述存储策略为分布式存储策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识,得到关联结果,确定所述分布式存储策略的各个分布存储单元,将所述关联结果同步至各个所述分布存储单元。
23.在本技术一些实施例中,所述根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识之前,所述方法还包括:
24.确定时效策略的执行时间段;
25.若当前时间在所述执行时间段之内,确定所述时效策略为预设的离线关联策略;
26.若当前时间在所述执行时间段之外,确定所述时效策略为预设的实时关联策略。
27.在本技术一些实施例中,所述确定初始待处理事件数据的事件发生时间之前,所述方法还包括:
28.获取各个用户标识、各个用户标识对应的执行的事件数据以及各个事件数据的事件发生时间;
29.若所述目标用户标识合并至其他用户标识,根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
30.第二方面,本技术还提供了一种数据处理装置,所述装置包括:
31.获取模块,用于获取目标用户标识以及所述目标用户标识关联的目标事件数据,所述目标事件数据包括事件发生时间;
32.监测模块,用于监测所述目标用户标识是否合并至其他用户标识;
33.关联模块,用于若所述目标用户标识合并至其他用户标识,根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
34.在本技术一些实施例中,所述关联模块具体用于:
35.若所述时效策略为实时关联策略,确定所述事件发生时间是否超过预设的处理时效;
36.若所述事件发生时间未超过所述处理时效,将所述目标用户标识的目标事件数据关联至所述其他用户标识;
37.若所述事件发生时间超过所述处理时效,停止将所述目标用户标识的目标事件数
据关联至所述其他用户标识。
38.在本技术一些实施例中,所述关联模块具体还用于:
39.确定当前处理所述目标事件数据的数据数量是否超过预设的数量阈值;
40.若当前处理所述目标事件数据的数据数量未超过所述数量阈值,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
41.在本技术一些实施例中,所述关联模块具体还用于:
42.若所述时效策略为离线关联策略,确定所述事件发生时间是否超过预设的处理时效;
43.若所述事件发生时间超过所述处理时效,且处于预设的处理时段,则确定存储所述目标用户标识的存储策略;
44.根据所述存储策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
45.在本技术一些实施例中,所述关联模块具体还用于:
46.若所述存储策略为单机存储策略,获取所述目标用户标识的事件发生时间最新的事件数据,将所述事件发生时间最新的事件数据之外的所述目标用户标识的历史事件数据删除;
47.将所述目标用户标识的所述事件发生时间最新的事件数据关联至所述其他用户标识;
48.若所述存储策略为分布式存储策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识,得到关联结果,确定所述分布式存储策略的各个分布存储单元,将所述关联结果同步至各个所述分布存储单元。
49.在本技术一些实施例中,所述数据装置还包括策略判断模块,所述策略判断模块具体用于:
50.确定时效策略的执行时间段;
51.若当前时间在所述执行时间段之内,确定所述时效策略为预设的离线关联策略;
52.若当前时间在所述执行时间段之外,确定所述时效策略为预设的实时关联策略。
53.在本技术一些实施例中,所述数据装置还包括数据存储模块,所述数据存储模块具体用于:
54.获取各个用户标识、各个用户标识对应的执行的事件数据以及各个事件数据的事件发生时间;
55.若所述目标用户标识合并至其他用户标识,根据所述事件发生时间以及预设的时效策略,将所述目标用户标识的目标事件数据关联至所述其他用户标识。
56.第三方面,本技术还提供了一种服务器,所述服务器包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现任一项所述的数据处理方法中的步骤。
57.第四方面,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现任一项所述的数据处理方法中的步骤。
58.本技术提供的数据处理方法,当获取到用户标识对应的事件数据之后,若监测用
户标识合并至其他用户标识时,根据事件数据的事件发生时间以及预设的时效策略,将用户标识的事件数据关联至其他用户标识,如此,在用户标识合并的同时,对事件数据进行关联合并,可以全面获取用户的事件数据,并且通过事件发生事件以及时效策略对事件数据进行关联合并,可以保证合并后的用户标识的事件数据的有效性,进而可以提高用户画像的精准性以及全面性。
附图说明
59.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
60.图1是本技术实施例中提供的数据处理系统的场景示意图;
61.图2是本技术实施例中数据处理方法的一个实施例流程示意图;
62.图3是本技术实施例中数据处理装置的一个功能模块示意图;
63.图4是本技术实施例中服务器的结构示意图。
具体实施方式
64.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
65.在本技术的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
66.在本技术中,“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。同时,可以理解的是,在本技术的具体实施方式中,涉及到用户信息、用户数据等相关的数据,当本技术以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
67.为了使本领域任何技术人员能够实现和使用本技术,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本技术。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本技术的描述变得晦涩。因此,本技术并非旨在限于所示的实施例,而是与符合本技术所公开的原理和特征的最广范围相一致。
68.请参阅图1,图1为本技术实施例所提供的数据处理方法的场景示意图,该数据处理系统可以包括服务器100和存储设备200,服务器100和存储设备200通信连接,服务器100可以向存储设备200传输数据,存储设备200也可以向服务器100传输数据,如图1中的服务器100,可以根据获得存储设备200存储的标识信息,以处理本技术所提及的数据处理方法。
69.本技术实施例中,服务器100其包括但不限于独立的服务器,也可以是服务器组成的服务器网络或服务器集群等,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器可以由基于云计算(cloud computing)的大量计算机或网络服务器构成。
70.本技术的实施例中,服务器100和存储设备200之间可通过任何通信方式实现通信,包括但不限于,基于第三代合作伙伴计划(3rd generation partnership project,3gpp)、长期演进(long term evolution,lte)、全球互通微波访问(worldw标识e interoperability for microwave access,wimax)的移动通信,或基于tcp/ip协议族(tcp/ip protocol suite,tcp/ip)、用户数据报协议(user datagram protocol,udp)的计算机网络通信等。
71.本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本技术方案一种应用场景,并不构成对本技术方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的服务器和后台设备,例如图1中仅示出1个服务器或后台设备,该数据处理系统还可以包括一个或多个可处理数据的其他服务器和服务器,具体此处不作限定。
72.需要说明的是,图1所示的数据处理系统的场景示意图仅仅是一个示例,本技术实施例描述的数据处理系统以及场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着数据处理系统的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
73.如图2所示,图2为本技术实施例中数据处理方法的一个实施例流程示意图,数据处理方法可以包括如下步骤201~203:
74.201、获取目标用户标识以及目标用户标识关联的目标事件数据,目标事件数据包括事件发生时间。
75.本技术实施例中所涉及的目标用户标识可以为来自任意一种业务线的用户标识。例如,由于用户在使用某个具体的业务时,会创建对应的用户标识,包括用户昵称等,同时在注册时,用户还会填写与该用户昵称相关的信息,例如手机、邮箱,或者将微信号与该用户昵称绑定等等。因此,在本技术实施例中,为了方便理解,可以将目标用户标识理解为用户昵称,与目标用户标识对应的关手机、邮箱、或者绑定的微信号等则为相关的关联信息。
76.但需要说明的是,目标用户在完成具体某个业务的用户标识注册之后,会使用该业务中的具体功能,例如通过该业务进行关键字搜索,并得到相关的信息。而用户进行关键字搜索的这一动作事件,则为本技术实施例的目标事件数据,而用户在执行具体的事件时,系统还可以确定用户的执行的事件发生时间。
77.此外,目标用户标识不仅可以理解为用户昵称,目标事件数据的也不仅可以仅理解为关键字搜索,具体的可以根据实际情况进行理解,此处不做具体限定。
78.此外,当用户针对某个实际业务进行了相关的事件操作之后,用户的终端会记录用户针对该具体的业务执行的具体的事件数据,以及执行该事件数据的事件发生时间。此时,服务器可以获取用户终端中的记录数据,从而获取到事件数据以及事件发生时间。当然,用户在执行相关的事件之后,服务器也可以直接获取到用户终端发送的事件数据以及事件发生时间,具体此处不做限定。
79.202、监测目标用户标识是否合并至其他用户标识。
80.由于,在大数据系统中,为了使得用户的画像更准确,用户的信息可以发生关联合并,因此当确定两个不同的用户标识为同一个实际用户时,则两个不同的用户标识会发生具体的合并或关联,即本技术实施例中的目标用户标识与其他用户标识发生的合并现象。
81.例如:当存在一个目标用户标识(a)和一个其他用户标识(b)时,由于可以获取两个用户标识其他的关联信息,例如手机号、身份证号、邮箱等。通过确定两个用户标识的其他关联信息是否存在相同的信息时,可以确定两个用户标识是否对应一个实际的用户。假设,目标用户标识(a)和其他用户标识(b)的手机号信息相同时,则可以确定目标用户标识(a)和其他用户标识(b)对应同一个实际用户。此时,目标用户标识(a)和其他用户标识(b)可以进行合并。当监控到合并行为的发生时,则可以进行之后的步骤。
82.203、若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
83.根据上述步骤可得,当发生目标用户标识合并至其他用户标识的情况时,则需要将目标用户标识对应的目标事件数据合并至其他用户标识。由于,在实际情况中,本技术中的数据处理系统在接收到用户的目标事件数据时,可能存在意外情况,无法实时的获取到用户立即产生的目标事件数据。例如,存在网络问题等通信问题时,获取到目标事件数据时可能在几小时或几天之后,由于用户的行为具有一定的时效性,即目标事件数据具有一定的时效性,越靠近当前时间的行为越能够容易展现用户真实的面貌,因此若目标事件数据的事件发生时间距离当前时间较为久远时,没有必要将目标事件数据合并至其他用户标识。因此,需要确定目标事件数据的事件发生时间在一定的时间之内。同时,在获取到目标用户标识的目标事件数据之后,为了能够立即完善用户的用户画像,因此,能够立即将目标事件数据与其他用户标识为最优情况。然而,在实际情况中,可能同时涉及多个用户标识的多个事件数据,系统的处理负担可能较大,因此,可以设定一个间隔时间进行目标事件数据的合并。例如,该间隔时间可以为1个小时,每1个小时内,合并一定数量的目标事件数据,这样既能保证目标事件数据的时效性,也能一定程度上缓解系统的资源占用。因此,该时效策略可以为一种设定间隔时间的时效策略。
84.本技术提供的数据处理方法,当获取到用户标识对应的事件数据之后,若监测用户标识合并至其他用户标识时,根据事件数据的事件发生时间以及预设的时效策略,将用户标识的事件数据关联至其他用户标识,如此,在用户标识合并的同时,对事件数据进行关联合并,可以全面获取用户的事件数据,并且通过事件发生事件以及时效策略对事件数据进行关联合并,可以保证合并后的用户标识的事件数据的有效性,进而可以提高用户画像的精准性以及全面性。
85.为了更好的实现本技术实施例,在一个本技术实施例中,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识,包括:
86.若时效策略为实时关联策略,确定事件发生时间是否超过预设的处理时效;若事件发生时间未超过处理时效,将目标用户标识的目标事件数据关联至其他用户标识;若事件发生时间超过处理时效,停止将目标用户标识的目标事件数据关联至其他用户标识。
87.上述实施例中提供了一种时效策略为设置间隔时间的策略,然而当系统的资源处理能力提高时,则可以无需考虑系统的资源占用,因此实时的关联策略能够更好保证事件
数据的时效的问题。即,本技术实施例中,实时关联策略为一种在接收到目标事件数据之后,且目标用户标识与其他标识发生合并时,立即将目标事件数据进行合并的策略。
88.需要说明的是,由于在接收到目标用户标识以及目标用户标识的目标事件数据之后,目标用户标识不会立即与其他用户标识进行合并。因此,当完成目标用户标识与其他用户标识的合并之时,可能在接收到目标用户标识以及目标用户标识的目标事件数据的事件发生时间之后,经过了较长时间,由于目标事件数据存在时效性,此时的目标事件数据无法有效的体现用户的用户画像,因此没有必要将目标事件数据也进行合并。例如:当x年x月1日为目标用户标识的目标事件数据的事件发生时间,但在x年x月28日,目标用户标识才被合并至其他的一个用户标识,此时已经过去了27天才进行合并,此时可以认为该目标事件数据已经为一种失去时效的数据,因此无需再将目标事件数据合并至其他用户标识。在本技术实施例中,该预设的处理时效可以设置为7天,当目标事件数据的事件发生时间与当前时间进行对比,若已经超过7天时,此时当目标用户标识再与其他用户标识发生合并时,则目标事件数据可以无需合并至该其他用户标识;若未超过7天时,则目标事件数据合并至该其他用户标识即可。需要说明的是,一旦未超过该处理时效,且用户标识的合并完成时,目标事件数据便会立刻合并至其他用户标识。需要说明的是,本技术实施例中预设的处理时效的可以根据具体的情况进行设定,具体此处不做限定。
89.为了更好的实现本技术实施例,在一个本技术实施例中,若事件发生时间未超过处理时效,将目标用户标识的目标事件数据关联至其他用户标识,包括:
90.确定当前处理目标事件数据的数据数量是否超过预设的数量阈值;若当前处理目标事件数据的数据数量未超过数量阈值,将目标用户标识的目标事件数据关联至其他用户标识。
91.根据上述实施例可得,当系统的处理性能得到提升时,可以使用实时关联策略,将目标事件数据关联至其他用户标识。然而,当系统的处理性能得到提升之时,数据的处理量也能随之提升,因此也无法保证时时刻刻均能够采用实时关联策略。此时,可以在实时关联策略的基础之上,设置一个数量阈值,若当前的目标事件数据的数据处理量超过该数量阈值时,证明系统的处理能力达到了一定的上限。此时,可以停止按照实时关联策略进行相应的关联操作。然而,当停止按照实时关联策略进行目标事件数据的关联时,可以采用其他的关联策略进行关联,例如下文中描述的离线关联策略,具体何为离线关联可以参照下文中的实施例,具体此处不做赘述。
92.由于,该数量阈值的设置可以避免系统运行超过负荷。因此,该数量阈值的设定可以根据具体的系统处理能力进行设置。例如:当前系统采用了某种型号的处理器,该处理器能够每秒处理x字节的数据,此时该数量阈值便可以设置为一个小于x字节且接近x字节的一个数值。当系统同时需要将多个目标事件数据进行关联处理时,系统可以确定当前所消耗的当前数据量的字节大小,从而与该数据阈值进行比较,进而确定是依旧采用当前的实时关联策略还是其他的关联策略。
93.为了更好的实现本技术实施例,在一个本技术实施例中,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识,包括:
94.若时效策略为离线关联策略,确定事件发生时间是否超过预设的处理时效;若事件发生时间超过处理时效,且处于预设的处理时段,则确定存储目标用户标识的存储策略;
根据存储策略,将目标用户标识的目标事件数据关联至其他用户标识。
95.上述实施例中,采用了一种通过实时关联策略的方式进行目标事件数据的关联,然而在实际情况中不仅可以采取实时关联策略,也可以采取离线关联策略,以应对系统严重负荷时,从而错峰使用系统。
96.首先,与上述实施例理由相同,目标事件数据存在一定的时效性,在进行关联之前依旧需要判定该目标事件数据是否有效。例如:当x年x月1日为目标用户标识的目标事件数据的事件发生时间,但在x年x月28日,目标用户标识才被合并至其他的一个用户标识,此时已经过去了27天才进行合并,此时可以认为该目标事件数据已经为一种失去时效的数据,因此无需再将目标事件数据合并至其他用户标识。当目标事件数据符合处理时效的判断时,且当目标事件数据存在多个时,还可以筛选出部分目标事件数据进行合并。例如:假设存在目标事件数据a、目标事件数据b和目标事件数据c满足时效判断,此时目标事件数据a对应的事件发生时间为x年x月17日、目标事件数据b对应的事件发生时间为x年x月18日和目标事件数据c对应的事件发生时间为x年x月19日,若当前日期为x年x月19日,则将目标事件数据a、目标事件数据b进行相应的合并,此时该预设的处理时段则为当日之前不包括当日的时间段。当然,该预设的处理时段也可以根据具体的情况进行设定,此处不做具体限定。
97.此外,由于本技术实施例采用离线关联策略,因此在进行目标事件数据的合并是在非网络环境中进行关联的,因此仅能根据存储的目标事件数据进行关联。由于,当针对于目标事件数据的存储策略可能不同,因此在调取目标事件数据时也不同,因此需要根据存储策略进行相应的关联操作。例如:该存储策略可能为一种加密存储,在调取本地的目标事件数据时,先需要进行解密操作才能得到具体的目标事件数据,此时才能完成后续的关联操作。
98.为了更好的实现本技术实施例,在一个本技术实施例中,根据存储策略,将目标用户标识的目标事件数据关联至其他用户标识,包括:
99.若存储策略为单机存储策略,获取目标用户标识的事件发生时间最新的事件数据,将事件发生时间最新的事件数据之外的目标用户标识的历史事件数据删除;将目标用户标识的事件发生时间最新的事件数据关联至其他用户标识;若存储策略为分布式存储策略,将目标用户标识的目标事件数据关联至其他用户标识,得到关联结果,确定分布式存储策略的各个分布存储单元,将关联结果同步至各个分布存储单元。
100.根据上述实施例可得,存储策略可以为一种加密存储策略,在此方式之外,存储策略还可以为单机存储策略和分布式存储策略。单机存储策略可以指代一种仅通过一个存储设备进行存储的策略。由于处于离线状态下,若要使得用户画像最准确,因此可以通过目标事件数据的事件发生时间判断哪个目标事件数据最具有时效性,故最新的事件数据,即离当前时间最近的事件数据的时效性最高,此时可以将该最新的事件数据进行关联,此时为了节约存储空间,可以将除了该最新的事件数据之外的事件数据进行删除。
101.此外,除了单机存储策略,还包括分布式存储策略,该分布式存储策略可以为一种通过多个存储设备进行数据存储的存储策略,其中多个存储设备中存储的数据相同,其中是无法对一个存储设备中的数据进行单独修改。因此,在获得目标事件数据之后并完成关联时,需要将各个存储设备中的存储数据进行同步,才能使得该关联结果得到保存。其中,
具体的同步方式如下:
102.首先根据需要关联的目标事件数据,生成datapatch文件,然后根据数据存储的不同的存储设备信息,提交关联任务到数据关联系统中;再读取不同的存储设备信息以及总的.patch文件,根据事件中的目标用户标识进行关联,给每个数据存储设备生成相应的.patch文件,其中生成一个用于存储中间文件的临时目录;当上述步骤完成后,再将临时目录中的中间数据移动到数据合并目录,进行关联;将待合并目录中的小文件合并成大文件,合并过程会处理.patch文件中的关联信息;最后将关联产生的文件加载到数据目录,将patch目录下文件移动到事件关联结果文件的目录中,完成关联。
103.为了更好的实现本技术实施例,在一个本技术实施例中,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识之前,方法还包括:
104.确定时效策略的执行时间段;若当前时间在执行时间段之内,确定时效策略为预设的离线关联策略;若当前时间在执行时间段之外,确定时效策略为预设的实时关联策略。
105.上述实施例中涉及了根据不同时效策略进行关联合并的方案。然而,若多个时效策略同时设置于系统中时,则需要判断具体哪个情况采用何种时效策略。例如:上述实施例中列举了可以通过实时关联策略和离线关联策略,由于用户在白天的活动量较大,因此产生的数据量较大,故系统在白天时,数据量较大。因此,7:00点至19:00点可以设置为一个执行时间段,即每12个小时可以为一个执行时间段,若在7:00点至19:00点之内,确定为用户活跃度较高的时间,此时可以为离线策略,以缓解系统的负荷。当然,在此周期之外,便可以使用实时关联策略,以保证时效性。需要说明的是,本技术实施例中的周期可以根据具体的情况进行设定,具体此处不做限定。
106.为了更好的实现本技术实施例,在一个本技术实施例中,确定初始待处理事件数据的事件发生时间之前,方法还包括:
107.获取各个用户标识、各个用户标识对应的执行的事件数据以及各个事件数据的事件发生时间;若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
108.根据上述实施例可得,在获取到用户的事件数据之后,用户标识不一定立刻进行合并关联,因此可以将用户的事件数据进行存储,以便在进行合并之后,可以进行关联。
109.在同步的业务中,为了确定用户的身份,用户在使用各个业务时,均会通过一个账户进行操作。因此,每当用户通过账户进行业务的操作时,可以直接通过账户的行为得到事件数据,例如:该业务为音乐软件a,当该账户播放了音乐a,则可以获取到该用户播放音乐a的事件数据。此外,每当用户执行事件之后,均会有一个执行时间,此时该执行时间则为事件发生时间,例如该用户在时间a收听了音乐a。此时,系统可以根据用户使用业务的情况,将获取得到的事件数据和事件发生时间进行关联,以便上述任意实施例在需要事件数据和事件发生时间时,可以立刻获取。
110.综上,本技术还提供了一个实施例便于本方案的理解,具体如下:
111.假设事件表存储如下:
112.用户标识事件名事件发生时间111aaa2022-08-16222bbb2022-08-17
333ccc2022-08-18444ddd2022-08-19
113.假设用户合并的记录如下:
114.目标用户标识其他用户标识用户合并时间1112222022-08-173334442022-08-192224442022-08-19
115.最终,无论经过实时关联策略还是离线关联策略的事件关联之后结果如下:
116.用户标识事件名事件发生时间444aaa2022-08-16444bbb2022-08-17444ccc2022-08-18444ddd2022-08-19
117.为了更好实施本技术实施例中的数据处理方法,在数据处理方法之上,本技术实施例中还提供了一种数据处理装置,如图3所示,装置300包括:
118.获取模块301,用于获取目标用户标识以及目标用户标识关联的目标事件数据,目标事件数据包括事件发生时间;
119.监测模块302,用于监测目标用户标识是否合并至其他用户标识;
120.关联模块303,用于若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
121.本技术提供的数据处理装置,当通过获取模块301获取到用户标识对应的事件数据之后,通过监测模块302监测到若用户标识合并至其他用户标识,为了使得用户数据更加全面,还可以通过关联模块303将用户标识对应的事件数据合并至其他用户标识,避免事件数据发生缺失。
122.在本技术一些实施例中,关联模块303具体用于:
123.若时效策略为实时关联策略,确定事件发生时间是否超过预设的处理时效;
124.若事件发生时间未超过处理时效,将目标用户标识的目标事件数据关联至其他用户标识;
125.若事件发生时间超过处理时效,停止将目标用户标识的目标事件数据关联至其他用户标识。
126.在本技术一些实施例中,关联模块303具体还用于:
127.确定当前处理目标事件数据的数据数量是否超过预设的数量阈值;
128.若当前处理目标事件数据的数据数量未超过数量阈值,将目标用户标识的目标事件数据关联至其他用户标识。
129.在本技术一些实施例中,关联模块303具体还用于:
130.若时效策略为离线关联策略,确定事件发生时间是否超过预设的处理时效;
131.若事件发生时间超过处理时效,且处于预设的处理时段,则确定存储目标用户标识的存储策略;
132.根据存储策略,将目标用户标识的目标事件数据关联至其他用户标识。
133.在本技术一些实施例中,关联模块303具体还用于:
134.若存储策略为单机存储策略,获取目标用户标识的事件发生时间最新的事件数据,将事件发生时间最新的事件数据之外的目标用户标识的历史事件数据删除;
135.将目标用户标识的事件发生时间最新的事件数据关联至其他用户标识;
136.若存储策略为分布式存储策略,将目标用户标识的目标事件数据关联至其他用户标识,得到关联结果,确定分布式存储策略的各个分布存储单元,将关联结果同步至各个分布存储单元。
137.在本技术一些实施例中,数据装置还包括策略判断模块304,策略判断模块304具体用于:
138.确定时效策略的执行时间段;
139.若当前时间在执行时间段之内,确定时效策略为预设的离线关联策略;
140.若当前时间在执行时间段之外,确定时效策略为预设的实时关联策略。
141.在本技术一些实施例中,数据装置还包括数据存储模块305,数据存储模块305具体用于:
142.获取各个用户标识、各个用户标识对应的执行的事件数据以及各个事件数据的事件发生时间;
143.若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
144.本技术实施例还提供一种服务器,其集成了本技术实施例所提供的任一种数据处理方法,如图4所示,其示出了本技术实施例所涉及的服务器的结构示意图,具体来讲:
145.该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
146.处理器401是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器401可包括一个或多个处理核心;处理器401可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
147.存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存
取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
148.服务器还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
149.该服务器还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
150.尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,例如:
151.获取目标用户标识以及目标用户标识关联的目标事件数据,目标事件数据包括事件发生时间;
152.监测目标用户标识是否合并至其他用户标识;
153.若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
154.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
155.为此,本技术实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本技术实施例所提供的任一种数据处理方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
156.获取目标用户标识以及目标用户标识关联的目标事件数据,目标事件数据包括事件发生时间;
157.监测目标用户标识是否合并至其他用户标识;
158.若目标用户标识合并至其他用户标识,根据事件发生时间以及预设的时效策略,将目标用户标识的目标事件数据关联至其他用户标识。
159.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
160.具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
161.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
162.以上对本技术实施例所提供的一种数据处理方法及装置进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助
理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1