一种基于负载均衡的数据分发处理方法、系统及云平台与流程

文档序号:32601418发布日期:2022-12-17 16:06阅读:36来源:国知局
一种基于负载均衡的数据分发处理方法、系统及云平台与流程

1.本发明涉及数据处理技术领域,具体而言,涉及一种基于负载均衡的数据分发处理方法、系统及云平台。


背景技术:

2.随着互联网技术与通信技术的高速发展,网民随时随地都可以通过终端设备进行上网,如此带来了高并发的数据访问请求。例如随着短视频的兴起,短视频用户数量激增,在大型的短视频平台,每时每刻都伴随着大量用户的并发视频数据交互请求,通过负载均衡方式可以协调数据访问的端口,降低单一服务器的数据压力,然而,目前对于数据协调分发的方式较为老套,对于短视频平台而言,其视频数据种类或类型及其对应的视频数据,具有多量多元的特点,如何针对性进行负载均衡与数据分发,是需要考虑的问题。
3.需要明确的是,以上背景技术的内容,仅仅是为了带出本技术实施例技术方案的技术前提,并不能作为评价本技术新创性的依据。


技术实现要素:

4.本发明的目的在于提供一种基于负载均衡的数据分发处理方法、系统及云平台。
5.本技术实施例是这样实现的:第一方面,本技术实施例提供了一种基于负载均衡的数据分发处理方法,应用于负载均衡云平台,所述负载均衡云平台与多个数据请求端以及多个数据通信服务器通信连接,所述方法包括:获取所述数据请求端发送的数据访问请求,所述数据访问请求包括待分配对象对应的指示信息和/或画像类型;基于所述指示信息和/或画像类型,依据预设的匹配关系将所述数据访问请求分配至与所述指示信息和/或画像类型匹配的目标数据通信服务器,以使所述数据请求端与所述目标数据通信服务器建立通信连接,完成数据的访问;其中,所述指示信息和/或画像类型通过用户画像分析网络对所述待分配对象对应的用户行为日志进行分析得到,所述用户画像分析网络的调试过程包括:获取第一调试序列,所述第一调试序列包括u个用户行为调试日志,以及所述u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记;所述u≥1;通过待调试用户画像分析网络挖掘所述u个用户行为调试日志各自对应的用户行为描述向量;通过所述待调试用户画像分析网络基于所述u个用户行为调试日志各自对应的用户行为描述向量对所述u个用户行为调试日志分别进行指示信息推理,得到所述u个用户行为调试日志各自对应的第一推理指示信息,通过所述待调试用户画像分析网络对所述u个用户行为调试日志进行画像类型推理,得到所述u个用户行为调试日志各自对应的推理画像类型;通过所述u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定所述待调试用户画像分析网络的行为推理代价;通过所述u个用户行为调试日志各自对应的用户行为描述向量,确定所述待调试用户画像分析网络的描述向量挖掘代价;通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分
析网络的描述向量挖掘代价,对所述待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络。
6.可选地,所述通过所述u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定所述待调试用户画像分析网络的行为推理代价,包括:基于用户行为日志ui对应的第一指示信息标记以及所述第一推理指示信息,确定所述用户行为日志ui对应的指示信息推理代价;所述用户行为日志ui属于所述u个用户行为调试日志,其中,i≤u;通过所述用户行为日志ui对应的画像类型标记以及所述推理画像类型,确定所述用户行为日志ui对应的画像类型推理代价;当所述u个用户行为调试日志各自对应的画像类型推理代价和指示信息推理代价都确定好后,将所述u个用户行为调试日志各自对应的画像类型推理代价和指示信息推理代价确定为所述待调试用户画像分析网络的行为推理代价;其中,所述用户行为描述向量包括第一类型描述向量和第二类型描述向量;所述通过所述u个用户行为调试日志各自对应的用户行为描述向量,确定所述待调试用户画像分析网络的描述向量挖掘代价,包括:获取用户行为调试日志ui的第一类型描述向量与所述用户行为调试日志ui的第二类型描述向量之间的第一共性结果;获取所述用户行为调试日志ui的第一类型描述向量与用户行为调试日志uj的第二类型描述向量之间的第二共性结果,并确定所述用户行为调试日志ui的第二类型描述向量与所述用户行为调试日志uj的第一类型描述向量之间的第三共性结果;所述用户行为调试日志uj为所述u个用户行为调试日志中除所述用户行为调试日志ui以外的任一用户行为调试日志,其中,j≤u且i≠j;通过所述第一共性结果、所述第二共性结果和所述第三共性结果,确定所述待调试用户画像分析网络关于所述用户行为调试日志ui的描述向量挖掘代价;当所述待调试用户画像分析网络对于各个所述u个用户行为调试日志的描述向量挖掘代价都确定好后,将所述待调试用户画像分析网络对于各个所述u个用户行为调试日志的描述向量挖掘代价确定为所述待调试用户画像分析网络的描述向量挖掘代价。
7.可选地,所述通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分析网络的描述向量挖掘代价,对所述待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络,包括:通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分析网络的描述向量挖掘代价,确定所述待调试用户画像分析网络的用户行为分析代价和;当所述待调试用户画像分析网络未符合调试截止要求时,通过所述用户行为分析代价和对所述待调试用户画像分析网络进行第一优化,直到所述待调试用户画像分析网络符合所述调试截止要求,获得优化后的用户画像分析网络;通过所述优化后的用户画像分析网络确定目标用户画像分析网络;其中,所述待调试用户画像分析网络的行为推理代价包括所述u个用户行为调试日志各自对应的指示信息推理代价和画像类型推理代价;所述待调试用户画像分析网络的描述向量挖掘代价包括所述待调试用户画像分析网络对于各个所述u个用户行为调试日志的描述向量挖掘代价;所述通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分析网络的描述向量挖掘代价,确定所述待调试用户画像分析网络的用户行为分析代价和,包括:对用户行为调试日志ui对应的指示信息推理代价、画像类型推理代价以及描述向量挖掘代价进行影响因子分配,得到所述用户行为调试日志ui的用户行为分析代价;所述用户行为日志ui属于所述u个用户行为调试日志,i≤u;当所述u个用户行为调试日志各自对应的用户行为分析代价都确定好后,
对所述u个用户行为调试日志各自对应的用户行为分析代价进行求和操作,得到所述待调试用户画像分析网络的用户行为分析代价和。
8.可选地,所述通过所述优化后的用户画像分析网络确定目标用户画像分析网络,包括:获取第二调试序列,所述第二调试序列包括r个用户行为调试日志,以及所述r个用户行为调试日志各自对应的第二指示信息标记;r≥1;在所述r个用户行为调试日志中获取o个用户行为调试日志并确定为目标参数调节集合,在所述r个用户行为调试日志中获取w个用户行为调试日志并确定为目标泛化测试集合;其中,所述o<r,所述w<r,所述目标参数调节集合与所述目标泛化测试集合不同;通过所述目标参数调节集合对所述优化后的用户画像分析网络进行调试,得到临时用户画像分析网络;通过所述目标泛化测试集合确定所述临时用户画像分析网络的指示信息分析代价;通过所述临时用户画像分析网络的指示信息分析代价对所述临时用户画像分析网络进行第二优化,获得目标用户画像分析网络。
9.可选地,所述在所述r个用户行为调试日志中获取o个用户行为调试日志并确定为目标参数调节集合,在所述r个用户行为调试日志中获取w个用户行为调试日志并确定为目标泛化测试集合,包括:从所述r个用户行为调试日志各自对应的第二指示信息标记中,确定v个第二指示信息标记;v≥1;从所述r个用户行为调试日志中,抽取第二指示信息标记vg对应的d个用户行为调试日志;所述第二指示信息标记vg属于v个第二指示信息标记,且所述g≤v,所述d<r;当在所述r个用户行为调试日志中确定了所述v个第二指示信息标记各自对应的d个用户行为调试日志时,对所述v个第二指示信息标记各自对应的d个用户行为调试日志进行分割,得到所述v个第二指示信息标记各自对应的参数调节集合和泛化测试集合;将所述v个第二指示信息标记各自对应的参数调节集合确定为目标参数调节集合;所述v个第二指示信息标记各自对应的参数调节集合中的用户行为调试日志的数目和为o;将所述v个第二指示信息标记各自对应的泛化测试集合确定为目标泛化测试集合;所述v个第二指示信息标记各自对应的泛化测试集合中的用户行为调试日志的数目和为w。
10.可选地,所述目标泛化测试集合包括v个第二指示信息标记各自对应的泛化测试集合,所述通过所述目标泛化测试集合确定所述临时用户画像分析网络的指示信息分析代价,包括:通过所述临时用户画像分析网络基于第二指示信息标记vg对应的泛化测试集合中的用户行为调试日志zn进行指示信息分析,获得针对所述用户行为调试日志zn的指示信息推理信息;所述第二指示信息标记vg属于v个第二指示信息标记,且所述g≤v;所述指示信息推理信息包括所述用户行为调试日志zn的第二推理指示信息为所述第二指示信息标记vg的第一可信度以及所述用户行为调试日志zn的第二推理指示信息为第二指示信息标记vq的第二可信度;所述第二指示信息标记vq为所述v个第二指示信息标记中除所述第二指示信息标记vg以外的任一指示信息标记,所述q≤v且所述g≠q;通过所述第一可信度和所述第二可信度,确定所述第二指示信息标记vg在所述用户行为调试日志zn上的调试推理代价;通过所述第二指示信息标记vg在所述用户行为调试日志zn上的调试推理代价,确定所述第二指示信息标记vg在对应的泛化测试集合上的调试推理代价和;当获取到所述v个第二指示信息标记在分别对应泛化测试集合上的调试推理代价和时,基于v个调试推理代价和,确定所述临时用户画像分析网络的指示信息分析代价。
11.可选地,所述通过所述临时用户画像分析网络基于第二指示信息标记vg对应的泛化测试集合中的用户行为调试日志zn进行指示信息分析,获得针对所述用户行为调试日志
zn的指示信息推理信息,包括:确定所述第二指示信息标记vg对应的指示信息均值向量;通过所述临时用户画像分析网络挖掘所述用户行为调试日志zn对应的用户行为描述向量;通过所述第二指示信息标记vg对应的指示信息均值向量以及所述用户行为调试日志zn对应的用户行为描述向量,确定用户行为调试日志zn对应的第二推理指示信息为所述第二指示信息标记vg的第一可信度;确定所述第二指示信息标记vq对应的指示信息均值向量;通过所述临时用户画像分析网络通过所述第二指示信息标记vq对应的指示信息均值向量以及所述用户行为调试日志zn对应的用户行为描述向量,确定用户行为调试日志zn对应的第二推理指示信息为所述第二指示信息标记vq的第二可信度。
12.可选地,所述方法还包括:获取h个第二指示信息标记各自对应的对比用户行为日志;所述h个第二指示信息标记包括所述r个用户行为调试日志各自对应的第二指示信息标记;通过所述第二指示信息标记hx对应的对比用户行为日志的用户行为描述向量,从用户行为日志序列中确定与所述第二指示信息标记hx关联的用户行为日志并确定为所述第二指示信息标记hx对应的中间用户行为日志;当所述h个第二指示信息标记各自对应的中间用户行为日志都确定好后,通过所述h个第二指示信息标记各自对应的中间用户行为日志生成所述第二调试序列。
13.第二方面,本技术实施例提供了一种数据分发处理系统,包括负载均衡云平台、多个数据请求端以及多个数据通信服务器,所述负载均衡云平台与所述多个数据请求端以及所述多个数据通信服务器通信连接,所述负载均衡云平台包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序,以实现以上所述的方法。
14.第三方面,本技术实施例提供了一种负载均衡云平台,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序,以实现以上所述的方法。
15.本技术实施例提供的基于负载均衡的数据分发处理方法、系统及云平台,通过获取数据请求端发送的数据访问请求,数据访问请求包括待分配对象对应的指示信息和/或画像类型;然后基于指示信息和/或画像类型,依据预设的匹配关系将数据访问请求分配至与指示信息和/或画像类型关联的目标数据通信服务器,以使数据请求端与目标数据通信服务器建立通信连接,完成数据的访问,基于此,将高并发的数据访问请求依据请求对应的需求类别分配到对应的数据通信服务器进行数据的访问,可以解决数据访问拥堵的问题。此外,其中对于指示信息和/或画像类型,是通过用户画像分析网络对待分配对象对应的用户行为日志进行分析得到的,该用户画像分析网络的调试过程中,通过获取第一调试序列,第一调试序列包括u个用户行为调试日志,以及u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记;通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的第一推理指示信息,通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的推理画像类型;接着基于u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定待调试用户画像分析网络的行为推理代价;然后基于u个用户行为调试日志各自对应的用户行为描述向量,确定待调试用户画像分析网络的描述向量挖掘代价;之后基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价,对待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络,基于上述调试过程,本技术实施例采用多任务调试以通过第一调试序列调试待调试用户画像分析网络,不仅保证了网络的信息挖掘能力,且
增加了网络对新样本的适应性,可以提高用户画像分析网络对用户行为日志的推理能力以及推理结果精确性。
16.在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案,下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
18.图1是本技术实施例提供的一种基于负载均衡的数据分发处理方法的流程图。
19.图2是本技术实施例提供的用户画像分析网络的调试过程示意图图3是本技术实施例提供的数据分发处理装置的功能模块架构示意图。
20.图4是本技术实施例提供的一种负载均衡云平台的组成示意图。
具体实施方式
21.下面结合本技术实施例中的附图对本技术实施例进行描述。本技术实施例的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释,而非旨在限定本技术。
22.本技术实施例中基于负载均衡的数据分发处理方法的执行主体为计算机设备,包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。计算机设备包括负载均衡云平台、数据请求端与数据通信服务器。其中,数据请求端包括但不限于个人电脑、智能手机、pad等;负载均衡云平台及数据通信服务器包括但不限于单个网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,计算机设备可单独运行来实现本技术,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本技术。其中,计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络等。负载均衡云平台、数据请求端以及数据通信服务器组成本技术实施例提供的数据分发处理系统。
23.本技术实施例提供了一种基于负载均衡的数据分发处理方法,该方法应用于负载均衡云平台,如图1所示,该方法包括:步骤101:获取数据请求端发送的数据访问请求,所述数据访问请求包括待分配对象对应的指示信息和/或画像类型。
24.在本技术实施例中,待分配对象即数据请求端对应的用户,数据访问请求根据应用场景可以是不同的形态,例如,作为一种实施方式,具体应用场景是短视频数据访问,数据访问请求是用户在数据请求端(安装短视频应用程序的电子设备)进行短视频浏览时,数据请求端向负载均衡云平台发送的访问请求。待分配对象的指示信息可以是指示待分配对象标记的指示信息(例如可以是对应的用户的画像标签,如“性别”“年龄”“视频类型倾向”等),对象对应的画像类型是用户的用户画像类型,可以视作对指示信息的归纳结果,例如“配音搞笑视频”。
25.步骤102:基于所述指示信息和/或画像类型,依据预设的匹配关系将所述数据访问请求分配至与所述指示信息和/或画像类型匹配的目标数据通信服务器,以使所述数据请求端与所述目标数据通信服务器建立通信连接,完成数据的访问。
26.本技术实施例中,事先建立有匹配关系,该匹配关系是数据访问请求中的指示信息和/或画像类型与数据通信服务器之间的匹配关系,例如不同的数据通信服务器负责不同类型的短视频数据分发,具体的,例如数据通信服务器a对应分发动画配音搞笑短视频数据,数据通信服务器b对应分发原创剧情搞笑视频数据,数据通信服务器c对应分发鬼畜搞笑视频数据,数据通信服务器d对应分发电影合辑搞笑视频数据
……
可以理解,短视频平台的视频数据可以按照不同的粒度进行多层级划分,那么,具体划分的粒度以及对应的指示信息和/或画像类型的粒度可以根据实际需要进行选择,本技术实施例对此不做限定。负载均衡云平台在获取了指示信息和/或画像类型后,根据相应的匹配关系进行目标数据通信服务器的确定并完成数据请求的分配,需要说明的是,在实际应用中,同一个数据通信服务器可以匹配单一的指示信息和/或画像类型,也可以同时对应多个不同的指示信息和/或画像类型,具体视实际情况而定,本技术实施例对匹配关系的具体实现方式不做限定。
27.通过以上步骤101~102,本技术实施例将高并发的数据访问请求依据数据访问请求的需求类别分配到对应的数据通信服务器进行数据的访问,可以解决数据访问拥堵的问题。其中,对于指示信息和/或画像类型的确定是通过用户画像分析网络对待分配对象对应的用户行为日志进行分析得到的,所述用户画像分析网络可以是任意可行的ai网络架构,例如机器学习模型或深度学习网络,如cnn、dnn、rnn、lstm等,请参照图2,是用户画像分析网络的调试过程示意图,具体可以包括如下步骤11~16:步骤s11:获取第一调试序列。
28.其中,所述第一调试序列包括u个用户行为调试日志,以及所述u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记。获取第一调试序列,以通过第一调试序列对待调试用户画像分析网络进行调试。
29.用户行为调试日志是用于参与用户画像分析网络调试的用户行为日志,用户行为日志包含在预设的周期采集到的用户的行为数据,例如短视频点击、点赞、评论、收藏、转发、互动、购物等行为数据。需要说明的是,以上关于用户行为数据是在法律法规允许的范围之内,并且经过用户允许确认,不侵犯用户的个人权益,基于此进行采集的。第一调试序列可以通过在目标调试序列中任意获取到,例如在每轮重复调试待调试用户画像分析网络时从目标调试序列中任意获取的。本技术实施例中,负载均衡云平台在通过第一调试序列对待调试用户画像分析网络进行调试时,通过多任务调试以通过第一调试序列对待调试用户画像分析网络进行调试,例如包括指示信息推理任务、画像类型推理任务和不同类型信息之间的比较调试任务。作为一种实施方式,第一指示信息标记为包含该类指示信息标记的用户行为调试日志的个数超过预设值,其可以为用户行为调试日志的指示信息标记的部分(如子集);第一指示信息标记、画像类型标记表示多个对象对用户行为调试日志进行记录且核对获取到的,第一指示信息标记可以凸显用户行为调试日志的详情信息,画像类型标记表征用户行为调试日志的大致信息,换言之,第一指示信息标记为画像类型标记的下位信息。
30.步骤12:通过待调试用户画像分析网络挖掘所述u个用户行为调试日志各自对应
的用户行为描述向量。
31.负载均衡云平台在通过第一调试序列调试待调试用户画像分析网络时,可以将第一调试序列加载到待调试用户画像分析网络,然后基于待调试用户画像分析网络挖掘u个用户行为调试日志各自对应的用户行为描述向量,用户行为描述向量可以表征对应用户行为日志的行为数据的特征矢量表达。
32.作为一种实施方式,先基于待调试用户画像分析网络获取u个用户行为调试日志各自对应的行为数据,对u个用户行为调试日志各自对应的行为数据进行描述向量挖掘,得到u个用户行为调试日志各自对应的用户行为描述向量。作为一种实施方式,行为数据可以为目标类型数据,用户行为描述向量可以为目标类型描述向量,获取u个用户行为调试日志各自对应的目标类别数据后,对u个用户行为调试日志各自对应的目标类别数据进行描述向量挖掘,得到u个用户行为调试日志各自对应的目标类型描述向量。作为一种实施方式,目标类别数据可以包括多种类别数据,如第一类别数据和第二类别数据,目标类型描述向量可以包含多种类型描述向量(基于多种类别数据各自得到的类型描述向量),例如第一类型描述向量和第二类型描述向量。获取u个用户行为调试日志各自对应的第一类别数据后,对u个用户行为调试日志各自对应的第一类别数据进行描述向量挖掘,得到u个用户行为调试日志各自对应的第一类型描述向量,同时在获取u个用户行为调试日志各自对应的第二类别数据后对u个用户行为调试日志各自对应的第二类别数据进行描述向量挖掘,得到u个用户行为调试日志各自对应的第二类型描述向量。作为一种实施方式,若目标类别数据包括第一类别数据和第二类别数据,用户行为描述向量包括目标类型描述向量、目标类型描述向量包括第一类型描述向量和第二类型描述向量,在得到u个用户行为调试日志各自对应的多个第一类别数据后,对u个用户行为调试日志各自对应的多个第一类别数据进行描述向量挖掘,得到u个用户行为调试日志各自对应的多个第一类别数据中的各个第一类别数据对应的类型描述向量,基于u个用户行为调试日志各自对应的多个第一类别数据中的每个第一类别数据对应的类型描述向量,确定u个用户行为调试日志各自对应的类型描述均值向量,将其确定为u个用户行为调试日志各自对应的第一类型描述向量。得到u个用户行为调试日志各自对应的第二类别数据后,对u个用户行为调试日志各自对应的第二类别数据进行描述向量挖掘,获得u个用户行为调试日志各自对应的第二类型描述向量。作为一种实施方式,描述向量挖掘的过程可以是基于描述向量挖掘模型完成的,通过描述向量挖掘模型对用户行为调试日志对应的行为数据进行描述向量挖掘,获得该用户行为调试日志对应的用户行为描述向量,负载均衡云平台可以先将用户行为调试日志对应的行为数据加载到描述向量挖掘模型,之后依据描述向量挖掘模型得到该用户行为调试日志对应的用户行为描述向量。作为一种实施方式,如果行为数据包括目标类别数据,同时目标类别数据包括多种类别数据,则负载均衡云平台先将用户行为调试日志对应的多种类别数据逐一加载到多种描述向量挖掘模型,并基于多种描述向量挖掘模型分别获取和加载到的类别数据相对应的类型描述向量,获得用户行为调试日志的多种类型描述向量。
33.步骤13:通过所述待调试用户画像分析网络基于所述u个用户行为调试日志各自对应的用户行为描述向量对所述u个用户行为调试日志分别进行指示信息推理,得到所述u个用户行为调试日志各自对应的第一推理指示信息,通过所述待调试用户画像分析网络对所述u个用户行为调试日志进行画像类型推理,得到所述u个用户行为调试日志各自对应的
推理画像类型。
34.作为一种实施方式,若用户行为描述向量包括目标类型描述向量,同时目标类型描述向量包括多种类型描述向量,则通过待调试用户画像分析网络对u个用户行为调试日志各自对应的多种类型描述向量进行向量合并(互相融合,如拼接或相加),得到u个用户行为调试日志各自对应的合并的向量;通过待调试用户画像分析网络以基于u个用户行为调试日志各自对应的合并的向量进行指示信息推理,得到u个用户行为调试日志各自对应的第一推理指示信息;通过待调试用户画像分析网络以基于u个用户行为调试日志各自对应的合并的向量进行画像类型推理,得到u个用户行为调试日志各自对应的推理画像类型。
35.其中,如果用户行为描述向量包括目标类型描述向量,同时目标类型描述向量包括多种类别数据,此外多种类别数据中包含多种类别数据分别为多个,基于与以上过程相同的处理得到u个调试视频各自对应的第一推理指示信息和推理画像类别。举例而言,用户行为描述向量包括目标类型描述向量、目标类型描述向量包括多种类型描述向量、多种类型描述向量包括第一类型描述向量和第二类型描述向量和第三类型描述向量、第一类型描述向量为多个,通过待调试用户画像分析网络以基于u个用户行为调试日志各自对应的多个第一类型描述向量,确定u个用户行为调试日志各自对应的第一类型描述均值向量,通过待调试用户画像分析网络以基于u个用户行为调试日志各自对应的多个第三类型描述向量,确定u个用户行为调试日志各自对应的第二类型描述均值向量;通过待调试用户画像分析网络对u个用户行为调试日志各自对应的第一类型描述均值向量、第二类型描述均值向量和第二类型描述向量进行向量合并,得到u个用户行为调试日志各自对应的合并的向量;通过待调试用户画像分析网络以基于u个用户行为调试日志各自对应的合并的向量进行指示信息推理,得到u个用户行为调试日志各自对应的第一推理指示信息,基于u个用户行为调试日志各自对应的合并的向量进行画像类型推理,得到u个用户行为调试日志各自对应的推理画像类型。作为一种实施方式,向量合并可以采用向量合并模块完成,向量合并模块可以是用户画像分析网络的组成部分。
36.步骤14:通过所述u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定所述待调试用户画像分析网络的行为推理代价。
37.申请实施例中,如果u个用户行为调试日志包括用户行为调试日志ui(i≤u),确定用户行为调试日志ui对应的第一指示信息标记和第一推理指示信息之间的代价,则将其视作用户行为调试日志ui对应的指示信息推理代价,同时确定用户行为调试日志ui对应的画像类型标记和推理画像类型之间的代价,将其确定为用户行为调试日志ui对应的画像类型推理代价,以此将用户行为调试日志ui对应的指示信息推理代价和画像类型推理代价确定为用户行为调试日志ui对应的行为推理代价。用户行为调试日志ui对应的行为推理代价可以视作待调试用户画像分析网络对于用户行为调试日志ui的推理代价,基于此,获得u个用户行为调试日志各自对应的行为推理代价,将u个用户行为调试日志各自对应的行为推理代价确定为待调试用户画像分析网络的行为推理代价。用户行为调试日志对应的指示信息推理代价,如用户行为调试日志ui对应的指示信息推理代价,可以采用二进制交叉熵代价函数确定,作为一种实施方式,当然,实际应用中还可以采用其他梯度函数进行获取,本技术实施例对此不做限定。用户行为调试日志对应的画像类型推理代价,如用户行为调试日
志ui对应的画像类型推理代价可以通过交叉熵代价函数进行获取,同理,实际应用中还可以采用其他梯度函数进行获取,本技术实施例对此不做限定。
38.步骤15:通过所述u个用户行为调试日志各自对应的用户行为描述向量,确定所述待调试用户画像分析网络的描述向量挖掘代价。
39.若u个用户行为调试日志包括用户行为调试日志ui,基于用户行为调试日志ui对应的用户行为描述向量,确定待调试用户画像分析网络关于用户行为调试日志ui的描述向量挖掘代价。比如,如果u个用户行为调试日志还包括用户行为调试日志uj(j≤u且i≠j),基于用户行为调试日志ui对应的用户行为描述向量以及用户行为调试日志uj的用户行为描述向量,确定待调试用户画像分析网络关于用户行为调试日志ui的描述向量挖掘代价。用户行为调试日志uj可以为u个用户行为调试日志中除用户行为调试日志ui外的任意一用户行为调试日志,比如说,用户行为调试日志uj可以是在u个用户行为调试日志涵盖的除用户行为调试日志ui外的用户行为调试日志中任意获取的用户行为调试日志。基于此,得到待调试用户画像分析网络对于各个u个用户行为调试日志的描述向量挖掘代价,然后将待调试用户画像分析网络对于各个u个用户行为调试日志的描述向量挖掘代价确定为待调试用户画像分析网络的描述向量挖掘代价。作为一种实施方式,如果用户行为描述向量包括目标类型描述向量、目标类型描述向量包括第一类型描述向量和第二类型描述向量,负载均衡云平台基于u个用户行为调试日志各自对应的用户行为描述向量,确定待调试用户画像分析网络的描述向量挖掘代价的过程可以是:获取用户行为调试日志ui的第一类型描述向量与用户行为调试日志ui的第二类型描述向量之间的第一共性结果(共性结果表征了向量之间的相似程度,其可以通过获取向量间的距离进行确定,例如欧氏距离、余弦距离等)。第一共性结果为用户行为调试日志ui的第一类型描述向量与用户行为调试日志ui的第二类型描述向量之间的共性结果。基于此,获得用户行为调试日志ui包括的不同种类别数据之间的共性结果。用户行为调试日志ui具有的不同类别数据之间的共性结果,表征了用户行为调试日志ui包括的不同类别数据之间的关联度,或匹配度。接着,获取用户行为调试日志ui的第一类型描述向量与用户行为调试日志uj的第二类型描述向量之间的第二共性结果,并确定用户行为调试日志ui的第二类型描述向量与用户行为调试日志uj的第一类型描述向量之间的第三共性结果。第二共性结果为用户行为调试日志ui的第一类型描述向量与用户行为调试日志uj的第二类型描述向量之间的共性结果,第三共性结果为用户行为调试日志ui的第二类型描述向量与用户行为调试日志uj的第一类型描述向量之间的第三共性结果。基于此,获得用户行为调试日志ui与用户行为调试日志uj之间的不同类别数据之间的共性结果。然后,基于第一共性结果、第二共性结果和第三共性结果,确定待调试用户画像分析网络关于用户行为调试日志ui的描述向量挖掘代价。作为一种实施方式,可以先确定第二共性结果和第三共性结果之间的平均结果,再基于第一共性结果和平均结果,确定待调试用户画像分析网络关于用户行为调试日志ui的描述向量挖掘代价。平均结果是不同用户行为调试日志间的不同类型描述向量间的向量距离,平均结果表征不同用户行为调试日志间的不同类型描述向量间的关联匹配情况。最后,当待调试用户画像分析网络对于各个u个用户行为调试日志的描述向量挖掘代价都确定好后,将待调试用户画像分析网络对于各个u个用户行为调试日志的描述向量挖掘代价确定为待调试用户画像分析网络的描述向量挖掘代价。
40.步骤16:通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分析网络的描述向量挖掘代价,对所述待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络。
41.比如,基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价,对待调试用户画像分析网络进行第一优化,获得优化后的用户画像分析网络,基于优化后的用户画像分析网络确定目标用户画像分析网络,负载均衡云平台可以先基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价确定待调试用户画像分析网络的用户行为分析代价和,再在待调试用户画像分析网络未符合调试截止要求时,通过用户行为分析代价和对待调试用户画像分析网络进行第一优化,直至待调试用户画像分析网络符合调试截止要求时,获得优化后的用户画像分析网络。调试截止要求可以是调试轮次达到预设要求、待调试用户画像分析网络收敛或待调试用户画像分析网络的用户行为分析代价和不再发生变化。第一优化例如是通过用户行为分析代价和调节待调试用户画像分析网络的网络系数,对待调试用户画像分析网络的代价函数进行调节。在获得优化后的用户画像分析网络后,负载均衡云平台基于优化后的用户画像分析网络确定目标用户画像分析网络。
42.作为一种实施方式,如果待调试用户画像分析网络的行为推理代价包括u个用户行为调试日志各自对应的指示信息推理代价和画像类型推理代价,以及待调试用户画像分析网络的描述向量挖掘代价包括待调试用户画像分析网络对于各个u个用户行为调试日志的描述向量挖掘代价,负载均衡云平台基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价,确定待调试用户画像分析网络的用户行为分析代价和的过程例如是:负载均衡云平台对用户行为调试日志ui对应的指示信息推理代价、画像类型推理代价以及描述向量挖掘代价进行影响因子分配,得到用户行为调试日志ui的用户行为分析代价。基于此,得到u个用户行为调试日志各自对应的用户行为分析代价,得到u个用户行为调试日志各自对应的用户行为分析代价后,对u个用户行为调试日志各自对应的用户行为分析代价进行求和操作,得到待调试用户画像分析网络的用户行为分析代价和。
43.作为一种实施方式,负载均衡云平台基于优化后的用户画像分析网络确定目标用户画像分析网络的过程为负载均衡云平台将优化后的用户画像分析网络确定为目标用户画像分析网络。作为一种实施方式,负载均衡云平台通过所述优化后的用户画像分析网络确定目标用户画像分析网络可以是负载均衡云平台通过第二调试序列对优化后的用户画像分析网络进行调试,获得目标用户画像分析网络。第二调试序列可以包括r个用户行为调试日志和r个用户行为调试日志各自对应的第二指示信息标记,第二指示信息标记和第一指示信息标记不同,负载均衡云平台通过所述优化后的用户画像分析网络确定目标用户画像分析网络的方式是负载均衡云平台通过第二调试序列对优化后的用户画像分析网络进行调试,获得目标用户画像分析网络的过程,包括:步骤s100:获取第二调试序列,所述第二调试序列包括r个用户行为调试日志,以及所述r个用户行为调试日志各自对应的第二指示信息标记。
44.作为一种实施方式,第二调试序列可以基于h个第二指示信息标记各自对应的对比用户行为日志进行调试数据挖掘获得,h个第二指示信息标记包括r个用户行为调试日志
各自对应的第二指示信息标记,其中,r≥1。采用调试数据挖掘,如此能在第二指示信息标记对应的用户行为调试日志的不足时,丰富第二指示信息标记对应的用户行为调试日志。作为一种实施方式,负载均衡云平台基于h个第二指示信息标记各自对应的对比用户行为日志进行调试数据挖掘获得第二调试序列的可以包括:负载均衡云平台获取h个第二指示信息标记各自对应的对比用户行为日志。基于第二指示信息标记hx对应的对比用户行为日志的用户行为描述向量,在用户行为日志序列中确定与第二指示信息标记hx关联的用户行为日志,确定为第二指示信息标记hx对应的中间用户行为日志。基于此,在用户行为日志序列中确定h个第二指示信息标记各自对应的用户行为日志,在获得h个第二指示信息标记各自对应的中间用户行为日志后,基于h个第二指示信息标记各自对应的中间用户行为日志,生成第二调试序列。
45.作为一种实施方式,负载均衡云平台通过所述第二指示信息标记hx对应的对比用户行为日志的用户行为描述向量,在用户行为日志序列中确定与所述第二指示信息标记hx关联的用户行为日志可以包括:负载均衡云平台获取所述用户行为日志序列中的各用户行为日志的用户行为描述向量,确定所述第二指示信息标记hx对应的对比用户行为日志的用户行为描述向量分别与所述用户行为日志序列中的各用户行为日志的用户行为描述向量之间的用户行为共性结果,基于确定出的用户行为共性结果,在用户行为日志序列中确定与所述第二指示信息标记hx关联的用户行为日志并确定为所述第二指示信息标记hx关联的中间用户行为日志。
46.作为一种实施方式,h个第二指示信息标记各自对应的对比用户行为日志的用户行为描述向量以及用户行为日志序列中的各用户行为日志的用户行为描述向量可以在通过描述向量挖掘模型进行描述向量挖掘后获取。挖掘h个第二指示信息标记各自对应的对比用户行为日志的用户行为描述向量以及用户行为日志序列中的各用户行为日志的用户行为描述向量的描述向量挖掘模型,可以是在待调试用户画像分析网络未被第一调试序列调试时,未被调试的待调试用户画像分析网络所包括的描述向量挖掘模型。
47.作为一种实施方式,所述的h个第二指示信息标记各自对应的对比用户行为日志的用户行为描述向量以及用户行为日志序列中的各用户行为日志的用户行为描述向量,可以是在对待调试用户画像分析网络进行调试前,通过调试前的待调试用户画像分析网络包括的描述向量挖掘模型进行描述向量挖掘后获取的,作为一种实施方式,如果用户行为描述向量包括第一类型描述向量和第二类型描述向量,负载均衡云平台确定所述第二指示信息标记hx对应的对比用户行为日志的用户行为描述向量分别与所述用户行为日志序列中的各用户行为日志的用户行为描述向量之间的用户行为共性结果,基于确定出的用户行为共性结果,从所述用户行为日志序列中确定与所述第二指示信息标记hx关联的用户行为日志并确定为所述第二指示信息标记hx关联的中间用户行为日志,可以包括:i:确定所述第二指示信息标记hx对应的对比用户行为日志的第一类型描述向量分别与所述用户行为日志序列中的各用户行为日志的第一类型描述向量之间的距离并确定为第一用户行为共性结果。
48.换言之,确定第二指示信息标记hx对应的对比用户行为日志的第一类型描述向量分别与用户行为日志序列中的各用户行为日志的第一类型描述向量之间的第一用户行为共性结果。第二指示信息标记hx对应的对比用户行为日志的第一类型描述向量分别与用户
行为日志序列中的各用户行为日志的第一类型描述向量之间的第一用户行为共性结果即第二指示信息标记hx对应的对比用户行为日志的第一类型描述向量分别与用户行为日志序列中的各用户行为日志的第一类型描述向量之间的共性结果,可以理解,可以通过向量间的距离来确定。
49.作为一种实施方式,对第二指示信息标记hx对应的对比用户行为日志的第一类型描述向量进行标准化操作(约束在固定的数值区间),得到第二指示信息标记hx对应的对比用户行为日志所对应的第一标准化向量(第二指示信息标记hx对应的对比用户行为日志对应的标准化向量),分别对用户行为日志序列中的各用户行为日志的第一类型描述向量进行标准化操作,得到用户行为日志序列中的各用户行为日志所对应的第二标准化向量(用户行为日志对应的标准化向量),以此获得第二指示信息标记hx对应的对比用户行为日志的第一标准化向量分别与用户行为日志序列中的各用户行为日志的第二标准化向量之间的共性结果。通过对对比用户行为日志对应的各个类型描述向量以及对用户行为日志序列中的各用户行为日志对应的各个类型描述向量进行标准化操作,使得用户行为共性结果更加标准。
50.ii:确定第二指示信息标记hx对应的对比用户行为日志的第二类型描述向量分别与所述用户行为日志序列中的各用户行为日志的第二类型描述向量之间的距离并确定为第二用户行为共性结果。
51.换言之,确定第二指示信息标记hx对应的对比用户行为日志的第二类型描述向量分别与用户行为日志序列中的各用户行为日志的第二类型描述向量之间的第二用户行为共性结果。第二指示信息标记hx对应的对比用户行为日志的第二类型描述向量分别与用户行为日志序列中的各用户行为日志的第二类型描述向量之间的第二用户行为共性结果即第二指示信息标记hx对应的对比用户行为日志的第二类型描述向量分别与用户行为日志序列中的各用户行为日志的第二类型描述向量之间的共性结果。
52.iii:从所述用户行为日志序列中确定第一用户行为共性结果小于第一预设共性结果的用户行为日志并确定为第一用户行为日志分序列,在所述用户行为日志序列中确定第二用户行为共性结果小于第二预设共性结果的用户行为日志并确定为第二用户行为日志分序列。
53.作为一种实施方式,依据第一用户行为共性结果对用户行为日志序列中的各用户行为日志进行排列,获得第一排列结果,基于第一排列结果在用户行为日志序列中确定第一用户行为日志分序列。依据第二用户行为共性结果对用户行为日志序列中的各用户行为日志进行排列,获得第二排列结果,基于第二排列结果在用户行为日志序列中确定第二用户行为日志分序列。
54.iv:从所述第一用户行为日志分序列和所述第二用户行为日志分序列中,确定出所述关联的用户行为日志。
55.将第一用户行为日志分序列和第二用户行为日志分序列确定为所述第二指示信息标记hx关联的用户行为日志。作为一种实施方式,为了增加关联的(匹配的)用户行为日志的精准性,将第二指示信息标记hx、第一用户行为日志分序列和第二用户行为日志分序列通过人工分析,以明晰第一用户行为日志分序列中各个用户行为日志是否和第二指示信息标记hx关联,分析第二用户行为日志分序列中各个用户行为日志是否和第二指示信息标
记hx关联,以在第一用户行为日志分序列和第二用户行为日志分序列中确定第二指示信息标记hx关联的用户行为日志。
56.步骤s200:在所述r个用户行为调试日志中获取o个用户行为调试日志并确定为目标参数调节集合,在所述r个用户行为调试日志中获取w个用户行为调试日志并确定为目标泛化测试集合。
57.参数调节集合用于进行网络系数微调,泛化测试集合用于提升网络初始化系数的泛化性以及进行最终网络的性能测试。作为一种实施方式,o可以是v个第二指示信息标记各自对应的参数调节集合中的用户行为调试日志的数目和。o<r且v≥1。所述o个用户行为调试日志可以包括v个第二指示信息标记各自对应的参数调节集合中的各用户行为调试日志,目标参数调节集合可以是v个第二指示信息标记各自对应的参数调节集合。作为一种实施方式,w为v个第二指示信息标记各自对应的泛化测试集合中的用户行为调试日志的数目和,其中,w<r。w个用户行为调试日志可以包括v个第二指示信息标记各自对应的泛化测试集合中的各用户行为调试日志,目标泛化测试集合可以为v个第二指示信息标记各自对应的泛化测试集合。目标参数调节集合与目标泛化测试集合不同,目标参数调节集合和目标泛化测试集合不同即v个第二指示信息标记中的目标第二指示信息标记对应的参数调节集合与目标第二指示信息标记对应的泛化测试集合不同,目标第二指示信息标记为v个第二指示信息标记中的任一第二指示信息标记。作为一种实施方式,负载均衡云平台获取目标参数调节集合和目标泛化测试集合可以包括:i:从r个用户行为调试日志各自对应的第二指示信息标记中,确定v个第二指示信息标记。
58.ii:从r个用户行为调试日志中,抽取第二指示信息标记vg对应的d个用户行为调试日志;其中,第二指示信息标记vg属于v个第二指示信息标记;所述g≤v,所述d<r。
59.iii:当在所述r个用户行为调试日志中确定了所述v个第二指示信息标记各自对应的d个用户行为调试日志,对所述v个第二指示信息标记各自对应的d个用户行为调试日志进行分割,得到所述v个第二指示信息标记各自对应的参数调节集合和泛化测试集合,将所述v个第二指示信息标记各自对应的参数调节集合确定为目标参数调节集合,并将所述v个第二指示信息标记各自对应的泛化测试集合确定为目标泛化测试集合。
60.作为一种实施方式,负载均衡云平台在得到第二指示信息标记vg对应的d个用户行为调试日志时,将第二指示信息标记vg对应的d个用户行为调试日志分割成两部分,一部分用户行为调试日志生成第二指示信息标记vg对应的参数调节集合,一部分用户行为调试日志生成第二指示信息标记vg对应的泛化测试集合。基于此,获得v个第二指示信息标记各自对应的参数调节集合和泛化测试集合,将v个第二指示信息标记各自对应的参数调节集合确定为目标参数调节集合,同时将v个第二指示信息标记各自对应的泛化测试集合确定为目标泛化测试集合。
61.步骤s300:通过所述目标参数调节集合对所述优化后的用户画像分析网络进行调试,得到临时用户画像分析网络。
62.步骤s400:通过所述目标泛化测试集合确定所述临时用户画像分析网络的指示信息分析代价。
63.例如,在目标泛化测试集合包括v个第二指示信息标记各自对应的泛化测试集合,
负载均衡云平台通过所述目标泛化测试集合确定所述临时用户画像分析网络的指示信息分析代价可以包括:i:通过所述临时用户画像分析网络基于第二指示信息标记vg对应的泛化测试集合中的用户行为调试日志zn进行指示信息分析,获得针对所述用户行为调试日志zn的指示信息推理信息。
64.将第二指示信息标记vg对应的泛化测试集合中的用户行为调试日志zn加载到临时用户画像分析网络,通过临时用户画像分析网络处理获得针对用户行为调试日志zn的指示信息推理信息,第二指示信息标记vg属于v个第二指示信息标记,g≤v。指示信息推理信息包括用户行为调试日志zn的第二推理指示信息为第二指示信息标记vg的第一可信度以及用户行为调试日志zn的第二推理指示信息为第二指示信息标记vq的第二可信度;第二指示信息标记vq为v个第二指示信息标记中除第二指示信息标记vg以外的任一指示信息标记,所述q≤v且所述g≠q。
65.作为一种实施方式,负载均衡云平台通过临时用户画像分析网络处理获得针对用户行为调试日志zn的指示信息推理信息的过程包括:负载均衡云平台确定第二指示信息标记vg对应的指示信息均值向量;通过临时用户画像分析网络挖掘用户行为调试日志zn对应的用户行为描述向量;基于第二指示信息标记vg对应的指示信息均值向量以及用户行为调试日志zn对应的用户行为描述向量,计算用户行为调试日志zn对应的第二推理指示信息为第二指示信息标记vg的第一可信度;确定第二指示信息标记vq对应的指示信息均值向量;通过临时用户画像分析网络基于第二指示信息标记vq对应的指示信息均值向量以及用户行为调试日志zn对应的用户行为描述向量,计算用户行为调试日志zn对应的第二推理指示信息为第二指示信息标记vq的第二可信度。
66.作为一种实施方式,负载均衡云平台确定第二指示信息标记vg对应的指示信息均值向量的方式可以为:负载均衡云平台获取第二指示信息标记vg对应的参数调节集合中各用户行为调试日志的用户行为描述向量,并基于第二指示信息标记vg对应的参数调节集合中各用户行为调试日志的用户行为描述向量,确定第二指示信息标记vg对应的指示信息均值向量。
67.作为一种实施方式,当第二指示信息标记vg对应的参数调节集合中包括r个用户行为调试日志时,第二指示信息标记vg对应的泛化测试集合包括d-r个用户行为调试日志。在用户行为描述向量包括目标类型描述向量、目标类型描述向量包括第一类型描述向量和第二类型描述向量时,通过临时用户画像分析网络以基于第二指示信息标记vg的r个用户行为调试日志各自对应的第一类型描述向量;通过临时用户画像分析网络对第二指示信息标记vg的r个用户行为调试日志各自对应的第一类型描述向量和第二类型描述向量进行向量合并,得到第二指示信息标记vg的r个用户行为调试日志各自对应的合并的向量;通过临时用户画像分析网络以基于第二指示信息标记vg的r个用户行为调试日志各自对应的合并的向量,确定第二指示信息标记vg对应的指示信息均值向量。
68.作为一种实施方式,依据临时用户画像分析网络包括的描述向量挖掘模型挖掘用户行为调试日志对应的用户行为描述向量,例如通过临时用户画像分析网络包括的描述向量挖掘模型挖掘用户行为调试日志zn对应的用户行为描述向量。
69.基于此,分别确定第二指示信息标记vg对应的指示信息均值向量和第二指示信息
标记vq对应的指示信息均值向量。之后,基于第二指示信息标记vg对应的指示信息均值向量以及用户行为调试日志zn对应的用户行为描述向量,确定用户行为调试日志zn对应的第二推理指示信息为第二指示信息标记vg的第一可信度。同时通过临时用户画像分析网络基于第二指示信息标记vq对应的指示信息均值向量以及用户行为调试日志zn对应的用户行为描述向量,确定用户行为调试日志zn对应的第二推理指示信息为第二指示信息标记vq的第二可信度。
70.基于此,获得用户行为调试日志zn对应的第二推理指示信息分别为v个第二指示信息标记的可信度,负载均衡云平台确定用户行为调试日志对应的第二推理指示信息分别为多个第二指示信息标记的可信度的方式不做限定,例如基于归一化指数函数进行计算,如sigmoid、norm。
71.ii:通过所述第一可信度和所述第二可信度,确定所述第二指示信息标记vg在所述用户行为调试日志zn上的调试推理代价。
72.第二指示信息标记vg在所述用户行为调试日志zn上的调试推理代价,采用的代价函数不做限定。
73.iii:通过所述第二指示信息标记vg在所述用户行为调试日志zn上的调试推理代价,确定所述第二指示信息标记vg在对应的泛化测试集合上的调试推理代价和,当获取到所述v个第二指示信息标记在分别对应泛化测试集合上的调试推理代价和,则基于v个调试推理代价和,确定所述临时用户画像分析网络的指示信息分析代价。
74.得到第二指示信息标记vg在对应泛化测试集合中各用户行为调试日志上的调试推理代价后,对第二指示信息标记vg在对应泛化测试集合中各用户行为调试日志上的调试推理代价进行求和操作,获得第二指示信息标记vg在对应的泛化测试集合上的调试推理代价和。基于此,分别获得v个第二指示信息标记在对应泛化测试集合上的调试推理代价和,确定为v个调试推理代价和。将v个调试推理代价和进行求和操作,得到临时用户画像分析网络的指示信息分析代价。
75.步骤s500:通过所述临时用户画像分析网络的指示信息分析代价对所述临时用户画像分析网络进行第二优化,获得目标用户画像分析网络。
76.在临时用户画像分析网络未符合调试截止要求时,通过临时用户画像分析网络的指示信息分析代价对临时用户画像分析网络进行第二优化,获得目标用户画像分析网络。调试截止要求可以是调试的轮次达到预设次数、待调试用户画像分析网络收敛或者待调试用户画像分析网络的指示信息分析代价不再减小。第二优化可以通过临时用户画像分析网络的指示信息分析代价调节临时用户画像分析网络的网络系数,对临时用户画像分析网络的代价函数进行调节。
77.以上步骤s100~s500,在重复调试过程中时仅基于部分第二指示信息标记当成调试的对象,通过不同第二指示信息标记之间的不同,提升调试丰富程度以防止网络过拟合发生。如此,通过获取第一调试序列,第一调试序列包括u个用户行为调试日志,以及u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记;通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的第一推理指示信息,通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的推理画像类型;然后基于u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画
像类型,确定待调试用户画像分析网络的行为推理代价;同时,基于u个用户行为调试日志各自对应的用户行为描述向量,确定待调试用户画像分析网络的描述向量挖掘代价;然后基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价,对待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络,基于多任务调试通过第一调试序列调试待调试用户画像分析网络,不仅保证了网络的信息挖掘能力,且增加了网络对新样本的适应性,可以令用户画像分析网络针对用户行为日志的推理能力以及推理结果精确性。
78.基于与图1和图2中所示方法相同的原理,本技术实施例中还提供了一种数据分发处理装置10,如图3所示,该装置10可以包括数据分发模块11和网络调试模块12,具体的,数据分发模块11包括:请求获取模块111,用于获取所述数据请求端发送的数据访问请求,所述数据访问请求包括待分配对象对应的指示信息和/或画像类型。
79.请求分发模块112,用于基于所述指示信息和/或画像类型,依据预设的匹配关系将所述数据访问请求分配至与所述指示信息和/或画像类型匹配的目标数据通信服务器,以使所述数据请求端与所述目标数据通信服务器建立通信连接,完成数据的访问。
80.网络调试模块12包括:序列获取模块121,用于获取第一调试序列,所述第一调试序列包括u个用户行为调试日志,以及所述u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记;所述u≥1。
81.向量挖掘模块122,用于通过待调试用户画像分析网络挖掘所述u个用户行为调试日志各自对应的用户行为描述向量。
82.信息推理模块123,用于通过所述待调试用户画像分析网络基于所述u个用户行为调试日志各自对应的用户行为描述向量对所述u个用户行为调试日志分别进行指示信息推理,得到所述u个用户行为调试日志各自对应的第一推理指示信息,通过所述待调试用户画像分析网络对所述u个用户行为调试日志进行画像类型推理,得到所述u个用户行为调试日志各自对应的推理画像类型。
83.代价确定模块124,用于通过所述u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定所述待调试用户画像分析网络的行为推理代价,以及通过所述u个用户行为调试日志各自对应的用户行为描述向量,确定所述待调试用户画像分析网络的描述向量挖掘代价。
84.网络优化模块125,用于通过所述待调试用户画像分析网络的行为推理代价和所述待调试用户画像分析网络的描述向量挖掘代价,对所述待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络。
85.上述实施例从虚拟模块的角度介绍了数据分发处理装置10,下述从实体模块的角度介绍一种负载均衡云平台,具体如下所示:本技术实施例提供了一种负载均衡云平台,如图4所示,负载均衡云平台100包括:处理器101和存储器103。其中,处理器101和存储器103相连,如通过总线102相连。可选地,负载均衡云平台100还可以包括收发器104。需要说明的是,实际应用中收发器104不限于一个,该负载均衡云平台100的结构并不构成对本技术实施例的限定。
86.处理器101可以是cpu,通用处理器,gpu,dsp,asic,fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器101也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。
87.总线102可包括一通路,在上述组件之间传送信息。总线102可以是pci总线或eisa总线等。总线102可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
88.存储器103可以是rom或可存储静态信息和指令的其他类型的静态存储设备,ram或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
89.存储器103用于存储执行本技术方案的应用程序代码,并由处理器101来控制执行。处理器101用于执行存储器103中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
90.本技术实施例提供了一种负载均衡云平台,本技术实施例中的负载均衡云平台包括:一个或多个处理器;存储器;一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序被处理器执行时,实现以上所述的基于负载均衡的数据分发处理方法。本技术所提供的技术方案,通过获取数据请求端发送的数据访问请求,数据访问请求包括待分配对象对应的指示信息和/或画像类型;然后基于指示信息和/或画像类型,依据预设的匹配关系将数据访问请求分配至与指示信息和/或画像类型关联的目标数据通信服务器,以使数据请求端与目标数据通信服务器建立通信连接,完成数据的访问,基于此,将高并发的数据访问请求依据请求对应的需求类别分配到对应的数据通信服务器进行数据的访问,可以解决数据访问拥堵的问题。此外,其中对于指示信息和/或画像类型,是通过用户画像分析网络对待分配对象对应的用户行为日志进行分析得到的,该用户画像分析网络的调试过程中,通过获取第一调试序列,第一调试序列包括u个用户行为调试日志,以及u个用户行为调试日志各自对应的第一指示信息标记以及画像类型标记;通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的第一推理指示信息,通过待调试用户画像分析网络推理得到u个用户行为调试日志各自对应的推理画像类型;接着基于u个用户行为调试日志各自对应的第一指示信息标记、画像类型标记、第一推理指示信息以及推理画像类型,确定待调试用户画像分析网络的行为推理代价;然后基于u个用户行为调试日志各自对应的用户行为描述向量,确定待调试用户画像分析网络的描述向量挖掘代价;之后基于待调试用户画像分析网络的行为推理代价和待调试用户画像分析网络的描述向量挖掘代价,对待调试用户画像分析网络进行第一优化,获得目标用户画像分析网络,基于上述调试过程,本技术实施例采用多任务调试以通过第一调试序列调试待调试用户画像分析网络,不仅保证了网络的信息挖掘能力,且增加了网络对新样本的适应性,可以提高用户画像分析网络对用户行为日志的推理能力以及推理结果精确性。
91.本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有
计算机程序,当计算机程序在处理器上运行时,使得处理器可以执行前述方法实施例中相应的内容。
92.应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
93.以上所述仅是本技术的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1