平滑模型训练方法、装置及电子设备与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种平滑模型训练方法、装置及电子设备。


背景技术：

2.随着图像处理技术的快速发展，根据动作关键点数据进行数据分析、3d建模或互动交互逻辑处理等技术被应用在各种领域中。在一些方案中，动作关键点数据是基于神经网络的图像识别模型对图像或视频进行识别分析获得的。在此类方案中，图像识别模型在执行图像识别时可能出现识别偏差或识别错误等问题，造成获得的动作关键点数据存在数据噪点或数据抖动，进而影响后续处理动作。因此，通常需要使用平滑模型对图像识别模型获得的动作关键点数据进行平滑处理。
3.在一些平滑处理方案中，采用统一的平滑系数对动作关键点数据进行平滑处理，但统一的平滑系数通常难以兼顾不同动作频率的关键点数据，过大的平滑参数会导致高频率动作因平滑处理丢失动作细节，过小的平滑参数会导致低频率动作平滑度不够。在另一些平滑处理方案中，可以根据一段时间内的动作关键点数据动态地调整平滑权重，但是其计算量较大，响应速度不佳。


技术实现要素：

4.为了克服现有技术中的上述不足，本技术的目的之一在于提供一种平滑模型训练方法，所述方法包括：
5.获取多个训练样本，其中，每个所述训练样本包括由多个关键点数据帧组成的样本动作数据序列；
6.根据每个训练样本的样本动作数据序列，确定该训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数；
7.使用所述平滑训练参数及所述样本动作数据序列对预设的平滑模型进行模型训练；所述平滑模型用于对动作数据序列进行平滑处理。
8.在一些可能的实现方式中，所述平滑模型包括编码器、解码器和动作分类子模型；所述根据每个训练样本的样本动作数据序列，确定该训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数的步骤，包括：
9.针对每个所述训练样本，通过所述编码器对所述训练样本的样本动作数据序列进行处理，获得所述训练样本对应的动作特征；
10.将所述动作特征输入所述动作分类子模型，获得所述训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数。
11.在一些可能的实现方式中，所述使用所述平滑训练参数及所述样本动作数据序列对预设的平滑模型进行模型训练的步骤，包括：
12.将各所述训练样本的动作特征分别输入所述平滑模型的解码器，获得各所述训练
样本对应的预测动作数据序列；
13.根据各所述训练样本的样本动作数据序列、预测动作数据序列及平滑训练参数确定第一损失函数值，并根据所述第一损失函数值对所述平滑模型的所述编码器和所述解码器的模型参数进行调整。
14.在一些可能的实现方式中，所述第一损失函数值为：
[0015][0016]
其中，t为所述训练样本的关键点数据帧的数量，为所述样本动作数据序列中的第t个关键点数据帧，为所述预测动作数据序列中的第t个关键点数据帧；
[0017]
b为所述训练样本的数量，α
b
为第b个所述训练样本对应的平滑训练参数。
[0018]
在一些可能的实现方式中，所述根据所述预测动作类型确定所述训练样本对应的平滑训练参数的步骤，包括：
[0019]
根据预设的平滑训练参数对应关系表，查询与所述预测动作类型对应的平滑训练参数；
[0020]
其中，所述预测动作类型对应的动作频率越高，平滑训练参数越大。
[0021]
在一些可能的实现方式中，所述训练样本还包括动作类型标签；所述方法还包括：
[0022]
针对每个所述训练样本，根据所述训练样本的动作类型标签及预测动作类型确定第二损失函数值；
[0023]
根据所述第二损失函数值对所述动作分类子模型的模型参数进行调整。
[0024]
在一些可能的实现方式中，所述第二损失函数值为：
[0025][0026]
其中，n为所述预测动作类型的数量，p
i
为所述训练样本与第i个所述预测动作类型对应的预测概率值，y
i
为所述动作类型标签对应的独热码向量。
[0027]
在一些可能的实现方式中，所述方法还包括：
[0028]
获取由多个关键点数据帧组成的待处理动作数据序列；
[0029]
将所述待处理动作数据序列输入调整后的所述平滑模型；
[0030]
通过所述平滑模型的编码器和解码器对所述待处理动作数据序列进行处理，获得平滑处理后的动作数据序列。
[0031]
在一些可能的实现方式中，所述训练后得到的平滑模型被配置与直播平台的服务器中，所述服务器还包括图像识别模型、以及虚拟形象生成模型，所述方法还包括：
[0032]
获取直播视频数据，并通过所述图像识别模型从所述直播视频数据中识别主播的动作关键点数据；
[0033]
通过所述训练后的平滑模型对所述动作关键点数据进行平滑处理；
[0034]
通过所述虚拟形象生成模型根据平滑处理后的动作关键点数据生成与所述主播的主播动作对应的虚拟形象；
[0035]
根据所述虚拟形象生成推流数据并推送给观众终端。
[0036]
本技术的另一目的在于提供一种平滑模型训练装置，所述平滑模型训练装置包括：
[0037]
数据获取模块，用于获取多个训练样本，其中，每个所述训练样本包括由多个关键点数据帧组成的样本动作数据序列；
[0038]
动作预测模块，用于根据每个训练样本的样本动作数据序列，确定该训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数；
[0039]
模型训练模块，用于使用所述平滑训练参数及所述样本动作数据序列对预设的平滑模型进行模型训练；所述平滑模型用于对动作数据序列进行平滑处理。
[0040]
本技术的另一目的在于提供一种电子设备，包括机器可读存储介质以及一个或多个处理器，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述一个或多个处理器执行时，实现本技术提供的所述平滑模型训练方法。
[0041]
相对于现有技术而言，本技术具有以下有益效果：
[0042]
本技术提供的平滑模型训练方法、装置及电子设备，通过在训练平滑模型的过程中，预测训练样本的动作类型并确定出于动作类型对应的平滑训练参数，然后结合平滑训练参数和训练样本中的样本动作数据序列对平滑模型进行训练。如此，训练出的平滑模型能够针对不同动作类型的待处理动作数据序列自动地执行不同程度的平滑处理，从而兼顾了平滑效果和处理时效。
附图说明
[0043]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0044]
图1a为本技术实施例提供的平滑模型的使用场景示意图之一；
[0045]
图1b为本技术实施例提供的平滑模型的使用场景示意图之二；
[0046]
图2为本技术实施例提供的平滑模型训练方法的示意图之一；
[0047]
图3为本技术实施例提供的平滑模型的结构示意图；
[0048]
图4为本技术实施例提供的步骤s120的子步骤流程示意图；
[0049]
图5为本技术实施例提供的步骤s130的子步骤流程示意图；
[0050]
图6为本技术实施例提供的平滑模型训练方法的示意图之二；
[0051]
图7为本技术实施例提供的服务器的方框示意图；
[0052]
图8为本技术实施例提供的平滑模型训练装置的功能模块示意图。
具体实施方式
[0053]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0054]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0055]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0056]
在本技术的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0057]
在本技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
[0058]
经发明人研究发现，在一些现有的平滑处理方案中，可采用统一的平滑参数对图像识别模型输出的动作关键点数据进行平滑处理。例如，采用滑窗平滑的方案，对于时刻t，图像识别模型输出的结果为pt，而t
‑
1时刻(历史时刻)平滑模型的最终输出结果为ft
‑
1，那么当前时刻，平滑模型的最终输出结果ft为：
[0059]
f
t
＝μpt+(1
‑
μ)f
t
‑1[0060]
其中，μ为平滑参数，μ值越大则最终结果越接近图像识别模型的直接输出结果，体现为最终结果响应比较快，然而会存在一定抖动；μ值越小表示结果越接近平滑模型的历史输出结果，体现为结果响应比较慢，但是非常稳定。
[0061]
由于平滑参数μ为固定值，难以确定出合适的平滑参数能针对不同动作频率的动作关键点数据都有较好的适配性。过大的平滑参数会导致高频率动作因平滑处理丢失动作细节，例如，针对高频的挥手动作，过大的平滑参数会导致平滑处理后的手部关键点数据仅剩在整个挥手幅度范围的中间位置的轻微晃动；而过小的平滑参数会导致无法消除低频动作中的明显的数据噪点或数据抖动，进而导致平滑效果不佳。
[0062]
在另一些常见的平滑处理方案中，可以根据一段时间内的动作关键点数据动态地调整平滑权重。例如，采用多项式平滑算法(savitzky
‑
golay，sg算法)，先确定一个窗口大小，并根据窗口内的序列值利用多项式函数拟合，然后利用矩阵求解多项式的各项参数后，最终得到多项式方程用于进行数据处理进而得到平滑后的结果。这种方案的本质是在窗口内各个点进行线性组合，利用不同的权值加权得到最后的平滑结果。但在这种平滑方案中，无论何种动作，其输出的每一帧动作关键点数据都需要经过大量的数据处理过程，无法针对性的根据不同动作动态调整权重以获得平滑后的结果，导致整体时效性不佳，特别在针对对处理时效有较高要求的高频动作平滑处理时，处理结果滞后性较为明显。
[0063]
有鉴于此，本实施例提供一种能够将平滑模型训练为可以识别动作类型从而自动调整平滑度的平滑模型训练方法、装置及电子设备，下面对本实施例提供的方案进行详细解释。
[0064]
在一些可能的实现方式中，本实施例提供的平滑模型训练方法可以用于对预设的平滑模型100进行训练，请参照图1a，该平滑模型100可以用于对图像识别模型200对图像数
据(如直播视频数据)进行图像识别获得的动作关键点数据进行平滑处理。例如，由图像识别模型200对图像或视频数据进行关键点识别获得动作关键点数据，然后由平滑模型100对动作关键点数据进行平滑处理，以去除动作关键点数据中的数据噪声或数据抖动，获得平滑处理后的动作关键点数据。平滑处理后的动作关键点数据可以被用于执行数据分析、3d建模或互动交互等后续数据处理动作。
[0065]
以一些直播场景为例，该平滑模型100可以被应用于虚拟形象同步方案中。请参照图1b，在这种场景中，图像识别模型200、平滑模型100和虚拟形象生成模型300可以被配置于直播平台的服务器10中。服务器10可以从主播终端20获取直播视频数据，然后通过图像识别模型200从直播视频数据中识别主播的动作关键点数据，再由平滑模型100对动作关键点数据进行平滑处理，然后由虚拟形象生成模型300根据平滑处理后的动作关键点数据生成与主播动作对应的虚拟形象，然后根据该虚拟形象得到直播推流数据并推送给观众终端30。
[0066]
其中，在一个例子中，图像识别模型200可以从直播视频图像中识别获得2d的动作关键点数据，虚拟形象生成模型300可以根据平滑后的2d的动作关键点数据进行3d动作建模，然后根据获得的3d动作数据控制3d的虚拟形象执行相应的动作；在另一个例子中，图像识别模型200也可以直接从直播视频数据中识别获得3d的动作关键点数据，然后平滑模型100对3d的动作关键点数据进行平滑处理。
[0067]
可以理解的是，在使用虚拟形象的直播场景中，对虚拟形象动作跟随的时效性有较高要求，因此需要平滑模型100兼顾平滑效果和平滑处理的时效性。
[0068]
基于上述场景，请参照图2，本实施例提供一种对平滑模型进行训练的平滑模型训练方法，下面对该方法的各个步骤进行详细阐述。
[0069]
步骤s110，获取多个训练样本，其中，每个所述训练样本包括由多个关键点数据帧组成的样本动作数据序列。
[0070]
在本实施例中，所述样本动作数据序列可以由多个关键点数据帧组成，每个关键点数据帧可以包括多个肢体关键点的位置数据。其中，肢体关键点的位置数据可以为在2d图像中的位置数据，也可以为在3d空间中的位置数据。
[0071]
可选地，在本实施例中，样本动作数据序列可以由图像识别模型对视频图像进行图像识别而获得，样本动作数据序列可以为经过筛选的平滑度符合要求的动作数据序列。
[0072]
步骤s120，根据每个训练样本的样本动作数据序列，确定该训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数。
[0073]
步骤s130，使用所述平滑训练参数及所述样本动作数据序列对预设的平滑模型进行模型训练。
[0074]
在本实施例中，平滑模型可以根据输入的样本动作数据序列进行动作类型识别，从而获得训练样本对应的预测动作类型，并确定出于预测动作类型对应的平滑训练参数。然后结合平滑训练参数和样本动作数据序列确定平滑模型的损失函数值，并根据损失函数值调整平滑模型的模型参数。
[0075]
如此，训练出的平滑模型能够针对不同动作类型的待处理动作数据序列自动地执行不同程度的平滑处理，从而在保证平滑处理效果的同时，还能够进一步兼顾处理时效。
[0076]
在一些可能的实现方式中，请参照图3，平滑处理模型可以包括编码器、解码器和
动作分类子模型。在本实施例中，动作分类子模型可以视为在常规的编码器
‑
解码器模型中加入的分支子模型。动作分类子模型的输入为编码器的输出。动作分类子模型可以根据编码器提取的抽象特征数据对训练样本进行分类，获得训练样本的预测动作类型。解码器的输入为编码器的输出。因此在本实施例中，可以根据输入编码器的样本动作数据序列、解码器输出的预测动作数据序列、以及动作分类子模型确定出的平滑训练参数确定损失函数值，并根据损失函数值对平滑模型进行调整，直到训练得到的平滑模型满足收敛条件。例如，所述收敛条件可以是所述损失函数值不再发生变化或者训练次数达到了预设训练次数，本实施例具体不进行限制。
[0077]
可选地，请参照图4，步骤s120可以包括以下子步骤。
[0078]
子步骤s121，针对每个所述训练样本，通过所述编码器对所述训练样本的样本动作数据序列进行处理，获得所述训练样本对应的动作特征。
[0079]
在本实施例中，编码器可以包括第一数量个依次连接的全连接网络，编码器可以对样本动作数据序列进行编码处理，从而获得训练样本的动作特征。
[0080]
步骤s122，将所述动作特征输入所述动作分类子模型，获得所述训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数。
[0081]
在本实施例中，动作分类子模型可以包括卷积层及分类网络，动作分类子模型被训练为根据编码器输出的动作特征进行分类，获得训练样本对应的平滑训练参数。
[0082]
可选地，请参照图5，步骤s130，可以包括以下子步骤。
[0083]
步骤s131，将各所述训练样本的动作特征分别输入所述平滑模型的解码器，获得各所述训练样本对应的预测动作数据序列。
[0084]
在本实施例中，解码器可以包括第二数量个依次连接的全连接网络，解码器可以对编码器输出的动作特征进行解码处理，从而获得训练样本对应的预测动作数据序列，该预测动作数据序列为经过平滑处理后的动作数据序列。其中，所述第二数量可以等于所述第一数量。
[0085]
步骤s132，根据各所述训练样本的样本动作数据序列、预测动作数据序列及平滑训练参数确定第一损失函数值，并根据所述第一损失函数值对所述平滑模型的所述编码器和所述解码器的模型参数进行调整。
[0086]
在本实施例中，预测动作数据序列为对样本动作数据序列平滑处理后的结果，平滑训练参数与根据样本动作数据序列确定出的预测动作类型相关，且平滑训练参数可以表征与训练样本对应的预测动作类型的平滑程度。如此，通过预先设置平滑训练参数和预测动作类型的对应关系，可以在训练过程中使平滑模型学习到从动作数据序列中确定动作类型，进而使用合适平滑程度进行平滑处理。
[0087]
具体地，在一种可能的实现方式中，所述第一损失函数值为：
[0088][0089]
其中，t为所述训练样本的关键点数据帧的数量，为所述样本动作数据序列中的第t个关键点数据帧，为所述预测动作数据序列中的第t个关键点数据帧；
[0090]
b为所述训练样本的数量，α
b
为第b个所述训练样本对应的平滑训练参数。在本实施例中，可以采用多个批次的训练样本进行训练，每个批次使用多个训练样本获得第一损失函数值对模型进行参数调整，通过多个训练批次多轮调整模型参数，最终获得训练完成的平滑模型。
[0091]
进一步地，在本实施例中，可以预先配置平滑训练参数对应关系表，平滑训练参数对应关系表中记录有不同的预测动作类型对应的不同的平滑训练参数。在步骤s120中可以根据预设的平滑训练参数对应关系表，查询与所述预测动作类型对应的平滑训练参数。其中，所述预测动作类型对应的动作频率越高，平滑训练参数越大。
[0092]
例如，以预测动作类型中的普通动作、挥手、拍手、慢动作手势、大幅举手为例，根据动作频率可以按照下表设置对应的平滑训练参数。
[0093][0094]
其中，预测动作类型中的“慢动作手势”、“普通动作”、“挥手”、“大幅举手”、“拍手”各自分别对应不同的动作频率，且动作频率依次增加。由此可见，动作频率越高，对应的平滑训练系数α越大，则在训练过程中，可以使平滑模型学习到在满足一定的损失函数值的情况下，在处理此类型的输入数据时，可以减少预测动作数据序列和样本动作数据序列的差异，从而减少平滑程度，提高处理时效。而动作频率越低，对应的平滑训练系数α越小，则在训练过程中，可以使平滑模型学习到在满足一定的损失函数值的情况下，在处理此类型的输入数据时，可以增大预测动作数据序列和样本动作数据序列的差异，从而提高平滑程度。
[0095]
在一种可能的实现方式中，本实施例提供的平滑模型中，编码器包括三个依次连接的全连接网络，按照连接关系，三个全连接网络的输入输出关系分别为：输入n维数据输出512维数据，输入512维数据输出512维数据，输入512维数据输出256维数据。解码器也可以包括三个依次连接的全连接网络，按照连接关系，三个全连接网络的输入输出关系分别为：输入256维数据输出512维数据，输入512维数据输出512维数据，输入512维数据输出n维数据。其中，n为根据实际情况中所需要的输入输出数据的维度，例如，一个训练样本的样本动作数据序列包括8个关键点数据帧，每个关键点数据帧包括7个肢体关键点的x
‑
y轴坐标数据，则n为112。
[0096]
在一些可能的实现方式中，所述训练样本还包括动作类型标签，在训练过程中还可以训练平滑模型的动作分类子模型。具体地，请参照图6，本实施例提供的方法还可以包括以下步骤。
[0097]
步骤s210，针对每个所述训练样本，根据所述训练样本的动作类型标签及预测动作类型确定第二损失函数值。
[0098]
在本实施例中，训练样本处理可以包括样本动作数据序列，还可以包括动作类型标签，其中，动作类型标签可以为独热码向量的形式。
[0099]
步骤s220，根据所述第二损失函数值对所述动作分类子模型的模型参数进行调
整。
[0100]
在训练过程中，动作分类子模型会输出预测动作类型，根据所述预测动作类型和所述动作类型标签确定出第二损失函数值对动作分类子模型进行模型参数调整，如此，可以使动作分类子模型输出的预测动作类型逐渐接近训练样本的动作类型标签。
[0101]
具体地，在一种可能的实现方式中，所述第二损失函数值为：
[0102][0103]
其中，n为所述预测动作类型的数量，p
i
为所述训练样本与第i个所述预测动作类型对应的预测概率值，y
i
为所述动作类型标签对应的独热码向量。
[0104]
如此，预测动作类型和动作类型标签相似性越小，则第二损失函数值越大；预测动作类型和动作类型标签相似性越大，则第二损失函数值越小。基于此，可以通过多次训练提高动作分类子模型以确定出训练样本的预测动作类型和动作类型标签的相似性，从而提高预测动作类型判断的准确度。
[0105]
基于上述设计，本实施例提供的平滑模型训练方法，通过训练平滑模型预测训练样本对应的预测动作类型，然后根据和预测动作类型对应平滑训练参数对模型参数进行调整，从而可以使训练出的平滑模型能够提取动作数据序列本身的语义以确定相应的动作类型，进而进行相应平滑程度的平滑处理。
[0106]
通过本实施例提供的平滑模型训练方法训练出的平滑模型，在实际使用时可以包括以下步骤。
[0107]
步骤s310，获取由多个关键点数据帧组成的待处理动作数据序列；
[0108]
步骤s320，将所述待处理动作数据序列输入调整后的所述平滑模型；
[0109]
步骤s330，依次通过所述平滑模型的编码器和解码器对所述待处理动作数据序列进行处理，获得平滑处理后的动作数据序列。
[0110]
其中，调整后的所述平滑模型中保留的模型参数为根据步骤s110到步骤s130训练获得的模型参数，因此，该平滑模型能够针对不同动作类型的待处理动作数据序列自动地执行不同程度的平滑处理。
[0111]
在本实施例中，图2所示的平滑模型训练方法可以由一具有数据处理能力的电子设备执行，该电子设备可以为图1所示的服务器10。请参照图7，图7为该服务器10的硬件结构示意图。该服务器10可包括一个或多个处理器130及机器可读存储介质120。处理器130与机器可读存储介质120可经由系统总线140通信。并且，机器可读存储介质120存储有机器可执行指令，通过读取并执行机器可读存储介质120中与平滑模型训练逻辑对应的机器可执行指令，处理器130可执行上文描述的平滑模型训练方法。
[0112]
其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read
‑
only memory，prom)，可擦除只读存储器(erasable programmable read
‑
only memory，eprom)，电可擦除只读存储器(electric erasable programmable read
‑
only memory，eeprom)等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
[0113]
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0114]
请参照图6，本实施例还提供一种平滑模型训练装置110，平滑模型训练装置110包括至少一个可以软件形式存储于机器可读存储介质120中的功能模块。从功能上划分，平滑模型训练装置110可以包括数据获取模块111、动作预测模块112及模型训练模块113。
[0115]
数据获取模块111，用于获取多个训练样本，其中，每个所述训练样本包括由多个关键点数据帧组成的样本动作数据序列；
[0116]
本实施例中，所述数据获取模块111可用于执行图2所示的步骤s110，关于所述数据获取模块111的具体描述可参对所述步骤s110的描述。
[0117]
动作预测模块112，用于根据每个训练样本的样本动作数据序列，确定该训练样本对应的预测动作类型，并根据所述预测动作类型确定所述训练样本对应的平滑训练参数；
[0118]
本实施例中，所述动作预测模块112可用于执行图2所示的步骤s120，关于所述动作预测模块112的具体描述可参对所述步骤s120的描述。
[0119]
模型训练模块113，用于使用所述平滑训练参数及所述样本动作数据序列对预设的平滑模型进行模型训练；所述平滑模型用于对动作数据序列进行平滑处理。
[0120]
本实施例中，所述模型训练模块113可用于执行图2所示的步骤s130，关于所述模型训练模块113的具体描述可参对所述步骤s130的描述。
[0121]
进一步地，本实施例中，所述平滑模型训练装置110还可以包括通过所述训练后的平滑模型进行数据平滑处理的数据处理模块114，其中，在一种可能的实施方式中，所述数据处理模块114可以用于：
[0122]
获取由多个关键点数据帧组成的待处理动作数据序列；
[0123]
将所述待处理动作数据序列输入训练后的所述平滑模型；
[0124]
依次通过所述平滑模型的编码器和解码器对所述待处理动作数据序列进行处理，获得平滑处理后的动作数据序列。
[0125]
进一步地，在另一种可能的实施方式中，所述数据处理模块114还可以用于：
[0126]
获取直播视频数据，并通过图像识别模型从所述直播视频数据中识别主播的动作关键点数据；
[0127]
通过所述训练后的平滑模型对所述动作关键点数据进行平滑处理；
[0128]
通过虚拟形象生成模型根据平滑处理后的动作关键点数据生成与所述主播的主播动作对应的虚拟形象；
[0129]
根据所述虚拟形象生成直播推流数据并推送给观众终端。
[0130]
综上所述，本本技术提供的平滑模型训练方法、装置及电子设备，通过在训练平滑模型的过程中，预测训练样本的动作类型并确定出于动作类型对应的平滑训练参数，然后结合平滑训练参数和训练样本中的样本动作数据序列对平滑模型进行训练。如此，训练出的平滑模型能够针对不同动作类型的待处理动作数据序列自动地执行不同程度的平滑处
理，从而兼顾了平滑效果和处理时效。
[0131]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0132]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0133]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0135]
以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。