动作特征的放大方法及装置、存储介质、终端与流程

1.本发明涉及图像处理技术领域，具体地涉及一种动作特征的放大方法及装置、存储介质、终端。


背景技术：

2.现有对图像中特定内容的放大操作通常采用人工设计滤波器的方式实现。
3.具体而言，对摄像头采集的视频逐帧做拉普拉斯金字塔处理，以得到多尺度边缘和形状描述。对于每一个尺度的立体像素进行像素级时间上的带通滤波，以增强感兴趣的频率上的信号，过滤掉不感兴趣的频率上的噪声。对过滤完的信号进行运动放大后，叠加回滤波前的特征立体像素。最后将金字塔融合以得到放大后的图像，该放大后的图像中将感兴趣的部分放大。
4.滤波器仅仅能抑制某些频率的噪声，而需要滤除的频率实质上是人为设定的，无法保证涵盖所有噪声频率。
5.另一方面，乘以运动放大系数后，在带通段的噪声也会被放大，导致放大后的图像噪声大，图像模糊。尤其当物体本身非静止而是在运动时，采用现有的动作放大操作生成的图像比较模糊。
6.综上，现有技术无法提供一种合适的图像特征放大方案，尤其无法提供一种能够对图像中动作特征进行有效放大，且输出图像清晰度高的放大方案。


技术实现要素：

7.本发明解决的技术问题是如何在对图像中动作特征进行有效放大的同时，获得具有高清晰度的输出图像。
8.为解决上述技术问题，本发明实施例提供一种动作特征的放大方法，包括：从视频中提取标准图像帧和待处理图像帧；分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧。
9.可选的，所述分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征包括：分别将所述标准图像帧和待处理图像帧输入编码神经网络，以得到所述标准动作特征和待处理动作特征，其中，所述编码神经网络用于基于深度学习分离输入的图像帧中的动作特征。
10.可选的，所述编码神经网络还用于基于深度学习分离输入的图像帧中的视觉特征。
11.可选的，所述编码神经网络为全卷积网络。
12.可选的，所述将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征包括：对所述标准动作特征和待处理动作特征进行减法处理，并基于深度学习对所述减法处理的结果进行特征提取，以得到所述差异部分；将所述预设放大倍数乘以所述差异部分，以得到放大后的差异部分；将所述放大后的差异部分与所述待处理特征动作相加，以得到所述放大后的待处理动作特征。
13.可选的，所述操作神经网络包括多层卷积层，至少用于对所述减法处理的结果进行卷积运算。
14.可选的，所述视频包括多帧待处理图像帧，在对所述多帧待处理图像帧中的动作特征进行放大期间，所述预设放大倍数保持不变。
15.可选的，所述视频包括多帧待处理图像帧，在对所述多帧待处理图像帧中动作特征进行放大期间，所述预设放大倍数是根据放大结果自适应性调整的，其中，所述放大效果是指已经处理完成的待处理图像帧中动作特征的放大结果。
16.可选的，所述将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧包括：将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征输入解码神经网络，以得到放大后的待处理图像帧，其中，所述解码神经网络用于基于深度学习融合输入的视觉特征和动作特征。
17.可选的，所述解码神经网络为全卷积网络。
18.可选的，所述放大方法还包括：根据所述待处理图像帧中动作特征在放大前后的差异，确定所述待处理图像帧的运动强度；绘制所述视频中多帧待处理图像帧各自的运动强度相对于所述多帧待处理图像帧各自帧数的运动频率曲线；在显示窗口呈现所述运动频率曲线。
19.可选的，所述显示窗口还同步播放所述视频。
20.可选的，所述根据所述待处理图像帧中动作特征在放大前后的差异，确定所述待处理图像帧的运动强度包括：对所述待处理图像帧的放大后的待处理动作特征与所述待处理动作特征做减法处理，以得到净动作放大特征张量；基于所述净动作放大特征张量计算得到所述待处理图像帧的运动强度。
21.可选的，所述基于所述净动作放大特征张量计算得到所述待处理图像帧的运动强度包括：计算所述净动作放大特征张量的l2范数，其中，所述l2范数用于表征所述待处理图像帧中动作特征的放大量。
22.可选的，所述动作特征提取自所述视频中婴儿的呼吸动作。
23.本发明实施例还提供一种动作特征的放大装置，包括：提取模块，用于从视频中提取标准图像帧和待处理图像帧；动作特征分离模块，用于分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；放大模块，用于将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；融合模块，用于将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图
像帧。
24.本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
25.本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。
26.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
27.本发明实施例提供一种动作特征的放大方法，包括：从视频中提取标准图像帧和待处理图像帧；分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧。
28.较之现有人工设计的滤波器进行特征放大的处理方式，本实施方案能够减少由于放大导致的图像噪声，且整体处理过程简单而易于实现。具体而言，使用深度学习的方法构建得到操作神经网络，由所述操作神经网络通过前期模型训练的方式学习出一系列的滤波器来提取和操作动作信号(即动作特征)，以对动作特征进行有效放大，并最终产生放大后的图像。进一步，基于深度学习对待处理图像帧进行的放大处理能够极大减少放大后由于放大导致的图像噪声，使得放大后的待处理图像帧更为清晰。进一步，使用深度学习方法使得算法部署更易于实现，且容易调优，使得解决传统图像处理方法复杂且开发难度过大的问题成为可能。
29.进一步，根据所述待处理图像帧中动作特征在放大前后的差异，确定所述待处理图像帧的运动强度；绘制所述视频中多帧待处理图像帧各自的运动强度相对于所述多帧待处理图像帧各自帧数的运动频率曲线；在显示窗口呈现所述运动频率曲线。由此，通过动作特征在放大前后的差异将每帧图像的运动强度映射为一个常数，不需要额外的算法而是通过绘制运动强度相对于帧数的图既能直观地产生所述运动频率曲线。进一步，绘制得到的运动频率曲线能够清晰看到周期性运动和波峰波谷，对运动强度没有任何额外要求，使得对视频中存在周期性变化或近似周期性变化规律的运动的跟踪呈现更为直观。当被放大的所述动作为视频中的婴儿呼吸动作时，绘制得到的运动频率曲线为呼吸频率曲线，能够清晰、直观的反映婴儿在一段时间的呼吸情况。
30.进一步，将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征输入解码神经网络，以得到放大后的待处理图像帧，其中，所述解码神经网络用于基于深度学习融合输入的视觉特征和动作特征。由此，基于深度学习来融合放大后的待处理动作特征和初始分离得到的视觉特征，利于解决运动合成后视频模糊的问题。
附图说明
31.图1是本发明实施例一种动作特征的放大方法的流程图；
32.图2是图1所示动作特征的放大方法的算法框图；
33.图3是图1中步骤s103的一种具体实施方式的流程图；
34.图4是本发明实施例一种运动频率曲线的绘制方法的流程图；
35.图5是本发明实施例一种动作特征的放大装置的结构示意图。
具体实施方式
36.如背景技术所言，现有技术无法提供一种合适的图像特征放大方案，尤其无法提供一种能够对图像中动作特征进行有效放大，且输出图像清晰度高的放大方案。
37.为解决上述技术问题，本发明实施例提供一种动作特征的放大方法，包括：从视频中提取标准图像帧和待处理图像帧；分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧。
38.本实施方案能够减少由于放大导致的图像噪声，且整体处理过程简单而易于实现。具体而言，使用深度学习的方法构建得到操作神经网络，由所述操作神经网络通过前期模型训练的方式学习出一系列的滤波器来提取和操作动作信号(即动作特征)，以对动作特征进行有效放大，并最终产生放大后的图像。进一步，基于深度学习对待处理图像帧进行的放大处理能够极大减少放大后由于放大导致的图像噪声，使得放大后的待处理图像帧更为清晰。进一步，使用深度学习方法使得算法部署更易于实现，且容易调优，使得解决传统图像处理方法复杂且开发难度过大的问题成为可能。
39.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
40.图1是本发明实施例一种动作特征的放大方法的流程图。
41.具体地，所述动作特征可以用于描述图像中一个或多个物体的动作。当图像中多个物体均在动作时，本实施例方案可以优选地放大其中某一物体的动作。当图像中同一物体同时存在多种动作时，本实施例方案可以优选地放大该物体的特定动作。
42.例如，一张图像可以用公式i(x,t)＝f(x+δ(x,t))描述；其中，x为像素位置；t为时间；i(x,t)为图像关于像素点和时间的函数；f()函数为变换关系；δ(x,t)为图像中的动作特征，其代表了运动场为像素位置和时间的函数。
43.更为具体地，本实施例方案可以用于放大一段视频中一帧或多帧图像中的特定动作。例如，所述动作特征可以提取自视频中婴儿的呼吸动作，本实施例方案可以应用于婴儿呼吸检测以及婴儿呼吸动作放大的应用场景。
44.具体而言，呼吸放大的目标是放大呼吸的动作，放大后的图像i’(x,t)可以具体描述为i’(x,t)＝f(x+(1+α)
×
δ(x,t))，其中α为预设放大倍数。
45.在本实施例所述呼吸动作放大的应用场景中，仅需要放大特定的呼吸动作，因此，可以通过运动选择器来选择呼吸部分的动作信息。
46.例如，对于实时或预先录制得到的一段视频，可以逐帧过滤所述视频，以基于所述运动选择器来筛选各图像帧中呼吸部分的动作信息。由此，可以排除视频中其他动作造成的干扰，如婴儿翻身、窗帘飘动等。其中，实时录制可以是指基于摄像头实时采集得到。
47.例如，所述运动选择器通过基准帧和运动帧之间的特征差值来选择输入图像帧中呼吸部分的动作信息。其中，动作帧即为每次输入的待处理图像帧。
48.为了简化训练过程，本实施方案考虑一种简单的两帧输入的情况。具体而言，使用两个输入图片(分别记作a帧和b帧)，其中b帧相对于a帧有一些很小的呼吸动作变化。基于本实施方案，能够输出相对于a帧的呼吸动作进行了放大的c帧，c帧的图片就是放大后的结果。
49.接下来结合附图对本实施方案所述对视频中动作特征的放大方法进行详细阐述。
50.具体地，参考图1，本实施例所述动作特征的放大方法可以包括如下步骤：
51.步骤s101，从视频中提取标准图像帧和待处理图像帧；
52.步骤s102，分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；
53.步骤s103，将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；
54.步骤s104，将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧。
55.在一个具体实施中，在所述步骤s101中，可以将所述视频中的任一图像帧确定为所述标准图像帧，其他图像帧则作为待处理图像帧。在对视频中多帧图像帧进行动作放大操作期间，标准图像帧一经确定将不再变化。对于多帧的待处理图像帧则逐帧执行步骤s102至步骤s104，以逐帧放大各待处理图像帧中的动作特征。
56.进一步而言，对于标准图像帧而言，在对视频中的多帧待处理图像帧进行动作放大操作期间，对标准图像帧执行步骤s102以分离得到其中的动作特征的操作可以仅执行一次。以降低运算量。
57.在一个具体实施中，在步骤s101之后，步骤s102之前，可以将提取得到的标准图像帧和待处理图像帧输入所述运动选择器，以获取仅保留需要放大的动作特征的标准图像帧和待处理图像帧。然后对经过运动选择器处理的标准图像帧和待处理图像帧执行步骤s102至步骤s104，以针对性的对需要放大的动作特征执行放大操作。
58.在一个变化例中，运动选择器的功能可以集成于操作(manipulator)神经网络，相应的，对于步骤s101提取得到的标准图像帧和待处理图像帧，可以直接执行步骤s102至步骤s104，通过所述操作神经网络可以有针对性的放大特定的动作特征。例如，在模型训练阶段，可以训练操作神经网络从输入图像帧的多种动作特征中识别出呼吸动作特征，并仅对呼吸动作特征执行放大操作。由此，同样可以得到放大特定动作的效果。
59.在一个具体实施中，参考图2，本实施例所述动作特征的放大方法可以基于深度学习网络系统实现，所述深度学习网络系统用于执行图1所示动作特征的放大方法以放大输入图像帧中的动作特征。
60.具体地，参考图2，所述深度学习网络系统可以包括：编码(encoder)神经网络21，用于基于深度学习分离输入的图像帧中的动作特征和视觉特征；操作神经网络22，与所述编码神经网络21耦接以接收编码神经网络21分离得到的待处理动作特征和标准动作特征，所述操作神经网络22用于根据标准动作特征和预设放大倍数放大待处理动作特征；解码(decoder)神经网络23，分别与所述编码神经网络21和操作神经网络22耦接，用于基于深度学习融合输入的视觉特征和动作特征，也即，基于深度学习融合编码神经网络21分离得到的待处理图像帧的视觉特征与操作神经网络22处理得到的所述放大后的待处理动作特征，以得到放大后的待处理图像帧。
61.进一步，深度学习网络系统基于深度学习实现动作特征的提取和放大，使得避免同步放大带通段的噪声成为可能，利于抑制放大导致的图像噪声。
62.在一个具体实施中，所述步骤s102可以包括步骤：分别将所述标准图像帧和待处理图像帧输入编码神经网络21，以得到所述标准动作特征和待处理动作特征。
63.需要指出的是，虽然图2中示出了两个编码神经网络21，但在实际应用中，所述深度学习网络系统可以仅包括一个编码神经网络21。例如，参考图2，待处理图像帧和标准图像帧可以被异步地输入编码神经网络21，以经由编码神经网络21分别分离得到待处理动作特征和标准动作特征。图2所示待处理图像帧和标准图像帧分别输入对应的编码神经网络21仅用于示例性的展示两个图像帧不是同时输入编码神经网络21进行处理的。
64.具体地，所述编码神经网络21可以为全卷积网络。所述全卷积网络的输入为图像帧，输出为该图像帧的运动特征张量(tensor)和用于重构深度学习网络系统最终输出图像的视觉特征张量。
65.在一个具体实施中，参考图3，所述步骤s103可以包括如下步骤：
66.步骤s1031，对所述标准动作特征和待处理动作特征进行减法处理，并基于深度学习对所述减法处理的结果进行特征提取，以得到所述差异部分；
67.步骤s1032，将所述预设放大倍数乘以所述差异部分，以得到放大后的差异部分；
68.步骤s1033，将所述放大后的差异部分与所述待处理特征动作相加，以得到所述放大后的待处理动作特征。
69.具体地，所述操作神经网络22可以包括多层卷积层，至少用于对所述减法处理的结果进行卷积运算。例如，所述步骤s1031中，可以对所述标准动作特征和待处理动作特征做差，然后将差值输入至少一层卷积层以更好地提取差值部分的特征信息，从而得到所述差异部分。
70.进一步地，预设放大倍数越大，对差异部分的放大效果越显著。例如，可以预先设定对所述视频进行动作放大的预设放大倍数并输入深度学习网络系统。
71.在一个具体实施中，所述视频可以包括多帧待处理图像帧，在对所述多帧待处理图像帧中的动作特征进行放大期间，所述预设放大倍数可以是保持不变的。
72.在一个变化例中，在对所述多帧待处理图像帧中动作特征进行放大期间，所述预设放大倍数可以是根据放大结果自适应性调整的，其中，所述放大效果是指已经处理完成的待处理图像帧中动作特征的放大结果。
73.例如，针对一段视频，先提取前几帧图像帧执行所述步骤s101至步骤s104以得到放大后的多帧图像帧，对这几帧图像帧中动作特征进行放大所采用的预设放大倍数可以是
默认值。通过比较这几帧图像帧放大前后的差异，动态调整预设放大倍数。
74.其中，根据比较结果调整预设放大倍数的操作可以是深度学习网络系统自主实现的，或者，也可以是将比较结果呈现给用户并由用户手动调节的。
75.在一个具体实施中，操作神经网络22包括的多层卷积层中的至少一层可以用于接收所述放大后的差异部分，并对放大后的差异部分进行卷积运算。
76.具体而言，在步骤s1032之后，步骤s1033之前，对于经由乘法操作获取的放大后的差异部分，可以将所述放大后的差异部分分为两路，其中一路输入至少一层卷积层以进行卷积运算，其中另一路则不作任何处理。将经过卷积运算的放大后的差异部分和未作任何处理的放大后的差异部分相加，将相加结果作为最终的放大后的差异部分执行所述步骤s1033。本步骤操作有利于确保操作神经网络22得到收敛的结果。
77.在一个具体实施中，所述步骤s104可以包括步骤：将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征输入解码神经网络23，以得到放大后的待处理图像帧。
78.具体地，所述解码神经网络23可以为全卷积网络。
79.对于婴儿呼吸应用场景而言，解码神经网络23输出的即为婴儿呼吸动作放大后的待处理图像帧。
80.由此，基于深度学习来融合放大后的待处理动作特征和初始分离得到的视觉特征，利于解决运动合成后视频模糊的问题。
81.通过前期模型训练，可以使深度学习网络系统适应各种分辨率的图像输入，并且使用残差结构来产生高质量的输出。
82.进一步，为提高运行的速度和增加感受野，可以在编码神经网络21中设置下采样倍数为2，并在解码神经网络23中最终输出前通过上采样将输出图像的尺寸恢复到初始输入深度学习系统时的图像尺寸。
83.进一步，操作神经网络22产生放大的中间张量，通过调整放大倍数来改变放大的视觉效果。
84.在一个具体实施中，通过对各待处理图像帧中动作特征的放大操作，本实施例方案还可以进一步绘制得到所述视频中动作特征的运动频率曲线。
85.具体地，参考图4，本实施例所述方法可以包括如下步骤：
86.步骤s401，根据所述待处理图像帧中动作特征在放大前后的差异，确定所述待处理图像帧的运动强度；
87.步骤s402，绘制所述视频中多帧待处理图像帧各自的运动强度相对于所述多帧待处理图像帧各自帧数的运动频率曲线；
88.步骤s403，在显示窗口呈现所述运动频率曲线。
89.更为具体地，所述步骤s401至步骤s403可以在所述步骤s103之后的任意时刻执行。
90.由此，通过动作特征在放大前后的差异将每帧图像的运动强度映射为一个常数，不需要额外的算法，而是通过绘制运动强度相对于帧数的变化曲线图既能直观地产生所述运动频率曲线。
91.进一步，绘制得到的运动频率曲线能够清晰看到周期性运动和波峰波谷，对运动
强度没有任何额外要求，使得对视频中存在周期性变化或近似周期性变化规律的运动的跟踪呈现更为直观。
92.当被放大的所述动作为视频中的婴儿呼吸动作时，绘制得到的运动频率曲线为呼吸频率曲线，能够清晰、直观的反映婴儿在一段时间的呼吸情况。
93.在一个具体实施中，所述步骤s401可以包括步骤：对所述待处理图像帧的放大后的待处理动作特征与所述待处理动作特征做减法处理，以得到净动作放大特征张量；基于所述净动作放大特征张量计算得到所述待处理图像帧的运动强度。
94.具体地，操作神经网络22每输出一帧待处理图像帧的放大后的运动特征张量，就将该放大后的运动特征张量与编码神经网络21输出的未放大的运动特征张量做差，以得到净运动放大特征张量。
95.进一步，计算所述净动作放大特征张量的l2范数，其中，所述l2范数用于表征所述待处理图像帧中动作特征的放大量。例如，所述l2范数可以是净动作放大特征张量中各元素的平方和然后求平方根。
96.动作越大，净运动放大特征张量的l2范数越大，这样就将每一帧的呼吸强度映射成了一个常数。
97.在一个具体实施中，所述显示窗口还可以同步播放所述视频。其中，同步播放可以指，视频与运动频率曲线的帧数同步变化。具体地，显示窗口可以为专门的婴儿监视器。或者，显示窗口可以为用户的手机、平板电脑等智能设备的显示界面。进一步，用户可以根据需要拖动视频和/或运动频率曲线的展示进度，当视频和运动频率曲线中任一个的展示进度被改变时，视频和运动频率曲线中另一个同步调整至呈现相同帧数的画面。
98.由上，采用本实施例方案，能够减少由于放大导致的图像噪声，且整体处理过程简单而易于实现。具体而言，使用深度学习的方法构建得到操作神经网络，由所述操作神经网络通过前期模型训练的方式学习出一系列的滤波器来提取和操作动作信号(即动作特征)，以对动作特征进行有效放大，并最终产生放大后的图像。进一步，基于深度学习对待处理图像帧进行的放大处理能够极大减少放大后由于放大导致的图像噪声，使得放大后的待处理图像帧更为清晰。进一步，使用深度学习方法使得算法部署更易于实现，且容易调优，使得解决传统图像处理方法复杂且开发难度过大的问题成为可能。
99.图5是本发明实施例一种动作特征的放大装置的结构示意图。本领域技术人员理解，本实施例所述动作特征的放大装置5可以用于实施上述图1至图4所述实施例中所述的方法技术方案。
100.具体地，参考图5，本实施例所述动作特征的放大装置5可以包括：提取模块51，用于从视频中提取标准图像帧和待处理图像帧；动作特征分离模块52，用于分别分离得到所述标准图像帧中的动作特征和所述待处理图像帧中的动作特征，其中，将所述标准图像帧中的动作特征记作标准动作特征，将所述待处理图像帧中的动作特征记作待处理动作特征；放大模块53，用于将所述标准动作特征和待处理动作特征输入操作神经网络，以得到放大后的待处理动作特征，其中，所述操作神经网络用于基于深度学习提取所述待处理动作特征相较于标准动作特征的差异部分，并按照预设放大倍数放大所述差异部分；融合模块54，用于将分离自所述待处理图像帧的视觉特征与所述放大后的待处理动作特征相融合，以得到放大后的待处理图像帧。
101.例如，动作特征分离模块52可以包括图2中示出的编码神经网络21。
102.例如，放大模块53可以包括图2中示出的操作神经网络22。
103.例如，融合模块54可以包括图2中示出的解码神经网络23。
104.关于所述动作特征的放大装置5的工作原理、工作方式的更多内容，可以参照上述图1至图4中的相关描述，这里不再赘述。
105.进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图4所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括rom、ram、磁盘或光盘等。
106.进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1至图4所示实施例中所述的方法技术方案。具体地，所述终端可以为手机、平板电脑等智能设备，还可以为服务器。
107.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。