直播风格化处理方法、装置、计算设备及存储介质与流程
本发明涉及图像处理技术领域，具体涉及一种直播风格化处理方法、装置、计算设备及计算机存储介质。
背景技术：
利用图像风格化处理技术，能够将风格图像上的风格转移到日常拍摄的图像上，使得图像能够获得更好的视觉效果。在现有技术中，是将一个给定的风格图像直接输入至一个神经网络(neuralnetwork)中，然后利用大量的内容图像作为样本图像，经过多次迭代训练得到与给定的风格图像对应的图像转换网络，利用该图像转换网络实现输入内容图像的风格转换。
现有技术中，对于任意给定的风格图像，都需要进行成千上万次的迭代运算对神经网络进行训练，得到该风格对应的图像转换网络。在图像转换网络的训练过程中，成千上万次的迭代运算造成计算量巨大，这将会需要很长的训练时间，导致风格化处理的效率低下。因此，也很难实现实时地对直播视频进行风格化处理。
技术实现要素：
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的直播风格化处理方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种直播风格化处理方法，该方法包括：
获取第一图像；
得到与第一图像的风格对应的第二网络；
提取直播视频中的帧图像；
利用第二网络对直播视频中的帧图像进行风格化处理；
展示处理后的直播视频。
进一步地，在提取直播视频中的帧图像之前，该方法还包括：
获取直播视频。
进一步地，得到与第一图像的风格对应的第二网络的步骤由终端或服务器执行；
得到与第一图像的风格对应的第二网络进一步包括：
将第一图像输入至经过训练的第一网络中，得到与第一图像的风格对应的第二网络。
进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。
进一步地，第一网络的训练过程通过多次迭代完成；在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像实现第一网络的训练。
进一步地，在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
进一步地，第一网络的训练过程通过多次迭代完成；其中一次迭代过程包括：
利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；
根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，利用第一网络损失函数实现第一网络的训练。
进一步地，第一网络的训练步骤包括：
从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；
将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；
利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数；
迭代执行第一网络的训练步骤，直至满足预定收敛条件。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
进一步地，将第一图像输入至经过训练的第一网络中，得到与第一图像的风格对应的第二网络进一步包括：
将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
进一步地，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络进一步包括：
从第一样本图像中提取风格纹理特征；
将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
进一步地，第二网络为图像转换网络。
进一步地，第一网络为对神经网络进行训练得到的元网络。
根据本发明的另一方面，提供了一种直播风格化处理装置，该装置包括：
图像获取模块，适于获取第一图像；
网络获取模块，适于得到与第一图像的风格对应的第二网络；
提取模块，适于提取直播视频中的帧图像；
处理模块，适于利用第二网络对直播视频中的帧图像进行风格化处理；
视频展示模块，适于展示处理后的直播视频。
进一步地，该装置还包括：
视频获取模块，适于获取直播视频。
进一步地，网络获取模块进一步适于：将第一图像上传给服务器，获取服务器将第一图像输入至经过训练的第一网络中所得到并返回的与第一图像的风格对应的第二网络。
进一步地，网络获取模块进一步适于：将第一图像输入至经过训练的第一网络中，得到与第一图像的风格对应的第二网络。
进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。
进一步地，该装置还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；
第一网络训练模块适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像实现第一网络的训练。
进一步地，第一网络训练模块进一步适于：
固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
进一步地，该装置还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；
第一网络训练模块适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，利用第一网络损失函数实现第一网络的训练。
进一步地，该装置还包括：第一网络训练模块；
第一网络训练模块包括：
提取单元，适于从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；
生成单元，适于将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；
处理单元，适于利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
更新单元，适于根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数；
第一网络训练模块迭代运行，直至满足预定收敛条件。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
进一步地，网络获取模块进一步适于：
将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
进一步地，生成单元进一步适于：
从第一样本图像中提取风格纹理特征；
将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
进一步地，第二网络为图像转换网络。
进一步地，第一网络为对神经网络进行训练得到的元网络。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述直播风格化处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述直播风格化处理方法对应的操作。
根据本发明提供的技术方案，将获取第一图像，接着得到与第一图像的风格对应的第二网络，提取直播视频中的帧图像，然后利用第二网络对直播视频中的帧图像进行风格化处理，最后展示处理后的直播视频。根据本发明提供的技术方案，能够方便地、实时地对直播视频中的帧图像进行风格化处理，实现了对直播视频的实时风格化处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的直播风格化处理方法的流程示意图；
图2a示出了第一图像的示例图；
图2b示出了第二图像的示例图；
图2c示出了第三图像的示例图；
图3示出了根据本发明一个实施例的网络训练方法的流程示意图；
图4示出了根据本发明一个实施例的直播风格化处理装置的结构框图；
图5示出了根据本发明另一个实施例的直播风格化处理装置的结构框图；
图6示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的直播风格化处理方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤s100，获取第一图像。
当用户想要将直播视频处理成与某一个第一图像具有一致风格的直播视频时，可获取该第一图像。其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。具体地，第一图像可以是网站中的风格图像，也可以是其他用户分享的风格图像。为了与第一图像进行区分，在本发明中将用户想要处理的直播视频中的帧图像称为待处理的第二图像。
步骤s101，得到与第一图像的风格对应的第二网络。
其中，得到与第一图像的风格对应的第二网络的步骤可由终端或服务器执行。具体地，可将第一图像输入至经过训练的第一网络中，得到与第一图像的风格对应的第二网络。若本步骤s101由终端执行，则终端会预先训练得到第一网络；若本步骤s101由服务器执行，则服务器会预先训练得到第一网络。
第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。其中，第一样本图像为风格样本图像，第二样本图像为内容样本图像。经训练得到的第一网络能够很好地适用于任意风格图像和任意内容图像，所以将第一图像输入至经过训练的第一网络中后，无需再针对该第一图像进行训练，就能够快速地映射得到与该第一图像的风格对应的第二网络。具体地，将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，就能够快速地得到与第一图像的风格对应的第二网络。
其中，第一网络的训练过程通过多次迭代完成。可选地，在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像对第一网络进行训练。
可选地，一次迭代过程包括：利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
在本发明具体实施例中，第一网络为对神经网络进行训练得到的元网络(metanetwork)，第二网络为图像转换网络。在现有技术中，是直接利用神经网络经长时间训练得到对应的图像转换网络，而在本发明中是对神经网络进行训练，由于经训练得到的元网络能够很好地适用于任意风格图像和任意内容图像，那么利用元网络就能够快速地映射得到对应的图像转换网络，而并不是直接利用神经网络训练得到图像转换网络，因此与现有技术相比，极大地了提高了获得图像转换网络的速度，有效地提高了风格化处理的效率，优化了风格化处理方式。
步骤s102，提取直播视频中的帧图像。
为了能够对直播视频进行风格化处理，在步骤s102中，需要提取直播视频中的帧图像。
可选地，该方法在步骤s102之前还可包括获取直播视频的步骤，本领域技术人员可根据实际需要确定直播视频的获取方式，此处不做限定。例如，可从终端中的直播应用程序中获取直播视频，也可从终端中的游戏等应用程序中的直播插件中获取直播视频。
步骤s103，利用第二网络对直播视频中的帧图像进行风格化处理。
其中，所提取的直播视频中的帧图像即为待处理的第二图像，终端可方便地利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像，而无需由服务器对第二图像进行风格化处理。由于利用该第二网络能够实时地得到第三图像，因此通过对直播视频中的帧图像进行风格化处理，实现了对直播视频的实时风格化处理。具体地，可对直播视频中的每一帧的帧图像都进行风格化处理，也可仅对直播视频中的每隔预设帧数的帧图像进行风格化处理。本领域技术人员可根据实际需要设置预设帧数，此处不做限定。
具体地，终端利用与第一图像的风格对应的第二网络对第二图像进行风格化处理，经风格化处理后所得到的第三图像即为与第二图像对应的风格迁移图像，该风格迁移图像具有与第一图像一致的风格。图2a和图2b分别示出了第一图像和第二图像的示例图，终端利用与图2a所示的第一图像的风格对应的第二网络对图2b所示的第二图像进行风格化处理，所得到的对应的第三图像如图2c所示。如图2c所示，该第三图像已具有了图2a所示的第一图像的风格。
步骤s104，展示处理后的直播视频。
其中，所展示的处理后的直播视频中包含直播视频中的帧图像经风格化处理后所得到的第三图像。处理后的直播视频已具有了与第一图像一致的风格。
根据本发明实施例提供的直播风格化处理方法，获取第一图像，接着得到与第一图像的风格对应的第二网络，提取直播视频中的帧图像，然后利用第二网络对直播视频中的帧图像进行风格化处理，最后展示处理后的直播视频。根据本发明提供的技术方案，能够方便地、实时地对直播视频中的帧图像进行风格化处理，实现了对直播视频的实时风格化处理。
图3示出了根据本发明一个实施例的网络训练方法的流程示意图，如图3所示，第一网络的训练步骤包括如下步骤：
步骤s300，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。
在具体训练过程中，风格图像库存储了10万个第一样本图像，内容图像库存储了10万个第二样本图像，其中，第一样本图像为风格图像，第二样本图像为内容图像。在步骤s300中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。本领域技术人员可根据实际需要设置第二样本图像的数量，此处不做限定。
步骤s301，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。
在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络。例如，神经网络可为vgg-16卷积神经网络(convolutionalneuralnetwork)。具体地，在步骤s301中，从第一样本图像中提取风格纹理特征，然后将所提取的风格纹理特征输入至第一网络中，在第一网络中进行前向传播(forwardpropagation)运算，得到与风格纹理特征对应的第二网络。
步骤s302，利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。
在得到了与第一样本图像的风格对应的第二网络之后，就可利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像，第三样本图像即为与第二样本图像对应的风格迁移图像，风格迁移图像具有与第一样本图像一致的风格。当在步骤s300中提取了8个第二样本图像，那么在步骤s302中，分别针对8个第二样本图像生成对应的第三样本图像，即针对每一个第二样本图像生成了一个对应的第三样本图像。
步骤s303，根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：
其中，ic为第二样本图像，is为第一样本图像，i为第三样本图像，cp为用于感知内容差别的感知函数，sp为用于感知风格差别的感知函数，
在一个具体的训练过程中，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。利用随机梯度下降(stochasticgradientdescent)算法训练第一网络。具体地训练过程包括：
1.设置一个第一样本图像的迭代次数k和第二样本图像ic的个数m。例如，可将迭代次数k设置为20，将第二样本图像ic的个数m设置为8，表示在元网络的训练过程中，针对一个第一样本图像需要迭代20次，每次迭代需要从内容图像库中提取8个第二样本图像ic。
2.从风格图像库中固定提取一个第一样本图像is。
3.将第一样本图像is输入至第一网络n(·；θ)中，在第一网络n(·；θ)中进行前馈传播(feed-forwardpropagation)运算，得到与第一样本图像is的风格对应的第二网络w。其中，第二网络w与第一网络n(·；θ)的映射公式为：w←n(is；θ)。
4.输入m个第二样本图像ic。其中，m个第二样本图像ic可用
5.利用第二网络w，分别针对每一个第二样本图像ic生成对应的第三样本图像i。
6.根据第一网络损失函数更新第一网络的权重参数θ。
其中，第一网络损失函数具体为：
在第一网络损失函数中，λc为预设内容损失权重，λs为预设风格损失权重。
步骤s304，迭代执行第一网络的训练步骤，直至满足预定收敛条件。
其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件，也可以根据第一网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件，还可以通过判断与第二样本图像对应的第三样本图像的视觉效果参数是否达到预设视觉效果参数来判断是否满足预定收敛条件。在步骤s304中，迭代执行第一网络的训练步骤，直至满足预定收敛条件，从而得到经过训练的第一网络。
值得注意的是，为了提升训练过程中第一网络的稳定性，本发明在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
通过先固定第一样本图像并不断替换第二样本图像的方式，能够高效地训练得到适用于该第一样本图像和任意第二样本图像的第一网络，接着再替换下一个第一样本图像并不断替换第二样本图像，从而训练得到适用于上述两个第一样本图像和任意第二样本图像的第一网络。重复上述过程直至风格图像库中的第一样本图像和内容图像库中的第二样本图像均提取完毕，就能够训练得到适用于任意第一样本图像和任意第二样本图像的第一网络，相当于训练得到了适用于任意风格图像和任意内容图像的第一网络，从而有效地缩减了训练第一网络所需的时间，提高了第一网络的训练效率。
下面通过与现有技术中的两种图像转换网络处理方法进行对比说明本发明提供的方法所具有的优势。其中，表1示出了本方法与现有技术中的两种图像转换网络处理方法的比较结果。
表1
如表1所示，盖提斯等人于2015年提交了论文《一种艺术风格的神经算法》，该论文中所提出的方法无法得到图像转换网络，但能够适用于任何风格，需耗时9.52s才能得到对应的风格迁移图像。
约翰逊等人于2016年在欧洲计算机视觉会议中发表了论文《实时风格转换和超分辨率的感知损失》，该论文中所提出的方法需耗时4h才得到相应的图像转换网络，且只能适用于一种风格，但只需耗时0.015s得到对应的风格迁移图像。
而本发明提供的方法与上述两种方法相比，不仅能够适用于任何风格，而且仅需耗时0.022s得到相应的图像转换网络，另外，利用图像转换网络只需耗时0.015s得到对应的风格迁移图像，有效地提高了获得图像转换网络的速度和获得风格迁移图像的效率。
图4示出了根据本发明一个实施例的直播风格化处理装置的结构框图，如图4所示，该装置包括：图像获取模块410、网络获取模块420、提取模块430、处理模块440和视频展示模块450。
图像获取模块410适于：获取第一图像。
其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。当用户想要将直播视频处理成与某一个第一图像具有一致风格的直播视频时，图像获取模块410需要获取该第一图像。
网络获取模块420适于：得到与第一图像的风格对应的第二网络。
其中，网络获取模块420可将第一图像上传给服务器，获取服务器将第一图像输入至经过训练的第一网络中所得到并返回的与第一图像的风格对应的第二网络，或者，网络获取模块420也可直接将第一图像输入至经过训练的第一网络中，得到与第一图像的风格对应的第二网络。
提取模块430适于：提取直播视频中的帧图像。
处理模块440适于：利用第二网络对直播视频中的帧图像进行风格化处理。
视频展示模块450适于：展示处理后的直播视频。
根据本发明实施例提供的直播风格化处理装置，图像获取模块获取第一图像，网络获取模块得到与第一图像的风格对应的第二网络，提取模块提取直播视频中的帧图像，视频展示模块利用第二网络对直播视频中的帧图像进行风格化处理，最后展示处理后的直播视频。根据本发明提供的技术方案，能够方便地、实时地对直播视频中的帧图像进行风格化处理，实现了对直播视频的实时风格化处理。
图5示出了根据本发明另一个实施例的直播风格化处理装置的结构框图，如图5所示，该装置包括：图像获取模块510、第一网络训练模块520、网络获取模块530、视频获取模块540、提取模块550、处理模块560和视频展示模块570。
图像获取模块510适于：获取第一图像。
其中，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。第一网络的训练过程通过多次迭代完成。第一网络训练模块520适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像对第一网络进行训练。
可选地，第一网络训练模块520适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
在一个具体实施例中，第一网络训练模块520可包括：提取单元521、生成单元522、处理单元523和更新单元524。
具体地，提取单元521适于：从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。
生成单元522适于：将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。
在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。生成单元522进一步适于：从第一样本图像中提取风格纹理特征；将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
处理单元523适于：利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。
更新单元524适于：根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：
其中，ic为第二样本图像，is为第一样本图像，i为第三样本图像，cp为用于感知内容差别的感知函数，sp为用于感知风格差别的感知函数，
第一网络训练模块520迭代运行，直至满足预定收敛条件。第一网络训练模块520进一步适于：固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。通过上述方式，能够高效地训练得到适用于任意风格图像和任意内容图像的第一网络，从而有效地缩减了训练第一网络所需的时间，提高了第一网络的训练效率。
网络获取模块530适于：将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
由于第一网络是经过第一网络训练模块520训练的，该第一网络能够很好地适用于任意风格图像和任意内容图像，所以网络获取模块530将图像获取模块510所获取的第一图像输入至第一网络训练模块520训练得到的第一网络中，无需再针对该第一图像进行训练，只需在第一网络中进行一次前向传播运算，就能够快速地映射得到与该第一图像的风格对应的第二网络。
视频获取模块540适于：获取直播视频。
提取模块550适于：提取直播视频中的帧图像。
处理模块560适于：利用第二网络对直播视频中的帧图像进行风格化处理。
视频展示模块570适于：展示处理后的直播视频。
在另一种具体实施例中，网络获取模块520可适于：将第一图像上传给服务器，获取服务器将第一图像输入至经过训练的第一网络中所得到并返回的与第一图像的风格对应的第二网络。在这种情况下，直播风格化处理装置可无需包括第一网络训练模块520，具体地，可由服务器对第一网络进行训练，其中，服务器训练第一网络的方式与第一网络训练模块520训练第一网络的方式相同，此处不再赘述。
与现有技术相比，本发明实施例提供的技术方案在经过训练的第一网络中进行一次前向传播运算，就能够快速地映射得到对应的图像转换网络，有效地提高了风格化处理的效率，优化了风格化处理方式；另外，利用图像转换网络方便地、实时地对直播视频中的帧图像进行风格化处理，实现了对直播视频的实时风格化处理。
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的直播风格化处理方法。其中，计算机存储介质可为手机的存储卡、pad的存储卡、电脑的磁盘、摄像设备的存储卡等。
图6示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。其中，计算设备可为手机、pad、电脑、摄像设备、服务器等。
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(communicationsinterface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602，用于执行程序610，具体可以执行上述直播风格化处理方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行上述任意方法实施例中的直播风格化处理方法。程序610中各步骤的具体实现可以参见上述直播风格化处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
- 还没有人留言评论。精彩留言会获得点赞！