视频转换方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于视频处理等场景，尤其涉及视频转换方法、装置、设备、存储介质以及计算机程序产品。


背景技术：

2.在超高清视频技术飞速发展的今天，人们对超高清视频的需求也日益增长。但是目前时长上优秀的超高清内容还是非常匮乏，因此，需要将现有的高清或低清的视频资源通过技术手段转为超高清视频。
3.目前视频转换方案中，同一个神经网络只能实现sdr(standard dynamic range，标准动态范围)视频向hdr(high dynamic range，高动态范围)视频、或者hdr视频向sdr视频的单向转换，而不能实现sdr视频与hdr视频之间的可逆转换。


技术实现要素：

4.本公开提供了一种视频转换方法、装置、设备、存储介质以及计算机程序产品，实现了sdr视频与hdr视频的可逆转换。
5.根据本公开的第一方面，提供了一种视频转换方法，包括：
6.获取待转换的第一视频，并从第一视频中提取第一视频帧；
7.对第一视频帧进行空间变换、亮度映射和色域转换，生成与第一视频帧对应的第二视频帧；
8.基于第二视频帧，生成第二视频；
9.其中，第一视频和第二视频中的一个为标准动态范围视频，另一个为高动态范围视频。
10.根据本公开的第二方面，提供了一种视频转换装置，包括：
11.获取模块，被配置为获取待转换的第一视频，并从第一视频中提取第一视频帧；
12.第一生成模块，被配置为对第一视频帧进行空间变换、亮度映射和色域转换，生成与第一视频帧对应的第二视频帧；
13.第二生成模块，被配置为基于第二视频帧，生成第二视频；
14.其中，第一视频和第二视频中的一个为标准动态范围视频，另一个为高动态范围视频。
15.根据本公开的第三方面，提供了一种电子设备，包括：
16.至少一个处理器；以及
17.与至少一个处理器通信连接的存储器；其中，
18.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面提供的方法。
19.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，计算机指令用于使计算机执行如第一方面提供的方法。
20.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面提供的方法。
21.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：
23.图1示出了可以应用本公开的视频转换方法的示例性系统架构；
24.图2示出了根据本公开的视频转换方法的第一实施例的流程图；
25.图3示出了根据本公开的视频转换方法的第二实施例的流程图；
26.图4示出了根据本公开的视频转换方法中色域转换过程的卷积过程的示意图；
27.图5示出了根据本公开的视频转换方法的第三实施例的流程图；
28.图6示出了根据本公开的视频转换方法的可逆转换模型的一种示意图；
29.图7示出了根据本公开的视频转换装置的一种实施例的结构示意图；
30.图8示出了用来实现本公开实施例的视频转换方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
33.图1示出了可以应用本公开的视频转换方法或视频转换装置的实施例的示例性系统架构100。
34.如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。其中，网络102用以在终端设备101和服务器103之间提供通信链路，可以包括各种连接类型，例如，有线通信链路、无线通信链路或者光纤电缆等等。
35.用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送信息等。终端设备101上可以安装有各种客户端应用。
36.终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
37.服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
38.本公开实施例所提供的视频转换方法一般由服务器103执行，相应地，视频转换装置一般设置于服务器103中。
39.需要说明的是，图1中的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备101、网络102和服务器103。
40.在本公开实施例中，该视频转换方法由服务器103执行，将转换后的视频发送到安装有客户端的终端设备101，例如，发送转换后的视频到安装有相应的视频播放器或者视频播放应用的用户端。
41.图2示出了根据本公开的视频转换方法的一种实施例的流程200，参照图2所示，该视频转换方法包括以下步骤：
42.s201，获取待转换的第一视频，并从第一视频中提取第一视频帧。
43.在本实施例中，视频转换方法的执行主体获取待转换的第一视频，并从第一视频中提取第一视频帧。
44.其中，上述执行主体获取待转换的第一视频的方式，可以是主动从用户端或者网络或者其他服务器等获取，例如，响应于接收到的表征第一视频存储位置的链接，从该链接代表的存储位置主动获取；也可以是被动接收的获取，例如，接收用户发送的第一视频。
45.在本公开实施例中，第一视频可以为标准动态范围视频，也可以为高动态范围视频。
46.上述执行主体可以从第一视频中同时提取若干第一视频帧，例如，从第一视频中提取包括若干第一视频帧的第一视频帧序列，然后依次对第一视频帧序列中的各第一视频帧分别进行转换处理；也可以依次从第一视频中逐个提取第一视频帧并进行转换处理。其中，不同第一视频帧的内容可以相同或不同。
47.s202，对第一视频帧进行空间变换、亮度映射和色域转换，生成与第一视频帧对应的第二视频帧。
48.在本实施例中，视频转换方法的执行主体对第一视频帧进行空间变换、亮度映射和色域转换，然后生成与第一视频帧对应的第二视频帧。
49.需要指出的是，在本公开实施例中，上述空间变换、亮度映射和色域转换的过程都分别是可逆的，也就是说，可以通过上述过程通过第一视频帧生成对应的第二视频帧，也可以通过第二视频帧逆向生成第一视频帧。
50.其中，上述执行主体对第一视频帧进行空间变换、亮度映射和色域转换的顺序并不一定按照上述文字描述的顺序进行。
51.例如，若第一视频帧为标准动态范围视频帧，第二视频帧为高动态范围视频帧，则上述执行主体对第一视频帧的处理顺序可以依次为空间变换、亮度映射、色域转换，也可以依次为空间变换、色域转换、亮度映射。
52.再例如，若第一视频帧为高动态范围视频帧，第二视频帧为标准动态范围视频帧，则上述执行主体对第一视频帧的处理顺序可以依次为色域转换、亮度映射、空间变换，也可以依次为亮度映射、色域转换、空间变换。
53.在本实施例中，通过空间变换实现第一视频帧的空间分辨率的调整，通过亮度映射实现第一视频帧的亮度调整，通过色域转换改变第一视频帧的色域，从而完成第一视频帧向其对应的第二视频帧的转换。
54.s203，基于第二视频帧，生成第二视频。
55.在本实施例中，视频转换方法的执行主体基于步骤s202中生成的第二视频帧，生成第二视频。由于第二视频帧与第一视频帧相对应，因此所生成的第二视频与第一视频相对应，从而完成将第一视频转换为与第一视频对应的第二视频。
56.需要指出的是，在本公开实施例提供的视频转换方法中，第一视频和第二视频中的一个为标准动态范围视频(sdr视频)，另一个为高动态范围视频(hdr视频)。例如，若获取的第一视频为sdr视频，则转换后生成的第二视频为hdr视频；若获取的第一视频为hdr视频，则转换后生成的第二视频为sdr视频。
57.本公开实施例提供的视频转换方法，通过对待转换的第一视频的第一视频帧进行可逆的空间变换、亮度映射和色域转换，生成与第一视频对应的第二视频，提升转换精度和准确性；通过上述过程，可实现标准动态范围视频与高动态范围视频之间的可逆转换，简化转换过程。
58.图3示出了根据本公开的视频转换方法的第二种实施例的流程300，参照图3所示，在本实施例中，第一视频为标准动态范围视频(sdr视频)，第二视频为高动态范围视频(hdr视频)，该视频转换方法包括以下步骤：
59.s301，获取待转换的第一视频，并从第一视频中提取第一视频帧。
60.在本实施例中，视频转换方法的执行主体，获取待转换的第一视频，并从第一视频中提取第一视频帧。其中，第一视频为sdr视频，因此，第一视频帧为sdr视频帧。
61.步骤s301与图2所示实施例的步骤s201基本一致，具体实现方式可以参考前述对步骤s201的描述，此处不再赘述。
62.s302，获取第一视频帧的空间维度信息。
63.在本实施例中，视频转换方法的执行主体获取步骤s301中提取的第一视频帧的空间维度信息，以便于基于第一视频帧的空间维度信息，完成对第一视频帧的空间变换。
64.示例性地，第一视频帧的空间维度信息包括第一视频帧的特征的宽度信息、高度信息、通道信息等。
65.s303，基于第一视频帧的空间维度信息，生成第一视频帧的通道维度信息。
66.在本实施例中，视频转换方法的执行主体基于第一视频帧的空间维度信息，生成第一视频帧的通道维度信息。
67.其中，第一视频帧的通道维度信息中特征的通道数是第一视频帧的空间维度信息中特征的通道数的整数倍。
68.本公开实施例通过对第一视频帧的空间维度信息进行变换，增加第一视频帧的特征的通道数，有效提升第一视频帧的分辨率，为将sdr视频帧转换为hdr视频帧提供分辨率支持，保证转换后的hdr视频帧的分辨率，提升转换精度和准确性。
69.在本公开实施例的一些可选的实现方式中，对第一视频帧的空间维度信息进行下采样，生成第一视频帧的通道维度信息。
70.示例性地，可以通过经训练后的具有空间变换功能的卷积神经网络，实现第一视频帧的空间维度信息向通道维度信息的变换。
71.例如，若第一视频帧的空间维度信息包括h
×w×
t，其中，h为第一视频帧的特征高度，w为第一视频帧的特征宽度，t为第一视频帧的特征通道数；该具有空间变换功能的卷积
神经网络的输入为y，则y∈rh×w×
t
，rh×w×
t
代表h
×w×
t的空间；其输出y
′
则为示例性地，y
′
i,j,0
＝y
2i,2j
，y
′
i,j,1
＝y
2i,2j+1
，y
′
i,j,2
＝y
2i+1,2j
，y
′
i,j,3
＝y
2i+1,2j+1
，其中，，其中，
72.其中，y
′
i,j,0
为第0通道上高度位置为i、宽度位置为j的特征的通道维度信息信息。
73.以第一视频帧的空间维度信息中的特征通道数t＝1为例，将该第一视频帧的空间维度信息输入卷积神经网络后，输出通道维度信息包括通道数为4、特征宽度为w/2、特征高度为h/2。
74.在上述的空间维度信息向通道维度信息变换的过程中，第一视频帧的像素数不变，通道数提升为原来的4倍，特征宽度和特征高度均缩为原来的1/2，因此，经过该卷积神经网络的变换，可以使得第一视频帧的分辨率提升为原来的4倍，达到提升第一视频帧的分辨率的技术效果。
75.需要指出的是，上述空间变换过程为可逆过程，即根据第一视频帧的空间维度信息生成通道维度信息后，还可以根据该通道维度信息逆向生成空间维度信息。
76.s304，对通道维度信息进行亮度映射和色域转换，生成第二视频帧。
77.在本实施例中，视频转换方法的执行主体通过对步骤s303中生成的通道维度信息进行亮度映射和色域转换，生成第二视频帧。
78.需要指出的是，在本实施例中，对通道维度信息进行亮度映射和色域转换的顺序可以任意执行，例如，可以先进行亮度映射，再执行色域转换，也可以先进行色域转换，再执行亮度映射。
79.其中，对上述通道维度信息进行亮度映射，可以通过对第一视频帧的通道维度信息进行特征提取实现，用以模拟静态hdr图像的成像过程。例如，对通道维度信息进行亮度信息提取。示例性地，可以通过提取通道维度信息中的亮度信息，模拟由一张sdr图像生成多张曝光程度不同的sdr图像，然后由该多张曝光程度不同的sdr图像融合成一张hdr图像，从而实现sdr视频帧向hdr视频帧转换。
80.需要指出的是，上述亮度映射过程为可逆过程。也就是说，该亮度映射过程可以如上述的根据一张sdr图像，通过特征提取静态模拟生成hdr图像，也可以根据一张hdr图像，通过对应的特征分解来逆向静态模拟一张sdr图像。
81.在一个可选的示例性实施例中，可以利用经训练后的具有特征提取作用的卷积神经网络实现上述亮度映射过程。示例性地，该卷积神经网络可以具有若干卷积层，用以通过卷积的方式进行特征提取，保证特征提取精度，即保证亮度映射精度。也就是说，将sdr视频帧的通道维度信息输入该具有特征提取作用的卷积神经网络中，可输出进行亮度映射后的通道维度信息，可据以生成hdr视频帧。
82.其中，对上述通道维度信息进行色域转换，是为了实现sdr视频帧的色域向hdr视频帧的色域的转换过程，即实现bt709色域向bt2020色域的转换。
83.示例性地，色域转换也通过具有若干卷积层的卷积神经网络实现，采用层层递进的方式完成色域转换。
84.图4示出了一个可选的实施例中的色域转换过程的卷积过程400的示意图，如图4所示，在本实施例中，若经过上述亮度映射后的通道维度信息为qh×w×m，其中m为通道数。在
色域转换过程中，可以将该通道维度信息分为两组，包括：sa＝qh×w×
[0:a]
和sb＝qh×w×
[a:m]
，a为通道数，且0≤a≤m。假设在亮度映射过程中一共有k层映射，则在色域转换过程中的第k层和第k+1层关系可以用公式表达如下：
[0085][0086][0087]
式中，为卷积过程中第k层的通道维度信息，为对卷积后的第k+1层的通道维度信息。
[0088]
例如，在计算时，通过θ卷积层对进行卷积之后求其δ函数的exp函数，并与相乘后，与利用μ卷积层对的卷积结果相加。其中，δ函数为激活函数。
[0089]
其中，k+1≤k。
[0090]
经上述层层卷积之后，输出的为将sa与sb的卷积结果连接后的信息，表征第二视频帧的通道维度信息，据此可生成第二视频帧。例如，可以通过concat函数对两组卷积结果进行合并，生成第二视频帧。
[0091]
需要指出的是，在本实施例中，各卷积层的参数不共享。例如，在计算时，对采用的卷积层包括θ卷积层和μ卷积层；在计算时，对采用的卷积层包括v卷积层和λ卷积层。
[0092]
在本公开实施例中，上述色域转换过程为可逆过程，即上述卷积过程可以逆执行。也就是说，可以根据针对第二视频帧进行逆向色域转换和逆向的亮度映射之后，生成上述第一视频帧的通道维度信息。
[0093]
s305，基于第二视频帧，生成第二视频。
[0094]
在本实施例中，视频转换方法的执行主体，基于步骤s304中生成的第二视频帧，生成第二视频，该第二视频与第一视频相对应。
[0095]
例如在本实施例中，第一视频为sdr视频，则最终生成的第二视频为hdr视频。
[0096]
步骤s305与图2所示实施例的步骤s203基本一致，具体实现方式可以参考前述对步骤s203的描述，此处不再赘述。
[0097]
在本公开实施例中，上述执行主体根据提取的sdr视频帧的空间维度信息，生成通道维度信息，提升第一视频帧的分辨率，然后对该通道维度信息进行亮度映射和色域转换，提升第一视频帧的亮度，并将第一视频帧由bt709色域转换为bt2020色域，生成与hdr视频帧，并据此生成hdr视频，完成sdr视频到hdr视频的转换，提升转换精度和准确性。
[0098]
图5示出了本公开的视频转换方法的一种实施例的实施流程500，在本实施例中，第二视频为标准动态范围视频，第一视频为高动态范围视频。参照图5所示，该视频转换方法包括以下步骤：
[0099]
s501，获取待转换的第一视频，并从第一视频中提取第一视频帧。
[0100]
在本实施例中，视频转换方法的执行主体获取待转换的第一视频，例如从服务器或者用户终端获取第一视频，然后从第一视频中提取第一视频帧，便于对第一视频帧进行处理，完成第一视频向第二视频的转换。其中，第一视频为hdr视频，因此，第一视频帧为hdr视频帧。
[0101]
步骤s501与图2所示实施例的步骤s201基本一致，具体实现方式可以参考前述对步骤s201的描述，此处不再赘述。
[0102]
s502，对第一视频帧进行亮度映射和色域转换，得到第一视频帧的通道维度信息。
[0103]
在本实施例中，视频转换方法的执行主体对步骤s501中提取的第一视频帧进行亮度映射和色域转换，得到第一视频帧的通道维度信息。
[0104]
其中，亮度映射和色域转换的顺序不分先后，即，可以先进行亮度映射，再进行色域转换，也可以先进行色域转换，再进行亮度映射。
[0105]
其中，对第一视频帧进行色域转换的过程，即把第一视频帧的色域由bt2020色域转换为bt709色域的过程。该过程为图3所示实施例中步骤s304中的色域转换过程的逆执行过程，即图4所示的卷积过程400的逆执行过程。也就是说，该过程为图4中箭头所示方向的反向执行卷积计算的过程，即由向卷积计算的过程。
[0106]
其具体计算过程可参照前述关于图4所示卷积过程400的相关说明，在此不再赘述。
[0107]
对第一视频帧进行亮度映射，即为图3所示实施例中步骤s304中的亮度映射过程的逆执行过程，即把第一视频帧的亮度信息通过特征分解的方式，调整到第二视频帧的亮度信息。例如，可以通过卷积神经网络进行亮度信息的提取和分解来实现。
[0108]
s503，基于第一视频帧的通道维度信息，生成第一视频帧的空间维度信息。
[0109]
在本实施例中，视频转换方法的执行主体基于在步骤s502中生成第一视频帧的通道维度信息，生成第一视频帧的空间维度信息，以降低第一视频帧的空间分辨率，提升转换精度和准确性。
[0110]
步骤s503的执行过程可参考图3所示实施例的步骤s302中的描述，是针对步骤s302的逆过程，即步骤s302中的输出相当于步骤s503中的输入，步骤s302中的输入相当于步骤s503中的输出。
[0111]
也就是说，在本公开实施例中，可以将通道数为4t、特征宽度为w/2、特征高度为h/2的通道维度信息，变换为通道数为t、特征宽度为w、特征高度为h的空间维度信息，降低第一视频帧的空间分辨率，完成hdr视频帧的空间分辨率向sdr视频帧的空间分辨率的变换。
[0112]
s504，根据第一视频帧的空间维度信息，生成第二视频帧。
[0113]
在本实施例中，视频转换方法的执行主体根据步骤s503中生成的第一视频帧的空间维度信息，生成第二视频帧。
[0114]
上述执行主体根据将空间分辨率变换至sdr视频帧空间分辨率后的空间维度信息，可直接生成对应的sdr视频帧。
[0115]
s505，基于第二视频帧，生成第二视频。
[0116]
在本实施例中，视频转换方法的执行主体，基于步骤s504中生成的第二视频帧，生成第二视频，该第二视频与第一视频相对应，即生成与hdr视频相对应的sdr视频。
[0117]
步骤s505与图2所示实施例的步骤s203基本一致，具体实现方式可以参考前述对步骤s203的描述，此处不再赘述。
[0118]
在本公开实施例中，通过对hdr视频帧进行亮度映射、色域转换和空间变换，生成sdr视频帧，并据以生成sdr视频，完成了hdr视频向sdr视频的转换，是图3所示实施例的逆过程。可见，本公开实施例提供的视频转换方法可以完成sdr视频与hdr视频之间的相互转
换，即能够执行sdr视频与hdr视频之间的可逆转换，提升转换精度和准确性，简化转换过程。
[0119]
在一个可选的实施例中，对第一视频帧进行空间变换、亮度映射和色域转换，生成与第一视频帧对应的第二视频帧，可以通过经预先训练后的卷积神经网络模型来实现。示例性地，该卷积神经网络模型可以为可逆转换模型。在实施过程中，将第一视频帧输入预先训练的可逆转换模型，即可生成对应的第二视频帧。
[0120]
图6示出了本公开的视频转换方法中的可逆转换模型600的一种示意图，参照图6所示，该可逆转换模型600包括空间变换模块601、亮度映射模块602和色域转换模块603。其中，空间变换模块601、亮度映射模块602和色域转换模块603均为可逆向执行的模块。也就是说，空间变换模块601、亮度映射模块602和色域转换模块603各自的输出端也可以执行输入、输入端也可以执行输出，且其具体执行过程也是可逆的。
[0121]
在将第一视频帧输入预先训练的可逆转换模型600后，可逆转换模型600执行以下过程：
[0122]
响应于第一视频为标准动态范围视频(sdr视频)，通过空间变换模块601将第一视频帧的空间维度信息变换为通道维度信息，并通过亮度映射模块602和色域转换模块603对通道维度信息进行亮度映射和色域转换，生成第二视频帧；且上述执行过程在第一损失函数的监督下执行；
[0123]
响应于第一视频为高动态范围视频(hdr视频)，通过亮度映射模块602和色域转换模块603对第一视频帧进行亮度映射和色域转换，得到第一视频帧的通道维度信息，并通过空间变换模块601将第一视频帧的通道维度信息变换为空间维度信息，生成第二视频帧，此执行过程在第二损失函数的监督下执行。
[0124]
需要指出的是，在执行过程中，空间变换模块601的执行顺序按照图示箭头所指方向的顺序执行，而色域转换模块603和亮度映射模块602的执行顺序可以按照图示箭头所指的顺序执行，也可以不按照图示顺序执行。
[0125]
在本公开实施例中，通过可逆转换模型可以实现sdr视频帧与hdr视频帧的可逆转换，也就是说，通过同一个可逆转换模型既可以将sdr视频帧转换为hdr视频帧，也可以将hdr视频帧转换为sdr视频帧，从而实现sdr视频与hdr视频的可逆转换，简化转换过程。
[0126]
在本实施例中，上述可逆转换模型是通过如下方法训练得到的：
[0127]
获取样本视频帧，样本视频帧包括多个标准动态范围视频帧和多个高动态范围视频帧，多个高动态范围视频帧与多个标准动态范围视频帧一一对应；
[0128]
将多个标准动态范围视频帧作为输入样本，将多个高动态范围视频帧作为输出样本，并将空间变换模块作为模型入口，对可逆转换模型训练；
[0129]
将多个高动态范围视频帧作为输入样本，将多个标准动态范围视频帧作为输出样本，并将空间变换模块作为模型出口，对可逆转换模型训练；
[0130]
响应于可逆转换模型的损失函数满足预设条件，得到训练完成的可逆转换模型。
[0131]
示例性地，该可逆转换模型的损失函数包括第一损失函数和第二损失函数，其中，第一损失函数用于，多个标准动态范围视频帧作为输入样本时训练过程的收敛；第二损失函数用于，多个高动态范围视频帧作为输入样本时训练过程的收敛。
[0132]
在本公开实施例中，通过第一损失函数和第二损失函数分别收敛不同转换方向的
训练过程，可以有效保证训练后的可逆转换模型在两个转换方向上的转换精度和转换效果。
[0133]
在本公开实施例的一个可选实施方式中，第一损失函数采用l2范数，第二损失函数采用l2范数，用以有效防止训练过程过拟合，提升可逆转换模型的泛化能力。
[0134]
采用本公开实施例中的训练方法对可逆转换模型进行训练，有效保证可逆转换模型的拟合精度和转换效果，确保使用该可逆转换模型对sdr视频帧或hdr视频帧的转换效果，进而保证sdr视频与hdr视频之间的转换效果。
[0135]
作为对上述各图所示方法的实现，图7示出了根据本公开的视频转换装置的一个实施例。该视频转换装置与图2所示的方法实施例相对应，该装置可以应用于各种电子设备中。
[0136]
参照图7所示，该视频转换装置700包括：获取模块701、第一生成模块702和第二生成模块703。其中，
[0137]
获取模块701被配置为，获取待转换的第一视频，并从第一视频中提取第一视频帧；第一生成模块702被配置为，对第一视频帧进行空间变换、亮度映射和色域转换，生成与第一视频帧对应的第二视频帧；第二生成模块703被配置为，基于第二视频帧，生成第二视频。其中，第一视频和第二视频中的一个为标准动态范围视频，另一个为高动态范围视频。
[0138]
在本实施例中，视频转换装置700中，获取模块701、第一生成模块702和第二生成模块703的具体处理及其所带来的技术效果，可分别参考图2对应实施例中的步骤s201-s203的相关说明，在此不再赘述。
[0139]
在本公开实施例的一些可选的实现方式中，若第一视频为标准动态范围视频，第二视频为高动态范围视频，第一生成模块包括第一获取子模块、第一生成子模块和第二生成子模块。其中，第一获取子模块被配置为，获取第一视频帧的空间维度信息；第一生成子模块被配置为，基于第一视频帧的空间维度信息，生成第一视频帧的通道维度信息；第二生成子模块被配置为，对通道维度信息进行亮度映射和色域转换，生成第二视频帧。
[0140]
在本实施例中，视频转换装置700中，第一获取子模块、第一生成子模块和第二生成子模块的具体处理及其所带来的技术效果，可分别参考图3对应实施例中的步骤s302-s304的相关说明，在此不再赘述。
[0141]
在本公开实施例的一些可选的实现方式中，第一生成子模块被配置为，对第一视频帧的空间维度信息进行下采样，生成第一视频帧的通道维度信息。
[0142]
在本公开实施例的一些可选的实现方式中，若第二视频为标准动态范围视频，第一视频为高动态范围视频，第一生成模块包括第一得到子模块、第三生成子模块和第四生成子模块。其中，第一得到子模块被配置为，对第一视频帧进行亮度映射和色域转换，得到第一视频帧的通道维度信息；第三生成子模块被配置为，基于第一视频帧的通道维度信息，生成第一视频帧的空间维度信息；第四生成子模块被配置为，根据第一视频帧的空间维度信息，生成第二视频帧。
[0143]
在本实施例的视频转换装置700中，第一得到子模块、第三生成子模块和第四生成子模块的具体处理及其所带来的技术效果，可分别参考图5对应实施例中的步骤s502-s504的相关说明，在此不再赘述。
[0144]
在本公开实施例的一些可选的实现方式中，第一生成模块被配置为，将第一视频
帧输入预先训练的可逆转换模型，其中，可逆转换模型包括空间变换模块、亮度映射模块和色域转换模块；响应于第一视频为标准动态范围视频，通过空间变换模块将第一视频帧的空间维度信息变换为通道维度信息，并通过亮度映射模块和色域转换模块对通道维度信息进行亮度映射和色域转换，生成第二视频帧；响应于第一视频为高动态范围视频，通过亮度映射模块和色域转换模块对第一视频帧进行亮度映射和色域转换，得到第一视频帧的通道维度信息，并通过空间变换模块将第一视频帧的通道维度信息变换为空间维度信息，生成第二视频帧。
[0145]
在本实施例的视频转换装置中，第一生成模块的具体处理及其所带来的技术效果，可参考图6所对应实施例中的相关说明，在此不再赘述。
[0146]
在本公开实施例的一些可选的实现方式中，可逆转换模型是通过如下方法训练得到的：
[0147]
获取样本视频帧，样本视频帧包括多个标准动态范围视频帧和多个高动态范围视频帧，多个高动态范围视频帧与多个标准动态范围视频帧一一对应；
[0148]
将多个标准动态范围视频帧作为输入样本，将多个高动态范围视频帧作为输出样本，并将空间变换模块作为模型入口，对可逆转换模型训练；
[0149]
将多个高动态范围视频帧作为输入样本，将多个标准动态范围视频帧作为输出样本，并将空间变换模块作为模型出口，对可逆转换模型训练；
[0150]
响应于可逆转换模型的损失函数满足预设条件，得到训练完成的可逆转换模型。
[0151]
根据本公开的实施例，本公开还提供了一种电子设备、一种存储有计算机指令的非瞬时计算机可读存储介质和一种计算机程序产品。
[0152]
其中，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述视频转换方法。
[0153]
在一些实施例中，一种存储有计算机指令的非瞬时计算机可读存储介质中，计算机指令用于使计算机执行上述视频转换方法。
[0154]
在一些实施例中，一种计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现上述视频转换方法。
[0155]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0156]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0157]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；
输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0158]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如视频转换方法。例如，在一些实施例中，视频转换方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的视频转换方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频转换方法。
[0159]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0160]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0161]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0162]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0163]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0164]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0165]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0166]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。