视频处理方法、数据处理设备及存储介质与流程
本申请涉及视频技术领域，尤其涉及视频处理方法、数据处理设备及存储介质。
背景技术：
随着视频显示技术的发展，用户对视频显示效果的要求越来越高。高动态范围(higherdynamicrange，缩写为hdr)的显示方式可以比标准动态范围(standarddynamicrange，缩写为sdr)的显示方式提供更逼真的画面显示。hdr格式的视频具有宽色域和高的对比度。hdr的应用也越来越广泛。然而，有很大部分的视频采用sdr的片源。如何将sdr视频的画面效果提高为hdr的画面效果是一个需要解决的问题。
技术实现要素：
本申请提出了一种视频处理方案，能够提高画面内容的动态范围。
根据本申请一方面，提供一种视频处理方法，包括：获取标准动态范围的第一视频；将所述第一视频中图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第二视频；以及基于经过训练的图像调节模型，将所述第二视频调节为高动态范围的第三视频。
根据本申请一方面，提供一种数据处理设备，包括：处理器和存储器，所述处理器用于：获取标准动态范围的第一视频；将所述第一视频中图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第二视频；基于经过训练的图像调节模型，将所述第二视频调节为高动态范围的第三视频。
根据本申请一方面，提供一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由数据处理设备执行时，使得所述数据处理设备执行本申请的视频处理方法。
综上，根据本申请的视频处理方案可以基于经过训练的颜色调节模型，对sdr片源的视频内容进行颜色调节(也可以称为颜色拉伸)，从而得到具有高动态范围和更丰富颜色的hdr视频。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一些实施例的应用场景100的示意图；
图2示出了根据本申请一些实施例的视频处理方法200的流程图；
图3a示出了根据本申请一些实施例的获取第二视频的方法300的流程图；
图3b示出了根据本申请一些实施例的色品图；
图4示出了根据本申请一些实施例的将图像帧的颜色空间转换为标准颜色空间的方法400的流程图；
图5示出了根据本申请一些实施例的根据第九图像帧生成第二视频的方法500的流程图；
图6示出了根据本申请一些实施例的将第二视频调节为高动态范围的第三视频的方法600的流程图；
图7示出了根据本申请一些实施例的视频处理方法700的流程图；
图8a示出了根据本申请一些实施例的一个样本的第一图像帧；
图8b示出了根据本申请一些实施例的一个样本的第二图像帧；
图9示出了根据本申请一些实施例的训练图像调节模型的方法900的流程图；
图10示出了根据本申请一些实施例的确定第三图像帧中各像素点的颜色调节参数的方法1000的流程图；
图11a示出了根据本申请一些实施例的确定第三图像帧中各像素点的颜色调节参数的方法1100的流程图；
图11b示出了根据本申请一些实施例的第一神经网络的示意图；
图11c示出了根据本申请一些实施例的利用第二深度神经网络1020、第三深度神经网络1030和第四深度神经网络1040提取第四特征图的示意图；
图11d示出了根据本申请一些实施例的第五神经网络1050的示意图；
图11e示出了根据本申请一些实施例的输出颜色调节参数的示意图；以及
图12示出了一个数据处理设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一些应用场景中，各种用户设备可以支持高动态范围的视频播放。在一些实施例中，视频内容的片源格式为标准动态范围。为了在支持hdr的设备中播放原始片源为sdr的视频内容，用户可以将标准动态范围的视频进行颜色空间的转换操作，以得到hdr格式的视频。这里，转换操作得到的hdr格式的视频与原sdr的视频的动态范围实际上一致。换言之，转换操作仅仅是转换播放格式，并没有对原sdr视频中图像帧的颜色信息进行调节。在一些实施例，用户可以基于对颜色调节的经验确定色调映射参数，然后对转换操作得到的hdr格式的视频中各像素点进行颜色调节，以提高视频内容的动态范围和提高图像细节与真实场景的一致性。然而，根据经验所确定的色调映射参数的调节效果有待提高。例如，根据经验确定色调映射参数的调节效果不稳定，容易出现过度曝光、亮度调节结果与真实场景不一致等问题。
图1示出了根据本申请一些实施例的应用场景100的示意图。
如图1所示，应用场景100可以包括服务系统102和用户设备104(例如用户设备104a和104b等)。服务系统102可以通过一个或多个网络106与一个或多个用户设备104通信。用户设备104可以支持hdr格式的视频播放。用户设备104可以包括但不限于掌上型计算机、可穿戴数据处理设备、个人数字助理(pda)、平板计算机、笔记本电脑、台式计算机、移动电话、智能手机、增强型通用分组无线业务(egprs)移动电话、媒体播放器、导航设备、游戏控制台、电视机、或任意两个或更多的这些数据处理设备或其他数据处理设备的组合。服务系统102可以向用户设备104提供视频、图片等多媒体内容。服务系统102可以包括一个或多个服务器。
一个或多个网络106的示例包括局域网(lan)和广域网(wan)等等。在一些实施例中，本申请的实施例可以使用任意网络协议来实现一个或多个网络106，包括各种有线或无线协议，诸如，以太网、通用串行总线(usb)、firewire、全球移动通讯系统(gsm)、增强数据gsm环境(edge)、码分多址(cdma)、时分多址(tdma)、蓝牙、wifi、ip语音(voip)，wi-max，或任意其他适合的通信协议。
在一些实施例中，服务系统102可以将sdr的视频转换为hdr的视频。用户设备104可以播放从服务系统102获取的hdr的视频。
在一些实施例中，用户设备104可以从服务系统102获取sdr的视频。另外，用户设备104也可以从服务系统102以外的设备(例如与用户设备104耦接的视频存储设备等等)获取sdr的视频。用户设备104可以在本地将sdr的视频转换为hdr的视频。
图2示出了根据本申请一些实施例的视频处理方法200的流程图。视频处理方法200例如可以由服务系统102或者用户设备104等数据处理设备执行。
如图2所示，在步骤s201中，获取标准动态范围(sdr)的第一视频。在一些实施例中，sdr的第一视频中图像帧具有窄色域(narrowcolorgamut，缩写为ncg)。这里，窄色域例如是rec709类型的色域或者srgb类型的色域等等。第一视频中图像帧的动态范围例如是[0,100]尼特。
在步骤s202中，将第一视频中图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第二视频。高动态范围的色域也可以称为宽色域(widecolorgamut，缩写为wcg)。宽色域例如是bt2020或dci-p3等类型的色域。其中，与高动态范围的色域对应的颜色空间例如可以是宽色域的yuv4:2:0、宽色域的yuv4:4:4等颜色空间。
在步骤s203中，基于经过训练的图像调节模型，将第二视频调节为高动态范围的第三视频。这里，图像调节模型可以是各种深度神经网络模型。
综上，视频处理方法200可以通过经过训练的颜色调节模型，对sdr片源的视频内容进行颜色调节(也可以称为颜色拉伸)，可以避免根据经验确定色调映射参数的调节效果不稳定的问题，而可以得到具有高动态范围和更丰富的颜色的hdr视频。
在一些实施例中，步骤s202可以实施为方法300。
如图3a所示，对于第一视频中任一个图像帧，方法300可以执行步骤s301，将图像帧的颜色空间转换为标准颜色空间，得到第五图像帧。这里，标准颜色空间是指cie1931-xyz。cie1931-xyz为标准色度系统，是色度计算、颜色测量和颜色表征的统一标准。标准颜色空间可以作为不同色域的颜色空间的转换桥梁。步骤s301通过将图像帧转换为第五图像帧，可以便于后续将第五图像帧转换为需要的色域格式。
在步骤s302中，将第五图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第九图像帧。换言之，步骤s302可以将第五图像帧的颜色空间转换为宽色域的颜色空间。颜色空间转换后得到的图像帧为第九图像帧。例如，步骤s302可以将第五图像帧的颜色空间转换为具有bt2020类型的色域的rgb空间。例如，图3b示出了根据本申请一些实施例的色品图。如图3b所示，区域301表示标准颜色空间的色域，区域302表示宽色域，区域303表示窄色域。第一视频中任一图像帧的颜色空间对应的色域为区域303，第五图像帧的颜色空间对应的色域为区域301，第九图像帧的颜色空间对应的色域为302。
在步骤s303中，根据第九图像帧，生成第二视频。具体而言，步骤s303可以根据第一视频中各图像帧对应的第九图像帧，生成第二视频。步骤s303可以根据第二视频的位深度和颜色空间的要求，对第九图像帧进行格式转换。第二视频可以采用表示高动态范围的位深度，例如10或12位。第二视频的颜色空间例如为yuv4:2:0。步骤s303可以将第九图像帧调节为10或12位的位深度和转换为yuv4:2:0，从而得到第二视频。
综上，方法300可以通过对第一视频中的图像帧进行颜色空间转换从而得到标准颜色空间的第五图像帧，进而将第五图像帧转换为宽色域第九图像帧，进而可以根据第九图像帧得到第二视频。简言之，方法300可以将待调节的标准动态范围的第一视频转换为待颜色调节的采用高动态范围的第二视频，从而为后续颜色调节完成预处理操作。
在一些实施例中，步骤s301可以实施为方法400。
如图4所示，在步骤s401中，将图像帧的颜色空间转换为红绿蓝(rgb)颜色空间，得到第六图像帧。第一视频用于在各种用户设备104中播放，颜色空间格式例如采用yuv格式。为了后续对图像帧的色域进行转换，步骤s401可以将图像帧的颜色空间转换为rgb颜色空间。
在步骤s402中，将第六图像帧在红绿蓝颜色空间中的各颜色分量(即红色分量、绿色分量和蓝色分量)转换为浮点数格式，得到第七图像帧。步骤s402通过将颜色分量表示为浮点数格式，可以便于后续调节颜色的位深度(即调节颜色的表示精度)。
在步骤s403中，对第七图像帧进行电光转换，得到第八图像帧。步骤s403可以基于电光转换函数(electro-opticaltransferfunction，缩写为eotf)进行电光转换。由于第一视频中图像帧符合sdr标准，步骤s403可以采用与sdr对应的的电光转换函数(例如反伽马校正函数)，将第七图像帧从非线性颜色空间向线性颜色空间转换，从而得到线性颜色空间的第八图像帧。
在步骤s404中，将第八图像帧的颜色空间转换为标准颜色空间，得到第五图像帧。第五图像帧具有标准颜色空间。综上，方法400可以将第一视频中各图像帧的颜色空间转换为标准颜色空间，以便后续调节颜色空间的色域。
在一些实施例中，步骤s303可以实施例为方法500。
在步骤s501中，对第九图像帧进行感知量化(perceptualquantizer，缩写为pq)方式的光电转换，得到第十图像帧。这里，pq也可以称为smptest2084，是一种非线性的光电转换函数(optical-electrotransferfunction)。pq方式的光电转换可以将第九图像帧的宽色域的线性颜色空间转换为宽色域的非线性颜色空间，从而得到宽色域的非线性颜色空间的第十图像帧。
在步骤s502中，将第十图像帧的颜色的位深度表示为与高动态范围对应的位深度，得到第十一图像帧。这里，与高动态范围对应的位深度例如为10位或者12位。
在步骤s503中，将由第一视频的各图像帧得到的各第十一图像帧转换为目标颜色空间的格式，得到第二视频。由第一视频的图像帧得到的第十一图像帧的颜色空间例如为rgb格式，目标颜色空间格式例如为yuv。步骤s503可以将第十一图像帧的rgb格式转换为yuv格式，从而得到第二视频。综上，方法300可以将sdr格式的第一视频转换为待调节颜色的hdr格式的第二视频。
在一些实施例中，对于第二视频中任一个图像帧，步骤s203可以执行方法600。
如图6所示，在步骤s601中，利用图像调节模型确定图像帧中各像素点的颜色调节参数。
在步骤s602中，对于第二视频中任一个图像帧，利用图像帧中各像素点的颜色调节参数，调节图像帧中各像素点的颜色，得到与第二视频对应的第三视频。综上，通过方法600，步骤s203可以对各图像帧的颜色进行校正，从而使得第三视频比第二视频具有更高的对比度(即，具有更高的亮度范围)和更宽的颜色范围(即具有更丰富的颜色层次)。需要说明的是，颜色调节模型可以是各种深度神经网络模型。颜色调节模型例如可以是深度残差网络(deepresidualnetwork,缩写为resnet)、深度强化学习(deepreinforcementlearning，缩写为drl)或者生成式对抗网络(generativeadversarialnetworks,缩写为gan)等模型。综上，通过利用由深度神经网络模型训练得到的颜色调节模型，方法600可以使得颜色调节效果更加逼近于真实场景(即，更加真实的还原所拍摄的画面)
图7示出了根据本申请一些实施例的视频处理方法700的流程图。视频处理方法700例如可以由服务系统102或者用户设备104等数据处理设备执行。
如图7所示，在步骤s701中，获取用于训练图像调节模型的样本集合。其中，样本集合中任一个样本包括标准动态范围的第一图像帧和高动态范围的第二图像帧。第一图像帧的画面内容和第二图像帧的画面内容相同。例如，图8a示出了一个样本的第一图像帧，图8b示出了一个样本的第二图像帧。尽管被显示为黑白图像，图8a和图8b中图像帧实际上可以是彩色图像。与图8a第一图像帧相比，图8b的第二图像帧具有更高的动态范围(即更高的对比度)和更丰富的颜色(即更高的色域)。
在步骤s702中，利用样本集合，训练图像调节模型。这里，步骤s702可以利用样本集合，训练深度神经网络模型，以得到经过训练的图像调节模型。所训练的深度神经网络模型例如可以是深度残差网络、深度强化学习或者生成式对抗网络等模型。
另外，视频处理方法700还包括步骤s703-s705。这里，步骤s703-s705的实施方式与步骤s201-s203一致，这里不再赘述。
综上，基于大量的样本集合，方法700可以对图像调节模型进行训练，从而可以提高图像调节模型的鲁棒性，进而使得颜色调节效果更稳定。特别是，通过将深度神经网络模型应用到调节视频的动态范围，方法700可以使得颜色调节效果更加逼近于真实场景(即，更加真实的还原所拍摄的画面)。
在一些实施例中，对于样本集合中任一个样本的第一图像帧，步骤s702具体可以实施为方法900。
如图9所示，在步骤s901中，将第一图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第三图像帧。这里，颜色空间的转换方式与上文中步骤s202的实施方式一致，这里不再赘述。
在步骤s902中，利用图像调节模型，确定第三图像帧中各像素点的颜色调节参数。各像素点的颜色调节参数用于将第三图像帧调节为高动态范围。需要说明的是，步骤s702可以通过样本集合中样本逐渐对图像调节模型进行训练。步骤s902可以利用当前的图像调节模型确定颜色调节参数。这里，“当前的图像调节模型”是指步骤s702执行本次方法900之前的已有图像调节模型。
在步骤s903中，利用各像素点的颜色调节参数调节第三图像帧的颜色，得到第四图像帧。这里，调节第三图像帧的颜色也可以称为利用颜色调节参数校正像素点的颜色。
在步骤s904中，根据第二图像帧与第四图像帧的差异，调节图像调节模型的模型参数。在一些实施例中，步骤s904可以基于梯度下降等方式，利用所述差异修正模型参数。综上，方法900可以先通过步骤s901将图像帧的颜色空间转换为hdr对应的色域，然后通过步骤s902-904对图像调节模型进行训练的方式，可以避免模型训练对已有规则(即，将图像帧的颜色空间转换为hdr对应的色域的方式)的误学习，从而提高模型学习的准确度。
在一些实施例中，步骤s902可以实施为方法1000中步骤。如图10示出了根据本申请一些实施例的确定第三图像帧中各像素点的颜色调节参数的方法1000的流程图。
如图10所述，在步骤s1001中，基于图像调节模型，提取第三图像帧的局部特征和全局特征。这里，局部特征是指第三图像帧中的纹理、轮廓和颜色层次信息等细节特征。这里，全局特征可以是与画面场景类别有关的特征信息。画面场景类别例如可以包括人物画面、自然风景、汽车画面和飞机画面等等类别。
在步骤s1002中，确定第三图像帧中各像素点的调节程度。这里，各像素点的调节程度是指对各像素点的色度和亮度的调节程度。
在步骤s1003中，根据第三图像帧中各像素点的调节程度、局部特征和全局特征，确定第三图像帧中各像素点的颜色调节参数。
综上，步骤s1003可以综合考虑各像素点对应的特征信息(即全局特征和局部特征)和颜色调节程度，从而使得各像素点的颜色调节参数可以更逼真还原第三图像帧对应的真实画面。
在一些实施例中，步骤s1001可以实施为方法1100中步骤s1101-s1104。
如图11a所示，在步骤s1101中，基于所述图像调节模型的第一深度神经网络，对所述第三图像帧进行特征提取，得到用于表示第三图像帧的画面特征的第一特征图。这里，第一深度神经网络例如为卷积神经网络，可以对第三图像帧进行初步的特征提取。图11b示出了根据本申请一些实施例的第一神经网络的示意图。这里，第一神经网络1010可以包括卷积层1011、1012和1013。应当理解，第一神经网络1010仅仅为示例性结构，本申请的实施例可以根据需要调节第一神经网络1010的层数。步骤s1101可以生成与第三图像帧p1对应的第一特征图f1。
在步骤s1102中，基于图像调节模型的第二深度神经网络，对第一特征图进行特征提取，得到用于表示第三图像帧的局部特征的第二特征图。这里，局部特征是指第三图像帧中的纹理、轮廓和颜色层次信息等细节特征。
在步骤s1103中基于图像调节模型的第三深度神经网络，对第一特征图进行特征提取，得到用于表示第三图像帧的全局特征的第三特征图。这里，表示全局特征的第三特征图可以是与画面场景类别有关的特征信息。画面场景类别例如可以包括人物画面、自然风景、汽车画面和飞机画面等等类别。
在步骤s1104中，基于图像调节模型的第四深度神经网络，对第二特征图和第三特征图进行特征提取，得到融合局部特征和全局特征的第四特征图。例如，图11c示出了利用第二深度神经网络1020、第三深度神经网络1030和第四深度神经网络1040提取第四特征图的示意图。如图11c所示，第二深度神经网络1020可以包括卷积层1021、1022和1023。第三深度神经网络1030可以包括卷积层1031、1032、1033、1034和1035。第二深度神经网络1020可以生成第二特征图f2，第三深度神经网络1030可以生成第三特征图f3。第四深度神经网络1040可以包括卷积层1041、1042和1043。步骤s1104将第二特征图f2和第三特征图f3作为第四深度神经网络1040的输入，可以由第四深度神经网络1040输出第四特征图f4。
在一些实施例中，步骤s1002可以实施为步骤s1105。在步骤s1105中，基于图像调节模型的第五深度神经网络，对第三图像帧进行特征提取，得到用于表示对第三图像帧中各像素点的调节程度的第五特征图。例如，图11d示出了根据本申请一些实施例的第五神经网络1050的示意图。如图11d所示，第五深度神经网络1050可以包括卷积层1051、1052、1053、1054和1055。步骤s1105将第三图像帧p1输入第五神经网络1050，可以由第五神经网络1050输出第五特征图f5。
在一些实施例中，步骤s1003可以实施为步骤s1106。在步骤s1106中，利用第四特征图和第五特征图，确定第三图像帧中各像素点的颜色调节参数。在一些实施例中，第四特征图可以包括尺寸与第五特征图一致的多个矩阵。第五特征图的尺寸与第三图像帧一致。步骤s1106可以根据下述公式计算第三图像帧中各像素点的颜色调节参数。
例如图11e示出了根据本申请一些实施例的输出颜色调节参数的示意图。步骤s1106可以利用第四特征图f4和第五特征图f5，确定各像素点的颜色调节参数组成的矩阵f6。在一些实施例中，第五特征图f5可以是与第三图像帧的尺寸一致的一个矩阵。第四特征图f4可以包括与第五特征图f5尺寸一致的多个矩阵，例如f7、f8和f9。步骤s1106可以根据上述公式计算第三图像帧中各像素点的颜色调节参数(即确定矩阵f6)。
图12示出了一个数据处理设备的组成结构图。在一些实施例中，数据处理设备1200可以实现为根据本申请的用户设备104。在一些实施例中，数据处理设备1200可以实现为根据本申请的服务系统102。如图12所示，该数据处理设备包括一个或者多个处理器(cpu)1202、通信模块1204、存储器1206、用户接口1210，以及用于互联这些组件的通信总线1208。
处理器1202可通过通信模块1204接收和发送数据以实现网络通信和/或本地通信。
用户接口1210包括一个或多个输出设备1212，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1210也包括一个或多个输入设备1214。用户接口1210例如可以接收遥控器的指令，但不限于此。
存储器1206可以是高速随机存取存储器，诸如dram、sram、ddrram、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1206存储处理器1202可执行的指令集，包括：
操作系统1216，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1218，包括用于实现上述视频处理方法200和700的各种程序。
在一些实施例中，处理器1202可以执行如下操作：获取标准动态范围的第一视频；将所述第一视频中图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第二视频；以及基于经过训练的图像调节模型，将所述第二视频调节为高动态范围的第三视频。
在一些实施例中，处理器1202进一步用于：在将所述第二视频调节为高动态范围的第三视频之前，获取用于训练所述图像调节模型的样本集合，其中，所述样本集合中任一个样本包括标准动态范围的第一图像帧和高动态范围的第二图像帧，所述第一图像帧的画面内容和第二图像帧的画面内容相同；利用所述样本集合，训练所述图像调节模型。
在一些实施例中，处理器1202进一步用于：对于所述样本集合中任一个样本的所述第一图像帧，将所述第一图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第三图像帧；利用所述图像调节模型，确定所述第三图像帧中各像素点的颜色调节参数，所述各像素点的颜色调节参数用于将所述图像帧调节为高动态范围；利用所述各像素点的颜色调节参数调节所述第三图像帧的颜色，得到第四图像帧；根据所述第二图像帧与所述第四图像帧的差异，调节所述图像调节模型的模型参数。
在一些实施例中，处理器1202进一步用于：基于所述图像调节模型，提取所述第三图像帧的局部特征和全局特征；确定所述第三图像帧中各像素点的调节程度；根据所述第三图像帧中各像素点的调节程度、所述局部特征和所述全局特征，确定所述第三图像帧中各像素点的颜色调节参数。
在一些实施例中，为了提取第三图像帧的局部特征和全局特征，处理器1202进一步用于：基于所述图像调节模型的第一深度神经网络，对所述第三图像帧进行特征提取，得到用于表示第三图像帧的画面特征的第一特征图；基于所述图像调节模型的第二深度神经网络，对第一特征图进行特征提取，得到用于表示所述第三图像帧的局部特征的第二特征图；基于所述图像调节模型的第三深度神经网络，对第一特征图进行特征提取，得到用于表示所述第三图像帧的全局特征的第三特征图；基于所述图像调节模型的第四深度神经网络，对第二特征图和第三特征图进行特征提取，得到融合所述局部特征和所述全局特征的第四特征图；
在一些实施例中，为了确定所述第三图像帧中各像素点的调节程度，处理器1202进一步用于：基于所述图像调节模型的第五深度神经网络，对所述第三图像帧进行特征提取，得到用于表示对第三图像帧中各像素点的调节程度的第五特征图。为了确定第三图像帧中各像素点的颜色调节参数，处理器1202进一步用于：利用所述第四特征图和第五特征图，确定所述第三图像帧中各像素点的颜色调节参数。
在一些实施例中，处理器1202进一步用于：对于第一视频中任一个图像帧，将所述图像帧的颜色空间转换为标准颜色空间，得到第五图像帧；将所述第五图像帧的颜色空间转换为与高动态范围的色域对应的颜色空间，得到第九图像帧；根据所述第九图像帧，生成所述第二视频。
在一些实施例中，处理器1202进一步用于：对所述第九图像帧进行感知量化方式的光电转换，得到第十图像帧；将所述第十图像帧的颜色的位深度表示为与所述高动态范围对应的位深度，得到第十一图像帧；将由所述第一视频的各图像帧得到的各所述第十一图像帧转换为目标颜色空间的格式，得到所述第二视频。
在一些实施例中，处理器1202进一步用于：对于所述第一视频中任一个图像帧，将所述图像帧的颜色空间转换为红绿蓝颜色空间，得到第六图像帧；将所述第六图像帧在红绿蓝颜色空间中的各颜色分量转换为浮点数格式，得到第七图像帧；对所述第七图像帧进行电光转换，得到第八图像帧；将所述第八图像帧的颜色空间转换为标准颜色空间，得到所述第五图像帧。
在一些实施例中，所述处理器1202进一步用于：对于第二视频中任一个图像帧，利用所述图像调节模型确定所述图像帧中各像素点的颜色调节参数；利用所述图像帧中各像素点的颜色调节参数，调节所述图像帧中各像素点的颜色，得到所述第三视频。综上，处理器1202可以通过经过训练的颜色调节模型，对sdr片源的视频内容进行颜色调节(也可以称为颜色拉伸)，从而得到具有高动态范围和更丰富的颜色的hdr视频。特别是，处理器1202通过利用由深度神经网络模型训练得到的颜色调节模型，可以使得颜色调节效果更加逼近于真实场景(即，更加真实的还原所拍摄的画面。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。
此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如cd-rom等)、磁光存储介质(如mo等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述视频处理方法的任意一种实施例。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(asic)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的示例性实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
- 还没有人留言评论。精彩留言会获得点赞！