一种提升高动态范围视频观看体验的方法与流程

文档序号:11157264阅读:828来源:国知局

本发明涉及一种提升高动态范围视频观看体验的方法。



背景技术:

高动态范围(High Dynamic Range,以下简称HDR)视频,相对于目前的标准动态范围(Standard Dynamic Range,以下简称SDR)视频,能够提供更多的图像细节和动态范围。

随着HDR技术的发展以及HDR显示器的逐步普及,针对HDR显示器的光电转换函数标准(Electro-Optical Transfer Function,以下简称EOTF)也逐步推出,如SMPTE ST 2084和ARIB STD-B67。其中SMPTE ST 2084标准中定义了基于感知量化(Perceptual Quantization,以下简称PQ)的转换曲线,能够表示的最高亮度达到10000尼特(nits或cd/m^2)。ARIB STD-B67标准中定义了混合对数伽玛(Hybrid Log-Gamma,以下简称HLG)曲线,能够表示的最高亮度达到4000~5000尼特。而SDR信号使用Rec709中的EOTF曲线(标准伽玛曲线)能够表示的最高亮度只有100尼特。

但是受限于显示器技术,家用智能电视机最高亮度能达到300~500尼特,高端HDR电视机能达到2000尼特。同时由于HDR视频制作时的动态范围不统一(可能是[0.05,1000],也可能是[0.0005,500]),这就意味着显示器在播放HDR视频时亮度可能在短时间内变化过大。

从生理学角度讲,人类视觉系统对图像亮度变化非常敏感。当视频由暗场景切换到亮场景或由亮场景切换到暗场景时,人眼需要数十秒甚至数分钟才能适应。在某些极端情况下,过大的亮度变换造成的闪光会使人产生眩晕感,而极大地降低了对HDR视频的观看体验。



技术实现要素:

本发明的目的在于克服现有技术中的不足而提供一种提升高动态范围视频观看体验的方法。

为实现上述目的,一方面,本发明提供的一种提升高动态范围视频观看体验的方法,包括如下步骤:

对待播视频流进行缓冲,检测缓冲视频队列中存在的场景切换帧,

当存在场景切换帧,计算当前播放场景和待播放场景之间的平均亮度等级,判断场景切换时亮度变化的幅度,

对亮度变化幅度大的画面进行平滑处理。

优选地,解析当前视频流的HDR EOTF标识符,根据标识符获取EOTF公式,

将待播放视频流缓冲NUM个帧,

检测NUM个帧中存在的场景切换帧,

当存在场景切换帧,标记场景切换帧索引为Idx,

根据EOTF公式计算当前播放帧和场景切换帧之间n个帧的真实平均亮度Y0,Y1,…YIdx-1,且基于此得出当前播放场景的平均亮度值YScenes0=(Y0+Y1+…+YIdx-1)/n,

根据EOTF公式计算场景切换帧及其之后NUM个帧的真实平均亮度YIdx,YIdx1,…YIdxNUM

判断|YScenes0-YIdx|与预设阀值Thd_global的大小,

当|YScenes0-YIdx|<Thd_global时,说明亮度切换幅度较小,不执行平滑处理,

当|YScenes0-YIdx|>Thd_global时,判断YScenes0和YIdx是否属于同一亮度等级,

当YScenes0和YIdx不属于同一亮度等级,分别对场景切换帧及其之后的NUM个帧进行亮度平均处理,

当YScenes0和YIdx属于同一亮度,则判断|YScenes0-YIdx|与预设阀值Thdx之间的大小,

当|YScenes0-YIdx|大于预设阀值Thdx,进行平滑处理,

当|YScenes0-YIdx|小于预设阀值Thdx,不进行平滑处理

优选地,平滑处理包括如下步骤:

在对数域计算平滑后的亮度预设值Y_Balance,得到

对于待处理帧的亮度分别计算亮部区域和暗部区域的平均亮度值Y_Bright和Y_Dark,

计算亮部区域平滑后的亮度预设值Y_BrightBalance,得到

计算暗部区域平滑后的亮度预设值Y_DarkBalance,得到

根据亮部区域和暗部区域的亮度预设值,分别对亮部区域和暗部区域进行亮度调整,从而完成对待处理帧的亮度调整Y′Idx

根据EOFT逆变换公式更新待处理帧的信号值,

更新当前场景亮度平均值Y′Scenes=(YScenes×n-Y0+Y′Idx)/n,

重复在对数域计算平滑后的亮度预设值的步骤直到场景切换帧后的NUM个帧都平滑处理完毕。

根据本发明提供的一种提升高动态范围视频观看体验的方法,通过检测节目切换或场景切换时的亮度大范围波动,能够在HDR视频发生场景切换时,对该画面进行亮度动态平滑处理,减轻亮度的大范围波动对人眼造成的不适,同时对图像的亮部和暗部区域进行差异化亮度调整,也能够在空间域和时间域上较大程度上保留内容创作者的创作意图,从而能够极大得提升人们对HDR视频的观感体验。

具体实施方式

下面详细描述本发明的实施例。

本发明提供了一种提升高动态范围视频观看体验的方法,主要为一种HDR视频播放方法,通过检测节目切换或场景切换时的亮度大范围波动,对该画面进行亮度动态平滑处理,并且较大程度保留内容创作者意图,从而提高人们观看HDR视频的视觉体验。

在本发明的具体实施例描述中,将EOTF使用PQ曲线的HDR信号称为PQ_HDR,使用HLG曲线的HDR信号称为HLG_HDR。

具体地,本发明包括如下步骤:

对待播视频流进行缓冲,检测缓冲视频队列中存在的文件切换/场景切换帧(因文件切换时必然发生场景切换,场景切换包含文件切换,故这种情况可视为场景切换),

当存在场景切换帧,计算当前播放场景和待播放场景之间的平均亮度等级,判断场景切换时亮度变化的幅度,

对亮度变化幅度过大的画面进行平滑处理。

根据本发明一实施例的一种提升高动态范围视频观看体验的方法,是以H264/H265为例,通过解析视频流中SPS/PPS的HDR EOTF标识符,可以获取当前视频流的格式(PQ_HDR,HLG_HDR或SDR格式)。

具体地,包括如下步骤:

1、解析当前视频流的HDR EOTF标识符,根据标识符获取EOTF公式,如果文件切换时格式也发生切换,则更新当前的EOTF公式

2、将待播放视频流缓冲NUM个帧(NUM取值范围建议在20~60之间,本例中NUM=25),

3、检测视频缓冲队列中是否发生场景转换,即检测NUM个帧中存在的场景切换帧,

4、如果发生场景转换,即当存在场景切换帧,标记场景切换帧索引为Idx,并执行下述步骤,

5、根据EOTF公式计算当前播放帧和场景切换帧之间n个帧的真实平均亮度Y0,Y1,…YIdx-1,且基于此得出当前播放场景的平均亮度值YScenes0=(Y0+Y1+…+YIdx-1)/n,

6、根据EOTF公式计算场景切换帧及其之后NUM个帧的真实平均亮度YIdx,YIdx1,…YIdxNUM

7、判断|YScenes0-YIdx|与预设阀值Thd_global的大小,

8、当|YScenes0-YIdx|<Thd_global时,说明亮度切换幅度较小,不执行平滑处理,

9、当|YScenes0-YIdx|>Thd_global时,根据不同亮度等级对应的阀值

用以判断YScenes0和YIdx是否属于同一亮度等级Lx(x=0,1,……,7),

10、当YScenes0和YIdx不属于同一亮度等级,分别对场景切换帧及其之后的NUM个帧进行亮度平均处理,

11、当YScenes0和YIdx属于同一亮度等级且同时属于L0或L7,表明画面亮度非常暗或者非常亮,不进行平滑处理,如果同属亮度等级Lx(x=1,2,……,6),则判断|YScenes0-YIdx|与预设阀值Thdx之间的大小,

12、当|YScenes0-YIdx|大于预设阀值Thdx,进行平滑处理,

13、当|YScenes0-YIdx|小于预设阀值Thdx,不进行平滑处理。

具体地,对场景切换帧及其之后的NUM个帧进行平滑处理包括如下步骤,记其下标分别为Idx、dx1、Idx2、…、IdxNUM:

a、在对数域计算平滑后的亮度预设值Y_Balance,得到

b、对于待处理帧的亮度采用金字塔分割算法将其分割为亮度不同的区域,分别计算亮部区域和暗部区域的平均亮度值Y_Bright和Y_Dark,

c、计算亮部区域平滑后的亮度预设值Y_BrightBalance,得到

d、计算暗部区域平滑后的亮度预设值Y_DarkBalance,得到

e、根据亮部区域和暗部区域的亮度预设值,分别对亮部区域和暗部区域进行亮度调整,完成对待处理帧的亮度调整Y′Idx

f、根据EOFT逆变换公式更新待处理帧的信号值,

g、更新当前场景亮度平均值Y′Scenes=(YScenes×n-Y0+Y′Idx)/n,

h、重复步骤a,直到场景切换帧后的NUM个帧都平滑处理完毕。

需要说明的是,本发明中使用的EOTF和OETF公式参考ITU-R BT.709-6、ITU-R BT.2100-0和SMPTE ST 2084:2014标准中的转换公式。

综上,根据本发明提供的一种提升高动态范围视频观看体验的方法,通过检测节目切换或场景切换时的亮度大范围波动,能够在HDR视频发生场景切换时,对该画面进行亮度动态平滑处理,减轻亮度的大范围波动对人眼造成的不适,同时对图像的亮部和暗部区域进行差异化亮度调整,也能够在空间域和时间域上较大程度上保留内容创作者的创作意图,从而能够极大得提升人们对HDR视频的观感体验。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1