高动态范围视频自适应预处理方法与流程

本发明涉及一种高动态范围视频信号处理技术，尤其是涉及一种高动态范围视频自适应预处理方法。
背景技术：
：随着高动态范围(highdynamicrange，hdr)视频/图像技术的不断发展，显示设备能够呈现出更加丰富的对比度以及更高动态范围的亮度和色度信息，给人们带来了更加逼近真实的光影效果的视觉体验。高动态范围视频/图像的采集、存储、压缩、传输等方面的问题已成为了研究热点，不同于低动态范围(lowdynamicrange，ldr)视频/图像采用8bit整型数据来表示单个通道的每个像素，高动态范围视频/图像采用16bit或32bit浮点型数据来表示单个通道的每个像素，所表示的亮度值能够以较高的精度覆盖人类视觉所能感知的动态范围，然而更高位深的数据造成了视频数据量的成倍增加。动态图像专家组(movingpictureexpertsgroup，mpeg)通过对hevc(highefficiencyvideocoding)扩展实现了对更高位深的视频信号的压缩，但改进的hevc平台并不兼容对浮点型数据格式的视频信号进行压缩，所以必须对浮点型数据格式的高动态范围视频信号进行预处理，将浮点型数据量化为满足hevc平台所兼容位深的整型数据。位深是限制整型数据格式的视频信号的动态范围的主要因素，用于hevc编码的整型数据所表示的量化亮度值，需要满足相邻量化亮度值的间隔不能高于视觉的感知阈值。miller等人采用追踪各条曲线峰值的方法建立了恰可察觉失真(justnoticeabledifference，jnd)模型，并进一步改进得到了感知量化(perceptualquantizer，pq)曲线作为高动态范围视频信号的光电转换函数(eotf)，pq曲线能够实现将10-6～104nit范围的实际亮度值量化到10bit位深的量化亮度值(“实际亮度值”表示10-6～104nit范围的以浮点型数据存储的亮度值，“量化亮度值”表示以0、1、2、……、1024整型数据存储的亮度值)。pq曲线因为量化精度的限制所呈现的对比度阈值较高，2014年，国际电影和电视工程师协会(smpte)把pq曲线作为感知量化的标准，从而实现了对高动态范围视频信号的编码并进行端到端的传输。2015年，mpeg针对扩展的hevc标准使之兼容对高动态范围和宽色域(widecolorgamut，wcg)视频信号的编码发出了征集草案，草案中提出的基于感知转换函数(perceptualtransformationfunction，ptf)的非向后兼容的高动态范围视频编码框架，同样把pq曲线作为高动态范围视频感知量化的转换函数。随着显示技术的不断发展，现有的高动态范围显示器的实际亮度峰值已接近104nit，即pq曲线所能支持的最大实际亮度值。但是，并不是每个高动态范围视频场景的实际亮度值都能覆盖如此大的动态范围，从10-6nit～104nit。量化的过程必然会造成一部分整型数据的浪费；而且，从浮点型数据到整型数据的转换也会造成hdr视频帧空域量化失真，导致高动态范围视频信号在压缩传输过程中带来非编码器引起的质量下降。因此，有必要研究一种先对高动态范围视频信号进行处理使之更加符合pq曲线的量化性能，进而在高动态范围视频信号编码中提高性能的方法。技术实现要素：本发明所要解决的技术问题是提供一种高动态范围视频自适应预处理方法，其能够解决hdr视频非向后兼容编码框架中采用pq曲线从16bit浮点型数据到10bit整型数据的转换过程中造成的hdr视频编码性能下降的问题。本发明解决上述技术问题所采用的技术方案为：一种高动态范围视频自适应预处理方法，其特征在于包括以下步骤：步骤一：在二维坐标系中，将位深为10bit的pq曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔，使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为32个；步骤二：将待预处理的高动态范围视频中的每帧分为red、green、blue三个通道；然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧；其中，i为正整数，i的初始值为1，1≤i≤frame，frame表示待预处理的高动态范围视频中包含的帧的总帧数；步骤三：将当前帧的当前待处理的第m个通道定义为当前通道；其中，m＝1,2,3，m＝1表示red通道，m＝2表示green通道，m＝3表示blue通道；步骤四：获取当前通道的最大实际亮度值和最小实际亮度值；然后计算当前通道的最大实际亮度值对应的量化亮度值，记为并计算当前通道的最小实际亮度值对应的量化亮度值，记为再根据和计算当前通道对应的未使用的整型量化数据的个数，记为步骤五：去重统计当前通道中落于位深为10bit的pq曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数，将当前通道中落于位深为10bit的pq曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为其中，去重统计是指相同的实际亮度值仅计数1个，j为正整数，j的初始值为1，1≤j≤32；步骤六：对当前通道进行双边滤波处理；然后对当前通道经双边滤波处理后得到的图像进行k-means聚类操作，聚类目标设置为聚为两类，得到当前通道的掩膜图，将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域，记为步骤七：根据确定当前通道下位深为10bit的pq曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔，并将这些需要调整优化的实际亮度间隔构成的集合记为ω，而将剩余的实际亮度间隔构成的集合记为ω'；步骤八：将当前通道对应的未使用的整型量化数据分配给ω中的每个实际亮度间隔，以实现ω中的每个实际亮度间隔的调整优化；然后计算当前通道下最终分配给ω中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给ω中的第k个实际亮度间隔的整型量化数据的个数记为其中，k为正整数，k的初始值为1，1≤k≤k，k表示ω中的实际亮度间隔的总个数，round()表示四舍五入取整函数，表示当前通道中落于ω中的第k个实际亮度间隔内的实际亮度值的个数；步骤九：在步骤八的基础上，计算当前通道对应的剩余还未使用的整型量化数据的个数，记为若则不进行继续分配，直接执行步骤十；若则将当前通道对应的剩余还未使用的整型量化数据分配给ω'中的每个实际亮度间隔，计算当前通道下最终分配给ω'中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给ω'中的第k'个实际亮度间隔的整型量化数据的个数记为再执行步骤十；其中，k'为正整数，k'的初始值为1，1≤k'≤k'，k'表示ω'中的实际亮度间隔的总个数，k+k'＝32，表示当前通道中落于ω'中的第k'个实际亮度间隔内的实际亮度值的个数；步骤十：根据当前通道下最终分配给位深为10bit的pq曲线所覆盖的每个实际亮度间隔的整型量化数据的个数，计算当前通道下位深为10bit的pq曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值，将当前通道下位深为10bit的pq曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为和其中，g为正整数，g的初始值为1，1≤g≤j，表示当前通道下最终分配给位深为10bit的pq曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数，表示当前通道下位深为10bit的pq曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值，为的反函数，c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，为引入的变量，此处用于代表步骤十一：对当前通道中的每个像素点进行映射，得到映射后的图像，即为预处理后的图像，将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为的获取过程为：当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于且小于或等于时，令其中，1≤x≤width，1≤y≤high，width表示当前通道的宽度，high表示当前通道的高度，j*∈[1,32]，表示通过步骤十得到的当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值，表示通过步骤十得到的当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值，表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值，表示当前通道中坐标位置为(x,y)的像素点的实际亮度值，表示当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值，也即为所在的第j*个量化亮度间隔的最小量化亮度值，表示当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值，也即为所在的第j*个量化亮度间隔的最大量化亮度值；步骤十二：令m＝m+1；然后将当前帧的下一个待处理的通道作为当前通道；再返回步骤四继续执行，直至当前帧的三个通道处理完毕；其中，m＝m+1中的“＝”为赋值符号；步骤十三：令i＝i+1；然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧；再返回步骤三继续执行，直至待预处理的高动态范围视频中的所有帧处理完毕；其中，i＝i+1中的“＝”为赋值符号。所述的步骤四中，其中，符号为向上取整符号，符号为向下取整符号，max()为取最大值函数，min()为取最小值函数，表示当前通道的最大实际亮度值，表示当前通道的最小实际亮度值，c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，为引入的变量，计算时用于代表计算时用于代表所述的步骤七中，ω的获取过程为：1)将中的最大实际亮度值所落于的实际亮度间隔的间隔标号记为将中的最小实际亮度值所落于的实际亮度间隔的间隔标号记为2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为j1；3)令并令然后将间隔标号在区间内的所有实际亮度间隔构成的集合作为ω；其中，min()为取最小值函数，max()为取最大值函数。与现有技术相比，本发明的优点在于：1)本发明方法能够根据不同高动态范围视频场景，获取高动态范围视频中的每帧的各个通道的最大实际亮度值和最小实际亮度值各自对应的量化亮度值，进而计算得到各个通道对应的浪费的整型量化数据的个数，避免了现有技术未考虑到整型量化数据有浪费或者简单笼统确定浪费的整型量化数据问题。2)本发明方法通过计算浪费的整型量化数据的个数从而实现优化分配的过程中，不是以一个通道来代表三个通道，而是分为三个通道分别来计算，对整型量化数据的分配进行优化时采用三个通道分别处理的方法可以避免由于不同通道下实际亮度值概率密度分布不同而造成分配不合理的影响。3)本发明方法在得到浪费的整型量化数据的个数后，首先将当前通道对应的未使用的整型量化数据分配给容易造成视觉产生对比度失真的区域对应的实际亮度间隔构成的集合，以实现该集合中的每个实际亮度间隔的调整优化；然后仍有多余的再分配给其他实际亮度间隔，在这个过程中，有考虑到编码后hdr视频的感知质量，由于在对编码后hdr视频的感知质量评分中，对比度存在一定影响，因此在优化分配多余整型量化数据时优先考虑容易造成视觉产生对比度失真的区域，这样可在一定程度上提升编码后hdr视频的感知质量得分。4)本发明方法在统计当前通道中落于位深为10bit的pq曲线所覆盖的各个实际亮度间隔内的像素值的个数时，考虑到一个通道内存在许多相同的实际亮度值而采用去重统计方式，去重统计是指相同的实际亮度值仅计数1个，这样避免了非去重统计下相同实际亮度值重复计数而造成的整型量化数据分配过多，以至于对优化后提升编码性能意义不大。5)本发明方法通过对hdr视频信号的自适应映射预处理，改进了16bit浮点型数据到10bit整型数据转换过程中的整型量化数据浪费与视频帧空域量化失真问题，从而提升了hdr视频的编码性能。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种高动态范围视频自适应预处理方法，其总体实现框图如图1所示，其包括以下步骤：步骤一：在二维坐标系中，将位深为10bit的pq曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔，使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为个；在二维坐标系中若x轴表示实际亮度间隔则y轴表示量化亮度间隔，若y轴表示实际亮度间隔则x轴表示量化亮度间隔。步骤二：将待预处理的高动态范围视频中的每帧分为red、green、blue三个通道；然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧；其中，i为正整数，i的初始值为1，1≤i≤frame，frame表示待预处理的高动态范围视频中包含的帧的总帧数。步骤三：将当前帧的当前待处理的第m个通道定义为当前通道；其中，m＝1,2,3，m＝1表示red通道，m＝2表示green通道，m＝3表示blue通道。步骤四：获取当前通道的最大实际亮度值和最小实际亮度值；然后计算当前通道的最大实际亮度值对应的量化亮度值，记为并计算当前通道的最小实际亮度值对应的量化亮度值，记为再根据和计算当前通道对应的未使用的整型量化数据的个数，记为在此具体实施例中，步骤四中，其中，符号为向上取整符号，符号为向下取整符号，max()为取最大值函数，min()为取最小值函数，表示当前通道的最大实际亮度值，表示当前通道的最小实际亮度值，c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，为引入的变量，计算时用于代表计算时用于代表步骤五：去重统计当前通道中落于位深为10bit的pq曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数，将当前通道中落于位深为10bit的pq曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为其中，去重统计是指相同的实际亮度值仅计数1个，j为正整数，j的初始值为1，1≤j≤32。步骤六：对当前通道进行双边滤波处理；然后对当前通道经双边滤波处理后得到的图像进行k-means聚类操作，聚类目标设置为聚为两类，得到当前通道的掩膜图，将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域，记为步骤七：根据确定当前通道下位深为10bit的pq曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔，并将这些需要调整优化的实际亮度间隔构成的集合记为ω，而将剩余的实际亮度间隔构成的集合记为ω'。在此具体实施例中，步骤七中，ω的获取过程为：1)将中的最大实际亮度值所落于的实际亮度间隔的间隔标号记为将中的最小实际亮度值所落于的实际亮度间隔的间隔标号记为2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为j1。3)令并令然后将间隔标号在区间内的所有实际亮度间隔构成的集合作为ω；其中，min()为取最小值函数，max()为取最大值函数。步骤八：将当前通道对应的未使用的整型量化数据分配给ω中的每个实际亮度间隔，以实现ω中的每个实际亮度间隔的调整优化；然后计算当前通道下最终分配给ω中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给ω中的第k个实际亮度间隔的整型量化数据的个数记为其中，k为正整数，k的初始值为1，1≤k≤k，k表示ω中的实际亮度间隔的总个数，round()表示四舍五入取整函数，表示当前通道中落于ω中的第k个实际亮度间隔内的实际亮度值的个数。步骤九：在步骤八的基础上，计算当前通道对应的剩余还未使用的整型量化数据的个数，记为若则不进行继续分配，直接执行步骤十；若则将当前通道对应的剩余还未使用的整型量化数据分配给ω'中的每个实际亮度间隔，计算当前通道下最终分配给ω'中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给ω'中的第k'个实际亮度间隔的整型量化数据的个数记为再执行步骤十；其中，k'为正整数，k'的初始值为1，1≤k'≤k'，k'表示ω'中的实际亮度间隔的总个数，k+k'＝32，表示当前通道中落于ω'中的第k'个实际亮度间隔内的实际亮度值的个数。步骤十：根据当前通道下最终分配给位深为10bit的pq曲线所覆盖的每个实际亮度间隔的整型量化数据的个数，计算当前通道下位深为10bit的pq曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值，将当前通道下位深为10bit的pq曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为和其中，g为正整数，g的初始值为1，1≤g≤j，表示当前通道下最终分配给位深为10bit的pq曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数，表示当前通道下位深为10bit的pq曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值，为的反函数，c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，为引入的变量，此处用于代表步骤十一：对当前通道中的每个像素点进行映射，得到映射后的图像，即为预处理后的图像，将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为的获取过程为：当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于且小于或等于时，令其中，1≤x≤width，1≤y≤high，width表示当前通道的宽度，high表示当前通道的高度，j*∈[1,32]，表示通过步骤十可以得到的当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值，表示通过步骤十可以得到的当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值，表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值，表示当前通道中坐标位置为(x,y)的像素点的实际亮度值，表示当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值，也即为所在的第j*个量化亮度间隔的最小量化亮度值，表示当前通道下位深为10bit的pq曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值，也即为所在的第j*个量化亮度间隔的最大量化亮度值。步骤十二：令m＝m+1；然后将当前帧的下一个待处理的通道作为当前通道；再返回步骤四继续执行，直至当前帧的三个通道处理完毕；其中，m＝m+1中的“＝”为赋值符号。步骤十三：令i＝i+1；然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧；再返回步骤三继续执行，直至待预处理的高动态范围视频中的所有帧处理完毕；其中，i＝i+1中的“＝”为赋值符号。对本发明方法进行测试，以验证本发明方法的有效性和可行性。本发明方法针对的是hdr视频非向后兼容编码框架中采用pq曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成hdr视频非向后兼容编码性能下降的问题。编码性能下降意味着相同码率前提下编码后hdr视频质量下降或者相同编码后hdr视频质量前提下编码码率需要更多。在此依据相同编码后hdr视频质量前提下经本发明方法预处理与未经本发明方法预处理的hdr视频进行编码所消耗的码率进行测试。测试所采用的高动态范围视频序列为market3序列和balloonfestival序列，来自于mpeg，分辨率大小为1920×1080。利用本发明方法分别对market3序列和balloonfestival序列进行自适应预处理，将利用本发明方法预处理后的高动态范围视频序列与原始的高动态范围视频序列按照高动态范围视频非向后兼容编码框架同时输入到hm编码仿真平台中，且保持编码配置相同。选用psnr_de、hdr-vdp-2两个客观质量评价方法来计算重建的高动态范围视频的质量，依据编码多产生的码率以及解码端重建的高动态范围视频的质量结合bd-rate来衡量。如表1所示，在相同的psnr_de、hdr-vdp-2分值下，负值表示相同质量评价准则下对经本发明方法预处理后的高动态范围视频进行编码相对对原始的高动态范围视频进行编码可以节省的码率。表1经本发明方法预处理后编码相对未经本发明方法预处理后编码在不同质量评价准则下可节省的码率情况market3序列balloonfestival序列psnr_de-12.31％-13.20％hdr-vdp-2-26.66％-18.31％平均-19.49％-15.76％从表1中可以看出，针对market3序列利用本发明方法预处理后能够平均节省19.49％的码率，针对balloonfestival序列利用本发明方法预处理后能够平均节省15.76％的码率，充分说明了本发明方法对hdr视频预处理可有效解决hdr视频非向后兼容编码框架中采用pq曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成hdr视频非向后兼容编码性能下降问题。当前第1页1 2 3