一种感知率失真的优化方法
【技术领域】
[0001] 本发明属于图像处理领域，特别涉及一种感知率失真的优化方法。
【背景技术】
[0002] 在信息技术及互联网高速发展的今天，多媒体信息已成为人类获取信息的最主要 载体，而视频信息在多媒体信息中占有重要的地位，人类获取的信息中有70%以上来自于 视觉。视频编码作为多媒体数据压缩的重点与核心，其压缩本质就是在保证一定重构质量 (图像不失真或失真小）的前提下，以尽量少的比特数来表征视频/图像信息，从而实现最 大限度地降低图像数据传输率、减小信道带宽、减少数据存储空间的目的。
[0003] 大量研宄编码比特率（R)和失真（D)关系的方法被提了出来。2009年Chun Ling Yang和Rong Kun Leung等在IEEE International Conference on Intelligent Computing and Intelligent Systems (ICIS)上一篇名为"An SSIM-optimal H. 264/AVC inter frame encoder"的论文中提出了一种率失真优化的方案，用于帧间编码和模式选择。它利用SSIM 作为失真度量标准，建立了新的R-D模型用于帧间编码。由于SSIM可以提取出视频帧的结 构信息，更好地刻画了图像的质量，所以得到了较好的视频感知质量。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
[0005] 上述方法得到的拉格朗日乘子（A)不是基于视频内容自适应的，也就是说拉格 朗日乘子U)的值仅仅由量化参数（QP)决定，无法动态调整，因此不能很好地适应不同内 容的视频序列。
【发明内容】
[0006] 为了解决现有技术的问题，本发明提供了一种感知率失真的优化方法，所述感知 率失真的优化方法，包括：
[0007] 提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述 空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值；
[0008] 获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根 据所述缩放因子确定所述帧图像的初始乘子；
[0009] 在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像 中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈 值，确定所述宏块的归属类别；
[0010] 根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参 数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子；
[0011] 根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解。
[0012] 可选的，所述提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈 值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值，包括：
[0013] 确定与所述帧图像F对应的预测帧图像F'，具体通过
[0017] 其中x是中心像素，x= {Xl，x2, . . .，xN}为所述中心像素x的邻域像素集合，I(x ; xk)代表X与其邻域像素Xk的对应关系；
[0018]获取所述预测帧图像F'的JND阈值JNDp (x，y)，以及所述残差帧图像IF-F' I的 JND 阈值 JNDd(x，y);
[0019]基于所述JNDp (X，y)以及所述JNDd (X，y)，结合公式⑴确定空间FEJND阈值，
[0020] SFEJND (x, y) = JNDp (x, y) +JNDd (x, y) -〇. 3 Xmin {JNDp (x, y), JNDd (x, y)}, (I)
[0021] 获取时间JND阈值TJND (x，y，t)，具体通过公式（2)
[0023] 其中，H = 8, L = 3. 2，T = 〇? 8。
[0024]结合空间FEJND阈值SFEJND(x，y)和所述时间JND阈值TJND(x，y，t)，通过公式 (3)确定所述帧图像中像素点的综合阈值
[0025] FEJND (x, y) = SFEJND (x, y)XTJND (x, y, t), (3)。
[0026] 可选的，所述获取所述预测帧图像F'的JND阈值JNDp(x，y)，以及残差帧图像 F-F' I 的 JND 阈值 JNDd(x，y)，包括：
[0027]确定所述预测帧图像F'中像素点的亮度值LC(x，y)，以及确定所述预测帧图像F' 中像素点的空间掩蔽值SM(x，y)，具体公式为（4)
[0033] mg(x，y)是所述像素点（x，y)上下左右四个方向的梯度中最大的加权平均梯度， 具体如公式（7)
[0035] 而Gk(i，j)是用来确认纹理区域的四个方向上的高通滤波器；
[0036] 通过所述亮度值LC (X，y)和所述空间掩蔽值SM(X，y)，通过公式（8)确定所述预测 帧图像F'的JND阈值JNDp (x，y)
[0037] JNDp (x, y) = LC (x, y) +SM (x, y) -〇. 3 X min {LC (x, y), SM (x, y)}, (8)；
[0038] 通过公式（9)，获取所述残差帧图像IF-F' I的JND阈值JNDd (x，y)
[0040] 其中，D(x，y)为所述帧图像F与所述预测帧图像F'中相同位置像素值的差值。 [0041] 可选的，所述获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的 缩放因子，根据所述缩放因子确定所述帧图像的初始乘子，包括：
[0042] 根据公式（10)结合所述帧图像中像素点的综合阈值FEJND(x，y)确定所述帧图像 的失真数值Df6jnd,
[0044] 其中，y的值为0. 1，而dMsi= |u(x, y)_r(x, y) I，u(x, y)是失真模型中的原始像 素值，r(x，y)是所述失真模型中的重建像素值；
[0045] 估算所述帧图像F的缩放因子a i，并根据所述缩放因子a屈合公式（11)获取 所述帧图像F的初始乘子即拉格朗日乘子Afejnd;
[0047]其中，Asse是原始率失真优化模型中的拉格朗日乘子，a^和ai_2分别是所述帧 图像F前已编码的两帧对应的缩放因子。
[0048] 可选的，所述在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值 和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点 的平均综合阈值，确定所述宏块的归属类别，包括：
[0049] 获取所述帧图像的所有像素点的平均综合阈值FEJNDfranreW及所述预测帧图像中 包含预设数量所述像素点的宏块的综合阈值FEJND mb;
[0050] 根据预设的判断条件，确定当前宏块的归属类别，所述预设判断条件为
[0051] 如果FEJNDm> FEJND fMe，则所述宏块属于无序宏块；
[0052] 如果FEJNDmbS FEJND fMe，则所述宏块属于有序宏块。
[0053] 可选的，所述根据所述失真模型以及所述宏块的归属类别，获取所述帧图像中所 述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子，包括：
[0054] 根据所述失真模型，通过公式（12)确定用于调整所述宏块的初始乘子的视觉权 重参数n
[0056] 其中，a，b和c都是常数，取值分别为a = 0. 7, b = 0. 6, c = 4 ;
[0057]根据所述视觉权重参数n，通过公式（13)对所述宏块的量化参数(》^进行调整
[0059] 其中，所述QPftame是所述帧图像F的量化参数；
[0060] 根据所述率失真优化原理和所述宏块的量化参数QPmb,通过公式（14)获取所述帧 图像中所述宏块的调整乘子即调整后的拉格朗日乘子入
[0061] I = Wx 7] X 2^QPmb~ u^b /a,(14)
[0062] 其中，w为常量。
[0063] 可选的，所述根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优 解，包括：
[0064] 确定编码代价函数，具体如公式（15)
[0065]J(s，c，mode I QP) = D (s，c，mode I QP) + A R(s，c，mode I QP)， (15)
[0066] 其中，J为编码代价函数，D是失真值，R是编码比特率值，s和c分别表示原始图 和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式；
[0067] 对所述公式（15)进行求解，确定当所述编码代价函数取最优解时的所述编码模 式。
[0068] 本发明提供的技术方案带来的有益效果是：
[0069] 基于上述方法，从而确定该最优解对应的视频编码模式，以便于基于该视频编码 模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。
【附图说明】
[0070] 为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图 作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0071] 图1为本发明提供的一种感知率失真的优化方法的流程示意图；
[0072] 图2 (a)为本发明提供的一种感知率失真的优化方法中序列Foreman的两种失真 对比图；
[0073] 图2(b)为本发明提供的一种感知率失真的优化方法中序列Paris的两种失真对 比图；
[0074] 图3(a)为本发明提供的一种感知率失