专利名称：一种数字图像分辨率增强的方法及系统的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及一种数字图像分辨率增强的 方法及系统。
背景技术：
在图像处理领域，图像插值是一个重要研究方向，在图像分辨率 增强、图像校正、图像旋转和去马赛克等研究方向，图像插值都是一 个必不可少的阶段。图像是由像素点组成的，当放大、缩小或者旋转 图像时，原始像素就会重新排列，生成一些新的像素，图像插值就是 确定这些已知像素中间的未知像素，通过图像插值能减少几何变换对 原有图像的破坏。
现有的图像插值方法主要分为两类自适应方法和非自适应方法。 自适应插值方法只考虑了近邻像素的相关性，而没有考虑图像的全局 相关性，没有较好地识别边缘而导致边缘模糊或锯齿现象，从而引起 图像细节信息的质量下降。由于人目M"于边缘细节部分特别敏感，因 此，插值后图像边缘对图像质量有重要的影响。非自适应插值中研究 较多的是面向边缘的插值方法。图像插值往往会使图像损失细节，造 成图像边缘模糊。
发明内容
本发明所要解决的技术问题是提供一种数字图像分辨率增强的方 法及系统，以解决现在有技术条件下图像插值方法中存在的插值后图 ^4莫糊、图像边缘部分丢失的问题。
为解决上述技术问题，根据本发明提供的具体实施列，本发明公 开了以下技术方案
本发明提供了一种数字图像分辨率增强的方法，包括
图像插值,对低分辨率图像的亮度图用最近邻插值方法进行插值， 得到高分辨率图像的亮度图；贝叶斯图像插值模型改进；
插值校正，利用改进的贝叶斯图像插值模型校正高分辨率图像的 亮度图，得到校正后的高分辨率图像的亮度优选的，在图像插值之前，对输入的低分辨率彩色图像进行颜色 空间转换图像预处理，获得低分辨率彩色图像的亮度图和色度分量 图。
优选的，在插值校正之后，对高分辨彩色图像进行图像后处理， 将经过校正后的高分辨率亮度图和色度分量图，反向转换成彩色图 像。
优选的，图像插值时，对低分辨率彩色图像的亮度图用最近邻插 值方法进行插值，对色度分量图进行插值，得到高分辨率彩色图像的 亮度图和色度分量图。
优选的，所述亮度图校正的步骤包括计算代价函数，对高分辨 率图像亮度图的平滑性度量值求和；搜索代价函数下降方向；将下降 方向投影到可行方向；确定下降步长；像素亮度值校正，使代价函数 值减小。
优选的，所述搜索代价函数下降方向的步骤包括利用拉普拉斯 导数算子，将高分辨率图像的亮度图转换为拉普拉斯图像；将高分辨 率亮度图的像素的二阶方向差分模板和拉普拉斯图像像素亮度值的 巻积图像排列成向量；对像素水平、垂直、对角线和反对角线四个方 向的巻积图像排成的向量求和，得到代价函数的下降方向。
优选的，所述确定下降的步骤包括设定初始步长，判断步长在 下降方向上是否可行；如果不可行，减小步长为初始步长值的二分之 一； 重复执行上面步骤，直到步长在下降方向上可行。
优选的，所述判断步长在下降方向上是否可行，如果下降后新的 代价函数值小于原代价函数值，步长在下降方向上可行。
一种数字图像分辨率增强系统，包括
图像插值单元，用于将低分辨率图像重建成高分辨率图像；
模型改进单元，用于改进贝叶斯图像插值模型；插值校正单元，用于校正高分辨率图像的亮度图； 优选的，所述插值校正单元进一步包括 下降方向^:索子单元，用于代价函数值的下降方向； 空间映射子单元，用于将下降方向投影到可行方向上； 步长确定子单元，用于确定向量的下降步长； 校正值选取子单元，用于确定高分辨率未知像素的亮度值。 与现有技术相比，本发明具有以下优点
本发明对贝叶斯图像插值模型进行了改进，贝叶斯图像插值问题 实际上是一个约束最优化的求解问题，而搜索方向和步长的确定是最 优化问题求解速度的关键。发明针对精确 一维搜索确定步长计算量很 大，且对加速收敛作用不大的问题，提出采用筒单后退准则的非精确 一维搜索确定步长。对于代价函数的梯度不能用解析式表示的情形， 提出寻找一个可解析表达的下降方向，使代价函数沿该下降方向收敛 到极小点。搜索方向和步长的快速确定，减少了算法的庞大计算量， 加速了插值算法的执行。
图1是数字图像分辨率增强方法的流程图2是低分辨率和高分辨率图像的像素对应关系图3是高分辨率亮度分量初值图校正子流程图4a是向量Zu水平方向二阶方向差分模板；
图4b是向量Zkj垂直方向二阶方向差分模板；
图4c是向量Z^反对角线方向二阶方向差分模板；
图4d是向量Zkj正对角线方向二阶方向差分模板；
图5是下采样因子q取2时，下采样矩阵D的示意图6a是输入计算机的低分辨率原始图像；
图6b是原始图像分辨率增强后得到的高分辨率图像；
图6c是采用本发明提供的方法得到高分辨率图像最终效果图6d是采用双线性插值方法对彩色图像分辨率增强后效果图7是数字图像分辨率增强系统结构图。
具体实施例方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面 结合附图和具体实施方式
对本发明作进一步详细的说明。
下面详细说明本发明对贝叶斯图像插值模型的改进 首先介绍现有Huber-Markov图傳j漠型。Huber-Markov图像模型 是贝叶斯图像插值模型所釆用的一种用来衡量插值图像像素平滑度 的模型，要使插值后的图像有良好的平滑度，就需要对Huber-Markov 模型中的指数核最优化求解。
Huber-Markov图像模型描述如下
设低分辨率图像的分辨率为yx乂，将其按行排列成A^乂维列向
量，记作y。则高分辨率图像的分辨率为^x^^，将其按行排列成
^\^\^><1维列向量，记作z。其中，《为水平和垂直方向的下采样/插 值因子。下采样模型通过对高分辨率图像取？ m像素块的均值得到，
<formula>formula see original document page 7</formula>
用矩阵-向量形式表示为
<formula>formula see original document page 7</formula>
其中，d为尺寸为a^V2X av^下采样矩阵。它的每一行有《2个值 为1/ 的元素，将高分辨率图像的一个《x《像素块映射为 一个低分辨 率像素。
Huber-Markov图像模型具有边缘保持能力，其指数核定义为
<formula>formula see original document page 7</formula>
式中，《,z表示图像局部平滑度，在图像的平滑区域，值较小， 而在边缘区域，值较大。高分辨率图像的局部平滑性用二阶方向导数衡量，每个像素气,的4个二阶方向导数由二阶差分近似为
"0,1,2,3 (4)
式中， (^ = 0,1,2,3)分别表示水平、垂直、对角线和反对角线方 向的二阶方向差分才莫^1， "*"表示空间巻积。
Huber边纟彖惩罚函数定义为
<formula>formula see original document page 8</formula>其中，r为阔值，当lx^r时，/7(;c,r)定义为二次惩罚函数，当卜|> 时，p(x，r)定义为线性惩罚函数。因此，噪声的差分较小，被二次惩 罚，边缘的差分较大，被线性惩罚，所以Huber惩罚函数既可以平滑
插值图像的噪声，又可以保持插值图像的边缘。
相应地，贝叶斯图像插值模型等价于解决如下的约束最优化问题 <formula>formula see original document page 8</formula>
图像插值算法就是在约束空间
<formula>formula see original document page 8</formula> (7)
上将凸的、但非二次函数Q(z,r)最小化，得到估计的插值图像"
现有的贝叶斯图像插值模型，通过下面方法搜索下降方向和确定
步长，解决Huber-Markov图像模型的约束最优化问题。 搜索下降方向
设z为d维向量，函数Q(z)在Z处的偏导数近似为<formula>formula see original document page 8</formula>( 8 )
式中，表示向量7的第/个分量。
现有贝叶斯图像插值模型利用差分近似偏导数的数值方法计算梯度，梯度下降最快的方向确定为搜索方向，由于代价函数Q(z("),r) 的梯度没有解析形式，梯度的每一个分量仅仅能用数值方法求得，运 算效率非常低。 确定步长
现有贝叶斯图像插值模型釆用精确一维搜索确定步长，通过对第 /7次状态的代价函数进行二阶泰勒级数近似，得到如下步长
其中，v^z("),r)是代价函数Q(z(力,r)的海塞矩阵。在每一步迭
代，步长" 是代价函数最大下降到局部极小点。
现有算法确定步长计算量庞大第一，需要计算离散型变量的海 塞矩阵，第二，需要计算大型矩阵和高维向量之间的乘法，因此计算 复杂且耗时。
本发明对贝叶斯图像插值模型的搜索下降方向和确定步长方 法进行了改进。
改进后搜索下降方向的方法如下 用z^J表示、,的拉普拉斯图像，定义为
(10)
式中，A: = 0，1,L ，^V广l;hO,l,L ,#2-1。
将 *￡(、,)， t^0,l,2,3的巻积图像按行排列成^A^维列向量，记
作W(z("))。式中 "=0，1,2,3)分别表示水平、垂直、对角线和反对角 线方向的二阶方向差分模板，"*"表示空间巻积。 本发明找到了一个下降方向，用gf"、表示为通过与现有方法的比丰支可以看出Huber-Markov图l^^莫型中代i^介 函数Q(z(n),r)的梯度没有解析形式，梯度的每一个分量仅仅能用数值 方法求得。现有贝叶斯插值模型利用差分近似偏导数的数值方法计算 梯度，运算效率非常低。在最优化理论中，最快下降方向未必是最好 的搜索方向，通常情况下， 一维搜索仅仅寻找一个使目标函数值减小 的下降方向。为此，本发明寻找到了代价函数的一个可解析表示的下 降方向。显然，这样^f艮大程度上减少了计算量。
改进后确定步长的方法如下
本发明提出 一种非精确的 一维搜索方法确定步长。设初始步长 "=1,若ad("不是可行下降方向，则减小步长a为原值的l/2 (称之为 后退)，直至"d(")是可行下降方向。
判断"d(")是否为可行下降方向的准则
1) 若z(")化d(力满足约束条件，则"d(")是可行方向；
2) 若新代价函数值小于原代价函数值，即Q(z(n)+"d("))〈Q(z("))， 则"d(")是下降方向。
很显然，本方法克服了精确 一维搜索方法做出大量不必要的计算 的缺陷，同时又保证了每次迭代沿可行下降方向前进，本方法的使用 在很大程度上节约了时间开销。
下面结合实例详细说明完整的数字图像插值方法。
如图l所示，公布了本发明一种数字图像分辨率增强的方法的 具体实施例的流程图，具体可以包括以下步骤
步骤S101 ，图像插值，对低分辨率图像的亮度图进行最近邻插值， 对得到高分辨率图像的亮度图。
参见图2,是本实施例下采样因子q取2时，插值低分辨率和插值 后高分辨率图像的像素对应关系图。
优选的，如果输入的图像是彩色图像而非亮度图像，在图像插值 之前，对输入的低分辨率彩色图像进行图像预处理，将输入的低分辨率彩色图像进行颜色空间转换，得到低分辨率彩色图像的亮度图和色 度分量图。
对于彩色图像插值问题，通常有两种解决办法 一种方法是融合 彩色信息提高运动估计的精度，然后独立地在每个通道上使用灰度超 分辨率方法，再从分别处理的分量图像合成彩色图像； 一种方法是转 换颜色空间，将色度分量和亮度分量分开，仅对亮度分量进行图像插值。
在本实施例中，采用将彩色图像从RGB空间的图像转换到YCbCr (亮度分量、蓝色色度分量、红色色度分量)，分别插值后再还原成 RGB彩色图像的方法。
将RGB空间的图像转换到YCbCr的公式如下
<formula>formula see original document page 11</formula>
优选的，图像插值时对低分辨率彩色图像的亮度图用最近邻插值 方法进行插值，对两幅色度分量图进行插值，得到高分辨率彩色图像 的亮度图和色度分量在本实施例中，采用简单双三次插值的方法，对低分辨率彩色图 像的蓝色色度分量和红色色度分量进行超分辨率插值重建，得到高分 辨率彩色图像的蓝色色度分量图和红色色度分量图。
步骤S102，改进贝叶斯图像插值模型；
本发明对贝叶斯图像插值模型进行了改进，贝叶斯图像插值问题 实际上是一个约束最优化的求解问题，而搜索方向和步长的确定是最 优化问题求解速度的关键。发明针对精确 一维搜索确定步长计算量很 大，且对加速收敛作用不大的问题，提出采用简单后退准则的非精确 一维搜索确定步长。对于代价函数的梯度不能用解析式表示的情形， 提出寻找一个可解析表达的下降方向，使代价函数沿该下降方向收敛 到极小点。搜索方向和步长的快速确定，减少了算法的庞大计算量，加速了插值算法的执行。
步骤S103，插值校正，利用改进的贝叶斯图像插值模型校正高分辨率图像的亮度图，得到校正后的高分辨率图像的亮度图，其子步骤流程图见图3所示。
优选的，本步骤进一步包括如下子步骤
子步骤Al,计算代价函数，即亮度图像平滑性度量值之和。代价函数的计算公式如下
式中，《^z表示图像局部平滑度，在图像的平滑区域，值较小，
而在边缘区域，值较大。高分辨率图像的局部平滑性用二阶方向导数衡量，每个像素、,的4个二阶方向导数由二阶差分近似为《wz =* zw , " = 0,1,2,3 (16)式中， U-0,l,2，3)分别表示水平、垂直、对角线和反对角线方向的二阶方向差分才莫^1, "*"表示空间巻积。
参见图4a-4d是本实施列中一像素分量Zu的四个方向的差分模板。图4a是向量Zu水平方向二阶方向差分模板，图4b是向量垂直方向二阶方向差分才莫板，图4c是向量Z^反对角线方向二阶方向差分模板，图4d是向量Zk"正对角线方向二阶方向差分模板。
子步骤A2，搜索代价函数下降方向；
用￡(~)表示高分辨率亮度分量初值图、,的拉普拉斯图像，定义
为
￡ (ZW ) = [^+i，; + + 、w + zw-i ] — 4zW ( 17 )
式中，/t = 0,l,L 1;/ = 0,1，L ，^V2-1。
将 *￡^,), ^/ = 0,1，2,3的巻积图像按行排列成^\^2维列向量，记本发明找到的下降方向，用g(")表示为
3
g(")=2Xz(") (18)
子步骤A3，将下降方向投影到可行方向，投影公式如下
其中，投影矩阵P定义如下
P = I-,DrD (20)
其中I为单位矩阵，q为水平和垂直方向的下采样/插值因子，D为尺寸为AV^x^A^V,的下采样矩阵。它的每一行有《2个值为1/《2的元素，将高分辨率图像的一个《x"象素块映射为一个低分辨率像素。参见图5，是本实施列下采样因子q取2时，下采样矩阵D的示意图。
子步骤A4，确定下降步长，本发明采用非精确一维搜索方法确定下降步长，设初始步长《 = 1,若"d(。)不是可行下降方向，则减小步长"为原值的1/2 (称之为后退)，直至"d(")是可行下降方向。
判断ad ( )是否为可行下降方向的准则
1) 满足约束条件，则ml(力是可行方向；
2) 代价函数值小于原代价函数值，WQ(Z(")+"d( ))<Q(Z( ))，则ad(一是下降方向。
子步骤A5，像素亮度值校正，使得代价函数值减小。令
设定阈值s，
若连续两次的迭代结果满足
4 =
Q(z("+,)-Q(z("),"/Q( )，r)" ( 22 )则迭代终止，估计的高分辨率亮度图结果为S = z( +1);否则转向子步骤Al继续迭代。
优选的，如果输入的原始图像为彩色图像，在插值校正后，对高分辨彩色图像进行图像后处理，将经过校正后的高分辨率亮度图和色度分量图，反向转换成彩色图像。
实施例中，将步骤S103得到的高分辨率亮度图和优选步骤中得到的色度分量图，反向转换成RGB图像，公式如下
R=Y + 1. 403* (Cr - 128) ( 23 )
G=Y - 0. 344*(Cr — 128) — 0.714*(Cb — 128) ( 24 )
B=Y + 1.773*(Cb - 128) ( 25 )
参见图6a，是输入计算机的低分辨率原始图像；图6b，是分辨率增强后得到的高分辨率图像；图6c，是本实施例采用本发明提供的方案对彩色图像进行分辨率增强后的最终效果图；通过比较不难看出，经过本发明的处理校正，得到了较为清晰的高分辨率图像。图6d，是釆用双线性插值方法对图^f象进行分辨率增强后的效果图，通过本发明处理后图像与双线性插值方法处理后图像的对比，本技术方案的效果更为明显。
针对上述数字图像插值方法，本发明还提供了 一种数字图像分辨率增强系统，参照图7，是实施例所述数字图像分辨率增强系统结构图，所述系统主要包括图像插值单元UlOl、模型改进单元U102、插值校正单元U103。
其中，所述图像插值单元U101,用于对低分辨率图像的亮度图超分辨率重建，本实施例中采用最近邻插值方法对亮度图进行插值。
优选的，本系统还可以包括图l象预处理单元，用于对输入的低分辨率彩色图像进行颜色空间转换。
优选的，本系统还可以包括图像后处理单元，用于将高分辨率彩色图像亮度图、蓝色色度分量图以及红色色度分量图转换成RGB彩色图像。本实施例中图像预处理单元采用将彩色图像从RGB颜色空间转换到YcrCb颜色空间的方法进行转换，转换后得到彩色图^^的亮度图和红色、蓝色色度分量图。
所述模型改进单元U102,用于改进贝叶斯图像插值模型，针对精确一维搜索确定步长计算量很大，提出一种非精确的一维搜索方法确定步长；对于代价函数的梯度不能用解析式表示的情形，提出寻找一个可解析表达的下降方向，使代价函数值沿该下降方向收敛到极小点。搜索方向和步长的快速确定，减少了算法的庞大计算量，加速了插值算法的执行。
所述插值校正单元U103,用于校正高分辨率图像的亮度图，得到校正后的高分辨率图像的亮度图。
优选的，所述插值校正单元U103进一步包括
下降方向搜索子单元，用于搜索代价函数值的下降方向；
空间映射子单元，用于将下降方向映射到可行方向上；
步长确定子单元，用于确定向量的下降步长；
像素亮度值校正子单元，用于确定高分辨率未知像素的亮度值。图7所示系统中未详述的部分可以参见图l一图6所示方法的相关部分，为了篇幅考虑，在此不再详述。
权利要求
1.一种数字图像分辨率增强的方法，其特征在于，包括如下步骤图像插值，对低分辨率图像的亮度图用最近邻插值方法进行插值，得到高分辨率图像的亮度图；贝叶斯图像插值模型改进；插值校正，利用改进的贝叶斯图像插值模型校正高分辨率图像的亮度图，得到校正后的高分辨率图像的亮度图。
2. 根据权利要求1所述的方法，其特征在于，在所述图像插值之 前，对输入的低分辨率彩色图像进行颜色空间转换的图^象预处理，获 得低分辨率彩色图像的亮度图和色度分量图。
3. 根据权利要求2所述的方法，其特征在于，在插值校正之后， 对高分辨彩色图像进行图像后处理，把经过校正后的高分辨率亮度图 和色度分量图，反向转换成彩色图像。
4. 根据权利要求1-3任意一项所述的方法，其特征在于，图像 插值时对低分辨率彩色图像的亮度图用最近邻插值方法进行插值，对 色度分量图进行插值，得到高分辨率彩色图像的亮度图和色度分量 图。
5. 根据权利要求1所述的方法，其特征在于，所述插值校正的步 骤包括计算代价函数，对高分辨率图像亮度图的平滑性度量值求和；搜索代价函数下降方向；将下降方向投影到可行方向上；确定下降步长；像素亮度值校正，使代价函数值减小。
6. 根据权利要求5所述的方法，其特征在于，所述搜索代价函数 的下降方向的步骤包括利用拉普拉斯导数算子，将高分辨率图像的亮度图转换为拉普拉 斯图像；将高分辨率亮度图像素的二阶方向差分模板和拉普拉斯图像像素亮度值的巻积图像排列成向量；对像素水平、垂直、对角线和反对角线四个方向的巻积图像排成 的向量求和，得到代价函数的下降方向。
7. 根据权利要求5所述的方法，其特征在于，所述确定下降步长 的步骤包括设定初始步长，判断步长在下降方向上是否可行； 如果不可行，减小步长为初始步长值的二分之一； 重复执行上面步骤，直到步长在下降方向上可行。
8. 根据权利要求7所述的方法，其特征在于，所述判断步长在下 降方向上是否可行，如果下降后新的代价函数值小于原代价函数值， 步长在下降方向上可行。
9. 一种数字图像分辨率增强系统，其特征在于，包括 图像插值单元，用于对低分辨率图像的亮度图进行插值； 模型改进单元，用于改进贝叶斯图像插值模型； 插值校正单元，用于校正高分辨率图像的亮度图。
10. 根据权利要求9所述的系统，其特征在于，所述插值校正单 元进一步包括下降方向搜索子单元，用于搜索代价函数的下降方向； 空间映射子单元，用于将下降方向映射到可行方向上； 步长确定子单元，用于确定向量的下降步长； 像素亮度值校正子单元，用于确定高分辨率未知像素的亮度值。
全文摘要
本发明公开了一种数字图像分辨率增强的方法及系统，以解决现有视频图像分辨率低，影响图像进一步处理和分析的问题。所述方法包括图像插值，对低分辨率图像的亮度图进行最近邻插值；改进贝叶斯图像插值模型；插值校正，用改进的贝叶斯图像插值型校正高分辨率图像的亮度图。针对彩色图像，本发明提供了图像预处理和后处理，前者对输入的低分辨率彩色图像进行颜色空间转换，后者将校正后的高分辨率亮度图和色度分量图反向转换成彩色图像。本发明针对现有贝叶斯插值方法计算量庞大、执行速度慢的问题，通过快速确定下降方向和步长，加速了插值的执行，同时本发明具有边缘保持能力，能够有效恢复图像细节，提高图像清晰度。
文档编号G06T3/40GK101639932SQ20081011725
公开日2010年2月3日 申请日期2008年7月28日 优先权日2008年7月28日
发明者刘昌平, 晶 禹, 磊 黄 申请人:汉王科技股份有限公司