多重退化的极模糊图像的复原方法与流程
本发明属于图像复原领域，涉及多重退化的极模糊图像的复原方法，特别适用于极模糊的刑侦图像的复原。
背景技术：
随着使用范围逐步扩大，视频监控技术已成为各类案件侦破过程中搜集犯罪证据、提取犯罪线索的重要手段[1-4]。当遇到图像模糊不清时，侦查人员常用photoshop、警视通影像分析平台、videoinvestigator、“影博士”、“vcs”、vrevealpremium和“索贝”等软件来处理[1]。一般这些软件对单一退化原因的模糊图像有效，但对于多重退化引起的极模糊图像，难以取得理想效果。
早期的方法典型地假定psf具有简单参数形式。实际上，psf复杂得多，应该用复杂的参数模型来描述。dilipg.warrier和udayb.desai将psf看作是一个矩阵，称为模糊矩阵，该矩阵的元素采用随机模型，使用平均场近似得到一个封闭形式模糊元素平均值表达式。因而采用非函数模型的psf估计算法得到快速发展：早期的基于图像复倒谱的估计方法,基于二维arma模型的估计方法,利用多帧图像序列维纳滤波方法和近期出现的基于奇异值分解的估计方法等。
近来，基于自然图像的统计特性，有不少估计psf的好算法被提出。fergus等人对于自然图像的灰度梯度采用混合高斯模型，结合变分贝叶斯估计psf，然后使用l-r算法来解卷。这种方法对psf较小的情况，结果比较好。后来，krishan和fergus将自然图像的灰度梯度的重尾分布采用超拉普拉斯先验模型，应用交叉迭代的方案，该方案利用查找表的算法，能进行快速优化，然而复原出来的图像还是有明显的阶梯效应。levin等人对这些方法进行了归纳，提出了基于最大后验概率的边缘似然的优化方法，该种后验概率证明比通常的后验概率具有更好的鲁棒性。尽管这些方法效果不错，但计算量太大。因为需要对潜图像进行边缘化处理，而优化能量函数通常要求相当复杂的迭代数值算法，比如在优化方案中要求在psf估计和图像复原交替迭代进行。然而如果初始模糊核没有一种匹配的方式或者适当的大小进行很好的设置，通常会不能收敛到真实的全局最小。
技术实现要素：
本专利以现场场景的测试值作为初始值，提出一种多重退化的极模糊图像的复原方法，应用变分贝叶斯理论来精确估计各子退化函数，从而精确地估计出成像系统的psf，实现了极模糊刑侦图像的复原。由于仔细处理了多重退化因素，使得图像的复原效果好。
一种多重退化的极模糊图像的复原方法，s1，获取数据；
s01，获取外界参数：
s02，获取模糊图像矩阵g(x,y)并求其梯度倒谱
s2，建立系统退化函数h(x,y)和各子退化函数；
s3，初始化各子退化函数，求解各子退化函数的初始梯度倒谱；
s4，将各子退化函数的初始梯度倒谱以及模糊图像的梯度倒谱作为变分贝叶斯的输入，求解出各子退化函数的最优分布；
s5，利用各子退化函数与系统点扩散函数的关系，求解系统的点扩散函数h(x,y)。
s6，将h(x,y)和g(x,y)作为l-r算法的输入，获得清晰图像矩阵f(x,y)。
进一步限定，所述s01中获取外界参数具体包括：
s01，获取外界参数：获取摄像头工作参数焦距f、透镜的直径d、光圈系数f，ccd成像像元大小wx、wy以及物距z，像距v，像素点数目k、p，感光元件每个像素点长度l,物体在曝光时间τ内的运动距离d，目标运动的方向θ。
进一步限定，所述s2的各自退化函数具体包括：
光学衍射引起的艾里斑模式的子退化函数为h1(x,y)；
量化时图像传感器的子退化函数为h2(x,y)；
摄像头散焦的子退化函数为h3(x,y)；
摄像头与目标相对匀速直线运动的子退化函数为h4(x,y)。
进一步限定，光学衍射引起的艾里斑模式的子退化函数h1(x,y)具体为：
量化时图像传感器的子退化函数为h2(x,y)具体为：
摄像头散焦的子退化函数为h3(x,y)具体为：
摄像头与目标相对匀速直线运动的子退化函数为h4(x,y)具体为：
进一步限定，所述s3具体包括：
将所述s01中获取得的参数值代入所述s2中所对应的子退化函数中以初始化各子退化函数，得到各子退化函数的初值h10、h20、h30、h40；
求解各子退化函数的初始梯度倒谱ch10、ch20、ch30、ch40，并设系统退化函数h(x,y)的梯度倒谱为ch。
进一步限定，所述s4具体包括：
将各子退化函数的初始梯度倒谱ch10、ch20、ch30、ch40ch40、
它们满足线性关系关系：
ch＝k1ch1+k2ch2+k3ch3+k4ch4，其中k1、k2、k3、k4是常数，且k1、k2、k3、k4至少有一个不为0。
进一步限定，所述k参数k1、k2、k3、k4典型值为1，针对某种成像系统的退化情况，k参数的取值在1附近变化，具体值由实验确定。本专利不限于四种退化因素，如果有四种以上退化因素，k参数的个数应增加。
本发明的有益效果为：通过考虑图像模糊的多重退化因素，且通过变分贝叶斯理论来精确估计各子退化函数，从而精确地估计出成像系统的psf，实现了极模糊图像的复原。
具体实施方式
附图说明：
图1为本发明的流程示意图。
图2摄像头的成像光路图。
图3为摄像头的清晰摄像时的摄像图片。
图4为摄像头的一段模糊视频的一帧图。
图5为经本发明的方法处理后的清晰图片
如图1所示，一种多重退化因素的极模糊图像的复原方法，包括如下步骤：
s1，获取数据；
s01，获取外界参数：获取摄像头工作参数焦距f，透镜的直径d，光圈系数f，ccd成像像元大小ωx、ωy以及物距z，像距v，像素点数目k、p，感光元件每个像素点长度l,物体在曝光时间τ内的运动距离d，目标运动的方向θ；
s02，获取模糊图像矩阵g(x,y)；
s2，建立退化函数，
系统退化函数为h(x,y)；
光学衍射引起的艾里斑模式的子退化函数为h1(x,y)；
量化时图像传感器的子退化函数为h2(x,y)；
摄像头散焦的子退化函数为h3(x,y)；
摄像头与目标相对匀速直线运动的子退化函数为h4(x,y)；
光学衍射引起的艾里斑模式的子退化函数h1(x,y)具体为：
量化时图像传感器的子退化函数为h2(x,y)具体为：
摄像头散焦的子退化函数为h3(x,y)具体为：
摄像头与目标相对匀速直线运动的子退化函数为h4(x,y)具体为：
s3，将所述s01中获取得的参数值代入所述s2中所对应的子退化函数中以初始化各子退化函数，得到各子退化函数的初值h10、h20、h30、h40；
求解各子退化函数的初始梯度倒谱ch10、ch20、ch30、ch40，系统退化函数为h(x,y)的梯度倒谱为ch；
将各子退化函数的初始梯度倒谱ch10、ch20、ch30、ch40、cg作为变分贝叶斯的输入得到ch1、ch2、ch3、ch4；
它们满足线性关系关系：
ch＝k1ch1+k2ch2+k3ch3+k4ch4，其中k1、k2、k3、k4是常数，且所述k1、k2、k3、k4至少有两个不为0，其取值由实验获得。
s4，将h(x,y)和g(x,y)作为l-r算法的输入，获得清晰图像矩阵f(x,y)。
具体原理如下：
清晰图像f(x,y)的退化图像g(x,y)可表示为：
其中
其中，c表示为混合高斯分布的个数，πc表示第c个分布的权重，vc为第c个分布的方差。为了后面的计算方面，对图像进行梯度倒谱处理，根据倒谱的定义，模糊图像g(x,y)的倒谱为:
cg(p,q)＝fft-1{log[1+|g(u,v)|]}(3)
对式(3)在x方向和y方向分别进行梯度处理，即可得到模糊图像的梯度倒谱。
本系统将光学衍射、量化、散焦以及相对运动等因素引起的图像退化考虑在内，构建了多重退化因素引起的点扩散函数的模型。假定成像过程各子退化函数表示为h1、h2、h3、h4，在多重退化和噪声v(x,y)共同作用下的退化图像g(x,y)为：
这里，v(x,y)为零均值高斯白噪声，h1(x,y)表示光学衍射引起的艾里斑模式的子退化函数：
其中,
h2(x,y)表示量化时矩形传感单元的子退化函数：
其中，ωx、ωy分别表示为矩形像元的长和宽。
h3(x,y)表示散焦时的子退化函数：
其中，r为散焦斑半径，表示为：
r＝(1/f-1/v-1/z)dv/2(8)
式中，f为镜头焦距，z为物距,d为凸透镜半径,v为像距。
h4(x,y)表示成像系统与目标相对匀速直线运动时的子退化函数：
其中，θ为模糊角度，l为退化函数的长度。θ通过分析视频帧的目标运动情况进行估计，l可在现场按照成像比例关系进行实测。
在单帧图像中，运动模糊长度是车辆在曝光时的运动距离，而运动时间就是曝光时间。依照成像比例关系的方法来计算运动模糊长度在感光元件上对应的长度，其原理如下：
如图2的成像光路图所示，d是车辆在被拍摄时运动的距离——运动模糊的长度，与焦平面夹角为α，k是运动模糊长度d在感光元件上对应的长度，在感光元件上，运动模糊边缘与法线的距离为p，焦距为f，物距为z。根据相似三角形比例关系，可得：
由于k，p是长度单位，但是实际我们是通过计数像素点数目来求长度，故设实际像素点数目k、p，感光元件每个像素点长度为l，因此k＝kl,p＝pl。
假设h、h1、h2、h3、h4的倒谱ch、ch1、ch2、ch3、ch4，那么存在以下关系：
ch＝k1ch1+k2ch2+k3ch3+k4ch4(11)
其中k1、k2、k3、k4是常数。对于四种退化因素引起的模糊图像，所述k参数k1、k2、k3、k4典型值为1，针对某种成像系统的退化情况，k参数的取值在1附近变化，具体值由实验确定。本专利不限于四种退化因素，如果有四种以上退化因素，k参数的个数应增加，估计方法仍然有效。
由式(1)可知，系统点扩散函数未知时恢复清晰图像的过程为盲解卷积。因此，采用两步来进行图像复原。首先，估计出系统的点扩散函数。其次，利用l-r算法来对图像进行复原。采用变分贝叶斯理论来估计出精度较高的模糊核。
变分贝叶斯估计系统点扩散函数的解释：
给定模糊图像g(x,y)，通过在给定f(x,y)的先验信息的情况下寻找最大后验概率来估计psf(系统点扩散函数)和清晰图像f(x,y)。
对于式(4)，假设隐变量θ＝{f,h1,h2,h3,h4}，直接计算后验分布p(θ|g)很麻烦，vb采用较简单的分布q(θ|g)来近似后验分布p(θ|g)，它们的kl散度为：
使(12)式最小来求解q(θ|g)。由于积分变量为θ，p(g)为常数，因此，式(12)可表示为：
定义ckl为代价函数，可表示为:
假设q(θ)、q(g)相互独立q(θ,g)＝q(θ)q(g)，即(14)式可改写成为:
现将θ＝{f,h1,h2,h3,h4}带入(15)式，可得:
假设各子退化函数间相互独立，则
q(f,h1.h2,h3,h4)＝q(f)q(h1)q(h2)q(h3)q(h4)(17)
将(17)带入(16)可得：
对(18)式进一步推导，得到：
ckl＝∫q(f)q(h1)q(h2)q(h3)q(h4)[lnq(f)+lnq(h1)+lnq(h2)+lnq(h3)+lnq(h4)
-lnp(f)-lnp(h1)-lnp(h2)-lnp(h3)-lnp(h4)-lnp(g|f,h1.h2,h3,h4)]dθ(19)
使代价函数(19)式最小时，采用交替迭代的办法来求解，在求解某一变量时，假定余下的变量都为常量。
在求解q(h1)时，假设q(f),q(h2),q(h3),q(h4)为已知常量，令：
其中，n()表示高斯分布，可得：
则(19)式只对h1进行积分，可改写代价函数如下：
根据约束条件∫h1dh1＝1，对(22)加入拉格朗日乘子λh1，求代价函数的极值，可求得q(h1)：
由此可见，q(h1)是关于f,h2,h3,h4的函数，因此需要交替更新来迭代。同理可得：
其中，
其中，
其中，
因此，通过现场测试得到的各子退化函数值作为初值，利用式(23)-(26)采用交替迭代的办法，即可获得各子退化函数的最优分布，从而通过计算数学期望得到各子退化函数的精确值。
正是因为上述关系，变分贝叶斯子退化函数估计方法须在梯度倒谱域进行，该方法先估计出各子退化函数ch1、ch2、ch3、ch4，然后利用(11)式合成系统的点扩散函数ch，从而得到系统点扩散函数h。最后利用l-r算法，即可获得清晰图像f(x,y)。
具体实施步骤：
第一步，获取参数焦距f、透镜的直径d、光圈系数f，ccd成像像元大小wx、wy以及物距z，像距v，像素点数目k、p，感光元件每个像素点长度l,物体在曝光时间τ内的运动距离d，目标运动的方向θ。
第二步，利用公式(5)-(10)的函数模式，得到各子退化函数的初值h10、h20、h30、h40。
第三步，求解各子退化函数的初始梯度倒谱ch10、ch20、ch30、ch40以及模糊图像的梯度倒谱
第四步，以ch10、ch20、ch30、ch40、
第五步，利用公式(11)获得系统的点扩散函数。
第六步，求解系统点扩散函数在时域的分布，并对其求期望获得系统的点扩散函数。
第七步，利用l-r算法进行复原，获得清晰图像f(x,y)。
对于侦查人员来说，不需要理解变分贝叶斯估计点扩散函数和l-r复原算法原理，只需要采用以下步骤就可使用极模糊图像复原系统：
(1)对于由监控获取的一张极模糊的图像，输入参数焦距f、透镜的直径d、光圈系数f，ccd成像像元大小ωx、ωy以及物距z，像距v，像素点数目k、p，感光元件每个像素点长度l,物体在曝光时间τ内的运动距离d，目标运动的方向θ。
(2)将这些参数和模糊图像输入系统，通过复原系统得到复原图像。
这个过程中，测试参数f、d、f、z、v、d的精度要达到0.1mm，τ精度要达到0.001s，θ精度要达到0.1度。参数测试要有严格的步骤。只要遵循该步骤，不同的人来运行软件，都能得到相同的结果。
如图4所示，从监控系统硬盘上读出2017年3月15日下午5:46左右有一段模糊视频，其中有一帧图。
我们从产品说明书中得知，该监控系统镜头焦距f＝6mm，光圈系数f＝1.4，成像像元大小ωx＝ωy＝6.4μm,图像传感器的曝光时间τ＝0.01s。现场测量这些车辆与镜头的距离约108m。由实验测试的k参数具体为：k1＝1.2；k2＝0.9；k3＝0.8；k4＝1.3。
经过专利方法处理得到的结果如图5所示，信噪比提高约9db。
- 还没有人留言评论。精彩留言会获得点赞！