专利名称：：动态遮挡图像的实时补偿和增强方法
技术领域：
：本发明属于图像增强
技术领域：
，涉及一种动态遮挡图像实时补偿和增强的方法。
背景技术：
：图像增强是图像处理领域里的一个重要研究方向。图像增强的主要目的是使增强后的图像便于后续处理。目前，图像增强的主要方法可分为四类空域法、频域法、运动矢量估计法、运动区域检测法。这些方法的基本原理和技术特点如下-一、空域法空域法直接对象素进行处理，包括基本灰度变换、直方图变换、空域滤波等方法。这类方法以图像的模板巻积为主要的计算形式，实现方式简单、计算量较小、便于硬件实施，适合对各种静态图像进行增强处理。二、频域法频域法对图像的傅立叶变换进行处理，包括平滑、锐化、同态等频域滤波方法。虽然傅立叶变换有快速算法，但是仍然需要较大的计算量和存储量，因此工程实现的造价高。这类方法适合对各种静态图像进行增强处理。三、运动矢量估计法运动矢量估计法是序列图像增强时常用的一种方法。这类增强方法通过估计图像帧之间的运动矢量并进行运动补偿，利用前后帧图像中的冗余信息增强图像。常用的运动矢量估计方法包括块匹配算法、代表点匹配法、边缘检测匹配算法、位平面匹配算法、投影算法、特征点匹配法等。块匹配算法精度高，但计算量大，难以实时实现。代表点匹配法把一幅图像分成几个区域，在每个区域中选取一定数量的代表点进行匹配，该方法的计算量较小，匹配速度快，但因代表点可能并不是图像上真正有明显特征的点，因此对图像的变化不很敏5感。边缘检测匹配算法的难点在于如何找到合理的边缘检测参数，清晰地表现图像的轮廓边缘特征。位平面匹配算法的计算量较小，但是选择适当的位平面比较困难，且算法较复杂。投影算法只要利用图像的灰度投影曲线做两次相关运算就能获取图像的运动矢量，具有速度快、精度高、算法稳健的优点，是一种便于工程实现的方法。特征点匹配法包括角点检测、角点匹配、帧间运动参数计算三步，该方法的难点在于角点检测和匹配，计算量大且可靠性不高。四、运动区域检测法运动区域检测法也是序列图像增强常用的一种方法。这类增强方法首先检测图像序列中的运动区域，然后利用运动区域对应的背景信息进行补偿实现图像增强。常用方法有帧相减法、光流场法、贝叶斯法。帧相减法首先进行全局运动估计和补偿，然后通过帧间差分检测运动区域，其优点是计算简单，缺点是对噪声敏感，不能精确检测到运动区域的边缘。光流场法是另一种常用的运动区域检测算法，但由于孔径及遮挡问题，光流估计的可靠性较差。贝叶斯法是在给定的光流数据条件下，搜索分割标记的最大后验概率，使当前分割与期望分割的符合程度最大，该方法效果较好，但计算复杂，计算量大，并不适合实时处理。动态遮挡是由于摄像机视场受运动物体遮挡而形成的一种图像降质现象。很多实际系统都需要安装可见光或红外摄像机来完成侦察、跟踪、测量等任务。由于系统结构、任务需要等方面存在特殊要求，因此摄像机的安装位置可能受到严格限制，导致在部分工作范围内摄像机视场受到系统其它运动组件的遮挡。这种现象出现时，轻则导致摄像机输出图像的闪烁，重则导致摄像机输出图像的部分缺损，从而引起图像降质，影响侦察、跟踪、测量的精度以及图像的视觉效果。现有的图像增强方法在解决动态遮挡图像的补偿和增强问题时存在不足，主要表现在以下几个方面空域法仅能增强动态遮挡图像的视觉效果，无法补偿遮挡引起的图像内容缺损。频域法仅能增强动态遮挡图像的视觉效果，无法补偿动态遮挡引起的图像内容缺损，而且计算量大，难以实时实现。运动矢量估计法特征点匹配算法需要检测并跟踪图像中的很多特征点，计算量大，实时实现较为困难；块匹配算法、代表点匹配法、投影算法的性能受到动态遮挡的影响，导致运动矢量的估计误差增大；边缘检测匹配算法、位平面匹配算法的计算量较大，实时实现较为困难。运动区域检测法由于动态遮挡通常不能清晰成像，因此运动区域检测算法无法准确检测遮挡区域，在检测遮挡区域的同时会提取大量的图像边缘，而且这类算法所需的计算量和存储量也较大，工程实现较为困难。综上所述，针对动态遮挡图像的特点设计合适的图像补偿和增强方法是一个急需解决的工程技术问题。目前尚未发现有关这个问题的公开研究资料。
发明内容本发明的目的是提供一种动态遮挡图像的实时补偿和增强方法，解决动态遮挡图像的实时补偿和增强问题，改善动态遮挡图像的质量。技术方案是基于摄像机输出的视频图像，首先采用稳健的方法估计出相邻两帧图像之间的运动矢量，然后将运动补偿与象素灰度值的时域Kalman滤波技术结合起来，对所有象素进行时域滤波处理以补偿动态遮挡区域的图像信息，最后对补偿图像进行自适应灰度展宽和边缘增强处理。本发明的技术方案包括以下步骤设含有动态遮挡的图像序列记为"(i,力U-l,U)，并从第A^^2)帧开始采用本发明的方法进行实时补偿和增强。第一步，运动矢量的估计。动态遮挡图像中的遮挡是快速运动的前景，出现位置具有随机性，成像也不清晰。针对这些特点，为了保证运动矢量估计的稳健性和实时性，本发明采用了新的运动矢量估计方法。该方法的输入是连续两帧数字图像，记为/"(W)和尸(/,力，输出是这两帧图像之间的运动矢量，记为(AA^,A")。第1步，计算连续两帧图像的梯度幅度。采用Sobd算子计算得到,(,'，y)和广'(/，力的梯度幅度图像，分别记为g卞,/)和^、力。第2步，计算梯度幅度图像的投影直方图。设^(/,/)的行、列投影直方图分别为^(0、w力)，g"(")的行、列投影直方图分别为^-1(/)、w"(力，其中/=0，1,".,/-1，户0,1,…,J-1，/和J分别为图像的髙度和宽度。计算行、列投影直方图的方法是将A"(/)、w"0)、/^)、v/(力的初值设置为零；对于图像g"(/,力的所有象素(/，力，如果g"(/,/^"，就分别给f(/)和t/-'(/)加1;对于图像g^,力的所有象素(/,/)，如果^(">^，就分别给^(/)和V(力加1。计算行、列投影直方图所采用的阀值&根据图像的梯度分布属性确定，一般要求大于该阈值的象素占所有图像象素的10%。第3步，计算行、列投影直方图的相关系数。设行投影直方图^(/)和(/)的相关系数为《()，则《(A+Zl/^(0-//-1(/-Ay)|，Aye[-M，M]AA"Z(公式一)设列投影直方图WC/)和w"C/)的相关系数为《(Ax)，则及，M-XK(力-w"力.-触〗，^e[-风M]AA^Z(公式二)其中的M为相邻图像帧间的最大平移量，可以根据摄像机的运动情况设定，Z表示所有整数组成的集合。第4步，计算运动矢量。根据相关系数《(Ax)和《(Ay)得到图像,(/，力和(/,/)之间的运动矢量(AZA，A")，采用下面的公式,m,，(Ax)]f八寸二、上述方法利用场景中梯度幅度大于阈值gn的部分图像信息得到投影曲线。满足这个条件的部分图像信息主要是场景图像中的清晰边缘。由于动态遮挡的成像比较模糊，所以其梯度幅度值较低，在直方图累积过程中也不会被考虑到。因此，以上方法可以消除动态遮挡对投影曲线的影响，从而得到比较稳健的运动矢量估计结果。第二步，动态遮挡图像的补偿。动态图像包含着大量的冗余信息，补偿的目的在于利用这些冗余信息预测并恢复被遮挡的图像内容。本发明采用Kalman滤波算法对动态遮挡图像序列/、W)U-1,2,…J)进行补偿处理。补偿算法从fc22时刻开始，输入为"寸刻的图像尸(/,y)和"l时刻的图像/"(i,力以及它们之间的运动矢量(AZ、A")，输出为*时刻的补偿结果图像？(/,力，包括以下步骤-第1步，补偿算法初始化。如果*=2，就对补偿算法进行初始化，具体方法是假设系统噪声40和测量噪声v^都是零均值高斯白噪声，噪声方差分别为^和^，令PU=/"t+A"，7'+AXA;)，并根据光学系统特性和问题的具体情况设置滤波协方差矩阵p("ll"l)的初值；如果h2，则不做任何处理，直接进入第2步。第2步，对图像,(,■，/)的所有象素(/,力(0</，0《y</)进行Kalman滤波。具体包括以下步骤-第1)步，根据象素(/,力第ifc-l帧的滤波值？-'(W)计算其第it帧的预测值0,y)，采用下面的公式严(")第2)步，计算预测协方差系数/^|*-1):/(举_1)=p(A:-11fc-l)+《第3)步，计算Kalman滤波增益饰)=D2第4)步，计算象素(")在第W贞的滤波值户(")(公式六)(公式七)(公式八)(公式九)9第5)步，计算滤波协方差系数M&l/0:,,,:、~F'/^W-1)(公式十)第6)步，令*="1，返回第l)步，直到"K时结束。第三步，图像的自适应灰度展宽和边缘增强。对动态遮挡图像的增强处理包括自适应灰度展宽和边缘增强两步。图像增强的方法较多。为了保证图像处理系统的实时性，本发明对动态遮挡图像进行增强时采用下面的步骤第1步，图像的自适应灰度展宽。首先求补偿图像户(W)的归一化直方图，记为W)("0,1,…,255)，并设定较小的比例因子"(例如《=0.05)。然后根据《和直方图MO确定灰阶丄和H，采用下列公式i255|>(/)=;(公式H^一)最后根据灰阶z和/f对图像户(/，/)进行灰度展宽，展宽之后的图像记为V(/,y)，可以采用下式计算^(/,))=255><户('',力-Z(公式十二)第2步，图像的边缘增强。在灰度展宽的基础上，再对图像V(W)进行边缘增强。为了在增强边缘的同时平滑图像噪声，同时为了便于硬件实现以提高运算速度，本发明采用了下面的5X5巻积模板(记为r(/,力，其中/,/=-2,-1,0,1,2)。该模板的特点在于将噪声平滑和Laplace边缘增强的功能集成到一起，可以一次性地实现图像的噪声平滑和边缘增强。10<table>tableseeoriginaldocumentpage11</column></row><table>于是，边缘增强后的图像^《力可以采用下面的公式计算/(,',7〕=^(,',_/)<8^',力(公式十三)其中""表示图像与模板的二维巻积运算。采用本发明可以取得以下技术效果-本发明能够可靠地估计出动态遮挡图像的运动矢量，实时实现动态遮挡图像的缺损补偿和增强处理，明显改善各种存在动态遮挡的光电成像系统的视频图像质量。本发明所提出的动态遮挡图像的补偿和增强方法，具有以下比较明显的特点和优势1.提出的运动矢量估计方法能够有效地克服动态遮挡的干扰，具有简单易行、准确率高、鲁棒性强、易于FPGA(FieldProgrammableGateArray,现场可编程门阵列)实现的优点；2.提出的基于象素灰度值时域Kalman滤波的遮挡区域补偿算法，很好地利用了动态图像中蕴含的冗余信息，补偿性能良好，算法存储量、计算量较小，易于实时实现；3.将运动矢量估计结果与Kalman滤波相结合,很好地解决了动态遮挡图像的补偿问题，克服了运动模糊效应。图1为本发明的总体流程图；图2为存在动态遮挡的连续两帧图像，(a)为图像序列的第60帧，(b)为图像序列的第61帧；图3是图2中两帧图像的灰度投影直方图，(a)为列向灰度投影直方图，(b)为行向灰度投影直方图4是图3的灰度投影直方图的相关结果，(a)为列向灰度投影直方图相关曲线，(b)为行向灰度投影直方图相关曲线；图5是图2中两帧图像的梯度幅度投影直方图，(a)为列向梯度幅度投影直方图，(b)为行向梯度幅度投影直方图6是梯度幅度投影直方图的相关结果，(a)为列向梯度幅度投影直方图相关曲线，(b)为行向梯度幅度投影直方图相关曲线；图7是本发明第三步的图像增强方法与其它方法的对比，(a)为原始图像，(b)为直方图均衡的效果，(c)为保持细节的直方图均衡算法的效果，(d)为本发明的图像增强效果；图8是一组存在动态遮挡的图像序列，背景和摄像机之间没有相对运动；图9是对图8所示的图像序列采用本发明得到的补偿和增强结果；图IO是另一组存在动态遮挡的图像序列，背景和摄像机之间存在相对运动；图11是对图IO所示的图像序列采用本发明得到的补偿和增强结果。具体实施例方式图1是本发明的总体流程图。整个流程分为三步第一步，根据连续两帧输入图像，采用稳健的方法估计运动矢量，包括计算梯度幅度、累积行(列)直方图、直方图相关运算，得到两帧图像之间的运动矢量。第二步，根据连续两帧输入图像及其运动矢量，采用象素灰度值的时域Kalman滤波算法进行动态遮挡的补偿处理，得到补偿图像。第三步，对补偿图像进行增强处理，包括自适应的灰度展宽和边缘增强，12得到补偿和增强的图像。图2、3、4反映了动态遮挡对灰度投影算法的影响。图2是存在动态遮挡的连续两帧图像，其中(a)的左上角存在遮挡，(b)的左下角存在遮挡。由图2可以看出，动态遮挡成像模糊，难以准确分割。各种运动区域检测算法的计算量又比较大，实时实现较为困难。因此采用各种运动区域检测算法对动态遮挡区域进行补偿并不合适。图3是图2两帧图像的灰度投影直方图。图4是其灰度投影直方图的相关曲线。相关曲线最小值对应的横坐标即为图2中两帧图像之间的运动矢量。可以看出，由于动态遮挡的存在，灰度投影直方图的形状发生了明显的改变，其相关曲线也不能准确反映两帧图像之间的运动。图5是采用本发明第一步得到的梯度幅度投影直方图，图6是梯度幅度投影直方图的相关曲线，据此可以确定图2中两帧图像之间的运动矢量为(AX=-l,A:r=0)。利用这个运动矢量对图2(b)进行运动补偿并与图2(b)重叠对比，可以发现图6给出的运动矢量是正确的。这说明本发明第一步的运动矢量估计方法能够克服动态遮挡的影响，得到准确的运动矢量估计结果。图7是反映了几种图像增强算法的实际效果，其中图7(d)是本发明第三步的自适应灰度展宽和边缘增强的处理效果，与其它方法相比有比较明显的优势。图8是一组存在动态遮挡的图像序列，背景和摄像机之间没有相对运动，动态遮挡的影响表现为图像亮度不稳定。图9是采用本发明得到的补偿和增强结果，可以看出釆用本发明有效消除了图像亮度的闪烁，增强了图像细节，改善了图像的视觉效果。图IO是另一组存在动态遮挡的图像序列，此时背景和摄像机之间存在相对运动，动态遮挡的影响引起部分图像内容的缺损。图ll是采用本发明得到的补偿和增强结果，可以看出采用本发明能够有效补偿被遮挡掉的图像信息，同时增强图像的细节和对比度，整体改善图像的视觉效果。权利要求1.动态遮挡图像的实时补偿和增强方法，包括下述步骤设含有动态遮挡的图像序列记为fk(i，j)(k＝1，2，…，K)，并从第k(k≥2)帧开始采用本发明的方法进行实时补偿和增强第一步，运动矢量的估计将连续两帧数字图像记为fk-1(i，j)和fk(i，j)；第1步，计算连续两帧图像的梯度幅度计算得到fk(i，j)和fk-1(i，j)的梯度幅度图像，分别记为gk(i，j)和gk-1(i，j)；第2步，计算梯度幅度图像的投影直方图设gk(i，j)的行、列投影直方图分别为hk(i)、wk(j)，gk-1(i，j)的行、列投影直方图分别为hk-1(i)、wk-1(j)，其中i＝0，1，…，I-1，j＝0，1，…，J-1，I和J分别为图像的高度和宽度第3步，计算行、列投影直方图的相关系数设行投影直方图hk(i)和hk-1(i)的相关系数为Ryk(Δy)，则id="icf0001"file="A2009100435060002C1.tif"wi="95"he="8"top="149"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>(公式一)设列投影直方图wk(j)和wk-1(j)的相关系数为Rxk(Δx)，则id="icf0002"file="A2009100435060002C2.tif"wi="97"he="8"top="171"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>(公式二)其中的M为相邻图像帧间的最大平移量，可以根据摄像机的运动情况设定，Z表示所有整数组成的集合；第4步，计算运动矢量根据相关系数Rxk(Δx)和Ryk(Δy)得到图像fk(i，j)和fk-1(i，j)之间的运动矢量(ΔXk，ΔYk)，采用下面的公式<mathsid="math0001"num="0001"><math><![CDATA[<mfencedopen='{'close=''><mtable><mtr><mtd><mi>Δ</mi><msup><mi>X</mi><mi>k</mi></msup><mo>=</mo><mi>arg</mi><munder><mi>min</mi><mi>Δx</mi></munder><mo>[</mo><msubsup><mi>R</mi><mi>x</mi><mi>k</mi></msubsup><mrow><mo>(</mo><mi>Δx</mi><mo>)</mo></mrow><mo>]</mo></mtd></mtr><mtr><mtd><mi>Δ</mi><msup><mi>Y</mi><mi>k</mi></msup><mo>=</mo><mi>arg</mi><munder><mi>min</mi><mi>Δy</mi></munder><mo>[</mo><msubsup><mi>R</mi><mi>y</mi><mi>k</mi></msubsup><mrow><mo>(</mo><mi>Δy</mi><mo>)</mo></mrow><mo>]</mo></mtd></mtr></mtable></mfenced>]]></math>id="icf0003"file="A2009100435060002C3.tif"wi="40"he="14"top="231"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式三)第二步，动态遮挡图像的补偿第1步，补偿算法初始化如果k＝2，就对补偿算法进行初始化，具体方法是假设系统噪声w(k)和测量噪声v(k)都是零均值的高斯白噪声，噪声方差分别为σw2和σv2；令<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msup><mover><mi>f</mi><mo>~</mo></mover><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><msup><mi>f</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><mi>i</mi><mo>+</mo><mi>Δ</mi><msup><mi>Y</mi><mi>k</mi></msup><mo>,</mo><mi>j</mi><mo>+</mo><mi>Δ</mi><msup><mi>X</mi><mi>k</mi></msup><mo>)</mo></mrow></mrow>]]></math>id="icf0004"file="A2009100435060003C1.tif"wi="55"he="6"top="47"left="23"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>，并根据光学系统特性和问题的具体情况设置滤波协方差矩阵p(k-1|k-1)的初值；如果k＞2，则不做任何处理，直接进入第2步；第2步，对图像fk(i，j)的所有象素(i，j)(0≤i＜I，0≤j＜J)进行Kalman滤波，具体包括以下步骤第1)步，根据象素(i，j)第k-1帧的滤波值id="icf0005"file="A2009100435060003C2.tif"wi="14"he="5"top="85"left="122"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>计算其第k帧的预测值id="icf0006"file="A2009100435060003C3.tif"wi="12"he="5"top="95"left="23"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>，采用下面的公式<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msup><mover><mi>f</mi><mo>^</mo></mover><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><msup><mover><mi>f</mi><mo>~</mo></mover><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow></mrow>]]></math>id="icf0007"file="A2009100435060003C4.tif"wi="30"he="5"top="104"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式六)第2)步，计算预测协方差系数p(k|k-1)<mathsid="math0004"num="0004"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>=</mo><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>+</mo><msubsup><mi>σ</mi><mi>w</mi><mn>2</mn></msubsup></mrow>]]></math>id="icf0008"file="A2009100435060003C5.tif"wi="51"he="5"top="124"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式七)第3)步，计算Kalman滤波增益<mathsid="math0005"num="0005"><math><![CDATA[<mrow><mi>K</mi><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow><mrow><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>+</mo><msubsup><mi>σ</mi><mi>v</mi><mn>2</mn></msubsup></mrow></mfrac></mrow>]]></math>id="icf0009"file="A2009100435060003C6.tif"wi="38"he="10"top="142"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式八)第4)步，计算象素(i，j)在第k帧的滤波值id="icf0010"file="A2009100435060003C7.tif"wi="14"he="5"top="157"left="118"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/><mathsid="math0006"num="0006"><math><![CDATA[<mrow><msup><mover><mi>f</mi><mo>~</mo></mover><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><msup><mover><mi>f</mi><mo>^</mo></mover><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>+</mo><mi>K</mi><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow><mo>[</mo><msup><mi>f</mi><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><msup><mover><mi>f</mi><mo>^</mo></mover><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>]</mo></mrow>]]></math>id="icf0011"file="A2009100435060003C8.tif"wi="70"he="6"top="165"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式九)第5)步，计算滤波协方差系数p(k|k)<mathsid="math0007"num="0007"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>)</mo></mrow><mo>=</mo><mfrac><msubsup><mi>σ</mi><mi>v</mi><mn>2</mn></msubsup><mrow><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>+</mo><msubsup><mi>σ</mi><mi>v</mi><mn>2</mn></msubsup></mrow></mfrac><mo>·</mo><mi>p</mi><mrow><mo>(</mo><mi>k</mi><mo>|</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math>id="icf0012"file="A2009100435060003C9.tif"wi="59"he="10"top="186"left="60"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式十)第6)步，令k＝k+1，返回第1)步，直到k＝K时结束；第三步，图像的自适应灰度展宽和边缘增强第1步，图像的自适应灰度展宽首先求补偿图像id="icf0013"file="A2009100435060003C10.tif"wi="12"he="5"top="228"left="65"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>的归一化直方图，记为h(l)(l＝0，1，…，255)，并设定较小的比例因子α(例如α＝0.05)；然后根据α和直方图h(l)确定灰阶L和H，采用下列公式<mathsid="math0008"num="0008"><math><![CDATA[<mrow><munderover><mi>Σ</mi><mrow><mi>l</mi><mo>=</mo><mn>0</mn></mrow><mi>L</mi></munderover><mi>h</mi><mrow><mo>(</mo><mi>l</mi><mo>)</mo></mrow><mo>=</mo><mi>α</mi><mo>;</mo><munderover><mi>Σ</mi><mrow><mi>l</mi><mo>=</mo><mi>H</mi></mrow><mn>255</mn></munderover><mi>h</mi><mrow><mo>(</mo><mi>l</mi><mo>)</mo></mrow><mo>=</mo><mi>α</mi></mrow>]]></math>id="icf0014"file="A2009100435060003C11.tif"wi="41"he="9"top="256"left="56"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式十一)最后根据灰阶L和H对图像id="icf0015"file="A2009100435060004C1.tif"wi="12"he="5"top="27"left="91"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>进行灰度展宽，展宽之后的图像记为bk(i，j)，可以采用下式计算<mathsid="math0009"num="0009"><math><![CDATA[<mrow><msup><mi>b</mi><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><mn>255</mn><mo>×</mo><mfrac><mrow><msup><mover><mi>f</mi><mo>~</mo></mover><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mi>L</mi></mrow><mrow><mi>H</mi><mo>-</mo><mi>L</mi></mrow></mfrac></mrow>]]></math>id="icf0016"file="A2009100435060004C2.tif"wi="46"he="10"top="47"left="53"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式十二)第2步，图像的边缘增强采用下面的5×5卷积模板，记为t(i，j)，其中i，j＝-2，-1，0，1，2，<tablesid="tabl0001"num="0001"><table><tgroupcols="5"><colspeccolname="c001"colwidth="19%"/><colspeccolname="c002"colwidth="20%"/><colspeccolname="c003"colwidth="19%"/><colspeccolname="c004"colwidth="20%"/><colspeccolname="c005"colwidth="20%"/><thead></column></row><row><column><entrymorerows="1">-1</entry><entrymorerows="1">-2</entry><entrymorerows="1">-3</entry><entrymorerows="1">-2</entry><entrymorerows="1">-1</entry></column></row></thead><tbody></column></row><row><column><entrymorerows="1">-2</entry><entrymorerows="1">6</entry><entrymorerows="1">4</entry><entrymorerows="1">6</entry><entrymorerows="1">-2</entry></column></row></column></row><row><column><entrymorerows="1">-3</entry><entrymorerows="1">4</entry><entrymorerows="1">1</entry><entrymorerows="1">4</entry><entrymorerows="1">-3</entry></column></row></column></row><row><column><entrymorerows="1">-2</entry><entrymorerows="1">6</entry><entrymorerows="1">4</entry><entrymorerows="1">6</entry><entrymorerows="1">-2</entry></column></row></column></row><row><column><entrymorerows="1">-1</entry><entrymorerows="1">-2</entry><entrymorerows="1">-3</entry><entrymorerows="1">-2</entry><entrymorerows="1">-1</entry></column></row></tbody></tgroup></column></row><table></tables>计算边缘增强后的图像pk(i，j)<mathsid="math0010"num="0010"><math><![CDATA[<mrow><msup><mi>p</mi><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><msup><mi>b</mi><mi>k</mi></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>⊗</mo><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow></mrow>]]></math>id="icf0017"file="A2009100435060004C3.tif"wi="42"he="5"top="153"left="53"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(公式十三)其中“id="icf0018"file="A2009100435060004C4.tif"wi="3"he="3"top="164"left="33"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>”表示图像与模板的二维卷积运算2.根据权利要求l所述的动态遮挡图像的实时补偿和增强方法，其特征在于计算行、列投影直方图的方法是将^-乂/)、w"C/)、V(/)、iZ(力的初值设置为零;对于图像g"(/,力的所有象素(/,力，如果广(/,7>^，就分别给f'(,')和vZ-力')加1;对于图像g^,力的所有象素(,W)，如果,(,',/^"，就分别给/^(/)和i/(力加1;阀值^根据图像的梯度分布属性确定，一般要求大于该阈值的象素占所有图像象素的10%。3.根据权利要求2所述的动态遮挡图像的实时补偿和增强方法，其特征在于采用Sobel算子计算连续两帧图像的梯度幅度图像。全文摘要本发明提供一种动态遮挡图像的实时补偿和增强方法，解决动态遮挡图像的实时补偿和增强问题，改善动态遮挡图像的质量。技术方案是基于摄像机输出的视频图像，首先采用稳健的方法估计出相邻两帧图像之间的运动矢量，然后将运动补偿与象素灰度值的时域Kalman滤波技术结合起来，对所有象素进行时域滤波处理以补偿动态遮挡区域的图像信息，最后对补偿图像进行自适应灰度展宽和边缘增强处理。文档编号G06T5/00GK101551901SQ20091004350公开日2009年10月7日申请日期2009年5月25日优先权日2009年5月25日发明者焱张,张志龙,李吉成,光杨,王生让,王鲁平,明纪,梅韩申请人:中国人民解放军国防科学技术大学