专利名称：一种运动模糊场景的分割及前景提取方法和系统的制作方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种运动模糊场景的分割及前景提取方法和系统。
背景技术：
针对场景分割的研究一直是计算机视觉和计算机图形学的核心研究内容之一，前景提取对于如何从背景中将感兴趣的物体分离出来这一问题，至少有两种常用的解决方法蓝屏法和背景减法。蓝屏法依赖于背景具有单一的颜色(如蓝色或绿色)。通常，采用蓝屏法时，认为图像中那些与背景颜色的差异小于某一阈值的象素均属于背景点。蓝屏法需要建立一个具有单一颜色的受控环境，并且场景中被提取的物体不能与背景具有相近的颜色。而背景减法则依赖于对背景的记录与存储，通过将含有前景物体的图像与背景图像相比较，实现背景分离。背景减法中根据两幅图像之间的差异对前景区域进行识别，认为两幅图像中相同的区域属于是背景部分。采用背景减法，则无需建立可控制的拍摄环境。同时，背景与前景物体之间存在的色彩渗透现象也相对较弱。然而，采用背景减法也可能将某些前景部分误认为背景，这一现象通常发生在前景物体的部分颜色与背景十分类似的时候；同样，也可能将某些背景区域误认为前景，这种情况产生的原因则常常是由于前景物体的存在，在原背景区域产生了一定的阴影。综上，蓝屏法和背景减法均不能很好的实现大尺度运动模糊场景的分割。针对场景前景提取的研究同样是计算机视觉和计算机图形学的核心研究内容之一，场景成像结果由前景和背景共同作用的本质一方面是场景材质本身具有透明效果，另一方面是场景运动造成成像平面上某些位置的成像结果是由运动经过的前景区域与背景区域的共同作用，上述两个问题的成像本质不同，但是可以划归为同一类模型，而该类模型的求解算法来自与第一种情况(场景材质本身具有透明效果，比如毛发等具有的透明效果)，及场景材质本身的情况，在这种情况下，具有透明效果的区域较小，用户可以交互提供三区域约束图(trimap)进行约束，而在大尺度运动模糊的情况下，通常具有前景背景共同作用的区域较大，难以在不准确的约束情况下获得好的提取效果。
发明内容
针对现有技术中存在的上述问题，本发明提供了一种大尺度运动模糊场景的分割及前景提取方法和系统。本发明提供了一种运动模糊场景的分割及前景提取方法，包括步骤1，将采集到的图像进行颜色空间变换得到第一图像，并对第一图像进行均步骤2，将采集到的图像与背景图像相减，并将相减后得到的图像进行颜色空间变换得到第二图像，并对第二图像进行均衡；步骤3，根据均衡后的第一图像和第二图像得到背景区域；
步骤4，根据场景运动跟踪结果计算成像平面上每个像素的累积能量，并对能量分布图的二值图进行腐蚀；根据场景运动跟踪结果计算场景模型骨架各组成部分的模糊程度，根据场景模型骨架各组成部分的模糊程度对选取的在曝光时间内某一曝光时刻的清晰图像进行腐蚀；步骤5，根据腐蚀后的能量分布图的二值图以及腐蚀后的清晰图像得到前景区域；步骤6，根据前景区域和背景区域，利用trimap算法得到前景提取结果。在一个示例中，步骤1中，将采集的图像由RGB空间变换到HSV空间，并对第一图像进行直方图均衡；步骤2中，将相减后的图像由RGB空间变换到HSV空间，并对第二图像进行直方图均衡。在一个示例中，步骤3中，对第一图像、均衡后的第一图像、第二图像以及均衡后的第二图像的若干通道设置阈值，以进行运动模糊分割。在一个示例中，步骤3中，对均衡后的第一图像和第二图像进行二值分割得到的结果取反并进行形态学操作得到背景区域。在一个示例中，步骤4中，根据场景运动跟踪结果获取场景模型每个组成面片投影到成像平面每个像素的能量点，并依据累积分布计算得到成像平面上每个像素的累积能量。在一个示例中，步骤4中，如果曝光时间内存在奇数帧图像，则清晰图像为中间的一帧图像；如果曝光时间内存在偶数帧图像，则清晰图像为中间二帧图像中的任一帧。在一个示例中，步骤5中，将腐蚀后的能量分布图的二值图和腐蚀后的清晰图像对应地取交集得到前景区域；前景区域是二值图。在一个示例中，步骤7中，将前景区域和背景区域中间的部分作为未知待求解区域，利用trimap算法得到未知区域每个像素的属于前景区域的概率。在一个示例中，形态学操作为膨胀。本发明提供了一种运动模糊场景的分割系统，包括图像均衡模块，用于将采集到的图像进行颜色空间变换得到第一图像，并对第一图像进行均衡；将采集到的图像与背景图像相减，并将相减后得到的图像进行颜色空间变换得到第二图像，并对第二图像进行均衡；背景区域获取模块，用于根据均衡后的第一图像和第二图像得到背景区域；前景区域获取模块，用于根据场景运动跟踪结果计算成像平面上每个像素的累积能量，并对能量分布图的二值图进行腐蚀；根据场景运动跟踪结果计算场景模型骨架各组成部分的模糊程度，根据场景模型骨架各组成部分的模糊程度对选取的在曝光时间内某一曝光时刻的清晰图像进行腐蚀；根据腐蚀后的能量分布图的二值图以及腐蚀后的清晰图像得到前景区域；前景提取模块，用于根据前景区域和背景区域，利用trimap算法得到前景提取结^ ο在一个示例中，图像均衡模块，用于将采集的图像由RGB空间变换到HSV空间，并对第一图像进行直方图均衡；步骤2中，将相减后的图像由RGB空间变换到HSV空间，并对第二图像进行直方图均衡。
本发明能够对高速运动造成的大范围模糊实现准确的前景提取。
下面结合附图来对本发明作进一步详细说明，其中图Ia-图Ic为本发明大尺度运动模糊分割方法输入与输出结果图；图2为运动模糊分割方法多通道多尺度增强结果示意图；图3a-图3d为运动模糊前景提取方法输入与输出结果图；4b为运动场景能量部分图及模型骨架示意图；图5为计算得到的trimap示意图；图6为大尺度运动模糊分割的流程图前景区域提取的流程图；图7为大尺度运动模糊前景提取的流程图，其中运动模糊分割是前景提取的一个必要步骤，以提供准确的trimap获得精确的前景提取结果的流程图。
具体实施例方式本发明的一种大尺度运动模糊场景的分割及前景提取方法，针对大尺度严重运动模糊场景进行精确的前景分割与前景提取，基于颜色空间的转换进行多尺度多变换增强， 并自适应的选择不同尺度不同通道的约束阈值以实现最优融合结果，得到准确的大尺度运动模糊场景分割结果。另一方面，基于分割结果、运动模型骨架信息、运动场景跟踪结果及场景模型每个面片的运动扩散点函数计算得到场景前景及背景约束，利用基于trimap的前景提取算法准确获得图像上各个像素的前景遮罩值，实现准确的前景提取，消除背景的影响。基于颜色空间转换及直方图均衡化的多通道多尺度增强，RGB颜色空间转换为 HSV颜色空间，在H通道反映了场景的色调信息；对HSV各通道基于直方图均衡化的方法进行增强，将前景与背景的自个色调、饱和度、色值特征进行进一步增强，提高区分度。基于背景相减的方法，利用额外采集的场景背景信息，将采集图像减去背景图像， 得到的差图像进行颜色空间转换及直方图均衡，得到增强后的差图像能够更好的体现前景背景的差异，尤其在运动模糊大，前景颜色值很小的情况下，直方图均衡增强的方法能够捕捉属于前景但在RGB空间及传统基于HSV空间的背景相减算法中难于捕捉的区域。基于运动模糊程度及颜色相似度的联合阈值选择机制，适应的选择不同尺度不同通道的约束阈值以实现最优融合结果。利用形态处理方法及图像处理方法获取光滑连续的高质量连通前景区域，消除毛刺边缘，填充内部空洞，去除外部噪声。基于运动场景跟踪信息计算获取场景各个位置的能量分布图，依据场景运动跟踪结果可以获取场景模型每个组成面片投影到成像平面每个像素的能量点，并依据累积分布计算得到成像平面上每个像素的累积能量，从而判断该像素属于前景的概率。运动跟踪的结果是静态初始模型上每个顶点在运动过程中每一个时刻的新位置，也就是每个顶点的运动轨迹。此外运动跟踪保证模型的拓扑不变形，模型上原来一个面片由三个顶点构成在运动跟踪的结果中仍然由这三个顶点构成，只是空间位置发生变化而已。因此，运动跟踪即可以得到模型上每个面片的运动轨迹。每个面片运动轨迹的能量分布是与速度相关的，例如，一个面片在曝光时间内勻速运动了 20个像素的距离，那么每个像素的能量就是1/20。一个三维运动面片在2D上占有一定的像素集合，并且每个被覆盖像素都有对应的能量，所有被覆盖像素的能量和为1 (对每个面片都有一个这样的计算过程)。对每个面片计算完成2D 的运动模糊核之后，对成像平面上每个像素计算其累积能量，就是这个像素所接受到的所有覆盖过它的面片的能量，理想情况下，没有运动模糊，那么某个每个像素假设被某个面片在整个曝光时间内覆盖，没有发生过变化，那么累积能量必然为1。而若有大尺度的运动模糊，某个像素在曝光时间内的某一小段时间内被经过，其它时间就没有其它像素经过，那么其累积能量必然小于1，那么它属于前景的概率就等于其累积能量，是小于1的，也就是这个点上，成像结果的颜色值，有P的概率属于前景，I-P的概率属于背景，P即为累积能量。运动场景模型骨架信息及运动跟踪结果，判断各个组成部分(比如人体，可以分为头，前臂大臂，手，脚等)的运动大小，对于运动大的区域，其属于前景的概率较之运动小的部分属于前景的概率要小。此外，考虑运动跟踪算法的存在误差，对于跟踪误差较大身体部分(bodypart)利用形态学操作，均勻减小其前景区域。使得确定的前景区域更为准确。依据大尺度运动场景模糊分割的结果，取反并进行膨胀的形态学操作以作为确定的背景约束。将确定的前景区域与确定的背景区域中间的部分(就是既不属于前景区域也不属于背景区域的部分)作为未知待求解区域，利用基于trimap的方法获取未知区域每个像素的属于前景的概率。基于trimap求解得到前景遮罩值(即前景的概率)，并依据提取得到的前景区域与背景区域进行迭代优化，进一步降低由于运动跟踪不准确性及前景背景颜色相似性引起的误差。如图Ia-图Ic所示，为大尺度运动模糊分割方法输入与输出结果图，其中图Ia为采集到的场景运动图像，图Ic为静态背景图像，这两幅图像均为本发明的输入图像，图Ib 为本发明算法得到的运动模糊分割结果，其中白色表示前景区域，黑色表示背景区域。如图2所示，为运动模糊分割方法多通道多尺度增强结果示意图，其中第一行为分别为对应于图Ia的H，S，V变换通道，第二行为H，S，V通道的增强结果，使用直方图均衡化，迭代3次的增强结果，记为H_e，S_e，V_e，第三行为图Ia减去图Ic所得差图像的H，S， V三通道示意图，记为H_sub，S_sub, V_sub，第四行为H_sub，S_sub, V_sub三通道迭代三次的增强结果，记为H_sub_e，S_sub_e, V_sub_e，可见手臂模糊部分在H_e中具有很小的值， 而在H_Sub_e中具有很大的值，因此，为了获得好的运动模糊分割结果，联合阈值可以设定为H_e < Thl，H_sub_e > Th2，其中Thl的典型取值为0. 25，Th2的典型取值为0. 75。联合阈值的选择，对于本领域技术人员而言是显而易见的，本领域人员可以根据具体的需求以及通道 H, S, V, H_c，S_c，V_c, H_sub，S_sub，V_sub, H_sub_e，S_sub_e，V_sub_e 的结果进行选择。如图3a-图3d所示，为运动模糊前景提取方法输入与输出结果图，图3a为采集到的场景运动图像，作为输入图像，图北为该图像对应的前景遮罩结果，图像像素取值为 0-1，其中0表示确定的背景，1表示确定的前景，0-1之前的值表示属于前景像素的概率。图 3c为提取得到的前景图像，图3d为提取得到的背景图像。如图4a_图4b所示，为运动场景能量部分图及模型骨架示意图，图如为成像平面上每个像素的累积能量，图像像素取值为0-1，其中0表示该像素无能量，属于前景的概率为0，1表示满能量，属于前景的概率为1，0-1之前的值表示能量占满满能量的百分比，也即属于前景像素的概率。图4b为运动模型的骨架结构，其中按照颜色红、绿、蓝、黄、紫、青、 白为运动程度依次降低的身体部分。如图5所示，为计算得到的trimap示意图，前景区域为对图如以0. 9为阈值，对得到的二值前景区域进行W次迭代腐蚀操作，再按照图4b所示大尺度运动模型区域进行额外的N2次迭代腐蚀操作所得到的前景区域，如图白色部分所示；将二值分割结果进行取反并进行N3次迭代膨胀操作得到背景区域，如图黑色部分所示。其中经典取值，m = 5，N2 =5，N3 = 6。图6显示了大尺度运动模糊分割的流程图前景区域提取的流程。该流程中，首先要对采集的图像I进行颜色空间变换，并对变换后的图像进行直方图均衡；其次将采集的图像I与背景图像B相减，对相减得到的图像进行颜色空间变换，并对变换后的图像进行直方图均衡；再次，对变换后的各通道的结果及其直方图均衡后的结果进行联合阈值选择； 最后通过形态处理方法及图像处理方法获得光滑连续的高质量连通前景区域。图7显示了大尺度运动模糊前景提取的流程图。该流程中，主要分为三个部分 确定前景区域，确定背景区域，获得精确的前景提取结果。确定前景区域主要包括根据场景运动跟踪结果得到能量分布图，并对能量分布图的二值图进行腐蚀，腐蚀过程中需要根据预设的阈值确定运动模糊大的区域，运动模糊程度不同的区域腐蚀的程度不同；根据场景运动跟踪结果判定模型骨架结构各个组成部分的运动大小，根据预设的条件确定运动大的组成部分，选择曝光时间内位于曝光时间中间的时刻(对于曝光时间内有奇数帧的情况， 可以取中间的一幅图像；对于曝光时间内有偶数帧的情况，可以取中间二幅图像中的任一副图像)得到的清晰图像，并对该清晰的图像进行腐蚀，腐蚀的过程中需要考虑各组成部分运动大小，运动程度不同的组成部分，腐蚀的程度不同；将腐蚀后的能量分布图的二值图和腐蚀后的清晰图像对应地取交集，得到前景区域。确定背景区域主要对运动模糊分割结果进行形态学操作得到背景区域。获得精确的前景提取结果主要是根据前景区域和背景区域，利用trimap算法得到精确的前景提取结果。以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。
权利要求
1.一种运动模糊场景的分割及前景提取方法，其特征在于，包括步骤1，将采集到的图像进行颜色空间变换得到第一图像，并对第一图像进行均衡；步骤2，将采集到的图像与背景图像相减，并将相减后得到的图像进行颜色空间变换得到第二图像，并对第二图像进行均衡；步骤3，根据均衡后的第一图像和第二图像得到背景区域；步骤4，根据场景运动跟踪结果计算成像平面上每个像素的累积能量，并对能量分布图的二值图进行腐蚀；根据场景运动跟踪结果计算场景模型骨架各组成部分的模糊程度，根据场景模型骨架各组成部分的模糊程度对选取的在曝光时间内的某一曝光时刻的清晰图像进行腐蚀；步骤5，根据腐蚀后的能量分布图的二值图以及腐蚀后的清晰图像得到前景区域；步骤6，根据前景区域和背景区域，利用trimap算法得到前景提取结果。
2.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤1中， 将采集的图像由RGB空间变换到HSV空间，并对第一图像进行直方图均衡；步骤2中，将相减后的图像由RGB空间变换到HSV空间，并对第二图像进行直方图均衡。
3.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤3中， 对第一图像、均衡后的第一图像、第二图像以及均衡后的第二图像的若干通道设置阈值，以进行运动模糊分割。
4.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤3中， 对均衡后的第一图像和第二图像进行二值分割得到的结果取反并进行形态学操作得到背景区域。
5.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤4中， 根据场景运动跟踪结果获取场景模型每个组成面片投影到成像平面每个像素的能量点，并依据累积分布计算得到成像平面上每个像素的累积能量。
6.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤4中， 如果曝光时间内存在奇数帧图像，则清晰图像为中间的一帧图像；如果曝光时间内存在偶数帧图像，则清晰图像为中间二帧图像中的任一帧。
7.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤5中， 将腐蚀后的能量分布图的二值图和腐蚀后的清晰图像对应地取交集得到前景区域；前景区域是二值图。
8.如权利要求1所述的运动模糊场景的分割及前景提取方法，其特征在于，步骤7中， 将前景区域和背景区域中间的部分作为未知待求解区域，利用trimap算法得到未知区域每个像素的属于前景区域的概率。
9.如权利要求4所述的运动模糊场景的分割及前景提取方法，其特征在于，形态学操作为膨胀。
10.一种运动模糊场景的分割系统，其特征在于，包括图像均衡模块，用于将采集到的图像进行颜色空间变换得到第一图像，并对第一图像进行均衡；将采集到的图像与背景图像相减，并将相减后得到的图像进行颜色空间变换得到第二图像，并对第二图像进行均衡；前景区域获取模块，用于根据场景运动跟踪结果计算成像平面上每个像素的累积能量，并对能量分布图的二值图进行腐蚀；根据场景运动跟踪结果计算场景模型骨架各组成部分的模糊程度，根据场景模型骨架各组成部分的模糊程度对选取的在曝光时间内的某一曝光时刻的清晰图像进行腐蚀；根据腐蚀后的能量分布图的二值图以及腐蚀后的清晰图像得到前景区域；前景提取模块，用于根据前景区域和背景区域，利用trimap算法得到前景提取结果。
全文摘要
本发明公开了一种运动模糊场景的分割及前景提取方法和系统。该方法包括将采集到的图像进行颜色空间变换得到第一图像，并对第一图像进行均衡；将采集到的图像与背景图像相减，并将相减后得到的图像进行颜色空间变换得到第二图像，并对第二图像进行均衡；根据均衡后的第一图像和第二图像得到背景区域计算成像平面上每个像素的累积能量，并对能量分布图的二值图进行腐蚀；计算场景模型骨架各组成部分的模糊程度，对选取的在一曝光时刻的清晰图像进行腐蚀；根据腐蚀后的能量分布图的二值图以及腐蚀后的清晰图像得到前景区域；根据前景区域和背景区域，利用trimap算法得到前景提取结果。本发明能够对高速运动造成的大范围模糊实现准确的前景提取。
文档编号G06T7/20GK102254325SQ20111020529
公开日2011年11月23日 申请日期2011年7月21日 优先权日2011年7月21日
发明者刘烨斌, 戴琼海, 武迪, 王好谦 申请人:清华大学