专利名称：视频增强方法和系统的制作方法
技术领域：
本申请一般地涉及图像和视频处理，具体地，涉及视频增强方法和系统。
背景技术：
对于数码相机、数字摄像头等，主要的视频质量增强方式是图像增强方法。该类方法没有考虑多帧图像之间的关联关系。使用它们来提升视频质量，往往导致增强的视频有颗粒现象和闪烁，并且增强的效果不稳定。
发明内容
本申请致力于提供一种能根据视频内容重要性进行动态调整的视频增强方法。视频内容重要性可通过计算视频中的每帧图像的所有像素的显著度来体现。根据本发明的第一方面，提供一种视频增强方法，包括在视频中检测感兴趣对象；计算所述视频中每帧图像的显著度图；构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出增强的视频。根据本发明的第二方面，提供一种视频增强方法，包括在视频中检测感兴趣对象；计算所述视频中每帧图像 的显著度图；对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及输出增强的视频。根据本发明的第三方面，提供一种视频增强系统，包括感兴趣对象检测模块，用于在视频中检测感兴趣对象；显著度计算模块，用于计算所述视频中每帧图像的显著度图；显著度自适应时域滤波模块，用于构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出模块，用于输出增强的视频。根据本发明的第四方面，提供一种视频增强系统，包括感兴趣对象检测模块，用于在视频中检测感兴趣对象；显著度计算模块，用于计算所述视频中每帧图像的显著度图；显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及输出模块，用于输出增强的视频。本申请提出的视频增强方法和系统，以视频内容的重要性为依据进行视频增强，因此不会导致视频中重要信息的模糊。另外，根据本发明的方法和系统综合地考虑了视频中连续多帧图像的关联性，保证了增强效果的稳定性。本发明不需要直接控制硬件(例如，相机，摄像头等)参数，其适用范围更为广泛。根据本发明的第一方面和第三方面，滤除了噪声的影响，从而有效地降低增强后视频的颗粒现象和闪烁。根据本发明的第二方面和第四方面，考虑了视频内容的重要性，因此有效地提升了重要性高的内容的亮度和对比度。
图I是根据本发明一个实施例的视频增强方法的流程图；图2是根据本发明一个实施例的计算视频中图像显著度图的流程图3是根据本发明一个实施例的办公场景的显著度图的示意图；图4是根据本发明一个实施例的户外场景的显著度图的示意图；图5是根据本发明一个实施例的显著度自适应局部对比度增强的流程图；以及图6是根据本发明一个实施 例的视频增强系统的示意方框图。
具体实施例方式为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。图I是根据本发明一个实施例的视频增强方法的流程图。如图I所示，根据本发明一个实施例的视频增强方法包括感兴趣对象检测步骤S110、显著度图计算步骤S120、显著度自适应时域滤波步骤S130、显著度自适应曝光修正步骤S140、显著度自适应局部对比度增强步骤S150和输出增强的视频步骤S160。下面对各步骤进行具体说明。在步骤S110，在视频中检测感兴趣对象。多种现有的方法可以用于感兴趣对象的检测。例如，基于混合高斯模式的对象检测、基于形状模板的对象检测、对象跟踪方法等。如果应用有明确的对象类型，一些专门的对象检测方法可以被采用。例如，会议场景中，感兴趣对象通常是说话人和参会者。正脸检测、侧脸检测、多视角人脸检测、头检测、基于HOG (Histogram oforiented gradient,方向梯度的直方图，一种特征描述子,其多用于对象检测，特别是人的检测)的人检测都可以是备选方法。步骤SllO的目标是在像素层面上区分不同的感兴趣对象和背景。在步骤S120，计算视频中每帧图像的显著度图。图2是根据本发明一个实施例的计算视频中图像显著度图的流程图。参见图2，在步骤S121，从视频中获取每帧图像，将其转换到合适的颜色空间。例如，从RGB到灰度空间、LUV/LAB或者HSV空间，然后得到其亮度图像。在步骤S122，计算一帧图像中感兴趣对象的显著度值。这里，显著度值是对视频的一帧图像中单个像素或者一组像素(对象)的重要性的一种度量。感兴趣对象来自步骤SllO的输出。考虑到对象不同或者对象的状态不同，其在视觉表现上的重要性也不同，因此，对于不同的感兴趣对象，其显著度值应该有所差别。下述感兴趣对象的因素在计算显著度值时需要被考虑。这些因素包括但不局限于感兴趣对象的类型、大小、对象到图像中心的距离。例如，在会议场景中，主要的感兴趣对象是说话人和参会者。他们的大小、到图像中心的距离、脸的角度等均需要考虑。使用公式(I)计算感兴趣对象的显著度值。Saliency_0b j (k) = F (size (k)，dist (k)，pose (k))(I)其中，k表示第k个感兴趣对象，size (k)表示第k个感兴趣对象的大小，dist (k)表示第k个感兴趣对象到图像中心的距离，pose(k)表示第k个感兴趣对象的脸的角度，Saliency_0bj (k)表示计算得到的第k个感兴趣对象的显著度值。这里,F可以是线性函数也可以是非线性函数。如果图像中的像素满足公式(2)，那么该像素的显著度值即等于该感兴趣对象的显著度值，如公式(3)所示。
pixel (x, y) G k(2)Saliency_pixel (x, y) = Saliency_0bj (k) (3)其中，除了公式⑴中出现的符号以外，pixel (x，y)表示坐标为(x，y)的像素，Saliency_pixel (x, y)表示像素 pixel (x, y)的显著度值。在步骤S123，计算每帧图像中背景区域中像素的显著度值。如果背景像素没有运动，则背景像素的显著度值为O。如果背景像素有运动，则背景像素的显著度值与像素的运动频度相关。背景像素的运动频度可通过如下方法计算获得。首先，获取在自当前时间向回算的指定持续时间内的运动对象检测的结果，从而获得了多个运动对象，该预定持续时间可以是0. 5秒、I. 0秒、2秒或者其他的时间间隔值。其次,计算该指定持续时间内每个像素点属于运动对象的次数times (x, y),计算公式如公式⑷和(5)所示。
权利要求
1.一种视频增强方法，包括 在视频中检测感兴趣对象； 计算所述视频中每帧图像的显著度图； 构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及 输出增强的视频。
2.根据权利要求I所述的视频增强方法，还包括对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度。
3.根据权利要求2所述的视频增强方法，还包括在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。
4.根据权利要求I至3的任何一个所述的视频增强方法，其中所述的计算所述视频中每帧图像的显著度图包括 从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像； 计算每帧图像中感兴趣对象的像素的显著度值； 计算每帧图像中背景区域中的像素的显著度值； 合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库； 综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及 输出计算的每帧图像的显著度图。
5.根据权利要求I至3的任何一个所述的视频增强方法，其中所述的构建亮度和显著度自适应的时域滤波器包括 采用中值滤波器，基于感兴趣对象和运动像素不宜过分平滑以及低亮度下噪声出现的概率升高的原则，根据每个像素的显著度值和亮度值计算中值滤波器的权值；以及 使用中值滤波器处理所述视频的每帧图像，即，基于中值滤波器的权值，计算中值滤波后每个像素的亮度值和滤波前每个像素的亮度值的加权和，得到该图像的中值滤波器处理后的平滑结果。
6.根据权利要求2或3所述的视频增强方法，其中所述的显著度自适应的曝光修正包括 基于所述视频的每帧图像的显著度图，根据曝光密度函数计算理想曝光和实际曝光的差值；以及 对于所述视频的每帧图像的每个像素，基于计算得到的差值进行重新曝光计算， 其中在重新曝光计算中使用双对比度控制参数增强对比度。
7.根据权利要求3所述的视频增强方法，其中所述的显著度自适应的局部对比度增强包括 从所述视频的每帧图像中获取单个通道的图像； 计算所述单个通道的图像的平均图像； 基于所述显著度图过滤所述单个通道的图像中的每个像素，选择需要进行局部对比度增强处理的像素； 基于所有选择的像素，计算局部变化图像并且计算增强的局部变化图像；以及合并增强的局部变化图像和平均图像，并且通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。
8.ー种视频增强方法，包括 在视频中检测感兴趣对象； 计算所述视频中每帧图像的显著度图； 对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及 输出增强的视频。
9.根据权利要求8所述的视频增强方法，还包括在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。
10.根据权利要求8或9所述的视频增强方法，其中所述的计算所述视频中每帧图像的显著度图包括 从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像； 计算每帧图像中感兴趣对象的像素的显著度值； 计算每帧图像中背景区域中的像素的显著度值； 合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库； 综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及 输出计算的每帧图像的显著度图。
11.根据权利要求8或9所述的视频增强方法，其中所述的显著度自适应的曝光修正包括 基于所述视频的每帧图像的显著度图，根据曝光密度函数计算理想曝光和实际曝光的差值；以及 对于所述视频的每帧图像的每个像素，基于计算得到的差值进行重新曝光计算， 其中在重新曝光计算中使用双对比度控制參数增强对比度。
12.根据权利要求9所述的视频增强方法，其中所述的显著度自适应的局部对比度增强包括 从所述视频的每帧图像中获取单个通道的图像； 计算所述单个通道的图像的平均图像； 基于所述显著度图过滤所述单个通道的图像中的每个像素，选择需要进行局部对比度增强处理的像素； 基于所有选择的像素，计算局部变化图像并且计算增强的局部变化图像；以及合并增强的局部变化图像和平均图像，并且通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。
13.—种视频增强系统，包括 感兴趣对象检测t吴块，用于在视频中检测感兴趣对象； 显著度计算模块，用于计算所述视频中每帧图像的显著度图； 显著度自适应时域滤波模块，用于构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及 输出模块，用于输出增强的视频。
14.根据权利要求13所述的视频增强系统，还包括显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度。
15.根据权利要求14所述的视频增强系统，还包括显著度自适应局部对比度增强模块，用于在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。
16.根据权利要求13至15的任何一个所述的视频增强系统，其中所述显著度计算模块包括 图像获取模块，用于从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像； 感兴趣对象显著度值计算模块，用于计算每帧图像中感兴趣对象的像素的显著度值； 背景区域显著度值计算模块，用于计算每帧图像中背景区域中的像素的显著度值； 图像显著度图计算模块，用于合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库； 显著度图更新模块，用于综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及 显著度图输出模块，用于输出计算的每帧图像的显著度图。
17.根据权利要求13至15的任何一个所述的视频增强系统，其中所述显著度自适应时域滤波模块包括用于采用中值滤波器、基于感兴趣对象和运动像素不宜过分平滑以及低亮度下噪声出现的概率升高的原则、根据每个像素的显著度值和亮度值计算中值滤波器的权值的模块；用于使用中值滤波器处理所述视频的每帧图像的模块，其基于中值滤波器的权值，计算中值滤波后每个像素的亮度值和滤波前每个像素的亮度值的加权和，得到该图像的中值滤波器处理后的平滑结果。
18.根据权利要求14或15所述的视频增强系统，其中所述显著度自适应曝光修正模块包括 用于基于所述视频的每帧图像的显著度图、根据曝光密度函数计算理想曝光和实际曝光的差值的模块；以及 用于对于所述视频的每帧图像的每个像素、基于计算得到的差值进行重新曝光计算的模块， 其中在重新曝光计算中使用双对比度控制参数增强对比度。
19.根据权利要求15所述的视频增强系统，其中所述的显著度自适应局部对比度增强模块包括 用于从所述视频的每帧图像中获取单个通道的图像的模块； 用于计算所述单个通道的图像的平均图像的模块； 用于基于所述显著度图过滤所述单个通道的图像中的每个像素、选择需要进行局部对比度增强处理的像素的模块； 用于基于所有选择的像素、计算局部变化图像并且计算增强的局部变化图像的模块；以及 用于合并增强的局部变化图像和平均图像的模块，其还通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。
20.ー种视频增强系统，包括 感兴趣对象检测t吴块，用于在视频中检测感兴趣对象； 显著度计算模块，用于计算所述视频中每帧图像的显著度图； 显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及输出模块，用于输出增强的视频。
21.根据权利要求20所述的视频增强系统，还包括显著度自适应局部对比度增强模块，用于在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。
22.根据权利要求20或21所述的视频增强系统，其中所述显著度计算模块包括 图像获取模块，用于从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像； 感兴趣对象显著度值计算模块，用于计算每帧图像中感兴趣对象的像素的显著度值；背景区域显著度值计算模块，用于计算每帧图像中背景区域中的像素的显著度值；图像显著度图计算模块，用于合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库； 显著度图更新模块，用于综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及 显著度图输出模块，用于输出计算的每帧图像的显著度图。
23.根据权利要求20或21所述的视频增强系统，其中所述显著度自适应曝光修正模块包括 用于基于所述视频的每帧图像的显著度图、根据曝光密度函数计算理想曝光和实际曝光的差值的模块；以及 用于对于所述视频的每帧图像的每个像素、基于计算得到的差值进行重新曝光计算的模块， 其中在重新曝光计算中使用双对比度控制參数增强对比度。
24.根据权利要求21所述的视频增强系统，其中所述的显著度自适应局部对比度增强模块包括 用于从所述视频的每帧图像中获取单个通道的图像的模块； 用于计算所述单个通道的图像的平均图像的模块； 用于基于所述显著度图过滤所述单个通道的图像中的每个像素、选择需要进行局部对比度增强处理的像素的模块； 用于基于所有选择的像素、计算局部变化图像并且计算增强的局部变化图像的模块；以及 用于合并增强的局部变化图像和平均图像的模块，其还通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。
全文摘要
一种视频增强方法和系统。该方法包括在视频中检测感兴趣对象；计算所述视频中每帧图像的显著度图；构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出增强的视频。所述视频增强方法和系统，以视频内容的重要性为依据进行视频增强，因此不会导致视频中重要信息的模糊。其综合地考虑了视频中连续多帧图像的关联性，保证了增强效果的稳定性。
文档编号H04N5/217GK102625030SQ201110034308
公开日2012年8月1日 申请日期2011年2月1日 优先权日2011年2月1日
发明者宫卫涛, 王晓萌, 王鑫, 范圣印 申请人:株式会社理光