专利名称：一种视频处理方法及装置的制作方法
技术领域：
本发明涉及信号处理技术领域，具体涉及一种视频处理方法及装置。
背景技术：
数码相机、数码摄像机已经在生活中大规模普及。当前的应用中，以电荷藕合器件 (CCD，Charge Coupled Device)为基础的数码相机占了绝大部分的市场；而在数码相机中， 大多数采用隔行扫描技术。传统的隔行CCD图像传感器，每帧图像(2N行)可以分为顶场 (奇数N行)和底场(偶数N行)。在进行图像处理时，对顶场图像及底场图像先后进行曝 光、累积电荷、图像加强并输出。现有的视频图像处理方法通常以帧为单位进行曝光。例如，现有技术的一种视频 处理技术为A、获取一个视频序列，以帧为单位交替设置长短曝光。
B、逐像素匹配对齐当前帧每个像素在下一帧的像素位置，对于每一个匹配好的像 素集，找出最可信的一个像素。C、利用该象素的亮度与颜色信息计算出辉度图。D、使用色调映射的方法，把高比特的辉度图压缩成8比特的图像。在对现有技术的研究和实践过程中，本发明的发明人发现，对于亮度分布比较复 杂的场景(如高动态范围场景)、低照度下的场景、强光拍摄、逆光拍摄等场景，以每个帧为 像素单元的单次曝光已经不能够准确记录场景，造成成像质量的低下。
发明内容
本发明实施例提供一种视频处理方法和装置，以提高视频图像处理质量。一种视频处理方法，包括将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到曝光顶 场和曝光底场，所述顶场和底场的场曝光时间不同；对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝光帧；对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。一种处理装置，包括获取单元，用于将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝 光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；重构单元，用于对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构 的曝光帧；增强单元，用于对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的 图像。本发明实施例采用将场曝光技术和去隔行技术相结合，在不改变现有相机的框架 的情况下增强输出视频的动态范围，保持输出视频的原有帧率，由于不同曝光时间的顶场和底场各自记录了亮区和暗区的细节，通过去隔行处理后得到的帧能够同时表现出亮区和 暗区的细节，提高在复杂亮度分布情况下的成像质量。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其 他的附图。图1是本发明一种视频处理方法的一个实施例的流程图；图2是本发明一种视频处理装置的一个实施例的结构图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。本发明实施例提供一种视频处理方法，能够在亮度分布复杂的情况下输出高质量 图像。本发明实施例还提供相应的装置。以下分别进行详细说明。将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到曝光顶 场和曝光底场，所述顶场和底场的场曝光时间不同；具体的，在相机工作时，分析当前当前处理帧的场景中的亮度分布情况，分别设定 两个曝光时间，长曝光时间用来记录暗区细节，短曝光时间用来记录亮区细节，将当前处理 帧分为顶场和底场分别采用所述两个曝光时间进行场曝光，形成曝光时间不同的曝光顶场 和曝光底场。对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝光帧；具体的，通过去隔行技术，将当前处理帧的曝光顶场和曝光底场，重构得到重构长 曝光帧和重构短曝光帧。对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。具体的，对重构后得到的帧进行增强，所述增强可以采用高动态范围图像融合、低 照度下噪声抑止、背光逆光补偿、强光抑制中的一种或多种方法。本发明实施例采用场曝光技术和去隔行技术，在不改变现有相机的框架的情况下 增强输出视频的动态范围，保持输出视频的原有帧率，提高在复杂亮度分布情况下的成像质量。实施例一、
请参阅图1为本发明一种视频处理方法的一个实施例的流程图；本实施例以双曝光实现高动态范围视频调整为例进行表述。步骤101、将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得 到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同。进一步地，在对所述顶场和底场分别进行场曝光之前，该方法还可包括
分析当前处理帧的场景，选择能记录所述场景暗/亮细节的长曝光时间/短曝光 时间；将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧的底场曝光时间配置成短曝光时间，或者将所述当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧的底场 曝光时间配置成长曝光时间。具体的，在相机工作时，可分析当前处理帧的场景中的亮度分布情况，选择能记 录场景暗亮细节的长曝光时间和短曝光时间，所述长曝光时间能够记录暗区细节，所述短 曝光时间能够记录亮区细节；根据图像传感器的通讯特点，将每一帧顶/底场曝光时间 配置成长/短曝光时间或者短/长曝光时间。常用的图像传感器通讯接口为通用异步收 发器(UART, Universal AsynchronousReceiver/Transmitter)或者内部集成电路(IIC, Inter-Integrated Circuit)低速通讯接口，在本发明实施例中，以顶场采用长曝光时间、 底场采用短曝光时间为例进行表述。步骤102、对所述曝光顶场和曝光底场采用去隔行技术处理，得到两个重构的曝光 帧。具体的，对当前处理的帧的曝光顶场和曝光底场采用去隔行技术，进行重构得到 两个重构的长/短曝光帧，具体可以采用如下方式实现以当前处理的帧的长曝光顶场和短曝光底场、相邻帧的顶场为参考场，计算得出 当前处理的帧底场的运动信息；利用所述当前处理的帧底场的运动信息及参考场重构出当前处理的帧的长曝光 底场，并与当前处理帧的长曝光顶场组成当前时刻的长曝光帧；以当前处理的帧的长曝光顶场和短曝光底场、相邻帧的底场为参考场，计算得出 当前处理的帧顶场的运动信息；利用所述当前处理的帧顶场的运动信息及参考场重构出当前处理的帧的短曝光 顶场，并与当前处理帧的短曝光底场组成当前时刻的短曝光帧。由此可得到两个重构帧，包 括一个长曝光帧和一个短曝光帧。类似的，如果顶场曝光时间配置为短曝光时间、底场曝光时间配置为长曝光时间， 时可以采用如下方式以当前处理的帧的短曝光顶场和长曝光底场、相邻帧的顶场为参考场，计算得出 当前处理的帧底场的运动信息；利用所述当前处理的帧底场的运动信息及参考场重构出当前处理的帧的短曝光 底场，并与当前处理的帧的短曝光顶场组成当前时刻的短曝光帧；以当前处理的帧的短曝光顶场和长曝光底场、相邻帧的底场为参考场，计算得出 当前处理的帧顶场的运动信息；利用所述当前处理的帧顶场的运动信息及参考场重构出当前处理的帧的长曝光 顶场，并与当前处理的帧的长曝光底场组成当前时刻的长曝光帧。步骤103、对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。具体的，可采用高动态范围图像融合、低照度下噪声抑止、背光逆光补偿、强光抑 制中的一种或多种方法对所述两个重构的曝光帧进行图像增强处理。在本发明实施例中以采用高动态范围图像融合方法进行图像增强处理为例进行说明，图像增强处理方法如下所 述以所述两个重构帧(重构长曝光帧和重构短曝光帧)为输入值，统计两个重构帧 的亮度信息、分析亮度映射信息，计算以映射信息为核心的合成权重系数、分别融合亮度色 度等步骤得到高动态范围的增强图像，输出所述高动态范围的增强图像。
进一步的，在背光或者逆光拍摄时，图像画面的大部分的背景亮度都要高于拍摄 的重点(小区域前景，如人脸等)。此时如果采用正常的单曝光技术拍摄大面积背景的图 像，拍摄出来的图像前景可能比较昏暗，不能突出拍摄的重点。采用简单的背光补偿技术虽 能提高成像质量，但会形成前景拉伸而锐化噪声，造成色调变化，并且引入不自然的修改痕 迹。如果采用专门的测光等技术来检测拍摄重点前景，曝光时间会延长，拍摄出来的背景会 出现大面积的曝光过度现象。采用本发明实施例提供的基于场曝光的视频处理方法，可以避免出现这类现象。 下面以图像画面背景亮度高于前景时的图像曝光处理过程为例进行说明。具体的，首先，采 用正常单曝光技术得到适合拍摄背景的短曝光时间。采用专用的测光技术(如检测人脸的 亮度或者运动景物的亮度)可以获取适合拍摄重点前景的长曝光时间。根据本发明方案中的去隔行技术，可以容易得到完整的高质量的重构长/短曝光 帧。所述长、短曝光帧分别记录了大面积背景以及小区域的重点前景。通过图像融合的增 强方法，即可得到在背光逆光条件下的高质量成像。进一步地，本发明实施例还可以在得到当前处理帧的图像后输出当前处理帧的图像。进一步的，在得到当前处理帧的图像后，可重复上述视频处理过程，得到多个帧的 图像，所述多个帧的图像可用于生成视频。本发明实施例采用场曝光技术和去隔行技术，在不改变现有相机的框架的情况下 增强输出视频的动态范围，保持输出视频的原有帧率，提高在高动态范围情况下的成像质量。实施例二、请参阅图2为本发明一种视频处理装置的一个实施例的结构图；获取单元201，用于将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场 曝光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；重构单元202，用于对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重 构的曝光帧；增强单元203，用于对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧 的图像。具体的，所述增强单元203采用高动态范围图像融合、低照度下噪声抑止、背光逆 光补偿、强光抑制中的一种或多种方法对所述两个重构的曝光帧进行图像增强处理。进一步的，所述装置还包括分析选择单元204，用于分析当前处理帧的场景，选择能记录所述场景暗/亮细节 的长曝光时间/短曝光时间；曝光时间配置单元205，用于将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧的底场曝光时间配置成短曝光时间，或者用于将所述当前处理帧的 顶场曝光时间配置成短曝光时间，将所述当前处理帧的底场曝光时间配置成长曝光时间， 将为顶/底场配置的曝光时间通知给所述获取单元。
具体的，所述重构单元还包括顶场运动信息单元2021、长曝光帧构成单元2022、 底场运动信息单元2023和短曝光帧构成单元2024 顶场运动信息单元2021，用于以当前处理帧的长/短曝光顶场和短/长曝光底场、 相邻帧的顶场为参考场，计算得出当前处理的帧底场的运动信息；长曝光帧构成单元2022，用于利用所述当前处理的帧底场的运动信息及参考场重 构出当前处理的帧的长/短曝光底场，并与当前处理帧的长/短曝光顶场组成当前时刻的 重构长/短曝光帧；底场运动信息单元2023，用于以当前处理的帧的长/短曝光顶场和短/长曝光底 场、相邻帧的底场为参考场，计算得出当前处理的帧顶场的运动信息；短曝光帧构成单元2024，用于利用所述当前处理的帧顶场的运动信息及参考场重 构出当前处理的帧的短/长曝光顶场，并与当前处理帧的短/长曝光底场组成当前时刻的 重构短/长曝光帧。当所述曝光时间配置单元205将顶/底场曝光时间配置为长/短曝光时间时，所述顶场运动信息单元2021，用于以当前处理的帧的长曝光顶场和短曝光底场、 相邻帧的顶场为参考场，计算得出当前处理的帧底场的运动信息；所述长曝光帧构成单元2022，用于由当前处理的帧底场的运动信息及参考场重构 出当前处理的帧的长曝光底场，并与当前处理帧的长曝光顶场组成当前时刻的长曝光帧；所述底场运动信息单元2023，用于以当前处理的帧的长曝光顶场和短曝光底场、 相邻帧的底场为参考场，计算得出当前处理的帧顶场的运动信息；所述短曝光帧构成单元2024，用于由当前处理的帧顶场的运动信息及参考场重构 出当前处理的帧的短曝光顶场，并与当前处理帧的短曝光底场组成当前时刻的短曝光帧。进一步的，当所述曝光时间配置单元205将顶/底场曝光时间配置为短/长曝光 时间时，所述底场运动信息单元2023，用于以当前处理的帧的短曝光顶场和长曝光底场、 相邻帧的顶场为参考场，计算得出当前处理的帧底场的运动信息；所述短曝光帧构成单元2024，用于由当前处理的帧底场的运动信息及参考场重 构出当前处理的帧的短曝光底场，并与当前处理的帧的短曝光顶场组成当前时刻的短曝光 帧；所述顶场运动信息单元2021，用于以当前处理的帧的短曝光顶场和长曝光底场、 相邻帧的底场为参考场，计算得出当前处理的帧顶场的运动信息；所述长曝光构成单元2022，用于由当前处理的帧顶场的运动信息及参考场重构出 当前处理的帧的长曝光顶场，并与当前处理的帧的长曝光底场组成当前时刻的长曝光帧。进一步的，所述装置还可以包括图像输出单元，用于输出所述增强单元得到当前 处理帧的图像。本发明实施例提供的图像处理装置采用场曝光技术和去隔行技术，在不改 变现有相机的框架的情况下增强输出视频的动态范围，保持输出视频的原有帧率，提高在 高动态范围情况下的成像质量。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储 介质可以包括读存储(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。以上对本发明实施例所提供的视频处理方法以及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理 解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发 明的限制。
权利要求
一种视频处理方法，其特征在于，包括将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝光帧；对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。
2.根据权利要求1所述的视频处理方法，其特征在于，对所述顶场和底场分别进行场 曝光之前还包括分析当前处理帧的场景，选择能记录所述场景暗/亮细节的长曝光时间/短曝光时间； 将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧的底场曝光 时间配置成短曝光时间，或者将所述当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧的底场曝光 时间配置成长曝光时间。
3.根据权利要求1所述的视频处理方法，其特征在于，所述对所述曝光顶场和曝光底 场进行去隔行技术处理，得到两个重构的曝光帧包括以当前处理帧的长/短曝光顶场和短/长曝光底场、相邻帧的顶场为参考场，计算得出 当前处理的帧底场的运动信息；利用所述当前处理的帧底场的运动信息及参考场重构出当前处理的帧的长/短曝光 底场，并与当前处理帧的长/短曝光顶场组成当前时刻的重构长/短曝光帧；以当前处理的帧的长/短曝光顶场和短/长曝光底场、相邻帧的底场为参考场，计算得 出当前处理的帧顶场的运动信息；利用所述当前处理的帧顶场的运动信息及参考场重构出当前处理的帧的短/长曝光 顶场，并与当前处理帧的短/长曝光底场组成当前时刻的重构短/长曝光帧。
4.根据权利要求1所述的视频处理方法，其特征在于，所述对所述两个重构的曝光帧 进行图像增强处理包括采用高动态范围图像融合、低照度下噪声抑止、背光逆光补偿、强光抑制中的一种或多 种方法对所述两个重构的曝光帧进行图像增强处理。
5.根据权利要求1至4中任一项所述的视频处理方法，其特征在于，还包括 在得到当前处理帧的图像后，重复上述视频处理过程，得到多个帧的图像。
6.一种视频处理装置，其特征在于，包括获取单元，用于将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得 到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；重构单元，用于对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝 光帧；增强单元，用于对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。
7.根据权利要求6所述的视频处理装置，其特征在于，所述装置还包括分析选择单元，用于分析当前处理帧的场景，选择能记录所述场景暗/亮细节的长曝 光时间/短曝光时间；曝光时间配置单元，用于将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧的底场曝光时间配置成短曝光时间，或者用于将所述当前处理帧的顶场曝光 时间配置成短曝光时间，将所述当前处理帧的底场曝光时间配置成长曝光时间，将为顶/ 底场配置的曝光时间通知给所述获取单元。
8.根据权利要求6所述的视频处理装置，其特征在于，所述重构单元包括顶场运动信息单元，用于以当前处理帧的长/短曝光顶场和短/长曝光底场、相邻帧的 顶场为参考场，计算得出当前处理的帧底场的运动信息；长曝光帧构成单元，用于利用所述当前处理的帧底场的运动信息及参考场重构出当前 处理的帧的长/短曝光底场，并与当前处理帧的长/短曝光顶场组成当前时刻的重构长/ 短曝光帧；底场运动信息单元，用于以当前处理的帧的长/短曝光顶场和短/长曝光底场、相邻帧 的底场为参考场，计算得出当前处理的帧顶场的运动信息；短曝光帧构成单元，用于利用所述当前处理的帧顶场的运动信息及参考场重构出当前 处理的帧的短/长曝光顶场，并与当前处理帧的短/长曝光底场组成当前时刻的重构短/ 长曝光帧。
9.根据权利要求6所述的视频处理装置，其特征在于，所述增强单元用于采用高动态 范围图像融合、低照度下噪声抑止、背光逆光补偿、强光抑制中的一种或多种方法对所述两 个重构的曝光帧进行图像增强处理。
10.根据权利要求6至9中任一项所述的视频处理装置，其特征在于，所述装置还包括 图像输出单元，用于输出所述增强单元得到当前处理帧的图像。
全文摘要
本发明实施例公开了一种视频处理方法，包括将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝光帧；对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。本发明实施例还提供相应的装置。本发明实施例采用将场曝光技术和去隔行技术相结合，在不改变现有相机的框架的情况下增强输出视频的动态范围，保持输出视频的原有帧率，由于不同曝光时间的顶场和底场各自记录了亮区和暗区的细节，通过去隔行处理后得到的帧能够同时表现出亮区和暗区的细节，提高在复杂亮度分布情况下的成像质量。
文档编号H04N5/353GK101867727SQ20091013522
公开日2010年10月20日 申请日期2009年4月16日 优先权日2009年4月16日
发明者柳海波, 陈海 申请人:华为技术有限公司