基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置制造方法
【专利摘要】本发明公开了一种基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置,包括通过按照奇偶双列配置不同的感光时间进行曝光,获得奇偶双列不同曝光值的一个图像帧;将图像帧分解为欠曝光图像帧和过曝光图像帧,其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布,过曝光图像帧中过曝光双列与缺失双列依次间隔分布;分别在红绿蓝通道上根据欠曝光或过曝光双列像素点的像素值获取欠曝光图像帧和过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值;根据红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧,获得一个高动态范围帧,通过上述方式,本发明能够克服高速运动模糊问题,降低高速连拍的帧率。
【专利说明】基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
【技术领域】
[0001]本发明涉及高动态范围(high dynamic range,下文简称HDR)视频录制【技术领域】,特别是涉及一种基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置。
【背景技术】
[0002]在数码相机中,在大光比环境下拍摄时,普通相机因受到动态范围的限制,不能纪录极端亮或者暗的细节,而HDR视频录制在高光和低光区域都能获得比正常拍摄更好的明暗层次。实际场景的动态范围常常在10dB以上,传感器是数码影像设备成像的核心器件。传统数码相机所采用的传感器元件有CCD (Charge-coupled Device,电荷稱合元件)或者CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体),一般只能有大约60dB的动态范围,如果采用动态范围较窄的传感器记录动态范围较宽的场景,则需要多次成像。以10dB的场景为例,可以先提高快门速度,拍摄一张O?60dB的欠曝光照片,再降低快门速度,拍摄一张40?10dB的过曝光照片,最后将两张照片融合成一张并重新计算灰阶映射关系。
[0003]现有厂商拍摄HDR视频采用高帧率传感器,可高速连续拍摄若干张不同曝光值的影像,以HDR的方式合成为一张照片。不过拍摄移动中的主体时,照片就有可能出现残影现像。在采集到多帧图像后,需要用特殊的HDR算法将多帧图像合并为一帧。
[0004]现代CMOS传感器通常是一种颜色滤波阵列结构,拜尔滤波阵列拍摄的图像简称拜尔图。每个像素记录10?14比特的单色信息,RGB三原色信息需要该像素与周围像素插值计算获得。
[0005]现有的拍摄HDR视频的方法主要包括两个关键技术点,多曝光帧采集和HDR的帧合并算法。多曝光帧采集是以不同曝光值高速连拍获得多帧图片。存在两个缺点:一方面,如果场景中存在高速运动的物体,则两帧之间无法做到点点匹配,合并后的图片很容易出现运动模糊。另一方面,高速连拍需要极高的帧率,限制了视频拍摄的快门下限。
[0006]而HDR算法是首先基于多个曝光帧估计相机的亮度响应函数,然后采用灰阶映射的方式计算新的灰阶表,最后计算新的HDR图像。由于相机的亮度响应函数通常需要对所有灰阶进行参数估计,计算复杂度在8位图像(256个灰阶)时尚可接受,但对于拜尔图(14比特)则计算量过于庞大,因此无法直接应用于HDR视频录制。加权平均是另一种常用的帧合并方法。以两帧图片合并为例,合并像素值Pm可以用式(I)计算:
[0007]Pnew = ff1P1+(l+ff1)P2(I)
[0008]其中,P1, P2分别是欠曝光图和过曝光图上某一指定位置的像素值,W1是O?I之间的数,表示像素I在合并像素中所占的权重。传统方法在分配权重时一般考虑的因素主要是像素的过曝光和欠曝光,并通常设定阈值来检测曝光的异常。过曝光或者欠曝光的像素权重会远低于正常像素值。以8位图像为例,采用式(2)计算权重:
[0009]
【权利要求】
1.一种基于拜尔颜色滤波阵列的高动态范围视频录制方法,其特征在于,所述方法包括: 按照奇偶双列配置不同的感光时间进行曝光,获得奇偶双列不同曝光值的一个图像帧,其中奇数双列为所述图像帧的总列数被4整除和余I的列,偶数双列为所述图像帧的总列数被4整除余2和余3的列; 将所述图像帧分解为欠曝光图像帧和过曝光图像帧,其中所述欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布,所述过曝光图像帧中过曝光双列与缺失双列依次间隔分布; 对于所述欠曝光图像帧,分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值; 对于所述过曝光图像帧,分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值; 根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧,获得一个高动态范围帧。
2.根据权利要求1所述的方法,其特征在于,所述分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括: 用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值; 利用插值获得绿通道上缺失像素点的像素恢复值; 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差; 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算,获得红/蓝通道上缺失像素点的差的恢复值; 利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加,获得红蓝通道上的像素恢复值,以替换所述欠曝光图像帧像帧中所述缺失双列像素点的估计值,并作为对应像素点的像素值。
3.根据权利要求1所述的方法,其特征在于,所述分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括: 用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值; 利用插值获得绿通道上缺失像素点的像素恢复值; 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差; 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算,获得红/蓝通道上缺失像素点的差的恢复值; 利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加,获得红蓝通道上的像素恢复值,以替换所述过曝光图像帧中所述缺失双列像素点的估计值,并作为对应像素点的像素值。
4.根据权利要求2或3任一项所述的方法,其特征在于,所述插值方法包括双线性插值、立方体插值中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧,获得一个高动态范围帧的步骤包括: 根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度; 根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值; 根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧,获得一个高动态范围帧。
6.根据权利要求5所述的方法,其特征在于,所述根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值的步骤包括: 根据预设的欠曝光阈值T1和过曝光阈值T2利用以下关系式计算自适应的欠曝光阈值Tljnew和自适应的过曝光阈值τ2,η?:
Tl.ncw _ m3.Xxfcu(Pi<rr[) P2,X,
T2,HCW _ mirixfcu(pT>rr2) Pl,X 其中,PpP2分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度,U (P1CT1)表示P1中所有小于T1的欠曝光像素集,U (P2)T2)表示P2中所有大于T2的过曝光像素集;根据所述自适应的欠曝光阈值Amw和所述自适应的过曝光阈值τ2,η?利用以下关系式计算所述每个像素点的权重:
Tl,new—Pl n ^_ 1-Tl^l l,new
X I,new
_ O 其他
_ P2 —T2'職 ρ2>τ2'-
] 255-T25new
、 O 其他 其中,CO1为所述欠曝光图像帧中亮度为P1的像素点的权值,ω2为所述过曝光图像帧中亮度为P2的像素点的权值。
7.根据权利要求6所述的方法,其特征在于,所述根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧,获得一个高动态范围帧的步骤包括: 采用二维高斯滤波器与对每个像素点的所述权值做卷积; 采用以下关系式进行帧合并计算,并做对比度拉伸:
Qnewji = (I—ω J aiqi,^ (1-co2)a2q2.^coiq2 i+CO2qi ii = 1,2,3 其中,ai = l-lPl —127丨,a2 = l-用于增强对比度,Q1 JP q2i分别为RGB图的
127127’ ’三个色彩通道。
8.一种基于拜尔颜色滤波阵列的高动态范围视频录制装置,其特征在于,所述装置包括: 传感器模块,用于按照奇偶双列可配置不同的感光时间进行曝光,获得奇偶双列不同曝光值的图像帧,其中奇数双列为所述图像帧的总列数被4整除和余I的列,偶数双列为所述图像帧的总列数被4整除余2和余3的列; 分解模块,与所述传感器模块连接,用于将所述图像帧分解为欠曝光图像帧和过曝光图像帧,其中所述欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布,所述过曝光图像帧中过曝光双列与缺失双列依次间隔分布; 欠曝光像素恢复模块,与所述分解模块连接,用于对于所述欠曝光图像帧,分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值; 过曝光像素恢复模块,与所述分解模块连接,用于对于所述过曝光图像帧,分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值; 合并模块,与所述欠曝光像素恢复模块以及所述分配曝光像素恢复模块连接,用于根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像巾贞和所述欠曝光图像巾贞,获得一个闻动态范围中贞。
9.根据权利要求8所述的装置,其特征在于,所述欠曝光像素恢复模块用于: 用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值; 利用插值获得绿通道上缺失像素点的像素恢复值; 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差; 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算,获得红/蓝通道上缺失像素点的差的恢复值; 利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加,获得红蓝通道上的像素恢复值,以替换所述欠曝光图像帧像帧中所述缺失双列像素点的估计值,并作为对应像素点的像素值。
10.根据权利要求8所述的装置,其特征在于,所述过曝光像素恢复模块用于: 用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值; 利用插值获得绿通道上缺失像素点的像素恢复值; 分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差; 对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算,获得红/蓝通道上缺失像素点的差的恢复值; 利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加,获得红蓝通道上的像素恢复值,以替换所述过曝光图像帧中所述缺失双列像素点的估计值,并作为对应像素点的像素值。
11.根据权利要求9或10任一项所述的装置,其特征在于,所述插值包括双线性插值、立方体插值中的至少一种。
12.根据权利要求8所述的装置,其特征在于,所述合并模块用于: 根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度; 根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值; 根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧,获得一个高动态范围帧。
13.根据权利要求12所述的装置,其特征在于,所述合并模块还用于: 根据预设的欠曝光阈值T1和过曝光阈值T2利用以下关系式计算自适应的欠曝光阈值Tljnew和自适应的过曝光阈值τ2,η?:
其中,PpP2分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度,U (P1CT1)表示P1中所有小于T1的欠曝光像素集,U (P2)T2)表示P2中所有大于T2的过曝光像素集;根据所述自适应的欠曝光阈值Tuot和所述自适应的过曝光阈值T2,n?利用以下关系式计算所述每个像素点的权重:
其中,Co1为所述欠曝光图像帧中亮度为P1的像素点的权值,ω2为所述过曝光图像帧中亮度为P2的像素点的权值。
14.根据权利要求13所述的装置,其特征在于,所述合并模块还用于: 采用二维高斯滤波器与对每个像素点的所述权值做卷积; 采用以下关系式进行帧合并计算,并做对比度拉伸:
Qnew, i = (1- ω i) i+ (1- ω 2) a2q2; i+ ω ^ ^ ω 2q1; ji = 1,2,3其中,ai = 1 -1pii^727I,a2 = I — I1"';丨27I,用于增强对比度,k和&分别为RGB图的三个色彩通道。
【文档编号】H04N9/79GK104168403SQ201410302311
【公开日】2014年11月26日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】曹子晟, 俞利富, 钟文辉, 王铭钰 申请人:深圳市大疆创新科技有限公司