一种宽动态摄像机实现方法及装置制造方法
【专利摘要】本发明公布了一种宽动态摄像机实现方法及装置，实现方法，包括以下步骤：步骤A：获取N帧原始图像的步骤，N≥2；步骤B：将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；步骤C：N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；步骤D：将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤。本发明具有如下优点：能够在场景光照对比度较大的情况下，为用户提供含有更多细节的图像，使图像中亮区域和暗区域同时能够看清晰细节，有效解决普通摄像机曝光过量和曝光过暗不能看清图像细节的问题，也为宽动态摄像机的实现提供了新的思路和方法，采用多个图像信号处理器来实现。
【专利说明】一种宽动态摄像机实现方法及装置
【技术领域】
[0001]本发明涉及摄像机及视频监控领域，具体是指一种宽动态摄像机实现方法及装置。
【背景技术】
[0002]传统的摄像机当在光线对比非常强烈的情况下，摄像机输出的图像高亮区域会曝光过度，画面变成白色，而低亮区域会因曝光不足而变成黑色，严重影响图像质量。为了改善上述问题，宽动态摄像机概念被提出并推出了相应产品。
[0003]典型宽动态摄像机的实现方法主要有两类:一类是通过对图像的增强变换来增加图像的动态范围，一类是在一个图像信号处理器中利用不同曝光获取明暗区域的图像信息，然后在该图像信号处理器中通过数字图像合成的方式实现。基于增强变换的方法即数字宽动态，是将原始数据通过相关映射达到增强图像动态范围的目的，因此，图像的细节信息也会相应受到损失。基于一个图像信号处理器利用不同曝光实现宽动态的方法，由于图像信号处理器芯片中要采取双通道图像处理模式，其芯片设计逻辑结构复杂，资源开销大，对于高清摄像机具有较高的带宽和工作频率，即功耗高，芯片可实现性较低。
【发明内容】
[0004]本发明的目 的在于提供一种宽动态摄像机实现方法及装置，其采用多个图像信号处理器结构来实现摄像机的宽动态技术，由于图像信号处理器中图像处理单元占用了 95%以上的资源，而单个图像信号处理器中图像处理单元是单通道的，因此，本发明采用多芯片结构实现宽动态的优点是:单个芯片逻辑结构更简单，可实现性更强；资源开销小，功耗更低；频率更地，带宽低，提高了一体机机芯处理的能力和速度；同时保留了单芯片使用时的低成本等优势，且通过多芯片的结构能获得很好的宽动态效果。
[0005]本发明的目的通过下述技术方法实现:
一种宽动态摄像机实现方法，包括以下步骤:
步骤A:获取N帧原始图像的步骤，N ^ 2 ；
步骤B:将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；
步骤C:N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；
步骤D:将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步
骤；
步骤A获取的N帧原始图像存在以下两种情形:
情形1:在N帧原始图像中，所有原始图像的曝光均相同；
情形2:在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不
同；
步骤B的具体过程为:将N帧原始图像全部送至第一个图像信号处理器，其中一帧原始图像在第一个图像信号处理器中进行图像处理，将第一余下帧原始图像送至第二个图像信号处理器，第一余下帧原始图像中的一帧原始图像在第二个图像信号处理器中进行图像处理，将第二余下帧原始图像送至下一个图像信号处理器，依次类推，直到最后一帧原始图像送至最后一个图像信号处理器中进行处理；
步骤C中的图像处理需要经过曝光处理、白平衡处理、色彩插值和色彩分离步骤；
步骤D的具体过程存在以下2种情形:
情形1:将第N个图像信号处理器处理后的图像数据与第N-1个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第N-2个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像；
情形2:将第I个图像信号处理器处理后的图像数据与第2个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第3个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第N个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像。
[0006]依照上述方法，本发明利用将图像信号分为N帧原始图像，再利用与N帧原始图像一一对应的单通道图像信号处理器对原始图像进行处理，主要处理原始图像的曝光信息，将原始图像逐一处理，调节后在进行逐级依次两两式的合成处理，最终处理后的图像达到宽动态范围图像的目的。依照上述原理，可以利用图像信号处理器对单一的图像信息进行快速的处理，这样利用单个芯片逻辑结构更简单，可实现性更强；资源开销小，功耗更低；频率更地，带宽低，可以提高了一体机机芯处理的能力和速度；同时保留了单芯片使用时的低成本等优势，且通过多芯片的结构能获得很好的宽动态效果。
[0007]由于不易采用过度的处理器，为了节约成本，同时保证系统的简单逻辑原理，因此N的取值为2至8。
[0008]一般的步骤A获取的N帧原始图像存在以下两种情形:
情形1:在N帧原始图像中，所有原始图像的曝光均相同；
情形2:在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不
同；
优选的，在N帧原始图像中，N帧原始图像的曝光均各不相同。这样每帧原始图像均会得到处理后然后进行合成处理，这样处理出来的图像具备宽动态效果，图像更加清晰，该技术条件为最佳实施参数。
[0009]优选的，两帧之间通过图像合成的方式得到更宽动态范围图像的方法为:两帧图像分别用FA和FB表示，合成后的宽动态图像为FW，则有，其中M和.fcff要求是归一的。
[0010]具体的:当N帧原始图像的曝光各不相同时，原始图像的获取是由图像传感器获取不同曝光时间的原始图像。
[0011]当N=2时，获取两帧曝光时间不同的原始图像，一帧为长帧曝光图像，一帧为短帧曝光图像；
在经过步骤C进行曝光处理的具体过程为:将长帧曝光图像和短帧曝光图像送至第一图像信号处理器，由第一图像信号处理器处理长帧曝光图像，将短帧曝光图像送至第二图像信号处理器，由第二图像信号处理器处理短帧曝光图像；
对于长帧曝光图像:
利用第一图像信号处理器取得长帧曝光图像的长帧亮度直方图HistA，
统计长帧亮度直方图HistA中最小10%的像素均值MinP，
然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MinP在该范围内即可；
对于短帧曝光图像:
利用第二图像信号处理器取得短帧曝光图像的短帧亮度直方图HistA，
统计短帧亮度直方图HistA中最大10%的像素均值MaxP，
然后判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MaxP在该范围内即可；
第一图像信号处理器处理后的图像和第二图像信号处理器处理后的图像合成方法
为:
将第二图像信号处理器处理后的图像数据B为YCbCr_a，YCbCr_a以YCbCr的格式通过输出接口送至第一图像信号处理器，并与第一图像信号处理器中的图像数据8￥030_13进行宽动态合成，
由第一图像信号处理器的合成系数kA与第二图像信号处理器的合成系数kB分别与其
图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的，设合成后的宽动态图像
为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有:
【权利要求】
1.一种宽动态摄像机实现方法，其特征在于，包括以下步骤: 步骤A:获取N帧原始图像的步骤，N ^ 2 ； 步骤B:将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤； 步骤C:N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤； 步骤D:将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤； 步骤A获取的N帧原始图像存在以下两种情形: 情形1:在N帧原始图像中，所有原始图像的曝光均相同； 情形2:在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同； 步骤B的具体过程为:将N帧原始图像全部送至第一个图像信号处理器，其中一帧原始图像在第一个图像信号处理器中进行图像处理，将第一余下帧原始图像送至第二个图像信号处理器，第一余下帧原始图像中的一帧原始图像在第二个图像信号处理器中进行图像处理，将第二余下帧原始图像送至下一个图像信号处理器，依次类推，直到最后一帧原始图像送至最后一个图像信号处理器中进行处理； 步骤C中的图像处理需要经过曝光处理、白平衡处理、色彩插值和色彩分离步骤； 步骤D的具体过程存在以下2种情形: 情形1:将第N个图像信号处理器处理后的图像数据与第N-1个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第N-2个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像； 情形2:将第I个图像信号处理器处理后的图像数据与第2个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第3个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第N个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像。
2.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于:N的取值为2至8。
3.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于:在N帧原始图像中，N帧原始图像的曝光均各不相同。
4.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于:两帧之间通过图像合成的方式得到更宽动态范围图像的方法为:两帧图像分别用FA和FB表示，合成后的宽动态图像为FW，则有FW = MX A4+A5 X ,其中M和kB要求是归一的。
5.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于:当N帧原始图像的曝光各不相同时，原始图像的获取是由图像传感器获取不同曝光时间的原始图像。
6.根据权利要求5所述的一种宽动态摄像机实现方法，其特征在于: 当N=2时，获取两帧曝光时间不同的原始图像，一帧为长帧曝光图像，一帧为短帧曝光图像； 在经过步骤C进行曝光处理的具体过程为:将长帧曝光图像和短帧曝光图像送至第一图像信号处理器，由第一图像信号处理器处理长帧曝光图像，将短帧曝光图像送至第二图像信号处理器，由第二图像信号处理器处理短帧曝光图像； 对于长帧曝光图像: 利用第一图像信号处理器取得长帧曝光图像的长帧亮度直方图HistA， 统计长帧亮度直方图HistA中最小10%的像素均值MinP， 然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MinP在该范围内即可； 对于短帧曝光图像: 利用第二图像信号处理器取得短帧曝光图像的短帧亮度直方图HistA， 统计短帧亮度直方图HistA中最大10%的像素均值MaxP， 然后判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MaxP在该范围内即可。
7.根据权利要求6所述的一种宽动态摄像机实现方法，其特征在于: 第一图像信号处理器处理后的图像和第二图像信号处理器处理后的图像合成方法为: 将第二图像信号处理器处理后的图像数据B为YCbCr_a，YCbCr_a以YCbCr的格式通过输出接口送至第一图像信号处理器，并与第一图像信号处理器中的图像数据8￥030_13进行宽动态合成， 由第一图像信号处理器的合成系数kA与第二图像信号处理器的合成系数kB分别与其图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的，设合成后的宽动态图像为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有:
8.根据权利要求5所述的一种宽动态摄像机实现方法，其特征在于: 当N帧原始图像的曝光各不相同时，不同曝光时间的判断方法为: 当N为3时，存在最长曝光时间原始图像和最短曝光时间原始图像以及中间曝光时间原始图像，中间曝光时间原始图像的时间为最长曝光时间原始图像的曝光时间和最短曝光时间原始图像的曝光时间的中间值； 当N大于3时， 设第一帧曝光时间为Tl,Tl为最长曝光时间，第η帧曝光时间Tn,Tn为最短曝光时间，那么第二到第η-1中任一帧的曝光时间Ti计算公式为:
9.根据权利要求1-8所获得的装置，其特征在于: 包括图像采集单元，图像采集单元是通过单个图像传感器分时获取N帧不同曝光时间的原始图像数据； 包括N个图像信号处理器， 图像信号处理器中包括输入接口单元，输入接口单元将所述图像传感器获得的N帧原始图像数据分别送至所对应的N个图像信号处理器； 图像信号处理器中包括图像处理单元，图像处理单元对该图像信号处理器中的原始图像进行相关处理，获得更符合人眼视觉的图像数据； 图像信号处理器中包括图像合成单元，图像合成单元将本图像处理器中图像处理单元处理后的图像数据与下一级图像信号处理器处理后的图像数据，通过宽动态合成技术合成更宽动态范围的摄像机图像； 图像信号处理器中包括输出接口单元，将图像数据输出用于在另一个图像信号处理器合成宽动态图像，或者将宽动态合成后的图像输出用于显示； 图像信号处理器中包括CPU控制单元，CPU控制单元用于控制N个图像信号处理器之间的相互通信。
10.根据权利要求9所述的装置，其特征在于:所述图像处理单元包括曝光处理子单元、白平衡处理子单元、色彩插值子单元和色彩分离子单元。
【文档编号】H04N9/64GK103873781SQ201410118520
【公开日】2014年6月18日 申请日期:2014年3月27日 优先权日:2014年3月27日
【发明者】刘欣 申请人:成都动力视讯科技有限公司