专利名称：一种合成图像的方法与系统的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及一种合成图像的方法与系统。
背景技术：
现实场景中，亮度动态范围是108:1，人眼能感知的亮度范围很大，人眼能察觉出亮度为10-3cd/m2的星光，也能感受亮度为105cd/m2的阳光，并且人眼在很亮和很暗的情况下也能察觉到现实场景中的各种细节。由此可知，通过眼睛瞳孔的自动调节，人眼能分辨的亮度动态范围大致为1081。即使在同一个场景内，人眼不需调节也能分辨1051的亮度动态范围。
而目前的图像采集设备(数码图像采集设备、摄像机)的亮度动态范围较低，在特别亮的场景不能看到相应的细节，在特别暗的部分不能采集相应的暗细节。因此，采集设备和实际场景以及人眼能感知的亮度动态范围差距很大。对于高速公路上的监控摄、在夜里拍摄、日出出落等，拍摄场景中都同时包含有直对图像采集设备镜头的高光源(如车的前后灯、街灯、太阳、以及高反射度的表面等)和低照度的细节(如阴影、光源后面的景物和其他灯光照不到的区域)。通常在这种场合我们需要很好的调整曝光时间，甚至有些场合无论如何调整都不可能把场景中高照度和低照度的特征全部都清晰的拍下来。因此需要提出各种方法增大图像采集设备采集细节的能力和相应的亮度动态范围。
按照目前学术界流行的方法合成高动态范围图像，通常需要采用优化的方式标定图像采集设备的响应曲线，根据图像采集设备的响应曲线和不同曝光情况下拍摄得到的图像序列计算出大动态范围的图像(直观上，由一系列象素值为0～255的图像序列计算得到0～105甚至更大范围的图像)。最后为了能在常用的显示设备中显示大动态范围图像，还需要对获得的大动态范围图像进行色调映射(把0～105的大动态范围图像映射为0～255范围的图像)。
现有技术中，有一种技术方案采用一个图像采集设备采集图像，采集图像前根据象素亮度分布设置每帧的曝光时间，长短曝光图像相隔；经过初始化帧，对图像的每帧确定相邻帧间一一对应的象素；从对应象素中选取相应象素计算出相应帧的亮度范围；把计算获得的帧的亮度范围经色调映射转成可显示的8位图像。
在对上述现有技术进行分析后，发明人发现 现有技术需要频繁的标定图像采集设备的响应曲线，而响应曲线会随着外界特性如温度的改变而变化，而且在色调映射阶段，效果较好也最常用的做法是基于自适应的色调映射算法，但是这一过程会不可逆转的破坏前面两个复杂的标定和计算得到的一些良好的物理特性，如图像亮度值与场景亮度成正比、与曝光无关等。因此，这些计算过程非常复杂，比较难以转换为一个实时系统，且合成后的图像的效果不是很好。
发明内容
本发明实施例提供了一种合成图像的方法与系统，易于实现，合成图像效果较好。
所述技术方案如下 一种合成图像的方法，所述方法包括 采集同一场景在不同曝光时间下的至少两帧不同亮度的图像； 根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中象素点的亮度值与暗图像中对应位置的象素点的亮度值之间的对应关系。
一种合成图像的系统，所述系统包括采集模块，合成模块； 所述采集模块，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的图像； 所述合成模块，用于根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中象素点的亮度值与暗图像中对应位置的象素点的亮度值之间的对应关系。
本发明实施例提供的技术方案的有益效果是通过采集同一场景不同曝光时间下的至少两帧不同亮度的图像；根据不同亮度的图像中每两帧图像之间的亮度映射关系将得到的多帧不同亮度的图像进行合成，得到合成图像。本发明在计算上易于实现，而且合成图像的效果好。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的一种合成图像的方法流程示意图； 图2是本发明实施例1提供的视频图像序列合成的示意说明图； 图3是本发明实施例1提供的采集的原始图像和合成后的效果图； 图4是本发明实施例1提供的直方图及亮度映射函数图； 图5是本发明实施例1提供的曝光控制过程流程示意图； 图6是本发明实施例1提供的合成过程流程示意图； 图7是本发明实施例1提供的动态范围增加的图像合成示意图； 图8是本发明实施例2提供的一种合成图像的系统结构示意图； 图9是本发明实施例2提供的另一种合成图像的系统结构示意图； 图10是本发明实施例2提供的进行亮度增强后的合成图像的系统结构示意图。
图11是本发明实施例2提供的合成图像的系统的一个具体结构示意图。
具体实施例方式 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1 本发明实施例提供了一种合成图像的方法，通过采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；根据不同亮度的图像中的每两帧图像之间的亮度映射关系将多帧不同亮度的图像进行合成，得到合成图像。参见图1，为视频图像序列合成的示意说明图。以相机作为图像采集设备为例，采用相机获得当前场景亮、暗程度不同的视频图像帧序列，通过控制曝光可以获得亮度不同的图像，亮曝光的亮图像中具有场景中暗的部分的大部分细节，但可能丢失场景中亮的部分的细节；在短曝光的暗图像中具有场景中亮的部分的大部分细节，但可能丢失场景中暗的部分的细节。因此，将相同场景的亮、暗程度不同的图像帧进行合成，可以保留亮、暗图像中蕴含的所有图像细节，获得一帧高动态范围视频图像，达到了增大视频图像的动态范围的目的，即两帧不同曝光的图像帧的合成进而获得当前场景的高动态范围视频。
参见图2，该方法包括 101采集同一场景在不同曝光时间下的至少两帧不同亮度的图像。
根据曝光时间的不同，采集得到至少两帧不同亮度的图像，包括亮曝光图像和暗曝光图像，后文的描述中也可能称亮曝光图像为亮图像，暗曝光图像为暗图像，这里的明暗是相对的，在两帧不同的图像中，相对较亮就可以成为亮图像，相对较暗的就可以称为暗图像。对于相机等采集设备，连续采集的同一场景的多帧不同曝光的图像，通常是串行输出的，为了便于合成，，可以将先采集的图像进行存储，然后将存储的图像的数据与最后采集获得的图像进行同步，最后并行输出待合成的所有图像。
例如，若待合成的图像为2帧，即需要一帧亮图像和一帧暗图像，在两种曝光的情况下，先采集的亮曝光图像，则存储该亮曝光图像，然后将该亮曝光图像的数据与之后采集的暗曝光图像的数据进行同步，分两路并行输出一个图像对，这里的图像对指的是同一场景的亮图像和暗图像。
本发明实施例中，采用DDR(Double Data Rate，双数据速率)存储器将前一帧的图像进行存储，DDR可以达到比较理想的成本和性能的平衡。
帧存储器的数量取决于需要合成的图像数量。
本发明实施例是将两路图像合成动态范围增强的图像，因此采用一个帧存储器，将该两路图像的帧头对齐来实现同步。如果有n种曝光合成动态范围增强的图像，则需要n-1个这样的帧存储器，这样可以保证任何时刻可以得到n种不同曝光的输入，从各个帧存储器输出的数据与实时的数据流进行同步，最后并行的输出图像。
102根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中象素点的亮度值与暗图像中对应位置的象素点的亮度值之间的对应关系。
其中，采集同一场景在不同曝光时间下的至少两帧不同亮度的图像之后，还包括 根据各帧图像的亮度直方图和亮度累计直方图计算每两帧图像之间的亮度映射函数f(x)，其中，x表示亮图像中象素点的亮度值，f(x)表示暗图像中对应位置的象素点的亮度值； 每一组x，f(x)称为一个映射对，x减去f(x)的值称为映射差； 确定一个映射对，将确定的映射对作为所述映射关系。
为了方便说明，以在两种曝光情况下即亮曝光和暗曝光下采集的两帧图像为例进行说明。
参见图3(a)和图3(b)，为在亮曝光和暗曝光情况下采集的图像，图3(a)为亮曝光图像，图3(b)为暗曝光图像。图4(a)为这对亮暗图像的亮度直方图，该亮度直方图的横轴表示亮度等级，从左侧0(暗色调)到右侧255(亮色调)，将图像的亮度等级分为256级，而纵轴则表示每个亮度等级下的像素个数，将纵轴上这些像数值点连接起来，就是亮度直方图，图4(b)为这对亮暗图像亮度累计直方图，其中，曲线1表示亮曝光图像，曲线2表示暗曝光图像。图4(c)为根据图4(a)所示的这对亮暗图象的亮度直方图及图4(b)所示的亮度累计直方图计算出的亮度映射函数图，计算过程与现有技术相同，此处不再赘述。该亮度映射函数图的横坐标表示的是亮图像的像素，该亮度映射函数图的纵坐标表示的是暗图像的像素。该亮度映射函数可以理解为亮图像中亮度值为x的象素在暗图像中应为f(x)，x>＝f(x)。如果从离散的角度看，f应该是多对多的函数；然而，可以把f理解连续的函数，这样f就成了单调递增的函数。在具体计算中，可以将x和f(x)取值为整数进行计算，取其它数值也不会对结果产生影响，x和f(x)之差即为映射差。
其中，亮度信息可以包括以下列举信息的任何一种或几种组合亮图像中的暗象素数量或亮象素数量、暗图像中的亮象素数量或暗象素数量、亮暗图像的全局或者局部均值、亮暗图像的中值、映射差等。
本发明实施例选取最大映射差EDRmax对应的映射对(xmax，f(xmax))，作为映射信息 EDRmax＝max{x-f(x)} x∈
(1) 选取最大映射差对应的映射对作为映射信息，可以使最后合成的图像动态范围最大，当然，也可以选取其他的映射差对应的映射对，作为映射信息，即亮度映射函数曲线中，x与对应着的f(x)为映射对，作为映射信息。
EDR在本方案中是个重要的指标，可以直接衡量增强的动态范围(enhanced dynamicrange)，可以表征当前曝光时间是否合适。
对于多曝光的情况，即待合成图像包括两幅以上不同曝光的图像，按照曝光时间不同将这些图像从亮到暗排序，每相邻两个图像可以算出一个亮度映射函数fn。公式1就相应的变成(2)式。容易知道，n帧的EDR实际上是n-1个2帧相互无关的的EDR之和。同样，映射信息为 {(xmax 1，f1(xmax 1)，(xmax 2，f2(xmax 2)...(xmax(n-1)，f(n-1)(xmax(n-1))} EDRmaxk＝max{xk-fk(xk)} xk∈
其中，该方法还包括 对各帧图像的亮度直方图进行统计，得到亮度信息； 根据所述亮度信息调节参考曝光时间和曝光动态时间，根据所述参考曝光时间和曝光动态时间计算下一次采集时各帧图像的曝光时间。
其中，根据亮度信息调整参考曝光时间和曝光动态时间，为此，本发明实施例提出了一种自动多曝光控制方法，参见图5，该方法根据曝光参考值(ER)与曝光动态范围值(ED)来调节曝光时间，设定参考曝光时间为Ter，该参考曝光时间为多曝光时间的基准参考值，能准确反应场景亮度，保证多曝光图像序列不会过亮也不会过暗。通常为多曝光中的曝光时间序列的中值，暗曝光时间为Td，亮曝光时间为Tb，曝光时间动态值为Ted，该曝光时间动态值为多曝光时间的偏移系数，用于确定多曝光序列能覆盖的场景亮度的动态范围，通常为多曝光中相邻曝光时间的差值，也可以表示为相邻曝光时间的比值。
该方法包括 201调节参考曝光时间Ter，使亮度信息在预设的阈值范围内。
在双曝光的情况下，规定Ter＝Td。在n曝光情况下，规定参考曝光时间Ter为暗到亮排序的第n/2个曝光图像值Ter＝T(n/2)。
202根据所述映射对调节曝光时间动态值Ted，使该曝光时间动态值Ted能够很好的覆盖场景亮度。
本发明实施例中，采用最大映射差EDRmax来调节Ted，在双曝光情况下，EDRmax取值在140～180时能得到较好的效果。
203保持曝光时间动态值Ted不变，将参考曝光时间调节在预设的阈值范围内； 204以固定的周期判断动态范围是否发生变化，如果是，返回201；否则，执行205。
其中，动态范围是图像的最亮和最暗部分之间的比值。
205判断场景亮度是否发生变化，如果是，返回203，否则，等待下一周期，判断动态范围是否发生变化。
完成自动多曝光控制计算后，在两种曝光的情况下，按规定Ter＝Td，Tb＝Ter+Ted，可以根据实际平台对图像采集设备设置[亮暗亮暗......]交替方式的曝光时间，以达到曝光轮换的目的。
在n中曝光的情况下，T(i)＝Ter+(i-n/2)Ted，可以对图像采集设备设置为由亮到暗的交替方式的曝光时间，比如，有4中曝光，将这4种曝光由亮到暗进行排序，这4种曝光的曝光时间分别为4、3、2、1，然后循环这种排序，即4、3、2、1，4、3、2、1……。
对于高速图像采集设备，可以采用固定的多曝光实现全动态范围的拍摄，不再需要实现自动曝光控制。
其中，根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述多帧不同亮度的图像进行合成，得到合成图像，包括 根据确定的映射对计算映射后的每帧图像的亮度值； 本发明实施例中，用最大映射差对应的映射对(xmax，f(xmax))来计算暗曝光下映射后的图像的亮度值。假设I1为亮曝光图像亮度值，I2为暗曝光图像亮度值，经过映射后，暗曝光图像的亮度值I2的亮度值为(I2+xmax-f(xmax))。
根据确定的映射对计算每帧图像的合成权重； 本发明实施例中，
为亮曝光图像的合成权重，
是以0为中心，Xmax为半径计算高斯权重，具体计算公式如下式所示。
为暗曝光图像的合成权重，
以255为中心，f(Xmax)为半径计算高斯权重，具体计算公式如式(3)所示。
为了使后续的计算方便，可以将每个图像的合成权重进行归一化。将式(3)归一化后，如式(4)所示； s2＝1-s1 经过简化运算，式(4)可以简化到查表、加法和三个乘法。
对于n曝光的情况，合成权重如式(5)为 归一化后，如式(6)为 利用映射后的各帧图像的亮度值和各帧相应的合成权重对采集到的多帧图像进行合成，得到合成图像。
继续上述的例子，设亮曝光图像的色度为C1，暗曝光图像的色度为C2，对于亮度I和色度C，加权叠加后如式(7)所示。
I＝s1*I1+s2*(I2+xmax-f(xmax))(7) C＝s1*C1+s2*C2 式(7)可以简化为两个乘法和五个加法。这在软硬件设计中都是轻而易举就能实现。
对于n曝光的情况，各个图像的亮度值分别为I1，I2，......，In，各个图像的色度值分别为C1，C2，......，Cn，加权叠加后如式(8) 合成的图像如图3(c)所示。
图7为高动态范围图像合成示意图，m为在亮曝光下采集的图像的动态范围，n为在暗曝光下采集的图像的亮度动态范围，采集图像得到的亮曝光图像和暗曝光图像的亮度动态范围是相同的，如图中m和n的长度是相等的，但是采集的亮度范围区间发生了变化，如暗曝光图像相比于亮曝光图像，采集的区间向右移动了g长度的距离，因此合成后图像对应的动态范围的有效区间就相应的变成了m+g，图中线条1表示此处场景信息全，没有丢失，线条2表示此处场景信息丢失，亮曝光图像中，亮度动态范围右边的场景信息有所丢失，暗曝光图像中，亮度动态范围左边的场景信息有所丢失，在合成后的图像中，亮度动态范围两边的场景信息都没有丢失。
其中，根据所述不同亮度的图像中每两帧图像之间的直方图亮度映射关系将不同亮度的图像进行合成，得到合成图像之后，还包括 对所述合成图像进行亮度增强。
具体的，可以将所述合成图像的亮度通道成比例的缩小，并进行双边滤波，然后将所述成比例的缩小的合成图像和进行双边滤波后的图像进行叠加，得到新的合成图像，所述新的合成图像的亮度比步骤102得到的合成图像的亮度强。
本发明实施例中，对亮度通道成比例的缩小的比例系数约为 具体的，本发明实施例采用空间的窗口滤波和亮度域的三角形滤波混合成双边滤波器进行滤波，因为经典的双高斯组成的双边滤波器的复杂度比常用的单个滤波器复杂度高很多，通常随着滤波器的窗口尺寸而指数上升，而且需要消耗大量的资源。
对图像进行亮度通道成比例缩小和滤波后，图像亮度增强为 Ien＝δ*I+α*(I-Ibilateral) (9) 其中，Ien为增强之后的图像亮度，Ibilateral为滤波之后的图像亮度，α为加权系数，这里α取0.5可以取得较好的效果。如果是多曝光合成，则α相应的增大。。
如式(9)所示，滤波前的图像减去滤波后的图像即为图像的细节，加权叠加到成比例缩小亮度的图像后即可以得到细节丰富的高动态范围图像，如图3(d)。
本发明实施例提供的一种合成图像的方法，通过采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；根据每两帧图像之间的亮度映射关系将多帧不同亮度的图像进行合成，得到合成图像。该方法不更改现有图像采集设备如相机的架构，利用现有图像采集设备的曝光设置功能和附加软件模块就可以实现；应用范围广，可集成到图像采集设备监控设备系统，也可以作为后处理软件使用；可扩展性好，后期升级简便；合成效果比普通图像采集设备好；细节鲜明，尤其在强照度和低照度共存的场景，能清晰的获取大亮度范围的特征细节；合成图像无合成痕迹，亮暗区域内平滑自然，整体上亮暗过渡谐和统一；由于是并行输出图像，没有降低图像采集设备帧率，输出图像频率等同于原图像采集设备输出帧率；算法实用高效，可以达到实时，几乎不增加硬件成本。
实施例2 本发明实施例提供了一种合成图像的系统，通过采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；根据每两帧图像之间的亮度映射关系将多帧不同亮度的图像进行合成，得到动态范围增强的合成图像。参见图1，为视频图像序列合成的示意说明图。以相机作为图像采集设备为例，采用相机获得当前场景亮、暗程度不同的视频图像帧序列，通过控制曝光可以获得亮度不同的图像，亮曝光的亮图像中具有场景中暗的部分的大部分细节，但可能丢失场景中亮的部分的细节；在短曝光的暗图像中具有场景中亮的部分的大部分细节，但可能丢失场景中暗的部分的细节。因此，将相同场景的亮、暗程度不同的图像帧进行合成，可以保留亮、暗图像中蕴含的所有图像细节，获得一帧高动态范围视频图像，达到了增大视频图像的动态范围的目的，即两帧不同曝光的图像帧的合成进而获得当前场景的高动态范围视频。
参见图8，该系统包括采集模块801，合成模块802； 其中，采集模块801，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的图像； 根据曝光时间的不同，采集得到至少两帧不同亮度的图像，包括亮曝光图像和暗曝光图像，后文的描述中也可能称亮曝光图像为亮图像，暗曝光图像为暗图像，这里的明暗是相对的，在两帧不同的图像中，相对较亮就可以成为亮图像，相对较暗的就可以称为暗图像。对于相机等采集设备，连续采集的同一场景的多帧不同曝光的图像，通常是串行输出的，为了便于合成，，可以将先采集的图像进行存储，然后将存储的图像的数据与最后采集获得的图像进行同步，最后并行输出待合成的所有图像。
例如，若待合成的图像为2帧，即需要一帧亮图像和一帧暗图像，在两种曝光的情况下，先采集的亮曝光图像，则存储该亮曝光图像，然后将该亮曝光图像的数据与之后采集的暗曝光图像的数据进行同步，分两路并行输出一个图像对，这里的图像对指的是同一场景的亮图像和暗图像。
本发明实施例中，采用DDR存储器将前一帧的图像进行存储，DDR可以达到比较理想的成本和性能的平衡。
帧存储器的数量取决于需要合成的图像数量。
本发明实施例是将两路图像合成高动态范围图像，因此采用一个帧存储器，将该两路图像的帧头对齐来实现同步。如果有n种曝光合成高动态范围图像，则需要n-1个这样的帧存储器，这样可以保证任何时刻可以得到n种不同曝光的输入，从各个帧存储器输出的数据与实时的数据流进行同步，最后并行的输出图像。
合成模块802，用于根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将采集模块801采集得到的至少两帧不同亮度的图像进行合成，得到合成图像。
其中，参见图9，该系统还包括 统计模块803，用于对采集模块801采集得到的各帧不同亮度的图像的亮度直方图和亮度累计直方图计算亮度映射函数f(x)，其中，x表示亮图像中象素点的亮度值，f(x)表示暗图像中对应位置的象素点的亮度值；每一组x，f(x)称为一个映射对，x减去f(x)的值称为映射差；并确定一个映射对，将确定的映射对作为所述映射关系。
为了方便说明，以在两种曝光情况下即亮曝光和暗曝光下采集的两帧图像为例进行说明。参见图3(a)和图3(b)，为在亮曝光和暗曝光情况下采集的图像，图3(a)为亮曝光图像，图3(b)为暗曝光图像。图4(a)为这对亮暗图像的亮度直方图，该亮度直方图的横轴表示亮度等级，从左侧0(暗色调)到右侧255(亮色调)，将图像的亮度等级分为256级，而纵轴则表示每个亮度等级下的像素个数，将纵轴上这些像数值点连接起来，就是亮度直方图，图4(b)为这对亮暗图像亮度累计直方图，其中，曲线1表示亮曝光图像，曲线2表示暗曝光图像。图4(c)为根据图4(a)所示的这对亮暗图象的亮度直方图及图4(b)所示的亮度累计直方图计算出的亮度映射函数图，计算过程与现有技术相同，此处不再赘述。该亮度映射函数图的横坐标表示的是亮图像的像素，该亮度映射函数图的纵坐标表示的是暗图像的像素。该亮度映射函数可以理解为亮图像中亮度值为x的象素在暗图像中应为f(x)，x>＝f(x)。如果从离散的角度看，f应该是多对多的函数；然而，可以把f理解连续的函数，这样f就成了单调递增的函数。在具体计算中，可以将x和f(x)取值为整数进行计算，取其它数值也不会对结果产生影响，x和f(x)之差即为映射差。
其中，亮度信息可以包括以下列举信息的任何一种或几种组合亮图像中的暗象素数量或亮象素数量、暗图像中的亮象素数量或暗象素数量、亮暗图像的全局或者局部均值、亮暗图像的中值、映射差等。
本发明实施例选取最大映射差EDRmax对应的映射对(xmax，f(xmax))，作为映射信息 EDRmax＝max{x-f(x)} x∈
(1) 选取最大映射差对应的映射对作为映射信息，可以使最后合成的图像动态范围最大，当然，也可以选取其他的映射差对应的映射对，作为映射信息，即亮度映射函数曲线中，x与对应着的f(x)为映射对，作为映射信息。
EDR在本方案中是个重要的指标，可以直接衡量增强的动态范围(enhanced dynamicrange)，可以表征当前曝光时间是否合适。
对于多曝光的情况，按照曝光时间亮到暗排序，每相邻两个图像可以算出一个亮度映射函数fn。公式1就相应的变成(2)式。容易知道，n帧的EDR实际上是n-1个2帧相互无关的的EDR之和。同样，映射信息为 {(xmax 1，f1(xmax 1)，(xmax 2，f2(xmax 2)...(xmax(n-1)，f(n-1)(xmax(n-1))} EDRmax k＝max{xk-fk(xk)} xk∈
该系统还包括 计算调整模块804，用于对采集模块801采集到的各帧图像的亮度直方图进行统计，得到亮度信息；并根据根据所述亮度信息调节参考曝光时间和曝光动态时间，然后根据所述参考曝光时间和曝光动态时间计算下一次采集时各帧图像的曝光时间，将该曝光时间反馈给采集模块801。
设定参考曝光时间为Ter，该参考曝光时间为多曝光时间的基准参考值，能准确反应场景亮度，保证多曝光图像序列不会过亮也不会过暗。通常为多曝光中的曝光时间序列的中值，暗曝光时间为Td，亮曝光时间为Tb，曝光时间动态值为Ted，该曝光时间动态值为多曝光时间的偏移系数，用于确定多曝光序列能覆盖的场景亮度的动态范围，通常为多曝光中相邻曝光时间的差值，也可以表示为相邻曝光时间的比值。
如图11所示，计算调整模块804，包括 第一调节单元8041，用于调节参考曝光时间Ter，使亮度信息在预设的阈值范围内，并用于根据统计模块得到的映射对调节曝光时间动态值Ted，使该曝光时间动态值Ted能够很好的覆盖场景亮度。
在双曝光的情况下，规定Ter＝Td。在n曝光情况下，规定参考曝光时间Ter为暗到亮排序的第n/2个曝光图像值Ter＝T(n/2)。
本发明实施例中，采用最大映射差EDRmax来调节Ted，在双曝光情况下，EDRmax取值在140～180时能得到较好的效果。
第二调节单元8042，用于保持第一调节单元8041调节的曝光时间动态值Ted不变，将参考曝光时间Ter调节在预设的阈值范围内。
判断单元8043，用于以固定的周期判断动态范围是否发生变化，如果是，通知第一调节单元8041，重新调整参考曝光时间，直到参考曝光时间在预设的阈值范围内；否则，判断场景亮度是否发生变化，如果是，通知第二调节单元8042，保持曝光时间动态值不变，将参考曝光时间调节在预设的阈值范围内；否则，等待下一次判断动态范围是否发生变化。
在两种曝光的情况下，按规定Ter＝Td，Tb＝Ter+Ted，计算调整模块根据实际平台对图像采集设备设置[亮暗亮暗......]交替方式的曝光时间，以达到曝光轮换的目的。
在n中曝光的情况下，T(i)＝Ter+(i-n/2)Ted，计算调整模块对图像采集设备设置为由亮到暗的交替方式的曝光时间，比如，有4中曝光，将这4种曝光由亮到暗进行排序，这4种曝光的曝光时间分别为4、3、2、1，然后循环这种排序，即4、3、2、1，4、3、2、1……。
对于高速图像采集设备，计算调整模块可以采用固定的多曝光实现全动态范围的拍摄，不再需要实现自动曝光控制。
如图11所示，其中，合成模块802，包括 映射单元8021，用于根据统计模块803确定的映射对，计算映射后的每帧图像的亮度值。
本发明实施例中，用最大映射差对应的映射对(xmax，f(xmax))来计算暗曝光下映射后的图像的亮度值。假设I1为亮曝光图像亮度值，I2为暗曝光图像亮度值，经过映射后，暗曝光图像的亮度值I2的亮度值为(I2+xmax-f(xmax))。
合成权重计算单元8022，用于根据统计模块803确定的映射对计算每帧图像的合成权重。本发明实施例中，
为亮曝光图像的合成权重，
是以0为中心，Xmax为半径计算高斯权重，具体计算公式如下式所示。
为暗曝光图像的合成权重，
以255为中心，f(Xmax)为半径计算高斯权重，具体计算公式如式(3)所示。
为了使后续的计算方便，可以将每个图像的合成权重进行归一化。将式(3)归一化后，如式(4)所示； s2＝1-s1 经过简化运算，式(4)可以简化到查表、加法和三个乘法。
对于n曝光的情况，合成权重如式(5)为 归一化后，如式(6)为 合成单元8023，用于根据映射单元8021得到的每帧图像的亮度值和合成权重计算单元8022计算的对应的合成权重，对采集模块801采集的不同亮度的图像进行合成，得到合成图像，即动态范围增强的图像。
继续上述的例子，设亮曝光图像的色度为C1，暗曝光图像的色度为C2，对于亮度I和色度C，加权叠加后如式(7)所示。
I＝s1*I1+s2*(I2+xmax-f(xmax)) (7) C＝s1*C1+s2*C2 式(7)可以简化为两个乘法和五个加法。这在软硬件设计中都是轻而易举就能实现。
对于n曝光的情况，各个图像的亮度值分别为I1，I2，......，In，各个图像的色度值分别为C1，C2，......，Cn，加权叠加后如式(8) 合成的图像如图3(c)所示。
图7为高动态范围图像合成示意图，图中，m为在亮曝光下采集的图像的动态范围，n为在暗曝光下采集的图像的亮度动态范围，采集图像得到的亮曝光图像和暗曝光图像的亮度动态范围是相同的，如图中m和n的长度是相等的，但是采集的亮度范围区间发生了变化，如暗曝光图像相比于亮曝光图像，采集的区间向右移动了g长度的距离，因此合成后图像对应的动态范围的有效区间就相应的变成了m+g，图中线条1表示此处场景信息全，没有丢失，线条2表示此处场景信息丢失，亮曝光图像中，亮度动态范围右边的场景信息有所丢失，暗曝光图像中，亮度动态范围左边的场景信息有所丢失，在合成后的图像中，亮度动态范围两边的场景信息都没有丢失。
其中，参加图10，该系统还包括 增强模块805，用于对合成模块802得到的动态范围增强的合成图像进行强调细节的亮度增强，以获得更好的显示效果。
如图11所示，该增强模块包括 缩小单元8051，用于将合成模块802合成后的图像的亮度通道成比例的缩小。
本发明实施例中，对亮度通道成比例的缩小的比例系数约为 滤波单元8052，用于对合成模块802合成后的图像进行双边滤波； 叠加单元8053，用于将缩小单元8051缩小后的图像和滤波单元8052滤波后的图像进行叠加，得到新的合成图像，所述新的合成图像的亮度比合成模块802得到的合成图像的亮度强。
具体的，滤波单元8052采用空间的窗口滤波和亮度域的三角形滤波混合成双边滤波器进行滤波，因为经典的双高斯组成的双边滤波器的复杂度比常用的单个滤波器复杂度高很多，通常随着滤波器的窗口尺寸而指数上升，而且需要消耗大量的资源。
对图像进行亮度通道成比例缩小和滤波后，图像亮度增强为 Ien＝δ*I+α*(I-Ibilateral) (9) 其中，Ien为增强之后的图像亮度，Ibilateral为滤波之后的图像亮度，α为加权系数，这里α取0.5可以取得较好的效果。如果是多曝光合成，则α相应的增大。
如式(9)所示，滤波前的图像减去滤波后的图像即为图像的细节，加权叠加到成比例缩小亮度的图像后即可以得到细节丰富的高动态范围图像，如图3(d)。
本发明实施例提供的一种合成图像的系统，通过采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；根据每两帧图像之间的亮度映射关系将多帧不同亮度的图像进行合成，得到合成图像。该方法不更改现有图像采集设备如相机的架构，利用现有图像采集设备的曝光设置功能和附加软件模块就可以实现；应用范围广，可集成到图像采集设备监控设备系统，也可以作为后处理软件使用；可扩展性好，后期升级简便；合成效果比普通图像采集设备好；细节鲜明，尤其在强照度和低照度共存的场景，能清晰的获取大亮度范围的特征细节；结果无合成痕迹，亮暗区域内平滑自然，整体上亮暗过渡谐和统一；由于是并行输出图像，没有降低图像采集设备帧率，输出图像频率等同于原图像采集设备输出帧率；算法实用高效，可以达到实时，几乎不增加硬件成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种合成图像的方法，其特征在于，所述方法包括
采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；
根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中象素点的亮度值与暗图像中对应位置的象素点的亮度值之间的对应关系。
2.根据权利要求1所述的合成图像的方法，其特征在于，采集同一场景的至少两帧不同亮度的图像之后，还包括
根据各帧图像的亮度直方图和亮度累计直方图计算每两帧图像之间的亮度映射函数f(x)，其中，x表示亮图像中象素点的亮度值，f(x)表示暗图像中对应位置的象素点的亮度值；
每一组x，f(x)称为一个映射对，x减去f(x)的值称为映射差；
确定一个映射对，将确定的映射对作为所述映射关系。
3.根据权利要求2所述的合成图像的方法，其特征在于，还包括
对各帧图像的亮度直方图进行统计，得到亮度信息；
根据所述亮度信息调节参考曝光时间和曝光动态时间，根据所述参考曝光时间和曝光动态时间计算下一次采集时各帧图像的曝光时间。
4.根据权利要求3所述的合成图像的方法，其特征在于，根据所述亮度信息调节参考曝光时间和曝光动态时间，包括
调节参考曝光时间，使所述亮度信息在预设的阈值范围内；
根据所述映射信息调节曝光时间动态值；
保持所述曝光时间动态值不变，将所述参考曝光时间调节在预设的阈值范围内；
以固定的周期判断动态范围是否发生变化，如果是，重新调整参考曝光时间，直到所述参考曝光时间在预设的阈值范围内，所述动态范围是图像的最亮和最暗部分之间的比值；
否则，判断场景亮度是否发生变化，如果是，保持所述曝光时间动态值不变，将所述参考曝光时间调节在预设的阈值范围；否则，等待下一周期，判断动态范围是否发生变化。
5、根据权利要求2至4任一项所述的合成图像的方法，其特征在于，根据每两帧图像之间的亮度映射关系将所述多帧不同亮度的图像进行合成，得到合成图像，包括
根据所述确定的映射对计算映射后的每帧图像的亮度值；并根据所述确定的映射对计算每帧图像的合成权重；
利用映射后的各帧图像的亮度值和各帧相应的合成权重对所述多帧图像进行合成，得到合成图像。
6.根据权利要求1至4任一项权利要求所述的合成图像的方法，其特征在于，根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像之后，还包括
对所述合成图像进行亮度增强。
7.根据权利要求6所述的合成图像的方法，其特征在于，对所述合成图像进行亮度增强，包括
将所述合成图像的亮度通道成比例的缩小，并进行双边滤波，然后将所述成比例的缩小的合成图像和进行双边滤波后的图像进行叠加，得到新的合成图像，所述新的合成图像的亮度比所述合成图像的亮度强。
8.一种合成图像的系统，其特征在于，所述系统包括采集模块，合成模块；
所述采集模块，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；
所述合成模块，用于根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中象素点的亮度值与暗图像中对应位置的象素点的亮度值之间的对应关系。
9.根据权利要求8所述的合成图像的系统，其特征在于，所述系统还包括
统计模块，用于根据各帧图像的亮度直方图和亮度累计直方图计算每两帧图像之间的亮度映射函数f(x)，其中，x表示亮图像中象素点的亮度值，f(x)表示暗图像中对应位置的象素点的亮度值；每一组x，f(x)称为一个映射对，x减去f(x)的值称为映射差；
并用于确定一个映射对，将确定的映射对作为所述映射关系。
10.根据权利要求9所述的合成图像的系统，其特征在于，所述系统还包括
计算调整模块，用于对各帧图像的亮度直方图进行统计，得到亮度信息；并根据所述亮度信息调节参考曝光时间和曝光动态时间，然后根据所述参考曝光时间和曝光动态时间计算下一次采集时各帧图像的曝光时间。
11.根据权利要求10所述的合成图像的系统，其特征在于，所述计算调整模块包括
第一调节单元，用于调节参考曝光时间，使所述统计模块得到的亮度信息在预设的阈值范围内；并用于根据所述统计模块得到的映射信息调节曝光时间动态值；
第二调节单元，用于保持曝光时间动态值不变，将所述参考曝光时间调节在预设的阈值范围内；
判断单元，用于以固定的周期判断动态范围是否发生变化，如果是，通知所述第一调节单元，重新调整参考曝光时间，直到所述参考曝光时间在预设的阈值范围内；否则，判断场景亮度是否发生变化，如果是，通知第二调节单元，保持所述曝光时间动态值不变，将所述参考曝光时间调节在预设的阈值范围内；否则，等待下一周期，判断动态范围是否发生变化。
12.根据权利要求8所述的合成图像的系统，其特征在于，所述合成模块包括
映射单元，用于根据所述统计模块确定的映射对，计算映射后的每帧图像的亮度值；
合成权重计算单元，用于所述统计模块确定的映射对计算每帧图像的合成权重；
叠加单元，用于根据所述映射单元得到的每帧图像的亮度值和所述合成权重计算单元计算的相应的合成权重，进行加权叠加，得到合成图像。
13.根据权利要求8至11任一项权利要求所述的合成图像的系统，其特征在于，所述系统还包括
增强模块，用于对所述合成模块得到的合成图像进行亮度增强。
14.根据权利要求13所述的合成图像的系统，其特征在于，所述增强模块包括
缩小单元，用于将所述合成模块合成后的图像的亮度通道成比例的缩小；
滤波单元，用于对所述合成模块合成后的图像进行双边滤波；
叠加单元，用于将所述缩小单元缩小后的图像和滤波单元滤波后的图像进行叠加，得到新的合成图像，所述新的合成图像的亮度比所述合成模块得到的合成图像的亮度强。
全文摘要
本发明实施例公开了一种合成图像的方法与系统，属于图像处理领域。所述方法包括采集同一场景在不同曝光时间下的至少两帧不同亮度的图像；根据所述不同亮度的图像中每两帧图像之间的亮度映射关系将所述不同亮度的图像进行合成，得到合成图像，所述亮度映射关系表示亮图像中像素点的亮度值与暗图像中对应位置的像素点的亮度值之间的对应关系。本发明提供的合成图像的方法与系统，增强了图像的动态范围，合成效果好，易于实现。
文档编号H04N5/262GK101394487SQ20081022506
公开日2009年3月25日 申请日期2008年10月27日 优先权日2008年10月27日
发明者海 陈, 刘凌志 申请人:华为技术有限公司