专利名称：一种基于综合增益的高动态范围图像视频处理方法
技术领域：
本发明属于图像处理技术领域，特别涉及一种基于综合增益的高动态范围图像视频处理方法。尤其涉及一种不依赖于特殊硬件设备，可以处理普通摄像机直接拍摄视频的高动态范围(HDR, High Dynamic Range)视频处理技术。
背景技术：
近年来，随着数码照相机、数码摄像机以及各种有拍摄功能的手持电子设备的普及，海量的图像和视频正在不间断地产生。互联网上社交网站和图片视频分享网站的兴起，更是强化了人们对于图像、视频的拍摄需求，每天有数以万计的媒体信息在互联网上被传输和分享。但是作为人类视觉系统的辅助工具，摄像设备现在已经开始显露出来它的不足，近些年来许多研究人员不断地从各个方面改进摄像设备的能力，除了对设备本身的更新以夕卜，还对其输出的图像和视频进行后期处理，以期得到更好的效果。在各种图像后期处理的研究中，图像HDR处理能够在现有的图像采集设备和显示设备条件下，尽可能地得到类似于人眼观察景象的效果，所以成为了当今图像处理领域研究的热点。目前图像HDR处理已经比较成熟，不仅有很多成熟的HDR处理软件，能够直接将多张不同曝光的图像处理成HDR图像，而且不少消费级的数码相机和手机上都已经内置了简单的HDR处理功能。但是就目前来说，视频HDR的处理还比较落后，还没有可以直接商业化的成果。当前流行的HDR视频处理方法不仅处理速度慢，而且还需要特殊的视频采集设备，这样就大大限制了 HDR视频应用的范围。1.HDR图像处理算法Debevec等人受到传统摄像机成像原理的启发,将胶片特征曲线的映射过程应用到了 HDR图像处理领域，恢复了含有场景的原始亮度的HDR图像。作者在文章中使用了一个简化的摄像机模型，用特·征函数来表示相机拍照时的亮度映射过程:Zij=If (Ei Δ tj)其中:f(.)表示特征函数，Zij表示在第j张图像上的第i个像素点的亮度值，Ei表示真实环境中i对应点的实际亮度，即最终HDR图像中的亮度值，Λ tj表示第j张图像拍摄时的曝光时间。作者使用了二次约束函数来估计特征函数:O= X) — In Ei + In Ati f + λψ^ ^'(ζ):1=l J=IZ-1其中，g(Zij) =Inr1 (Zij) =lnEi+ln Δ tj。特征函数计算完毕后，便可以通过反向映射得到对应的HDR图像。2.HDR视频处理算法视频与图像处理的不同之处在于，除了视频帧内部的空间相关性以外，还存在着视频帧间的时间相关性。所以在视频处理时，可以充分利用已有的图像处理方法。在HDR图像处理中最重要的一个条件就是要获得不同曝光条件的多张图像，在图像处理中，可以通过手动改变曝光值的方法来获取这些图像，但是在视频处理中，这个问题变得比较复杂，因为无法实时有效地在摄像机上完成类似于照相机的曝光控制。目前常用的方法是使用特殊的摄像设备在加上后期处理来解决这个问题，比如采用同时多种曝光设置的摄像设备，或者不断切换摄像机的曝光模式等等。但是特殊设备的使用极大地影响了视频HDR的应用范围。
发明内容
本发明的目的是为了克服已有技术的不足之处，提出了一种基于综合增益的高动态范围图像视频处理方法，其特征在于，包括:I)利用摄像机内置的AGC (自动增益控制)功能，提取视频画面的内容和整体亮度变化，用于图像HDR处理中调节曝光参数；2)根据带有AGC的摄像机的特殊性，提出了综合增益值(SGV)的概念，并进一步提出了带有AGC的摄像机模型。按照此模型可以从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的方式，恢复出全局HDR图像；最终按照帧对齐的逆变换，得到处理后的HDR视频；并在恢复出关键帧的过程中加入关键帧选取和关键帧分组的步骤，有效地减少了计算量，提高了处理速度；所述高动态范围图像视频处理方法的流程处理步骤包括从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的过程，恢复出全局HDR图像(即输入视频);在恢复出关键巾贞的过程中进行关键巾贞选取，将选取的关键巾贞的划分为关键中贞和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键(视频)帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，最终按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束；所述综合增益值是在摄像机中以感光度的形式存在，较低的增益值产生的感光度较低，使得到的图像整理较暗；而较高的增益值产生的感光度较高，能够使图像的整体变得更亮，但是会带来更多的噪声影响。所以，可以把增益值作为对原始输入亮度的一种补偿，以图像上某像素点Pk为例，当摄像机没有AGC功能或者AGC功能关闭时，符合一般摄像机模型:Γ 1 (pk) =f (E (pk).ATt)其中，I' t(pk)表示像素点Pk在最终拍摄得到的图像上的亮度值，f (.)表示摄像机的特征函数，ATt表示拍摄第t帧时摄像机的曝光时间，E(pk)表示Pk点在真实环境中对应点的真实亮度值。而当摄像机的AGC功能打开时,则符合得到带有AGC功能的摄像机模型: Γ 1 (pk) =f (E (pk).Gt Δ Tt)其中，Gt表示拍摄第t帧时摄像机的增益(Gain)值，由于摄像机在拍摄每帧图像的时候，增益值都在变化，所以不同帧的增益值也不相同。令Sk=Gt ATt,可以得到:I' 1 (pk) =f (E (pk).St)称St为综合增益值，用来表示视频拍摄时AGC和曝光设置共同起作用的效果。
本发明的有益效果是提出了通用性较强的视频HDR处理方法，以及从视频中获取全局HDR图像的方法。本发明具有如下特点:1.本方法不依赖于特殊的视频拍摄硬件设备，使用常见的摄像机拍摄的视频即可使用本方法进行处理。2.使用本方法处理视频后，可以得到一张全景HDR图像。
图1是系统整体算法的流程图，
具体实施例方式本发明提出的一种基于综合增益的高动态范围图像视频处理方法，下面结合附图对本发明进一步说明。如图1所示的系统整体算法的流程图。该方法的流程步骤包括从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的过程，恢复出全局HDR图像(即输入视频)；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键(视频)帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，最终按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束；实施例图1所示的系统整体算法的具体步骤如下:(1)在输入视频中的选取部分视频巾贞标记为关键巾贞(关键巾贞巾贞号的集合表不为uk)，将其余视频帧标记为非关键帧。视频关键帧的选取可以采取固定间隔选取或者其他非固定间隔选取的方式，但需要保证关键帧间的物体运动不会过大的同时，尽量减少关键帧的数目。为了简化处理，采用固定10帧为间隔的关键帧选取方式，经过实验验证这种选取方式在大多数视频中都表现良好。为了保证所有视频帧都被处理，视频第一帧和最后一帧需要指定为关键帧；(2)将步骤(1)中选取出的关键帧和非关键帧进行图像对齐，并将所有对齐后的关键帧映射到同一个平面。定义所有关键帧映射后能够覆盖的区域为全局图像，全局图像包含了整个视频能够覆盖的所有像素点；(3)将步骤(2)中已经对齐的关键帧划分为关键帧组，这样做的主要目的是为了使同一关键巾贞组内的关键巾贞能够有一定的重合区域，并且在计算时能够大幅减少计算量；(4)在步骤(3)中得到的关键帧组内计算综合增益值，并将所有组的综合增益值进行统一化，得到对应于所有关键帧的综合增益值；(5)每个单独的关键帧并不能包含全局图像中所有的像素点，所以需要将所有对齐后的关键帧中不存在的点进行插值补偿，将所有对齐后的关键帧按照亮度变化程度进行插值；( 6 )由于摄像机可能存在运动，并且视频帧数量较多，所以无法手动从视频中选择特征点，所以需要使用自动化的方法从所有关键帧中选取特征点；(7)按照全局增益值和特征点计算全局HDR图像；
(8)利用关键帧和非关键帧到全局图像上的对齐变换，在全局HDR图像上进行逆变换，从全局HDR图像上恢复HDR视频帧。上述步骤(2)中将关键帧和非关键帧进行对齐，具体包含以下步骤:2.1选取任一平面作为全局图像平面，在本发明中为了简化处理，选择第I个关键帧所在的平面作为全局图像平面；2.2选择第I个关键帧，将此关键帧与全局图像平面对齐并进行变换，映射到全局平面。由于第I个关键帧所在平面即为全局图像平面，则不必进行变换；2.3顺序选择下一个关键帧，将此关键帧与前一个关键帧进行对齐，并映射到全局平面；2.4顺序选择前面两个关键帧间的非关键帧，并将此非关键帧与两个关键帧进行加权对齐，加权因子使用此非关键帧分别距两个关键帧间的距离，记Mm，n为第η帧到第m帧的对齐变换矩阵，并记第t帧为正在进行对齐的非关键帧，而第i帧和第j帧为第t帧临近的两个关键帧，则计算公式如下所示:
权利要求
1.一种基于综合增益的高动态范围图像视频处理方法，其特征在于，包括: 1)利用摄像机内置的AGC功能，提取视频画面的内容和整体亮度变化，用于图像HDR处理中调节曝光参数； 2)根据带有AGC的摄像机的特殊性，并结合了一般的摄像机模型，提出了综合增益值的概念，并进一步提出了带有AGC的摄像机模型，按照此模型从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的方式，恢复出全局HDR图像；最终按照帧对齐的逆变换，得到处理后的HDR视频；并在恢复出关键帧的过程中加入关键帧选取和关键帧分组的步骤，有效地减少了计算量，提高了处理速度。
2.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述将视频HDR的处理转化为图像HDR处理，从视频中恢复出所有关键帧的综合增益值，恢复出全局HDR图像的过程包括步骤:首先输入摄像机拍摄的视频；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束。
3.根据权利要求1或2所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述综合增益值是在摄像机中以感光度的形式存在，较低的增益值产生的感光度较低，使得到的图像整理较暗；而较高的增益值产生的感光度较高，能够使图像的整体变得更亮，但是会带来更多的噪声影响，所以，可以把增益值作为对原始输入亮度的一种补偿，以图像上某像素点Pk为例，当摄像机没有AGC功能或者AGC功能关闭时，符合一般摄像机模型:
4.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述按照帧对齐的逆变换生成HDR视频是利用关键帧和非关键帧到全局图像上的对齐变换，在全局HDR图像上进行逆变换，从全局HDR图像上恢复HDR视频帧，将HDR全局图像进行色调映射，得到色调映射后的HDR全局图像为
全文摘要
本发明公开了属于图像视频处理技术领域的一种基于综合增益的高动态范围图像视频处理方法，该方法包括根据摄像机模型对综合增益值进行估计，计算全局HDR图像并生成HDR视频，具体步骤包括1)从输入视频中选择关键帧并将所有视频帧进行对齐；2)将关键帧进行分组，在组内分别计算综合增益值；3)从关键帧中自动选择特征点，按照综合增益值计算全局HDR图像；4)从全局HDR图像上按照视频帧对齐数据进行反变换，得到最终的HDR视频。本发明具有不依赖特殊硬件设备、应用范围广的优点，能够满足将普通拍摄的视频转化为HDR视频的要求。
文档编号H04N5/14GK103237168SQ201310113299
公开日2013年8月7日 申请日期2013年4月2日 优先权日2013年4月2日
发明者李迪, 陶品, 温江涛 申请人:清华大学