用于生成高动态范围图像的图像处理系统和图像处理方法
【专利摘要】一种图像处理系统用于从第一图像和第二图像生成高动态范围图像的目的。所述系统包括第一位移估计器(22)，用于估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移。此外，所述系统包括第一扭曲单元(23)，用于通过扭曲所述待扭曲图像来补偿所述估计位移从而得到第一扭曲图像。此外，所述系统包括：第一误差检测器(24)，用于检测所述第一扭曲图像内的几何扭曲误差；以及第一误差补偿器(25)，用于补偿所述第一扭曲图像内的所述估计几何扭曲误差从而得到第一误差校正图像。所述系统还包括高动态范围计算器，用于基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像。
【专利说明】
用于生成高动态范围图像的图像处理系统和图像处理方法
技术领域
[0001]本发明涉及一种用于从至少两个输入图像生成高动态范围图像的图像处理系统和图像处理方法。
[0002]具体来说，本发明涉及一种在执行高动态范围图像计算之前处理输入图像的系统和方法。
【背景技术】
[0003]在与计算机视觉和计算摄影相关的许多应用中，图像配准的主题发挥中心作用，确切地说，当需要使一个图像的像素与另一图像中的对应像素(描绘所捕获场景中的同一点的像素)关联时使用所述技术。
[0004]匹配不同图像中的像素的问题在基于从多个图像提取信息以便提高其质量或检测场景的几何形状的计算机视觉应用中相当常见。关于这点，通过图像配准解决的典型挑战是:消除在立体图像中观测到的透视差；操纵动态场景，其中可观测所捕获图像的集合(例如，捕获移动对象的两个顺序图像)中的运动；以及补偿相机移动，其中以手持式相机捕获顺序图像。
[0005]因此，图像配准在高动态范围成像(high dynamic range imaging，HDRI)等属于计算摄影的范围内的操纵情形中起到重要作用。HDRI使得能够在计算上增加使用数码相机捕获的图像的动态范围，所述数码相机主要由于硬件局限性而不能还原现实世界场景的整个动态范围。用于HDRI的示范性方法依赖于以不同曝光(包围曝光)捕获若干图像(以立体/多个相机循序或同时捕获)，且随后将所述图像合并为高动态范围图像。
[0006]基于从不同曝光的输入图像获得的信息，估计逆相机响应函数(camera responsefunct1n，CRF)，其使得能够以增加的动态范围重构场景光亮度映射图(由相机传感器作为输入而接收的原始光能的估计)。随后使用色调映射操作将延伸后的动态范围重新映射为可由常用显示器显示的低动态范围格式。通常根据原始图像的曝光水平指派不同权重，通过来自输入图像的对应像素的加权和来计算光亮度映射图。
[0007]本发明可应用于用于CRF估计、色调映射和用于场景光亮度映射图计算的加权的任何方法。
[0008]在循序地取得两个或两个以上图像且假定所描绘的场景和相机是静态的(在捕获过程期间无运动)情况下，高动态范围(high dynamic range，HDR)计算不存在特定问题。这是因为假定输入图像完美地在几何上对准，这又意味着全部图像内容在所有输入图像中具有相同位置。然而，实际上这是极不常见的情况:通常，在以不同曝光设定捕获输入图像所需要的时间期间，会发生捕获装置或场景中的对象的移动。因此，所捕获图像不再完美地对准。当通过立体/多相机情况捕获图像时，同时的图像捕获不存在如顺序捕获中发生的移动对象的问题。然而，相机之间的基线差异造成需要补偿的遮挡和透视失真。
[0009]在未正确地实行运动或视差补偿的情况下，通过加权错误像素而计算图像的某些区域中的光亮度映射图，因此导致严重且明显的鬼影假象。通过动态改变或遮挡造成的具有失真的区域也将被称作“鬼影区域”。
[0010]因此，HDRI和基于同一场景的多个图像的其它应用的质量明显取决于不同图像之间的运动(或立体/多相机情境中的视差)补偿操作以产生一致结果。
[0011]因移动的相机或场景中的对象所致的运动或者立体/多相机基线的视差的补偿表示一个重要研究领域，其目标是减少鬼影区域中可观测到的假象。对于开发了若干方法的2D(顺序图像)尤其如此。
[0012]用于运动和视差补偿的现有方法可分类为主要两组:第一组的运动补偿技术旨在减少鬼影区域中的可见假象，仅基于一个图像计算那些区域中的光亮度值。因此，这需要对鬼影区域的检测。
[0013]最近，提出了用于检测因在捕捉过程期间的相机运动所致的未对准的方法。平移未对准的检测开始于应用曝光不变的变换，因此检测实现变换映射图之间的最大相似性的平移。
[0014]基于此方法，提出了用于检测因相机运动所致的平移未对准和旋转未对准以及因在捕捉期间移动对象所致的模糊区的另外的技术。
[0015]第二组的运动/视差补偿技术是基于图像配准，以使得不要求相机设定(例如，曝光时间、逆CRF...)的先验知识且不需要鬼影区域的检测。示范性方法使用基于能量的光流方法计算密集运动场，其对输入图像之间的照明差异是不变的。计算得出的运动向量用于图像配准并且因此用于运动补偿。基于这些已配准图像计算HDR图像。
[0016]用于运动和视差补偿的上述方案存在若干局限性，其大部分与实现算法的性能相关。举例来说，第一组的方法以不同于图像的其余部分的方式处理鬼影区域(即使用仅一个图像用于HDR计算)，导致可见假象，可用所提出的发明来减少所述可见假象。
[0017]类似地，属于通过运动估计的图像配准的范围内的方法可减小对相机设定的相依性，但它们明显依赖于光流等运动/视差技术的性能。另外，如果未执行旨在减少输入图像之间的明度差异的恰当预处理，那么运动估计步骤的结果将不准确。
[0018]举例来说，欧洲专利申请EP2 395 748A2示出了用于生成高动态范围图像的常规系统和方法。其中示出的系统和方法存在缺点，因为所得的HDRI图像包括剩余误差。
【发明内容】
[0019]因此，本发明的目的是提供一种用于生成高动态范围图像的系统和方法，其实现图像配准阶段中的极高精度，因此得到高质量HDR图像。上述目标通过所附独立权利要求中提供的方案来实现。在相应的从属权利要求中界定有利的实施方案。
[0020]本发明的第一方面提供一种用于从第一图像和第二图像生成高动态范围图像的图像处理系统。所述系统包括第一位移估计器，用于估计从第一图像来自的参考图像与从第二图像来自的待扭曲图像之间的图像内容的位移。位移可表示为参考图像与在像素、像素块或子像素精度上待扭曲的图像的不同部分之间的局部映射。此外所述系统包括第一扭曲单元，用于通过扭曲待扭曲图像来补偿估计位移从而得到第一扭曲图像。此外，所述系统包括:第一误差检测器，用于检测第一扭曲图像内的几何扭曲误差；以及第一误差补偿器，用于补偿第一扭曲图像内的估计几何扭曲误差从而得到第一误差校正图像。所述系统还包括高动态范围计算器，用于基于第一误差校正图像和参考图像计算高动态范围图像。通过执行误差补偿，有可能大大减少在由高动态范围计算器使用的位移估计阶段期间发生的误差的数目。进而实现具有减少的视觉假象的所得高动态范围图像。
[0021]在根据本发明的第一方面的第一实施形式中，第一位移估计器用于通过估计光流和/或通过执行基于块的搜索和/或通过执行块匹配来估计图像内容的位移。进而，用于运动/视差估计的全部现有方法可应用于本发明。
[0022]根据本发明的第一方面的第二实施形式，第一误差检测器包括差单元，用于计算第一扭曲图像的每个像素与参考图像的对应像素的强度差。第一误差检测器还包括直方图单元，用于计算所确定的强度差的直方图。此外，第一误差检测器包括:阈值确定单元，用于根据直方图确定误差阈值；以及误差决定单元，用于通过比较强度差与阈值从而得到几何扭曲误差像素的二进制映射图来确定几何扭曲误差。进而可达到检测误差的极高准确性。
[0023]根据本发明的第一方面的第三实施形式，阈值确定单元用于确定误差阈值以使得低于误差阈值的差值指示光度误差且高于误差阈值的值指示几何误差。通过执行光度误差与几何扭曲误差之间的此准确辨别，可实现进一步提高所得HDR图像质量，因为允许在图像获取链的非静止组件发源的误差(光度误差)与在配准阶段期间发生的误差(几何扭曲误差)之间进行区分。
[0024]通过分析直方图的连续值的梯度且将阈值置于梯度最大的点中可自适应地确定实现光度误差与几何扭曲误差之间的更好分类或区别的误差阈值。
[0025]根据本发明的第一方面的第四实施形式，差单元用于针对不同颜色通道独立地计算强度差。误差决定单元随后用于比较颜色通道的强度差与误差阈值，且在颜色通道的强度差中的至少一个强度差高于误差阈值的情况下或在全部颜色通道的强度差高于误差阈值的情况下确定像素的几何扭曲误差。进而可实现进一步提高所得HDR图像质量。
[0026]根据本发明的第一方面的第五实施形式，差单元用于针对不同颜色通道独立地计算强度差。直方图单元用于针对不同颜色通道计算独立直方图。阈值确定单元用于针对每个颜色通道确定独立误差阈值。误差决定单元在此情况下用于比较颜色通道的强度差与相应误差阈值，且在颜色通道的强度差中的至少一个强度差高于相应误差阈值的情况下或在全部颜色通道的强度差高于相应误差阈值的情况下确定像素的几何扭曲误差。以略微更高的计算复杂性为代价，进而可实现进一步提高所得高动态范围图像的质量。
[0027]根据本发明的第一方面的第六实施形式，第一误差补偿器包括搜索窗设定单元，用于在检测到几何扭曲误差的第一扭曲图像的每个像素周围设定预定的或用户定义的大小的搜索窗。误差补偿器还包括有效像素检测单元，用于确定在每个搜索窗内的哪些像素处未检测到几何扭曲误差从而得到每个搜索窗的有效像素。误差补偿器还包括校正值确定单元，用于将检测到几何扭曲误差的第一扭曲图像的像素的校正值各自计算为相应搜索窗的有效像素中的至少一些的强度的平均值。此外，误差补偿器包括校正值替换单元，用于通过相应计算得出的校正值替换检测到几何扭曲误差的第一扭曲图像的像素从而得到第一误差校正图像。进而实现所得高质量高动态范围图像，同时仅需要低计算复杂性。
[0028]根据按照本发明的第一方面的第七实施形式，校正值确定单元用于将校正值各自计算为仅有效像素的强度的平均值，有效像素与当前校正像素的强度值的强度值差低于预定的或用户可选的校正阈值。进而可防止使用例如因存在边界的边缘而致的与待校正像素不相关的区的像素值从而导致不完全的误差校正。
[0029]根据本发明的第一方面的第八实施形式，第一误差补偿器包括加权单元，用于基于第一扭曲图像的强度梯度执行搜索窗内的有效像素的加权，其中将较低权重分配给边缘和边界等高梯度值的像素，且其中将较高权重分配给低梯度值的像素，从而得到加权映射图。
[0030]可从几何扭曲误差的二进制映射图确定有效像素。校正值确定单元用于在计算校正值之前对搜索窗的值像素进行加权。进而可实现进一步提高所得HDR图像质量。
[0031]根据本发明的第一方面的第九实施形式，图像处理系统进一步包括第一曝光补偿单元，用于通过改变第一图像的和/或第二图像的亮度和/或饱和度来补偿由于不同曝光时间所致的第一图像和第二图像中的颜色和明度差异从而得到参考图像和待扭曲图像。这得到图像扭曲的甚至更高的质量。替代地，第一图像可直接用作参考图像且第二图像可直接作为待扭曲图像。这使得降低计算复杂性。
[0032]根据本发明的第一方面的第十实施形式，图像处理系统进一步包括:第二位移估计器，用于估计参考图像与从第三图像来自的又一待扭曲图像之间的图像内容的位移；以及第二扭曲单元，用于通过扭曲又一待扭曲图像来补偿检测到的位移从而得到第二扭曲图像。此外，图像处理系统包括:第二误差检测器，用于检测第二扭曲图像内的几何扭曲误差；以及第二误差补偿器，用于补偿第二扭曲图像中的检测到的几何扭曲误差从而得到第二误差校正图像。高动态范围计算器用于基于第一误差校正图像、第二误差校正图像和参考图像计算高动态范围图像。通过使用两个以上图像，可实现进一步提高所得HDR图像质量。
[0033]包含三个以上图像的系统的扩展采取此实施形式中论述的同一方法，其中添加用于补偿检测到的位移的多个扭曲单元、多个误差检测和多个误差补偿以补偿多个扭曲图像中的检测到的几何扭曲误差。
[0034]根据本发明的第二方面，提供一种用于从第一图像和第二图像生成高动态范围图像的方法。估计从第一图像来自的参考图像与从第二图像来自的待扭曲图像之间的图像内容的位移。通过扭曲待扭曲图像来补偿估计位移从而得到第一扭曲图像。检测且补偿此第一扭曲图像内的几何扭曲误差从而得到第一误差校正图像。基于第一误差校正图像和参考图像计算高动态范围图像。因此，所得HDR图像的高质量是可能的。
[0035]根据本发明的第二方面的第一实施形式，通过计算光流和/或通过执行基于块的搜索和/或通过执行块匹配来估计图像内容的位移。进而以低计算成本实现位移估计的高准确性。
[0036]根据本发明的第二方面的第二实施形式，计算第一扭曲图像的每个像素与参考图像的对应像素的强度差。根据这些强度差计算直方图。根据直方图计算误差阈值。通过比较强度差与阈值从而得到几何扭曲误差像素的二进制映射图来确定几何扭曲误差。进而可实现检测到的几何扭曲误差的高准确性。可根据强度差的直方图的统计数据自适应地选择阈值。
[0037]根据本发明的第二方面的第三实施形式，确定阈值以使得低于阈值的差值指示光度误差且高于误差阈值的值指示几何误差。通过执行光度误差与几何误差之间的此辨别，可防止通过意外地校正光度差而引入额外误差。
[0038]根据本发明的第二方面的第四实施形式，针对不同颜色通道独立地计算强度差。将颜色通道的强度差与误差阈值进行比较。在颜色通道的强度差中的至少一个强度差或一个个别像素的全部颜色通道的强度差高于误差阈值的情况下检测到像素的几何扭曲误差。进而可实现进一步提高所得HDR图像的图像质量。
[0039]根据本发明的第二方面的第五实施形式，针对不同颜色通道独立地计算强度差。并且，针对不同颜色通道计算独立直方图。还针对每个颜色通道独立地确定误差阈值。将颜色通道的强度差与相应误差阈值进行比较。在颜色通道的强度差中的至少一个强度差高于相应误差阈值的情况下或在全部颜色通道的强度差高于相应误差阈值的情况下检测到像素的扭曲误差。以略微增加的计算复杂性为代价，进而可实现进一步提高所得HDR图像质量。
[0040]根据本发明的第二方面的第六实施形式，在检测到几何扭曲误差的第一扭曲图像的每个像素周围设定预定的或用户定义的大小的搜索窗。检测在每个搜索窗内的哪些像素处未检测到几何扭曲误差，从而得到每个搜索窗的有效像素。将检测到几何扭曲误差的第一扭曲图像的像素的校正值各自计算为相应搜索窗的有效像素中的至少一些的强度的平均值。通过相应计算得出的校正值替换检测到几何扭曲误差的第一扭曲图像的像素从而得到第一误差校正图像。以低计算复杂性为代价，实现大大提高所得高动态范围图像的质量。
[0041]根据本发明的第二方面的第七实施形式，将校正值各自计算为仅有效像素的强度的平均值，有效像素与当前校正像素的强度值的强度值差低于预定的或用户可选的校正阈值。进而防止引入额外误差，从而得到高输出图像质量。
[0042]根据本发明的第二方面的第八实施形式，基于第一扭曲图像的强度梯度和几何扭曲误差的二进制映射图计算加权映射图。将较低权重分配给边缘和边界等高梯度值的像素，且将较高权重分配给低梯度值的像素，从而得到加权映射图。仅在已经使用加权映射图对搜索窗的有效像素进行加权之后计算像素的校正值。进而实现进一步提高所得高动态范围图像质量。
[0043]根据本发明的第二方面的第九实施形式，通过改变第一图像或第二图像的亮度和/或饱和度来补偿第一图像和第二图像的不同曝光时间从而得到参考图像和待扭曲图像。以略微增加的计算复杂性为代价，可达到进一步提高所得HDR图像质量。替代地，第一图像和第二图像可直接用作参考图像和待扭曲图像。这得到较低的计算复杂性和略微降低所得高动态范围图像质量。
[0044]根据本发明的第二方面的第十实施形式，计算参考图像与从第三图像来自的又一待扭曲图像之间的图像内容的位移。通过扭曲又一待扭曲图像来补偿估计位移从而得到第二扭曲图像。检测并补偿第二扭曲图像内的几何扭曲误差从而得到第二误差校正图像。根据第一误差校正图像、第二误差校正图像和参考图像计算高动态范围图像。进而可实现甚至更高的输出图像质量。
[0045]根据本发明的第三方面，提供一种计算机程序，其具有程序代码工具，所述程序代码工具用于在所述程序在计算机或数字信号处理器上执行的情况下执行一些或全部先前所示步骤或执行根据第二方面或其实施形式中的任一实施形式的方法。
[0046]根据本发明的第四方面，提供一种计算机程序产品，其具有存储有程序代码工具的计算机可读媒体，所述程序代码工具用于在所述程序在计算机或数字信号处理器上执行的情况下执行一些或全部先前所示步骤或执行根据第二方面或其实施形式中的任一实施形式的方法。
[0047]通常，必须注意，在本申请案中所描述的所有布置、装置、元件、单元和工具等可以通过任何种类的软件或硬件元件或其组合来实施。通过本申请案中所描述的各种实体执行的所有步骤以及描述成将通过各种实体执行的功能性意指对应的实体适于或用于执行对应的步骤和功能性。即使在以下描述或具体实施例中，将由一般实体执行的具体功能性或步骤并未反映在执行所述具体步骤或功能性的所述实体的元件的描述中或具体针对所述元件，熟练技术人员也应该清楚，这些方法和功能性可以用相应的软件或硬件元件或其任何组合实施。
【附图说明】
[0048]下文相对于本发明的实施例且参考附图详细阐述本发明，在附图中
[0049]图1示出了创造性系统的实施例，
[0050]图2示出了创造性系统的实施例的第一细节，
[0051]图3示出了创造性系统的实施例的第二细节，
[0052]图4示出了创造性系统的实施例的第三细节，以及
[0053]图5示出了创造性方法的实施例。
【具体实施方式】
[0054]在图1中示出了创造性图像处理系统I的实施例。图像处理系统I包括图像输入单元10，所述图像输入单元又包括用于同时捕获第一图像和第二图像的第一相机11和第二相机12。替代地，图像输入单元10可包括仅单个相机以用于连续捕获第一图像和第二图像以及可能另外的图像。此外，图像处理系统完全无须包括任何相机。在此情况下图像输入单元10仅是用于输入预记录图像的界面。连接到图像输入单元的是图像处理单元20，且连接到图像单元处理单元20的是高动态范围计算器80。由图像输入单元10提供的图像由图像处理单元20处理。图2到图4中示出关于图像处理单元20的细节。所得参考图像和至少一个所得误差校正图像被传递到高动态范围计算器80，所述高动态范围计算器基于这些图像计算高动态范围图像。
[0055]在图2中，描绘图1中所示的创造性图像处理系统的实施例的第一细节。尤其在图2中，详细示出图1的图像处理单元20的内部工作。图像处理单元20任选地包括曝光补偿单元21，所述曝光补偿单元用于通过改变第一图像的和/或第二图像的亮度和/或饱和度来补偿由图像输入单元10提供的第一图像和第二图像的不同曝光时间从而得到参考图像和待扭曲图像。
[0056]此外，图像处理单元20包括位移估计器22，所述位移估计器连接到图像输入单元1和曝光补偿21。图像处理单元20还包括扭曲单元23，所述扭曲单元连接到位移估计器22、曝光补偿单元21和图1的图像输入单元10。此外，图像处理单元20包括误差检测器24，所述误差检测器连接到扭曲单元23和曝光补偿单元21。图像处理单元20还包括误差补偿器25，所述误差补偿器还连接到误差检测器24、扭曲单元23和曝光补偿单元21。在图像处理单元20不包括曝光补偿单元21的情况下，位移估计器22、误差检测器24和误差补偿器25直接连接到图像输入单元10而不是曝光补偿单元21。
[0057]通过图像输入单元10将第一图像和第二图像提供到图像处理单元20。任选地，曝光补偿单元21通过修正第一图像的强度和/或饱和度和/或亮度以更接近地匹配第二图像的强度、饱和度和亮度来对第一图像进行曝光补偿。将所得参考图像和第二图像提供到位移估计器22，所述位移估计器估计从第一图像来自的参考图像与从第二图像来自的待扭曲图像之间的图像内容的位移。在执行曝光补偿的情况下，参考图像是经曝光补偿的第一图像。在未执行曝光补偿的情况下，参考图像是第一图像。在此实例中，待扭曲图像是第二图像。替代地，第二图像也可经曝光补偿以获得待扭曲图像。
[0058]第一位移估计器22有利地用于通过估计光流和/或通过执行基于块的搜索和/或通过执行块匹配来估计图像内容的位移。
[0059]将图像内容的估计位移传递到扭曲单元23。此外，将待扭曲图像提供到扭曲单元23。所述扭曲单元用于通过扭曲待扭曲图像来补偿估计位移从而得到第一扭曲图像。将此第一扭曲图像传递到误差检测器24。而且对误差检测器24提供参考图像。误差检测器检测第一扭曲图像内的几何扭曲误差。关于误差检测器的功能，参考关于图3的稍后详细阐述。
[0060]将第一扭曲图像内的所得的检测到的几何扭曲误差传递到误差补偿器25。而且通过扭曲单元23为误差补偿器提供第一扭曲图像。误差补偿器25用于补偿第一扭曲图像中的检测到的几何扭曲误差，从而得到第一误差校正图像。关于误差补偿器25的功能，参考关于图4的稍后详细阐述。将所得第一误差校正图像和参考图像传递到图1的高动态范围计算器80，所述高动态范围计算器基于第一误差校正图像和参考图像来计算高动态范围图像。
[0061]在图3中，示出创造性图像处理系统的实施例的另一细节。在图3中，示出图2的误差检测器24的内部工作。误差检测器24包括差单元30，所述差单元连接到图2的曝光补偿单元21和图2的扭曲单元23。在无图2中的曝光补偿单元21的情况下，误差检测器直接连接到图1的图像输入单元10。此外，误差检测器24包括连接到差单元30的直方图单元31。其还包括连接到直方图单元31的阈值确定单元32。此外，其包括连接到阈值确定单元32的误差决定单元33。
[0062]为差单元30提供参考图像和第一扭曲图像。差单元30用于计算第一扭曲图像的每个像素与参考图像的对应像素的强度差。将所得强度差传递到直方图单元31，所述直方图单元用于计算所确定的强度差的直方图。将所述直方图传递到阈值确定单元32，所述阈值确定单元用于根据直方图确定误差阈值。选择此误差阈值以使得低于阈值的强度差被视为光度误差且高于阈值的强度差被视为几何误差。将所确定的误差阈值传递到误差决定单元33，所述误差决定单元针对每个计算得出的强度差决定光度误差或几何误差是否存在。误差决定单元33随后允许识别几何扭曲误差像素，例如创建二进制映射图，其中将不同值分配给几何扭曲误差像素或光度误差。为了限制存储器消耗，可创建索引表或查找表，指示已检测到几何扭曲误差的像素位置的索引。
[0063]可以不同方式确定误差阈值，例如计算直方图的不同值之间的梯度且将阈值置于梯度最大的点中。然而，可应用用于计算此阈值的任何其它方法。
[0064]有利地，如果第一图像和第二图像以及因此还有参考图像和待扭曲图像是彩色图像，那么差单元30用于针对每个颜色通道独立地计算强度差。直方图单元31随后也用于针对每个不同颜色通道计算独立强度差直方图。阈值确定单元33用于基于全部不同强度差直方图计算单个误差阈值，或基于不同颜色通道强度差直方图计算不同颜色通道的不同误差阈值。误差决定单元33接着用于通过将个别颜色通道的强度差与相应误差阈值进行比较而在光度误差与几何误差之间做出决定。如果强度差中的至少一个强度差大于相应阈值，那么决定几何误差。替代地，为了防止意外的几何扭曲误差检测，误差决定单元33还可用于仅在不同颜色通道的全部强度差均高于相应阈值的情况下才决定几何扭曲误差。
[0065]在图4中，示出创造性图像处理系统的实施例的第三细节。在图4中，以框图示出图2的误差补偿器25的内部工作。误差补偿器25任选地包括加权单元40，所述加权单元连接到搜索窗设定单元41，所述搜索窗设定单元又连接到有效像素检测单元42。有效像素检测单元42还连接到校正值确定单元43，所述校正值确定单元又连接到校正值替换单元44。加权单元40此外还连接到校正值确定单元43。此外，为加权单元30、搜索窗设定单元41、校正值确定单元43和校正单元替换单元44提供第一扭曲图像。
[0066]通过图2的误差检测器24为加权单元40提供几何扭曲误差像素的二进制映射图。加权单元40随后任选地基于几何扭曲误差的二进制映射图和第一扭曲图像的强度梯度来执行由搜索窗设定单元41选择的像素的加权。将较低权重分配给边缘和边界等高梯度值的像素。将较高权重分配给低梯度值的像素，从而得到加权映射图。因此，与例如位于平坦区中的像素相比，沿着边界和边缘的像素在重要性上降低。
[0067]搜索窗设定单元41用于围绕检测到几何扭曲误差的第一扭曲图像的每个像素设定预定的或用户定义的大小的搜索窗。将关于这些搜索窗的信息传递到有效像素检测单元42，所述有效像素检测单元使用二进制映射图的信息确定在每个搜索窗内的哪些像素处未检测到几何扭曲误差，从而得到每个搜索窗的有效像素。将关于有效像素的信息传递到校正值确定单元43，所述校正值确定单元通过计算搜索窗的有效像素中的至少一些的强度的平均值来计算检测到几何扭曲误差的第一扭曲图像的像素的校正值。由加权单元40提供的加权映射图用于在计算校正值之前对搜索窗的有效像素进行加权。
[0068]将所得校正值传递到校正值替换单元44，所述校正值替换单元通过相应计算得出的校正值替换检测到几何扭曲误差的第一扭曲图像的像素，从而得到第一误差校正图像。
[0069]还相应地更新二进制映射图，从而将检测到几何扭曲误差的像素的值设定为有效像素。
[0070]将此误差校正图像传递到图1的高动态范围计算器80以用于计算高动态范围图像。
[0071]替代地，不仅两个图像，而且可使用三个或三个以上图像以用于计算高动态范围图像。在此情况下，图像之一如上文所描述用作参考图像。恰如上文所示描述中处理第二图像那样处理其它两个图像。因此，第二图像和第三图像用作待扭曲图像和又一待扭曲图像。为了处理所述又一待扭曲图像，使用第二位移估计器、第二扭曲单元、第二误差检测器和第二误差补偿器。随后将所得第二误差校正图像传递到图1的高动态范围计算器80。图1的高动态范围计算器80根据参考图像、第一误差校正图像和第二校正图像计算高动态范围图像。
[0072]在图5中，示出创造性方法的实施例。在第一步骤100中，例如通过以相机记录第一图像和第二图像或仅输入第一图像和第二图像来生成第一图像和第二图像。在第二步骤101中，通过修正所述图像中的至少一个图像的强度、饱和度或亮度来执行曝光补偿。步骤101的曝光补偿是任选的步骤。在第三步骤102中，计算从第一图像来自的参考图像与从第二图像来自的待扭曲图像的图像内容的位移。
[0073]在第四步骤103中，基于步骤102的计算得出的位移来扭曲从第二图像来自的待扭曲图像。执行所述扭曲以使得所述位移得到补偿。在第五步骤104中，计算扭曲图像与参考图像之间的强度差。基于像素来计算所述差。仅基于个别像素的强度来计算这些差，但替代地也可针对不同颜色通道独立地计算这些差。
[0074]在第六步骤105中，基于步骤104的所确定的强度差计算差直方图。计算仅一个差直方图，或针对不同颜色通道计算若干差直方图。在第七步骤106中，基于差直方图计算至少一个误差阈值。计算一个误差阈值或针对每个颜色通道的一个误差阈值。选择误差阈值以使得低于阈值的强度差值指示光度误差，而高于阈值的强度差值指示几何扭曲误差。
[0075]在第八步骤107中，基于阈值决定几何扭曲误差。第八步骤107得到几何扭曲误差的二进制映射图。在第九步骤108中，计算基于几何扭曲误差的二进制映射图和第一扭曲图像的强度的梯度的加权映射图。将较低权重分配给边缘和边界等高梯度值的像素，且将较高权重分配给低梯度值的像素，从而得到加权映射图。第九步骤108也是任选的步骤。
[0076]在第十步骤109中，围绕检测到几何扭曲误差的第一扭曲图像的每个像素设定搜索窗。所述搜索窗具有预定义或用户定义的大小。在第十一步骤110中，通过确定搜索窗内哪些像素未检测到几何扭曲误差来检测搜索窗内的有效像素。在第十二步骤111中，针对检测到几何扭曲误差的第一扭曲图像的全部像素确定校正值。通过计算搜索窗的有效像素中的至少一些的强度的平均值来确定所述校正值。在计算此平均值时，在步骤108中创建的加权映射图用于相应地对搜索窗内的个别像素进行加权。
[0077]在第十三步骤112中，通过相应计算得出的校正值替换检测到几何扭曲误差的第一扭曲图像的值，从而得到第一误差校正图像，且相应地更新二进制映射图。在第十四步骤113中，根据参考图像和第一误差校正图像计算高动态范围图像。
[0078]任选地，此外还对第三图像执行上述步骤从而得到又一待扭曲图像。第二误差校正图像是此处理的结果。随后在步骤113中基于参考图像、第一误差校正图像和第二误差校正图像计算高动态范围图像。
[0079]本发明不限于所示的实例。可以任何有利的组合使用示范性实施例的特性。
【主权项】
1.一种用于从第一图像和第二图像生成高动态范围图像的图像处理系统，其特征在于，所述图像处理系统包括: 第一位移估计器(22)，用于估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移， 第一扭曲单元(23)，用于通过扭曲所述待扭曲图像来补偿所述估计位移，从而得到第一扭曲图像， 第一误差检测器(24)，用于检测所述第一扭曲图像中的几何扭曲误差， 第一误差补偿器(25)，用于补偿所述第一扭曲图像中的检测到的所述几何扭曲误差从而得到第一误差校正图像；以及 高动态范围计算器(80)，用于基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像。2.根据权利要求1所述的图像处理系统，其特征在于， 所述第一位移估计器(22)用于通过估计光流，和/或通过执行基于块的搜索和/或通过执行块匹配来估计所述图像内容的所述位移。3.根据权利要求1或2所述的图像处理系统，其特征在于， 所述第一误差检测器(24)包括 差单元(30)，用于计算所述第一扭曲图像的每个像素与所述参考图像的对应像素的强度差， 直方图单元(31)，用于计算确定的所述强度差的直方图， 阈值确定单元(32)，用于根据所述直方图确定误差阈值，以及 误差决定单元(33)，用于通过比较所述强度差与所述阈值从而得到几何扭曲误差像素的二进制映射图，来确定几何扭曲误差。4.根据权利要求3所述的图像处理系统，其特征在于， 所述阈值确定单元(32)用于确定所述误差阈值以使得低于所述误差阈值的差值指示光度扭曲误差且高于所述误差阈值的值指示几何扭曲误差。5.根据权利要求3或4所述的图像处理系统，其特征在于， 所述阈值确定单元用于通过分析所述直方图的连续值的梯度且将梯度最大处的值选择为所述阈值，来自适应地确定所述误差阈值。6.根据权利要求3到5中任一权利要求所述的图像处理系统，其特征在于， 所述差单元(30)用于针对不同颜色通道独立地计算所述强度差， 其中所述误差决定单元(33)用于 比较所述颜色通道的所述强度差与所述误差阈值，且 在所述颜色通道的所述强度差中的至少一个强度差高于所述误差阈值的情况下或在全部颜色通道的所述强度差高于所述误差阈值的情况下，确定像素的几何扭曲误差。7.根据权利要求3到5中任一权利要求所述的图像处理系统，其特征在于， 所述差单元(30)用于针对不同颜色通道独立地计算所述强度差， 其中，所述直方图单元(31)用于针对所述不同颜色通道计算独立的直方图， 且所述阈值确定单元(32)用于针对每个颜色通道确定独立的误差阈值， 其中，所述误差决定单元(33)用于 比较所述颜色通道的所述强度差与相应的误差阈值，且 在所述颜色通道的所述强度差中的至少一个强度差高于相应的误差阈值的情况下或在全部颜色通道的所述强度差高于相应的误差阈值的情况下，确定像素的扭曲误差。8.根据权利要求1到7中任一权利要求所述的图像处理系统，其特征在于， 所述第一误差补偿器(25)包括: 搜索窗设定单元(41)，用于在检测到几何扭曲误差的所述第一扭曲图像的每个像素周围设定预定的或用户定义的大小的搜索窗， 有效像素检测单元(42)，用于确定在每个搜索窗内的所在位置未检测到几何扭曲误差的像素，从而得到每个搜索窗的有效像素， 校正值确定单元(43)，用于计算检测到几何扭曲误差的所述第一扭曲图像的所述像素的校正值，所述校正值各自计算为所述搜索窗的所述有效像素中的至少一些的强度的平均值， 校正值替换单元(44)，其用于通过所述相应计算得出的校正值替换检测到几何扭曲误差的所述第一扭曲图像的所述像素从而得到所述第一误差校正图像。9.根据权利要求8所述的图像处理系统，其特征在于， 所述校正值确定单元(43)用于将所述校正值各自计算为仅包括有效像素的像素所述强度的平均值，所述有效像素与当前校正的像素的所述强度值的强度值差低于预定的或用户可选的校正阈值。10.根据权利要求8或9所述的图像处理系统，其特征在于， 所述第一误差补偿器(25)包括加权单元(40)，所述加权单元用于基于几何扭曲误差的所述二进制映射图和所述第一扭曲图像的所述强度的梯度计算加权映射图，其中将较低权重分配给边缘和边界等高梯度值的像素，其中将较高权重分配给低梯度值的像素，从而得到加权映射图，且 其中所述校正值确定单元(25)用于在计算所述校正值之前使用所述加权映射图对所述搜索窗的所述有效像素进行加权。11.根据权利要求1到10中任一权利要求所述的图像处理系统，其特征在于， 所述图像处理系统(I)进一步包括第一曝光补偿单元(21)，所述第一曝光补偿单元用于通过改变所述第一图像的或所述第二图像的亮度和/或饱和度来补偿所述第一图像和所述第二图像的不同曝光时间从而得到所述参考图像和所述待扭曲图像。12.根据权利要求1或11中任一权利要求所述的图像处理系统，其特征在于， 所述图像处理系统进一步包括 第二位移估计器，用于估计所述参考图像与来源于第三图像的又一待扭曲图像之间的图像内容的位移， 第二扭曲单元，用于通过扭曲所述又一待扭曲图像来补偿所述检测到的位移，从而得到第二扭曲图像， 第二误差检测器，用于检测所述第二扭曲图像中的几何扭曲误差， 第二误差补偿器，用于补偿所述第二扭曲图像中的检测到的所述几何扭曲误差从而得到第二误差校正图像， 且所述高动态范围计算器用于基于所述第一误差校正图像、所述第二误差校正图像和所述参考图像计算所述高动态范围图像。13.—种用于从第一图像和第二图像生成高动态范围图像的方法，其特征在于， 估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移(102)， 其中通过扭曲所述待扭曲图像来补偿所述估计位移从而得到第一扭曲图像(103)， 其中检测所述第一扭曲图像中的几何扭曲误差(104，105，106，107)， 其中补偿所述第一扭曲图像中的检测到的所述几何扭曲误差从而得到第一误差校正图像(108，109，110，111，112)，且 其中基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像(113)。14.一种计算机程序，其特征在于，所述计算机程序具有程序代码，所述程序代码用于在所述程序在计算机或数字信号处理器上执行的情况下执行根据权利要求13所述的全部步骤。15.—种计算机程序产品，其特征在于，所述计算机程序产品具有存储有程序代码的计算机可读媒体，所述程序代码用于在所述程序在计算机或数字信号处理器上执行的情况下执行根据权利要求13所述的全部步骤。
【文档编号】G06T5/50GK106030653SQ201480076068
【公开日】2016年10月12日
【申请日】2014年2月24日
【发明人】法赫德·博萨拉, 基奥万尼·科达拉, 奥纳伊·优厄法利欧格路
【申请人】华为技术有限公司