用于动态后视镜的图像超分辨率的制作方法
【专利摘要】本发明公开了用于动态后视镜的图像超分辨率。用于将超分辨率应用到由车辆的相机设备捕获到的图像的方法包括接收由相机设备捕获到的多个图像帧。对于每个图像帧，在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域。将空间上实施的超分辨率应用到每个图像帧内的关注区域以提高关注区域内的图像清晰度。
【专利说明】用于动态后视镜的图像超分辨率
[0001]相关申请的交叉引用
此申请要求2013年I月7日提交的序号为61/749，778的美国临时申请的权益，该申请以引用的方式并入本文。
【技术领域】
[0002]此披露涉及改进与图像的像素细节有关的分辨率。
【背景技术】
[0003]这个部分中的陈述仅提供与本披露有关的背景信息。因此，这些陈述并不意欲构成对现有技术的承认。
[0004]车辆系统可以使用车载视觉系统用于后视场景观看或检测、侧视场景观看或检测以及前视场景观看或检测。在一个示例中，从主车辆的后视摄像设备获得的原始图像可能要求放大该原始图像的中心区域以供显示在车辆内的后视镜设备(例如，动态后视镜)上。在此示例中，放大的中心区域通过伸展原始图像来产生，由此导致中心区域中基于每个像素的分辨率降低。
[0005]超分辨率(SR)是一种用于提高与由包括摄像设备的成像系统获得的图像的每像素细节有关分辨率的技术。多帧SR方法是在时间上实施的并且可以使用同一个场景的多个低分辨率图像之间的子像素平移，从而通过合并来自所有这些低分辨率图像的信息来产生与图像的每像素细节有关的改进的分辨率。单帧SR方法是在空间上实施的，并且试图在不弓I入模糊的情况下放大原始图像。
[0006]已知的是，当噪音使得原始图像降级时应用多次曝光图像降噪。噪音可以通过平均多次曝光以获得最适合的组合从而减少噪音来降低。另外已知的是，在某些情形下，诸如当存在光学离焦和光学像差时，在图像中应用单帧去模糊以减轻模糊。单帧去模糊在衍射强制的通带中应用空间频率过滤。
【发明内容】
[0007]用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法包括接收由摄像设备捕获到的多个图像帧。对于每个图像帧，在该图像帧内识别要求增加与每像素细节有关的分辨率的关注区域。将空间上实施的超分辨率应用到每个图像内的关注区域，以提高关注区域内的图像清晰度。
[0008]方案1.用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法，包括: 获得由摄像设备捕获的多个图像帧；
对于每个图像帧:
在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域；以及
将空间上实施的超分辨率应用到图像帧内的关注区域以提高关注区域内的图像清晰度。[0009]方案2.如方案I所述的方法，其中识别的关注区域对应于在伸展由摄像设备捕获的具有光学像差的原始图像之后的显示图像帧的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。
[0010]方案3.如方案I所述的方法，其中识别的关注区域包括整个图像帧。
[0011]方案4.如方案I所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括:
应用去噪滤波器以通过平滑化关注区域内的一个或多个识别的平面同时保持识别的关注区域内的一个或多个识别的边缘来降低噪音。
[0012]方案5.如方案4所述的方法，其中应用去噪滤波器包括:
监测识别的关注区域内的图像梯度；
在监测的图像梯度是至少梯度边缘阈值处识别一个或多个边缘；
在监测的图像梯度小于梯度边缘阈值处识别一个或多个平面；以及用来自一个或多个识别的平面内的邻近像素的像素值的加权平均值来替换识别的一个或多个平面内的每个像素的像素值。
[0013]方案6.如方案I所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括:
应用取决于位置的锐化滤波器以实现关注区域内的希望的锐化增加，所述希望的锐化增加是基于调整与关注区域相关的锐化滤波器的滤波器设置来实现。
[0014]方案7.如方案6所述的方法，其中应用取决于位置的锐化滤波器进一步在关注区域外部的区域中实现希望的锐化减少，所述希望的锐化减少是基于调整与关注区域外部的相应区域相关的锐化滤波器的滤波器设置来实现。
[0015]方案8.如方案6所述的方法，其中调整锐化滤波器的滤波器设置包括:
关注区域内的识别的边缘的调整的半径，调整的半径与调整的过冲量成反比；以及 用于控制与将被锐化的识别的边缘相关的像素的最小强度改变的调整的强度阈值。
[0016]方案9.如方案I所述的方法，其进一步包括:
对于已经对其应用空间上实施的超分辨率的多个图像帧:
根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域；以及
基于应用到图像帧的时间上实施的超分辨率来产生所得图像。
[0017]方案10.如方案9所述的方法，其进一步包括:
在已经对其应用空间上实施的超分辨率的多个图像帧中检测物体运动的程度；以及如果物体运动程度包括颠簸、不运动和小于运动阈值的运动量中的一个则仅将时间上实施的超分辨率应用到图像帧。
[0018]方案11.如方案9所述的方法，其中将时间上实施的超分辨率应用到图像帧包括:
对于图像帧中的每一个:
识别静止区域和移动区域；
应用图像配准以辨别静止区域和移动区域的每一个内的特征和物体中的至少一个；
基于应用的图像配准来识别图像帧的每一个之间的差异； 从图像帧中的相应帧去除识别的差异；以及
在去除识别的差异之后，在输入图像帧中应用时间上实施的超分辨率以产生具有提高的分辨率的所得图像帧。
[0019]方案12.用于将超分辨率应用到由主车辆的摄像设备捕获到的一个或多个图像的方法，包括:
对于表不主车辆后方视场的场景的一个时间段期间的多个图像巾贞:
识别多个图像帧内的关注区域；
在多个图像帧中检测物体运动的程度；
如果物体运动程度包括颠簸、不运动和小于运动阈值的小量运动中的一个，则应用图像配准以辨别输入图像帧内的物体和特征中的至少一个；
应用时间上实施的超分辨率以提高多个图像帧的关注区域内的分辨率；以及 基于已经对其应用时间上实施的超分辨率的多个图像帧产生所得图像。
[0020]方案13.如方案12所述的方法，其进一步包括:
对于表示主车辆后方视场的场景的单个图像帧:
识别单个图像帧内的关注区域；
应用取决于位置的空间上实施的超分辨率以提高识别的关注区域内的分辨率，所述空间上实施的超分辨率包括各自取决于对应于关注区域的位置的去噪滤波器和锐化滤波器中的至少一个。
[0021]方案14.如方案12所述的方法，其中多个图像帧中的每一个对应于以下各项之
在检测物体运动程度之前已经对其应用取决于位置的空间上实施的超分辨率的单个图像帧中的相应图像帧；以及
由摄像设备捕获到的原始图像帧中的相应图像帧。
[0022]方案15.如方案13所述的方法，其中已经对识别的关注区域应用取决于位置的空间上实施的超分辨率的单个图像对应于以下各项之一:
基于多个图像帧产生的所得图像；以及 由摄像设备捕获到的原始图像帧。
[0023]方案16.如方案12所述的方法，其中识别的关注区域对应于通过伸展由摄像设备捕获到的原始图像产生的显示图像的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。
[0024]方案17.如方案13所述的方法，其中锐化滤波器包括非锐化屏蔽滤波器并且去噪滤波器包括双边滤波器。
[0025]方案18.如方案12所述的方法，其进一步包括:
如果物体运动程度检测到颠簸，则在应用图像配准之前应用图像稳定。
[0026]方案19.用于将超分辨率应用到由主车辆的基于视觉的成像系统捕获到的一个或多个图像的装置，包括:
配置成捕获表示主车辆后方视场的场景的多个图像帧的后视摄像设备；以及 处理设备，所述处理设备配置成:
接收由后视摄像设备捕获到的多个图像帧， 在每个图像帧内识别具有与每像素细节有关的减少的分辨率的放大中心区域，
将去噪滤波器和锐化滤波器中的至少一个应用到每个图像帧内的放大中心区域以提高放大中心区域内的分辨率，
对于已经对其应用去噪滤波器和锐化滤波器中的至少一个的多个图像帧:
根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域，
基于应用到图像帧的时间上实施的超分辨率产生所得图像，以及 配置成显示由后视摄像设备捕获到的图像的后视镜显示设备。
【专利附图】
【附图说明】
[0027]现在将参照附图通过示例来描述一个或多个实施例，附图中:
图1示出根据本披露的包括基于视觉的周围视野的成像系统的主车辆；
图2-1和2-2示出根据本披露的由图1的后视摄像设备捕获到的表示车辆后方视场的图像；
图3示出根据本披露的用于图像的清晰度提高的示例性非锐化屏蔽滤波器；
图4示出根据本披露的用以提高图像帧内识别的关注区域的清晰度的示例性锐化滤波器；
图5示出根据本披露的成像芯片的示例性实施例；
图6示出根据本披露的由图1的后视设备捕获到的表示车辆后方视场的多个图像帧；图7示出根据本披露的由图1的处理器执行以将时间上实施的超分辨率应用于多个图像帧的示例性控制器；以及
图8示出根据本披露的空间上实施的超分辨率和时间上实施的超分辨率组合应用于由摄像设备捕获到的多个图像帧的非限制性实施例的示例性流程图。
【具体实施方式】
[0028]现在参照图式，其中展示仅用于示出某些示例性实施例的目的而并不用于对其限制，图1示出根据本披露的包括基于视觉的周围视野的成像系统12的主车辆(车辆)10。该车辆沿道路行驶并且基于视觉的成像系统12捕获道路图像。基于视觉的成像系统12基于一个或多个基于视觉的摄像设备的位置来捕获车辆周围的图像。在本文描述的实施例中，基于视觉的成像系统将被描述为捕获车辆后方的图像；然而，还应理解，基于视觉的成像系统12可以延伸为捕获车辆前方和车辆侧方的图像。
[0029]基于视觉的成像系统12可以包括用于捕获车辆10的前方视场(FOV)的前视摄像设备14、用于捕获车辆10的后方FOV的后视摄像设备16、用于捕获车辆10的左侧FOV的左侧视摄像设备18以及用于捕获车辆10的右侧FOV的右侧视摄像机的任何组合。摄像机14-18可以是适用于本文描述的实施例的任何摄像机，其中一些是汽车技术中已知的，它们能够接收光或其他辐射并且使用例如电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器中的一个将光能转换成像素格式的电信号。摄像机14-18以一定数据帧速率产生图像数据帧，这些图像数据帧可以被存储以用于随后处理。摄像机14-18可以安装在是车辆零件的任何适合结构内或其上，诸如保险杠、扰流板、车尾行李箱盖、仪表板、格栅、侧视镜、门板等，如本领域技术人员将很好理解和了解的。来自摄像机14-18的图像数据被发送到永久性处理设备22 (例如，处理器)，该处理设备处理图像数据以产生可以显示在后视镜显示设备24上的图像。
[0030]控制模块、模块、控制、控制器、控制单元、处理器以及类似术语意味着以下各项中的一个或多个的任一个或各种组合:(多个)特定用途集成电路(ASIC)、(多个)电子电路、执行一个或多个软件或固件程序或例行程序的(多个)中央处理单元(优选地是微处理器)和相关的内存和存储器(只读、可编程只读、随机存取、硬盘驱动器等)、(多个)组合逻辑电路、(多个)输入/输出电路和设备、适当的信号调节和缓冲器电路以及用以提供所述功能性的其他部件。软件、固件、程序、指令、例行程序、代码、算法和类似术语意味着包括校准和查找表的任何指令集。控制模块具有执行以提供所需功能的一组控制例行程序。例行程序通过诸如中央处理单元来执行，并且可操作以监测来自感测设备和其他联网控制模块的输入，并且执行控制和诊断例行程序以控制致动器的操作。例行程序可以以规则的时间间隔(例如在前进的发动机和车辆操作过程中每3.125,6.25、12.5、25以及100微秒)执行。或者，可以响应于事件的发生来执行例行程序。
[0031]图2-1和2-2示出根据本披露的由图1的后视摄像设备16捕获到的表示车辆10后方视场(FOV)的图像。后视摄像设备16可以是本领域中已知的鱼眼摄像设备。在非限制的示例性实施例中，后视摄像设备16被配置成以向下纵倾捕获车辆后方180° F0V。来自摄像设备16的图像数据可以由图1的处理器22处理以产生可以显示在包括图1的后视镜显示设备24的任何适合的车辆显示单元上。在一个实施例中，后视镜显示设备集成在车辆的人机界面(HMI)内。在另一个实施例中，后视显示设备与安装在车辆内部内的后视镜集成。虽然本文描述的实施例涉及配置成捕获车辆后方FOV的后视摄像设备16，但是将理解，本文实施例可以类似地应用于捕获表示车辆前方或车辆侧方FOV的图像的摄像设备。
[0032]参照图2-1，原始图像100由摄像设备捕获，其示出车辆后方F0V。原始图像包括光学像差(诸如球面像差)，从而导致关注区域105所环绕的变形的中心区域。在一个实施例中，当原始图像由鱼眼摄像设备捕获到时，出现导致变形的中心区域的球面像差。将了解，变形的中心区域是不希望的，因为主车辆后方的物体(诸如跟随车辆)被感觉成小于并且更加远离它们实际的情况。
[0033]参照图2-2，处理器22对图2_1的原始图像100应用数字或图像处理，以产生包括由关注区域107环绕的放大的中心区域的显示图像102。关注区域107环绕的放大的中心区域对应于图2-1的关注区域105环绕的变形的中心区域。具体来说，处理器22所应用的数字或图像处理伸展原始图像从而放大由关注区域107环绕的中心区域。因此，关注区域107内的区域具有降低的图像分辨率。如本文所使用的，术语“图像分辨率”是指每像素细节。关注区域107内该降低的图像分辨率由在关注区域105环绕的变形的中心区域通过原始图像100的伸展而放大时关注区域107内的像素密度导致。简单来说，图2-1的关注区域105内的每像素细节均等地分布，而图2-2的关注区域107内的每像素细节被减少，因为在原始图像100被伸展之后更多数量的像素用来描述相同细节。
[0034]本文示例性实施例是针对将超分辨率应用于一个或多个图像帧内识别的关注区域以提高中心区域中的分辨率。虽然此披露涉及图像帧内的关注区域是“中心区域”，但是应了解此披露的实施例可以包括含有整个图像帧的关注区域。如本文所使用的，术语“超分辨率”是指由图1的基于位置的永久性处理设备22 (例如，处理器)执行以提高指示具有与每像素细节有关的减少的分辨率的识别的关注区域的分辨率的信号处理方法。如本文所使用的，术语“提高分辨率”可以指在识别的关注区域内降低噪音、提高图像清晰度或减少模糊。在示例性实施例中，识别的关注区域对应于图2-2的显示图像102的关注区域107所环绕的放大的中心区域。因此，在伸展了原始图像来放大中心区域之后应用超分辨率。在替代实施例中，识别的关注区域也可以对应于图2-1的原始图像100的关注区域105所环绕的变形的中心区域，因为关注区域105将通过原始图像100的上述伸展而变大并且因此要求增加与每像素细节有关的分辨率。将了解，当摄像设备(例如，后视摄像设备16)的参数已知时，可以提前预先确定关注区域105和107以减少处理功率。应用到识别的关注区域的基于位置的超分辨率可以包括用于单个图像帧的空间上实施的超分辨率或者用于多个图像帧的时间上实施的超分辨率。此外，当获得多个图像帧时，空间上实施的超分辨率被单独地应用于每个图像帧上识别的关注区域。
[0035]空间上实施的超分辨率的一个示例包括应用去噪滤波器。如本文所使用的，术语“去噪滤波器”是指用以降低识别的关注区域内的噪音的滤波器。非限制的示例性去噪滤波器包括双边滤波器，该双边滤波器通过平滑化识别的图像平面同时保持识别的关注区域内的识别的边缘来降低识别的关注区域内的噪音。识别的关注区域内的边缘和平面可以基于监测图像帧的图像梯度来识别。在监测的图像梯度是至少梯度边缘阈值处可以识别出一个或多个边缘。类似地，在监测的图像梯度小于梯度边缘阈值处可以在识别的关注区域内识别出一个或多个平面。以下更加详细描述去噪滤波器应用通过用来自一个或多个识别的平面内的邻近像素的像素值的加权平均值来替换识别的一个或多个平面内的每个像素的像素值。
[0036]去噪滤波器是在假定邻近像素通常可能具有类似像素值的情况下起作用。如本文所使用的，术语“像素值”是指强度或颜色信息。如本文所使用的，术语“邻近像素”是指占据空间位置的多于一个像素。因此，两个像素可以彼此“靠近”，即，占据邻近的空间位置，或者它们可以可能以有感知意义的方式彼此“类似”，即，具有邻近像素值。术语“靠近”是指在图像帧的领域中附近并且术语“类似”是指在图像帧的范围内附近。因此，去噪滤波器可以组合范围和领域滤波以计算用于邻近像素的像素值的加权平均值，其中识别的关注区域内的识别的平面被平滑化并且识别的边缘得以保存。简单来说，去噪滤波器平均掉噪音引起的邻近像素值的像素值之间的小的、弱相关的差异。去噪滤波器可适用于应用到灰阶图像帧和彩色图像帧。在非限制性实施例中，当图像帧包括彩色图像帧时，去噪滤波器的应用仅将感知上类似的色彩一起平均从而导致保持仅感知上重要的边缘。
[0037]空间上实施的超分辨率的另一个示例包括由图1的处理器22执行的锐化滤波器的应用。如本文所使用的，术语“锐化滤波器”是指用来提高图像帧的识别的关注区域中的清晰度并且因此减少图像模糊的滤波器。在一个实施例中，在应用去噪滤波器之后将锐化滤波器应用于识别的关注区域。在非限制的示例性实施例中，锐化滤波器包括非锐化屏蔽(USM)滤波器。
[0038]图3示出根据本披露的用于捕获到的原始图像200的清晰度提高的示例性USM滤波器。USM滤波器的应用可以取决于位置，其中图像200的底部205包括应用到其的USM滤波器。[0039]示例性实施例是针对锐化滤波器(其是取决于位置的锐化滤波器)以实现识别的关注区域中的希望的锐化增加。诸如图3的USM滤波器的锐化滤波器使用多个滤波器设置来控制包括过冲量、半径和强度阈值的锐化。该多个滤波器设置可以被调整以实现希望的锐化增加。例如，可以调整关注区域内的每个识别的边缘的过冲量。过冲量可以指示图像对比度并且可以被表示为百分比。可以调整关注区域内的每个识别的边缘的半径。半径影响有待增强的识别的边缘的大小，其中较小半径增强较小范围的细节而较大半径可以导致边缘处的虚化，例如，可检测到的绕物体的模糊的边缘线。具体来说，调整半径允许人们设置识别的边缘的每侧上多少像素将受到锐化影响。将了解，过冲量与半径成反例。例如，减小过冲量和半径中的一个使得过冲量和半径中的另一个能够增加。强度阈值控制与将被锐化的识别的边缘相关的像素的最小强度改变，例如，亮度。像素的最小强度改变可以基于从图像帧减去图像帧的模糊副本来确定，如以下在图4的锐化滤波器的非限制性实施例中所描述。因此，对强度阈值的调整可以由处理器22来使用以防止平滑的区/区域变得有斑点同时更多的明显的边缘可以得到锐化。此外，增加强度阈值起作用以排除较低对比度的区/区域。在示例性实施例中，减小半径和减小强度阈值增加关注区域的锐化，其中半径和强度阈值中的每一个都包括调整的值以实现希望的锐化增加。此外，取决于位置的锐化滤波器可以操作以实现在关注区域外部的区域中的希望的锐化减小以用于增强边缘平滑化，其中希望的锐化减少可以使用处理滤波器设置的增加的半径和增加的强度阈值。
[0040]图4示出根据本披露的示例性锐化滤波器300以提高图像帧内识别的关注区域的锐度。锐化滤波器300可以包括由图1的处理器22执行的USM滤波器。锐化滤波器接收输入图像帧302。在所示实施例中，去噪滤波器已经应用到输入图像帧302以减少噪音，其中输入图像帧302表示主车辆(例如，图1的车辆10)后方的F0V。输入图像帧302可以被感知为清晰且平滑。输入图像帧302的副本通过高斯滤波来模糊从而获得模糊的图像304。模糊的图像304可以被感知为平滑。具体来说，多个滤波器设置中的上述半径被调整以获得模糊的图像304。虽然模糊的图像304是指整个图像帧，但是将了解，锐化滤波器可以是取决于位置的，其中可以调整半径来实现所识别出的关注区域(例如，增大的中心区域)内的希望的清晰或平滑。
[0041]仅为了说明目的，差异单元305将模糊的图像304与输入图像帧302进行比较以产生差异图像306。差异图像306可以包括输入图像帧302与模糊的图像304之间的与识别的边缘相关的强度改变或像素差异。可以调整上述强度阈值来控制与将被锐化的识别的边缘相关的最小强度改变或像素差异。因此，差异图像306中与具有超出强度阈值的强度改变的边缘相关的像素将得到保持，而具有小于强度阈值的强度改变的像素将被去除。包括超出强度阈值的像素的差异图像306由添加器307添加以产生所得图像309。所得图像309被感知为由锐化滤波器锐化。在一个实施例中，所得图像309可以显示在图1的后视镜显示设备24上。在另一个实施例中，与相同场景的一个或多个其他所得图像组合并且已经对其应用锐化滤波器的所得图像309可以取决于所得图像中每个内的位置使所得图像经受时间上实施的超分辨率。
[0042]将了解，参照图4所描述的示例性锐化滤波器仅用于说明目的。例如，差异单元305和添加单元307实际上不存在，而仅是展示来示出由锐化滤波器执行的区分和添加。此夕卜，示例性锐化滤波器并不如图4的说明性实施例中所描绘的在一系列顺序步骤或部分中执行，而是，说明性图像302、304和309的每个同时执行以通过示例性锐化滤波器300实现希望的锐化增加。
[0043]参照图5，示出根据本披露的包括像素阵列550的成像芯片500的示例性实施例。成像芯片500包括滤波器部分501和电路部分503。虽然并不单独区分，但是滤波器部分501和电路部分503仅为了说明目的而分离以描述本文描述的示例性实施例。在所示实施例中，像素550包括绿色(Gr和Gb)、蓝色(B)和红色(R)像素，这些像素由于不同的滤色器而各自具有对光的相应响应。虽然所示实施例中的滤波器部分501包括滤色器，但是将了解，本文的实施例并不限于包括单色滤波器部分的滤波器部分501。参照电路部分503，每个像素550能够每次在短曝光时间和长曝光时间中的一个之间进行调整。使用成像芯片500，处理器22可以在时间上获得用于给定时间周期的短曝光和长曝光。例如，每个像素550可以包括第一时间周期期间的短曝光时间以获得短曝光图像，并且随后每个像素550可以被调整以包括第二时间周期期间的长曝光时间以获得长曝光图像。
[0044]图6示出根据本披露的由图1的后视摄像设备16捕获到的表示车辆后方FOV的多个图像帧502、504和506。虽然描绘三个图像帧，但是可以选择任何数量的图像帧。图像帧502,504和506的每个包括环绕行驶在主车辆(例如，图1的车辆10)后方的目标车辆的关注区域505。在所示实施例中，第二图像帧504比第一图像帧502在时间上稍晚被捕获到，并且第三图像帧506比第二图像帧504在时间上稍晚被捕获到。分别参照第一图像帧502和第二图像帧504，关注区域505内的目标车辆在第二图像帧中比在第一图像帧中更加靠近。因此，目标车辆正在移动。分别参照第二图像帧504和第三图像帧506，关注区域505内的目标车辆在第三图像帧506中比在第二图像帧504中更加靠近。因此，由于在所示实施例中目标车辆比主车辆移动得快，所以关注区域505内的目标车辆的位置在第一、第二和第三图像帧502-506的每一个中已经移动。其他实施例可以包括目标车辆比主车辆移动得慢或者目标车辆横向移动到相对于主车辆的方向的左侧或右侧。
[0045]本披露的示例性实施例可以根据多个图像帧中的每一个内的位置将时间上实施的超分辨率应用到多个图像帧，并且随后基于对该多个图像帧的时间上实施的超分辨率来产生所得图像。在一个实施例中，每个图像帧对应于已经对其应用空间上实施的超分辨率(例如，去噪滤波器或锐化滤波器)的图像帧，如以上在图4的非限制的示例性实施例中所描述。在另一个实施例中，每个图像帧对应于在被伸展以放大每个图像帧内中心区域之后的图像帧。在又一个实施例中，每个输入图像帧对应于在应用数字或图像处理以通过伸展原始图像来放大每个图像帧内的中心区域之前由摄像设备捕获到的原始图像帧中的相应图像帧。因此,本文的实施例并不针对应用空间上实施的超分辨率和时间上实施的超分辨率的任何次序。例如，图4的锐化滤波器300中所示的输入图像帧302可以对应于基于应用到多个原始捕获到的图像帧的时间上实施的超分辨率所产生的所得图像。
[0046]通常，时间上实施的超分辨率从一组低分辨率图像重建高分辨率所得图像。诸如关于图6的图像502-506所示的动态场景通常因为场景与摄像设备(例如，图1的后视摄像设备16)之间的相对运动而导致显示的图像扭曲。例如，图像帧由于大气湍流和摄像设备而通过点分布函数来模糊。此外，图像帧可以在成像芯片处被离散从而产生数字化的噪音图像帧。在非限制性示例中，纯平移运动可以通过时间上实施的超分辨率来处理，其中与平移运动的更小偏离显著降级性能。然而，比纯平移运动复杂的运动可以使用不同的图像配准例行程序通过时间上实施的超分辨率来处理。虽然空间上实施的超分辨率单独地涉及每个图像帧中的边缘保持和锐化边缘，但是时间上实施的超分辨率需求与运动误差、模糊、离群值和在合并的图像中未明确模型化的其他种类误差相关的稳健性。时间上实施的超分辨率可以包括三个阶段:运动检测、插值和恢复。这些步骤可以分别或同时实施。
[0047]运动检测包括以分数像素精确度来估计与参考图像帧相比较的多个图像帧之间的运动信息。因此，必须在图像帧之间估计子像素运动。由于多个像素帧之间的移位不会始终与均匀间隔的格栅相匹配，所以不均匀的插值是从多个图像帧(例如，多个低分辨率图像帧)的不均匀间隔的组成物获得均匀间隔的所得图像(例如，高精度图像)所必要的。最后，图像恢复被应用到具有增强的分辨率的上采样的所得图像以去除模糊和噪音。图像恢复可以包括用于去噪、缩放和偏移的像素值的多帧平均值以消除在多个图像中的一个或多个中发现的差异。
[0048]时间上实施的超分辨率领域中已知的各种方法是预期的，其包括但不限于表达超分辨率图像重建的直观理解的非均匀插入方法和有助于看出如何开发多个低分辨率图像之间的混淆关系的频域方法。确定性和随机规则化方法也预期为时间上实施的超分辨率领域中已知的方法。
[0049]图7示出根据本披露的由图1的处理器22执行以用于将时间上实施的超分辨率应用于多个图像帧的示例性控制器700。控制器700包括输入图像模块602、运动检测模块604、运动决定模块606、超分辨率消除模块608、图像配准模块610、图像稳定模块612以及多帧超分辨率模块614。
[0050]输入图像模块602将多个图像帧输入到运动检测模块604。可以在一个时间周期内选择多个图像帧。在一个实施例中，来自输入图像模块602的多个图像帧各自已经应用了空间上实施的超分辨率。在另一个实施例中，多个图像帧对应于由摄像设备捕获到的原始图像，如以上在图2-1中所示的原始图像100的非限制性示例中所描述的。在又一个实施例中，多个图像帧对应于包括放大的中心区域的显示图像，如以上在图2-2中所示的显示图像102的非限制性示例中所描述的。
[0051]运动检测模块604检测多个输入图像帧中的物体运动程度。运动检测模块604可以首先识别静止区域和移动区域。如以上提及，时间上实施的超分辨率可以取决于位置并且应用到多个图像的识别的区域(例如，放大的中心区域)以增加处理器22的计算效率。检测物体运动的程度可以包括但不限于监测光流、追踪特征点和在多个输入图像帧中模板匹配。多个输入图像帧中的物体运动程度随后被输入到运动决定模块606。如果运动决定模块606确定由运动决定模块606检测到的物体运动程度包括大量运动，例如，物体运动程度是至少运动阈值，则控制器700取消在超分辨率消除模块608处的超分辨率的任何应用。如果运动决定模块606确定物体运动程度包括颠簸，则在图像稳定模块612执行图像稳定。如本文所使用的，“颠簸”是指场景与摄像设备(例如，图1的后视摄像设备16)之间的相对运动的不一致。例如，行驶在粗糙表面上的主车辆可能导致场景与捕获图像帧的主车辆的摄像设备之间的相对运动的不一致。因此，图像稳定模块612稳定多个输入图像帧中的每一个，例如，稳定由所识别出的关注区域环绕的区，以去除由检测到的颠簸导致的“跳动效果”。在一个实施例中，图像稳定可以包括应用尺度不变特征转换(SIFT)以检测和描述多个输入图像帧中的局部特征，例如，物体。例如，可以在子像素水平稳定和配准物体片段。在图像稳定模块612处执行图像稳定之后，在图像配准模块610处执行图像配准。如果运动决定模块606确定物体运动程度包括不运动或小量运动，例如，物体运动程度小于运动阈值，则在图像配准模块610对多个输入图像执行图像配准。在一个实施例中，图像配准包括模板匹配以识别输入图像帧内的物体和特征中的至少一个。物体的示例可以包括行驶在路面上的车辆、行人、野生动物和基础设施。基于模板匹配，可以在每个图像帧之间识别出差异。例如，在每个图像中一致的特征点可以被配准在子像素水平，而可以使用诸如缩放和偏移的方法来去除识别的差异。通过从多个输入图像帧去除差异并保持特征点，可以在多帧超分辨率模块614在多个输入图像中应用多帧超分辨率，从而产生具有提高的分辨率的所得图像帧。
[0052]在多个输入图像帧中应用超分辨率可以包括应用双边滤波器来降低噪音。例如，噪音降低可以通过用多个输入图像帧中的空间位置内的每个像素的像素值的加权平均值来替换每个图像帧中每个像素的像素值来实现。此外或者替代地，对多个输入图像帧中的每个输入图像进行超分辨率可以包括应用锐化滤波器来提高多个输入图像中的每一个内的清晰度并减少模糊。超分辨率可以进一步通过在多个输入图像中应用插值来执行，其中一个或多个输入图像可以用来将超分辨率应用推断到其他输入图像。
[0053]图8根示出据本披露的示例性流程图800，该流程图示出空间上实施的超分辨率和时间上实施的超分辨率组合应用于由摄像设备捕获到的多个图像帧的非限制性实施例。示例性流程图800可以由图1中所示的永久性处理设备22执行并且在其内实施。输入帧902、902’、902’’指示在一个时间周期内主车辆10后方的相同道路场景，并且可以包括具有缩小的中心区域的原始图像帧或在应用软件来伸展原始图像之后具有增大的中心区域的显示图像帧。在所示实施例中，示出三个输入图像帧902、902’、902然而，应了解，在所示实施例中可以包括任何多个输入图像帧。空间上实施的超分辨率被个别地应用到每个输入图像帧，如由虚线框910、910，、910’ ’所描绘的。对于每个输入图像帧902、902’、902’，，可以识别出要求增加每像素细节有关的分辨率的关注区域，并且空间上实施的超分辨率可以应用到每个输入图像帧902、902’、902’’中的关注区域以提高每个关注区域内的图像清晰度。在对每个输入图像帧902、902’、902’’应用空间上实施的超分辨率之后产生空间上增强的输入图像帧904、904’、904’ ’。
[0054]在空间上增强的输入图像帧904、904’、904’ ’中应用时间上实施的超分辨率，如由虚线框920所描绘的。时间上实施的超分辨率可以仅应用到空间上增强的输入图像帧904、904’、904’ ’中如利用诸如模板匹配的方法通过图像配准来识别特征或物体确定的特征点。因此，在空间上增强的输入图像帧904、904’、904’ ’中应用时间上实施的超分辨率产生具有提高的分辨率的所得图像906。将了解，仅在物体运动程度包括颠簸、不运动和小于运动阈值的小量运动中的一个的情况下应用时间上实施的超分辨率，如以上参照图7的示例性控制器700所描述的。
[0055]将了解，超分辨率的应用(无论是空间上实施的还是时间上实施的)可以与每个输入图像帧中的关注区域的位置相关。例如，使用成像或数字处理放大的原始捕获图像中的减小的中心区域通常包括现在放大的中心区域中减少或降低的分辨率。在应用锐化滤波器的实施例中，希望的锐化增加可以通过使用锐化滤波器的处理滤波器设置的减小的半径和减小的强度阈值而与每个输入图像的中心区域的位置相关。[0056]本披露已经描述了某些优选实施例和对其的修改。其他人可以在阅读和理解说明书之后产生其他修改和变更。因此，本披露并不意欲限于作为考虑用于执行本披露的最佳模式所披露的(多个)具体实施例，而是本披露将包括落入随附权利要求范围内的所有实施例。
【权利要求】
1.用于将超分辨率应用到由车辆的摄像设备捕获到的图像的方法，包括: 获得由摄像设备捕获的多个图像帧； 对于每个图像帧: 在图像帧内识别要求增加与每像素细节有关的分辨率的关注区域；以及 将空间上实施的超分辨率应用到图像帧内的关注区域以提高关注区域内的图像清晰度。
2.如权利要求1所述的方法，其中识别的关注区域对应于在伸展由摄像设备捕获的具有光学像差的原始图像之后的显示图像帧的放大中心区域，放大中心区域具有与每像素细节有关的减小的分辨率。
3.如权利要求1所述的方法，其中识别的关注区域包括整个图像帧。
4.如权利要求1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括: 应用去噪滤波器以通过平滑化关注区域内的一个或多个识别的平面同时保持识别的关注区域内的一个或多个识别的边缘来降低噪音。
5.如权利要求4所述的方法，其中应用去噪滤波器包括: 监测识别的关注区域内的图像梯度； 在监测的图像梯度是至少梯度边缘阈值处识别一个或多个边缘； 在监测的图像梯度小于梯度边缘阈值处识别一个或多个平面；以及用来自一个或多个识别的平面内的邻近像素的像素值的加权平均值来替换识别的一个或多个平面内的每个像素的像素值。
6.如权利要求1所述的方法，其中将空间上实施的超分辨率应用到图像帧内的关注区域包括: 应用取决于位置的锐化滤波器以实现关注区域内的希望的锐化增加，所述希望的锐化增加是基于调整与关注区域相关的锐化滤波器的滤波器设置来实现。
7.如权利要求6所述的方法，其中应用取决于位置的锐化滤波器进一步在关注区域外部的区域中实现希望的锐化减少，所述希望的锐化减少是基于调整与关注区域外部的相应区域相关的锐化滤波器的滤波器设置来实现。
8.如权利要求6所述的方法，其中调整锐化滤波器的滤波器设置包括: 关注区域内的识别的边缘的调整的半径，调整的半径与调整的过冲量成反比；以及 用于控制与将被锐化的识别的边缘相关的像素的最小强度改变的调整的强度阈值。
9.用于将超分辨率应用到由主车辆的摄像设备捕获到的一个或多个图像的方法，包括: 对于表不主车辆后方视场的场景的一个时间段期间的多个图像帧: 识别多个图像帧内的关注区域； 在多个图像帧中检测物体运动的程度； 如果物体运动程度包括颠簸、不运动和小于运动阈值的小量运动中的一个，则应用图像配准以辨别输入图像帧内的物体和特征中的至少一个； 应用时间上实施的超分辨率以提高多个图像帧的关注区域内的分辨率；以及 基于已经对其应用时间上实施的超分辨率的多个图像帧产生所得图像。
10.用于将超分辨率应用到由主车辆的基于视觉的成像系统捕获到的一个或多个图像的装置，包括: 配置成捕获表示主车辆后方视场的场景的多个图像帧的后视摄像设备；以及 处理设备，所述处理设备配置成: 接收由后视摄像设备捕获到的多个图像帧， 在每个图像帧内识别具有与每像素细节有关的减少的分辨率的放大中心区域， 将去噪滤波器和锐化滤波器中的至少一个应用到每个图像帧内的放大中心区域以提高放大中心区域内的分辨率， 对于已经对其应用去噪滤波器和锐化滤波器中的至少一个的多个图像帧: 根据图像帧的每一个内的位置将时间上实施的超分辨率应用到图像帧，所述位置包括识别的关注区域， 基于应用到图像帧的时间上实施的超分辨率产生所得图像，以及 配置成显示由后 视摄像设备捕获到的图像的后视镜显示设备。
【文档编号】G06T5/00GK103914810SQ201410005996
【公开日】2014年7月9日 申请日期:2014年1月7日 优先权日:2013年1月7日
【发明者】W.张, J.王, K.S.利贝克, J.S.皮亚塞基, R.M.弗拉克斯, T.S.赫斯特 申请人:通用汽车环球科技运作有限责任公司