用于图像分辨率增强的系统和方法与流程
本申请要求于2016年1月8日递交的、名称为“systemsandmethodsforimageresolutionenhancement(用于图像分辨率增强的系统和方法)”的美国临时专利申请no.62/276,800的权益，该美国临时专利申请的内容通过引用整体结合于此。
本发明的一个或多个实施例总体涉及成像处理，并且更具体地，例如，涉及增强图像的分辨率。
背景技术
已经开发了超分辨率技术来增强由这种系统捕获的成像系统或图像的分辨率。然而，传统的超分辨率技术通常限于增强已经在图像中捕获的信息，例如，通过抑制噪声、抗锯齿或外插和内插像素信息。因此，传统的超分辨率技术不足以显示真实的结构细节和定义，这些细节和定义将在真正更高分辨率的图像版本中被捕获。
传统超分辨率技术的这些缺点通常使得它们不适于实现期望的图像分辨率和定义，其中原始图像包含不充分的信息。例如，由一些成像传感器和设备(诸如红外(ir)成像传感器、光子混合器设备(pmd)或其他飞行时间(tof)成像传感器、激光成像检测和测距(lidar)设备)产生的原生图像通常具有低分辨率、低清晰度和/或低信噪比(snr)，这是因为这些传感器和设备工作的特定模态或光谱。虽然希望获得由这种成像传感器和设备捕获的图像的真实更高分辨率版本，但是传统的超分辨率技术可能并不合适。
技术实现要素：
公开了用于增强图像的分辨率、清晰度和/或信噪比(snr)以提供更清晰的、更易理解、更加视觉上令人愉悦的和更富内容的图像和视频用于查看和进一步图像处理的系统和方法的各种技术。例如，在一个实施例中，一种方法包括：接收场景的参考图像，该参考图像包括由像素坐标标识的参考图像像素；接收场景的目标图像，该目标图像的分辨率低于参考图像；将目标图像的大小调整为更大的图像尺寸，经大小调整的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中自适应形状邻域从每个像素坐标延伸，使得在形状自适应邻域内的那些参考图像像素满足规则性条件(regularitycondition)；针对每个自适应形状邻域，基于自适应形状邻域内的那些目标图像像素确定局部估计；并且聚合与自适应形状邻域相关联的局部估计，以提供与具有提高的分辨率的目标图像相对应的全局估计。根据一些实施例，该方法还可以对作为三维(3-d)体积或点云图像的参考图像和目标图像执行，以增强目标3-d图像。
根据一些实施例，参考图像可以是由可见光成像传感器捕获的可见光图像，并且目标图像可以是由红外(ir)成像传感器捕获的ir图像。在其他实施例中，参考图像可以由计算机断层扫描(ct)扫描仪或磁共振成像(mri)设备捕获，并且目标图像由正电子发射断层扫描(pet)扫描仪、单光子发射计算机断层扫描(spect)扫描仪、超声成像设备捕获。
可以使用根据本公开的实施例的各种技术来确定自适应形状邻域。例如，确定每个自适应形状邻域可以包括确定来自每个像素坐标的多个方向的线性范围(line-wiseextent)。在一些实施例中，每个自适应形状邻域可以是针对每个像素坐标确定的线性范围的多面体壳。可以至少通过根据统计方法从具有不同长度的lpa内核集合中选择局部多项式近似(lpa)内核来确定每个方向的线性范围，所选择的lpa内核的长度被确定为每个方向的线性范围。根据各种实施例，每个所选择的lpa内核可以是lpa内核集合中最长lpa内核，当所选择的lpa内核与沿相应方向和长度的那些参考图像像素进行卷积时，该最长lpa内核根据统计方法提供可接受的近似，并且用于选择lpa内核的统计方法可以包括置信区间的交集(ici)方法。根据各种实施例确定的每个自适应形状邻域可以在多个方向上各向异性地延伸。对于3-d体积或点云图像，确定每个自适应形状邻域可以包括从每个像素坐标确定自适应尺寸立方体。
可以使用根据本公开的实施例的各种技术来确定每个自适应形状邻域的局部估计。例如，在一些实施例中，确定每个自适应形状邻域的局部估计可以包括对在每个自适应形状邻域内的那些目标图像像素求平均，或者在一些实施例中，对每个自适应形状邻域内的那些目标图像像素进行滤波。对于一些实施例，对目标图像像素的滤波可以包括：对每个自适应形状邻域内的那些目标图像像素执行形状自适应变换，以获得对应于形状自适应变换的域中的那些目标图像像素的系数；以及修改(例如，通过阈值化进行收缩)形状自适应变换的域中的系数。形状自适应变换可以包括形状自适应离散余弦变换(sa-dct)或其他适当的变换。
根据一些实施例的局部估计的聚合可以包括根据与各个局部估计相关联的权重对局部像素估计求平均。权重可以与属于相应的自适应形状邻域的像素坐标的数量成反比，或者权重可以基于与相应的自适应形状邻域相关联的其他统计或定量属性。
根据一些实施例，可以利用用作新目标图像的全局估计来重复自适应形状邻域的确定、局部估计的确定以及局部估计的聚合。例如，可以利用针对用于确定自适应形状邻域的规则性条件的增加的灵敏度来执行该重复，使得至少一些自适应形状邻域变得更小以适应在参考图像中捕获的比重复之前更精细的细节。
根据一些实施例的方法还可以包括将全局估计与目标图像进行比较，并基于比较来调整全局估计，以去除或减少全局估计与目标图像之间的聚合像素值中的差异。根据一些实施例的方法可以包括用于以提高的分辨率进一步增强对应于目标图像的全局输出的操作。例如，该方法还可以包括从参考图像提取边缘信息，以及基于所提取的边缘信息锐化全局估计和/或将边缘信息叠加到全局估计上。
在另一实施例中，一种系统包括：视频接口，被配置为接收图像数据或信号；与视频接口通信的处理器，被配置为：接收场景的参考图像，该参考图像包括由像素坐标标识的参考图像像素；接收场景的目标图像，该目标图像的分辨率低于参考图像；将目标图像的大小调整为更大的图像尺寸，经大小调整的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中自适应形状邻域从每个像素坐标延伸，使得在形状自适应邻域内的那些参考图像像素满足规则性条件；针对每个自适应形状邻域，基于自适应形状邻域内的那些目标图像像素确定局部估计；并且聚合与自适应形状邻域相关联的局部估计，以提供对应于具有提高的分辨率的目标图像的全局估计；以及与处理器通信的存储器，并且被配置为存储全局估计。处理器还可以被配置为执行各种实施例的上述方法的各种操作。根据一些实施例，处理器可以被配置为对作为三维(3-d)体积或点云图像的参考和目标图像执行该方法的各种操作以增强目标3-d图像。
根据一些实施例，该系统还可以包括：第一成像传感器，与视频接口进行通信并且被配置为捕获参考图像，以及第二成像传感器，与视频接口进行通信并且被配置为捕获目标图像。例如，第一成像传感器可以包括可见光(vl)成像传感器、紫外(uv)成像传感器或近红外(nir)成像传感器，而第二成像传感器可以包括红外(ir)成像传感器、飞行时间(tof)成像传感器、激光成像检测和测距(lidar)传感器或毫米波(mmw)成像传感器。在其他示例中，第一成像传感器可以包括计算机断层扫描(ct)扫描仪、磁共振成像(mri)设备或具有相对较高分辨率、清晰度和/或对比度的其他医学成像设备，并且第二成像传感器可以包括正电子发射断层扫描(pet)扫描仪、单光子发射计算机断层扫描(spect)扫描仪、超声成像设备或具有相对较低分辨率、清晰度和/或对比度的其他医学成像设备。根据一些实施例，第一和第二成像传感器可以被配置为捕获作为3-d体积或点云图像的目标和参考图像。
本发明的范围由权利要求限定，这些权利要求通过引用结合到本部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将更加全面地理解本发明的实施例，以及实现其附加优点。将参考首先被简要描述的附图的附表。
附图说明
图1示出了根据本公开的实施例的成像系统的框图；
图2示出了根据本公开的实施例的增强图像分辨率的过程的流程图；
图3a-3c示出了根据本公开的各种实施例的在图2的过程中确定的自适应形状邻域；
图3d-3e示出了根据本公开的各种实施例的用于确定三维图像中的自适应形状邻域的自适应缩放定向扇区；
图4示出了根据本公开的实施例的被确定为自适应形状定向窗口的组合的自适应形状邻域；
图5示出了根据本公开的实施例的使用线性范围确定的自适应形状邻域；
图6a示出了根据本公开的实施例的使用示例二维参考图像的所选像素坐标的线性范围确定的自适应形状邻域；
图6b示出了根据本公开的实施例的使用示例三维点云参考图像的选定点的自适应缩放立方体确定的自适应形状邻域；
图7示出了根据本公开的实施例的用于确定自适应形状邻域的线性范围的线性lpa内核。
图8示出了根据本公开的实施例的如何使用置信区间的交集方法来选择最佳线性lpa内核。
图9示出了根据本公开的实施例的预先计算的三角模板的示例，其可以用于基于线性范围确定哪些像素坐标属于自适应形状邻域；
图10示出了根据本公开的实施例的如何使用形状自适应离散余弦变换对自适应形状邻域内的目标图像像素进行滤波以获得局部估计；
图11示出了根据本公开的实施例的以用于确定自适应形状邻域的增加的灵敏度来重复作为图2的过程的一部分的自适应形状邻域和全局估计的示例进展；
图12a-12d示出了根据本公开的实施例的图2的过程的示例输入和输出图像。
通过参考下面的详细描述，可以最佳地理解本发明的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中所示的相同元件。
具体实现方式
本文公开的方法和系统的各种实施例可用于提供具有比所期望的更低分辨率、更低清晰度和/或更低信噪比(snr)的图像(例如，包括静止图像和视频帧)的分辨率增强(在本文中也称为“超分辨率”)。这种低分辨率、清晰度和/或snr图像可以例如由成像传感器或设备捕获，该成像传感器或设备通常具有比cmos、ccd或其他可见光成像传感器更低的分辨率、更低的清晰度和/或更低的snr。例如，各种成像传感器和设备(诸如红外(ir)成像传感器、光子混合器设备(pmd)或其他飞行时间(tof)成像传感器、激光成像检测和测距(lidar)设备以及正电子发射断层摄影(pet)、单光子发射计算机断层扫描(spect)、超声成像或其他医学成像装置)以模态或光谱进行操作，该模态或光谱使得其昂贵或难以直接产生高分辨率、高清晰度和/或高snr输出。
根据本公开的一个或多个实施例的系统和方法可以通过使用利用可见光成像传感器或能够捕获更高分辨率图像的其他成像传感器以更高分辨率捕获的相同场景的“引导(pilot)”或“参考”图像，来增加场景的这种低保真度(例如，低分辨率、清晰度和/或snr)图像的分辨率、清晰度和/或snr(如本文也称作“超级分辨率”)。例如，一方面，根据本公开的实施例的系统和方法可以基于参考图像确定自适应形状邻域，并且将自适应形状邻域应用于较低分辨率“目标”图像以获得目标图像的超分辨率版本。
具体地，根据一个或多个实施例，可以为参考图像中的多个像素中的每个像素确定邻域，其中响应于在参考图像中捕获的结构信息(例如，对象轮廓、边缘、或其他结构细节)而调整(例如改变)每个邻域的形状(例如，范围)。然后，可以将这些自适应形状邻域应用于“目标”图像的将是超分辨率的相应像素，并且用于关于如被应用于目标图像的每个自适应形状邻域确定目标图像的超分辨率版本的局部估计(例如，通过局部滤波、平均或其他技术来对相应的目标图像像素进行标准化或规范化)。由于不同像素位置的自适应形状邻域可能重叠并且因此包括目标图像的超分辨率版本或其任何部分的过完备估计，因此可以聚合自适应形状邻域的局部估计，以提供整个目标图像的或目标图像的任何部分的超分辨率版本的估计。以这种方式，例如，可以基于适用于在更高分辨率参考图像中捕获的结构细节的自适应形状邻域来获得目标图像的超分辨率估计。
在一些实施例中，可以将以这种方式获得的目标图像的超分辨率版本与原始目标图像进行比较，并且可以评估两者之间的差异并将其注入到超分辨率版本中以将超分辨率版本约束到原始目标图像。这在本文中可以称为“反投影”，并且可以例如确保原始目标图像的每个像素的像素值(例如，表示诸如温度或距离之类的辐射度观察的像素值)被基本上保留在超分辨率版本中的相应像素集合(例如，相应的宏像素)的像素值中。
在一些实施例中，确定自适应形状邻域、关于自适应形状邻域确定局部估计、以及聚合局部估计以提供目标图像的超分辨率版本的操作可以以粗略到精细的方式迭代地重复，例如，通过以较大的自适应形状邻域开始(例如，以产生更平滑的结果)并逐渐使用较小的自适应形状邻域来揭示更精细的结构细节。还可以预期，整个过程可以重复，直到所需的分辨率提高被实现，使用所获得的超分辨率版本作为过程的下一次运行的输入目标图像。例如，如果在过程的一次运行中以原始分辨率的2倍获得目标图像的超分辨率版本，则该过程可以被重复两次以获得原始分辨率的4倍、被重复三次以获得原始分辨率的8倍，以此类推。
因此，例如，本文公开的方法和系统的各种实施例可以由各种设备和系统执行、包括在其中、或实现为各种设备和系统，该设备和系统诸如红外成像设备、距离成像设备、lidar设备、医学成像设备、监视系统、图像和视频处理系统或可以受益于本身具有低分辨率、低清晰度和/或低snr的图像和视频(例如通过红外成像传感器、pmd成像传感器、lidar成像设备、pet扫描仪、spect扫描仪、超声成像仪或以特定模态或光谱操作的其他成像传感器捕获的图像和视频)的分辨率、清晰度和/或snr的增强的其他系统或设备。这些图像和视频的超分辨率版本可以提供更容易解释、更加视觉上令人愉悦的以及更多内容丰富的图像和视频，以在显示时供用户查看。此外，此类图像和视频的超级分辨版本可以提高各种其他视频处理和分析操作(诸如对象检测、对象标识、目标跟踪、分段、场景跟踪和被提供为到那些操作的输入时的其他分析操作)的性能。
现在转到图1，示出了根据本公开实施例的用于捕获和处理图像和视频(例如，视频帧)的系统100的框图。根据一个实现方式，系统100包括处理组件110、存储器组件120、第一成像传感器130、第二成像传感器132、视频接口组件134、控制组件140、显示组件150、感测组件160、和/或网络接口180。
系统100可以表示用于捕获和处理场景170的图像和/或视频的成像设备(诸如视频和/或静态相机)。在这方面，系统100的第一成像传感器130可以被配置为以特定频谱或模态捕获场景170的图像(例如，静止和/或视频图像)。例如，在一些实施例中，第一成像传感器130可以包括ir成像传感器，其被配置为检测近、中和/或远ir光谱中的ir辐射并且提供代表来自场景170的ir辐射的ir图像(例如，ir图像数据或信号)。在一个具体的非限制性示例中，第一成像传感器130可以包括长波ir(lwir)(例如，热ir)成像传感器，其具有响应于包括lwir辐射的热ir辐射的检测器的焦平面阵列(fpa)。在模块中提供的这种lwir成像传感器的示例可以在2013年12月9日递交的题为“infraredcamerasystemarchitectures(红外相机系统架构)”的美国专利申请no.14/101,258中找到。在近ir(nir)、短波ir(swir)、中波ir(mwir)和/或lwir中操作的其他合适的ir成像传感器也可以用于系统100的期望应用。
第一成像传感器130不限于ir图像传感器。相反，在各种实施例中，第一成像传感器130可以包括pmd成像传感器或其他tof成像传感器、lidar成像设备、毫米成像设备、pet扫描仪、spect扫描仪、超声成像设备或以特定模态和/或光谱操作的其他成像设备。通常，例如，与典型的基于cmos的或基于ccd的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像设备相比较时，这些成像设备和ir成像传感器操作的特定模态和/或光谱使得其昂贵或难以产生高分辨率、高清晰度和/或高snr输出图像。
相比之下，系统100的第二成像传感器132被配置为以相对于第一成像传感器130的更高分辨率、更高清晰度和/或更高snr来捕获场景170的至少一部分的图像。例如，在一些实施例中，第二成像传感器132可以包括可见光成像传感器，被配置为捕获与第一成像传感器130所捕获的图像相比具有更高分辨率、可能具有更高的清晰度和/或更高snr的可见光图像(例如，可见光静止图像和/或视频帧)。第二成像传感器132不限于可见光成像传感器，而是可以包括被配置为相对于第一成像传感器捕获更高分辨率、可能更高清晰度和/或更高snr的图像的任何合适的成像传感器。因此，例如，在各种实施例中，各种基于cmos或基于ccd的成像传感器、紫外(uv)成像传感器、nir成像传感器或能够产生比第一成像传感器130更高分辨率图像输出的其他成像传感器可以用于第二成像传感器132。在用于医学成像的一些实施例中，第一成像传感器130可以包括pet扫描仪、spect扫描仪或超声成像仪，并且第二成像传感器132可包括计算机断层扫描(ct)扫描仪或磁共振成像(mri)设备，其对于医学成像应用中的类似或相同的目标图像通常具有更高的分辨率。
在一个或多个实施例中，由第二成像传感器132捕获的场景170的至少一部分的相对较高分辨率的图像可以被提供为“引导”或“参考”图像，用于增强由第一成像传感器130捕获的相对较低分辨率的图像的分辨率，如本文进一步讨论的。由第一成像传感器130捕获的图像可以被提供为数字图像数据，例如，经由被包括作为第一成像传感器130的一部分或系统100的其他组件的模数转换器。类似地，由第二成像传感器132捕获的图像可以被提供为数字图像数据，例如，经由被包括作为第一成像传感器132的一部分或系统100的其他组件的模数转换器。图像或与对应于图像的数字图像数据包括属于各个图像的像素的像素值。在一些实施例中，模数转换、格式转换和/或其他接口操作可以附加地或替代地由视频接口组件134提供。
由第一成像传感器130和第二成像传感器132提供的图像或对应于图像的数字图像数据可以与相应的图像尺寸(也称为像素尺寸)相关联。图像尺寸或像素尺寸通常是指图像中像素的数量，其可以表示为例如二维图像的宽度乘以高度，或以其他方式适合于图像的相关尺寸或形状。因此，原本具有较低分辨率的图像(诸如，由第一成像传感器130捕获的图像)通常具有比较高分辨率图像(诸如，由第二成像传感器132捕获的图像)更小的图像尺寸。尽管可以对原本具有低分辨率图像进行放大或上采样以具有更大的图像尺寸，但是可以理解，放大或上采样(没有更多)不会增加低分辨率图像的原始分辨率或清晰度(例如，图像细节)。
第一和第二成像传感器130和132被对准或以其他方式布置，使得第一成像传感器130的视场131(fov)至少部分地与第二成像传感器132的fov133重叠。因此，由第一成像传感器130捕获的图像描绘了由第二成像传感器132捕获的图像中描绘的场景170的至少一部分，反之亦然。在一些实施例中，第一和第二成像传感器130和132可以在结构上和/或机械上被对准，例如根据2013年12月21日提交的题为“compactmulti-spectrumimagingwithfusion(利用聚合的紧凑型多光谱成像)”的美国专利申请no.14/138,058中公开的用于对准红外成像模块和可见光谱成像模块的技术或其他适当技术。在一些实施例中，可以提供机械执行器以基于到场景170的距离来机械地调整第一成像传感器130和/或第二成像传感器132的位置和/或进行旋转，以便补偿视差误差。在一些实施例中，fov131和133可以基本相同(例如，在可容许的误差范围(诸如±5％)内)，使得第一和第二成像传感器捕获场景170的基本相同的部分。替代地或另外地，对于一些实施例，可以(例如，由处理组件110)执行图像配准(registration)(图像对准)过程以修改(例如，通过旋转、平移、裁剪、扭曲或其他变换)由第一成像传感器130捕获的图像、由第二成像传感器132捕获的图像、或两者，如本文进一步讨论的，使得由第一和第二成像传感器130和132捕获的图像被基本上配准(例如，对准)。
根据各种实施例，处理组件110包括下列项中的一项或多项：处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑设备(pld)(例如，现场可编程门阵列(fpga))、数字信号处理(dsp)设备、或者可以通过硬连线、执行软件指令或两者的组合来配置为执行本文所讨论的用于本公开的实施例的各种操作的其他逻辑设备。例如，处理组件110可以包括超分辨率模块112，其可以表示被配置为执行各种操作以增强图像的分辨率的硬件组件和软件指令的任何合适的组合，如本文进一步讨论的。处理组件110被配置为与系统100的各种其他组件接口和通信，以执行这样的操作。一方面，根据一些实施例的处理组件110可以被配置为执行各种系统控制操作(例如，以控制系统100的各种组件的通信和操作)和其他图像处理操作(例如，数据转换、视频分析、噪声抑制)，这些操作作为用于增强图像分辨率的操作的一部分或与其分开。
应当理解，在一些实施例中，超分辨率模块112可以作为处理组件110的一部分集成在软件和/或硬件中，其具有例如存储在存储器组件120中用于超分辨率模块112的代码(例如，软件指令和/或配置数据)。在一些实施例中，单独的机器可读介质121(例如，诸如硬盘驱动器、光盘、数字视频盘或闪速存储器之类的存储器)可以存储可以由计算机(例如，逻辑设备或基于处理器的系统)执行或访问以执行本文公开的各种方法和操作的软件指令和/或配置数据。一方面，机器可读介质121可以是便携式的和/或与系统100分开放置，其中通过将计算机可读介质耦接到系统100和/或通过系统100从计算机可读介质121下载(例如，经由有线链路和/或无线链路)，将所存储的软件指令和/或数据提供给系统100。
在一个实施例中，存储器组件120包括一个或多个存储器设备，其被配置为存储包括视频图像数据和信息的数据和信息。存储器组件120可以包括一种或多种各种类型的存储器设备，包括易失性和非易失性存储器设备，诸如ram(随机存取存储器)、rom(只读存储器)、eeprom(电可擦除只读存储器)、闪速存储器、硬盘驱动器和/或其他类型的存储器。如上所述，处理组件110可以被配置为执行存储在存储器组件120中的软件指令，以便执行本文描述的方法和处理步骤和/或操作。处理组件110和/或视频接口组件134可以被配置为在存储组件120中存储由第一和第二成像传感器130和132捕获的图像或数字图像数据。处理组件110可以被配置为将经处理(例如，如本文所讨论的，超分辨率的)静止和视频图像存储在存储器组件120中。
在一些实施例中，视频接口组件134可以包括适当的输入端口、连接器、开关和/或电路，其被配置为与外部设备(例如，远程设备182和/或其他设备)接口以接收由外部设备生成或以其他方式存储在外部设备的图像(例如，数字图像)。可以将接收到的图像或图像数据提供给处理组件110。在这方面，可以将接收到的图像或图像数据转换成适合于由处理组件110处理的信号或数据。例如，在一个实施例中，视频接口组件134可以被配置为接收模拟视频数据并且将其转换为合适的数字数据以提供给处理组件110。在该实施例的一个方面，视频接口组件134可以包括各种标准视频端口，其可以连接到视频播放器、视频摄像机或能够生成标准视频信号的其他设备，并且可以将接收到的视频信号转换为适合于由处理组件110处理的数字视频/图像数据。在一些实施例中，视频接口组件134还可以被配置为与第一成像传感器130、第二成像传感器132或两者接口并从其接收图像(例如，图像数据)。在其他实施例中，第一成像传感器130、第二成像传感器132或两者可以直接与处理组件110接口。
在一个实施例中，控制组件140包括适于生成用户输入控制信号的用户输入和/或接口设备，诸如可旋转旋钮(例如，电位计)、按钮、滑动条、键盘和/或其他设备。处理组件110可以被配置为经由控制组件140感测来自用户的控制输入信号，并且响应从其接收的任何感测的控制输入信号。如本领域技术人员通常理解的，处理组件110可以被配置为将这样的控制输入信号解释为值。在一个实施例中，控制组件140可以包括控制单元(例如，有线或无线手持控制单元)，其具有适用于与用户相接口并接收用户输入控制值的按钮。在一个实现方式中，控制单元的按钮可用于控制系统100的各种功能，诸如自动对焦、菜单启用和选择、视野、亮度、对比度、噪声过滤、图像增强和/或成像系统或相机各种其他功能。
在一个实施例中，显示组件150包括图像显示设备(例如，液晶显示器(lcd))或各种其他类型的通常已知的视频显示器或监控器。处理组件110可以被配置为在显示组件150上显示图像数据和信息。处理组件110可以被配置为从存储器组件120取回图像数据和信息，并在显示组件150上显示任何取回的图像数据和信息。显示组件150可以包括显示电路，其可以由处理组件110用来显示图像数据和信息。显示组件150可以适于直接从第一成像传感器130、第二成像传感器132、处理组件110和/或视频接口组件134接收图像数据和信息，或者图像数据和信息可以经由处理组件110从存储组件120被发送。
在一个实施例中，如本领域技术人员将理解的，取决于应用或实现方式的要求，感测组件160包括各种类型的一个或多个传感器。传感组件160的传感器至少向处理组件110提供数据和/或信息。一方面，处理组件110可以被配置为与感测组件160通信。在各种实现方式中，感测组件160可以提供关于环境条件的信息，诸如外部温度、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如，晴、雨和/或雪)、距离(例如，激光测距仪或飞行时间相机)、和/或是否已进入或退出隧道或其他类型的围隔(enclosure)。感测组件160可以表示本领域技术人员公知用于监视可能对由成像传感器130和/或132提供的图像数据产生影响的各种条件(例如，环境条件)的传统传感器。
在一些实施方案中，感测组件160(例如，一个或多个传感器)可以包括经由有线和/或无线通信将信息中继到处理组件110的设备。例如，感测组件160可以适于通过局部广播(例如，射频(rf))传输、通过移动或蜂窝网络和/或通过基础设施(例如，运输或高速信息信标基础设施)中的信息信标、或各种其他有线和/或无线技术从卫星接收信息。
在各种实施例中，系统100的各种组件可以根据需要或根据应用或要求而进行组合和/或实现。在一个示例中，处理组件110可以与存储组件120、第一成像传感器130、第二成像传感器132、视频接口组件134、显示组件150、网络接口180和/或感测组件160组合。在另一示例中，处理组件110可以与第一成像传感器130和/或第二成像传感器132组合，使得处理组件110的某些功能由在第一成像传感器130和/或第二成像传感器132内的电路(例如，处理器、微处理器、逻辑设备、微控制器等)执行。
此外，在一些实施例中，系统100的各种组件可以通过网络190分布并彼此通信。在这方面，系统100可以包括网络接口180，被配置为辅助跨网络的系统100的各种组件的有线和/或无线通信。在这样的实施例中，如果针对系统100的特定应用而需要，则还可以复制组件。也就是说，为相同或类似操作配置的组件可以通过网络分布。此外，如果需要，可以使用通过网络190经由网络接口180与系统100的各种组件进行通信的远程设备182的适当组件(例如，传统数字视频记录器(dvr)、被配置用于图像处理的计算机、和/或其他设备)来实现各种组件中的任何一个的全部或部分。因此，例如，如本文进一步描述的，处理器110的全部或一部分、存储器组件120的全部或一部分、和/或显示组件150的全部或一部分可以在远程设备182处实现或复制，并且被配置为执行图像的分辨率增强。在一些实施例中，系统100可以不包括成像传感器(例如，成像传感器130和/或132)，而是从与处理组件110和/或系统100的其他组件分离且远程定位的成像传感器接收图像或图像数据。应当理解，系统100的分布式实现方式的许多其他组合是可能的，而不脱离本公开的范围和精神。
图2示出了根据本公开实施例的用于增强图像分辨率的过程200的流程图。例如，过程200可以由系统100的各种实施例执行。然而，应当理解，系统100及其各种组件仅出于给出示例的目的而标识，并且可以利用任何其他合适的系统来执行过程200的全部或一部分。还应当理解，可以组合和/或以与图2所示的实施例不同的顺序或布置来执行任何框、子框、步骤、子步骤或子处理过程200。
在框206处，例如经由视频接口组件134在处理组件110处从成像传感器130和132、或者从外部捕获和/或从所存储的图像或视频接收目标图像202和参考图像204。如所讨论的，目标图像202是要被超分辨率的图像(例如，数字图像数据)(例如，其分辨率、清晰度和/或snr增加)，并且可以由ir成像传感器、pmd或其他tof成像传感器、lidar成像设备、毫米波成像传感器或以模态或光谱(使其昂贵或难以自身产生高分辨率、高清晰度和/或高snr输出)操作的其他成像传感器捕获。在一个示例中，目标图像202可以是以相对较低原始分辨率(例如80×60、160×120、320×240或其他分辨率)捕获的lwir图像。
还如所讨论的，参考图像204(或引导图像204)是相对于目标图像202具有更高分辨率的图像(例如，数字图像数据)，并且可以例如通过通常能够输出比目标图像202更高分辨率、更高清晰度和/或更高snr图像的可见光、uv或nir成像传感器、或基于ccd或基于cmos的成像传感器捕获。在一个示例中，参考图像204可以是以比目标图像202更高的原始分辨率(例如640×480或更高)捕获的灰度或彩色可见光图像。在一些实施例中，仅可以从由可见光成像传感器捕获的彩色可见光图像中提取和使用灰度(例如，亮度或强度)信道。
目标图像202和参考图像204都可以描绘相同的场景(例如，场景170)。更具体地，与目标图像202相关联的fov至少部分地和与参考图像204相关联的fov重叠，使得目标图像202描绘在参考图像204中捕获的场景的至少一部分，或反之亦然。在一些实施例中，如上将系统100的成像传感器130和132结合，目标图像202和参考图像204可以描绘场景的基本相同的部分，例如，通过成像传感器130和132的机械和/或结构对准。换言之，在这些实施例中，如所接收的目标图像202和参考图像204可以基本上彼此配准(例如，对准)。在一些实施例中，例如在目标图像202和参考图像204在被接收时没有被充分配准的情况下，框206可以包括执行图像配准(图像对准)过程以修改目标图像202、参考图像204或两者以在空间上对准(例如，配准)两个图像，使得两个图像描绘场景的基本上相同部分(例如，在可容忍的误差范围内，例如±5％)。例如，仿射变换(例如，旋转、平移、裁剪)和非刚性变换(例如，翘曲和变形)可以被应用于空间对准两个图像。如根据各种实施例的示例，可以通过比较两个图像中的强度图案或者通过检测和比较两个图像中的相应特征来确定这样的变换。如本文进一步讨论的，根据一些实施例的过程200可以在目标图像202的分辨率增强之后进一步校正残留图像配准误差。
在用于医学成像的实施例中，目标图像202和参考图像204可以描绘患者身体的类似或相同的横截面图(例如，二维图像，也称为2-d图像)，或患者身体的类似或相同体积视图(例如，三维图像，也称为3-d图像)。可以使用不同模态的医学成像设备来捕获患者的目标图像202和参考图像204，并且通过适当的处理对准患者的目标图像202和参考图像204，使得它们描绘患者身体的基本相同的横截面图或体积视图。此外，在这方面，对于一些实施例，目标图像202和参考图像204可以是更高尺寸(例如，3-d或任何n维)体积或点云图像，并且图2的方法200的相关操作可以是可以相对于三个轴(x、y和z轴)或任何n维坐标系执行以增强三维或更高维的目标图像。
目标图像202和参考图像204可以与相应的图像尺寸相关联，并且被提供作为包括属于相应图像的像素的像素值的数字图像数据，如上面结合系统100的成像传感器130和132所讨论的。如可以理解的，参考图像204的每个像素(本文也称为参考图像像素)可以由相关联的图像尺寸内的相应像素坐标(例如，像素位置、像素索引)来标识。例如，对于具有160×120像素的图像尺寸的参考图像，160×120像素中的每一个可以由包括参考图像的x轴或宽度(例如，在1到160或0到159之间)中的像素位置以及y轴或高度(例如，在1到120或0到119之间)的像素位置的像素坐标来标识。
在一些实施例中，在框206处接收目标图像202和参考图像204可以包括使用诸如产生相对较低分辨率、较低清晰度和/或较低snr原生输出图像的ir成像传感器、pmd或其他tof成像传感器、lidar成像设备、毫米波成像传感器、pet扫描仪、spect扫描仪、超声成像仪或其他成像传感器的成像传感器(例如，成像传感器130)来捕获目标图像202，并使用诸如通常能够输出比目标图像202的更高分辨率、更高清晰度和/或更高分辨率snr图像的可见光、uv或nir成像传感器、基于ccd或基于cmos的成像传感器或mri设备或ct扫描仪的另一成像传感器(例如，成像传感器132)来捕获参考图像204。在一些实施例中，目标图像202的捕获和参考图像204的捕获可以基本上同时或在特定间隔内被执行(例如，基于场景170中存在的运动、成像传感器的运动或场景和成像传感器之间的相对运动来确定)，使得场景保持足够不变以允许参考图像204用于增强目标图像202的分辨率。
在框208处，可以调整目标图像202的大小以具有更大的图像尺寸。在各种实施例中，可以对目标图像202执行放大(例如，通过双线性插值)、上采样或其他线性、更高阶或非线性内插技术，以将目标图像202的大小调整为比其原始图像更大的图像尺寸。例如，具有原始分辨率和80×60的图像尺寸的目标图像202可以通过双线性插值来调整大小以具有160×120的更大图像尺寸。在该示例中，然后可以通过相应的像素坐标来标识经调整大小的目标图像202的每个像素(这里也称为目标图像像素)，该相应的像素坐标包括x轴或宽度中的160个位置中的一个和y轴或高度中的120个位置中的一个。
在一些实施例中，在参考图像204具有比经调整大小的目标图像202更大的图像尺寸的情况下，参考图像204可以被缩小、下采样或以其他方式调整大小以匹配经调整大小的目标图像202的图像尺寸。继续上面的示例，可以缩小具有640×480的原始分辨率和图像尺寸的参考图像，以匹配将经调整大小的目标图像的160×120的图像尺寸。由于目标图像202和参考图像204在空间上被配准使得两个图像都描绘了与上面针对框206所讨论的基本相同的场景，因此参考图像204的像素的每个像素坐标也可以映射到对应于场景中的基本相同的位置的经调整大小的目标图像202中的像素。例如，标识用于缩小到160×120的参考图像的参考图像像素的像素坐标(100,80)还可以标识放大到160×120的目标图像的相应的目标图像像素，其中参考图像像素和目标图像像素两者描绘场景中的基本相同的位置。
替代地，在一些实施例中，参考图像204可以不被缩小、下采样或以其他方式调整大小以匹配经调整大小的目标图像202，而是可以转换参考图像204的像素的每个像素坐标以映射到经调整大小的目标图像202中的像素。例如，具有320×240的图像尺寸的参考图像中的四个相邻像素坐标(例如，全部属于同一宏像素)可以被映射到具有160×120的图像尺寸的经调整大小的目标图像中的一个像素。
在框210处，基于参考图像204确定自适应形状邻域。具体地，可以为参考图像204中的每个像素(例如，在每个像素坐标处)确定邻域，其中响应于在参考图像204中捕获的结构信息(例如，对象轮廓、边缘或其他结构细节)调整(例如，改变)每个邻域的形状(例如，范围)。例如，根据各种实施例，每个自适应形状邻域从每个参考图像像素坐标延伸，以包括满足给定规则性条件(例如，平滑度)的形状自适应邻域内的那些参考图像像素。换言之，基于在给定图像像素坐标处和给定图像像素坐标周围的参考图像像素的规则性(例如，平滑度)，确定从作为中心点的给定参考图像像素坐标的每个自适应形状邻域的范围或形状。
还参考图3a-3c，根据本公开的实施例示出了针对给定参考图像像素坐标302(也标记为x)确定的自适应形状邻域的示例。通常，根据本公开的各种实施例，用于参考图像像素位置302的自适应形状邻域304a(也标记为u*)各向异性地延伸(例如，对于不同方向具有不同的范围)，使得在自适应形状邻域304a内的那些参考图像像素满足规则性条件，如图3a所示。例如，属于自适应形状邻域304a的参考图像像素可以具有根据统计标准的规则或类似的像素值，使得那些像素可以看起来平滑而没有突然改变(例如，由于对象轮廓、边缘或其他结构细节)。在这方面，自适应形状邻域304a响应于结构信息(例如，对象轮廓、边缘或其他结构细节或变化点)来调整其形状(例如，范围)，并因此揭示参考图像像素位置302周围的精细结构细节和元素。
图3b和3c示出了根据本公开的一个或多个实施例的如何将自适应形状邻域确定(例如，取近似)为自适应缩放定向窗口306(1)至306(16)的组合。在图3b和3c的示例中，自适应缩放定向窗口306(1)到306(16)可以被考虑用于来自参考图像像素位置302的十六个方向，并且这些自适应缩放定向窗口306(1)到306(16)中的每一个可以单独地(例如，各向异性地)调整其比例(例如，范围)，使得每个自适应缩放定向窗口内的参考图像像素满足给定的规则性条件。因此，自适应缩放定向窗口306(1)至306(16)的组合以图3c所示的方式各向异性地缩放，该方式可以近似于图3a的自适应缩放邻域304a(自适应缩放定向窗口306(1)、306(2)和306(16)未在图3c中明确标识，因为它们可以具有1的比例，即不从参考图像像素位置302延伸)。在一个或多个实施例中，以本文针对的本公开的一些实施例进一步描述的类似方式，使用统计方法(例如置信区间的交集(ici)方法)，可以基于提供了一组可变缩放定向lpa卷积核中的最佳近似或估计的局部多项式近似(lpa)核的比例(例如，范围)来确定每个自适应缩放定向窗口306(1)到306(16)的比例(例如，范围)。
应该理解，仅针对给出示例的目的，自适应缩放定向窗口在图3b和3c被示出为被等分为16个方向的同心圆的部分，并且图3b和3c中所示的窗口的方向和形状的数量不是限制性的，并且可以具有不同的数量和形状，而不脱离本公开的精神和范围。而且，可以预期，各向同性地延伸自适应形状邻域而不是如图所示的各向异性地延伸自适应形状邻域，可以用于本公开的一些实施例。
根据本公开的实施例，图3d示出了针对单位球体360示出的自适应缩放定向窗口366(1)至366(n)(也称为自适应缩放定向扇区366(1)至366(n))，其可被缩放和组合以形成3-d体积图像的自适应形状邻域(例如，由诸如pet扫描仪、spect扫描仪、超声成像仪、mri设备或ct扫描仪之类的医学成像设备捕获)或3-d点云图像(例如，由lidar或pmd或其他tof成像传感器捕获)。类似于自适应缩放定向窗口306(1)至306(16)但应用于3-d体积或点云图像，自适应缩放定向扇区366(1)至366(n)中的每一个可以单独地(例如，各向异性地)调整其比例(例如，范围)，使得来自参考图像体素或点位置362的每个自适应缩放定向扇区内的参考3-d体积图像像素(也称为“体素”)或参考3-d点云图像点满足给定的规则性条件。
在这方面，自适应缩放定向扇区366(1)至366(n)可以包括有限的非重叠可收缩体族。例如，这种有限的非重叠可收缩体族可以包括如图3d的示例所示的覆盖整个球体的voronoi平铺(tiling)。在根据一些实施例的其他示例中，自适应缩放定向扇区不需要覆盖整个球体，而是包括指向不同方向并且仅覆盖参考图像体素位置362的3-d邻域的一部分的有限数量的锥体(例如，自适应缩放定向扇区367(1))，如图3e的示例中所示。
图4示出了根据本公开的实施例的针对示例二维参考图像404和406中的一些所选参考图像像素坐标确定的自适应形状邻域408-430。在图4中，自适应形状邻域408-430可以被确定为如上面在图3b和3c中所讨论的自适应形状定向窗口的组合并且被示出为例如自适应形状邻域402。如图所示，自适应形状邻域408-430中的每一个从相应的参考图像像素坐标延伸以包括看起来规则(例如，平滑)的那些参考图像像素，并且响应于由于对象轮廓、边缘或其他结构细节的变化而调整其边界。尽管图4示出了针对几个所选参考图像像素坐标确定的自适应形状邻域作为示例，但是过程200的框210可以针对参考图像204的一些选定区域或全部的参考图像像素坐标确定自适应形状邻域。还可以理解，用于不同参考图像像素坐标的自适应形状邻域(诸如彼此接近的那些像素坐标)可能经常重叠。
在一些实施例中，可以通过将较窄一维线性内核用于预定的一组方向来高效地确定自适应形状邻域。例如，根据本公开的实施例，图5示出了使用在八个方向上的自适应缩放的范围(例如，长度)、一维线性内核支持504(1)-504(8)(也称为线性支持或自适应缩放内核支持)确定的自适应形状邻域502(也称为自适应各向异性邻域502)。更具体地，首先确定每个线性支持504(1)-504(8)的范围(例如，长度)(或简称为线形范围)，使得属于线性支持的那些参考图像像素满足预定的规则性(例如，平滑度)条件(例如，标准)，然后自适应形状邻域502可以被构建为所确定的线性范围的多面体壳。
图6a示出了根据本公开的实施例的以这种方式为图4的参考图像406中的22个所选参考图像像素坐标确定的自适应形状邻域602(1)-602(22)的示例。如图所示，虽然自适应形状邻域602(1)-602(22)被确定为星形线性范围的多面体壳，但它们仍然高效地响应于由于物体轮廓、边缘或其他结构细节的变化而调整其边界。
然而，对于这些实施例，不需要从线性范围构造或以其他方式确定实际的自适应形状邻域，直到将邻域应用于目标图像202以确定局部估计。还应该理解，尽管在上面的示例中针对八个方向确定了线性范围，但是可以根据实施例的需要使用多于或少于八个方向。
根据一些实施例，也可以针对3-d或更高尺寸情况执行自适应形状邻域的这种高效确定。例如，图6b示出了根据本公开的实施例的针对3-d点云参考图像的参考点606确定的自适应形状邻域604。在该示例中，参考点606的自适应形状邻域604使用自适应缩放3-d立方体608(1)至608(8)的范围来确定，该立方体608(1)至608(8)相对于参考点606延伸以根据预定的规则性条件来调整其在8个八分圆中的尺寸。在用于3-d体积图像情况的其他实施例中，可以使用类似于自适应形状邻域502和602的线性内核支持，但是放置在3-d空间中以形成对应于来自参考体素位置的3-d自适应形状邻域的多面体壳的支持。
如上面简要讨论的，可以从提供一组可变缩放内核支持中的参考图像像素的最佳近似的支持的长度或比例确定每个线性自适应缩放内核支持(或在一些实施例中。自适应缩放定向窗口)的范围(例如，比例、长度)。例如，根据一个或多个实施例，可以针对每个方向θk选择提供一组线性lpa内核{gh,θk}h∈h中的最佳近似的线性lpa内核的长度或比例
图7示出了根据本公开的一个实施例的用于一组比例(例如，长度)h＝{1,2,3,5,7,9}的方向θ1＝0的这种线性lpa内核的示例。例如用于
为了根据一些实施例选择用于参考图像像素坐标的一组线性lpa内核中的最佳近似线性lpa内核，使用线性lpa内核卷积沿线性lpa内核的方向和长度的参考图像像素以提供一组lpa估计，并且可以选择为坐标处的参考图像像素产生最佳lpa估计的线性lpa内核。可以使用统计方法来执行最佳lpa估计的选择，并因此选择线性lpa内核的长度(例如，范围、比例)。
例如，在一些实施例中，可以调整ici方法并将其用于选择。对于根据一些实施例的更正式的说明，考虑置信区间的交集(ici)
其中
根据本公开的实施例，在图8中给出了使用ici方法的这种选择的示例说明。在图8的示例中，用于j＝3的置信区间802(也标记为d3)具有交集804(也标记为i3)，其具有先前的置信区间d1和d2(即，i3≠0)，但是对于j＝4，与先前的置信区间没有交集(即，
注意，置信区间也响应于阈值参数γ。随着阈值参数γ减小，置信区间减小。较小的置信区间可能导致选择较小的lpa内核作为自适应缩放，这进而产生较小的自适应形状邻域。在这方面，可以改变阈值参数γ以调整用于在确定自适应形状邻域时测试规则性(例如，平滑度)条件的灵敏度。对于在上面的等式1中使用的阈值参数γ，减小阈值参数γ可以有效地产生自适应形状邻域内的规则性的灵敏度增加，这可以产生适合于揭示参考图像中的更精细细节的更小尺寸的自适应形状邻域。
如上所述，与像素坐标相关联的自适应形状邻域然后是针对来自像素坐标的预定的一组方向的确定的线性范围(例如，线方向自适应缩放内核支持的长度)的多面体壳。在一些实施例中，这样的多面体壳可以通过预先计算的(例如，具有预先确定的像素坐标)、非重叠三角(例如，三角二进制模板)的组合来高效地获得，其中的每一个与一对可能的线性自适应缩放内核支持相关联。这些预先计算的三角模板可用于确定哪些个像素坐标属于如使用线性范围确定的自适应形状邻域。
图9示出了根据本公开的实施例的用于所选择的自适应缩放内核支持对的这种预先计算的三角模板的示例。具体地，对应于对(h+(x,θ3),h+(x,θ4))、(h+(x,θ2),h+(x,θ3))、和(h+(x,θ1),h+(x,θ2))的这种三角模板的三个示例组902、904和906如图9所示，用于比例(长度)设置h∈h＝{1,2,3,5,7,9}。也就是说，示例三角模板组902、904和906示出了分别用于方向θ3和θ4内的可能的自适应缩放内核对、用于方向θ2和θ3内的可能的自适应缩放内核对、以及用于方向θ1和θ2内的可能的自适应缩放对的三角模板，其中每个自适应缩放内核可以具有长度h∈h＝{1,2,3,5,7,9}。为了说明对这种预先计算的三角模板的使用，例如，假设方向θ3所确定的线性范围是5，并且方向θ4的所确定的线性范围是7。然后可以选择预先计算的三角模板910作为形成多面体壳的一部分的三角形。
可以根据各种实施例的需要使用适当的数据结构来存储、索引和/或编码这种预先计算的三角模板。在一个实施例中，例如，每个三角模板可以被有效地编码为数字阵列，其指示有多少像素(例如，像素坐标)属于模板以及它们相对于自适应形状邻域的中心位于何处(例如，那些像素坐标在存储器中有多远)。因此，通过使用如上针对各种实施例所讨论的预先计算的三角模板，可以基于针对每个参考图像像素坐标确定的一组线性范围来有效地提供自适应形状邻域。
因此，在过程200的框210处，可以根据上面参考图3a-图9讨论的各种技术中的任何技术来确定参考图像204的所有或一些像素坐标的自适应形状邻域。如上所示，这种自适应形状邻域响应于结构信息(例如，对象轮廓、边缘或其他结构细节或变化点)来调整它们的形状(例如，范围)，并且因此揭示相应的参考图像像素坐标周围的精细结构细节和元素。
例如，在一些实施例中，可以确定自适应形状邻域(例如，自适应形状邻域304a)，使得其从作为中心的相应参考图像像素坐标在多个方向上各向异性地延伸，以包括在如图3a所示的满足给定规则性(例如，平滑度)条件的形状自适应邻域内的那些参考图像像素。在一些实施例中，自适应形状邻域可以被确定为自适应缩放定向窗口的组合(例如，自适应缩放定向窗口306(1)-306(16))，如图3c和4所示。
在一些实施例中，可以通过将一维线性内核用于预定的一组方向来有效地确定自适应形状邻域。如图5和6所示，根据这样的实施例的确定自适应形状邻域(例如，自适应形状邻域502和602(1)-602(22))可以包括针对从作为中心的相应参考图像像素位置的一组方向来确定线性范围(例如，线性适应缩放内核支持的长度)。例如，可以从一组可变缩放内核支持中最佳近似相应的参考图像像素的支持的长度或比例，来确定每个线性范围。如根据一些实施例的更具体的示例，可以使用统计方法(诸如ici方法)选择在一组线性lpa内核中提供最佳近似的线性lpa内核的长度或比例作为线性范围，如上面参考图7和8所讨论的。针对每个参考图像像素坐标确定的线性范围的多面体壳可以使用如上参考图9所讨论的预先计算的三角来有效地获得，该线性范围的多面体壳表示与像素坐标相关联的自适应形状邻域。
现转到图2的框212，在框210处基于参考图像204确定的自适应形状邻域被应用于经调整大小的目标图像202，以确定每个自适应形状邻域内的目标图像202的超分辨率版本的局部估计。对于一些实施例(如上面结合块208所讨论的)，由于可以针对所有或一些多个参考图像像素坐标确定自适应形状邻域，并且由于每个参考图像像素坐标还可以映射到相应的目标图像像素(其描绘与参考图像像素基本相同的场景中的位置)，可以相对于经调整大小的目标图像202来使用(例如，应用)基于参考图像204确定的自适应形状邻域，以基于经调整大小的目标图像202确定局部估计。
换言之，自适应形状邻域是基于参考图像204的像素确定的，而自适应形状邻域的局部估计是通过一些实施例中的像素坐标的对应关系或通过可以标识描绘场景的基本相同位置的相应参考和目标图像像素的其他关系，基于如被应用于经调整大小的目标图像202的相应自适应形状邻域内的相应目标图像像素来确定的。以这种方式，可以将来自由自适应形状邻域捕获的参考图像204的结构信息(例如，对象轮廓、边缘或其他结构细节)应用于经调整大小的目标图像202，以提高目标图像202的分辨率、清晰度和/或snr。
每个自适应形状邻域的局部估计(如被应用于经调整大小的目标图像202)可以表示自适应形状邻域内(例如，属于)的超分辨率目标图像像素的估计，并且可以以根据本公开的实施例的方式的各种方式确定。例如，在一些实施例中，可以将局部估计确定为自适应形状邻域内的目标图像像素的平均(例如，简单平均值、加权平均值或通过其他平均方法)(例如，这些目标图像像素的像素值的平均)。在根据一些实施例的其他示例中，可以通过对自适应形状邻域内的目标图像像素进行滤波(例如，归一化)来确定局部估计。换言之，这些实施例中的局部估计可以是自适应形状邻域内的目标图像像素的滤波版本(例如，归一化版本)。
可以在这些实施例中使用的滤波操作或滤波器包括：例如使用形状自适应离散余弦变换(sa-dct)或其他形状自适应谐波变换的滤波、使用从各种自适应形状邻域内的相互非局部相似性中学习的自适应变换的滤波、基于稀疏性原理的滤波器、以及基于具有由自适应形状邻域给出的邻近权重的范围和域邻近的滤波器(例如，包括双边滤波器或非局部均值滤波器)。
作为用于确定局部估计的滤波操作的非限制性示例，图10示出了根据本公开的实施例的如何使用sa-dct(例如，通过sa-dct域中的阈值处理)来对自适应形状邻域内的目标图像像素1002进行滤波，以获得经滤波的目标图像像素1012作为局部估计。在图10中，条的高度表示自适应形状邻域内的目标图像像素的像素值。根据所示示例，自适应形状邻域内的目标图像像素1002可以先减去其平均值，以获得减去平均值的目标图像像素1004。这可能有利于减少“平均加权效应”，但在其他实施例中可以省略。可以对于减去平均值的目标图像像素1004(或者如果省略平均值减法，则为目标图像像素1002)执行sa-dct，以获得对应于减去平均值的目标图像像素1004(或者如果省略平均值减法操作，则为目标图像像素1002)的sa-dct系数1006(sa-dct域中的系数)。
sa-dct可以通过一维变化长度dct的级联应用来首先在目标图像像素1004(或如果省略平均值减法，则为目标图像像素1002)的列上执行并然后在行上执行，或者首先在行上执行并然后在列上执行，或者通过sa-dct的其他合适应用。在一些实施例中，在应用第二一维变换之前，可以对准在第一次一维变换之后获得的系数以改善它们的垂直或水平相关性。
另外，在一些实施例中，目标图像像素1004(或目标图像像素1002)可以首先沿其最长方向变换以提高效率。在使用线性范围确定自适应形状邻域的情况下，可以使用所确定的线性范围来容易地确定自适应形状邻域的最长方向。例如，如果针对8个方向确定了线性范围(也称为如上所述的自适应缩放)，则可以基于以下不等式使用的垂直方向和水平方向中的四个线性范围来确定自适应形状邻域的最长方向：h+(x,θ1)+h+(x,θ5)>h+(x,θ3)+h+(x,θ7)。如果满足该不等式，则可以认为自适应形状邻域是水平定向的，并且可以首先在行上执行sa-dct并然后在列上执行sa-dct。否则，可以首先在列上执行sa-dct并然后在行上执行sa-dct。
在通过执行sa-dct获得sa-dct系数1006之后，sa-dct系数1006(例如，通过硬阈值处理或软阈值处理)可以被收缩或以其他方式被修改以生成收缩系数1008。如例如图10中所示，可以通过收缩来消除许多sa-dct系数1006，从而对空间域中的相应目标图像像素进行归一化、规则化或以其他方式滤波。例如，如果sa-dct系数1006不满足阈值，则对sa-dct系数1006执行硬阈值处理将sa-dct系数修改为具有零或其他较小值，从而生成收缩系数1008。
然后可以对收缩系数1008执行sa-dct的逆以获得空间域中的经滤波的减去平均值的图像像素1010，并且从目标图像像素1002减去的平均值可以被加回去，以获得经滤波的图像像素1012。因此，经滤波的图像像素1012是自适应形状邻域中的目标图像像素1002的滤波(例如，归一化、规则化)版本，并且可以被确定为自适应形状邻域的局部估计。如可以理解的，如果省略平均值减法步骤，则不需要加回平均值，并且可以将在逆sa-dct之后获得的图像像素确定为局部估计。
因此，在过程200的框212之后，可以基于自适应形状邻域内的目标图像像素来针对每个自适应形状邻域确定局部估计。每个局部估计可以是相应自适应形状邻域内的目标图像像素的归一化、规则化或以其他方式经滤波的版本，并且可以用作相对于与相应的自适应形状邻域相关联的区域的目标图像202的超分辨率版本的估计。
在框214处，局部估计被聚合或以其他方式被组合以提供表示整个目标图像202或目标图像202的所选择的一个或多个部分的超分辨率版本的全局估计。例如，如果针对与参考图像204和经调整大小的目标图像202相关联的所有像素坐标或足够数量的像素坐标确定自适应形状邻域，则针对这些自适应形状邻域确定的局部估计可以被聚合以获得表示整个目标图像202的超分辨率版本的全局估计。更一般地，例如，针对与参考图像204和经调整大小的目标图像202的任何所选择的一个或多个部分相关联的足够数量的像素坐标确定的自适应形状邻域的局部估计可以用于构建目标图像202的相应的一个或多个部分的超分辨率版本的全局估计。可以预期，针对一些实施例可以提供要被超分辨率的目标图像202的一部分或多个部分(例如，感兴趣的区域，诸如具有详细结构信息的区域)的手动或自动选择，这可以允许更高效地执行过程200，例如，仅需要针对参考图像204和经调整大小的目标图像202中的相应部分确定自适应形状邻域及其局部估计。
如上所述，与不同像素坐标相关联的自适应形状邻域(诸如彼此接近的那些像素坐标)可能经常重叠。在这方面，重叠的不同局部估计可以表示针对重叠部分的目标图像202的超分辨率版本的过完备估计。因此，在各种实施例中，局部估计的聚合包括对局部估计求平均。通常，根据偏方差权衡原则，以这种方式聚合的局部估计产生比每个局部估计更好的估计。
在一些实施例中，可以对局部估计进行加权平均。在其他实施例中，可以使用基于局部估计的统计的自适应权重来对局部估计进行加权平均。如根据一些实施例的一个特定示例，自适应权重可以被确定为属于相应的自适应形状邻域的像素的数量的倒数。因此，在该示例中，自适应形状邻域延伸的区域越大，其局部估计的贡献变得越小。在这方面，使用自适应形状邻域内的像素的数量的倒数有利地解决了这样的情况：其中，较大自适应形状邻域的局部估计“淹没”(例如，稀释)了由其中不同大小的自适应形状邻域重叠的区域(例如，沿着边缘或过渡的图像区域)中的较小自适应形状邻域的局部估计所恢复的更精细细节。在根据一些实施例的另一示例中，自适应权重可以与相应的自适应形状邻域的局部估计的平均样本方差成反比。在根据一些实施例的另一示例中，自适应权重可以响应于与相应的自适应形状邻域相关联的大小(例如，像素的数量)和平均方差二者，诸如与大小和平均样本方差两者成反比。
因此，在框214之后，获得可以表示整个目标图像202(或需要的目标图像202的一个或多个部分)的超分辨率版本(例如，具有提高的分辨率、清晰度和/或snr)的全局估计，因为局部估计是相对于被调整为揭露和捕获参考图像204(具有比目标图像202更高的分辨率、清晰度和/或snr)中的结构信息(例如，对象轮廓，边缘或其他结构细节)的相应自适应形状邻域、基于经调整大小的目标图像202的像素而确定的。
在框216处，将可以表示目标图像202的超分辨率版本的全局估计与目标图像202进行比较以调整全局估计。例如，在各种实施例中，全局估计和目标图像202之间的差异可以被评估，并且被注入回全局估计中以将全局估计约束到目标图像202(例如，确保目标图像202中的每个像素的像素值基本上保留在全局估计中的相应像素组的聚合像素值中)。这在本文可以称为“反投影”。
为举例说明，假设全局估计是具有目标图像202的2x(两倍)原始分辨率(即4倍像素数量)的缩放和超分辨率版本。然后，目标图像202中的一个像素被超分辨率为全局估计中的四个像素，并且该四个全局估计像素可以具有彼此不同和/或与一个原始目标图像像素的不同的四个像素值，因为它们是超分辨率的。反投影确保全局估计中的四个像素的聚合(例如，平均或内插)像素值对应于(例如，基本上保留)一个原始目标像素的像素值。因此，反投影可以有利地保持整个辐射测量观察或读数，诸如红外图像中的辐射温度信息或tof或lidar图像中的距离/深度信息，其由原始目标图像的像素值表示，即使当原始目标图像各自被超分辨率为全局估计中多个像素时。
根据一些实施例，在框216处的反投影可以包括：缩小(例如，缩减或下采样，例如通过双线性缩放)全局估计以匹配目标图像202的图像尺寸；确定目标图像202和缩小的全局估计的像素值中的差异；增大(例如，放大或上采样，例如通过双线性插值)差异以匹配全局估计的图像尺寸；并通过将增大的差异加到全局估计来调整全局估计。在伪代码中，这可以表示为：
差异＝目标图像–缩小(全局估计)；
全局估计＝全局估计+放大(差异)。
在一些实施例中，框216还可以包括评估全局估计以调整图像配准参数。如上面针对框206所讨论的，可以在一些实施例中执行图像配准(图像对准)过程以对准目标图像202和参考图像204。可以理解，由于过程200针对诸如确定局部估计和反投影之类的操作假设了经调整大小的目标图像202和参考图像204之间的像素坐标的一些对应关系，残留图像配准误差可能影响全局估计或反投影全局估计的质量。例如，发明人通过进行与本公开相关的实验已经发现，较小的配准误差可能在全局估计中产生一些微小的“假边缘”。
因此，在一些实施例中，可以分析全局估计或反投影全局估计以检测这种较小的假边缘。基于分析和检测，例如，如果微小假边缘的出现超过预定阈值，则可以调整用于图像配准过程的一个或多个参数(例如，用于特征或强度检测灵敏度的参数、变换的选择)。在一些实施例中，图像配准参数的调整可以涉及利用调整后的图像配准参数在框206处重复来自图像配准过程的过程200一次或多次(例如，重复框206-216的相关部分)，并针对轻微假边缘重新评估全局估计(或反投影全局估计)。以这种方式，例如，可以获得用于图像配准参数的多个候选者，并且可以搜索和选择产生最低边缘能量的候选者(例如，通过全局估计的梯度的一些范数来测量)以及所得到的候选者，以获得不被图像配准误差不期望地影响的全局估计。该搜索和选择过程可以是直接搜索优化问题的形式，因此例如可以通过例如nelder-mead单纯形算法或其他合适的方法来解决。
在框218处，增加用于确定自适应形状邻域的灵敏度(例如，灵敏度参数)。在框220处，如果确定要执行框210到218的另一次迭代以获得具有更精细细节的更新的全局估计(即框220处的测试为，是)，则过程200流回到框210以利用增加的灵敏度参数并利用被提供为框210的新目标图像的全局估计(或反投影全部估计)来执行来自框210的另一次迭代。若否(即框220处的测试为否)，则过程200前进到框222。
如上面针对框210并且参考图8所讨论的，基于给定图像像素坐标处和周围的参考图像像素的规则性(例如，平滑度)来确定来自给定参考图像像素坐标的每个自适应形状邻域的范围(例如，形状)，并且用于确定这些像素是否足够规则的规则性条件或标准可以针对其灵敏度来调整。还如所讨论的，如果用于确定自适应形状邻域的灵敏度被增加，则每个自适应形状邻域的大小可以减少或最多保持相同(不增加)，使得参考图像204中的更精细的结构细节可以是由较小尺寸的自适应形状邻域揭示。
因此，根据一些实施例，用于确定自适应形状邻域的灵敏度被增加，并且通过确定全局估计(或反投影全局估计)来确定自适应形状邻域的操作对于全局估计(或反投影全局估计)被重复，以获得可以揭示更精细的结构细节的更新的全局估计。例如，在其中使用lpa内核和ici方法确定提供对自适应形状邻域的支持的线性范围的实施例中，可以减小阈值参数γ以增加用于确定自适应形状邻域的灵敏度，如以上参照图8所讨论的。在一个实施例中，阈值参数γ可以指数地减小。
在一些实施例中，在框220处确定是否要执行另一次迭代的测试可以包括确定所增加的灵敏度是否已经达到预定阈值(例如，降低的阈值参数γ是否仍然高于预定阈值，诸如γ>0)。在一些实施例中，框220处的测试可以包括确定框210到218是否已经重复了足够多次迭代(例如，迭代次数是否已经达到预定的最大迭代次数)。在一些实施例中，对灵敏度和迭代次数的测试都可以包括在框220的测试中。
还参考图11，根据本公开的实施例，所确定的自适应形状邻域和全局估计的示例进展被示出为框210到218以增加的灵敏度被重复多次迭代。图11中所示的示例进展以参考图像1104和经调整大小的目标图像1102开始，在顶部的行被示出。可以在框206处接收参考图像1104，并且可以通过以增加的灵敏度(例如，减小阈值参数γ的值)重复框210来基于具有更精细粒度的参考图像1104确定自适应形状邻域1106。经调整大小的目标图像1102可以基于在框206处接收的目标图像，并且在框208处被调整大小到期望的比例，并且可以通过重复框212和214(以及对于一些实施例的框216)来更新全局估计1108，以在以更精细的粒度确定自适应形状邻域1106时提供具有增加的结构细节的经调整大小的目标图像1102的超分辨版本。具体地，图11的示例示出了针对框210到218的四次迭代获得的自适应形状邻域1106和全局估计1108，在此期间，至少一些自适应形状邻域1106变得更小以揭示更精细的结构细节，并且全局估计1108被相应地更新以显示更清晰的边缘和更多结构细节。
应当注意，为了清楚地指示自适应形状邻域，参考图像1104和全局估计1108在图11中针对迭代1至4被示出为褪色。也就是说，框210到218的操作实际上不会或不一定产生这样的褪色的参考图像1104和全局估计1108。还要注意，在全局估计1108上指示自适应形状邻域，以说明所确定的自适应形状邻域在经调整大小的目标图像1102和全局估计1108的相应像素位置处的应用，如上面针对框212所讨论的；应当理解，基于参考图像1104确定自适应形状邻域1106，如上面针对框210所讨论的。
在框210到220已经重复期望的迭代次数以获得具有更精细结构细节的更新的全局估计之后，过程200流到框222以检查表示目标图像202的超分辨版本的全局估计是否具有期望的图像尺寸(例如，大小)。若否，则过程流回到框208以将全局估计调整大小(例如，增大或上采样)到更大的尺寸，并且用经调整大小的全局估计作为新的调整大小的目标图像来重复框208到222。例如，如果假设使用原始目标图像202的2倍尺寸(例如，图像尺寸)并利用框208到222的一次运行来获得全局估计，但是期望超分辨率到8倍原始目标图像202尺寸，则框222处的测试将使过程200重复框208到220一次，以获得具有4倍原始目标图像202大小的全局估计，并重复框208到220两次以获得具有8倍原始目标图像202大小的全局估计。
如果满足框222处的测试，则获得对应于(并因此可以用作)期望图像尺寸的原始目标图像202的超分辨版本的全局估计。因此，在框222之后，获得自身低分辨率图像(例如，lwir图像、tof图像)的超分辨版本，其可提供更清晰、更易于理解、更视觉上令人愉悦且更内容丰富的图像和视频供用户在显示时查看，并提高在被提供作为这些操作的输入时的各种其他视频处理和分析操作(诸如对象检测、对象标识、目标跟踪、分割、场景跟踪和其他分析操作)的性能。
根据图2所示实施例的过程200包括框224和226，以进一步增强超分辨图像。具体地，在框224处，基于从参考图像204提取的边缘信息(例如，边缘、轮廓和/或其他结构细节的位置)来锐化在框222之后获得的全局估计。可以针对来自全局估计(例如，来自整个全局估计或来自全局估计的一个或多个期望的部分)的多个像素中的每一个应用任何合适的图像锐化滤波器，其中用于所选的锐化滤波器的一个或多个参数可以基于如基于参考图像204确定的像素处和周围的边缘、轮廓和/或其他结构细节的存在来调整。在根据一些实施例的一个示例中，可以应用经修改的三边锐化滤波器。具体地，可以执行每个像素的3×3邻域上的加权平均，其中权重基于从参考图像204提取的相应区域的边缘信息。
在一些实施例中，框224可以包括以与针对框208所描述的类似方式将全局估计调整大小到更大的图像尺寸。因此，在这些实施例中，在经调整大小的全局估计上执行框224处的成像锐化。此外，根据一些实施例，可以在框224处执行对全局估计的这种调整大小和锐化的一次以上的迭代，以实现期望的分辨率。对于其中全局估计的调整大小和锐化被迭代一次以上直到实现期望的分辨率的实施例中，可以在迭代之间执行反投影以保持如上针对框216所述的整体辐射测量观察或读数。
在框226处，从参考图像204提取的边缘信息被覆盖或以其他方式与全局估计(例如，在一些实施例中，经锐化的全局估计)相组合。例如，可以根据于2015年10月23日提交的名为“infraredresolutionandcontrastenhancementwithfusion(利用融合的红外分辨率和对比度增强)”的美国专利申请no.14/922,076、于2015年10月27公布的名为“infraredresolutionandcontrastenhancementwithfusion(利用融合的红外分辨率和对比度增强)”的美国专利no.9,171,361、于2013年10月22日公布的名为“infraredresolutionandcontrastenhancementwithfusion(利用融合的红外分辨率和对比度增强)”的美国专利no.8,565,547、以及于2013年8月27日公布的名为“infraredresolutionandcontrastenhancementwithfusion(利用融合的红外分辨率和对比度增强)”的美国专利no.8,520,970中公开的各种技术，来从参考图像204提取边缘信息并将其添加到或以其他方式用于修改全局估计(例如，添加到亮度信道或以其他方式用于修改像素值)，所有上述项通过引用整体并入本文。然而，在其他实施例中可以省略框224和/或226。
因此，在框222之后，获得对应于期望图像尺寸的原始目标图像202的超分辨版本的全局估计，在框224之后，基于从参考图像204提取的边缘信息进一步锐化全局估计，在框226之后，以覆盖在全局估计上的边缘信息进一步增强全局估计。然而，应注意，在其他实施例中可以省略框224和/或226。
根据本公开的实施例，原始目标图像和在这些处理的各个阶段获得的全局估计的示例在图12a-d被示出用于比较。具体地，图12a示出了要被超分辨的原始目标图像1202(例如，目标图像202)的示例，图12b示出了对应于在框222之后(例如，在框210至220以及框208至222的一次或多次迭代之后)获得的原始目标图像的超分辨版本的全局估计1204，图12c示出了在框224之后获得的经锐化的全局估计1206，以及图12d示出了在框226之后具有边缘信息重叠1208的经锐化的全局估计。如图12a-b的示例所示，对应于原始目标图像1202的超分辨版本的全局估计1204示出了具有比原始目标图像1202更高分辨率、更高清晰度和更多结构细节的对象，该原始目标图像1202以粗略像素和以模糊轮廓和边线示出对象。经锐化的全局估计1206示出了比全局估计1204甚至更加清晰的对象的边线、边缘和轮廓。锐化和边缘重叠全局估计1208示出了在原始目标图像1202中不可见的边线、边缘和轮廓，以便改进在用户观看时对场景和对象的解释和理解。
因此，可以利用根据各种实施例的本文公开的方法和系统来增强目标图像的分辨率、清晰度和/或snr，以提供更清晰、更易于理解，更加视觉上令人愉悦并且更加内容丰富的图像和视频，以用于查看和进一步图像处理。使用自适应形状邻域来获得图像分辨率的这种有益增强，该自适应形状邻域使其形状(例如，范围)适应于描绘与目标图像相同的场景的更高分辨率“导频”或“参考”图像中捕获的结构信息，如所讨论的以上各种实施例。可以基于参考图像确定这样的自适应形状邻域，以根据本文结合各种实施例公开的技术以高效且实际的方式揭示和捕获参考图像中包含的结构细节。将自适应形状邻域应用于增大的目标图像以获得关于自适应形状邻域的超分辨图像的局部估计，并且将局部估计进行聚合以提供对应于目标图像(例如，整个目标图像或目标图像的选定区域)的超分辨版本的全局估计。全局估计可以使用自适应形状邻域来以越来越精细的结构信息被更新多次，其对于落入其中的参考图像像素的规则性(例如，平滑度)越来越敏感，并因此可以更小以适应更精细的结构细节。基于从参考图像提取的信息，可以根据需要进一步增强全局估计以锐化和/或在全局估计中添加边缘、轮廓和/或边线。
尽管上面的各种实施例以二维(2d)目标和参考图像作为示例被示出，但是上面针对各种实施例描述的技术可以应用于更高维度的目标和参考图像(例如，3d图像、或任何n维图像)，如参考3d、3e和6b讨论的。在这方面，可以关于三个轴(x、y和z轴)或任何n维坐标系执行图2的方法200的相关操作，以增强三维或更高维目标图像。在示例性3d应用中，可以确定自适应形状邻域，使得它们从x、y和z轴上的每个参考3d体积图像体素延伸以形成体积(例如，在使用如上所述但在三个轴上的线性范围来近似自适应形状邻域的实施例中的多面体壳)，该体积包括满足给定规则性条件的那些体素，并且从参考3d体积图像确定的自适应形状邻域可以被应用于经调整大小的目标3d体积图像的相应体素，以获得被聚合以提供对超分辨目标3d体积图像的全局估计的体积局部估计。
例如，在捕获患者身体的3d体积图像的医学成像应用中，可以使用较高分辨率的体积图像(例如，由ct扫描仪捕获)来增强较低分辨率的体积图像(例如，由pet扫描仪捕获)以作为参考图像。在又一示例中，随时间收集的这种3d体积图像可以共同提供具有不同成像和时间分辨率的4d图像，其可以根据本公开的各种实施例来增强。还考虑了交叉增强，其中图像可以是关于不同维度的目标图像和参考图像。例如，具有较低3d成像分辨率但较高时间分辨率(例如，以较短时间间隔捕获)的4d图像可以用作关于时间分辨率的参考图像，同时是关于3d成像分辨率的目标图像。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的各种实施例。此外，在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以被组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件组件和/或软件组件分成包括软件、硬件或两者的子组件。另外，在适用的情况下，预期的是软件组件可以实现为硬件组件，反之亦然。
根据本公开的软件(诸如非暂态指令、程序代码和/或数据)可以存储在一个或多个非暂态机器可读介质上。还预期本文中标识的软件可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统实现。在适用的情况下，本文描述的各种步骤的顺序可以被改变、被组合成复合步骤、和/或被分成子步骤以提供本文描述的特征。
上述实施例说明但不限制本发明。还应该理解，根据本发明的原理可以进行许多修改和变化。因此，本发明的范围仅由所附权利要求限定。
- 还没有人留言评论。精彩留言会获得点赞！