超分辨率图像的获取方法和获取装置制造方法
【专利摘要】本申请实施例公开了一种超分辨率图像的获取方法和获取装置，其中一种超分辨率图像的获取方法包括：确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布；基于调节后的所述各相机分别获取待摄场景的图像；根据获取的各图像获取所述待摄场景的一超分辨率图像。本申请实施例提高了超分辨率图像中与所述第一区对应的子图像的成像质量。
【专利说明】超分辨率图像的获取方法和获取装置
【技术领域】
[0001] 本申请涉及图像处理【技术领域】，特别是涉及一种超分辨率图像的获取方法和获取 装直。
【背景技术】
[0002] 图像分辨率是评价图像质量的重要指标之一。为了提高图像分辨率，可由多 张对同一场景拍摄得到的内容相似但空间（Spatio)和/或时间（Temporal)等信息 不完全相同的多张低分辨率（Low-Resolution)图像进行软件处理，生成一超分辨率 (Super-Resolution)图像。超分辨率图像的应用广泛，例如可应用但不限于：恢复不同采 集场景中损失的高频信息，如失焦、运动模糊、非理想采样等等，甚至可用于恢复超过光学 系统散射极限（^Diffraction Limit)的高频空间信息。
[0003] 随着成像技术的不断发展，基于相机阵列获取超分辨率图像的技术引起研究人员 的高度关注。所述相机阵列也可称为阵列式相机或阵列相机，相对于传统的单个相机而言， 视野更宽，通常包括多个阵列分布的相机，其中，每个相机具有独立的光学镜头和图像传感 器。采用相机阵列对待摄场景进行图像采集时，相机阵列中的每个相机都可以分别拍摄该 场景的一副图像，不同相机所拍摄得到的图像之间存在一定的视野偏移，这样，就得到了内 容相似但具有景象视野的多幅图像，根据这些多幅图像可获取一超分辨率图像，该超分辨 率的图像的分辨率均大于各相机获取的单幅图像的分辨率，例如：对于一个NXN个相机构 成的相机阵列而言，假设每个相机的图像传感器的像素点为DXD个，则在理想情况下，根 据所述相机阵列各相机获取的图像可生成分辨率为NDXND。
【发明内容】
[0004] 在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本 理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的 关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0005] 本申请提供一种超分辨率图像的获取方法和获取装置。
[0006] -方面，本申请实施例提供了一种超分辨率图像的获取方法，包括：
[0007] 确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素 点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区 域，所述第一区为所述待摄场景的至少局部；
[0008] 根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像 素点分布；
[0009] 基于调节后的所述各相机分别获取待摄场景的图像；
[0010] 根据获取的各图像获取所述待摄场景的一超分辨率图像。
[0011] 另一方面，本申请实施例还提供了一种超分辨率图像的获取装置，包括：
[0012] 一目标偏移距离确定模块，用于确定相机阵列的任两个相邻相机的图像传感器各 自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传 感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；
[0013] 一像素点分布调节模块，用于根据所述子像素级目标偏移距离调节所述相机阵列 中各相机的图像传感器的像素点分布；
[0014] 一图像获取模块，用于基于调节后的所述各相机分别获取待摄场景的图像；
[0015] 一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨 率图像。
[0016] 本申请实施例提供的技术方案，可充分利用相机阵列的各图像传感器的整体像素 来差异化采集待摄场景稍有视野偏差的多幅图像，具体而言，可根据任两个相邻相机的图 像传感器分别对应待摄场景的第一区的待调节区相应逻辑像素点的子像素级目标偏移距 离，对所述相机阵列中各相机的图像传感器的像素点分布进行调整，使得在满足所述子像 素级目标偏移距离的条件下各图像传感器对应所述第一区的成像区域的像素点数量更多， 也就是说，将各图像传感器的像素点在满足所述子像素级目标偏移距离的情形下将像素点 尽可能多的集中在所述第一区内，以使各图像传感器在满足超分辨率图像所需的子像素级 偏移的基础上，增加待调节区的像素点来提高图像采集效率，从而增加各图像传感器获取 的各图像中对应所述第一区的子图像的分辨率、且相邻相机获取的各图像之间存在与子像 素级目标偏移距离对应的视野偏差，进而提高了获取的超分辨率图像中对应所述第一区的 子图像的成像质量。
[0017] 通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的 优点将更加明显。
【专利附图】
【附图说明】
[0018] 本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 申请的可选实施例和解释本申请的原理和优点。在附图中：
[0019] 图la为本申请实施例提供的一种超分辨率图像的获取方法流程图；
[0020] 图lb为本申请实施例提供第一种像素密度可调的图像传感器的结构示意图；
[0021] 图1C为本申请实施例提供第二种像素密度可调的图像传感器的结构示意图；
[0022] 图Id为本申请实施例提供第三种像素密度可调的图像传感器的结构示意图；
[0023] 图le为本申请实施例提供第四种像素密度可调的图像传感器的结构示意图；
[0024] 图If为本申请实施例提供图像传感器在不均匀光场激励情形时进行像素密度调 整的场景不例；
[0025] 图lg为本申请实施例提供第五种像素密度可调的图像传感器的结构示意图；
[0026] 图lh为本申请实施例提供第六种像素密度可调的图像传感器的结构示意图；
[0027] 图li为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图；
[0028] 图lj为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图；
[0029] 图2a为本发明实施例提供的一种相机阵列各相机的图像传感器像素分布示例；
[0030] 图2b为本发明实施例提供的一种相邻相机的图像传感器相应逻辑像素点的偏移 示例；
[0031] 图2c为本发明实施例提供的另一种相邻相机的图像传感器相应逻辑像素点的偏 移示例；
[0032] 图2d为本发明实施例提供的又一种相邻相机的图像传感器相应逻辑像素点的偏 移示例；
[0033] 图3为本发明实施例提供的一种调节后图像传感器的像素点分布示例；
[0034] 图4为本发明实施例提供的一种超分辨率图像的生成示例；
[0035] 图5为本申请实施例提供的一种超分辨率图像的获取装置的逻辑框图；
[0036] 图6为本申请实施例提供的另一种超分辨率图像的获取装置的逻辑框图；
[0037] 图7为本申请实施例提供的一种第一区确定模块的逻辑框图；
[0038] 图8为本申请实施例提供的一种像素点分布调节模块的逻辑框图；
[0039] 图9为本申请实施例提供的又一种超分辨率图像的获取装置的逻辑框图。
[0040] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本申请实施例的理解。
【具体实施方式】
[0041] 在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起 见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际 实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例 如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不 同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于 本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0042] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和 说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对 与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
[0043] 下面结合附图（若干附图中相同的标号表示相同的元素）和实施例，对本申请的
【具体实施方式】作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范 围。
[0044] 本领域技术人员可以理解，本申请中的"第一"、"第二"等术语仅用于区别不同步 骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0045] 本申请发明人在实践本申请实施例的过程中发现，通常基于相机阵列进行待摄场 景的图像采集时，所述相机阵列的各相机的图像传感器的像素均匀分布，基于各图像传感 器采集可得到该场景稍有视野偏差的多幅图像，基于这些图像可获取一超分辨率图像。然 而在某些场景下，该场景的不同区域通常对用户而言具有不同的意义和/或重要性，即用 户对待摄场景不同区域的成像质量要求不尽相同。例如：在人物拍摄场景下，用户对场景中 人脸的感兴趣程度要高于场景中的景物，故对获取的超分辨率图像中关于人脸部分成像的 图像空间分辨率、信噪比等要求较高；等等。为此，本申请实施例提供了一种超分辨率图像 的获取方法，可充分利用相机阵列的各图像传感器的整体像素来差异化采集待摄场景稍有 视野偏差的多幅图像，由此更好满足用户多样化的应用需求。下面结合附图进一步说明技 术方案。
[0046] 图la为本申请实施例提供的一种超分辨率图像的获取方法流程图。本申请实施 例提供的超分辨率图像的获取方法的执行主体可为某一超分辨率图像的获取装置，所述超 分辨率图像的获取装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该 超分辨率图像的获取方法进行静态或动态的图像处理控制。所述超分辨率图像的获取装置 的设备表现形式不受限制，例如所述超分辨率图像的获取装置可为某一独立的部件，该部 件与相机阵列配合通信；或者，所述超分辨率图像的获取装置可作为某一功能模块集成在 一相机阵列中，本申请实施例对此并不限制。
[0047] 具体如图la所示，本申请实施例提供的一种超分辨率图像的获取方法包括：
[0048] S101 :确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻 辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成 像区域，所述第一区为所述待摄场景的至少局部。
[0049] 所述相机阵列可包括阵列分布的NXM个相机，其中，N为大于或等于1的整数、且 M为大于1的整数，或者，N为大于1的整数、且M为大于或等于1的整数。
[0050] 所述相机阵列中每个相机具有独立的光学镜头和图像传感器，所述相机阵列的各 相机同构或者至少部分相机异构，各相机的光学镜头可根据实际需要设置不同滤光元件， 例如：蓝色滤光元件、红色滤光元件或者绿色滤光元件等等。本申请实施例不妨以多个同构 相机阵列分布形成的相机阵列为例进行说明，对于异构相机阵列也存在相似的技术方案， 本申请实施例在此不再赘述。
[0051] 每个相机的图像传感器的每个像素点均有一个逻辑信息，所述逻辑信息也可称为 像素的索引信息，用来表示该像素点是图像传感器中的哪个像素点，如是第n行的第m个像 素点。相机阵列中相邻两个相机的图像传感器之间的参考线（也可称为基线，Baseline)会 引入视差偏移，这样，相邻图像传感器对应待摄场景的第一区的成像区域，在两个相邻相机 的图像传感器各自的成像区域的位置并非完全对应。考虑所述基线偏移后，相邻图像传感 器对应的逻辑像素点即为本申请实施例所述的相应逻辑像素点，待摄场景的同一部分信息 在相邻图像传感器的相应逻辑像素点分别予以记录。根据相邻图像传感器基线的偏移关系 可得到相邻图像传感器各像素点的逻辑信息的对应关系，而根据所述各像素点的逻辑信息 的对应关系，可确定两个相邻图像传感器中，一图像传感器与另一图像传感器的某逻辑像 素点相应的逻辑像素点是哪个。例如，请参考图2a，假设两个相邻相机A、B的图像传感器的 基线在X向上存在2个像素的偏移，则图像传感器A某行逻辑信息为0、1、2、3、4......的 像素点，与图像传感器B相同行逻辑信息为2'、3'、4'、5'、6'......的像素点（在图2a的 括号中标出了像素点逻辑或序号信息的对应关系），分别为相应逻辑像素点；如图2a所示， 相机A和B各自的图像传感器分别对应待摄场景相同部分的成像区域a、b也存在一定的偏 移。
[0052] 为了获取高于所述相机阵列中某单个相机采集到的图像的分辨率的图像，也即超 分辨率图像，所述相机阵列中任两个相邻相机的图像传感器的相应逻辑像素点之间需要按 照某一子像素级距离偏移的方式分布。
[0053] 图像传感器调节前的任两个相邻像素点中心之间的距离称为一个像素距离 (pixel pitch) d，所述"子像素级距离"就是小于像素距离d的某一距离，如
【权利要求】
1. 一种超分辨率图像的获取方法，其特征在于，包括： 确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的 子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所 述第一区为所述待摄场景的至少局部； 根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点 分布； 基于调节后的所述各相机分别获取待摄场景的图像； 根据获取的各图像获取所述待摄场景的一超分辨率图像。
2. 根据权利要求1所述的获取方法，其特征在于， 所述获取方法还包括：获取所述任两个相邻相机的图像传感器中相应逻辑像素点的缺 省子像素级偏移距离； 确定所述子像素级目标偏移距离，包括：至少根据所述缺省子像素级偏移距离确定所 述子像素级目标偏移距离，以使所述子像素级目标偏移距离小于所述缺省子像素级偏移距 离。
3. 根据权利要求2所述的获取方法，其特征在于，确定所述子像素级目标偏移距离，包 括：至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述 子像素级目标偏移距离。
4. 根据权利要求1或2所述的获取方法，其特征在于，所述获取方法还包括：确定所述 第一区。
5. 根据权利要求4所述的获取方法，其特征在于，确定所述第一区，包括： 基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息； 确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
6. 根据权利要求4所述的获取方法，其特征在于，确定所述第一区，包括： 对所述相机阵列关于所述待摄场景的预览图像进行图像分析； 根据所述图像分析结果确定所述第一区。
7. 根据权利要求1-6任一所述的获取方法，其特征在于，各所述待调节区内调节后相 应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离。
8. 根据权利要求1-6任一所述的获取方法，其特征在于，各所述待调节区内调节后相 应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许误 差范围。
9. 根据权利要求1-6任一所述的获取方法，其特征在于，根据所述子像素级目标偏移 距离调节所述各相机的图像传感器的像素点分布，包括： 根据所述子像素级目标偏移距离确定所述各相机的图像传感器的可控变形材料部的 形变控制信息； 根据所述形变控制信息控制各所述可控变形材料部发生形变，以通过各所述可控变形 材料部的形变相应调整所述各相机的图像传感器的像素点分布。
10. 根据权利要求7所述的获取方法，其特征在于，所述可控变形材料部至少由以下一 种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
11. 一种超分辨率图像的获取装置，其特征在于，包括： 一目标偏移距离确定模块，用于确定相机阵列的任两个相邻相机的图像传感器各自的 待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器 分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部； 一像素点分布调节模块，用于根据所述子像素级目标偏移距离调节所述相机阵列中各 相机的图像传感器的像素点分布； 一图像获取模块，用于基于调节后的所述各相机分别获取待摄场景的图像； 一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨率图 像。
12. 根据权利要求11所述的获取装置，其特征在于， 所述获取装置还包括：一缺省偏移距离获取模块，用于获取所述任两个相邻相机的图 像传感器中相应逻辑像素点的缺省子像素级偏移距离； 所述目标偏移距离确定模块包括：第一目标偏移距离确定子模块，用于至少根据所述 缺省子像素级偏移距离确定所述子像素级目标偏移距离，以使所述子像素级目标偏移距离 小于所述缺省子像素级偏移距离。
13. 根据权利要求11所述的获取装置，其特征在于， 所述目标偏移距离确定模块包括：一第二目标偏移距离确定子模块，用于至少根据一 个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述子像素级目标偏 移距离。
14. 根据权利要求11-13任一所述的获取装置，其特征在于，所述获取装置还包括： 一第一区确定模块，用于确定所述第一区。
15. 根据权利要求14所述的获取装置，其特征在于，所述第一区确定模块包括： 一感兴趣区确定信息获取子模块，用于基于所述相机阵列关于所述待摄场景的预览图 像获取感兴趣区确定信息； 一感兴趣区确定子模块，用于确定所述待摄场景中与所述感兴趣区确定信息对应的区 域为所述第一区。
16. 根据权利要求14所述的获取装置，其特征在于，所述第一区确定模块包括： 一图像分析子模块，用于对所述相机阵列关于所述待摄场景的预览图像进行图像分 析； 一第一区确定子模块，用于根据所述图像分析结果确定所述第一区。
17. 根据权利要求11-16任一所述的获取装置，其特征在于，各所述待调节区内调节后 相应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离。
18. 根据权利要求11-16任一所述的获取装置，其特征在于，各所述待调节区内调节后 相应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许 误差范围。
19. 根据权利要求11-18任一所述的获取装置，其特征在于，所述像素点分布调节模块 包括： 一形变控制信息确定子模块，用于根据所述子像素级目标偏移距离确定所述各相机的 图像传感器的可控变形材料部的形变控制信息； 一形变控制子模块，用于根据所述形变控制信息控制各所述可控变形材料部发生形 变，以通过各所述可控变形材料部的形变相应调整所述各相机的图像传感器的像素点分 布。
20.根据权利要求19所述的获取装置，其特征在于，所述可控变形材料部至少由以下 一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材 料。
【文档编号】H04N5/349GK104320596SQ201410522902
【公开日】2015年1月28日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】周梁, 杜琳 申请人:北京智谷技术服务有限公司