光场采集控制方法和装置、光场采集设备的制作方法
【专利摘要】本申请实施例公开了一种光场采集控制方法和装置以及一种光场采集设备，其中一种光场采集控制方法包括：径向调整光场相机的图像传感器的像素密度分布，以使调整后的所述图像传感器中至少一成像区域各自的像素不变但像素密度发生变化，一所述成像区域为所述图像传感器中与所述光场相机的子透镜阵列的一子透镜对应的区域；经调整后的所述图像传感器进行待摄场景的光场采集。本申请实施例可充分利用图像传感器的现有像素进行深度方向非均匀的光场采集，满足用户多样化的实际应用需求。
【专利说明】光场采集控制方法和装置、光场采集设备
【技术领域】
[0001] 本申请涉及光场采集【技术领域】，特别是涉及一种光场采集控制方法和装置以及一 种光场采集设备。
【背景技术】
[0002] 光场相机是一种利用子透镜阵列来记录和再现三维场景的成像技术，其通常是在 主透镜和如C⑶等图像传感器之间放置一子透镜阵列，通过子透镜阵列将三维场景不同方 向的光场信息在子透镜阵列的焦平面上进行记录。
[0003] 与传统相机的二维图像采集方式不同，光场相机通过单次曝光可以记录三维场景 的空间、视角等四维光场信息，支持"先拍摄后调焦"（即拍摄时不需要对焦），通过对拍摄 后的图像进行处理即可以生成丰富的图像效果，可满足例如数字重对焦、视角变化、深度图 像、三维重构、全对焦图像等多种成像应用。
【发明内容】
[0004] 在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本 理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的 关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0005] 本申请提供一种光场采集控制方法和装置以及一种图像采集设备。
[0006] -方面，本申请实施例提供了一种光场米集控制方法，包括：
[0007] 径向调整光场相机的图像传感器的像素密度分布，以使调整后的所述图像传感器 中至少一成像区域各自的像素不变但像素密度发生变化，一所述成像区域为所述图像传感 器中与所述光场相机的子透镜阵列的一子透镜对应的区域；
[0008] 经调整后的所述图像传感器进行待摄场景的光场采集。
[0009] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，径向调整所述 图像传感器的像素密度分布，包括：确定所述至少一成像区域各自待调节的第一成像子区； 根据各所述第一成像子区径向调整所述图像传感器的像素密度分布，以使调整后的所述至 少一成像区域各自的像素总数不变但各所述第一成像子区内的像素密度分布发生变化。
[0010] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，一所述第一成 像子区为一所述成像区域中具有一定径向宽度的环带区域。
[0011] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，确定所述至少 一成像区域各自待调节的第一成像子区，包括：获取拍摄深度子范围；确定所述至少一成 像区域中影响所述拍摄深度子范围光场采集的各成像子区，为各待调节的所述第一成像子 区。
[0012] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，获取拍摄深度 子范围，包括：根据所述光场相机的拍摄深度容许范围确定所述拍摄深度子范围。
[0013] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，获取拍摄深度 子范围，包括：根据所述待摄场景的深度信息确定所述拍摄深度子范围。
[0014] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，根据各所述第 一成像子区径向调整所述图像传感器的像素密度分布，包括：确定所述图像传感器径向的 目标像素密度分布信息，所述目标像素密度分布信息中，一所述成像区域的一所述第一成 像子区对应的目标像素密度异于一第二成像子区，所述第二成像子区为所述成像区域除所 述第一成像子区之外的其他至少部分区域；根据所述目标像素密度分布信息调整所述图像 传感器的像素密度分布。
[0015] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，所述目标像素 密度分布信息中，至少二个所述第一成像子区分别对应的目标像素密度不同。
[0016] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，所述目标像素 密度分布信息中，对应至少二个所述第一成像子区分别对应的目标像素密度相同。
[0017] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，根据所述目标 像素密度分布信息调整所述图像传感器的像素密度分布，包括：根据所述目标像素密度分 布信息确定可控变形材料部的形变控制信息；根据所述形变控制信息控制所述可控变形材 料部发生形变，以通过所述可控变形材料部的形变相应调整所述图像传感器的像素密度分 布。
[0018] 结合本申请实施例一方面提供的任一种可选的实现方式，可选的，所述可控变形 材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变 材料、磁致伸缩材料。
[0019] 另一方面，本申请实施例还提供了一种光场采集控制装置，包括：
[0020] -像素密度径向调整模块，用于径向调整光场相机的图像传感器的像素密度分 布，以使调整后的所述图像传感器中至少一成像区域各自的像素不变但像素密度发生变 化，一所述成像区域为所述图像传感器中与所述光场相机的子透镜阵列的一子透镜对应的 区域；
[0021] 一光场采集模块，用于经调整后的所述图像传感器进行待摄场景的光场采集。
[0022] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述像素密 度径向调整模块包括：一第一成像子区确定子模块，用于确定所述至少一成像区域各自待 调节的第一成像子区；一像素密度径向调整子模块，用于根据各所述第一成像子区径向调 整所述图像传感器的像素密度分布，以使调整后的所述至少一成像区域各自的像素总数不 变但各所述第一成像子区内的像素密度分布发生变化。
[0023] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，一所述第一 成像子区为一所述成像区域中具有一定径向宽度的环带区域。
[0024] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述第一成 像子区确定子模块包括：一拍摄深度子范围获取单元，用于获取拍摄深度子范围；一第一 成像子区确定单元，用于确定所述至少一成像区域中影响所述拍摄深度子范围光场采集的 各成像子区，为各待调节的所述第一成像子区。
[0025] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述拍摄深 度子范围获取单元包括：一第一拍摄深度子范围获取子单元，用于根据所述光场相机的拍 摄深度容许范围确定所述拍摄深度子范围。
[0026] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述拍摄深 度子范围获取单元包括：一第二拍摄深度子范围获取子单元，用于根据所述待摄场景的深 度信息确定所述拍摄深度子范围。
[0027] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述第一成 像子区确定子模块包括：一目标像素密度分布信息确定单元，用于确定所述图像传感器径 向的目标像素密度分布信息，所述目标像素密度分布信息中，一所述成像区域的一所述第 一成像子区对应的目标像素密度异于一第二成像子区，所述第二成像子区为所述成像区域 除所述第一成像子区之外的其他至少部分区域；一像素密度分布调整单元，用于根据所述 目标像素密度分布信息调整所述图像传感器的像素密度分布。
[0028] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述目标像 素密度分布信息中，至少二个所述第一成像子区分别对应的目标像素密度不同。
[0029] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述目标像 素密度分布信息中，对应至少二个所述第一成像子区分别对应的目标像素密度相同。
[0030] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述像素密 度分布调整单元包括：一形变控制信息确定子单元，用于根据所述目标像素密度分布信息 确定可控变形材料部的形变控制信息；一形变控制子单元，用于根据所述形变控制信息控 制所述可控变形材料部发生形变，以通过所述可控变形材料部的形变相应调整所述图像传 感器的像素密度分布。
[0031] 结合本申请实施例另一方面提供的任一种可选的实现方式，可选的，所述可控变 形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形 变材料、磁致伸缩材料。
[0032] 再一方面，本申请实施例提供了一种光场采集设备，包括一光场相机和本申请实 施例提供的任一种光场采集控制装置，所述光场采集控制装置与所述光场相机连接。
[0033] 结合本申请实施例再一方面提供的任一种可选的实现方式，可选的，所述图像传 感器包括：阵列分布的多个图像传感器像素；一可控变形材料部，分别与多个所述图像传 感器像素连接；所述可控变形材料部在外场作用下可发生形变、并通过所述形变相应调整 多个所述图像传感器像素的密度分布；所述外场由所述光场采集控制装置控制。
[0034] 本申请实施例提供的技术方案通过对图像传感器像素分布进行径向调整，所述图 像传感器进行径向像素密度调整之后，图像传感器的至少一成像区域内不同弥散圆半径内 的像素密度分布呈现非均匀的差异化分布，相当于对所述至少一成像区域内的像素分布进 行了重新调整，而经调整后的所述图像传感器进行待摄场景的光场采集，使得在不同深度 上采集到的光场信息的丰富程度存在差异，不同深度对应的光场图像的重对焦精度也发生 相应的非均匀分布，该方案有利于充分利用图像传感器的现有像素对用户或设备关注或感 兴趣的深度范围获取较高的重对焦精度，以基于采集到的光场图像获取该深度范围更为丰 富的重对焦图像信息，由此提高光场采集效率，更好满足用户多样化的实际应用需求。
[0035] 通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的 优点将更加明显。
【专利附图】
【附图说明】
[0036] 本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 申请的可选实施例和解释本申请的原理和优点。在附图中：
[0037] 图la为本申请实施例提供的一种光场采集控制方法的流程图；
[0038] 图lb为本申请实施例提供第一种像素密度可调的图像传感器的结构示意图；
[0039] 图lc为本申请实施例提供第二种像素密度可调的图像传感器的结构示意图；
[0040] 图Id为本申请实施例提供第三种像素密度可调的图像传感器的结构示意图；
[0041] 图le为本申请实施例提供第四种像素密度可调的图像传感器的结构示意图；
[0042] 图If为本申请实施例提供图像传感器在不均匀光场激励情形时进行像素密度调 整的场景不例；
[0043] 图lg为本申请实施例提供第五种像素密度可调的图像传感器的结构示意图；
[0044] 图lh为本申请实施例提供第六种像素密度可调的图像传感器的结构示意图；
[0045] 图li为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图；
[0046] 图lj为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图；
[0047] 图2为本申请实施例提供的一种光场相机的可选光路结构示意图；
[0048] 图3a为本申请实施例提供的一种调整前的图像传感器各成像区域的像素密度分 布的可选示例；
[0049] 图3b为本申请实施例提供的一种调整后的图像传感器各成像区域的像素密度分 布的可选示例；
[0050] 图4为本申请实施例提供的一种光场采集控制装置的逻辑框图；
[0051] 图5为本申请实施例提供的另一种光场采集控制装置的逻辑框图；
[0052] 图6为本申请实施例提供的又一种光场采集控制装置的逻辑框图；
[0053] 图7为本申请实施例提供的一种光场采集设备的逻辑框图。
[0054] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本申请实施例的理解。
【具体实施方式】
[0055] 在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起 见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际 实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例 如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不 同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于 本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0056] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和 说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对 与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
[0057] 下面结合附图（若干附图中相同的标号表示相同的元素）和实施例，对本申请的
【具体实施方式】作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范 围。
[0058] 本领域技术人员可以理解，本申请中的"第一"、"第二"等术语仅用于区别不同步 骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0059] 本申请发明人在实践本申请实施例的过程中发现，通常基于光场相机进行待摄场 景的光场采集时，图像传感器的像素均匀分布，基于该图像传感器采集得到的该场景不同 深度的各区域的光场信息丰富程度（如图像空间分辨率和/或角度分辨率）相同。在某些 场景下，用户或设备对不同深度区域的光场信息的关注程度不同，传统的不同深度区域的 均匀光场采集方式，可能导致局部区域无法达到用户期望的光场采集效果，局部区域超过 了用户所需的光场采集效果，导致实际光场采集和用户需求可能不匹配，而如何充分利用 图像传感器的现有像素进行深度方向非均匀的光场采集，本申请实施例提供了一种图像采 集控制的解决方案，下面结合附图详细说明本申请实施例的技术方案。
[0060] 图la为本申请实施例提供的一种光场采集控制方法的流程图。本申请实施例提 供的光场采集控制方法的执行主体可为某一光场采集控制装置，所述光场采集控制装置可 在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该光场采集控制方法进行静 态或动态的光场采集控制。所述光场采集控制装置的设备表现形式不受限制，例如所述光 场采集控制装置可为某一独立的部件，该部件与光场相机配合通信；或者，所述光场采集控 制装置可作为某一功能模块集成在一包括有光场相机的图像采集设备中，所述图像采集设 备可包括但不限于照相机、摄像机、手机等等，本申请实施例对此并不限制。
[0061] 具体如图la所示，本申请实施例提供的一种光场采集控制方法包括：
[0062] S101 :径向调整光场相机的图像传感器的像素密度分布，以使调整后的所述图像 传感器中至少一成像区域各自的像素不变但像素密度发生变化，一所述成像区域为所述图 像传感器中与所述光场相机的子透镜阵列的一子透镜对应的区域。
[0063] 所述光场相机通常包括依次设置的主透镜、子透镜阵列和图像传感器，所述子透 镜阵列包括多个阵列分布的子透镜。图像传感器包括多个成像区域，每个成像区域与子透 镜阵列中的一子透镜。来自待摄场景不同物点的不同方向光线经主透镜汇聚到所述子透镜 阵列的至少一个子透镜上，经所述至少一个子透镜对主透镜汇聚的光线进行分离，分离的 光线通过图像传感器相应的成像区域进行光线强弱、方向等信息的记录，由此采集得到待 摄场景多个视角方向的成像信息（即光场信息），采集到的光场信息可表现为相互穿插排 列的多幅视差图像，不妨称为光场图像。
[0064] 本申请实施例光场相机中的图像传感器为像素密度可调的图像传感器，可包括但 不限于柔性图像传感器，所述柔性图像传感器包括柔性衬底以及在所述柔性衬底上形成的 多个图像传感器像素，其中所述柔性衬底在满足一定条件时可以发生伸缩、弯曲等变化来 调整其像素密度分布。结合所述图像传感器像素密度分布可调的这一特性，本申请实施例 可径向调整所述图像传感器的像素密度分布。
[0065] 所述"径向"是指垂直光场相机的光轴（如主透镜的光轴）的方向，所述"径向调 整图像传感器的像素密度分布"是指在在垂直所述光场相机的光轴（如主透镜的光轴）的 平面内调整所述图像传感器的像素密度分布，例如，光场相机中，所述图像传感器垂直主透 镜的光轴设置，径向调整所述图像传感器的像素密度分布，就是在图像传感器像素分布的 平面内调整图像传感器的像素密度分布。
[0066] 进行所述图像传感器像素密度调整的过程中，图像传感器中一个或多个成像区域 各自的像素保持不变，并对其中各成像区域内各自的像素密度分布进行调整，也就是说：从 单个成像区域来看，该成像区域内的像素保持不变，但该成像区域的像素密度分布发生了 改变，如该成像区域内的像素密度由原来的均匀分布调整为径向非均匀分布；从图像传感 器整体来看，可以部分成像区域都分别进行调整，或者，也可各个成像区域也分别进行调 整，需要进行调整的成像区域中各成像区域像素密度分布的各自调整策略可以相同，也可 以有所差异，以实现针对子透镜阵列不同子透镜对应的成像区域的像素密度分布进行灵活 调整。
[0067] S102 :经调整后的所述图像传感器进行待摄场景的光场采集。
[0068] 在利用光场相机米集待摄场景光场信息的某些应用场景中，用户或设备对不同深 度范围和/或同一深度的不同物点等期望获得差异化的光场信息，以实现基于采集到的光 场图像的差异化重对焦精度，如有些深度范围的重对焦精度较低，而有些深度范围的重对 焦精度较高等等。而图像传感器的各成像区域包括多个图像传感器像素，一成像区域对应 子透镜阵列的一子透镜，待摄场景的物点信息依次经主透镜、子透镜阵列的不同子透镜再 分离到不同的成像区域的方式，使得待摄场景的光场信息被成像区域不同图像传感器像素 所记录。
[0069] 不妨结合光场相机的一种可选的结构为例进行说明。如图2所不，光场相机包括： 包括依次设置的主透镜、子透镜阵列和图像传感器；所述子透镜阵列包括多个阵列分布的 子透镜，各所述子透镜的焦距相同；所述图像传感器与所述子透镜阵列的距离等于所述子 透镜的焦距。例如，假设所述子透镜阵列包括MXN个子透镜，所述图像传感器的分辨率为 AXB，则所述图像传感器AXB个像素划分为MXN个成像区域（A大于M，B大于N)，每个成 像区域与一子透镜对应，用于记录该子透镜分离的光线的光场信息，包括光线的强弱、视角 方向等信息。每个成像区域包括XXY个像素，分别对应记录待摄场景不同深度的物点或同 一深度不同物点或同一物点不同视角经该子透镜分离的光场信息。
[0070] 根据经典几何光学理论，光场相机的光路图可以等效为各子透镜对主透镜所成的 实像或虚像在该子透镜对应的成像区域上进行成像，因此在成像区域上不同位置的像素点 可以存储场景中不同深度对象的光场信息。请参考图2,假设在成像区域上像素点位置到 子透镜光轴的距离为d，则对应于场景中不同深度的对象在图像传感器成像的弥散圆半径 为：
【权利要求】
1. 一种光场采集控制方法，其特征在于，包括： 径向调整光场相机的图像传感器的像素密度分布，W使调整后的所述图像传感器中至 少一成像区域各自的像素不变但像素密度发生变化，一所述成像区域为所述图像传感器中 与所述光场相机的子透镜阵列的一子透镜对应的区域； 经调整后的所述图像传感器进行待摄场景的光场采集。
2. 根据权利要求1所述的方法，其特征在于，径向调整所述图像传感器的像素密度分 布，包括： 确定所述至少一成像区域各自待调节的第一成像子区； 根据各所述第一成像子区径向调整所述图像传感器的像素密度分布，W使调整后的所 述至少一成像区域各自的像素总数不变但各所述第一成像子区内的像素密度分布发生变 化。
3. 根据权利要求2所述的方法，其特征在于，确定所述至少一成像区域各自待调节的 第一成像子区，包括： 获取拍摄深度子范围； 确定所述至少一成像区域中影响所述拍摄深度子范围光场采集的各成像子区，为各待 调节的所述第一成像子区。
4. 根据权利要求2或3所述的方法，其特征在于，根据各所述第一成像子区径向调整所 述图像传感器的像素密度分布，包括： 确定所述图像传感器径向的目标像素密度分布信息，所述目标像素密度分布信息中， 一所述成像区域的一所述第一成像子区对应的目标像素密度异于一第二成像子区，所述第 二成像子区为所述成像区域除所述第一成像子区之外的其他至少部分区域； 根据所述目标像素密度分布信息调整所述图像传感器的像素密度分布。
5. 根据权利要求4所述的方法，其特征在于，根据所述目标像素密度分布信息调整所 述图像传感器的像素密度分布，包括： 根据所述目标像素密度分布信息确定可控变形材料部的形变控制信息； 根据所述形变控制信息控制所述可控变形材料部发生形变，W通过所述可控变形材料 部的形变相应调整所述图像传感器的像素密度分布。
6. -种光场采集控制装置，其特征子在于，包括： 一像素密度径向调整模块，用于径向调整光场相机的图像传感器的像素密度分布，W 使调整后的所述图像传感器中至少一成像区域各自的像素不变但像素密度发生变化，一所 述成像区域为所述图像传感器中与所述光场相机的子透镜阵列的一子透镜对应的区域； 一光场采集模块，用于经调整后的所述图像传感器进行待摄场景的光场采集。
7. 根据权利要求6所述的装置，其特征在于，所述像素密度径向调整模块包括： 一第一成像子区确定子模块，用于确定所述至少一成像区域各自待调节的第一成像子 区； 一像素密度径向调整子模块，用于根据各所述第一成像子区径向调整所述图像传感器 的像素密度分布，W使调整后的所述至少一成像区域各自的像素总数不变但各所述第一成 像子区内的像素密度分布发生变化。
8. 根据权利要求7所述的装置，其特征在于，所述第一成像子区确定子模块包括： 一目标像素密度分布信息确定单元，用于确定所述图像传感器径向的目标像素密度分 布信息，所述目标像素密度分布信息中，一所述成像区域的一所述第一成像子区对应的目 标像素密度异于一第二成像子区，所述第二成像子区为所述成像区域除所述第一成像子区 之外的其他至少部分区域； 一像素密度分布调整单元，用于根据所述目标像素密度分布信息调整所述图像传感器 的像素密度分布。
9. 根据权利要求7或8所述的装置，其特征在于，所述像素密度分布调整单元包括： 一形变控制信息确定子单元，用于根据所述目标像素密度分布信息确定可控变形材料 部的形变控制信息； 一形变控制子单元，用于根据所述形变控制信息控制所述可控变形材料部发生形变， W通过所述可控变形材料部的形变相应调整所述图像传感器的像素密度分布。
10. -种光场采集设备，其特征在于，包括一光场相机和一如权利要求6-9任一所述的 光场采集控制装置，所述光场采集控制装置与所述光场相机连接。
【文档编号】H04N5/225GK104469147SQ201410670629
【公开日】2015年3月25日 申请日期:2014年11月20日 优先权日:2014年11月20日
【发明者】杜琳 申请人:北京智谷技术服务有限公司