图像采集控制方法和装置与流程
本申请涉及一种终端技术领域，特别是涉及一种图像采集控制方法和装置。
背景技术：
随着图像采集技术的不断发展，支持图像采集的设备不断推陈出新，人们对采集图像的个性化需求也越来越多。
与传统相机不同，光场相机通常是在主透镜和如ccd等成像单元阵列之间放置一子透镜阵列，通过子透镜阵列将待摄场景不同方向的光场信息在子透镜阵列的焦平面上进行记录，通过单次曝光可以记录三维场景的空间、视角等四维光场信息，支持“先拍摄后调焦”，通过对拍摄后的图像进行处理即可以生成丰富的图像效果，可满足例如数字重对焦、视角变化、深度图像、三维重构等多种成像应用。目前，基于光场相机的图像采集技术的研究引起业内人士愈加广泛的关注。
技术实现要素：
在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置。
第一方面，本申请实施例提供了一种图像采集控制方法，包括：
确定场景的期望清晰成像空间区域；
相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分；
经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述确定场景的期望清晰成像空间区域，包括：确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区；确定所述期望清晰区对应的第一部分在所述场景中的第一空间分布信息；根据所述第一空间分布信息确定所述期望清晰成像空间区域。
结合本申请实施例提供的任一种图像采集控制方法，可选的，确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区，包括：获取对所述预览图像的选择信息；至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述选择信息包括：选择方向信息，或者，选择区域信息，或者，选择对象信息。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述至少一第一成像单元中任一第一成像单元相对所述与主透镜平行的平面倾斜之后，与所述第一成像的单元相应的第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述经调整后的所述光场相机对所述场景进行图像采集之前，还包括：确定所述期望清晰成像空间区域覆盖的最大深度子区；对所述光场相机进行对焦调整，以使所述光场相机调整后的对焦面位于所述最大深 度子区内。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，包括：相对与所述主透镜平行的平面倾斜所述至少一第一成像单元，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像单元上成像的平均弥散圆，包括：根据第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对与所述主透镜平行的平面倾斜所述第一成像单元之前，还包括：将所述期望倾斜角度与一成像单元倾斜调节角度阈值进行比较；响应于所述期望倾斜角度超过所述成像单元倾斜调节角度阈值，调远所述光场相机的对焦位置。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像 单元上成像的平均弥散圆，包括：确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围；至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法，可选的，确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围，包括：根据第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；至少根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像单元上成像的平均弥散圆，包括：相对与主透镜平行的平面沿增加拟合面与所述第一成像单元所在的平面之间的夹角的方向，倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆，其中，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，包括：相对与主透镜平行的平面倾斜所述至少一第一成像单元和至少一第一子透镜，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中，所述至少第一子透镜为所述 光场相机的子透镜阵列中与所述至少一第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对与主透镜平行的平面倾斜所述至少一第一成像单元中任一第一成像单元以及所述至少一第一子透镜中与所述第一成像单元相应的第一子透镜，以减小与所述至少一第一部分中与第一成像单元相应的一第一部分在所述第一成像单元上成像的平均弥散圆，包括：根据相应的所述第一子透镜的焦距、拟合面和所述与主透镜平行的平面之间的夹角、相应的所述第一子透镜的光心沿垂直与所述主透镜平行的平面的方向到所述拟合面的距离、以及相应的所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离，确定所述第一成像单元的第一倾斜角度和相应的所述第一子透镜的第二倾斜角度；根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法，可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元之前，还包括：根据所述至少一第一部分在所述场景中的第一空间分布信息，确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息；根据所述第二空间分布信息确定所述拟合面。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述各像分别到所述拟合面的距离之和最小。
结合本申请实施例提供的任一种图像采集控制方法，可选的，至少倾斜所述至少一第一成像单元之前，还包括：至少确定所述成像单元阵列中待倾斜的所述至少一第一成像单元。
结合本申请实施例提供的任一种图像采集控制方法，可选的，所述至少确定所述成像单元阵列中待倾斜的所述至少一第一成像单元， 包括：确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜，为所述至少一第一子透镜；根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系，确定与所述至少一第一子透镜对应的所述至少一第一成像单元。
第二方面，本申请实施例还提供了一种图像采集控制装置，包括：
一期望清晰成像空间区域确定模块，用于确定场景的期望清晰成像空间区域；
一倾斜控制模块，用于相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分；
一图像采集控制模块，用于经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述期望清晰成像空间区域确定模块包括：一期望清晰区确定子模块，用于确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区；一第一空间分布信息确定子模块，用于确定所述期望清晰区对应的第一部分在所述场景中的第一空间分布信息；一期望清晰成像空间区域确定子模块，用于根据所述第一空间分布信息确定所述期望清晰成像空间区域。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述期望清晰区确定子模块包括：一选择信息获取单元，用于获取对所述预览图像的选择信息；一期望清晰区确定单元，用于至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所 述选择信息包括：选择方向信息，或者，选择区域信息，或者，选择对象信息。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述至少一第一成像单元中任一第一成像单元相对所述与主透镜平行的平面倾斜之后，与所述第一成像的单元相应的第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一最大深度子区确定模块，用于确定所述期望清晰成像空间区域覆盖的最大深度子区；一第一对焦调整模块，用于对所述光场相机进行对焦调整，以使所述光场相机调整后的对焦面位于所述最大深度子区内。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述倾斜控制模块包括：一第一倾斜控制子模块，用于相对与所述主透镜平行的平面倾斜所述至少一第一成像单元，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述第一倾斜控制子模块包括：一期望倾斜角度确定单元，用于根据任一第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定任一所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；一第一倾斜控制单元，用于至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所 述装置还包括：一角度比较模块，用于将所述期望倾斜角度与一成像单元倾斜调节角度阈值进行比较；一第二对焦调整模块，用于响应于所述期望倾斜角度超过所述成像单元倾斜调节角度阈值，调远所述光场相机的对焦位置。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述第一倾斜控制子模块包括：一容许夹角范围确定单元，用于确定任一所述第一成像单元相对与主透镜平行的平面的容许夹角范围；一范围倾斜控制单元，用于至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述容许夹角范围确定单元包括：一期望倾斜角度确定子单元，用于根据任一第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定任一所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；一容许夹角范围确定单元，用于至少根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述第一倾斜控制子模块包括：一方向倾斜控制单元，用于相对与主透镜平行的平面沿增加拟合面与所述第一成像单元所在的平面之间的夹角的方向，倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆，其中，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述倾斜控制模块包括：一第二倾斜控制子模块，用于相对与主透镜平行的平面倾斜所述至少一第一成像单元和至少一第一子透镜，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中，所述至少第一子透镜为所述光场相机的子透镜阵列中与所述至少一第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述第二倾斜控制子模块包括：一倾斜角度确定单元，用于根据相应的所述第一子透镜的焦距、拟合面和所述与主透镜平行的平面之间的夹角、相应的所述第一子透镜的光心沿垂直与所述主透镜平行的平面的方向到所述拟合面的距离、以及相应的所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离，确定所述第一成像单元的第一倾斜角度和相应的所述第一子透镜的第二倾斜角度；一第二倾斜控制单元，用于根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一第二空间分布信息确定模块，用于根据所述至少一第一部分在所述场景中的第一空间分布信息，确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息；一拟合面确定模块，用于根据所述第二空间分布信息确定所述拟合面。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述各像分别到所述拟合面的距离之和最小。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一待倾斜元件确定模块，用于至少确定所述成像单元阵列中待倾斜的所述至少一第一成像单元。
结合本申请实施例提供的任一种图像采集控制装置，可选的，所述待倾斜元件确定模块包括：一第一子透镜确定子模块，用于确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜，为所述至少一第一子透镜；一第一成像单元确定子模块，用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系，确定与所述至少一第一子透镜对应的所述至少一第一成像单元。
第三方面，本申请实施例还提供了另一种图像采集控制装置，包括：
一处理器、一通信接口、一存储器以及一通信总线；所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一指令；所述指令使所述处理器执行以下操作：
确定场景的期望清晰成像空间区域；
相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分；
经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的技术方案在基于光场相机进行场景的图像采集应用过程中，可确定场景的期望清晰成像空间区域，通过至少倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采 用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过至少倾斜光场相机相应的至少一第一成像单元的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：
图1为本申请实施例提供的一种图像采集控制方法流程图；
图2为本申请实施例提供的光场相机获取的场景的预览图像示例；
图3为本申请实施例提供的场景深度方向的示意图；
图4a为本申请实施例提供的拟合面确定以及第一成像单元倾斜示例一；
图4b为本申请实施例提供的拟合面确定以及第一成像单元倾斜示例二；
图5为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例一；
图6为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例二；
图7为本申请实施例提供的第一成像单元倾斜方向示例；
图8a为本申请实施例提供的拟合面确定以及第一成像单元和第一子透镜倾斜示例；
图8b为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例三；
图9为本申请实施例提供的光场相机结构示例；
图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图；
图11为本申请实施例提供的第二种图像采集控制装置的逻辑框图；
图12为本申请实施例提供的第三种图像采集控制装置的逻辑框图；
图13为本申请实施例提供的第四种图像采集控制装置的逻辑框图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制，例如所述图像采集控制装置可为某一独立的部件；或者，所述图像采集控制装置可作为某一功能模块集成在一成像设备中，所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等，本申请实施例对此并不限制。具体如图1所示，本申请实施例提供的一种图像采集控制方法包括：
s101：确定场景的期望清晰成像空间区域。
s102：相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分。
s103：经调整后的所述光场相机对所述场景进行图像采集。
对象经如光场相机等成像设备进行成像时，理想状况下，物面和 像面是点与点一一对应的，但在实际应用过程中，由于光波性质、像差等因素的影响，对象上的点的成像光束通常不能汇聚于一点，而是在像平面上形成一个扩散的正圆形、椭圆形或其他类圆形的投影，称为弥散圆(circleofconfusion)，也可称为弥散圈、弥散环、散光圈、模糊圈、散射圆盘等。如果弥散圆的尺寸较小，通常该弥散圆对应的对象的成像相对较为清晰，肉眼可被视为该点的合焦成像；相应的，如果弥散圆的尺寸超过一定的容许范围，则该弥散圆对应的对象的成像相对模糊。
通常，光场相机包括沿深度方向依次设置的主透镜、子透镜阵列和成像单元阵列，光场相机处于未进行本申请实施例提及的成像单元和/或子透镜等倾斜操作的状态时，主透镜所在的平面、子透镜阵列所在的平面以及成像单元阵列所在的平面相互平行、且分别垂直于深度方向，子透镜阵列中各子透镜位于垂直于深度方向的同一平面，各子透镜的光轴与深度方向平行，成像单元阵列中每个成像单元(可视为一成像单元阵列或图像传感单元)包括阵列分布的多个像素，各成像单元也位于垂直于深度方向的同一平面，且各成像单元的法线与深度方向平行。本申请实施例所述的与主透镜平行的平面包括但不限于：主透镜所在的平面、子透镜处于未倾斜的初始状态时所在的平面、成像单元处于未倾斜的初始状态时所在的平面、或者平行于主透镜所在平面的其他平面。
根据经典几何光学理论，光场相机的光路图可以等效为各子透镜对主透镜所成的像(如实像或虚像)在该子透镜对应的成像单元上再成像，在成像单元上不同位置的像素点可以存储场景中不同深度的对象的光场信息，对应于场景中某对象的至少局部经某一子透镜在成像单元阵列的某像素点成像的弥散圆为：
上式中：c表示弥散圆的等效直径；f表示该子透镜的焦距；v表 示该对象的至少局部依次经主透镜和该子透镜后所成的像与该子透镜中心的距离，该距离相当于该子透镜的像距；vn表示子透镜阵列平面与成像单元阵列平面之间的距离；n表示光圈值(f-number)。
基于光场相机进行图像采集的应用场景中，成像单元阵列中的每个成像单元包括多个阵列分布的像素点，通常并非成像单元的所有像素点参与实际的图像采集，而是部分像素点参与实际的图像采集。成像单元中实际记录有该待摄对象图像信息的各像素点的弥散圆的均值，可视为该待摄对象在该成像单元的平均弥散圆的大小。
本申请实施例在基于光场相机进行场景的图像采集应用过程中，可确定场景的期望清晰成像空间区域，通过至少倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，光场相机通过高维度信息采集可带给用户更为灵活的后交互能力，然而通过后交互计算能够实现成像效果与通过光学采集直接获得的信息有关，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过至少倾斜光场相机相应的至少一第一成像单元的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
本申请实施例提供的技术方案中，所述期望清晰成像空间区域的确定方式非常灵活，可满足多样化的实际应用需求。例如，如果对场景中的某一局部空间区域较为关注，可确定场景相应的局部空间区域为所述期望清晰成像空间区域，以通过至少倾斜相应第一成像单元的方式来改善场景中位于所述期望清晰成像空间区域内的至少一部分 的成像质量；或者，如果对场景中的某对象较为关注，可确定所述场景中该对象的空间分布区域为所述期望清晰成像空间区域，以通过至少倾斜相应第一成像单元的方式来改善该对象的成像质量；等等。可以理解，本申请实施例提及的部分可包括场景中的某一完整对象，或者场景中某一对象的局部，等等。
可选的，所述确定场景的期望清晰成像空间区域，包括：确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区；确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息；根据所述第一空间分布信息确定所述期望清晰成像空间区域。例如，可识别所述预览图像，根据识别结果将用户或设备感兴趣的局部确定为所述期望清晰区，或者，可通过光场相机外部对所述预览图像的触控等操作信息，确定所述预览图像的局部为期望清晰区等，将所述期望清晰区结合场景中各部分的空间分布，确定所述期望清晰成像空间区域。该方案基于所述场景的预览图像选择所述场景的期望清晰成像空间区域，方案简单易实现。
进一步可选的，确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区，包括：获取对所述预览图像的选择信息；至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。可通过但不限于手指触控、触控笔触控、鼠标选择等方式在所述预览图像的二维画面上进行选择，并根据选择信息确定所述预览图像的相应局部为所述期望清晰区；在确定所述期望清晰区之后，可结合场景中各部分的空间分布信息，确定该场景的期望清晰成像空间区域。该方案可提高所述期望清晰区或所述场景的期望清晰成像空间区域确定的交互方便性和灵活性，改善用户体验。所述光场相机的预览图像为所述场景某一视角的二维图像；对所述预览图像的选择信息可包括但不限于：选择方向信息，或者，选择区域信息，或者，选择对象信息等，以提供丰富的交互方式，提高用户使用的方便性。可选的交互方 式：例如，所述选择信息可包括选择方向信息，用户可在预览图像显示屏上通过手指任意划出一道其期望清晰成像的方向，图像采集控制装置在该方向确定一预定大小的空间区域为期望清晰区，结合所述期望清晰区和场景中各部分的空间分布信息，可确定所述场景的期望清晰成像空间区域；又例如，所述选择信息可包括选择区域信息，如图2所示，用户可在预览图像显示屏上通过手指划出一定大小的二维区域，划出的二维区域可直接作为所述期望清晰区，或者，也可对二维区域进行缩放、旋转、修正等调整并将调整后的二维区域作为所述期望清晰区，可获得预览图像中对应场景中各对象的像在所述期望清晰区的部分的一组像点的二维坐标{x_i，y_i}，之后，结合所述期望清晰区和场景中各部分的空间分布信息(如图3所示)，如根据场景中各部分的深度分布信息，可确定与该组像点对应的一组深度坐标{z_i}，根据第一空间分布信息(所述第一空间分布信息包括二维坐标组{x_i，y_i}和深度坐标组{z_i}，可表示为一组{x_i，y_i，z_i})，可确定所述场景的期望清晰成像空间区域；再例如，所述选择信息可包括选择对象信息，用户可在预览图像显示屏上通过手指触选某对象，根据该对象在场景中的空间分布信息，确定所述场景的期望清晰成像空间区域。
本申请实施例提供的技术方案中，可选的，所述经调整后的所述光场相机对所述场景进行图像采集之前，还包括：确定所述期望清晰成像空间区域覆盖的最大深度子区；对所述光场相机进行对焦调整，以使所述光场相机调整后的对焦面位于所述最大深度子区内。
景深(depthoffield，简称dof)通常是指摄像镜头对所拍摄的场景能够清晰成像的物距范围，也就是说，在深度方向上相对摄像镜头的对焦物面前后的一定深度范围可清晰成像。当光场相机光圈调整、对焦等操作完成之后，该光场相机的景深范围通常也随之确定，该景深范围为深度方向上相对光场相机主透镜的一定物距范围。通过 光场相机的一次光学采集，场景中位于景深范围内的部分成像的弥散圆尺寸较小，通常可清晰成像，而场景中位于景深范围外的部分成像的弥散圆尺寸较大，成像通常较为模糊。该方案通过确定所述期望清晰成像空间区域覆盖的最大深度子区，也就是获取所述场景中位于所述期望清晰成像空间区域内的各部分在深度方向上的最大深度和最小深度，最大深度和最小深度之间的深度范围为所述最大深度子区，可将所述光场相机的对焦位置调整为介于所述最大深度子区内的某一位置，如调整为所述最大深度子区内的中心位置或者中心位置之前的某一深度位置等等，使得所述光场相机的景深范围在所述最大深度子区内有所分布，提高所述期望清晰成像空间区域内位于所述景深范围内的部分的成像质量。
可选的，所述至少一第一成像单元中任一第一成像单元相对所述与主透镜平行的平面倾斜之后，与所述第一成像的单元相应的第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。如果弥散圆小于或等于某一容许弥散圆(permissiblecircleofconfusion)，可视为该对象合焦成像；相应的，如果弥散圆大于该容许弥散圆，可视为该对象失焦成像。所述容许弥散圆的大小与物距、放大倍率等因素有关，可预先确定容许弥散圆大小，例如所述容许弥散圆大小为1/30mm等等。该方案相当于在影响所述期望清晰成像空间区域中至少第一部分图像采集的相应元件(包括所述第一成像单元，或者，所述第一成像单元和所述第一子透镜)倾斜控制过程中，将影响相应的所述第一部分图像采集的相应元件倾斜后的平均弥散圆小于或等于一容许弥散圆，作为所述相应元件倾斜控制的收敛条件，也就是说，在相应元件倾斜控制过程中，如果影响相应的所述第一部分图像采集的相应元件位于某倾斜状态、且对应该倾斜状态下的平均弥散圆小于或等于所述容许弥散圆，则可完成影响所述相应元件的倾斜控制，这样，经调整后的光场相机获取待摄场景的图像采集可 获得相应的所述第一部分较高的成像质量，进而获得所述期望清晰成像空间区域区域整体较高的成像质量，实现待摄场景中期望清晰成像空间区域的定制化图像采集。
本申请实施例提供的技术方案中，可通过至少倾斜至少一第一成像单元的方式，来改变所述场景中位于所述期望清晰成像空间区域的至少一第一部分在相应成像单元上成像的平均弥散圆，由此改变所述至少至少一第一部分成像的质量。
(一)一种可选的实现方式，可通过倾斜所述至少一第一成像单元的方式，来改变所述场景中位于所述期望清晰成像空间区域的至少一部分，也就是说，所述相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，包括：相对与所述主透镜平行的平面倾斜所述至少一第一成像单元，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆。对所述至少一第一成像单元的各第一成像单元均可进行相同或类似的倾斜控制，以提高所述期望清晰成像空间区域内的至少一部分的整体成像质量。
不妨以所述至少一第一成像单元中的任一第一成像单元为例进行说明。第一成像单元中实际记录有第一部分图像信息的各像素点的弥散圆的均值，可视为相应的第一部分在该第一成像单元的平均弥散圆的大小。在第一成像单元倾斜前后，所述第一成像单元参与相应的第一部分实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元倾斜前，所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值，作为所述第一成像单元倾斜前相同部分成像的平均弥散圆的大小；将所述第一成像单元倾斜后所述第一单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值，作为所述第一成像单元倾斜之后相同部分成像的平均弥散圆的大小。
通过弥散圆的成像公式来看，本申请实施例可通过倾斜所述第一成像单元的方式来改变所述第一成像单元和与所述第一成像单元对应的子透镜(即所述第一子透镜)之间的距离v，进而引起相应弥散圆的改变，同时，将所述第一成像单元倾斜后的平均弥散圆小于所述第一成像单元倾斜前的平均弥散圆，作为所述第一成像单元倾斜控制的收敛条件，使得所述第一成像单元相对所述与主透镜平行的平面采用某种方式倾斜之后，可达到相应的第一部分成像的平均弥散圆相对所述第一成像单元倾斜前相应的第一部分的平均弥散圆有所减小。可以理解，所述第一成像单元倾斜之前所在的平面，即为成像单元阵列倾斜前所在的平面，与所述主透镜所在的平面平行，所述第一成像单元相对所述第一成像单元倾斜之前所在的平面或所述第一成像单元相对成像单元阵列倾斜前所在的平面倾斜，相当于所述第一成像单元相对所述与主透镜平行的平面倾斜。
可见，本申请实施例可确定场景的期望清晰成像空间区域，通过倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过倾斜光场相机相应的至少一第一成像单元的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
本申请实施例提供的技术方案中，可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对所述第一成像单元相对所述与主透镜平行的平面进行倾斜控制，实现方式非常灵活。
可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像单元上成像的平均弥散圆，包括：根据第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心到所述拟合面的距离，确定所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜；至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
其中，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面，通过该平面来反应所述至少一第一部分经主透镜所成的像的各像点的空间分布的主要或重要分布趋势。所述拟合面可在相对所述成像面倾斜所述至少一第一子透镜之前确定，且所述拟合面的确定方式非常灵活，例如，可根据所述至少一第一部分在所述场景中的第一空间分布信息，确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息；根据所述第二空间分布信息确定所述拟合面。可选的，根据所述场景中位于所述期望清晰成像空间区域内的至少一部分的各物点坐标{x_i，y_i，z_i}，可得到所述至少一部分经主透镜所成的像的各像点坐标{x_i'，y_i'，z_i'}(即第二空间分布信息)，可根据主成分分析(principalcomponentanalysis，简称pca)算法模型可确定包围这些像点的最小包围盒(minimalboundingbox)，如图4a和图8a所示，之后再根据随机抽样一致性(randomsampleconsensus，简称ransac)算法模型确定所述最小包围盒内的某一平面，使得所述最小包围盒内的各像点分别到该平面的距离之和最小，如此得到的平面即为所述拟合面。采用该方案确定拟合面，方案简单易实现。
光场相机中，所述至少一第一成像单元中的任一第一成像单元倾斜之后，该第一成像单元所在的平面与所述第一子透镜所在的平面不再平行。参考沙姆定律(scheimpflugprinciple)，当所述拟合面的延长面、与所述第一成像单元对应的所述第一子透镜所在平面的延长面，倾斜后的所述第一成像单元所在平面的延长面，三者相交与一直线时，如图5所示，与所述第一成像单元相应的所述第一部分可获得清晰成像的区域最大。满足上述定律的第一成像单元的倾斜角度可为本申请实施例所述的该第一成像单元的期望倾斜角度。
可选的，如图6所示，所述第一成像单元的期望倾斜角度可采用下式计算：
上式中：θ表示所述第一成像单元的期望倾斜角度；f表示第一子透镜的焦距、
根据沙姆定律，相对与主透镜平行的平面(如子透镜阵列所在平面或者第一成像单元倾斜前所在平面)沿第一成像单元的中心倾斜该第一成像单元，让其延长面和与其对应的第一子透镜、拟合面的延长面交于一条直线，拟合面能够达到最大清晰度；本方案对应的场景中， 虽然沿垂直方向分布的多个第一子透镜和拟合面之间的夹角相同，但是光心不同的垂直坐标位置，使得所述多个第一子透镜各自的光心到拟合面的物距有所不同，造成了不同的第一子透镜对应的不同第一成像单元分别需要倾斜不同的角度让拟合面清晰，各第一成像单元需要倾斜的角度大小和各第一成像单元的中心和沙姆交线间的相对位置有关系，具体来说，第一成像单元的中心距离沙姆交线越远，需要倾斜角度越小，反之越大。
进一步可选的，如图4a和图4b所示，在实际应用过程中，与拟合面和子透镜阵列所在平面(与所述主透镜平行的平面)的延长面交线的距离不同的第一成像单元，要满足上述沙姆定律所需倾斜的角度有所不同，如距离拟合面和子透镜阵列所在平面的延长面交线较近的第一成像单元a'(与第一成像单元a'对应的第一子透镜a的光心到拟合面的物距ua较小)倾斜的角度θ1，大于距离拟合面和子透镜阵列所在平面的延长面交线较远的第一成像单元b'(与第一成像单元b'对应的第一子透镜b的光心到拟合面的物距ub较大)倾斜的角度θ2，因此，进一步可选的，相对与所述主透镜平行的平面倾斜所述第一成像单元之前，还包括：将所述期望倾斜角度与一成像单元倾斜调节角度阈值进行比较；响应于所述期望倾斜角度超过所述成像单元倾斜调节角度阈值，调远所述光场相机的对焦位置。光学相机中，成像单元的倾斜调节会受到机械、像素结构等的限制，使得成像单元的倾斜存在一定的能力限制，可根据成像单元允许倾斜的能力确定成像单元倾斜调节角度阈值，将所述期望倾斜角度和该成像单元倾斜调节角度阈值进行比较，如果所述期望倾斜角度大于该成像单元倾斜调节角度阈值，则可将光学相机的对焦位置调远，即增加主透镜的物距，根据薄透镜的成像公式，主透镜物距增加，会减小主透镜的像距，由于主透镜和子透镜之间的距离一定，也就相当于增加了子透镜的物距，即一定程度上相当于增加了拟合面与第一子透镜之间的距离，使得拟合面 和与该第一子透镜对应的第一成像单元的交线距离该第一成像单元的距离有所增加，这样，第一成像单元倾斜一较小的角度后所在的平面与该交线相交即可能相交，基于调节后的光场相机采集场景的图像则有利于提高相应的第一部分的成像质量。
可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像单元上成像的平均弥散圆，包括：确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围；至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。采用该方案相对所述与主透镜平行的平面倾斜所述第一成像单元，倾斜后的所述第一成像单元所在平面和所述与主透镜平行的平面之间的夹角落入所述容许夹角范围。其中，所述容许夹角范围可根据成像单元倾斜后能够带来相应平均弥散圆减小的要求下灵活确定，本申请实施例对此并不限制。该方案提高了第一成像单元倾斜控制的效率。
所述容许夹角范围可根据所述第一成像单元倾斜后能够带来相应平均弥散圆减小的要求下预先确定，确定的方法可包括但不限于采用实验手段、模拟仿真、公式推导等方式确定。可选的，确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围，包括：根据第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；至少根据所述期望倾斜角度确定所述容许夹角范围。所述期望倾斜角度的确定方法可参考上文的记载，在确定了所述期望倾斜角度之后，可结合考 虑所述第一成像单元倾斜调节精度限制、对所述第一部分成像质量要求等因素，将期望倾斜角度在一定容许误差范围内的角度范围作为所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理，基于该容许夹角范围进行所述第一成像单元相对所述与主透镜平行的平面的倾斜控制，效率高且较易实现。
可选的，相对所述主透镜平行的平面倾斜至少一第一成像单元中的任一第一成像单元，以减小与所述第一成像单元相应的第一部分在所述第一成像单元上成像的平均弥散圆，包括：相对与主透镜平行的平面沿增加拟合面与所述第一成像单元所在的平面之间的夹角的方向，倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆，其中，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。如图7所示，第一成像单元倾斜前所在的平面，和与所述第一成像单元相应的所述第一部分经光场相机的主透镜所成的像所在的面之间的夹角为a1，可沿增大该夹角的方向使所述第一成像单元相对与主透镜平行的平面(如所述第一成像单元倾斜前所在的平面)倾斜，第一成像单元倾斜后所在的平面，与相应的所述第一部分经光场相机的主透镜所成的像所在的面之间的夹角为a2，a2大于a1，可见，所述第一成像单元朝该方向倾斜后其所在的平面、拟合面、以及与所述第一成像单元对应的第一子透镜所在的平面三者的延长免相交同一直线的概率明显增加了，由此可减小相应的所述第一部分在所述第一成像单元所成的像的平均弥散圆，提高所采集的图像中相应的所述第一部分的成像质量。进一步的，如果将该倾斜方向和所述期望倾斜角度共同作为所述第一成像单元倾斜控制的依据，则可进一步提高所述第一成像单元倾斜控制的效率；或者，如果将该倾斜方向和所述容许夹角范围共同作为所述第一成像单元倾斜控制的依据，则可进一步提高所述第一成像单元倾斜控制的效率。
(二)另一种可选的实现方式，一种可选的实现方式，可通过倾斜所述至少一第一成像单元和与所述至少一第一成像单元对应的至少一第一子透镜的方式，来改变所述场景中位于所述期望清晰成像空间区域的至少一部分，也就是说，所述相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，包括：相对与主透镜平行的平面倾斜所述至少一第一成像单元和至少一第一子透镜，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中，所述至少第一子透镜为所述光场相机的子透镜阵列中与所述至少一第一成像单元对应的子透镜。
不妨以倾斜所述至少一第一成像单元中的任一第一成像单元以及与该第一成像单元对应的第一子透镜为例进行说明。所述第一成像单元中实际记录有与所述第一成像单元相应的第一部分图像信息的各像素点的弥散圆的均值，可视为相应的所述第一部分在所述第一成像单元的平均弥散圆的大小。在所述第一成像单元和与所述第一成像单元对应的所述第一子透镜倾斜前后，所述第一成像单元参与相应的所述第一部分实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元和相应的所述第一子透镜倾斜前，所述第一成像单元中实际记录有相应的所述第一部分图像信息的各像素点的弥散圆的均值，作为所述第一成像单元和相应的所述第一子透镜倾斜前相同部分成像的平均弥散圆的大小；将所述第一成像单元和相应的所述第一子透镜倾斜后，所述第一成像单元中实际记录有相应的所述第一部分图像信息的各像素点的弥散圆的均值，作为所述第一成像单元和相应的所述第一子透镜倾斜之后相同部分成像的平均弥散圆的大小。
光场相机的子透镜阵列中各子透镜可视为一薄透镜，薄透镜的光学成像公式如下：
上式中：u表示子透镜的物距，即待摄部分经光场相机的主透镜所成的像与该子透镜的距离；v表示子透镜的像距；f表示子透镜的焦距。
结合公式(1)和(3)可知，本申请实施例可通过倾斜所述第一子透镜的方式来改变所述第一子透镜的物距u以引起第一子透镜的像距vn发生相应变化，和/或，通过倾斜所述第一子透镜和/或所述第一成像单元的方式来改变二者之间的距离v，进而引起相应弥散圆的改变，同时，将所述第一成像单元和所述第一子透镜倾斜后的平均弥散圆小于所述第一成像单元和所述第一子透镜倾斜前的平均弥散圆，作为所述第一成像单元和所述第一子透镜倾斜控制的收敛条件，使得所述第一成像单元和所述第一子透镜相对所述与主透镜平行的平面采用某种方式倾斜之后，可达到相应的平均弥散圆相对所述第一成像单元和所述第一子透镜倾斜前对应的平均弥散圆有所减小。
可见，本申请实施例可确定场景的期望清晰成像空间区域，通过倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元以及与所述至少一成像单元对应的至少一第一子透镜的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过倾斜光场相机相应的至少一第一成像单元和至少一第一子透镜的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
本申请实施例提供的技术方案中，可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对任一所述第一成像单元和与该第一成像单元相应的第一子透镜进行倾斜控制，实现方式非常灵活。
可选的，相对与主透镜平行的平面倾斜所述至少一第一成像单元中任一第一成像单元以及所述至少一第一子透镜中与所述第一成像单元相应的第一子透镜，以减小与所述至少一第一部分中与第一成像单元相应的一第一部分在所述第一成像单元上成像的平均弥散圆，包括：根据相应的所述第一子透镜的焦距、拟合面和所述与主透镜平行的平面之间的夹角、相应的所述第一子透镜的光心沿垂直与所述主透镜平行的平面的方向到所述拟合面的距离、以及相应的所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离，确定所述第一成像单元的第一倾斜角度和相应的所述第一子透镜的第二倾斜角度；根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。
光场相机中，所述第一成像单元和所述第一子透镜分别倾斜之后，所述第一成像单元所在的平面与所述第一子透镜所在的平面可能不再平行。参考沙姆定律，当所述拟合面的延长免、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面，三者相交与一直线时，相应的所述第一部分可获得清晰成像的区域最大。满足上述定律的所述第一成像单元的倾斜角度即为本申请实施例所述的第一倾斜角度，满足上述定律的所述第一子透镜的倾斜角度即为本申请实施例所述的第二倾斜角度。
所述第一成像单元和所述第一子透镜倾斜后，所述第一部分经主透镜所成的像经子透镜再次成像的可选成像光路示例如图8a和图8b 所示，根据图8b可得以下关系式：
v＝v1+v2......................................................................(6)
根据公式(4)至(9)、以及图8b所示光路中的角度关系，可得：
其中：α表示所述第一成像单元的第一倾斜角；β表示所述第一子透镜的第二倾斜角；f表示第一子透镜的焦距；
结合本申请实施例提供的任一种技术方案，可选的，至少倾斜所 述至少一第一成像单元之前，还包括：至少确定所述成像单元阵列中待倾斜的所述至少一第一成像单元。采用该方案可在光场相机的成像单元阵列中确定用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，作为待倾斜的所述至少一第一成像单元，之后相对所述与主透镜平行的平面至少倾斜所述至少一第一成像单元，使得所述期望清晰成像空间区域的至少一第一部分在相应的所述第一成像单元上成像的平均弥散圆有所减小，由此提高相应的第一部分的成像质量。
进一步可选的，所述至少确定所述成像单元阵列中待倾斜的所述至少一第一成像单元，包括：确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜，为所述至少一第一子透镜；根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系，确定与所述至少一第一子透镜对应的所述至少一第一成像单元。一种可选的实现方式，所述光场相机中，如图9所示，所述子透镜阵列包括的各子透镜的焦距相同，所述成像单元阵列与所述子透镜阵列的距离等于所述子透镜的焦距；在光场相机的成像单元和子透镜均处于未倾斜的状态下，基于该光场相机采集待摄场景某一视角的图像(如所述预览图像)的空间分辨率与所述子透镜阵列的子透镜分布对应，每个子透镜对应所述成像单元阵列中的某一成像单元，每个成像单元包括阵列分布多个像素，通过该成像单元记录该子透镜对来自所述待摄场景的某部的不同方向的光线信息，也即，该光场相机中，所述预览图像的像素分布与所述子透镜阵列的子透镜分布之间存在对应的关系、所述子透镜阵列的子透镜和所述成像单元阵列中的成像单元存在对应关系，因此，可根据所述光场相机获取的所述待摄场景的预览图像中与所述深度分布子区对应的部分，确定影响所述第一深度分布子区图像采集的第一子透镜，再根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系，确定与 所述第一子透镜对应的所述第一成像单元。采用该方案可确定待倾斜的所述至少一第一成像单元和所述至少一第一子透镜，方法简单易实现。
本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图10所示，本申请实施例提供的第一种图像采集控制装置包括：一期望清晰成像空间区域确定模块101、一倾斜控制模块102和一图像采集控制模块103。期望清晰成像空间区域确定模块101用于确定场景的期望清晰成像空间区域；倾斜控制模块102用于相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分；图像采集控制模块103用于经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的图像采集控制装置在基于光场相机进行场景的图像采集应用过程中，可确定场景的期望清晰成像空间区域，通过至少倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并 通过至少倾斜光场相机相应的至少一第一成像单元的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
所述图像采集控制装置的设备表现形式不受限制，例如所述图像采集控制装置可为某一独立的部件；或者，所述图像采集控制装置可作为某一功能模块集成在一成像设备中，所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等，本申请实施例对此并不限制。
可选的，如图11所示，所述期望清晰成像空间区域确定模块101包括：一期望清晰区确定子模块1011、一第一空间分布信息确定子模块1012和一期望清晰成像空间区域确定子模块1013。期望清晰区确定子模块1011用于确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区；第一空间分布信息确定子模块1012用于确定所述期望清晰区对应的第一部分在所述场景中的第一空间分布信息；期望清晰成像空间区域确定子模块1013用于根据所述第一空间分布信息确定所述期望清晰成像空间区域。该方案基于所述场景的预览图像选择所述场景的期望清晰成像空间区域，方案简单易实现。
进一步可选的，所述期望清晰区确定子模块1011包括：一选择信息获取单元10111和一期望清晰区确定单元10112。选择信息获取单元10111用于获取对所述预览图像的选择信息；期望清晰区确定单元10112用于至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。该方案可提高所述期望清晰区或所述场景的期望清晰成像空间区域确定的交互方便性和灵活性，改善用户体验。所述光场相机的预览图像为所述场景某一视角的二维图像；对所述预览图像的选择信息可包括但不限于：选择方向信息，或者，选择区域信息， 或者，选择对象信息等，以提供丰富的交互方式，提高用户使用的方便性。
可选的，所述至少一第一成像单元中任一第一成像单元相对所述与主透镜平行的平面倾斜之后，与所述第一成像的单元相应的第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
可选的，所述图像采集控制装置还包括：一最大深度子区确定模块104和一第一对焦调整模块105。最大深度子区确定模块104用于确定所述期望清晰成像空间区域覆盖的最大深度子区；第一对焦调整模块105用于对所述光场相机进行对焦调整，以使所述光场相机调整后的对焦面位于所述最大深度子区内。该方案通过将所述光场相机的对焦位置调整为介于所述最大深度子区内的某一位置，使得所述光场相机的景深范围在所述最大深度子区内有所分布，提高所述期望清晰成像区域内位于所述景深范围内的部分的成像质量。
可选的，如图12所示，所述倾斜控制模块102包括：一第一倾斜控制子模块1021。第一倾斜控制子模块1021用于相对与所述主透镜平行的平面倾斜所述至少一第一成像单元，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆。该方案可确定场景的期望清晰成像空间区域，通过倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过倾斜光场相机相应的至少一第一成像单元的方式可提高对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域 的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
可选的，所述第一倾斜控制子模块1021包括：一期望倾斜角度确定单元10211和一第一倾斜控制单元10212。期望倾斜角度确定单元10211用于根据任一第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定任一所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；第一倾斜控制单元10212用于至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。至少根据该方案确定的期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元，使得所述第一成像单元相对所述与主透镜平行的平面的倾斜角度，尽可能接近甚至等于所述期望倾斜角度，并且在所述第一成像单元处于倾斜后的状态下进行图像采集时，相应的第一部分在所述第一成像单元成像的平均弥散圆尽可能小。该方案提高了第一成像单元倾斜控制的效率。
可选的，所述图像采集控制装置还包括：一角度比较模块106和一第二对焦调整模块107。角度比较模块106用于将所述期望倾斜角度与一成像单元倾斜调节角度阈值进行比较；第二对焦调整模块107用于响应于所述期望倾斜角度超过所述成像单元倾斜调节角度阈值，调远所述光场相机的对焦位置。该方案一定程度上相当于通过对焦调整增加了拟合面与第一子透镜之间的距离，使得拟合面和与该第一子透镜对应的第一成像单元的交线距离该第一成像单元的距离有所增加，这样，第一成像单元倾斜一较小的角度后所在的平面与该交线相 交即可能相交，基于调节后的光场相机采集场景的图像则有利于提高相应的第一部分的成像质量。
可选的，所述第一倾斜控制子模块1021包括：一容许夹角范围确定单元10213和一范围倾斜控制单元10214。容许夹角范围确定单元10213用于确定任一所述第一成像单元相对与主透镜平行的平面的容许夹角范围；范围倾斜控制单元10214用于至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。其中，所述容许夹角范围可根据成像单元倾斜后能够带来相应平均弥散圆减小的要求下灵活确定，本申请实施例对此并不限制。该方案提高了第一成像单元倾斜控制的效率。
进一步可选的，所述容许夹角范围确定单元10213包括：一期望倾斜角度确定子单元102131和一容许夹角范围确定单元102312。期望倾斜角度确定子单元102131用于根据任一第一子透镜的焦距、拟合面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述拟合面的距离，确定任一所述第一成像单元的期望倾斜角度，其中，所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面；容许夹角范围确定单元102312用于至少根据所述期望倾斜角度确定所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理，基于该容许夹角范围进行所述第一成像单元相对所述与主透镜平行的平面的倾斜控制，效率高且较易实现。
可选的，所述第一倾斜控制子模块1021包括：一方向倾斜控制单元1025。方向倾斜控制单元1025用于相对与主透镜平行的平面沿增加拟合面与所述第一成像单元所在的平面之间的夹角的方向，倾斜 所述第一成像单元，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆，其中，所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。所述第一成像单元朝该方案确定的方向倾斜后其所在的平面、拟合面、以及与所述第一成像单元对应的第一子透镜所在的平面三者的延长免相交同一直线的概率明显增加了，由此可减小相应的所述第一部分在所述第一成像单元所成的像的平均弥散圆，提高所采集的图像中相应的所述第一部分的成像质量。
进一步的，如果将该倾斜方向和所述期望倾斜角度共同作为所述第一成像单元倾斜控制的依据，则可进一步提高所述第一成像单元倾斜控制的效率；或者，如果将该倾斜方向和所述容许夹角范围共同作为所述第一成像单元倾斜控制的依据，则可进一步提高所述第一成像单元倾斜控制的效率。
可选的，所述倾斜控制模块102包括：一第二倾斜控制子模块1022。第二倾斜控制子模块1022用于相对与主透镜平行的平面倾斜所述至少一第一成像单元和至少一第一子透镜，以减小所述至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中，所述至少第一子透镜为所述光场相机的子透镜阵列中与所述至少一第一成像单元对应的子透镜。该方案可确定场景的期望清晰成像空间区域，通过倾斜用于对所述期望清晰成像空间区域进行图像采集的至少一第一成像单元以及与所述至少一成像单元对应的至少一第一子透镜的方式，使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在对应的至少一第一成像单元上成像的平均弥散圆的大小有所减小，由此改善所述至少一第一部分的成像质量。此外，采用本申请实施例提供的技术方案进行场景图像的光学采集期间，由于所述场景的期望清晰成像空间区域可根据实际需要确定，并通过倾斜光场相机相应的至少一第一成像单元和至少一第一子透镜的方式可提高 对所述至少一第一部分进行光学采集的成像质量，因此，有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集，可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
进一步可选的，所述第二倾斜控制子模块1022包括：一倾斜角度确定单元10221和一第二倾斜控制单元10222。一倾斜角度确定单元10221用于根据相应的所述第一子透镜的焦距、拟合面和所述与主透镜平行的平面之间的夹角、相应的所述第一子透镜的光心沿垂直与所述主透镜平行的平面的方向到所述拟合面的距离、以及相应的所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离，确定所述第一成像单元的第一倾斜角度和相应的所述第一子透镜的第二倾斜角度；一第二倾斜控制单元10222用于根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜，以减小相应的所述第一部分在所述第一成像单元上成像的平均弥散圆。该方案提高了所述第一成像单元和所述第一子透镜共同倾斜控制的效率，且经调整后的光场相机进行图像采集可获得相应的所述第一部分较高质量的成像。
可选的，所述图像采集控制装置还包括：一第二空间分布信息确定模块108和一拟合面确定模块109。第二空间分布信息确定模块108用于根据所述至少一第一部分在所述场景中的第一空间分布信息，确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息；拟合面确定模块109用于根据所述第二空间分布信息确定所述拟合面。可选的，所述各像分别到所述拟合面的距离之和最小。采用该方案确定拟合面，方案简单易实现。
可选的，如图11所示，所述图像采集控制装置还包括：一待倾斜元件确定模块1010。待倾斜元件确定模块1010用于至少确定所述 成像单元阵列中待倾斜的所述至少一第一成像单元。如所述至少一第一成像单元等待倾斜元件的确定方式非常灵活，本申请实施例对此并不限制。
进一步可选的，所述待倾斜元件确定模块1010包括：一第一子透镜确定子模块10101和一第一成像单元确定子模块10102。第一子透镜确定子模块10101用于确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜，为所述至少一第一子透镜；第一成像单元确定子模块10102用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系，确定与所述至少一第一子透镜对应的所述至少一第一成像单元。采用该方案确定所述至少一第一子透镜和所述至少一第一成像单元，方法简单易实现。
图13为本申请实施例提供的第四种图像采集控制装置的结构示意图，本申请具体实施例并不对图像采集控制装置1300的具体实现方式做限定。如图13所示，图像采集控制装置1300可以包括：
处理器(processor)1310、通信接口(communicationsinterface)1320、存储器(memory)1330、以及通信总线1340。其中：
处理器1310、通信接口1320、以及存储器1330通过通信总线1340完成相互间的通信。
通信接口1320，用于与比如可变形的成像单元阵列等通信。
处理器1310，用于执行程序1332，具体可以执行上述任一方法实施例中的相关步骤。
例如，程序1332可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1310可能是一个中央处理器(centralprocessingunit，简称cpu)，或者是特定集成电路(applicationspecificintegratedcircuit，简称asic)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1330，用于存放程序1332。存储器1330可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
例如，在一种可选的实现方式中，处理器1310通过执行程序1332可执行以下步骤：确定场景的期望清晰成像空间区域；相对与光场相机的主透镜平行的平面至少倾斜至少一第一成像单元，以减小至少一第一部分在所述至少一第一成像单元上成像的平均弥散圆，其中：所述至少一第一成像单元为所述光场相机的成像单元阵列中用于对所述期望清晰成像空间区域进行图像采集的至少一成像单元，所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分；经调整后的所述光场相机对所述场景进行图像采集。
在其他可选的实现方式中，处理器1310通过执行程序1332还可执行上述其他任一实施例提及的步骤，在此不再赘述。
程序1332中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。
- 还没有人留言评论。精彩留言会获得点赞！