成像控制器以及成像控制方法和程序的制作方法
【专利说明】
[0001] 相关专利申请的相互应用
[0002] 本申请基于并且要求2012年9月11日提交的日本专利申请No. 2012-199622的 优先权。
技术领域
[0003] 本发明涉及能够对多个成像单元提供适当成像条件的成像控制器以及由该成像 控制器执行的成像控制方法和用于实现该成像控制方法的程序。
【背景技术】
[0004] 已知包括诸如鱼眼镜头或者特广角镜头之类的多个广角镜头从而每次以全方位 捕获图像的全方位成像系统。进行配置以将来自镜头的图像投影到传感器表面上，并且通 过图像处理合成图像，从而产生全方位图像。例如，利用视角超过180度的两个广角镜头， 能够产生全方位图像。在图像处理中，在考虑与理想模型的失真的情况下，根据特定投影模 型，对每个镜头系统捕获的局部图像进行失真校正和投影变换。然后，根据局部图像的重叠 部分，连接局部图像，以形成单个全方位图像。
[0005] 在现有技术中，已知数码相机由捕获图像获得适当曝光的曝光校正技术。例如，日 本专利申请公开No. 2007-329555公开了一种包括多个成像单元的成像系统，排列该多个 成像单元，以具有重叠成像区，从而从成像单元捕获的每个图像中提取重叠区。进行配置， 以根据提取的重叠区的每个图像，调节成像单元的曝光和白平衡中的至少一个，从而降低 捕获图像的亮度或者色彩的差异，目的是降低诸如合成之类的后处理的工作负荷。
[0006] 然而，利用该现有技术的曝光校正技术，全方位成像系统难以获取适当的曝光，因 为其成像单元的光学条件或者照相环境不同。上述文献公开的现有技术仅考虑重叠区，因 此，如果相对于整个图像重叠区小，则在不平衡曝光条件下，难以获得适当的曝光校正值。 特别是，由于全方位成像系统的成像区是全方位的，所以在传感器上通常捕获像太阳一样 的高亮物体，这样可能产生杂光并且图像偏移值增大。能够对于每个传感器获得适当的曝 光，然而，这可能导致图像的连接部分之间的亮度差异并且削弱全方位图像的质量。
【发明内容】
[0007] 本发明的目的在于提供能够对每个成像单元提供适当的成像条件，从而在合成图 像时消除成像单元捕获的图像的连接点处的不连续性的成像控制器以及成像控制方法和 程序。
[0008] 根据本发明的一方面，一种成像控制器包括：索引计算器，用于计算多个成像单元 捕获的图像的每个分割区域的索引值，该索引值用于估计每个分割区域的照相状态；估计 值计算器，用于根据索引计算器计算的每个分割区域的索引值估计图像和图像之间的重叠 区域，并且计算整体估计值；以及条件确定器，用于根据估计值计算器计算的整体估计值确 定每个成像单元的成像条件。
【附图说明】
[0009] 根据下面参考附图所做的详细描述，本发明的特征、实施例和优点显而易见。
[0010] 图1是根据本实施例的全方位成像系统的截面图；
[0011] 图2示出图1中的全方位成像系统的硬件配置；
[0012] 图3示出图1中的全方位成像系统的整个图像处理的流程；
[0013] 图4A、图4B分别示出两个鱼眼镜头捕获的第0和第一图像，并且图4C示出作为例 子的第〇和第一捕获图像的合成图像；
[0014] 图5A、图5B示出根据本实施例的区域分割方法；
[0015] 图6是根据本实施例的全方位成像系统执行的曝光控制的流程图；以及
[0016] 图7是根据本实施例的全方位成像系统执行的曝光计算的流程图。
【具体实施方式】
[0017] 下面将参考附图详细描述成像控制器和成像系统的实施例。只要有可能，在所有 附图中利用相同的附图标记表示相同或者类似的部分。作为例子，本实施例描述了一种全 方位成像系统，该全方位成像系统包括含有两个鱼眼镜头的相机单元和根据这两个鱼眼镜 头捕获的图像判定成像条件的功能。然而，本实施例并不局限于这种例子。作为选择，该全 方位成像系统能够包括含有三个或者更多个鱼眼镜头以根据鱼眼镜头捕获的图像确定成 像条件的相机单元。在此，鱼眼镜头能够包括广角镜头或者特广角镜头。
[0018] 参考图1和图2,描述全方位成像系统10的整体配置。图1是全方位成像系统 10 (下面简称为成像系统）的截面图。其包括：相机单兀12 ;外壳14,该外壳14容纳相机 单元12和诸如控制器、电池的元件；以及快门按钮18,该快门按钮18设置于外壳14上。
[0019] 图1中的相机单元12包括：两个镜头系统20A、20B;以及两个固态图像传感器 22A、22B，作为(XD(电荷耦合器件）传感器或者CMOS(互补金属氧化物半导体）。在此，每 对镜头系统20和固态图像传感器22被称为成像单元。例如，镜头系统20A、20B分别包括 作为鱼眼镜头的6组7个镜头。在本实施例中，鱼眼镜头具有180度（360度/n，n= 2)或 者更优选地185度或者更更优选地190度或者更大的总视角。
[0020] 相对于固态图像传感器22A、22B定位镜头系统20A、20B的诸如透镜、棱镜、滤光 片、孔光阑之类的光学元件，以使得光学元件的光轴垂直于相应固态图像传感器22的光接 收区的中心，以及光接收区变成相应鱼眼镜头的成像面。固态图像传感器22是光电二极管 以二维布置于其上，以将镜头系统20收集的光转换为图像信号的区域图像传感器。
[0021] 在本实施例中，镜头系统20A、20B相同并且互相相对地布置，使得其光轴重合。固 态图像传感器22A、22B将光分布转换为图像信号，并且将它们输出到控制器上的未示出的 图像处理器。图像处理器将来自固态图像传感器22A、22B的部分图像组合，而以4JI的固 定弧度角合成图像或者全方位图像。在从拍摄点能够看到的所有方向上捕获全方位图像。 代替全方位图像，能够产生在水平面上仅在360度的范围内捕获的全景图像。
[0022] 为了利用总视角大于180度的鱼眼镜头形成全方位图像，利用成像单元捕获的图 像的重叠部分连接图像，作为表示同一图像的基准数据。将产生的全方位图像输出到例如 设置于相机单元12内的或者连接到相机单元12的显示器、打印机或者诸如SDcard?、 compactflash?的外部存储介质。
[0023] 图2示出根据本实施例的成像系统10的硬件的结构。成像系统10包括：数码相机 处理器100 (下面简称为处理器）、镜筒单元102、以及与处理器100相连接的各种元件。镜 筒单元102包括两对镜头系统20A、20B和固态图像传感器22A、22B。固态图像传感器22A、 22B由来自处理器100的CPU130的命令控制。
[0024] 处理器100包括：ISP(图像信号处理器）108A、108B、DMAC(直接存储器存取控制 器）110、用于存储器存取的仲裁器（ARBMEMC) 112、用于存储器存取的MEMC(存储器控制 器）114、以及失真校正与图像合成模块118。ISP108A、108B对由固态图像传感器22A、22B 处理的图像数据信号执行自动曝光控制并且对其设定白平衡和伽马平衡。
[0025] MEMC114 连接到SDRAM116,SDRAM116 临时存储ISP108A、108B和失真校正与 图像合成模块118的处理中使用的数据。失真校正与图像合成模块118根据来自三轴加速 度传感器120的信息对来自两个成像单元的两个部分图像执行失真校正和垂直倾斜校正 且合成它们。
[0026] 处理器100还包括：DMAC122、图像处理模块124、CPU130、图像数据传送器126、 SDRAMC128、存储卡控制模块140、USB模块146、外围模块150、音频单元152、串行模块 158、IXD(液晶显示器）驱动器162以及桥接器168。
[0027] CPU130控制成像系统10的元件的操作。图像处理模块124与大小调整模块132、 JPEG模块134以及H. 264模块136 -起对图像数据执行各种图像处理。大小调整模块132 通过内插来放大或者缩小图像数据的大小。JPEG模块134是以JPEG对图像数据进行压缩和 解压缩的编解码模块。H. 264模块136是以H. 264对视频数据进行压缩和解压缩的编解码 模块。图像数据传送器126传送由图像处理模块124处理的图像。SDRAMC128控制SDRAM 138,SDRAM138连接到处理器100并且在处理器100的图像处理期间临时存储图像数据。
[0028] 存储卡控制模块140控制对插入存储卡槽142内的存储卡和闪速R0M144的数据 读和写，存储卡可拆卸地插入存储卡槽142内。USB模块146控制与通过USB连接器148连 接的诸如个人计算机之类的外部设备的USB通信。外围模块150连接到电源开关166。
[0029] 音频单元152连接到用于接收来自用户的音频信号的麦克风156和用于输出音频 信号的扬声器154,以控制音频的输入和输出。串行模块158控制与外部设备的串行通信， 并且连接到无线NIC(网络接口卡）160。IXD驱动器162是用于IXD164的驱动电路，并且 将图像数据转换为用于将各种信息显示在IXD164上的信号。
[0030] 闪速ROM144含有CPU130以可读代码写入的控制程序和各种参数。在电源开关 166的电源接通后，控制程序被加载到主存储器上。CPU130按照主存储器上的控制程序控 制图形处理器的各单元和各元件的操作，并且将所需控制数据临时存储在SDRAM138和未 示出的本地SRAM内。
[0031] 图3示出根据本实施例，用于控制成像条件和成像系统10的整个图像处理的流程 的主要功能模块。首先，固态图像传感器22A、22B在特定曝光条件下捕