图像处理器、图像处理方法和成像系统的制作方法
【专利摘要】在此公开图像处理器、图像处理方法和成像系统，所述图像处理器包括：第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像；位置检测器，用于检测由所述转换器转换的图像的连接位置；校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。
【专利说明】图像处理器、图像处理方法和成像系统
【技术领域】
[0001]本发明涉及用于连接由透镜系统形成的输入图像的图像处理器、图像处理方法和成像系统。
【背景技术】
[0002]存在这样的已知全向成像系统:其包括诸如鱼眼镜头或超广角镜头之类的多个广角镜头，用于立刻捕获全向图像。其配置为将来自透镜的图像投射到传感器表面，并且通过图像处理组合各图像，从而产生全向图像。例如，通过使用具有超过180度视角的两个广角镜头，可以广生全向图像。
[0003]在图像处理中，在考虑来自理想模型的失真的情况下，基于特定的投射模型，每个透镜系统捕获的局部图像经历失真校正和投射转换。然后，基于局部图像的重叠部位连接各局部图像以形成单个全向图像。通过图案匹配等来检测被摄体图像在重叠部位中重叠的位置。
[0004]然而，即使在捕获相同被摄体时，具有大量失真的局部图像(例如，利用鱼眼镜头捕获的局部图像)也包含具有不同种类或数量的失真的连接区域。于是，非常难以通过图案匹配精确地检测图像的重叠位置。由此，不能适当地连接局部图像，于是不能产生高质量的全向图像。
[0005]存在用于连接以多个相机捕获的局部图像的各种已知技术。例如，日本专利申请公开第2010-130628号(参考文件I)公开了一种成像设备，包括:局部相机，其具有重叠拍摄区域并且捕获被摄体的拍摄区域的局部区域；以及参考相机，其具有包括由每个局部相机捕获的图像的一部分的拍摄区域。它使用相机参数来校正每个相机的捕获图像的失真，检测局部相机的校正图像与基准相机的校正图像彼此一致的图像区域，计算相对位置，并且连接各图像。
[0006]进一步，日本专利申请公开第2009-104323号(参考文件2)公开了一种相机系统，其使用被安排为具有重叠拍摄区域的多个相机，并且在没有相机的设置位置的估计的情况下，根据实际捕获的图像产生不引起连接点的位移的高精度映射表格。日本专利申请公开第2010-81479号(参考文件3)公开了一种图像处理器，其仅转换利用车内相机捕获的道路上车辆的鱼眼图像的X坐标，以便产生没有消失点的虚拟视图图像。其旨在将鱼眼图像转换为使得道路表面上的停车场线显得近似线性和平行的图像。
[0007]然而，参考文件I涉及连接以平面坐标表示的图像，并且其在应用于使用具有大失真的镜头(如，鱼眼镜头)的成像设备时不能精确地检测连接位置。此外，参考文件2教导了通过使用现有目标板的匹配表格的产生，但是不能精确地对准各图像的位置。参考文件3教导了鱼眼图像的校正，但是不涉及连接多个图像。
【发明内容】
[0008]本发明目标在于提供即使在使用具有大量失真的透镜系统的情况下也可精确地连接所捕获的图像的图像处理器、图像处理方法和成像系统。
[0009]根据本发明的一个方面，图像处理器包括:第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像；位置检测器，用于检测由所述转换器转换的图像的连接位置；校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。
【专利附图】
【附图说明】
[0010]参照附图，本发明的特征、实施例和优点将从以下的详细描述变得明显:
[0011]图1是根据本发明第一实施例的全向成像系统的剖视图；
[0012]图2示出图1中的全向成像系统的硬件配置；
[0013]图3示出图1中的全向成像系统的整个图像处理的流程；
[0014]图4是全向成像系统中用于全向图像合成的功能框图；
[0015]图5是用于全向成像系统执行的全向图像的图像合成的流程图；
[0016]图6A、6B示出使用鱼眼镜头的全向成像系统的投射；
[0017]图7A、7B示出根据第一实施例的全向图像格式的图像数据的数据结构；
[0018]图8A、8B示出用于位置检测的第一失真校正器和用于图像合成的第二失真校正器所参考的转换数据；
[0019]图9示出两个鱼眼镜头捕获的两个局部图像在用于位置检测的球形坐标系中的映射；
[0020]图10是用于全向成像系统执行的连接位置检测的流程图；
[0021]图11A、11B示出第一实施例中的连接位置检测；
[0022]图12示出位置检测器产生的数据的数据结构；
[0023]图13是用于通过根据第一实施例的全向成像系统产生图像合成转换表格的流程图；
[0024]图14示出两个鱼眼镜头捕获的两个局部图像在用于图像合成的球形坐标系中的映射；
[0025]图15示意性地示出根据第二实施例的全向成像系统的结构；以及
[0026]图16是用于根据第二实施例的全向成像系统的全向图像合成的流程图。
【具体实施方式】
[0027]在下文中，参照附图详细描述图像处理器和成像系统的实施例。尽可能地，贯穿附图将相同的附图标记用于指代相同或相似的部分。
[0028]参照图1到图3，描述全向成像系统10的总体配置。通过示例的方式，全向成像系统10包括:两个鱼眼镜头，用以捕获两个局部图像；以及图像处理功能，用以对局部图像进行失真校正和投射转换，连接局部图像，并且产生全向图像。图1是全向成像系统10(下文简称为成像系统)的剖视图。它包括相机单元12、容纳相机单元12和作为控制器、电池的元件的外壳14、以及提供在外壳14上的快门按钮18。图1中的相机单元12包括两个透镜系统20A、20B和作为CXD (电荷耦合器件)传感器或CMOS (互补金属氧化物半导体)的两个固态图像传感器22A、22B。这里，将透镜系统20和固态图像传感器22的配对中的每一个称为成像单元。例如，透镜系统20A、20B均由6组作为鱼眼镜头的7个镜头构成。在本实施例中，鱼眼镜头具有180度(360度/n，n=2)或更大(优选185度或更大，更优选190度或更大)的总视角。
[0029]相对于固态图像传感器22A、22B放置作为透镜系统20A、20B的透镜、棱镜、滤光器、孔径光阑的光学元件，使得光学元件的光轴与对应固态图像传感器22的光接收区域的中心正交，以及光接收区域变为对应鱼眼镜头的成像面。固态图像传感器22是区域图像传感器，在其上二维地布置光电二极管，用于将透镜系统20采集的光转换为图像信号。
[0030]在本实施例中，透镜系统20A、20B是相同的，并且彼此相对地放置，使得它们的光轴一致。固态图像传感器22A、22B将光分布转换为图像信号，并且将它们输出到控制器上的未示出的图像处理器。图像处理器组合来自固态图像传感器22A、22B的局部图像，以产生具有在弧度上为4π的立体角的图像或者全向图像。在可以从拍摄点看到的所有方向上捕获全向图像。代之全向图像，可以产生仅在水平面上以360度范围捕获的全景图像。
[0031]为了使用具有超过180度的总视角的鱼眼镜头形成全向图像，将各成像单元的捕获图像的重叠图像部位用作表示同一图像的参考数据并用于连接各图像。例如，将产生的全向图像输出至相机单元12中提供的或者与相机单元12连接的显示器、打印机或外部存
储介质(如，SD 卡K1、CF ( compact flash )⑩)。
[0032]图2示出根据本实施例的成像系统10的硬件的结构。成像系统10包括数码相机处理器100 (下文简称为处理器)、镜筒单元102、以及与处理器100连接的各种元件。镜筒单元102包括两对透镜系统20A、20B和固态图像传感器22A、22B。固态图像传感器22A、22B由来自处理器100的CPU130的命令控制。
[0033]处理器100包括ISP (图像信号处理器)108A、108B、DMAC (直接存储器存取控制器)110、用于存储器存取的仲裁器(ARBMEMC) 112、用于存储器存取的MEMC (存储控制器)114、以及失真校正和图像合成块118。ISP108AU08B设置固态图像传感器22A、22B信号处理的图像数据的白平衡和伽玛平衡。MEMC114连接至SDRAM116，所述SDRAM116临时存储ISP108AU08B以及失真校正和图像合成块118的处理中所使用的数据。失真校正和图像合成块118基于来自三轴加速度传感器120的信息，对来自两个成像单元的两个局部图像进行失真校正和垂直校正，并且合成它们。
[0034]处理器100进一步包括DMAC122、图像处理块124、CPU130,图像数据传输器126、SDRAMC128、存储卡控制块140、USB块146、外设块150、音频单元152、串行块158、LCD (液晶显不器)驱动器162和桥接器168。
[0035]CPU130控制成像系统10的各元件的操作。图像处理块124与大小调整块132、JPEG块134、H.264块136 —起，对图像数据进行各种图像处理。大小调整块132通过内插放大或缩小图像数据的大小。JPEG块134是用于以JPEG压缩和解压缩图像数据的编解码块。H.264块136是用于以H.264压缩和解压缩视频数据的编解码块。图像数据传输器126传输图像处理块124处理的图像。SDRAMC128控制SDRAM138，所述SDRAM138连接至处理器100并且在处理器100的图像处理期间临时存储图像数据。
[0036]存储卡控制块140控制对于插入至存储卡插槽142 (其中可分离地插入存储卡)的存储卡和闪存R0M144的数据读取和写入。USB块146控制与经由USB连接器148连接的诸如个人计算机之类的外部设备的USB通信。外设块150连接至电源开关166。音频单元152连接至用于接收来自用户的音频信号的麦克风156和用于输出音频信号的扬声器154,以控制音频输入和输出。串行块158控制与外部设备的串行通信，并且连接至无线NIC(网络接口卡)160。IXD驱动器162是用于IXD164的驱动电路，并且将图像数据转换为用于在IXD164上显不各种信息的信号。
[0037]闪存R0M144包含由CPU130以可读代码编写的控制程序以及各种参数。一旦电源开关166上电，将控制程序加载至主存储器。CPU130依照主存储器上的控制程序，控制图像处理器的各单元和各元件的操作，并且将必要的控制数据临时存储于SDRAM138和未示出的本地SRAM中。
[0038]图3示出根据本实施例的成像系统10的整个图像处理的流程。在步骤S101A、101B,固态图像传感器22A、22B捕获图像。在步骤S102A、102B, ISP108对于贝尔RAW图像进行光学黑校正、缺陷像素校正、线性校正、阴影以及区域分割和平均化，并且在步骤S103A、103B,将图像存储在存储器中。在步骤S104A、104B, ISP108进一步对图像进行白平衡、伽玛校正、贝尔内插、YUV转换、边缘增强和色彩校正，并且在步骤S105AU05B，将图像存储在存储器中。
[0039]一旦完成对于固态图像传感器22A、22B上捕获的图像的以上处理，在步骤S106，每个局部图像经历失真校正和图像合成。在步骤S107，适当地向所产生的全向图像添加标签，并且将其以文件存储在内部存储器或外部存储设备中。可替代地，在适当的时候，可以基于来自三轴加速度传感器120的信息另外地进行倾斜校正，或者可以使存储的图像文件经历压缩。
[0040]通过使用具有宽视角的鱼眼镜头，作为图像连接的基准的局部图像的重叠部位包括大量的失真。由于鱼眼镜头固有的失真，在步骤S106，局部图像可能不能在失真校正和图像合成中精确地连接。鉴于此，为了适当地合成具有相比于一般镜头更大量的失真的、鱼眼镜头所捕获的局部图像，成像系统10将不同的参数用于图像合成和图像合成前的连接位置检测。
[0041]以下参照图4到图14详细描述成像系统10的全向图像合成功能。图4示出用于成像系统10的全向图像合成的功能块200。图4中的失真校正和图像合成块118包括用于位置检测的失真校正器202、位置检测器204、表格校正器206、表格产生器208、用于图像合成的失真校正器210和图像合成器212。为了简明起见，将用于位置检测的失真校正器和用于图像合成的失真校正器分别称为第一和第二失真校正器。
[0042]将两个局部图像经由ISP108AU08B从固态图像传感器22A、22B输入至失真校正和图像合成块118。这里，将固态图像传感器22A、22B称作第O个和第I个图像传感器，将来自固态图像传感器22A的局部图像称作第O个局部图像，而将来自固态图像传感器22B的局部图像称作第I个局部图像。失真校正和图像合成块118配备有用于位置检测的转换表格220，其由制造商基于关于透镜系统的设计数据、依照特定的投射模型准备。
[0043]第一失真校正器202参照转换表格220，在连接位置检测前校正第O个和第I个局部图像的失真，以产生第O个和第I个校正图像。第O个和第I个局部图像在二维固态图像传感器上被捕获，并且是以平面坐标系(X，y)表示的图像数据。同时，第O个和第I个校正图像是在与局部图像不同的坐标系中的图像数据，更确切地，它们是以球形坐标系(其为具有半径?和两个自变量θ，φ的极坐标系)表示的全向图像格式的图像数据。
[0044]图6Α、6Β示出并入鱼眼镜头的成像系统的投射。在本实施例中，单个鱼眼镜头从拍摄点捕获大约半球中各方向上的图像，并且产生具有与相对于光轴的入射角Φ对应的图像高度h的图像。图像高度h和入射角φ之间的关系由投射函数根据特定的投射模型确定。投射函数依据鱼眼镜头的性质和等立体角投射类型鱼眼镜头的性质而不同，由下列等式(I)表达:
[0045]
【权利要求】
1.一种图像处理器，包括: 第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像； 位置检测器，用于检测由所述转换器转换的图像的连接位置； 校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。
2.如权利要求1所述的图像处理器，其中: 所述第一转换数据使得输入图像之间的重叠区域被投射在球形表面的赤道线附近；以及 所述坐标转换是旋转坐标转换。
3.如权利要求1或2所述的图像处理器，进一步包括: 第二转换器，用于根据所述第二转换数据，将输入图像转换至与输入图像的坐标系不同的坐标系中的图像；以及 图像合成器，用于合成所述第二转换器转换的图像，并且产生与输入图像的坐标系不同的坐标系中表示的合成图像。
4.如权利要求1到3中任何一个所述的图像处理器，其中 所述第一转换数据用于限定从平面坐标系中表示的输入图像到具有至少两个自变量的极坐标系中表示的图像的投射。
5.如权利要求1到4中任何一个所述的图像处理器，其中: 以不同的透镜系统捕获所述输入图像；并且 所述第一转换数据包含用于校正用于投射的、以透镜系统捕获的输入图像的失真的多组数据。
6.如权利要求3所述的图像处理器，其中: 以具有大于180度的视角的透镜系统捕获所述输入图像；以及 所述合成图像是以具有至少两个自变量的坐标表示的全向图像。
7.一种图像处理方法，用于计算机执行以下步骤: 接收输入图像； 基于投射模型，根据第一转换数据，将输入图像转换至与所述输入图像的坐标系不同的坐标系中的图像； 检测在转换步骤中转换的图像的连接位置； 基于检测步骤的检测的结果，校正所述第一转换数据；以及 从基于坐标转换在校正步骤中校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。
8.如权利要求7所述的图像处理方法，其中: 检测步骤包括:通过图案匹配，发现转换步骤中转换的图像之中的第一图像和第二图像之间的重叠区域的像素连接位置；以及 产生步骤包括:通过旋转坐标转换，与合成图像的坐标系的坐标值相关联地发现每个转换的图像的坐标系的坐标值，并且获取与所发现的坐标值相关联的输入图像的坐标值。
9.如权利要求7或8所述的图像处理方法，进一步包括以下步骤: 根据所述第二转换数据，将输入图像转换至与输入图像的坐标系不同的坐标系中的图像；以及 合成转换步骤中转换的图像，并且产生与输入图像的坐标系不同的坐标系中表示的合成图像。
10.一种成像系统，包括: 成像元件； 转换器，用于基于投射模型，根据第一转换数据将在不同方向上捕获的输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像； 位置检测器，用于检测由所述转换器转换的图像的连接位置； 校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限`定输入图像的转换。
【文档编号】H04N5/232GK103685917SQ201310411332
【公开日】2014年3月26日 申请日期:2013年9月11日 优先权日:2012年9月11日
【发明者】竹中博一, 寺尾典之, 入野祥明, 田中智宪, 今江望, 原田亨, 山本英明, 增田宪介, 伊藤洋一, 泽口聪, 别所大介, 佐藤裕之, 庄原诚, 高巢修作 申请人:株式会社理光