图像处理装置、图像处理方法和车辆与流程

本技术涉及图像处理装置、图像处理方法和车辆，并且明确地说，适用于使用由布置成一排的两个(或更多个)相机同时成像的图像对使用三角测量的原理而测量到对象的距离的状况的图像处理装置、图像处理方法和车辆。

背景技术：

为了在三维空间中识别对象，存在测量到对象的距离的技术。作为到对象的距离的测量，已知立体图像处理(例如，参见专利文献1)，其中对象由两个(或更多个)相机同时成像，其中所述相机因以预定基线长度独立地布置而具有视差，并且到对象的距离使用作为成像的结果而获得的一对基础图像和参考图像(下文中称为立体图像对)使用三角测量的原理而测量。

在立体图像处理中，重要的是，准确地检测立体图像对中的对应点(对象)的位置。应注意，在理想状态中，立体图像对中的对应点(对象)存在于平行于连接两个相机的中心的线的方向上。因此，仅搜索此方向便足够。此处，理想状态表示两个相机可将待成像的三维空间投影在理想平面上而关于任意方向没有失真的状况。

顺便提及，为了识别在三维空间中在较广范围中存在的对象，有时使用被附接鱼眼镜头等并能够以广视角对立体图像对成像的广角相机。

此处，广角相机被定义为能够以比正常相机大的视角来对对象成像并设有例如具有35mm或更小、明确地说在35mm转换中28mm或更小的焦距的广角镜头或鱼眼镜头的相机。此外，广角相机包含能够以120度或更大、明确地说150度或更大的视角来对对象成像的相机。下文中，由广角相机成像的图像被称为广角图像。

在立体图像对由广角相机成像的状况下，立体图像对大幅偏离上述理想状态，并且在所获得的两个广角图像中的每一个中发生朝向周边部分的较大失真。因此，检测广角图像对上的对应点变得困难。因此，已提出对此失真进行像差校正并检测作为校正的结果而获得的平面图像对上的对应点的方法(例如，参见图2)。

引用文献列表

专利文献

专利文献1：第05-114099号日本专利申请特许公开

专利文献2：第2001-235819号日本专利申请特许公开

技术实现要素：

本发明将解决的问题

然而，上文所述的失真的像差校正仅针对所成像的广角图像的一部分来执行，并且在所校正的区域中不存在将测量距离的对象的状况(换句话说，对象不存在于平面图像上的状况)下，无法检测立体图像对上的对应点(对象)的位置。

已鉴于此情形而作出本技术，并且本发明的目标是使用包含由广角相机成像的具有广视角的图像的立体图像对而测量到存在于较广范围中的对象的距离。

问题的解决方案

根据本技术的第一方面的图像处理装置包含：第一产生单元，被配置成获取第一图像，并根据通过划分在拍摄第一图像时的视角而获得的投影角将第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像；第二产生单元，被配置成获取包含成像范围与第一图像的成像范围重叠的区域的第二图像，并根据通过划分在拍摄第二图像时的视角而获得的投影角将第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像；以及多个立体图像处理单元，被配置成使用多个所产生的基准平面图像和多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

第一图像或第二图像中的至少一个可以是由广角相机成像的图像。

第二产生单元可产生相对于由第一产生单元产生的多个基准平面图像具备空边的多个参考平面图像。

空边的宽度可基于将第一图像成像的第一成像单元与将第二图像成像的第二成像单元之间的基线长度来确定。

多个基准平面图像和多个参考平面图像的布置方向可正交于将第一图像成像的第一成像单元与将第二图像成像的第二成像单元之间的基线长度的方向。

多个基准平面图像和多个参考平面图像的布置方向可正交于立体图像处理中的对应点的搜索方向。

根据本技术的第一方面的图像处理装置可包含被配置成集成所产生的多条距离信息的距离信息集成单元。

距离信息集成单元可转换所产生的多条距离信息的坐标系统。

根据本技术的第一方面的图像处理装置可还包含被配置成将第一图像成像的第一成像单元以及被配置成将第二图像成像的第二成像单元。

第一成像单元或第二成像单元中的至少一个可包含广角相机。

第一成像单元和第二成像单元可并排布置在水平方向上。

第一成像单元和第二成像单元可上下布置在垂直方向上。

根据本技术的第一方面的图像处理方法包含：在图像处理装置的图像处理方法中，通过图像处理装置，获取第一图像并根据通过划分在拍摄第一图像时的视角而获得的投影角将第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像的第一产生步骤，获取包含成像范围与第一图像的成像范围重叠的区域的第二图像并根据通过划分在拍摄第二图像时的视角而获得的投影角将第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像的第二产生步骤，以及使用多个所产生的基准平面图像和多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息的多个立体图像处理步骤。

在本技术的第一方面中，获取第一图像，根据通过划分在拍摄第一图像时的视角而获得的投影角将第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像，获取包含成像范围与第一图像的成像范围重叠的区域的第二图像，根据通过划分在拍摄第二图像时的视角而获得的投影角将第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像，并使用多个所产生的基准平面图像和多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

根据本技术的第二方面的车辆包含：第一成像单元，被配置成将第一图像成像；第二成像单元，被配置成将包含成像范围与第一图像的成像范围重叠的区域的第二图像成像；第一产生单元，被配置成获取第一图像，并根据通过划分在拍摄第一图像时的视角而获得的投影角将第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像；第二产生单元，被配置成获取第二图像，并根据通过划分在拍摄第二图像时的视角而获得的投影角将第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像；以及多个立体图像处理单元，被配置成使用多个所产生的基准平面图像和多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

在本技术的第二方面中，将第一图像成像，将包含成像范围与第一图像的成像范围重叠的区域的第二图像成像，根据通过划分在拍摄第一图像时的视角而获得的投影角将第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像，根据通过划分在拍摄第二图像时的视角而获得的投影角将第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像，并使用多个所产生的基准平面图像和多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

本发明的效果

根据本技术的第一方面和第二方面，可测量到存在于较广范围中的对象的距离。

附图说明

图1是图示广角图像与平面图像之间的关系的图式。

图2是图示虚拟球面与平面图像之间的关系的图式。

图3是图示广角图像与充当基础图像的多个平面图像之间的关系的图式。

图4是图示应用了本技术的图像处理装置的配置实例的框图。

图5是图示广角图像与充当参考图像的多个平面图像之间的关系的图式。

图6是用于描述距离信息的集成实例的图式。

图7是用于描述距离信息的集成实例的图式。

图8是用于描述距离信息的集成实例的图式。

图9是用于描述由图像处理装置进行的距离测量处理的流程图。

图10是用于图示以条带方式划分平面图像的实例的图式。

图11是图示图10中的第一成像单元和第二成像单元的布置实例的图式。

图12是图示通用计算机的配置实例的框图。

图13是车辆中的立体相机的布置实例的图式。

图14是图示配置车辆中的立体相机的第一成像单元和第二成像单元的布置实例的图式。

图15是图示配置车辆中的立体相机的第一成像单元和第二成像单元的布置实例的图式。

图16是图示配置车辆中的立体相机的第一成像单元和第二成像单元的布置实例的图式。

图17是图示配置车辆中的立体相机的第一成像单元和第二成像单元的布置实例的图式。

图18是图示配置车辆中的立体相机的第一成像单元和第二成像单元的布置实例的图式。

图19是图示车辆控制系统的示意性配置的实例的框图。

图20是图示车辆外部信息检测单元和成像单元的安装位置的实例的说明图。

具体实施方式

下文中，将参照附图来详细描述用于实施本技术的最佳模式(下文中，被称为实施例)。

<由广角相机成像的广角图像与平面图像之间的关系>

图1图示由广角相机拍摄的广角图像与通过广角图像的像差校正而获得的平面图像之间的关系。应注意，图1仅图示用于立体图像处理的基础图像和参考图像中的一个。

在由广角相机成像的广角图像w中，成像方向上的三维空间投影到虚拟球面s上的状态显示在图像上，并且大的失真已出现。在此状态下，从成对的广角图像w进行对应点的检测是困难的。因此，通过将广角图像w投影到虚拟球面s上的平面上，产生平面图像p。

应注意，在产生平面图像p时，在将在后续阶段用于距离测量的广角图像w的周边部分中需要极坐标转换处理。

图2示意性地二维图示虚拟曲面s与平面图像p之间的关系。应注意，图2仅图示用于立体图像处理的基础图像和参考图像中的一个。

平面图像p通过相对于虚拟球面s设定投影角θ并将广角图像w投影而产生。如下式(1)所示，所产生的平面图像p的宽度w使用投影角θ来表达。

w＝2r·tan(θ/2)...(1)

此处，r是虚拟球面s的半径。θ是约0°到180°的值(因为存在具有180°或更大的广视角的一些鱼眼镜头)。

应注意，在投影角θ是180度的状况下，式(1)的宽度w趋于无穷大。换句话说，在以180度或更大的视角成像的广角图像w的状况下，整个图像无法投影到一个平面图像p上。因此，在本技术中，单个广角图像w投影到多个平面图像p上，即，多个平面图像p由一个广角图像w产生。因此，即使在将测量距离的对象处于广角图像w中的周边区域中，也可测量到对象的距离。

图3图示一个广角图像w投影到三个平面图像p上的状况。应注意，图3仅图示用于立体图像处理的基础图像和参考图像中的基础图像。

如图3所图示，平面图像p11通过将广角图像w的视角的角θ11的一部分投影而产生。类似地，平面图像p12通过将广角图像w的视角的角θ12的一部分投影而产生。平面图像p13通过将广角图像w的视角的角θ13的一部分投影而产生。应注意，投影角θ11、θ12和θ13需要被设定为包含广角图像w的整个视角。

例如，在广角图像w的视角是180度的状况下，投影角θ11、θ12和θ13的值可以是相同的60度。应注意，投影角θ11、θ12和θ13的值不需要是相同的。例如，投影角θ12可变宽，并且其它投影角θ11和θ13可变窄。此外，投影角θ11、θ12和θ13的值可以是可变的，并且可根据将成像的场景而改变。通过所述设定，具体方向(例如，估计对象的存在的方向)上的平面图像p可变宽。

应注意，图3图示广角图像w的视角被划分为三个角的状况。然而，例如，广角图像w的视角可被划分为两个角以从一个广角图像w产生两个平面图像p，或广角图像w的视角可被划分为四个或更多个角以从一个广角图像w产生四个或更多个平面图像p。如果并行地执行检测每一组基础图像和参考图像的对应点的处理，那么在将产生的平面图像p的数量增大的状况下，可较迅速地执行广角图像w的整个区域的对应点的检测。

<根据本实施例的图像处理装置的配置实例>

图4图示本实施例的图像处理装置的配置实例。

图像处理装置10使用由两个相机(第一成像单元11和第二成像单元12)拍摄的立体图像对而执行立体图像处理，并且预期例如安装在例如小汽车等车辆上。在图像处理装置10安装在小汽车上的状况下，可测量到围绕小汽车存在的对象(另一车辆、人、道路上的车道)的距离。其测量结果例如用于实现例如临近警告、碰撞避免制动、车道改变警告和自动转向等功能。

图像处理装置10包含第一校正单元13、第二校正单元14、第一平面图像对处理单元15、第二平面图像对处理单元16、第三平面图像对处理单元17、距离信息集成单元18和距离信息分析单元19。

由第一成像单元11和第二成像单元12分别成像的图像被供应到图像处理装置10。下文中，假设由第一成像单元11成像的图像用作基础图像并且由第二成像单元12成像的图像用作参考图像。

此处，第一成像单元11和第二成像单元12是具有相等焦距的广角相机，并且被布置成通过远离彼此的预定基线长度将实质上相同的成像范围成像。此处，例如特别在车上安装的状况下，考虑到将第一成像单元11和第二成像单元12安装在后视镜上，预定基线距离被假设是约5cm。然而，20cm等基线长度可通过使用大型后视镜或在车体上提供相机来确保5cm或更大(例如，10cm)的基线长度来设定。

第一成像单元11和第二成像单元12的布置方向通常是横向方向(水平线方向)，但布置方向可以是垂直方向(垂直方向)。在第一成像单元11和第二成像单元12布置在垂直方向上的状况下，第一成像单元11与第二成像单元12之间的视差不跨越多个所产生的平面图像(下文所描述)的边界，并且因此存在容易检测对应点的优点。此外，在车上安装的状况下，垂直方向上的视差有时比在横向方向上重要。

第一成像单元11将成像范围成像并将所得广角图像w1输出到第一校正单元13。第二成像单元12在与第一成像单元11相同的成像时序将成像范围成像并将所得广角图像w2输出到第二校正单元14。在此状况下，图像处理装置10可测量到存在于成像范围中任何地方的任何对象的距离。

应注意，即使在将安装了具有标准视角的镜头(焦距在35mm转换中是约50mm)的标准相机代替广角相机用于第一成像单元11和第二成像单元12的状况下，本技术也是适用的。

此外，第一成像单元11和第二成像单元12可具有不同成像方向，只要在相应成像范围中存在重叠区域即可。在此状况下，可以测量到存在于第一成像单元11和第二成像单元12的成像范围相互重叠的区域中的对象的距离。虽然不可以测量到存在于第一成像单元11和第二成像单元12的成像范围不相互重叠的区域中的对象的距离，但广角图像w1和w2中的区域可用于广范围监视等。

此外，第一成像单元11和第二成像单元12的所附接的镜头的焦距可以是不同的。例如，广角镜头可安装在第一成像单元11和第二成像单元12中的一个上，并且具有比广角镜头长的焦距(即，窄视角和较高分辨率)的远摄镜头可附接到另一成像单元。应注意，第一成像单元11和第二成像单元12被安装成导致第一成像单元11和第二成像单元12的成像范围中的重叠区域。在此状况下，可以测量到存在于第一成像单元11和第二成像单元12的成像范围相互重叠的区域中的对象的距离。此外，在此状况下，当不执行立体图像处理时，由被附接广角镜头的成像单元成像的广角图像可用于广范围的监视等，并且由被附接远摄镜头等的另一成像单元成像的图像可用于监视小对象(例如，位于远处的对象)等。

第一校正单元13基于广角图像w1而产生基础图像。换句话说，如图3所图示，第一校正单元13以投影角θ11、θ12和θ13将从第一成像单元11供应的广角图像w1投影到虚拟球面s的平面上以产生平面图像p11、p12和p13，并将平面图像p11、p12和p13输出到第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17。

第二校正单元14基于广角图像w2而产生参考图像。应注意，因为存在于基础图像上的对象在参考图像上移位，所以存在于基础图像的端部区域中的对象不存在于参考图像上，并且可能发生无法计算到对象的距离的情况。为了防止此麻烦，参考图像相对于基础图像具有空边而产生。

图5图示广角图像w2与参考图像p21、p22和p23之间的关系。如图3所图示，第二校正单元14以投影角θ21、θ22和θ23将从第二成像单元12供应的广角图像w2投影到虚拟球面s的平面上以产生具有空边m的平面图像p21、p22和p23(p23不具有空边m)，并将平面图像p21、p22和p23输出到第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17。此处，投影角θ21是包含对应基础图像的投影角θ11的角。类似地，投影角θ22是包含对应基础图像的投影角θ12的角。应注意，在图5的状况下，在平面图像p23中并未提供空边m。空边m的宽度和方向可取决于立体图像处理中的对应点的搜索范围来确定。应注意，在第一成像单元11和第二成像单元12的基线距离长的状况下，空边m的宽度需要相应地长。

第一平面图像对处理单元15将平面图像p11用作基础图像并将平面图像p21用作参考图像而执行立体图像处理，测量到存在于平面图像p11和p21中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。类似地，第二平面图像对处理单元16将平面图像p12用作基础图像并将平面图像p22用作参考图像而执行立体图像处理，测量到存在于平面图像p12和p22中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。第三平面图像对处理单元17将平面图像p13用作基础图像并将平面图像p23用作参考图像而执行立体图像处理，测量到存在于平面图像p13和p23中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。如上所述，第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17不从所述一对广角图像w检测对应点，并从具有所校正的像差的所述一对平面图像p检测对应点。因此，对应点的检测准确度可提高。

距离信息集成单元18集成从第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17输入的距离信息，并将所集成的距离信息输出到距离信息分析单元19。更具体来说，距离信息集成单元18将每一距离信息转换为基于一个平面图像(例如，平面图像p11)的坐标系统，或转换为居中在第一成像单元11(或第二成像单元12)的视点上的极坐标系统。

图6到图8图示距离信息的集成的实例。例如，如图6所图示，考虑在成像方向前方存在在交叉方向上延伸的墙壁21的状况。在此状况下，如图7所图示，从平面图像对p11和p21测量的墙壁21-1的距离在屏幕的中央部分处最远，并在屏幕上朝向右侧变近。从平面图像对p12和p22测量的墙壁21-2的距离恒定。从平面图像对p13和p23测量的墙壁21-3的距离在屏幕的中央部分处最远，并在屏幕上朝向左侧变近。

距离信息集成单元18集成如图7所图示的个别距离信息，并如图8所图示，从第一成像单元11和第二成像单元12获得到整个墙壁21的距离。

描述返回到图4。距离信息分析单元19分析所集成的距离信息，以将所集成的距离信息转换为呈适用于在后续阶段处理的格式的信息，并将所述信息输出到后续阶段。此输出例如用于在小汽车中实现例如临近警告、碰撞避免制动、车道改变警告和自动转向等各种功能。

<由图像处理装置10进行的距离测量处理>

图5是用于描述由图像处理装置10进行的距离测量处理的流程图。

在步骤s1中，第一校正单元13从第一成像单元11获取广角图像w1。类似地，第二校正单元14从第二成像单元12获取广角图像w2。

在步骤s2中，第一校正单元13基于广角图像w1而产生充当立体图像处理的基础图像的平面图像p11、p12和p13，并将平面图像p11、p12和p13输出到第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17。类似地，第二校正单元14基于广角图像w2而产生充当立体图像处理的基础图像的平面图像p21、p22和p23，并将平面图像p21、p22和p23输出到第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17。

在步骤s3中，第一平面图像对处理单元15将平面图像p11用作基础图像并将平面图像p21用作参考图像而执行立体图像处理，测量到存在于平面图像p11和p21中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。类似地，第二平面图像对处理单元16将平面图像p12用作基础图像并将平面图像p22用作参考图像而执行立体图像处理，测量到存在于平面图像p12和p22中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。第三平面图像对处理单元17将平面图像p13用作基础图像并将平面图像p23用作参考图像而执行立体图像处理，测量到存在于平面图像p13和p23中的对象的距离，并将指示测量结果的距离信息输出到距离信息集成单元18。

在步骤s4中，距离信息集成单元18集成从第一平面图像对处理单元15、第二平面图像对处理单元16和第三平面图像对处理单元17输入的距离信息，并将所集成的距离信息输出到距离信息分析单元19。

在步骤s5中，距离信息分析单元19分析所集成的距离信息，以将所集成的距离信息转换为呈适用于在后续阶段处理的格式的信息，并将所述信息输出到后续阶段。距离测量处理的描述结束。

根据上述距离测量处理，可测量所成像的广角图像上的广范围中的对象的距离。

顺便提及，在用于上文描述中的附图中，已在两个维度上图示在拍摄广角图像w时的虚拟球面s。然而，因为实际虚拟球面s是三维的，所以虚拟球面s可被划分为瓦块状平面，以便将虚拟球面s划分为平面。然而，虽然三维虚拟球面s可关于球面来相等地划分，但在此状况下，难以进行划分，这是因为每一平面图像无法具有长方形形状。

因此，在如下状况下，平面图像w可如图10所图示以条带方式划分：不需要以将广角图像w成像时的虚拟球面s的每一角获得对象的距离的状况下，在具体平面方向上是广角(约180度)，并且在正交于具体平面方向的坐标轴方向上测量存在于比广角窄的角范围中的对象的距离是足够的。在图10的状况下，在xz平面方向上是广角，并且可在正交于xz方向的y轴方向上测量存在于比广角窄的角范围中的对象。

图11图示在平面图像w如图10所图示以条带方式划分的状况下第一成像单元11和第二成像单元12的布置的实例。

如图11所图示，如果第一成像单元11和第二成像单元12被布置成使得连接第一成像单元11和第二成像单元12的线的方向(y方向)和划分方向(x方向)变得相互垂直，那么立体图像处理中的对应点的搜索方向31与条带长边方向(y方向)一致。在此状况下，如图5所图示，空边m在参考图像中不是必要的。然而，严格来说，在立体图像处理中执行块匹配的状况下，需要以对应于将使用的块的大小的一半的宽度在参考图像中提供空边。

<通过程序来实现图像处理装置10的状况>

顺便提及，可通过硬件或通过软件来执行图像处理装置10的上述系列的处理。在通过软件执行所述系列的处理的状况下，配置所述软件的程序安装在计算机中。此处，计算机的实例例如包含并入在专用硬件中的计算机以及能够通过安装各种程序而执行各种功能的通用个人计算机等。

图12是图示通过程序而执行上文所述系列的处理的计算机的硬件的配置实例的框图。

在计算机100中，中央处理单元(cpu)101、只读存储器(rom)102以及随机存取存储器(ram)103由总线104相互连接。

此外，输入/输出接口105连接到总线104。输入单元106、输出单元107、存储单元108、通信单元109和驱动器110连接到输入/输出接口105。

输入单元106包含键盘、鼠标、麦克风等。输出单元107包含显示器、扬声器等。存储单元108包含硬盘、非易失性存储器等。通信单元109包含网络接口等。驱动器110驱动可移除式介质111，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上所述而配置的计算机100中，cpu101例如经由输入/输出接口105和总线104而将存储单元108中所存储的程序加载到ram103中并执行所述程序，因此上文所述系列的处理得以执行。

将由计算机100(cpu201)执行的程序可例如作为打包介质等而记录在可移除式介质111上并得以提供。此外，程序也可经由有线或无线传输介质(例如局域网、因特网或数字广播)而提供。

应注意，由计算机执行的程序可以是根据本说明书所述的次序以时间次序处理的程序，或可以是并行地或按所需时序(例如，在进行调用时)执行的程序。

<将图像处理装置10安装在车辆上的状况>

接着，将描述在将图像处理装置10安装在车辆上的状况下的第一成像单元11和第二成像单元12的布置。

图13图示包含第一成像单元11和第二成像单元12的立体相机521的车辆511中的布置实例。

如图13所图示，包含第一成像单元11和第二成像单元12的立体相机521可安装在车辆511的后视镜512、后视镜513、前部正面和后部中央中。

立体相机521a安装在车辆511的后视镜512处。立体相机521b安装在车辆511的后视镜513处。立体相机521c安装在车辆511的前部正面处。立体相机521d安装在车辆511的后部中央处。

如上所述，车辆511的四个方向由立体相机521监视。所述方向中的至少一个可由超声波、雷达、激光传感器、红外线传感器等监视。此外，除了由立体相机521进行的障碍识别和监视之外，还可组合地使用观察系统。

接着，图14和图15图示构成安装在车辆511上的立体相机521的第一成像单元11和第二成像单元12的布置实例。

虽然构成立体相机521的第一成像单元11和第二成像单元12可布置在横向方向上，但第一成像单元11和第二成像单元12也可上下布置(在垂直方向上)。此外，第一成像单元11和第二成像单元12可被布置成具有相对于平行于基础平面的方向指向下的光轴。

如图14和图15所图示，构成立体相机521的第一成像单元11和第二成像单元12在车辆511的侧表面上布置在上下方向(即，垂直方向)上。也就是说，第一成像单元11和第二成像单元12布置在垂直于基础平面(路面551)的平面553中以在高度方向上具有视差。虽然第一成像单元11和第二成像单元12的附接位置有利地在车辆511的侧表面的中央附近，但由于在中央附近存在门等而存在难以安装的一些状况。图14和图15图示第一成像单元11和第二成像单元12附接到后视镜512和513中的每一个附近的实例。

此外，将立体相机521安装到后视镜512和513中的每一个附近的原因是，如图15所图示，在附接立体相机521而向着斜下方的状况下，立体相机521可斜下附接，而不增添特殊夹具。

应注意，在图14和图15中，立体相机521仅安装在车辆511的左侧上。然而，在实际中，立体相机521也可安装在右侧上。

当然，立体相机521可附接到柱(前柱、中心柱、后柱等)、门、车顶纵梁等，而不是附接到后视镜512和513。立体相机521可附接到车辆511的侧表面上的任何地方。

接着，图16到图19图示构成安装在车辆511上的立体相机521的第一成像单元11和第二成像单元12的另一布置实例。

在图14和图15的布置实例中，如图16所图示，第一成像单元11和第二成像单元12布置在车辆511的车体的侧表面上(具体来说，后视镜512和513上)。换句话说，如从车辆511的前方所见(在图16的左图中)，第二成像单元12布置在上方，并且第一成像单元11布置在下方。

接着，第二成像单元12布置在比第一成像单元11远离车辆511的位置(车辆511的外侧上的位置)处，并且第一成像单元11布置在比第二成像单元12接近车辆511的位置(车辆511的内侧上的位置)处。连接第一成像单元11和第二成像单元12的中心的线552倾斜以从车体跳出到监视方向(从车辆511的侧面跳出)。换句话说，线552倾斜以从车辆511的车体的安装表面(侧表面)跳出。立体相机521不平行于车体，并且不垂直于路面551。

如从车辆511的前方所见(在图16的左图中)，第一成像单元11与第二成像单元12两者向着车辆511的斜下方向。换句话说，第一成像单元11和第二成像单元12在包含其光轴11oa和12oa的平面中倾斜，以使得光轴11oa和12oa相对于平行于基础平面(路面551)的方向指向下，并与基础平面交叉。也就是说，第一成像单元11和第二成像单元12倾斜，以使得连接第一成像单元11和第二成像单元12的中心的线552相对于基础平面形成角β。换句话说，第一成像单元11和第二成像单元12倾斜，以使得其光轴11oa和12oa相对于垂直于基础平面的线553呈角β。

此外，如从车辆511的顶表面所见(在图16的右图中)，第一成像单元11和第二成像单元12的光轴11oa和12oa向着垂直于车辆511的行进方向的方向(在图16中，向下)，即，垂直于车辆511的侧表面的方向。

相比之下，在图17中的a所图示的实例中，如从车辆511的前方所见(在图17中的a的左图中)，第二成像单元12布置在上方，并且第一成像单元11布置在下方。接着，第一成像单元11和第二成像单元12布置在与车辆511相距相同距离处。换句话说，第一成像单元11和第二成像单元12被布置成使得连接第一成像单元11和第二成像单元12的中心的线552变得平行于车体(变得垂直于作为基础平面的路面551)。

然而，第一成像单元11和第二成像单元12在包含光轴11oa和12oa的平面中倾斜，以使得光轴11oa和12oa相对于平行于基础平面的方向指向下，并与基础平面交叉。

此外，如从车辆511的顶表面所见(在图17中的a的右图中)，第一成像单元11和第二成像单元12的光轴11oa与12oa两者向着垂直于车辆511的行进方向的方向(在图17中，向下)，即，垂直于车辆511的侧表面的方向。

图17中的b所图示的实例的如从车辆511的前方所见(在图17中的b的左图中)的配置类似于图16的左图所图示的状况。省略重复描述。

图17中的b的右图中的配置不同于图16的右图中的配置。换句话说，在此实例中，如从车辆511的顶表面所见，第一成像单元11和第二成像单元12的光轴11oa与12oa两者略向着行进方向，而不是垂直于车辆511的行进方向的方向(在图17中，向下)。当光轴11oa与12oa如此略向着行进方向时，有利的是，与用于在行进方向上的范围中测量距离的立体相机521(例如，在图13中，用于在范围522c中测量距离的立体相机521c)合作而执行距离测量操作。

图17中的c所图示的实例的如从车辆511的前方所见(在图17中的c的左图中)的配置类似于图16的左图所图示的状况。省略重复描述。

图17中的c的右图中的配置不同于图16的右图中的配置。换句话说，如从车辆511的顶表面所见(在图17中的c的右图中)，第二成像单元12的光轴12oa向着垂直于车辆511的行进方向的方向(在图17中，向下)，即，垂直于车辆511的侧表面的方向。也就是说，就第二成像单元12来说，配置类似于图16中的状况。

相比之下，就第一成像单元11来说，光轴11oa略向着行进方向而不是垂直于车辆511的行进方向的方向(在图17中，向下)。也就是说，就第一成像单元11来说，配置类似于图17中的b中的状况。因此，图中的相对窄的阴影范围是立体相机系统的可进行距离测量的范围。在可进行距离测量的范围需要扩大的状况下，可使用具有180度或更大的视角的相机。

在图18中的a所图示的实例中，如从车辆511的前方所见(在图18中的a的左图中)，第二成像单元12布置在上方，并且第一成像单元11布置在下方。接着，第一成像单元11和第二成像单元12布置在与车辆511相距相同距离处。换句话说，第一成像单元11和第二成像单元12被布置成使得连接第一成像单元11和第二成像单元12的中心的线552变得平行于车体(变得垂直于作为基础平面的路面551)。

接着，如从车辆511的前方所见(在图18的左图中)，第一成像单元11向着车辆511的斜下方向。换句话说，第一成像单元11在包含光轴11oa的平面中倾斜，以使得光轴11oa相对于平行于基础平面的方向指向下，并与基础平面交叉。第一成像单元11倾斜以使得光轴11oa相对于垂直于基础平面的线553呈角β。也就是说，就第一成像单元11来说，配置类似于图16中的状况。

然而，第二成像单元12被布置成使得光轴12oa平行于基础平面。也就是说，第一成像单元11和第二成像单元12中仅一个(布置在下方的第一成像单元11)被布置成使得光轴11oa相对于平行于作为基础平面的路面551的方向指向下，并与路面551交叉。接着，另一个(布置在上方的第二成像单元12)被布置成使得光轴12oa变得平行于基础平面。即使在第一成像单元11和第二成像单元12以此方式附接时，图18中的车辆511附近的阴影范围也是可进行距离测量的范围。所述范围是相对窄的范围。在可进行距离测量的范围需要扩大的状况下，可使用具有180度或更大的视角的相机。

图18中的a所图示的实例的如从车辆511的前方所见(在图18中的a的右图中)的配置类似于图16的右图所图示的状况。换句话说，第一成像单元11和第二成像单元12的光轴11oa和12oa向着垂直于车辆511的行进方向的方向(在图18中，向下)，即，垂直于车辆511的侧表面的方向。

在图18中的b所图示的实例中，如从车辆511的前方所见(在图18中的b的左图中)，第二成像单元12布置在上方，并且第一成像单元11布置在下方。接着，第二成像单元12布置在比第一成像单元11远离车辆511的位置处，并且第一成像单元11布置在比第二成像单元12接近车辆511的位置处。连接第一成像单元11和第二成像单元12的中心的线552倾斜以从车体跳出到监视方向(从车辆511的侧面跳出)。也就是说，第一成像单元11和第二成像单元12倾斜，以使得连接第一成像单元11和第二成像单元12的中心的线552相对于基础平面形成角β。

接着，第一成像单元11在包含光轴11oa的平面中倾斜，以使得光轴11oa相对于平行于基础平面的方向指向下，并与基础平面交叉。也就是说，第一成像单元11倾斜，以使得连接第一成像单元11和第二成像单元12的中心的线552相对于基础平面形成角β。换句话说，第一成像单元11倾斜以使得光轴11oa相对于垂直于基础平面的线553形成角β。

然而，第二成像单元12被布置成使得光轴12oa平行于基础平面。也就是说，第一成像单元11和第二成像单元12中仅一个(布置在下方的第一成像单元11)被布置成使得光轴11oa相对于平行于作为基础平面的路面551的方向指向下，并与路面551交叉。接着，另一个(布置在上方的第二成像单元12)被布置成使得光轴12oa变得平行于基础平面。即使在第一成像单元11和第二成像单元12以此方式附接时，图18中的车辆511附近的阴影范围也是可进行距离测量的范围。所述范围是相对窄的范围。在可进行距离测量的范围需要扩大的状况下，可使用具有180度或更大的视角的相机。

图18中的b所图示的实例的如从车辆511的前方所见(在图18中的b的右图中)的配置类似于图16的右图所图示的状况。换句话说，第一成像单元11和第二成像单元12的光轴11oa和12oa向着垂直于车辆511的行进方向的方向(在图18中，向下)，即，垂直于车辆511的侧表面的方向。

应注意，在本技术中，在不偏离本技术的本质的范围内，可存在各种修改。

<应用实例>

根据本公开的技术可应用到各种产品。例如，根据本公开的技术可作为安装在任何类型的车辆(例如，小汽车、电动小汽车、混合动力电动小汽车、电动摩托车等)上的装置来实现。

图19是图示应用了本公开的技术的车辆控制系统2000的示意性配置实例的框图。车辆控制系统2000包含经由通信网络2010而连接的多个电子控制单元。在图19所图示的实例中，车辆控制系统2000包含驱动系统控制单元2100、车体系统控制单元2200、电池控制单元2300、车辆外部信息检测装置2400、车辆内部信息检测装置2500以及集成控制单元2600。连接多个控制单元的通信网络2010可以是例如符合例如控制器区域网络(can)、局域互连网络(lin)、局域网(lan)或flexray(注册商标)等任意标准的车载通信网络或符合当地定义的通信标准的网络。

每一控制单元包含(例如)根据各种程序执行算术处理的微计算机、存储由微计算机执行的程序、用于各种计算的参数等的存储单元以及驱动控制将控制的装置的驱动电路。每一控制单元包含用于经由通信网络2010而与另一控制单元通信的网络i/f以及用于通过有线通信或无线通信而与车辆外的装置、传感器等通信的通信i/f。图19图示作为集成控制单元2600的功能配置的微计算机2610、通用通信i/f2620、专用通信i/f2630、定位单元2640、信标接收单元2650、车中装置i/f2660、音频图像输出单元2670、车载网络i/f2680和存储单元2690。类似地，其它控制单元包含微计算机、通信i/f、存储单元等。

驱动系统控制单元2100根据各种程序而控制关于车辆的驱动系统的装置的操作。例如，驱动系统控制单元2100充当以下各者的控制装置：用于产生车辆的驱动力的驱动力产生装置(例如，内燃机或驱动电机)、用于将驱动力传输到车轮的驱动力传输机构、调整车辆的转向角的转向机构、产生车辆的制动力的制动装置等。驱动系统控制单元2100可充当防抱死制动系统(abs)、电子稳定控制装置(esc)等的控制装置。

驱动系统控制单元2100与车辆状态检测单元2110连接。车辆状态检测单元2110包含例如以下各者中的至少一个：用于检测车体的轴向旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度传感器或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、车速、车轮的转速等的传感器。驱动系统控制单元2100使用从车辆状态检测单元2110输入的信号而执行算术处理，并控制内燃机、驱动电机、电动助力转向装置、制动装置等。

车体系统控制单元2200根据各种程序而控制车体中所配备的各种装置的操作。例如，车体系统控制单元2200充当以下各者的控制装置：无钥匙进入系统、智能钥匙系统、自动车窗装置和各种灯，例如，前灯、尾灯、制动灯、转向灯和雾灯。在此状况下，从代替钥匙的移动装置传输的无线电波或各种开关的信号可输入到车体系统控制单元2200。车体系统控制单元2200接收无线电波或信号的输入，并且控制车辆的门锁装置、自动车窗装置、灯等。

电池控制单元2300根据各种程序而控制作为驱动电机的电力供应源的二次电池2310。例如，电池控制单元2300从包含二次电池2310的电池装置接收例如电池的电池温度、电池输出电压或剩余容量等信息。电池控制单元2300使用这些信号来执行算术处理以控制二次电池2310的温度调整、电池装置中所提供的冷却装置等。

车辆外部信息检测装置2400检测安装了车辆控制系统2000的车辆的外部的信息。例如，成像单元2410或车辆外部信息检测单元2420中的至少一个连接到车辆外部信息检测装置2400。成像单元2410包含以下各者中的至少一个：飞行时间(tof)相机、立体相机、单目相机、红外线相机或另一相机。车辆外部信息检测单元2420包含例如以下各者：用于检测当前天气或大气现象的环境传感器或用于检测配备车辆控制系统2000的车辆周围的其它车辆、障碍物、行人等的环境信息检测传感器。

环境传感器可以是例如以下各者中的至少一个：用于检测雨天天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照程度的日照传感器或用于检测降雪的雪传感器。环境信息检测传感器可以是以下各者中的至少一个：超声波传感器、雷达装置或光检测与测距、雷达成像检测与测距(lidar)装置。成像单元2410和车辆外部信息检测单元2420可分别作为传感器或装置来提供，或可作为集成了多个传感器或装置的装置来提供。

此处，图20图示成像单元2410和车辆外部信息检测单元2420的安装位置的实例。成像单元2910、2912、2914、2916和2918中的每一个例如提供在例如以下各者等位置中的至少一个处：前鼻翼、侧视镜、后保险杠、后门和车辆2900的内部中的挡风玻璃的上方部分。提供在前鼻翼处的成像单元2910以及提供在车辆的内部中的挡风玻璃的上方部分处的成像单元2918主要获取车辆2900的前方图像。提供在侧视镜处的成像单元2912和2914主要获取车辆2900的侧面图像。提供在后保险杠或后门处的成像单元2916主要获取车辆2900的后方图像。提供在车辆的内部中的挡风玻璃的上方部分处的成像单元2918主要用于检测前行车辆、行人、障碍物、交通信号、交通标志、车道等的。

应注意，图20图示成像单元2910、2912、2914、2916的拍摄范围的实例。成像范围a指示提供在前鼻翼处的成像单元2910的成像范围，成像范围b和c分别指示提供在侧视镜处的成像单元2912和2914的成像范围，并且成像范围d指示提供在后保险杠或后门处的成像单元2916的成像范围。例如，如从上方所见的车辆2900的鸟瞰图像可通过叠加在成像单元2910、2912、2914和2916中成像的图像数据而获得。

提供在前部、后部、侧面、拐角以及车辆2900的内部中的挡风玻璃的上方部分处的车辆外部信息检测单元2920、2922、2924、2926、2928和2930可以例如是超声波传感器或雷达装置。提供在前鼻翼、后保险杠、后门以及车辆2900的内部中的挡风玻璃的上方部分处的车辆外部信息检测单元2920、2926和2930可以例如是lidar装置。这些车辆外部信息检测单元2920到2930主要用于检测前行车辆、行人、障碍物等。

返回参照图19，将继续描述。车辆外部信息检测装置2400导致成像单元2410将车辆的外部的图像成像，并接收所成像的图像数据。此外，车辆外部信息检测装置2400从所连接的车辆外部信息检测单元2420接收检测信息。在车辆外部信息检测单元2420是超声波传感器、雷达装置或lidar装置的状况下，车辆外部信息检测装置2400传输超声波、电磁波等，并接收所接收的反射波的信息。车辆外部信息检测装置2400可基于所接收的信息针对路面上的人、车辆、障碍物、标志、字母等而执行对象检测处理或距离检测处理。车辆外部信息检测装置2400可基于所接收的信息而执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测装置2400可基于所接收的信息而计算到车辆外的对象的距离。

此外，车辆外部信息检测装置2400可基于所接收的图像数据而执行识别路面上的人、车辆、障碍物、标志、字母等的图像识别处理或距离检测处理。车辆外部信息检测装置2400可对所接收的图像数据执行例如失真校正或对准等处理，并组合由不同成像单元2410成像的图像数据以产生鸟瞰图像或全景图像。车辆外部信息检测装置2400可使用由不同成像单元2410成像的图像数据而执行视点转换处理。

车辆内部信息检测装置2500检测车辆的内部的信息。车辆内部信息检测装置2500例如通过检测驾驶员的状态的驾驶员状态检测单元2510来进行检测。驾驶员状态检测单元2510可包含以下各者：用于将驾驶员成像的相机、用于检测驾驶员的生物信息的生物测定传感器、用于收集车辆的内部中的声音的麦克风等。生物测定传感器例如提供在座位表面、方向盘等上，并检测坐在座位上的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测单元2510输入的检测信息，车辆内部信息检测装置2500可计算驾驶员的疲劳程度或集中程度，或可确定驾驶员是否在驾驶时入睡。车辆内部信息检测装置2500可对所收集的声音信号执行例如噪声消除处理等处理。

集成控制单元2600根据各种程序而控制车辆控制系统2000中的整体操作。集成控制单元2600与输入单元2800连接。输入装置2800例如由可由乘员操作和输入的装置实现，例如，触摸板、按钮、麦克风、开关或控制杆。输入单元2800可以是例如使用红外线或其它无线电波的遥控装置，或可以是对应于车辆控制系统2000的操作的外部连接装置，例如，移动电话或个人数字助理(pda)。输入单元2800可以例如是相机，并且在此状况下，乘员可通过手势而输入信息。此外，输入单元2800可例如包含输入控制电路等，其中所述输入控制电路基于由乘员等使用上述输入单元2800而输入的信息而产生输入信号并将输入信号输出到集成控制单元2600。乘员等通过操作输入单元2800而将各种数据输入到车辆控制系统2000并就处理操作来指示车辆控制系统2000。

存储单元2690可包含用于存储由微计算机执行的各种程序的随机存取存储器(ram)以及用于存储各种参数、计算结果、传感器值等的只读存储器(rom)。此外，存储单元2690可由例如磁性存储装置(例如，硬盘驱动器(hdd))、半导体存储装置、光学存储装置、磁光存储装置等实现。

通用通信i/f2620是调和与存在于外部环境2750中的各种装置的通信的通用通信i/f。通用通信i/f2620可包含例如蜂窝式通信协议(例如，全球移动通信系统(gsm)(注册商标)、wimax、长期演进(lte)或先进长期演进(lte-a))或另一无线通信协议(例如，无线lan(也称为wi-fi(注册商标)))。通用通信i/f2620可例如经由基站或接入点而连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的装置(例如，应用服务器或云服务器)。此外，通用通信i/f2620可例如使用点对点(p2p)技术而与存在于车辆附近的终端(例如，行人或商店的终端或机器类型通信(mtc)终端)连接。

专用通信i/f2630是支持为用于车辆中而制定的通信协议的通信i/f。专用通信i/f2630可包含例如车辆环境中的无线访问(wave)(其为下层ieee802.11p和上层ieee1609的组合)或专用短程通信(dsrc)等标准协议。专用通信i/f2630通常执行v2x通信，其中v2x通信是包含以下各者中的一个或更多个的概念：车辆与车辆通信、车辆或基础设施通信和车辆与行人通信。

定位单元2640例如从全球导航卫星系统(gnss)卫星接收gnss信号(例如，从全球定位系统(gps)卫星接收gps信号)以执行定位，并产生包含车辆的纬度、经度和海拔的位置信息。应注意，定位单元2640可通过与无线接入点交换信号而指定当前位置，或可从例如移动电话、phs或具有定位功能的智能电话等终端获取位置信息。

信标接收单元2650例如接收从安装在道路上的无线站等传输的无线电波或电磁波，并获取例如当前位置、拥堵、道路封闭或所需时间等信息。应注意，信标接收单元2650的功能可包含在上述专用通信i/f2630。

车中装置i/f2660是调和微计算机2610与存在于车辆中的各种装置之间的连接的通信接口。车中装置i/f2660可使用例如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线usb(wusb)等无线通信协议而建立无线连接。此外，车中装置i/f2660可经由连接终端(未图示)(以及必要时，电缆)而建立有线连接。车中装置i/f2660与例如乘员所拥有的移动装置或可穿戴装置或车辆中所携载或附接到车辆的信息装置交换控制信号或数据信号。

车载网络i/f2680是调和微计算机2610与通信网络2010之间的通信的接口。车载网络i/f2680根据由通信网络2010支持的预定协议而传输和接收信号等。

集成控制单元2600的微计算机2610基于经由以下各者中的至少一个而获取的信息根据各种程序来控制车辆控制系统2000：通用通信i/f2620、专用通信i/f2630、定位单元2640、信标接收单元2650、车中装置i/f2660或车载网络i/f2680。例如，微计算机2610可基于车辆的内部和外部的所获取的信息而计算驱动力产生装置、转向机构或制动装置的目标值，并将控制命令输出到驱动系统控制单元2100。例如，微计算机2610可出于以下目的而执行协同控制：避免车辆的碰撞或减轻冲击、基于车辆之间的距离进行追踪、车速保持行驶、自动驾驶等。

微计算机2610可基于经由以下各者中的至少一个而获取的信息产生包含车辆的当前位置的周边信息的局部地图信息：通用通信i/f2620、专用通信i/f2630、定位单元2640、信标接收单元2650、车中装置i/f2660或车载网络i/f2680。此外，微计算机2610可基于所获取的信息而预测危险(例如，车辆的碰撞、行人等的临近或行人等进入到封闭道路)，并产生警告信号。警告信号可以是例如用于产生警告声音或用于点亮警告灯的信号。

音频图像输出单元2670将声音或图像中的至少一个的输出信号传输到输出装置，其中所述输出装置可在视觉上或听觉上向车辆的乘员或车辆外部通知信息。在图19中的实例中，作为输出装置，示范性地图示音频扬声器2710、显示单元2720和仪表板2730。显示单元2720可包含例如车载显示器或平视显示器中的至少一个。显示单元2720可具有增强现实(ar)显示功能。输出装置可以是除这些装置之外的另一装置，例如，头戴式耳机、投影仪或灯。在输出装置是显示装置的状况下，显示装置按各种格式(例如，文字、图像、表格和图表)在视觉上显示在由微计算机2610执行的各种类型的处理中获得的结果或从另一控制单元接收的信息。此外，在输出装置是音频输送装置的状况下，音频输出装置将包含所再现的音频数据、声学数据等的音频信号转换为模拟信号，并在听觉上输出模拟信号。

应注意，在图19所图示的实例中，经由通信网络2010而连接的至少两个控制单元可集成为一个控制单元。或者，个别控制单元可由多个控制单元配置。此外，车辆控制系统2000可包含另一控制单元(未图示)。此外，在上文描述中，由控制单元中的任一个执行的功能中的一些或全部可由另一控制单元执行。也就是说，预定算术处理可由控制单元中的任一个执行，只要信息经由通信网络2010传输和接收即可。类似地，连接到控制单元中的任一个的传感器或装置可连接到另一控制单元，并且多个控制单元可经由通信网络2010而相互传输和接收检测信息。

在上述车辆控制系统2000中，图4所图示的图像处理装置10可应用到图19所图示的应用实例的集成控制单元2600。

应注意，本技术的实施例不限于上文所述的实施例，并且可进行各种修改，而不偏离本技术的要点。

本技术也还可具有以下配置。

(1)

一种图像处理装置，包含：

第一产生单元，被配置成获取第一图像，并根据通过划分在拍摄所述第一图像时的视角而获得的投影角将所述第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像；

第二产生单元，被配置成获取包含成像范围与所述第一图像的成像范围重叠的区域的第二图像，并根据通过划分在拍摄所述第二图像时的视角而获得的投影角将所述第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像；以及

多个立体图像处理单元，被配置成使用所述多个所产生的基准平面图像和所述多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

(2)

根据(1)的图像处理装置，其中

所述第一图像或所述第二图像中的至少一个是由广角相机成像的图像。

(3)

根据(1)或(2)的图像处理装置，其中

所述第二产生单元产生相对于由所述第一产生单元产生的所述多个基准平面图像具备空边的所述多个参考平面图像。

(4)

根据(3)的图像处理装置，其中

所述空边的宽度是基于将所述第一图像成像的第一成像单元与将所述第二图像成像的第二成像单元之间的基线长度来确定。

(5)

根据(1)到(4)中任一项的图像处理装置，其中

所述多个基准平面图像和所述多个参考平面图像的布置方向正交于将所述第一图像成像的第一成像单元与将所述第二图像成像的第二成像单元之间的基线长度的方向。

(6)

根据(1)到(5)中任一项的图像处理装置，其中

所述多个基准平面图像和所述多个参考平面图像的布置方向正交于所述立体图像处理中的对应点的搜索方向。

(7)

根据(1)到(6)中任一项的图像处理装置，还包含：

距离信息集成单元，被配置成集成所产生的所述多条距离信息。

(8)

根据(7)的图像处理装置，其中

所述距离信息集成单元转换所产生的所述多条距离信息的坐标系统。

(9)

根据(1)到(8)中任一项的图像处理装置，还包含：

第一成像单元，被配置成将所述第一图像成像；以及

第二成像单元，被配置成将所述第二图像成像。

(10)

根据(9)的图像处理装置，其中

所述第一成像单元或所述第二成像单元中的至少一个包含广角相机。

(11)

根据(9)或(10)的图像处理装置，其中

所述第一成像单元和所述第二成像单元并排布置在水平方向上。

(12)

根据(9)或(10)的图像处理装置，其中

所述第一成像单元和所述第二成像单元上下布置在垂直方向上。

(13)

一种图像处理装置的图像处理方法，所述方法包含：

通过所述图像处理装置，

获取第一图像并根据通过划分在拍摄所述第一图像时的视角而获得的投影角将所述第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像的第一产生步骤；

获取包含成像范围与所述第一图像的成像范围重叠的区域的第二图像并根据通过划分在拍摄所述第二图像时的视角而获得的投影角将所述第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像的第二产生步骤；以及

使用所述多个所产生的基准平面图像和所述多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息的多个立体图像处理步骤。

(14)

一种车辆，包含：

第一成像单元，被配置成将第一图像成像；

第二成像单元，被配置成将包含成像范围与所述第一图像的成像范围重叠的区域的第二图像成像；

第一产生单元，被配置成获取所述第一图像，并根据通过划分在拍摄所述第一图像时的视角而获得的投影角将所述第一图像投影在虚拟球面上的多个平面上以产生多个基准平面图像；

第二产生单元，被配置成获取所述第二图像，并根据通过划分在拍摄所述第二图像时的视角而获得的投影角将所述第二图像投影在虚拟球面上的多个平面上以产生多个参考平面图像；以及

多个立体图像处理单元，被配置成使用所述多个所产生的基准平面图像和所述多个所产生的参考平面图像的对应图像对而执行立体图像处理以产生指示到基础图像上的对象的距离的距离信息。

附图标记列表

10图像处理装置

11第一成像单元

12第二成像单元

13第一校正单元

14第二校正单元

15第一平面图像对处理单元

16第二平面图像对处理单元

17第三平面图像对处理单元

18距离信息集成单元

19距离信息分析单元

100计算机

101cpu。