成像装置及其控制方法和存储介质与流程

本发明涉及成像装置等，尤其涉及能够改变成像单元的方向的成像装置。

背景技术：

在包括多个成像单元的成像装置中，已知一种多镜头机器，其中如果旋转一个旋转轴，则多个成像单元同时成组地移动或旋转。在该多镜头机器中，各个成像单元例如被布置在球面上，并且相对于旋转轴具有扭曲位置关系。因此，当旋转轴旋转时，图像具有绕光轴的旋转分量。

这里提到的扭曲位置关系是指：穿过旋转轴上的旋转球体的中心点的垂直线的方向不与球面上的点处的成像单元的光轴方向平行，而是相对于该光轴方向倾斜。

绕光轴旋转的成像单元的图像的旋转分量根据附装成像单元的位置与成像单元的光轴和旋转轴之间的相对位置关系而不同，并且考虑到旋转机构的结构，该旋转分量随着该位置远离旋转轴的端部而减小，并且随着该位置靠近旋转轴的端部而增大。因此，从各个成像单元获取的图像具有不同旋转角度的旋转。

日本特开2008-204384公开了一种解决当成像装置具有倾斜的安装位置时提供倾斜的平摇/俯仰轴的问题的方法。

然而，上述日本特开2008-204384中描述的现有技术是为了校正由安装位置的倾斜引起的图像中的倾斜，而不是为了校正由相对于旋转轴以扭曲位置关系布置的成像单元所获取的图像。

另外，当使用日本特开2008-204384中描述的技术来校正平摇/俯仰轴的倾斜时，需要计算由安装环境导致的参数以及基于平摇/俯仰角度的参数。因此，处理变得复杂。

因此，本发明的目的是提供一种成像装置，其中能够简单地校正由可移动单元的旋转引起的图像的不必要的旋转。

技术实现要素：

为了实现该目的，作为本发明的一方面的成像装置包括：成像单元，其被配置为获取图像；可移动单元，其被配置为通过所述可移动单元绕预定轴的旋转来改变所述成像单元的方向；至少一个处理器或电路，其被配置为用作校正处理单元，所述校正处理单元被配置为进行用以基于与绕所述轴的旋转角度和所述成像单元所获取的图像的旋转角度之间的关系有关的信息来校正由所述可移动单元的旋转而引起的图像的旋转的校正处理。

一种成像装置的控制方法，所述成像装置具有：成像单元，其被配置为获取图像；可移动单元，其被配置为通过所述可移动单元绕预定轴的旋转来改变所述成像单元的方向，其中，所述控制方法包括：基于与绕所述轴的旋转角度和所述成像单元所获取的图像的旋转角度之间的关系有关的信息，来校正由所述可移动单元的旋转而引起的图像的旋转。

一种非暂时性计算机可读存储介质，其被配置为存储用以控制成像装置的计算机程序，所述成像装置具有：成像单元，其被配置为获取图像；可移动单元，其被配置为通过所述可移动单元绕预定轴的旋转来改变所述成像单元的方向，以及其中，所述计算机程序包括用于执行以下处理的指令：基于与绕所述轴的旋转角度和所述成像单元所获取的图像的旋转角度之间的关系有关的信息，来校正由所述可移动单元的旋转而引起的图像的旋转。

通过以下参照附图对实施例的描述，本发明的其它特征将变得清楚。

附图说明

图1是示出实施例1的成像装置的构造的图。

图2a是本发明中的成像装置的示例的正面图，并且图2b是示出本发明中的成像装置向下旋转90度的示例的图。

图3是示出拍摄图像的图像图。

图4a是用于描述实施例1中的操作流程的流程图，并且图4b是用于说明流程结果的图。

图5a是旋转校正角度的说明图，并且图5b是示出校正角度表的示例的图。

图6是示出实施例2中的成像装置的构造的图。

图7是用于描述实施例2中的操作流程的流程图。

图8是用于描述实施例3中的操作流程的流程图。

图9是用于说明实施例4中的显示示例的图。

图10是示出实施例5中的成像装置的构造的图。

具体实施方式

下面将使用实施例，参照附图来描述本发明的优选模式。在各图中，相同构件或组成元件由相同附图标记表示，并且将省略或简化重复描述。

此外，在示例中，将描述网络照相机被应用为成像装置的示例。这里，成像装置包括数字静态照相机、数字动态照相机、具有照相机的智能电话、具有照相机的平板电脑、具有成像功能的电子仪器(诸如车载照相机)等。

[实施例1]

下面将参照图1描述本发明的实施例1。图1是示出实施例1中的成像装置的构造的图。

成像装置101包括可移动单元102、成像单元103和处理单元104等。显示单元105用作用于显示图像的显示部。这里，显示单元105可以是外部监视器等，或者可以是pc的终端的显示单元，并且通过网络连接到成像装置。

处理单元104也可以被包括在诸如通过网络连接到成像装置的外部pc等的终端中。也就是说，该示例中的成像装置不限于集成系统，而是包括被配置为单独主体的系统。显示单元105可以与成像装置一体地形成。

当显示单元105连接到诸如pc等的终端时，可以基于来自pc的控制信号来远程控制成像装置的拍摄控制以及平摇/俯仰控制等。如图2a所示，可移动单元102被配置为沿绕预定轴202的俯仰方向可旋转地保持成像单元103。当安装成像装置101时，可移动单元102例如可以沿绕轴204的平摇方向手动旋转(如图2a所示)。

成像单元103包括镜筒，该镜筒包括透镜和图像传感器，以获取视频信号(图像)。成像单元103由具有球形的壳体支撑。

处理单元104具有作为计算机的内置cpu，并且用作控制部，该控制部基于存储在程序存储器(未示出)中的计算机程序执行整个成像装置的各种操作。

处理单元104包括角度存储单元106、角度校正值存储单元107、图像获取单元108、图像旋转校正处理单元109和检测功能处理单元110。

角度存储单元106存储可移动单元102的初始设置时的角度值(平摇角度)。这里，角度存储单元106由sram、dram、prom或eeprom等构成，但不限于此。存储在角度存储单元106中的角度信息被发送到角度校正值存储单元107。另一方面，在成像单元103中获取的图像被传输到图像获取单元108。

在图像获取单元108中获取的图像被输出到显示单元105。到显示单元105的接口可以是有线的或无线的，并且用于利用经由通信单元(未示出)使用ip的分配、hdmi(注册商标)或sdi等来传输图像。发送到显示单元的图像也被发送到图像旋转校正处理单元109。

此外，在图像旋转校正处理单元109中，使用利用角度校正值存储单元107传输的角度校正信息对图像进行旋转校正。使用检测功能处理单元110，对已经进行了旋转校正的图像进行各种检测处理。

检测处理具有诸如基于图像和声音进行的处理等的多种类型的检测功能，诸如人物识别、人物计数、入侵检测、带走检测和尖叫检测等。此外，检测结果被叠加并显示在显示单元105上。

下面将参照图2a和图2b描述成像装置101的结构。图2a和图2b是示出本发明中的成像装置的示例的图。此外，图2a是本发明的成像装置的示例的正面图，并且图2b是示出本发明的成像装置向下旋转90度的示例的图。

虽然图2a和图2b示出了成像装置101的上部被固定地安装在天花板的xy平面上的示例，但是成像装置101的上部可以被安装成面向下或者可以被安装在xz平面或yz平面。

另外，成像单元103可以沿以可移动轴202作为俯仰旋转轴的俯仰方向旋转，并且可以沿以可移动轴204作为平摇旋转轴的平摇方向(如箭头203所示)旋转。

成像单元103a至103d被容纳在球形壳体中，并且可移动单元102在球形壳体沿径向方向的两端可旋转地枢转支撑球形壳体，可以进行沿以可移动轴202作为旋转轴的俯仰方向的旋转。另外，通过使可移动单元102绕可移动轴204旋转，能够使成像单元103a至103d沿平摇方向旋转。

首先，将描述手动进行这些旋转的示例，但是如稍后将描述的，可以通过使用马达等以电动方式旋转这些旋转。可移动轴202和204本身可能不旋转。也就是说，可以使用任何成像单元，只要成像单元绕可移动轴202和204的轴旋转并且可移动轴也包括这样的轴即可。

在该示例中，成像单元103a至103d的光轴沿不平行于从可移动单元102的轴上的中心点(未示出)绘制的垂直线的扭曲方向(倾斜方向)布置。各个成像单元的光轴从球形壳体的中心向外指向。

尽管在图中示出了作为成像单元103a至成像单元103d的四个成像单元，但是成像单元的数量不限于此，并且可以使用其中的一个或多个成像单元来获得该示例的效果，只要提供相对于可移动轴的扭曲位置关系即可。

这里，如果成像单元103的光轴指向平行于与可移动单元102的旋转轴垂直的方向的方向，则定义为不扭曲。另一方面，定义为随着成像单元103的光轴变得更接近于平行于可移动单元102的旋转轴而具有增大的扭曲。也就是说，在扭曲越大的情况下，当可移动单元102旋转时，由成像单元103获取的图像旋转得越多。

图2b示出了如下状态，其中，使用成像装置101的可移动单元102，从图2a的状态使球形壳体沿箭头201方向绕可移动轴202旋转大约90度。这里，如果关注成像单元103a，则在图2b中，图2a的状态下的z轴正方向(由成像单元103a获取的图像的向上方向)由于可移动轴202的中心的旋转而旋转预定角度，并且在y轴方向的正方向上倾斜。

这样，成像单元103a绕其光轴的旋转伴随可移动单元102在箭头201方向上的运动而发生。这是因为，成像单元103a的光轴不平行于与可移动轴202垂直的线，并且它们具有扭曲位置关系。结果，如果在显示单元上显示由成像单元103a获取的图像，则在图2b的情况下，在图2a中正立的画面包括向右旋转例如大约45度至90度的图像。

图3示出了在可移动单元102旋转之前和之后的成像单元103a的显示图像的示例。图3是拍摄图像的图像图。

图3的a示出了在可移动单元102绕可移动轴202沿箭头201方向旋转预定角度之前(图2a的状态)的成像单元103a的拍摄图像。此外，图3的b示出了在可移动单元102绕可移动轴202沿箭头201方向旋转预定角度之后(图2b的状态)的成像单元103a的拍摄图像。随着可移动轴202的旋转，在旋转之前相对于xy平面正立显示的人物图像的视角改变(旋转)。

也就是说，绕以y轴为中心的光轴的旋转(箭头301方向)和沿x方向(箭头302方向)和z方向(箭头303方向)的移位混合的视角改变。

作为绕y轴旋转的结果，获得了人物倾斜(诸如图3的a中的画面到图3的b中的画面)的显示图像。

另一方面，当利用使用图像识别等的诸如人物检测等的检测功能时，可以使用用于通过检测人物的轮廓形状来识别人体的方法。在这种情况下，以一定角度拍摄的人物可能不会被识别为人物，并有可能导致错误检测。在该示例中，当以这种方式例如由于可移动单元102的俯仰操作而在成像单元的图像中发生不必要的旋转时，在进行使用图像识别等的检测处理之前，进行用于通过内部处理校正旋转分量的校正处理。因此，降低了错误检测率。

图4a和图4b是用于说明该示例中的控制的图，并且将参照图4a的流程图描述该示例中的控制流程。

在步骤s401中，流程开始。另外，在步骤s402中，当安装成像装置时，用户对配设在成像单元中的镜筒的平摇/俯仰角度进行初始设置。在启动成像装置时检测初始设置时的角度。

另外，在步骤s403中，根据设置的角度和距旋转轴的距离，参照旋转校正表(旋转校正信息)，通过内部处理来旋转并校正由各个成像单元拍摄的图像。关于这一点，代替使用表，可以通过数学计算等来获得旋转校正信息。

旋转校正表被存储在角度校正值存储单元107中，并且在旋转校正表中，示出了基于成像单元与驱动轴之间的布置关系的、绕驱动轴的旋转角度与成像单元的图像的旋转角度之间的关系。

这里，步骤s403与图像旋转校正处理单元109一起用作校正处理单元，该校正处理单元被配置为进行校正处理以基于表来校正由可移动单元引起的图像的旋转。

图4b示出了步骤s403中的校正处理的结果的示例。

图4b的b中所示的图像(对应于图3中的b的图像)具有由俯仰操作而引起的不必要的旋转并且使人物并非处于正立位置。步骤s403中的校正处理是对这样的图像进行旋转校正以进行校正，使得图像中的人物具有人物正立的方向。

在步骤s403中，将图4b的b所示的旋转图像校正为如c所示的正立图像。之后，在步骤s404中，检测功能处理单元110使用已经过旋转校正的图像进行诸如面部识别和人物检测等的图像识别处理。这里，步骤s404用作用于基于图像进行预定检测操作的检测部。

下面将参照图5a和图5b描述用于计算旋转校正角度的方法。

图5a是旋转校正角度的说明图，并且图5b是示出校正角度表的示例的图。

这里，为简化起见，假定成像装置101的镜筒被视为球体501，附装成像单元的位置为点502，并且用于进行俯仰旋转的旋转轴是轴503。

此外，图中的a是球体的半径，并且r是从与从点502到轴503绘制的垂直线的交点505到球体的中心506的距离。

此外，点502表示成像单元的如下位置，其中成像单元面向与图2中的xy平面平行的方向，从俯仰水平位置(图2a中的状态)的轴503用作旋转轴，并且旋转角度θ。另外，假定成像单元的光轴指向例如从中心506向外穿过点502的方向。

此时，成像单元可沿其移动的轨迹对应于圆504的实线部分，并且圆504对应于穿过点505且垂直于轴503的平面与球体501之间的交线。当从俯仰水平位置(图2a的状态)以角度θ进行俯仰旋转时的绕成像单元的光轴的旋转方向上的分量可以由以下表达式1表示：

[表达式1]

基于此，可以看出，当俯仰轴旋转角度θ增大时，并且当附装成像单元的位置变得更靠近俯仰旋转轴503时(当r增大时)，旋转分量逐渐成为主导。

图5b示出了角度校正值存储单元107中包括的角度校正表504的示例。这里，角度校正表504是示出基于成像单元与可移动轴之间的布置关系的、绕可移动轴的旋转角度与成像单元的图像的旋转角度之间的关系的表。

在该示例中，成像装置具有四个成像单元，但是成像单元的数量不限于此。此外，假定角度校正表包括具有与多个成像单元相对应的细节的校正表。这里，示出了当成像单元如图2所示以左右对称的方式布置时的表。

也就是说，成像单元a至d被布置在包括轴503的预定平面与球体501之间的交线上，并且在该预定平面中，相对于与穿过中心506的轴503垂直的线，成像单元a和b与成像单元d和c具有线对称的位置关系。然而，成像单元的布置不限于此，并且可以是不对称的情况。

在表中，唯一地确定布置在成像装置上方的各个成像单元的位置以及与例如由安装者手动初始设置的俯仰角度θ相对应的校正角度。这里提到的成像单元的位置是附装图2a和图2b所示的成像单元103a至103d的位置，并且根据成像装置而不同。这里，为了简化起见，尽管以一度的方式示出了俯仰角度设置值，但是假定还可以设置更精细的分辨率。

可选地，如果提供高图像识别能力(检测能力)，则可以以更粗略的角度来设置俯仰角度设置值。此外，当图像识别能力(检测能力)的特性相对于图像的旋转角度非线性地改变时，可以根据非线性特性曲线不均匀地设置俯仰角度的间距。也就是说，该表中的设置值是根据图像识别能力(检测能力)的特性来设置的。

使用该表中所示的校正角的角度对各个获取的图像进行旋转校正，使用图像识别等进行检测功能处理，然后将其显示在显示单元105上。

在如图2a和图2b所示的成像装置中，如上所述，成像单元以左右对称的方式布置。在左右对称的这种情况下，可以通过仅提供相对于对称轴的一侧的成像单元的校正表，来进行旋转校正。

也就是说，在图2a和图2b中，一对成像单元103a和成像单元103d具有对称的位置关系，并且一对成像单元103b和成像单元103c具有对称的位置关系。因此，角度校正值存储单元107中包括的角度校正表可以仅仅是针对相对于对称轴的一侧的成像单元的表。也就是说，可以提供针对一对成像单元中的一个成像单元的表，并且可以省略针对一对成像单元中的另一个成像单元的表。

在由对称轴的相对侧的成像单元获取的图像中，如果进行了以对称位置处的成像单元的旋转校正值的角度的反向旋转的校正，则可以进行校正。当以此方式以左右对称的方式布置成像单元时，可以利用角度校正值存储单元107的容量来有效地进行旋转校正。

[实施例2]

下面将描述本发明的实施例2。

下面将参照图6描述实施例2。图6是示出实施例2中的成像装置的构造的图。尽管使用图1所示的成像装置中的角度存储单元106和角度校正值存储单元107来确定校正角度，但是在该示例中，以电动方式进行移动。因此，用于确定校正角度的方法与实施例1的方法不同。

在图6中，成像单元103通过驱动单元601的驱动来进行平摇/俯仰等的驱动。这里，驱动单元601用作用于使可移动单元绕可移动轴旋转的驱动部。尽管驱动单元包括诸如dc马达、步进马达和超声马达等的马达，并且使用具有齿轮或带等的齿轮机构使驱动轴旋转，但是驱动方法不限于此。驱动单元601根据经由驱动指令单元602从驱动角度计算单元603发送的驱动指令来进行驱动。

驱动指令单元602包括诸如马达驱动器等的设备，并且驱动角度计算单元603使用微计算机、能够进行计算处理的ic(诸如fpga和asic等)等来计算驱动角度。此外，驱动角度计算单元603根据使用成像装置101的操作单元604的操作量来计算驱动角度。

在驱动角度计算单元603中计算出的驱动角度被传输至角度校正值存储单元107，从表中提取与该驱动角度相对应的旋转校正角度，并且使用图像旋转校正处理单元109来进行校正。

在图6中，驱动角度直接从驱动角度计算单元603输出到角度校正值存储单元107。然而，当难以控制驱动角度时，例如当使用dc马达进行驱动时等，期望单独利用感测传感器或编码器(诸如加速度传感器或陀螺仪传感器等)来获取旋转角度。

该示例还包括当使用用于这种角度感测的传感器时的控制。在这种情况下，由安装在驱动单元601中的用于角度感测的传感器感测到的角度值被传输到角度校正值存储单元107。在图6中，示出的其它组成元件与实施例1中描述的组成元件相同，并且将省略其描述。

下面将参照图7描述该示例的控制序列。图7是用于描述实施例2中的操作流程的流程图。

在步骤s701中，操作流程开始，并且在步骤s702中，如果在拍摄期间从驱动指令单元602向驱动单元601发送用于旋转旋转轴的指令，则驱动轴旋转。

此外，在移动到预定位置之后，如果在步骤s703中停止旋转，则在步骤s704中计算距驱动之前的移动量(旋转角度)。步骤s704的处理是开放控制的示例，并且当使用单独的传感器进行控制时与当进行反馈控制时具有不同的控制序列。

在步骤s705中，从表中提取距附装成像单元的位置处的驱动轴的距离r和与通过驱动旋转的驱动轴的角度θ相对应的校正角度。在步骤s706中，使用所提取的校正角度，通过内部处理来进行旋转校正。也就是说，通过根据使用驱动部的旋转角度从存储部获取图像的旋转角度，来进行校正处理。此外，在步骤s707中，使用已经过旋转校正的图像来进行使用各处理功能的诸如图像识别等的图像处理。

当未提供驱动指令时，处理从步骤s702进入步骤s707，并且随时进行诸如检测处理等的图像处理。

尽管在实施例2中提供了在进行旋转时不进行旋转校正的序列，但是当还需要感测正在被驱动的图像时，例如当以低速进行驱动时等，也可以在驱动期间进行用于旋转校正的计算。

在该示例中，需要考虑的是，图像不仅可能由于俯仰角度而旋转而且可能由于平摇角度的改变而旋转。当俯仰指向水平方向时，图像随着平摇旋转而横向移位。然而，当相对于水平轴的俯仰角度增大时，图像包括如下运动，该运动包括由于进行的平摇旋转而导致的旋转分量。因此，在以电动方式移动驱动轴时，考虑了驱动轴的布置方式(平摇角度和俯仰角度这两个角度的组合)的表被保持在角度校正值存储单元中。

[实施例3]

下面将描述本发明的实施例3。图8是用于描述实施例3的操作流程的流程图。

实施例3示出了具有多种类型的检测/感测功能的成像装置中的控制。感测功能的示例包括各种功能，诸如用于检测人体的功能、用于检测入侵者的功能以及用于检测物体的移除的功能等。

尽管存在用于这些功能的各种检测方法，但是当对象图像包括沿旋转方向的移动时，在某些情况下，可能导致错误检测或可能不会导致错误检测。例如，在根据关于是否已经进行对特定区域的入侵的判断而发出警报的入侵检测等中，在某些情况下，当进行对该区域的进入时与当进行从该区域的退出时可能由于图像的旋转而被相反地识别，并且入侵检测等可能导致错误检测。

另一方面，对于当放置物品被带走时发出警报的带走检测等，可以利用用于使用图像的时间差来进行检测的方法等。在图像的方向不影响识别的这种类型的检测中，旋转的影响很小。根据以这种方式使用的检测功能的类型，存在需要旋转校正的情况和不需要旋转校正的情况。基于此，将描述控制序列。

在步骤s801中，操作流程开始，并且在步骤s802中，在安装时默认设置平摇/俯仰角度。此外，在步骤s803中，选择要使用的检测功能。在步骤s804中，进行关于所选择的检测功能是否为需要旋转校正的类型的判断。如果判断结果为是(判断为需要校正)，则与实施例1中一样，按照步骤s805和步骤s806的顺序进行控制。进行旋转校正。

在步骤s804中，当判断为在所选择的检测功能中不需要旋转校正时，处理进入步骤s806的处理而不进行校正，并且进行检测功能的处理。也就是说，步骤s804和步骤s805用作校正处理单元，该校正处理单元被配置为根据检测部中的检测功能的类型来进行关于是否进行校正处理单元中的校正的切换。

[实施例4]

下面将描述本发明的实施例4。图9是用于说明实施例4中的显示单元105上的显示示例的图。

显示的图像a至d是由成像单元103a至成像单元103d拍摄的图像。尽管示出了四个成像单元的图像被显示为示例的情况，但是显示的视频上的图像的数量不限于此。

从成像单元103a至103d获取的图像、旋转校正功能操作窗口901和旋转显示功能操作窗口902被提供在显示单元105上。

旋转校正功能操作窗口901是进行关于是否独立地使用各个成像单元中的旋转校正功能的切换的操作窗口。当进行该操作窗口的切换时，进行关于在处理检测功能之前是否使用内部处理对由各个成像单元获取的图像进行图像旋转校正的切换。

这使得可以在显示部的显示画面上进行关于是否进行校正处理的显示。

另外，旋转显示功能操作窗口902是进行关于是否对显示在显示单元105上的图像进行旋转校正的切换的操作窗口。与旋转校正功能操作窗口901中一样，也可以针对来自成像单元的各个图像独立地设置和操作该操作窗口。

因此，图像旋转校正处理单元109可以进行关于是否对从各个成像单元获取的各个图像进行校正的切换。

当使用该旋转显示功能操作窗口902切换旋转校正的on(开)/off(关)时，可以进行关于显示在显示单元105上的图像是旋转校正之前的图像还是旋转校正之后的图像的切换。

此外，尽管在图中旋转校正功能操作窗口901和旋转显示功能操作窗口902示出了用于以下拉方式在on与off之间进行切换的方法，但是操作方法不限于此。另外，旋转校正功能操作窗口901和旋转显示功能操作窗口902独立地起作用，并且不一定要成组地显示。

[实施例5]

下面将描述本发明的实施例5。实施例1至4包括在成像装置101的处理单元104(其被描述为旋转校正功能)中经历旋转的拍摄图像。实施例1至4与实施例5的不同之处在于：在实施例5中，代替图像的旋转，在检测功能处理中调节检测方向以匹配成像单元的旋转角度。

下面将参照图10提供描述。图10是示出实施例5中的成像装置的构造的图。这里，将描述实施例5中与实施例1不同的组成元件。在角度校正值存储单元107中提取的旋转校正角度被传输到检测功能校正处理单元1001。

检测功能校正处理单元1001进行考虑了从图像获取单元108接收的图像具有来自角度校正值存储单元107的角度校正的检测功能。也就是说，检测功能校正处理单元1001用作校正处理单元，该校正处理单元被配置为在通过进行图像识别等进行检测处理时，根据角度校正来改变图像识别的检测方向。

尽管在实施例1中提供了图像旋转校正处理单元109，但是实施例5的特征在于：图像不经过进行图像旋转的处理，而是经过在检测功能处理阶段考虑了旋转的处理。在该示例中，当进行这样的处理时，可以通过旋转和处理图像来防止图像的外围部分丢失，并且可以有效地利用拍摄图像。

因此，即使当可疑人出现在图像的外围部分上时，也可以获得能够进行可靠感测的效果。

在以上描述中，各个单元可以包括分立的电子电路，或者其一部分或整体可以由fpga或cpu等构成。

[实施例6]

在以上实施例中，分别对由成像单元103a至103d获得的图像进行处理，可以合成这些图像以形成例如全景图像。在实施例6中，将描述用于合成全景图像的处理。

由于成像单元103a至103d中的各个成像单元获得的各个图像由于扭曲而都以各自的角度旋转，因此，如果在不校正各个旋转的情况下合成这些图像，则合成图像将变得失真。

在实施例6中，由各个成像单元获得的各个图像的旋转被图像旋转校正处理单元109校正，然后被合成。更具体地，图像旋转校正处理单元109基于旋转校正表校正由各个成像单元获得的各个图像。由于各个成像单元具有不同的扭曲量，因此各个成像单元的表不同，并且各个图像的校正量不同。

在校正从成像单元103a至103d获得的各个图像之后，这些图像被合成以生成要显示在显示单元105上的全景图像。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

可以通过网络或通过各种存储介质，向图像处理装置供给被配置为利用该示例中的部分或全部控制来实现上述实施例的功能的计算机程序。此外，该图像处理装置中的计算机(或cpu、或mpu等)可以读取并执行程序。在这种情况下，程序和被配置为存储该程序的存储介质构成本发明。

本申请要求2020年2月14日提交的日本专利申请第2020-023732号和2021年2月12日提交的日本专利申请第2021-020926号的优先权，该申请的全部内容通过引用并入本文。