摄像装置及对象物识别方法与流程

本发明涉及一种摄像装置及对象物识别方法，尤其涉及一种能够同时拍摄广角图像及长焦图像的摄像装置及对象物识别方法。

背景技术：

以往，作为能够同时拍摄广角图像及长焦图像的摄像装置，有专利文献1、2中所记载的摄像装置。

专利文献1及专利文献2中所记载的系统均具备拍摄广角图像的广角摄像机及搭载于电动云台(平摇/俯仰装置)的拍摄长焦图像的长焦摄像机。并且具有如下基本结构：从利用广角摄像机所拍摄的广角图像中检测跟踪的对象物，并根据检测到的对象物在广角图像中的位置信息对电动云台进行转动控制，利用长焦摄像机自动跟踪对象物并进行长焦拍摄。

并且，提出有如下追踪系统：将具备光学系统和图像传感器的摄像机安装于平摇/俯仰基座，并控制平摇/俯仰基座，以使在摄像机的视野的中心捕捉所追踪的对象物，所述光学系统中，圆形中央部分的窄角的透镜部与包围该圆形中央部分的环状部分的广角的透镜部同轴配置，所述图像传感器具有通过窄角的透镜部成像有窄角图像的中央区域及通过广角的透镜部成像有广角图像的周边区域(专利文献3)。

由此，即使对象物从窄角的透镜部的视角丢失，也能够通过广角的透镜部来捕捉对象物，且不会发生追踪丢失(trackingdropout)。

并且，由加利福尼亚大学圣迭戈分校(ucsd)的josephford提出有可以观察广角图像及长焦图像的接触透镜(非专利文献1)。

如果将该接触透镜的结构用于摄像机，有能够得到广角图像及长焦图像的可能性。

以往技术文献

专利文献

专利文献1：日本特开平11-69342号公报

专利文献2：日本特开2006-33224号公报

专利文献3：日本特表2003-510666号公报

非专利文献

非专利文献1：“photonicsystemsintegrationlaboratory”，网址＜url：http：//psilab.ucsd.edu/research/telescopiccontactlens/main.html＞

技术实现要素：

发明要解决的技术课题

专利文献1及专利文献2中所记载的系统均将具备2台独立的广角摄像机及长焦摄像机作为基本结构，因此系统存在价格昂贵且大型化的问题。并且，广角摄像机与长焦摄像机的光轴并非共用，在各自所拍摄的广角图像及长焦图像中产生视差，因此如果不使用对象物的距离信息进行视差校正，则无法利用长焦摄像机可靠地捕捉对象物。而且，由于广角摄像机被固定，因此存在若对象物超出广角图像的视角而移动，则无法利用长焦摄像机捕捉对象物的问题。

另一方面，关于专利文献3中所记载的追踪系统，平滑地连接通过圆形中央部分的窄角的透镜部拍摄的窄角图像与通过环状部分的广角的透镜部拍摄的广角图像(畸变像差未被校正的鱼眼图像)这样的光学系统在设计上存在困难。因此存在难以对窄角图像与广角图像的边界部分的对象物进行追踪的问题。

并且，导致窄角图像与广角图像在图像传感器上重叠(冲突)。若为了避免这种情况而设置光学遮挡和/或分离机构，则广角图像会变成环状，广角图像的中心部分欠缺而无法进行拍摄。

并且，将圆形中央部分作为长焦透镜，将环状部分作为广角透镜时，平滑地连接通过这些透镜拍摄的长焦图像与广角图像这样的光学系统在设计上存在困难，而且在长焦图像与广角图像的边界产生未被拍摄的区域。

非专利文献1中所记载的接触透镜，虽然可以解决广角图像与长焦图像的视差的问题，但为了分开获得广角图像及长焦图像这2个图像需要切换快门，因此系统变得复杂。而且，无法在同一时刻取得两图像，因此存在在取得长焦图像的期间无法取得广角图像的信息，且追踪的精确度下降的缺点。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够容易地由长焦光学系统捕获所期望的对象物，并且能够通过包括由长焦光学系统捕获的对象物的长焦图像对对象物进行图像识别的摄像装置及对象物识别方法。

用于解决技术课题的手段

为了实现上述目的，本发明的一方式所涉及的摄像装置具备：摄影光学系统，包括具有共同光轴的广角光学系统和长焦光学系统；指向性传感器，具有由二维状排列的光电转换元件构成的多个像素，且分别对经由广角光学系统及长焦光学系统入射的光束进行光瞳分割后选择性地受光；平摇/俯仰机构，使包含摄像光学系统及指向性传感器的摄像部沿水平方向及垂直方向转动；图像取得部，从指向性传感器分别取得经由广角光学系统而受光的广角图像及经由长焦光学系统而受光的长焦图像；对象物检测部，对图像获取部获取的广角图像进行图像处理，并且从广角图像检测第1对象物；平摇/俯仰控制部，根据由对象物检测部检测到的第1对象物在广角图像中的位置信息控制平摇/俯仰机构，并且使第1对象物位于广角图像的中心；及图像识别部，对通过平摇/俯仰控制部控制平摇/俯仰机构而第1对象物位于广角图像的中心时由图像获取部获取的长焦图像进行图像识别，识别第1对象物或第1对象物附近的第2对象物。

根据本发明的一方式，能够通过包括上述结构的摄像光学系统及指向性传感器的摄像部(单一摄像部)同时获取光轴共同的广角图像和长焦图像。根据所获取的广角图像检测第1对象物，并根据检测到的第1对象物在广角图像中的位置信息控制平摇/俯仰机构，使第1对象物位于广角图像的中心时，广角光学系统和长焦光学系统具有共同的光轴，因此第1对象物或第1对象物附近的第2对象物也能够进入到长焦图像内。即，通过使用广角图像控制平摇/俯仰机构以使第1对象物位于广角图像的中心，由此能够容易地由长焦光学系统捕获第1对象物或第1对象物附近的第2对象物。并且，根据放大拍摄第1对象物或第1对象物附近的第2对象物而得的长焦图像进行图像识别，由此能够对第1对象物或第2对象物良好地进行图像识别。

在本发明的另一方式所涉及的摄像装置中，优选第1对象物为多个时，图像识别部优先识别距离摄像装置最近的第1对象物。

在本发明的又一方式所涉及的摄像装置中，优选对象物检测部从广角图像检测出多个对象物时，将距离摄像装置最近的对象物作为第1对象物进行检测。

在本发明的又一方式所涉及的摄像装置中，优选对象物检测部具备根据由图像获取部连续获取的广角图像对运动物体进行图像识别，并将图像识别到的运动物体作为第1对象物进行检测的运动物体检测部，通过对象物检测部检测到多个对象物，并且通过运动物体检测部检测到运动物体时，图像识别部优先识别检测到的运动物体。检测到多个对象物并且将多个对象物中的一个作为运动物体检测时，优先识别运动物体。

在本发明的又一方式所涉及的摄像装置中，图像识别部从长焦图像提取人物的面部图像，并根据提取到的面部图像进行确定个人的面部识别(面部认证)。能够通过长焦图像获取被放大的面部图像，因此能够提高面部认证的精确度。

在本发明的又一方式所涉及的摄像装置中，图像识别部从长焦图像提取车辆的号码牌的图像，并根据提取到的号码牌的图像进行确定车辆的号码的图像识别。能够通过长焦图像获取被放大的号码牌的图像，因此能够提高确定车辆的号码的图像识别(文字识别)的精确度。

在本发明的又一方式所涉及的摄像装置中，优选具备输出由图像识别部识别的第1对象物或第2对象物的识别信息的输出部。

在本发明的又一方式所涉及的摄像装置中，优选对象物检测部具备根据由图像获取部连续获取的广角图像对运动物体进行图像识别，并将图像识别到的运动物体作为第1对象物进行检测的运动物体检测部，所述摄像装置具备图像保持部，其在输出第1对象物或第2对象物的识别信息时，若通过运动物体检测部检测到第1对象物为运动物体，则保持规定时间长焦图像。若利用长焦图像显示运动物体，则会加大图像模糊，因此输出第1对象物或第2对象物的识别信息时，保持规定时间长焦图像，由此通过保持长焦图像来防止图像模糊。

在本发明的又一方式所涉及的摄像装置中，优选图像识别部从长焦图像提取人物的面部图像或从长焦图像提取车辆的号码牌的图像，通过图像识别部从长焦图像提取人物的面部图像或从长焦图像提取车辆的号码牌的图像，则输出部对从长焦图像提取的面部图像或号码牌的图像进行修整，并且仅将已修整的图像输出到显示部。若利用长焦图像显示运动物体，则会加大图像模糊，因此输出第1对象物或第2对象物的识别信息时，通过从长焦图像仅将已修整的图像显示于显示部来防止图像模糊。

在本发明的又一方式所涉及的摄像装置中，优选输出部向记录识别信息的信息记录部及显示识别信息的显示部中的至少一个输出识别信息。由此，能够将第1对象物或第2对象物的识别信息显示于显示部或记录于信息记录部。

本发明的另一方式所涉及的摄像装置中，优选具备图像记录部，所述记录部至少记录图像取得部所取得的广角图像及长焦图像中的长焦图像。由此，能够通过由图像记录部记录的长焦图像在事后确认所希望的第1对象物或第2对象物。

在本发明的又一方式所涉及的摄像装置中，对象物检测部能够根据由图像获取部获取的广角图像对第1对象物进行图像识别并检测第1对象物。例如，当第1对象物为人物时，能够通过识别人物或人物的面部来检测第1对象物。

在本发明的又一方式所涉及的摄像装置中，优选对象物检测部对图像获取部连续获取的广角图像实时进行图像处理，并从广角图像连续检测第1对象物，平摇/俯仰控制部根据由对象物检测部连续检测到的第1对象物在广角图像中的位置信息连续控制平摇/俯仰机构，并将第1对象物保持在广角图像的中心。由此，能够跟踪第1对象物，并能够通过获取多个被跟踪的长焦图像来进一步适当地进行图像识别。

本发明的又一方式所涉及的摄像装置中，优选广角光学系统为圆形的中央光学系统，长焦光学系统为相对于中央光学系统呈同心圆状配设的环状光学系统。通过设为旋转对称的广角光学系统及长焦光学系统，能够获取在广角图像与长焦图像之间不产生视差且画质比未旋转对称的光学系统优异的广角图像及长焦图像。

本发明的又一方式所涉及的摄像装置中，优选环状光学系统具有使光束反射2次以上的反射光学系统。由此，能够缩短环状光学系统的光轴方向的尺寸，能够使摄像部紧凑。

本发明的又一方式所涉及的摄像装置中，优选长焦光学系统为圆形的中央光学系统，广角光学系统为相对于中央光学系统呈同心圆状配设的环状光学系统。

本发明的又一方式所涉及的摄像装置中，优选具有对长焦光学系统的焦点进行调整的焦点调整部。长焦光学系统与广角光学系统相比景深浅且容易模糊，因此优选进行焦点调整。另外，还可以在广角光学系统中设置焦点调整部，还可以不在广角光学系统中设置焦点调整部，而是将广角光学系统作为泛焦(panfocus)。

本发明的又一方式所涉及的摄像装置及对象物识别方法中，指向性传感器可以设为具有作为光瞳分割构件发挥作用的微透镜阵列或遮光掩模。

本发明的又一方式所涉及的对象物识别方法中使用如下摄像装置，所述摄像装置具备：摄像光学系统，其包括具有共同光轴的广角光学系统和长焦光学系统；指向性传感器，具有由二维状排列的光电转换元件构成的多个像素，且分别对经由广角光学系统及长焦光学系统入射的光束进行光瞳分割后选择性地受光；平摇/俯仰机构，使包含摄影光学系统及指向性传感器的摄像部沿水平方向及垂直方向转动；图像获取部，从指向性传感器分别获取经由广角光学系统而受光的广角图像及经由长焦光学系统而受光的长焦图像，所述对象物识别方法包括如下步骤：对图像获取部获取的广角图像进行图像处理，并从广角图像检测第1对象物的步骤；根据检测到的第1对象物在广角图像中的位置信息控制平摇/俯仰机构，并使第1对象物位于广角图像的中心的步骤；及对第1对象物位于广角图像的中心时由图像获取部获取的长焦图像进行图像识别，识别第1对象物或第1对象物附近的第2对象物的步骤。

发明效果

根据本发明，经由包括具有共同光轴的广角光学系统和长焦光学系统的摄像光学系统及指向性传感器拍摄到的广角图像与长焦图像的光轴方向一致，因此根据视角宽的广角图像检测所期望的对象物，并控制平摇/俯仰机构以使对象物位于广角图像的中心，由此能够使对象物进入到视角窄的长焦图像内。对通过这样控制平摇/俯仰机构而拍摄到的长焦图像进行图像识别，能够对被放大拍摄的对象物良好地进行图像识别。

附图说明

图1是本发明所涉及的摄像装置及对象物识别方法的外观立体图。

图2是表示摄像装置及对象物识别方法的摄像部的第1实施方式的剖视图。

图3是图2所示的微透镜阵列及图像传感器的主要部分放大图。

图4是表示配设于图像传感器的滤色器排列等的图。

图5是表示摄像装置的内部结构的实施方式的框图。

图6是表示同时拍摄到的广角图像及长焦图像的一例的图。

图7是表示本发明所涉及的对象物识别方法的实施方式的流程图。

图8是表示图像识别部中的图像识别的第1实施方式的流程图。

图9是表示图像识别部中的图像识别的第2实施方式的流程图。

图10是表示同时拍摄到的广角图像及长焦图像的其他例的图。

图11是表示同时拍摄到的广角图像及长焦图像的又一例的图。

图12是表示检测到多个对象物时被优先识别的对象物的图。

图13是表示包括检测到多个对象物时作为第1对象物检测到的对象物的广角图像及长焦图像的例的图。

图14是表示检测到运动物体和静态物体的多个对象物时优先被识别的对象物的图。

图15是表示指向性传感器的另一实施方式的侧视图。

图16是表示能够适用于摄像装置的摄像光学系统的另一实施方式的剖视图。

图17是表示能够适用于摄像装置的摄像光学系统的又一实施方式的剖视图。

具体实施方式

根据附图对本发明所涉及的摄像装置及对象物识别方法的实施方式进行说明。

<摄像装置的外观>

图1是本发明所涉及的摄像装置的外观立体图。

如图1所示，踪摄像装置10主要具有装置主体2、摄像部11、平摇/俯仰装置30(图5)及覆盖摄像部11的球形罩6。

平摇/俯仰装置30具有底座4及固定于底座4并且转动自如地保持摄像部11的保持部8。

底座4配设成以装置主体2的垂直方向z的轴为中心旋转自如，并通过平摇驱动部34(图5)以垂直方向z的轴为中心旋转。

保持部8具有设置在与水平方向x的轴同轴上的齿轮8a，并通过从俯仰驱动部36(图5)经由齿轮8a传达驱动力，从而使摄像部11向上下方向转动(俯仰动作)。

球形罩6为用于防尘及防溅的罩体，并且优选为将水平方向x的轴与垂直方向z的轴的交点设定为曲率中心的恒定壁厚的球壳形状，以使摄像部11的光学性能不发生变化且与摄像部11的光轴l的方向无关。

并且，优选在装置主体2的背面设置未图示的三脚架安装部(三脚架螺孔等)。

[摄像部的结构]

图2是表示摄像装置10的摄像部11的第1实施方式的剖视图。

如图2所示，摄像部11由摄像光学系统12及指向性传感器17构成。

<摄像光学系统＞

摄像光学系统12包括具有共同光轴l的广角光学系统13和长焦光学系统14，广角光学系统13为以光轴l为中心的圆形的中央光学系统，长焦光学系统14为以光轴l为中心的环状光学系统，并被设为中央光学系统(广角光学系统13)的周边部的同心圆状。

广角光学系统13为由第1透镜13a、第2透镜13b、第3透镜13c、第4透镜13d及共用透镜15构成的广角透镜，并且将广角图像成像于构成指向性传感器17的微透镜阵列16上。

长焦光学系统14为由第1透镜14a、第2透镜14b、作为反射光学系统的第1反射镜14c、第2反射镜14d及共用透镜15构成的长焦透镜，并且将长焦图像成像于微透镜阵列16上。经由第1透镜14a及第2透镜14b入射的光束被第1反射镜14c及第2反射镜14d反射2次以后透过共用透镜15。利用第1反射镜14c及第2反射镜14d将光束折回，由此缩短焦点距离较长的长焦光学系统14的光轴方向的长度。另外，该实施方式的长焦光学系统14具有2个第1反射镜14c、第2反射镜14d，但并不限定于此，也可以具有3个以上的反射镜(反射光学系统)。

<指向性传感器>

指向性传感器17由微透镜阵列16及图像传感器18构成。

图3是微透镜阵列16及图像传感器18的主要部分放大图。

微透镜阵列16由多个微透镜(光瞳成像透镜)16a排列成二维状而构成，各微透镜16a的水平方向及垂直方向的间隔与相当于3个作为图像传感器18的光电转换元件的受光单元18a的间隔对应。即，微透镜阵列16的各微透镜16a使用相对于水平方向及垂直方向的各方向与每隔2个受光单元的位置对应而形成的微透镜。

并且，微透镜阵列16的各微透镜16a将与摄像光学系统12的广角光学系统13及长焦光学系统14对应的圆形的中央光瞳像(第1光瞳像)17a及环状光瞳像(第2光瞳像)17b成像于图像传感器18所对应的受光区域的受光单元18a上。

根据图3所示的微透镜阵列16及图像传感器18，微透镜阵列16的每1微透镜16a分配有格子状(正方格子状)的3×3个受光单元18a。以下，将1个微透镜16a及与1个微透镜16a对应的受光单元组(3×3个受光单元18a)称为单位块。

中央光瞳像17a仅成像于单位块的中央的受光单元18a，环状光瞳像17b成像于单位块的周围的8个受光单元18a。

根据上述结构的摄像部11，能够如后述那样同时获取与光轴方向一致的广角图像与长焦图像。

[图像传感器的实施方式]

图4是表示配设于图像传感器18的滤色器排列等的图。另外，图4中省略了微透镜阵列16，但以圆形表示的区域表示包含通过微透镜阵列16的各微透镜16a成像有光瞳像的3×3个受光单元的单位块。

如图4(a)所示，图像传感器18的成像面上设置有由配设于各受光单元上的滤色器构成的滤色器排列。

该滤色器排列由使红(r)、绿(g)及蓝(b)的各波长区域的光透过的三原色滤色器(以下，称为r滤色器、g滤色器、b滤色器)构成。并且，各受光单元上配置有rgb滤色器中的任意滤色器。以下，将配置有r滤色器的受光单元称为“r受光单元”，将配置有g滤色器的受光单元称为“g受光单元”，将配置有b滤色器的受光单元称为“b受光单元”。

将图4(a)所表示的滤色器排列构成为将6×6个受光单元设为基本块bl(参考图4(a)以粗框表示的块及图4(b))，并且基本块bl沿水平方向及垂直方向重复配置。

如图4(b)所示，基本块bl由4个单位块bl1～b4构成。

图4(c1)及(c2)分别表示4个单位块bl1～b4的中央受光单元(透过图3所示的广角光学系统13的光束所入射的受光单元)的组及周围8个受光单元(透过图3所示的长焦光学系统14的光速所入射的受光单元)的组。

如图4(c1)所示，中央受光单元的组的图像成为拜耳排列的马赛克图像。由此，通过对拜耳排列的马赛克图像进行去马赛克处理，能够得到彩色图像。

另一方面，如图4(c2)所示，单位块bl1～b4的各中央受光单元的周围8个受光单元的组在8个受光单元内包含rgb所有的受光单元(r受光单元、g受光单元、b受光单元)，且rgb的受光单元与单位块bl1～b4无关地以相同图案配置。

具体而言，各单位块bl1～b4的4角的4个受光单元上配置有g受光单元，隔着中央受光单元的上下2个受光单元上配置有r受光单元，隔着中央受光单元的左右2个受光单元上配置有b受光单元。

并且，r受光单元、g受光单元及b受光单元相对于各单位块的中央受光单元(中心)配置于对称位置。由此，利用单位块内的rgb的受光单元的输出信号，能够生成对其每个单位块进行去马赛克处理(同步处理)之后的构成图像的1个像素(rgb的像素值)。

即，通过求出单位块内的4个g受光单元的输出信号(像素值)的平均值，能够取得单位块(1个微透镜)的中心位置的g像素的像素值，同样地通过求出单位块内的2个r受光单元的像素值的平均值及2个b受光单元的像素值的平均值，能够取得各单位块的中心位置的r像素及b像素的像素值。

由此，针对通过单位块的周围8个受光单元的组生成的与长焦光学系统14(环状光学系统)对应的长焦图像，能够利用单位块内的rgb的受光单元的像素值进行去马赛克处理，无需对周围单位块的受光单元的像素值进行插值而生成特定波长区域的像素的像素值，不会使输出图像的分辨率(实际像素数)下降。

<摄像装置的内部结构>

图5是表示摄像装置10的内部结构的实施方式的框图。

如图5所示，摄像装置10具备摄像部11，所述摄像部11由具有图2中所说明的广角光学系统13及长焦光学系统14的摄像光学系统12及具有图3及图4中所说明的微透镜阵列16及图像传感器18的指向性传感器17构成。

该摄像部11优选具备对长焦光学系统14(环状光学系统)的焦点进行调整的焦点调整部19。焦点调整部19例如可以由使长焦光学系统14的整体或一部分的光学系统沿光轴方向移动的音圈马达等构成。并且，长焦图像的聚焦的判断可以通过长焦图像的焦点检测区域的对比度进行，但焦点调整方法并不限定于此。另外，针对广角光学系统13(中央光学系统)，可以另外设置焦点调整部，也可以构成为不设置焦点调整部而使广角光学系统13成为深度聚焦(泛焦)。

如图1所示，平摇/俯仰装置(电动云台)30具备使摄像部11相对于装置主体2向水平方向(平摇方向)旋转的平摇机构及向垂直方向(俯仰方向)转动的俯仰机构(以下，称为“平摇/俯仰机构”)32、平摇驱动部34及俯仰驱动部36等。平摇/俯仰机构32具有检测平摇方向的旋转角(平摇角)的基准位置的原位置传感器及检测俯仰方向的倾角(俯仰角)的基准位置的原位置传感器。

平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，并向平摇/俯仰机构32输出驱动力而驱动平摇/俯仰机构32。

摄像部11经由摄像光学系统12及指向性传感器17拍摄时序的广角图像及长焦图像，经由摄像光学系统12在指向性传感器17(图像传感器18)的各受光单元(光电转换元件)的受光面上成像的被摄体像被转换成根据其入射光量的量的信号电压(或电荷)。

在图像传感器18中积蓄的信号电压(或电荷)积蓄于受光单元本身或者附没的电容器。被积蓄的信号电压(或电荷)使用利用了x-y地址方式的cmos(complementarymetaloxidesemiconductor)型图像传感器(所谓cmos传感器)的方法选择受光单元位置并读出。另外，图像传感器18不限于cmos型图像传感器，也可以是ccd(chargecoupleddevice)型图像传感器。

能够从该图像传感器18读取表示与广角光学系统13对应的中央受光单元的组的广角图像的像素信号及表示与长焦光学系统14对应的周围8个受光单元的组的长焦图像的像素信号。并且，表示广角图像及长焦图像的像素信号以规定的帧速率(例如，24fps(framepersecond)、30fps或60fps)从图像传感器18被连续读取。

从图像传感器18读出的像素信号(电压信号)通过相关双采样处理(为了减轻传感器输出信号中包含的噪声(尤其是热噪声)等，通过获取每一个受光单元的输出信号中包含的馈通成分电平与信号成分电平之差而得到准确的像素数据的处理)，每个受光单元的像素信号被采样保持，被放大之后添加至a/d(analog/digital)转换器20。a/d转换器20将依次输入的像素信号转换成数字信号并输出至图像取得部22。另外，mos型传感器中有内置有a/d转换器的传感器，此时，从图像传感器18直接输出数字信号。

通过选择图像传感器18的受光单元位置来读出像素信号，图像取得部22能够同时或选择性地取得表示广角图像的像素信号及表示长焦图像的像素信号。

即，通过选择性地读出图像传感器18中入射有中央光瞳像17a的受光单元的像素信号，能够取得表示每1微透镜的1个受光单元(3×3的受光单元的中央受光单元)的广角图像的像素信号(表示拜耳排列的马赛克图像的像素信号)，另一方面，通过选择性地读出图像传感器18中入射有环状光瞳像17b的受光单元的像素信号，能够取得表示每1微透镜的8个受光单元(3×3的受光单元的周围受光单元)的长焦图像的像素信号。

另外，可从图像传感器18读出所有像素信号并临时存储于缓冲存储器，由存储于缓冲存储器的像素信号进行广角图像与长焦图像这2个图像的像素信号的分组。

表示由图像获取部22获取的广角图像的像素信号分别输出到数字信号处理部40及对象物检测部50，表示由图像获取部22获取的长焦图像的像素信号分别输出到数字信号处理部40及图像识别部52。例如，图像获取部22、数字信号处理部40、对象物检测部50、图像识别部52、平摇/俯仰控制部60由一个或多个cpu(centralprocessingunit)构成，并通过将保存在摄像装置10内具备的未图示的记录部中的程序加载到该cpu中来动作。

数字信号处理部40对输入的数字像素信号(rgb的点顺序的r信号、g信号、b信号)进行偏移处理、伽马校正处理及对于rgb的马赛克图像的信号的去马赛克处理等规定的信号处理。在此，去马赛克处理是指从与单板式图像传感器18的滤色器排列对应的rgb的马赛克图像中按每个像素算出所有颜色信息的处理，也称为同步处理。例如，当为由rgb三色滤色器构成的图像传感器18时，是指从由rgb构成的马赛克图像中按每个像素计算出rgb所有颜色信息的处理。

即，由于广角图像(拜耳排列的马赛克图像)的g受光单元的位置上没有r受光单元及b受光单元，因此数字信号处理部40中所包含的去马赛克处理部分别对其g受光单元周围的r受光单元、b受光单元的r信号、b信号进行插值而生成g受光单元的位置的r信号、b信号。同样地，马赛克图像的r受光单元的位置上没有g受光单元、b受光单元，因此分别对其r受光单元周围的g受光单元、b受光单元的g信号、b信号进行插值而生成r受光单元的位置的g信号、b信号，并且，马赛克图像的b受光单元的位置上没有g受光单元、r受光单元，因此分别对其b受光单元周围的g受光单元、r受光单元的g信号、r信号进行插值而生成b受光单元的位置的g信号、r信号。

另一方面，如图4(c2)所示，长焦图像由每1微透镜16a的8个(3×3的单位块的周围8个)马赛克图像构成，且8个受光单元内包含rgb的所有颜色信息(r受光单元、g受光单元、b受光单元)，因此去马赛克处理部能够利用单位块内的8个受光单元的输出信号生成按每一个单位块进行了去马赛克处理的构成图像的1个像素(rgb的像素值)。

具体而言，对长焦图像的马赛克图像进行去马赛克处理的去马赛克处理部，通过求出单位块内的4个g受光单元的像素值的平均值，从而算出单位块(1个微透镜)的中心位置的像素的g的像素值，同样地，通过求出单位块内的2个r受光单元的像素值的平均值及2个b受光单元的像素值的平均值，从而分别算出单位块的中心位置的像素的r的像素值及b的像素值。

由于利用单位块内的8个受光单元的输出信号进行去马赛克处理，因此通过上述去马赛克处理部生成的广角图像及长焦图像这2个去马赛克图像中的长焦图像的去马赛克图像成为其分辨率实际上高于利用(插值)周围的单位块的受光单元的输出信号进行去马赛克处理的广角图像的去马赛克图像的分辨率的去马赛克图像。

并且，数字信号处理部40进行从通过去马赛克处理部进行了去马赛克处理的rgb的颜色信息(r信号、g信号、b信号)生成亮度信号y与色差信号cb，cr的rgb/yc转换等，并生成表示规定的帧速率的广角图像及长焦图像的动态图像记录用及动态图像显示用的图像信号。

在数字信号处理部40处理的表示广角图像及长焦图像的图像信号分别被输出至相当于图像记录部的记录部42及显示部44。记录部42将通过数字信号处理部40处理的表示广角图像及长焦图像的动态图像记录用的图像信号记录于记录介质(硬盘、存储卡等)。另外，记录部42也可以仅记录长焦图像。

显示部44由液晶显示屏等构成，并通过由数字信号处理部40所处理的表示广角图像及长焦图像的动态图像显示用的图像信号，显示广角图像及长焦图像。并且，可以代替显示部44，使图像显示于连接在摄像装置10的监视器等。另外，显示部44还可以根据记录于记录部42的图像信号重放广角图像及长焦图像。

另一方面，对象物检测部50对图像获取部22连续获取的广角图像实时进行图像处理，并检测广角图像内的所期望的对象物(第1对象物)，将检测到的第1对象物在广角图像中的位置信息(表示以广角图像的中心位置为原点的xy坐标系上的第1对象物的位置的位置信息)输出到平摇/俯仰控制部60。

作为对象物检测部50中的第1对象物的检测方法，有如下方法：将运动物体作为第1对象物进行检测的运动物体检测方法；通过以进行人物的面部识别的技术为代表的对象物识别技术检测特定的对象物的方法；及使用图案识别技术仅检测特定的形状(例如，人物形状、车辆形状)的图案识别方法等。

运动物体检测方法为利用由图像获取部22获取的时间序列的广角图像中的前后的2张广角图像的差分(帧间差分)等的差分图像的方法。另外，差分图像为通过运动物体(对象物)的移动而产生的图像，对象物检测部50能够将差分图像的重心位置设为运动物体(对象物)的广角图像中的位置。

基于对象物识别的对象物的检测方法为将特定对象物的外观的特征作为对象物词典(对象物为面部时为面部词典)进行事先登录，并将从所拍摄的图像边改变位置和大小边截取的图像与对象物词典进行比较的同时识别对象物的方法。

对象物指示部56为设定通过对象物检测部50检测的对象物或指定对象物的检测方法的部分，对象物检测部50检测由对象物指示部56设定的对象物(第1对象物)。对象物指示部56由触摸面板构成，可以从用户接收对象物的输入，也可以输入来自连接于摄像装置10的计算机等的对象物指示。另外，由对象物检测部50检测的第1对象物为特定对象物(1种对象物)时，不需要对象物指示部56。

由对象物检测部50检测的对象物(第1对象物)在广角图像中的位置信息被输出到平摇/俯仰控制部60。

平摇/俯仰控制部60为根据从对象物检测部50输入的广角图像中的第1对象物的位置信息控制平摇/俯仰装置30的部分，并且经由平摇驱动部34及俯仰驱动部36控制平摇/俯仰机构32(即，基于摄像部11的摄影方向)，以使第1对象物在广角图像中的第1对象物的位置向广角图像的中心位置(光轴上的位置)移动。

通过上述平摇/俯仰机构32的控制，能够自动跟踪对象物并进行拍摄，以使第1对象物(例如，人物的面部等)到达广角图像的中心。

图6为表示同时拍摄到的广角图像及长焦图像的图，图6(a1)及图6(b1)分别表示平摇/俯仰控制开始前的广角图像及长焦图像，图6(a2)及图6(b2)分别表示平摇/俯仰控制后(自动跟踪中)的广角图像及长焦图像。

图6所示的例中，通过对象物检测部50从广角图像中检测的第1对象物为人物p，平摇/俯仰控制部60控制平摇/俯仰装置30，以使由对象物检测部50检测的人物p到达广角图像的中心。

在图6(a1)及图6(b1)所示的平摇/俯仰控制开始前的时点，人物p进入到广角图像w1中，但并没有进入到长焦图像t1中。

如图6(a2)及图6(b2)所示，进行平摇/俯仰控制，若使人物p位于广角图像w2的中心，则能够通过长焦图像t2捕获人物p。这是因为图2所示的摄像光学系统12的广角光学系统13和长焦光学系统14具有共同光轴l。

返回到图5，图像识别部52对第1对象物位于广角图像的中心时由图像获取部22获取的长焦图像进行图像识别，并识别第1对象物或第1对象物附近的第2对象物。

图像识别部52能够根据由对象物检测部50检测到的第1对象物在广角图像中的位置信息来判别第1对象物是否位于广角图像的中心。另外，所谓第1对象物位于广角图像的中心是指，包括位于广角图像的大致中心的情况，以第1对象物被长焦图像捕获的程度使第1对象物位于广角图像的中心的情况。

并且，图像识别部52中从对象物指示部56施加有表示应图像识别的对象物或识别内容的信息，图像识别部52在第1对象物位于广角图像的中心时(即，第1对象物被长焦图像捕获时)对由图像获取部22获取的长焦图像进行图像识别，并根据从对象物指示部56输入的信息进行长焦图像内的第1对象物或第1对象物附近的第2对象物的图像识别。

在此，所谓第1对象物附近的第2对象物是指第1对象物的一部分或与第1对象物相邻的对象物，例如，第1对象物为“人物”时，第2对象物相当于“人物”的“面部”。并且，作为图像识别的一例，表示从对象物检测部50输入的识别内容的信息为“面部认证”时，图像识别部52从由图像获取部22获取的长焦图像提取面部图像，并根据所提取的面部图像进行确定个人的面部识别。另外，图像识别部52只进行特定的图像识别(1种图像识别)时，不需要对象物指示部56，通过图像识别部52识别到的面部图像等成为识别结果。并且，提取面部图像时可以使用利用了主成分分析的特征面部或线性判别分析等已知的算法。

通过图像识别部52图像识别的识别结果(第1对象物或第2对象物的识别信息)从输出部54输出到摄像装置10内的记录部42或外部的信息记录部(未图示)，并记录于记录部42等中。并且，通过图像识别部52图像识别的识别结果从输出部54输出到摄像装置10内的显示部44或外部的显示部(未图示)，并显示于显示部44等中。

<对象物识别方法>

图7是表示本发明所涉及的对象物识别方法的实施方式的流程图。

图7中，图像获取部22获取由摄像部11同时拍摄的广角图像和长焦图像中的广角图像(步骤s10)。对象物检测部50从由图像获取部22获取的广角图像检测第1对象物(步骤s12)。另外，第1对象物可以是通过对象物指示部56指定的对象物，也可以是被预先设定的特定的对象物。并且，在第1对象物为运动物体时，通过使用了帧间差分等的差分图像的运动物体检测方法检测第1对象物，当第1对象物为人物的“面部”时，利用以进行人物的面部识别的技术为代表的对象物识别技术进行检测，当第1对象物具有特定的形状时，能够使用图案识别技术进行检测。

对象物检测部50计算检测到的第1对象物在广角图像中的位置信息(步骤s14)。

接着，从对象物检测部50输入第1对象物在广角图像中的位置信息，平摇/俯仰控制部60根据所输入的位置信息控制平摇/俯仰装置30，以使对象物到达广角图像的中心(步骤s16)。

接着，图像识别部52判别第1对象物是否位于广角图像的中心(步骤s18)。当第1对象物不位于广角图像的中心时(为“否”时)，返回到步骤s10，重复从步骤s10至步骤s18的处理。

第1对象物位于广角图像的中心时(为“是”时)，图像识别部52经由图像获取部22获取由摄像部11同时拍摄的广角图像和长焦图像中的长焦图像(步骤s20)，并根据所获取的长焦图像对第1对象物或第1对象物附近的第2对象物进行图像识别(步骤s22)。另外，关于步骤s22中的图像识别的具体例将进行后述。

输出部54将通过图像识别部52被图像识别的第1对象物或第2对象物的识别信息输出到记录部42或显示部44等(步骤s24)。由此，能够记录或显示第1对象物或第2对象物的识别信息。

[图像识别的第1实施方式]

图8是表示图像识别部52中的图像识别的第1实施方式的流程图，并且为表示图7所示的步骤s22中的处理内容的图。

图8所示的第1实施方式表示第1对象物为“人物”且第1对象物附近的第2对象物为“人物”的“面部”的情况。

图8中，图像识别部52从图6(b2)所示的长焦图像t2提取人物p的面部f的图像(步骤s222)。面部图像的提取能够使用对表示预先登录的面部的特征量的面部词典和从长焦图像边改变位置和大小边截取的图像进行比较的同时求出面部评价值，并将获得恒定以上的评价值时截取的图像作为面部图像而提取的方法，但面部图像的提取方法并不限定于此。

接着，根据所提取的面部图像进行确定个人的面部识别(面部认证)(步骤s224)。面部认证通过对照所提取的面部图像和预先登录到面部认证数据库52a的多人的面部图像(确定有个人的面部图像)来进行。即，面部认证从面部图像求出眼镜、鼻子、嘴等面部部分的特征点的面部区域内的位置、两眼的距离、眼睛与鼻子的距离或它们的比率等多个数据，并根据与登录到面部认证数据库52a的多人的面部认证数据的匹配度来进行。另外，面部认证数据库52a可以是作为图像识别部52或摄像装置10的内部记录部而设置的数据库，亦可以是作为摄像装置10的外部存储部而设置的数据库。

当在面部认证数据库52a内存在相匹配的面部时，图像识别部52能够获取识别信息(图像识别结果)作为与该面部相关联地登录到面部认证数据库52a中的个人的识别信息或面部图像等。

[图像识别的第2实施方式]

图9是表示图像识别部52中的图像识别的第2实施方式的流程图，并且为表示图7所示的步骤s22中的其他处理内容的图。

图像识别的第2实施方式表示如图10(a)所示那样通过广角图像检测的第1对象物为“车辆v”，第1对象物(车辆v)附近的第2对象物为贴付在车辆v的“号码牌n”的情况。

如图10(a)所示那样从广角图像检测车辆v，并控制平摇/俯仰装置30以使车辆v位于广角图像的中心(图7的步骤s10～s18)。

图9中，图像识别部52从车辆v位于广角图像的中心时的长焦图像(参考图10(b))提取车辆v的号码牌n的图像(步骤s226)。号码牌n的图像的提取能够通过基于号码牌n的形状的图案识别或颜色等进行，但号码牌n的提取方法并不限定于此。

接着，根据所提取的号码牌n的图像进行确定车辆v的号码的图像识别(文字识别)(步骤s228)。号码的文字识别能够利用通过所提取的号码牌n的图像与预先存储的文字图案的对照来确定文字并记录为文本的光学文字识别(ocr：opticalcharacterrecognition)软件进行。能够将这样读取的号码牌n的文字信息或号码牌n的图像等作为识别信息(图像识别结果)。

另外，图像识别的对象物或图像识别的内容不限于上述实施方式，并且可考虑各种方式。在本例中通过放大拍摄的长焦图像进行图像识别，由此能够进行更高精确度的图像识别。

并且，如图11(a)及图11(b)所示，能够将通过广角图像检测的第1对象物设为“面部f”，并能够将通过长焦图像被图像识别的对象物设为与第1对象物相同的“面部f”。

通过广角图像检测的“面部f”的图像是能够判别广角图像中是否存在第1对象物(面部f)的图像的画质的图像即可，通过长焦图像被图像识别的“面部f”的图像要求是能够面部认证的画质。

如此，通过广角图像检测的对象物与通过长焦图像被图像识别的对象物可以是相同的对象物。

<检测到多个对象物的情况>

图12为表示检测多个对象物时优先被识别的对象物的图。

若通过对象物检测部50检测多个对象物(图12所示的例中为2名人物)，则2名人物成为第1对象物。平摇/俯仰控制部60控制平摇/俯仰装置30，以使通过对象物检测部50检测的2名人物(2名人物的重心位置)到达长焦图像的中心。

图像识别部52在2名人物位于广角图像的中心时对由图像获取部22获取的长焦图像进行图像识别，但优先识别2名人物中最靠近摄像装置10的人物。多个对象物为人物时，识别各人物的面部，并能够将面部的大小最大的人物设为距离摄像装置10最近的人物。

图12所示的例中，在图12上右侧的人物成为优先被图像识别的对象物，该人物的面部成为第2对象物。

图13是表示包括检测到多个对象物时作为第1对象物检测到的对象物的广角图像及长焦图像的例的图，图13(a1)及图13(b1)分别表示平摇/俯仰控制开始前的广角图像及长焦图像，图13(a2)及图13(b2)分别表示平摇/俯仰控制后(自动跟踪中)的广角图像及长焦图像。

图13所示的例中，通过对象物检测部50从广角图像中检测多个对象物时，对象物检测部50作为第1对象物检测距离摄像装置10最近的对象物。图13所示的例中，距离摄像装置10最近的对象物(第1对象物)为人物p。此时，平摇/俯仰控制部60控制平摇/俯仰装置30，以使通过对象物检测部50检测的人物p到达广角图像的中心。

在图13(a1)及图13(b1)所示的平摇/俯仰控制开始前的时点，人物p进入到广角图像w1中，但未进入到长焦图像t1中。

如图13(a2)及图13(b2)所示那样进行平摇/俯仰控制，使人物p位于广角图像w2的中心，则能够通过长焦图像t2捕获人物p。并且，图像识别部52在第1对象物(人物p)位于广角图像的中心时对图像获取部22所获取的长焦图像进行图像识别，并识别第1对象物或第1对象物附近的第2对象物(面部f)。

图14是表示检测到运动物体和静态物体的多个对象物时优先被识别的对象物的图。

作为运动物体检测部发挥功能的对象物检测部50在检测多个对象物时，能够进一步从多个对象物检测运动物体的对象物。在图14所示的例中，对象物检测部50能够分别检测正在移动的人物和静止的人物。

若通过对象物检测部50检测到多个对象物且检测到运动物体，则图像识别部52优先识别检测到的运动物体。即，图像识别部52优先多个对象物(图14上的2名人物)中的作为运动物体而被识别的左侧的人物，并识别该人物或该人物的面部(第2对象物)。

<对象物为运动物体时的表示例>

如上所述，对象物检测部50作为运动物体检测部发挥功能，能够检测出所检测的对象物是运动物体还是静态物体。通过对象物检测部50检测的对象物为运动物体时，若将运动物体的长焦图像直接显示于显示部44，则图像模糊变大。

因此，作为图像保持部发挥功能的输出部54在输出对象物的识别信息时，通过运动物体检测部检测到该对象物为运动物体，则保持预定时间长焦图像。由此，能够通过保持长焦图像来防止显示于显示部44的长焦图像的图像模糊。预定时间可以是作为长焦图像的视觉辨认所需的时间而预先设定的时间，也可以是由用户适当设定的时间。

并且，图像识别部52从长焦图像提取人物的面部图像或从长焦图像提取车辆的号码牌的图像时，输出部54可以对从长焦图像提取的面部图像或号码牌的图像进行修整并仅将已修整的图像输出到显示部44。

若利用长焦图像显示移动的对象物(人物或车辆)，则图像模糊变大。因此，能够通过仅将从长焦图像修整的面部图像或号码牌的图像显示于显示部44来防止显示于显示部44的长焦图像的图像模糊。

<指向性传感器的另一实施方式>

图15是表示指向性传感器的另一实施方式的侧视图。

该指向性传感器117由作为光瞳分割构件的微透镜阵列118及作为遮光掩模而发挥作用的遮光部件120，以及受光单元116a、116b的一部分通过遮光部件120被遮光的图像传感器116构成。另外，在图像传感器116的左右方向及上下方向上交替(方格花纹旗状)设置通过遮光部件120而一部分被遮光的受光单元116a及受光单元116b。

微透镜阵列118具有与图像传感器116的受光单元116a、116b一对一对应的微透镜118a。

遮光部件120限制图像传感器116的受光单元116a、116b的开口，且具有与图2中所示的摄像光学系统12的广角光学系统13及长焦光学系统14对应的开口形状。另外，微透镜阵列118的各透镜的下方配设有红(r)、绿(g)、蓝(b)的滤色器。

受光单元116a的开口的周边部被遮光部件120的遮光部120a遮光，另一方面，受光单元116b的开口中心部被遮光部件120的遮光部120b遮光。由此，透过摄像光学系统12的广角光学系统13的光束被微透镜阵列118及遮光部件120的遮光部120a光瞳分割后而入射至受光单元116a，另一方面，透过摄像光学系统12的长焦光学系统14的光束被微透镜阵列118及遮光部件120的遮光部120b光瞳分割后而入射至受光单元116b。

由此，能够从图像传感器116的各受光单元116a读出广角图像的像素信号，能够从图像传感器116的各受光单元116b读出长焦图像的像素信号。

<摄像光学系统的另一实施方式>

图16是表示能够适用于摄像装置10的摄像光学系统的另一实施方式的剖视图。

该摄像光学系统112由分别具有共同光轴l的广角光学系统113和长焦光学系统114构成。另外，指向性传感器17与图2及图3中所示的指向性传感器相同，因此省略其说明。

广角光学系统113(环状光学系统)为由透镜113a及共用透镜115构成的广角光学系统，且具有视角α。

长焦光学系统114(中央光学系统)为由第1透镜114a、第2透镜114b及共用透镜115构成的长焦透镜，且具有视角β(β＞α)，比广角光学系统113视角更窄。

该摄像光学系统112与图2中所示的摄像光学系统12相比，有如下不同点，即未使用反射镜，并且，环状光学系统为广角光学系统113，中央光学系统为长焦光学系统114。

<摄像光学系统的又一实施方式>

图17是表示能够适用于摄像装置10的摄像光学系统的又一实施方式的剖视图。

该摄像光学系统212由分别具有共同光轴l的上侧的广角光学系统213及下侧的长焦光学系统214构成。

广角光学系统213具有前透镜fl、变倍系统透镜vl1、校正系统透镜cl1及成像系统透镜ml，长焦光学系统214具有前透镜fl、变倍系统透镜vl2、校正系统透镜cl2及成像系统透镜ml。

前透镜fl及成像系统透镜ml分别为广角光学系统213及长焦光学系统214公用的透镜，变倍系统透镜vl1、vl2与校正系统透镜cl1、cl2分别被分割为上下两个部分，并分别配置于光轴方向的不同的位置(可广角拍摄的位置及可长焦拍摄的位置)。

上述结构的摄像光学系统212中，在图17上光轴l的上半部分的区域为广角光学系统213，光轴l的下半部分的区域为长焦光学系统214。另外，应用于该摄像光学系统212的指向性传感器需要设为如下，即对通过摄像光学系统212的上半部分的区域(广角光学系统213)的光束和通过摄像光学系统212的下半部分的区域(长焦光学系统214)的光束进行光瞳分割，并分别选择性地受光。

这样应用于本发明所涉及的摄像装置的摄像光学系统的广角光学系统与长焦光学系统不限定于同心圆状的圆形光学系统和环状光学系统，可以由被分割为上下(或左右)两个部分的半圆状的广角光学系统和长焦光学系统构成。

[其他]

本实施方式的摄像装置10中，使摄像部11向平摇方向及俯仰方向转动的平摇/俯仰机构32设置于装置主体2，但并不限定于此，也可将摄像装置整体搭载于电动云台(平摇/俯仰装置)。

并且，本实施方式的摄像装置10能够根据由对象物检测部50检测的第1对象物的位置信息使第1对象物保持在广角图像的中心(自动跟踪)，若结束基于长焦图像的图像识别，则能够切换为其他的第1对象物的检测。

另外，第1对象物可通过从显示部44所显示的广角图像利用触摸面板等由操作员最初进行设定。

并且，图2中所示的摄像光学系统12的反射镜型的透镜结构中的反射镜并不限定于凹面镜或凸面镜，也可以是平面镜，并且，反射镜的片数也不限定于2片，也可以设置3片以上。

而且，焦点调整部可以使中央光学系统及环状光学系统的共用透镜或图像传感器向光轴方向移动。

另外，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内可进行各种变形这是不言而喻的。

符号说明

10-摄像装置，11-摄像部，12、112、212-摄像光学系统，13、113、213-广角光学系统，14、114、214-长焦光学系统，16、118-微透镜阵列，16a、118a-微透镜，17、117-指向性传感器，18、116-图像传感器，18a、116a、116b-受光单元，22-图像获取部，30-平摇/俯仰装置，32-平摇/俯仰机构，42-记录部，44-显示部，50-对象物检测部，52-图像识别部，52a-面部认证数据库，54-输出部，56-对象物指示部，60-平摇/俯仰控制部，120-遮光部件。