专利名称：摄像装置、摄像装置控制方法以及程序的制作方法
技术领域：
本公开涉及摄像装置、摄像装置控制方法以及程序，更具体来说，涉及这样的摄像装置、摄像装置控制方法以及程序其中，执行在例如拍摄例如三维图像(3D图像)的摄像装置(照相机)中检测并且校正左眼图像与右眼图像之间的偏差(特别地，上下图像偏差)的处理。
背景技术：
最近，已经开发并使用能够显示三维图像(3D图像)的显示装置(如电视和PC以及能够记录三维图像(3D图像)的摄像机和静止图像照相机。为了显示3D图像，有必要从不同视角拍摄两个图像。即，这两个图像是从左功能点拍摄的左眼图像和从右能点拍摄的右眼图像。当显示从不同视角拍摄的两个图像吋，执行控制，使得左眼图像只被观赏者的左眼看到，右眼图像只被观赏者的右眼看到，并且观赏者能够获得三维效果。作为3D图像的显示处理方法，有各种方法。例如，ー种方法是在显示装置上交替显示左眼图像和右眼图像，观赏者戴上快门型眼镜，针对左眼图像的显示时段和右眼图像的显示时段中的每ー个执行快门转换，并且每个图像只被一只眼睛观看到。例如，有各种方法，例如如下方法在具有其中双凸透镜经过特殊加工的显示面的显示装置上的缝隙形状中交替显示左眼图像和右眼图像，左眼图像透过显示面的透镜只被观赏者的左眼看到，右眼图像透过显示面的透镜只被观赏者的右眼看到，通过裸眼的视カ可以获得三维效果。为了拍摄3D图像，拍摄左眼图像和右眼图像的两个摄像装置以合适的间距分开并且水平布置(左和右)。在左右图像之间产生的水平方向上的图像偏差被称为视差。视差被识别为深度信息，由此观赏者能够三维地观赏图像。根据拍摄左眼图像和右眼图像的两个拍摄单元的位置，图像偏差可以在除水平方向的视差方向以外的其他方向上出现。例如，由于各种照相机配置(如两个摄像单元的轴向布置在上下方向上的偏差、两个摄像単元的光轴在上下方向上的角度偏差或摄像单元从光轴的位置偏差)产生的几何偏差在上下方向上产生的图像偏差。3D图像的左眼图像和右眼图像之间的上下方向上的图像偏差不仅是造成三维观看时的干扰的原因，而且是造成观赏者的眼睛疲劳的原因，因此有必要去除偏差。为了校正图像之间的上下方向上的偏差，有ー种如下方法通过对由两个摄像单元拍摄的两个图像进行块匹配等来 执行图像比较，计算用于校正图像偏差的转换參数(例如，仿射參数)，并对拍摄的图像执行转换。由仿射转换电路输入合适的转换參数，对拍摄的图像执行转换(仿射转换)，从而可以校正两个图片(picture)之间的几何偏差。例如，日本未审专利申请公开No. 2009-258868 (sony公司)公开了一种通过块匹配计算仿射參数的方法。在日本未审专利申请公开No. 2009-258868中，通过ー个照相机比较具有时间差的图片，但是这可以应用于两个照相机的同时图片的比较。
日本未审专利申请公开No. 2010-128820 (Fujifilm公司)公开了ー种在使用多个照相机时估计几何转换參数的方法。然而，例如，执行日本未审专利申请公开No. 2010-128820中描述的基于块匹配的图像比较是为了检测图像偏差，必须检测作为比较目标的图像中的足够数量的特征点(对应点)。例如，当大多数拍摄的图像是“空的”时，由两个摄像単元拍摄的左眼图像和右眼图像的大多数图像区域变成亮度均匀的图像，没有亮度变化。当对这种亮度均匀的图像进行相互比较时，难以唯一确定比较对象的块。因此，难以检测有效的特征点(对应点)。结果，几何偏差检测精度劣化。当以低检测精度执行校正时，难以充分去除几何偏差，并且存在偏差增大的风险。
发明内容
期望提供一种摄像装置、摄像装置控制方法以及程序，其中，可靠地检测在从多个不同视点拍摄的图像中出现的在上下方向等上的图像偏差，并计算用于执行图像转换以校正上下方向的偏差之用的高精度转换參数，以执行校正。根据本公开的第一实施例，提供了一种摄像装置，包括多个摄像単元，从不同视点拍摄图像；图像分析単元，通过对由所述多个摄像单元拍摄的图像进行图像分析来检测特征点；控制单元，利用输入的由所述图像分析単元生成的特征点信息，计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换參数；以及图像转换单元，通过应用由所述控制单元计算出的图像转换參数，对所述多个摄像単元所拍摄的图像执行转换处理，其中所述控制单元执行如下处理输入由所述图像分析単元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换參数的可靠度，并在显示単元上作为指标显示所述可靠度，其中，所述摄像単元的变焦透镜被设定到望远端的位置是初始位置。在根据本公开的实施例的摄像装置中，当确认在所述变焦透镜被设定到望远端的初始位置处计算出的可靠度等于或大于预定阈值时，所述控制単元可以将所述变焦透镜从望远侧顺序地移动到广角侧，并执行在多个变焦位置处利用从所述图像分析单元输入的特征点信息计算图像转换參数和可靠度的校准处理。在根据本公开的实施例的摄像装置中，当确定在所述变焦透镜被设定到望远端的初始位置处计算出的可靠度小于预定阈值时，所述控制单元输出请求改变所拍摄的图像的消息。在根据本公开的实施例的摄像装置中，所述多个摄像单元拍摄应用于三维图像显示的左眼图像和右眼图像，并且所述控制単元计算校正应用于三维图像显示的左眼图像和右眼图像在上下方向上的偏差的校正用的图像转换參数。在根据本公开的实施例的摄像装置中，所述图像分析单元对所述多个摄像单元所拍摄的图像执行块匹配处理，以基于块匹配处理检测特征点。在根据本公开的实施例的摄像装置中，所述图像分析単元在特征点检测处理中基于对所述多个摄像单元拍摄的图像的图像分析，生成包括满足预定条件的特征点的数量和特征点的分布的特征点信息，并将所述特征点信息输出到所述控制単元，并且所述控制单元通过应用包括满足预定条件的特征点的数量和特征点的分布的特征点信息来计算可靠度。在根据本公开的实施例的摄像装置中，所述图像转换单元是执行仿射转换的图像转换单元，并且所述控制単元计算应用于仿射转换的图像转换參数。在根据本公开的实施例的摄像装置中，所述控制单元将变焦透镜从望远侧顺序地移动到广角侧，并在多个变焦位置处利用从所述图像分析单元输入的特征点信息来计算图像转换參数和可靠度，并且在存储器中存储其中变焦透镜的位置、图像转换參数以及可靠度被关联在一起的数据。在根据本公开的实施例的摄像装置中，所述控制单元将变焦透镜从望远侧顺序地移动到广角侧，并在多个变焦位置处利用从所述图像分析单元输入的特征点信息来计算图像转换參数和可靠度，基于在所述多个变焦位置处计算出的多个可靠度的值，确定是否满足预定处理成功条件，当确定为成功时，将计算出的图像转换參数作为有效參数存储在存储器中，并且当确定为失败时，输出表示处理失败的消息。根据本公开的第二实施例，提供了一种对摄像装置执行的摄像装置控制方法，该方法包括由图像分析単元通过对从不同视点拍摄图像的多个摄像単元所拍摄的图像进行的图像分析，检测特征点；以及由控制单元输入在对图像的分析过程中生成的特征点信息，计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换參数，其中所述控制单元执行如下处理输入由所述图像分析単元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换參数的可靠度，并在显示単元上作为指标显示所述可靠度，其中，在计算參数的过程中所述摄像単元的变焦透镜被设定到望远端的位置是初始位置。根据本公开的第三实施例，提供了一种使摄像装置执行摄像装置处理的程序，该处理包括由图像分析単元通过对从不同视点拍摄图像的多个摄像単元所拍摄的图像进行的图像分析，检测特征点；以及由控制单元输入在对图像的分析过程中生成的特征点信息，计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换參数，其中所述控制单元执行如下处理输入由所述图像分析単元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换參数的可靠度，并在显示単元上作为指标显示所述可靠度，其中，在计算參数的过程中所述摄像単元的变焦透镜被设定到望远端的位置是初始位置。根据本公开的实施例的程序是例如通过存储介质提供给能够执行各种程序代码的信息处理装置或计算机系统的程序。信息处理装置或计算机系统上的程序执行单元执行这种程序，从而实现与程序对应的处理。基于本公开的示例和附图
，在详细说明中将澄清本公开的其他目的、特征以及优点。在本说明书中，系统是多个装置的逻辑组结构，并且不限于以相同情况设置的配置的装
置。 根据本公开的实施例，例如，由多个摄像单元拍摄作为三维图像的从不同视点看到的图像，如左眼图像和右眼图像，并且在图像分析単元中对拍摄的图像执行诸如块匹配的图像分析，以检测特征点，控制单元输入由图像分析単元生成的特征点信息，计算校正所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换參数。在计算转换參数的处理时，控制单元执行如下处理输入由所述图像分析単元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换參数的可靠度，并在显示単元上作为指标显示所述可靠度，其中，所述摄像単元的变焦透镜被设定到望远端的位置是初始位置。当望远端处的可靠度等于或大于预定阈值时，控制単元开始在将变焦透镜顺序地移动到广角侧的同时在多个点处计算转换參数的校准。图I是图解说明摄像装置的配置示例的图。图2是图解说明显示画面的与转换參数的计算序列相对应的转变的图。图3A到图3C是图解说明检测从望远端(tele端)到广角端(wide端)的拍摄图像的特征点的过程的图。图4是图解说明作为与特征点对应的指标值的SAD(绝对差和(Sum of AbsoluteDifference))的图。图5是图解说明变焦(zoom)位置与可靠度之间的对应关系的图。图6是图解说明与存储器中存储的变焦位置和可靠对对应的转换參数的数据示例的图。图7是图解说明由摄像装置执行的校准的开始确定处理的流程图的图。图8是图解说明由摄像装置执行的校准处理的流程图的图。
具体实施例方式以下，将參照附图详细描述根据本公开的实施例的摄像装置、摄像控制方法以及程序。按照以下详细进行说明。I.摄像装置的配置和处理示例2.校准处理序列3.检测特征点的处理和基于特征点信息计算可靠度的处理4.摄像装置中的处理序列4. I.确定校准开始条件的处理4.2.计算与变焦位置相对应的转换參数的处理I.摄像装置的配置和处理示例首先，參照图说明摄像装置的配置和处理示例。摄像装置是从不同视点拍摄图像(S卩，左眼图像(L图像)和右眼图像(R图像))的照相机。以下将描述拍摄作为运动图像的图片的照相机的示例。图I所示的摄像装置100具有从不同视点拍摄图像的两种类型的摄像配置。通过作为位于分开位置的多个摄像単元的第一透镜111和第二透镜121组获取来自两个不同视点的应用于三维(3D)图像显示的图像，即，左眼图像(L图像)和右眼图像(R图像)。
透过第一透镜111输入的被摄对象光被输入到第一摄像元件112。同时，透过第二透镜121输入的被摄对象光被输入到第二摄像元件122。第一摄像元件112和第二摄像元件122例如是诸如CMOS和CCD的光电转换元件，并且针对每个像素产生与入射光相对应的电信号，并输出作为图像信号的信号。由第一摄像元件112输出的图像信号被输入到第一图像转换单元113。由第二摄像元件122输出的图像信号被输入到第二图像转换单元123。第一图像转换单元113和第二图像转换单元123例如基于仿射转换执行图像转换处理。仿射转换是ー种对图像执行各种图像变形处理(如平行移动、旋转、放大和縮小)的图像转换处理。设定预定转换參数，执行仿射转换，由此可以执行各种图像转换。第一图像转换单元113和第二图像转换单元123执行的图像转换是校正通过第一透镜111和第二透镜121从两个不同视角拍摄的图像在上下方向上的偏差的图像转换处理。如以上在现有技术中描述的，在左右图像之间出现的水平方向上的图像偏差是视差，并且左右偏差是识别深度(即，识别ニ维效果)所需的偏差。然而，上下方向上的偏差不仅干扰三维观赏，而且是观赏者眼睛疲劳的原因，因此必须去除该偏差。偏差是由于各种原因而产生的，如两个摄像単元的光轴布置在上下方向上的偏差、两个摄像単元的光轴在上下方向上的角度偏差或摄像元件相对于光轴的位置偏差。第一图像转换单元113和第二图像转换单元123执行校正上下方向上的图像偏差的图像转换处理。如图所示，从控制単元132提供应用于作为图像转换处理而执行的仿射转换处理的转换參数12和22。在拍摄用户想要拍摄的图像之前通过之前的调节处理预先计算转换參数，S卩，以供照相机校准之用，并且该转换參数被存储在存储器135中。校正两个图像(L图像和R图像)的上下方向的偏差的转换參数的值是随变焦透镜的位置(变焦位置)而不同的值。因此，当执行校准处理时，计算与多个变焦位置相对应的转换參数，并将对应于变焦位置的转换參数存储在存储器135中。在包括计算与多个变焦位置相对应的转换參数的处理的校准处理之后，用户实际拍摄图像。在图像拍摄时，控制单元132从存储器135获取与图像拍摄时的变焦位置相对应的转换參数，将转换參数提供给第一图像转换单元113和第二图像转换单元123，并执行图像转换。以高质量输出LR图像作为3D图像，其中通过图像转换校正了上下方向的偏差。应用于控制单元132中的转换參数12和23的计算处理的信息是从图像分析単元131输入的特征点信息31。图像分析单元131例如通过块匹配处理来检测通过第一透镜111和第二透镜121拍摄的两个图像(L图像和R图像)的特征点(对应点)。图像分析単元131对两个图像(L图像和R图像)中的每个预定块执行相关性确定，并执行确定相关性高的块是对应特征点(即，同一被摄对象区域)的块匹配处理。 控制单元132根据特征点(对应点)确定两个图像(L图像和R图像)之间的偏差，并计算用于校正两个图像(L图像和R图像)之间的偏差的、应用于仿射转换的參数(转换參数)。然而，为了计算用于校正两个图像(L图像和R图像)在上下方向的偏差的精确的图像转换參数，有必要以高精度从两个图像(L图像和R图像)检测足够数量的特征点(对应点)。当从两个图像(L图像和R图像)检测到的特征点(对应点)的数量太少或者当检测到的特征点的分布有偏离时，难以精确计算用于校正上下方向的偏差的參数。在这种情况下计算出的转换參数是可靠度低的转换參数。当通过应用可靠度低的这种转换參数进行图像转换时，就校正偏差的方面来说，可能会执行错误的图像变形处理。控制单元132基于从图像分析単元131获取的特征点信息(数量分布)来计算可计算的转换參数的可靠度。仅当可靠度等于或高于预定阈值时，将转换參数作为有效參数存储在存储器135中，并执行在实际图像转换中使用的处理。控制单元132在显示单元133上显示作为指标的计算出的可靠度信息。通过指标显示处理，可以告知图像拍摄者是否拍摄了其中可以计算出高可靠度的精确转换參数的、具有满足预定条件的多个特征点及其分布的图像。例如，当显示在显示单元133上的指标的可靠度值低吋，拍摄者可以确定当前图像不适合于參数计算，并且可以改变照相机设置以通过改变照相机角度等来拍摄适合于參数计算的被摄对象。如上所述，图像分析単元131通过对两个图像(L图像和R图像)进行块匹配处理生成包括满足预定条件的多个特征点(对应点)的特征点信息31和分布信息，并将特征点信息31输出到控制单元132。稍后描述包括满足预定条件的多个特征点的特征点信息31和分布信息的具体示例。在本实施例的摄像装置100中，在执行与变焦位置对应的转换參数的计算处理的预先调节处理(照相机校准处理)中，首先，将第一透镜111和第二透镜121设定的变焦透镜设定为望远端(tele端)。S卩，将望远端(tele端)设定为初始位置。初始位置是校准开始位置，将通过其中初始位置是校准开始位置的第一透镜111和第二透镜121拍摄的图像作为图I所示的第一图片输出11和第二图片输出21输入到图像分析単元131。首先，图像分析单元131基于在作为初始位置的望远端(tele端)拍摄的两个图像(L图像和R图像)，通过块匹配处理生成特征点信息。将由图像分析単元131基于在望远端(tele端)的图像检测到的特征点信息31提供给控制単元132。
控制单元132基于特征点信息计算转换參数的可靠度。当作为望远端(tele端)的初始位置处的可靠度吋，开始预先调节处理(照相机校准处理)。在预先调节处理(照相机校准处理)中，在将变焦透镜从望远端(tele端)向广角端(wide端)一点一点地移动的同时，计算与变焦位置(变焦透镜的设定位置)对应的转换參数。控制单元132输出图I所示的变焦位置指示值13和23，由第一透镜111和第二透镜121设定的变焦透镜从望远端(tele端)向广角端(wide端)一点一点地移动。图像分析单元131对通过第一透镜111和第二透镜121的透镜拍摄的图像执行块匹配处理，并生成特征点信息，将特征点信息输入到控制单元132。控制单元132计算变焦位置处的转换參数，并计算可靠度信息。控制单元132将由预先调节处理(照相机校准处理)计算出的与变焦位置对应的转换參数存储在存储器135中。然而，当可靠度低时，重新尝试校准。当成功计算了在变焦位置处的高可靠度的转换參数时，将其值存储在存储器135中。然后，当用户拍摄了实际图像吋，控制单元132从存储器135获取与变焦位置相对应的转换參数，并将转换參数提供给第一图像转换单元113和第二图像转换单元123。通过这种处理，执行应用与变焦位置对应的高可靠度的參数的图像转换处理，从而生成校正了两个图像(L图像和R图像)之间在上下方向的偏差的图像。将通过第一图像转换单元113和第二图像转换单元123生成的转换后的图像输出到显示单元132并且作为第一图片输出11和第二图片输出21显示在显示单元132上，如图I所示。如上所述，在执行校准时，还将输出图像(第一图片输出11和第二图片输出21)输入到图像分析単元131，并通过块匹配处理生成特征点信息。2.校准处理序列接着，将參照图2描述校准处理序列。如上所述，在本实施例的摄像装置中，基于通过两个摄像系统拍摄的两个图像(L图像和R图像)计算用于校正上下方向上的图像偏差的图像转换參数。在处理吋，在将变焦透镜从望远端(tele端)向广角端(wide端)一点一点地移动的同时，计算与多个变焦位置(变焦透镜的设定位置)对应的多个转换參数。执行基于特征点信息计算转换參数的可靠度并将可靠度作为指标显示在显示单元133上的处理。图2是图解说明根据显示単元133的显示示例的校准处理序列的图。
左上步骤(SOl)的显示图像是例如在打开照相机的开关时的自动操作画面的示例。此时，在通过透镜捕获的图像(通过图像)上显示与自动调节有关的说明画面。自动调节是指与变焦位置相对应的转换參数的计算和存储处理(更新处理)。根据例如使用环境(温度、湿度、振动、冲击、姿势差别、老化变化等)精密地改变照相机的固定位置、透镜角度等。因此，在通过摄像系统拍摄的两个图像(L图像和R图像)之间出现的上下方向的偏差量会变化。例如，它会随季节的变化而变化。将在之前执行的校准中计算出的參数存储在存储器135中，但是优选的是，计算在摄像环境中的最优參数，以更新存储器中存储的參数，并在新的拍摄的开始时间点，使用更新的參数作为新拍摄的图像的转换參数。因此，在操作照相机时，如图2的步骤(SOl)所示，向用户提供推荐执行作为新转换參数的计算处理的自动调节(=校准)的引导画面。在该画面上，当选择了自动调节的[否]吋，处理进行到普通拍摄模式。当选择了自动调节的[是]吋，处理进行到“(I)用户被摄对象选择画面”的步骤(Sll)的画面。图2所示的画面是图I所示的显示单元133上显示的画面的示例。显示单元133还充当触摸板型输入单元(用户IF)，并且用户选择画面触摸的
或[取消]。该输入可以通过设置在照相机上的其他输入单元来进行。图2所示的步骤(Sll)的画面是“⑴用户被摄对象选择画面”。当前由照相机拍摄的画面被显示在显示单元上。当控制单元132检测到用户选择了自动调节的“
”时，控制単元132将第一透镜111和第二透镜121的变焦透镜的位置移动到望远端(tele端)。以望远端(tele端)作为初始位置，开始校准。首先，将在望远端(tele端)拍摄的两个图像(L和R图像)输入到图像分析単元131。图像分析単元131基于输入图像执行块匹配处理，生成包括满足预定条件的特征点数 量和特征点分布的特征点信息31，将特征点信息输出到控制单元132。控制单元132基于特征点信息31 (即，特征点)计算可计算的转换參数的可靠度。将计算出的可靠度信息32输出到显示单元133，并作为指标211而显示。这是图2所示的步骤(Sll)的图像中所示的指标211。在指标211中显示有由控制单元132计算出的可靠度211和预设阈值。当可靠度小于阈值吋，控制单元132不开始校准处理。当控制单元132确定在变焦透镜被设定到望远端时的初始位置处计算出的可靠度低于预定阈值时，控制単元132将请求改变所拍摄的图像的消息输出到显示单元133。在图2所示的步骤(Sll)的画面上，当指标的可靠度被设定为高于阈值时，用户操作
，处理进行到“(2)校准执行画面”。当选择[取消]吋，处理进行到普通拍摄模式。在图2所示的步骤(Sll)的画面上，当指标的可靠度被设定为等于或高于阈值吋，并且当用户操作
吋，处理进行到“(2)校准执行画面”，执行校准处理。如上所述，在将变焦透镜从望远端(tele端)一点一点地移动到广角端(wide端)的同吋，控制单元132计算与变焦位置(变焦透镜的设定位置)相对应的转换參数。在计算转换參数的过程中的画面的示例是图2所示的步骤(S21)的画面。步骤(S21)中所示的画面中的水平方向的指标表示校准处理执行状态(x%已完成)。在计算与变焦位置相对应的转换參数时,控制单元132还计算所计算出的转换參数的可靠度。即，执行获取作为对应数据的诸如(a)变焦位置、(b)转换參数以及(C)可靠度的数据的处理。在将变焦透镜从望远端(tele端)一点一点地移动到广角端(wide端)的同吋，计算预定变焦位置(变焦透镜的设定位置)的转换參数和可靠度。在显示单元133上顺序显示应用于參数计算的图像。即，显示与从望远端(tele端)到广角端(wide端)的移动相应的图像。当对于从望远端(tele端)到广角端(wide端)的測量点中的例如70%或更多的測量点来说可靠度等于或高于阈值时，确定校准成功，并完成处理。此时的画面示例是图2所示的步骤(S22)的画面。在处理完成时的画面上显示的画面是广角端(wide端)的画面。同吋，当对于从望远端(tele端)到广角端(wide端)的測量点中的例如70%或更多的測量点来说可靠度不等于或高于阈值吋，确定校准失败，并且执行图2所示的步骤(S23)所示的通知用户“校准失败”的处理。
在本示例中，70%的值代表确定成功的阈值，但是本示例是ー个示例，并且可以使用其他阈值或确定标准。即使在校准处理成功的情况下，计算出的转换參数也可能包括可靠度低的參数。
在包括可靠度低的參数的情况下，优选的是，在校准处理完成之后不将可靠度低的參数应用于实际图像拍摄处理。在这种情况下，控制单元132使用在它之前和之后的变焦位置处的可靠度高的參数来计算处理目标的转换參数。使用通过插值处理计算出的參数来执行转换处理。3.检测特征点的处理和基于特征点信息计算可靠度的处理接着，描述检测特征点的处理和基于特征点信息计算可靠度的处理。在本公开的摄像装置中，如上所述，当执行根据变焦位置计算用于校正上下方向的偏差的转换參数的处理吋，首先，将透镜设定到望远端(tele端)，然后顺序移动到广角端(wide端)，并且在多个变焦位置计算转换參数。如上所述，将描述之后顺序移动变焦位置并计算望远端(tele端)作为初始位置的转换參数的原因。如上所述，在计算转换參数时，有必要检测作为两个图像之间的对应块的特征点。通常，与在望远端(tele端)拍摄的图像相比，在广角端(wide端)处拍摄的图像中能够检测到大量的特征点(对应点)。以下将參照图3A到图3C描述具体示例。图3A到图3C示出了三个图像示例(I)在望远端(tele端)处拍摄的图像；(2)在从望远端到广角端的中间位置处拍摄的图像；(3)在广角端(wide端)处拍摄的图像。在⑴在望远端(tele端)处拍摄的图像中，图像中包括的对象数量小于在(3)在广角端(wide端)处拍摄的图像的情况下的对象数量。块匹配处理是如下的处理设定由多个像素构成的矩形块、例如针对从画面上的左上端到右下端的每个块比较两个图像(L图像和R图像)、检测相关度高的块的组合(composition)、并且确定块组是同一被摄对象中的拍摄块(即，特征点(对应点))。作为标准图像考虑ー个图像(例如，L图像)，在被设定为标准图像的块中，针对其他參考图像(R图像)设定预定參考区域(捜索范围)，并在參考区域(捜索范围)中检测类似的块。基于透镜布置、拍摄时的要求等将參考区域(捜索范围)设定成包括预期会重新拍摄到同一拍摄区域的范围。当执行这种特征点检测时，确定块中的像素分布(例如，亮度分布)的相关性。因此，可以容易地检测到与包括具有特定图案的许多图像区域的图像(度)相同数量的特征点。例如，诸如图3A所示的块221的具有特定像素图案的块是容易被检测为特征点的块。如从图3A到图3C所示的三个图像可以理解的，与在(I)望远端(tele端)处拍摄的图像相比，在(3)广角端(wide端)处拍摄的图像中包括较大数量的具有特定像素图案的块。通常，这是因为在广角端(wide端)处拍摄的图像中包括的被摄对象的数量比在望远端(tele端)处拍摄的图像中的数量多，并且一般来说，可用作特征点(对应点)的块趋于增加由于这个原因，在本实施例的摄像装置中，在执行转换參数的计算的校准处理中，将初始位置设定到望远端(tele端)，并针对望远端(tele端)计算基于特征点信息的可靠度。在确认望远端处的可靠度等于或高于预设阈值时，开始校准处理，然后将变焦透镜顺序移动到广角端(wide端)，并在多个变焦位置处计算转换參数。接着，将描述由控制单元132执行的计算可靠度信息的处理。控制单元132输入由图像分析単元131基于两个图像(L和R图像)产生的特征点信息31，并基于特征点计算可计算的转换參数的可靠度。特征点信息31包括满足预定条件的特征点的数量和分布信息。如上所述，在可靠度的计算中，使用由图像分析単元131基于两个图像(L和R图像)产生的特征点信息。控制单元132利用从图像分析単元131输入的基于两个图像(L和R图像)产生的特征点信息，按照例如以下公式I计算可靠度(Vr :有效比例)。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)]X 255 X k . .. (I)然而，在以上公式I中，所述參数代表以下值。Init_num :块匹配的执行块的数量(对标准图像设定的执行块匹配的块的数量)a_num :在块匹配的执行块中包括的亮度变化的块的数量(其中在块中的最大亮度像素与最小亮度像素之间的像素值差小于预定阈值的块的数量(亮度均匀的块的数量))b_num :其中在标准图像的在块匹配中被选为对应块的标准块与參考图像的參考块之间的SAD等于或大于预定阈值的块的数量(相关度小的对应块的数量)c_num :在參考区域(搜索范围)中检测到的參考块中的具有最小SAD值的參考块与具有第二小的SAD值的參考块之间的SAD值的差小于预定阈值的块(參考区域中的相似块)的数量k:与对应块(特征点)的分布对应的系数(设定为I到0，在整个画面中广度(expansion)很大(即，分布很广泛)的情况的是1，广度很小的情况是O)作为乘数的255是为了将可靠度(Vr)的值设定到O到255的范围中的规则化处理而乘以的规则化系数。SAD是表示在标准图像中设定的标准块的块与在參考图像中设定的參考块之间的相关度的指标值，并且是作为块之间的对应像素的亮度差的总和的绝对差和。如果SAD较小，那么它是相关度高的块，即，相似块。如果SAD较大，那么它是相关度低的块，即，非相似块。图4是图解说明表示在与标准图像中设定的一个标准块对应的參考图像中设定的多个參考块的SAD的值的图形示例的图。在块匹配中，对于在标准图像中设定的ー个标准块，执行如下处理设定參考图像中的參考区域的预定范围，并从參考区域中包括的多个參考块中检测相关度高的块。相关度高的块是SAD值小的块。
在图4所示的示例中，相关度高的块是參考块a。即，參考块a是SAD值最小的块。在图4所示的示例中，在块a附近存在具有第二最小值的块b。在以上公式I中描述的[c_num]，即c_num :在參考区域(搜索范围)中检测到的參考块中的具有最小SAD值的參考块与具有第二小的SAD值的參考块之间的SAD值的[差]小于预定阈值的块(參考区域中的相似块)的数量。上述[差]对应于图4所示的差。S卩，差=I最小值(第一最小值)_第二最小值。控制单元132利用从图像分析単元131输入的基于两个图像(L和R图像)产生的特征点信息(特征点的数量和分布)，根据例如公式I计算可靠度(Vr :有效比例)。可靠度(Vr)是指基于从图像检测到的特征点可计算的转换參数的可靠度。通常，包括具有各种变化的被摄对象区域的广角端(wide端)的拍摄图像的可靠度往往较高，不包括很多被摄对象区域的望远端(tele端)的拍摄图像的可靠度往往较低。图5是图解说明在任意样本图像处根据上述公式I计算出的可靠度(Vr)与变焦位置之间的对应关系的图形。不能说针对所有图像生成了这种数据。但是，一般来说，如图5所示，广角端(wide端)的图像的可靠度往往较高，望远端(tele端)的图像的可靠度往往较低。由于这个原因，在根据本公开的实施例的摄像装置中，首先，针对望远端(tele端)计算可靠度。当确认可靠度等于或高于预定阈值时，开始作为计算转换參数的处理的预先调节处理(校准处理)。然后，在将变焦位置从望远端(tele端)移动到广角端(wide端)的同时，执行特征检测和參数计算，从而在变焦位置计算出可靠度低的转换參数的可能性降低了。作为如下处理来执行作为计算转换參数的处理的预先调节处理(校准处理)针对从望远端(tele端)到广角端(wide端)的变焦范围中设定的多个变焦位置，计算转换參数。此外，通过转换參数的计算，还执行可靠度的计算。当从望远端(tele端)到广角端(wide端)的校准处理成功吋，控制单元132将与变焦位置对应的转换參数和可靠度存储在存储器135中。图6示出了存储器135中存储的数据的示例。如图6所示，控制单元132在存储器135中存储变焦位置、转换參数以及可靠度的对应数据。图6所示的值是如下数据。Zp :变焦位置(O :广角端，8 :望远端)Pv:转换參数(用于校正上下方向的偏差的转换參数(在表中，全部是正值，但是可以是负值))Vr :可靠度(通过255规则化的指标值)在图6中，转换參数只表示应用于上下方向的偏差校正的參数。
可以执行应用于仿射转换的其他參数(例如，与旋转、扩大、縮小以及沿其他方向的移动处理有关的參数)的计算，以及在存储器13中的存储处理。在图6中，只示出了与根据本公开的实施例的上下方向的图像偏差的校正有关的參数。
图6所示的转换參数和可靠度是由控制单元132基于根据与从图像分析单元131输入的每个变焦位置相对应地对图像生成的特征点信息而计算出的转换參数和可靠度。图6所示的示例示出了在O到8的总共9个点的变焦位置处计算转换參数和可靠度的示例，其中，广角端(wide端)是O并且望远端(tele端)是8。如上所述，广角端(tele端)的可靠度往往较高，望远端(wide端)的可靠度往往较低。在实际图像拍摄时，将存储器中存储的转换參数的值提供给图像转换单元113和123，并执行图像转换处理。控制单元132获取图像拍摄时的变焦透镜的位置信息，从存储器135获取与获取的变焦透镜位置对应的转换參数，并将转换參数提供给图像转换单元113 和 123。如上所述，例如，当存在与变焦位置对应的可靠度值等于或小于预定阈值的转换參数时，不使用该转换參数，基于在它之前和之后的变焦位置的转换參数来计算在它之前和之后的变焦位置的转换參数或插值，并且可以使用计算出的參数。4.摄像装置中的处理序列接着，将參照图7和图8所示的流程图描述摄像装置中执行的处理序列。图7和8所示的流程是在控制单元132根据例如存储器135中存储的程序的控制下执行的流程。图7所示的流程图是作为计算转换參数的处理而执行的预先调节处理(校准处理)的初始设定处理。如上所述，在摄像装置中执行的预先调节处理(校准处理)中，首先，将变焦透镜设定到望远端(tele端)，执行基于在望远端(tele端)处拍摄的图像的图像分析，即，特征点(对应点)检测，并基于检测信息计算可靠度。可靠度是基于检测到的特征点计算出的转换參数的可靠度。仅当基于在望远端(tele端)处的拍摄图像的可靠度等于或高于预定阈值时，才开始作为计算与变焦位置对应的转换參数的处理的校准。当基于在望远端(tele端)处的拍摄图像的可靠度不等于或高于预定阈值吋，不开始校准。图7所示的流程是表示确定是开始校准还是停止校准的处理序列的流程。当确定基于在作为初始位置的望远端(tele端)处的拍摄图像的可靠度等于或大于预定阈值并且满足校准开始条件时，执行作为计算与变焦位置相对应的转换參数的处理的校准。图8是图解说明该处理的详细序列的流程图。以下，顺序描述这些处理。4. I.确定校准开始条件的处理首先，将參照图7描述确定校准开始条件的处理的详细序列。首先，在步骤SlOl中，将变焦透镜移动到望远端(tele端)。图I所示的控制单元132将变焦位置指示值13和23输出到第一透镜111和第二透镜121两者，并将变焦透镜移动到望远端(tele端)。然后，对图像转换參数进行初始化。这是对用作初始值的图像转换參数的设定，可 以使用预定缺省值，或者可以从存储器135获取最新更新数据等并使用它。控制单元132将转换參数的初始值提供给第一图像转换单元113和第二图像转换单元123。然后，在步骤S103中，在移动到望远端(tele端)的状态下，针对第一透镜111和第二透镜121两者，拍摄图像。通过对第一图像转换单元113和第二图像转换单元123应用最初设定的转换參数，对拍摄的图像执行转换处理，并将所拍摄的图像输入到图像分析単元131。在图像分析単元131中，开始基于输入图像的块匹配处理。步骤S104和步骤S105是图像分析单元131基于图像分析单元131中的块匹配处理来执行特征点信息的生成的处理。
步骤S104是获取满足预定条件的特征点的数量的处理。步骤S105是获取特征点的分布信息的处理。在步骤S104中执行的获取特征点的处理是预先计算公式I并且获取满足各种条件的特征点的数量的处理。即，执行获取以下的特征点的数量(块的数量)的处理。Init_num :块匹配的执行块的数量(对标准图像设定的执行块匹配的块的数量)a_num :在块匹配的执行块中包括的亮度变化的块的数量(其中在块中的最大亮度像素与最小亮度像素之间的像素值差小于预定阈值的块的数量(亮度均匀的块的数量))b_num :其中在标准图像的在块匹配中被选为对应块的标准块与參考图像的參考块之间的SAD等于或大于预定阈值的块的数量(相关度小的对应块的数量)c_num:在參考区域(捜索范围)中检测到的參考块中的具有最小SAD值的參考块与具有第二小的SAD值的參考块之间的SAD值的差小于预定阈值的块(參考区域中的相似块)的数量在步骤S104 中，获取与(Init_num)、(a_num)、(b_num)以及(c_num)的条件相对应的特征点数量(块的数量)的。在步骤S105中执行的获取特征点的分布信息的处理中，执行获取上述公式I的系数k(S卩，以下k的值)的处理。k :与对应块(特征点)的分布对应的系数(设定为I到0，在整个画面中广度(expansion)很大的情况的是1，广度很小的情况是O)图像分析単元131根据预定算法确定特征点在画面上的广度，并计算特征点分布信息k。步骤S106中的可靠度计算和显示的处理是在控制单元132中执行的输入由通过图像分析単元131生成的特征点的上述数量和特征点分布信息构成的特征点信息的处理。控制单元132输入由来自图像分析単元131的上述特征点的数量和特征点分布信息构成的特征点信息，按照上述公式I计算可靠度，并在显示単元133上显示计算出的可靠度作为指标。S卩，按以下公式I计算可靠度。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)] X255Xk . . . (I)在此计算出的可靠度是基于在第一透镜111和第二透镜121的变焦透镜两者被移动到望远端(tele端)的状态下拍摄的图像而计算出的可靠度。在显示单元133上显示计算出的可靠度。显示与图2所示的步骤Sll的画面对应的显示图像。如作为图2所示的步骤Sll的处理所描述的，在显示单元133上通过与在望远端(tele端)处的拍摄图像交叠来显示表示可靠度的指标。在该指标上，显示预定阈值和计算出的可靠度，并且用户可以确认可靠度是否等于或高于阈值。在步骤S107中，控制单元132确定基于在望远端(tele端)处拍摄的图像所计算出的可靠度是否等于或高于预定阈值。当可靠度等于或高于阈值(步骤S107的确定是)吋，处理进行到自动调节开始状态，即，在移动变焦透镜的同时执行计算转换參数的处理的校准处理。同时，在步骤S107中，当基于在望远端(tele端)处拍摄的图像而计算出的可靠度低于预定阈值时(步骤S107的确定否)，在显示单元133的显示画面上显示请求改变照相机的角度的消息(图2所示的步骤Sll的显示画面)。即，当控制单元132确定在变焦透镜被设定到望远端时的初始位置处计算出的可靠度低于预定阈值时，控制単元132向显示単元133输出例如请求改变拍摄的图像的消息。在该处理之后，再次执行基于其他被摄对象的图像分析处理，即，步骤S103的块匹配处理。4.2.计算与变焦位置对应的转换參数的处理接下来，參照图8所示的流程图描述作为计算与变焦位置对应的转换參数的处理的校准处理序列。图8所示的流程是表示当在图7所示的流程的步骤S107中确定基于在望远端(tele端)处拍摄的图像而计算出的可靠度等于或高于阈值(步骤S107的确定是)时执行的校准处理的详细序列的流程。在校准处理中，变焦透镜从望远端(tele端)顺序地移动到广角端(wide端)，并且计算与多个预定变焦透镜位置对应的转换參数。首先，在步骤S201中，基于被设定到作为校准开始位置的望远端(tele端)的特征点信息来计算用于校正图像之间的上下偏差的转换參数。转换參数不仅包括图像的上下方向的偏差，而且包括诸如旋转、扩大以及缩小之类的其他參数。但是，在此，将描述计算用于校正两个图像(L图像和R图像)的上下方向上的偏差的參数的处理。如上所述，当可以通过分析在望远端(tele端)处拍摄的图像的特征点来计算出可靠度高的转换參数吋，开始校准。首先，控制单元132基于从在作为初始设定位置的望远端(tele端)处拍摄的图像检测到的特征点信息，计算转换參数。将计算出的參数例如存储在存储器135的临时存储区中。此时，未执行在存储器135中改写(更新)在执行先前的校准时的转换參数的处理。在确定成功计算了从望远端(tele端)到广角端(wide端)的转换參数之后，在步骤S218中执行改写(更新)。然后，在步骤S202中，移动变焦透镜。执行从望远端(tele端)到广角端(wide端)的预设距离的移动。例如，类似于參照图6描述的存储器输入数据，为了执行计算从望远端(tele端)到广角端(wide端)的多个点的转换參数的处理，将变焦透镜移动到下一计算点。然后，在步骤S211中，将通过在新设定的变焦透镜位置处的第一透镜111和第二透镜121获取的两个图像(L图像和R图像)输入到图像分析単元131，以执行图像分析。具体来说，执行两个图像(L图像和R图像)的块匹配处理。首先，在步骤S201中，将通过第一透镜111和第二透镜121获取的两个图像(L图像和R图像)输入到图像分析単元131，以执行图像分析。具体来说，执行两个图像(L图像、和R图像)的块匹配处理。
在此，输入图像分析单元131的图像是在第一图像转换单元113和第二图像转换単元123中通过应用最新的转换參数而转换后的图像。例如，在最初设定的望远端(tele端)的下ー变焦透镜设定位置处的图像分析处理时，应用基于在望远端(tele端)处的图像计算出的转换參数，在第一图像转换单元113和第二图像转换单元123中执行图像转换，并且图像分析単元131基于转换后的图像执行块匹配。在步骤S212中，图像分析単元131基于块匹配处理获取满足预定条件的特征点的数量。该处理是与以上在图7所示的流程中描述的步骤S104的处理相同的处理，并且作为如下处理来执行获取在上述公式I中包括的特征点的如下数量(块的数量)。(Init_num)(a_num),(b_num),(c_num)然后，在步骤S213中，图像分析単元131获取基于块匹配处理检测到的特征点的分布信息。该处理与以上在图7所示的流程中描述的步骤S105的处理相同的处理，并且计算上述公式I的系数k，即，k的以下值。k :与对应块(特征点)的分布对应的系数(设定为I到0，在整个画面中广度(expansion)很大的情况的是1，广度很小的情况是O)图像分析単元131按照预定算法确定特征点在画面上的广度，并计算特征点分布信息k。步骤S214的可靠度计算和显示的处理是在控制单元132中执行的输入由通过图像分析単元131生成的特征点的上述数量和特征点分布信息构成的特征点信息的处理。控制单元132输入由来自图像分析単元131的上述特征点的数量(块的数量)和特征点分布信息构成的特征点信息，并按照上述公式I计算可靠度，并在显示単元133上作为指标显示计算出的可靠度。S卩，可靠度是按照以下公式I计算出的可靠度。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)] X255Xk . . . (I)在此计算出的可靠度是基于在一透镜111和第二透镜121的变焦透镜两者被移动到预定变焦位置的状态下拍摄的图像而计算出的可靠度。在显示单元133上显示计算出的可靠度。显示与图2所示的步骤S21的画面对应的显示图像。如作为图2所示的步骤S21的处理描述的那样，在显示单元133上通过与在设定的变焦透镜位置处拍摄的图像交叠来显示表示可靠度的指标。在该指标上，显示预定阈值和计算出的可靠度，并且用户可以确认可靠度是否等于或高于阈值。然后，在步骤S215中，控制单元132基于在设定的变焦位置处拍摄的图像来计算转换參数。然后，在步骤S216中，控制单元132确定当前变焦透镜位置是否是广角端(wide端)O
当当前变焦位置是广角端(wide端)时，确定完成了在所有变焦透镜位置处的转换參数的计算，并且处理进行到步骤S217。当当前变焦位置不是广角端(wide端)时，确定未完成在所有变焦透镜位置处的转换參数的计算，并且处理返回到步骤S202，变焦透镜向广角端(wide端)侧移动，并重复步骤S211和随后的步骤。在步骤S216中，当确定当前变焦位置是广角端(wide端)并且处理进行到步骤 S217时，执行对自动调节处理是否成功的确定。基于通过计算出的转换參数而计算出的可靠度来执行该确定处理。例如，当存在从望远端(tele端)到广角端(wide端)设定的η个转换參数计算位置点时，在对于这η个点中的等于或多于预设数量的点(例如，等于或多于70%)来说能够获得等于或高于预定阈值的可靠度时，确定为“成功”。在计算了转换參数的这η个点中能够获得等于或高于阈值的可靠度的点小于预设数量的点时，确定为“失敗”。在此情况下，步骤S217的确定是“否”，输出表示处理失败的消息(见图2的(S23))，并再次执行自动调节处理，S卩，校准处理。在此情况下，处理返回到图7所示的步骤S101，变焦透镜返回到望远端(tele端)，并再次执行处理。该处理对应于从图2所示的步骤(S23)到步骤(Sll)的处理的转变。同时,在步骤S217中，当由于对于从望远端(tele端)到广角端(wide端)设定的η个点中的等于或多于预设数量的点来说可以获得等于或高于预定阈值的可靠度，确定为“成功”吋，处理进行到步骤S218。在步骤S218中，执行如下处理在存储器135中记录在校准处理中获得的在从望远端(tele端)到广角端(wide端)的变焦透镜设定位置处计算出的转换參数，作为最新转换參数。当存在先前的记录信息时，对信息执行改写以执行数据更新。在记录处理中存储在存储器中的数据是參照图6描述的数据。与对应于变焦位置对应的数据一起记录转换參数和可靠度。通过这种处理完成校准处理。结果，在对用户拍摄的图像进行转换处理时使用存储器135中存储的与变焦位置对应的转换參数。实现了由校正了上下方向的偏差的高质量的L和R图像构成的3D图像的记录和输出。參照具体实施例详细描述了本公开。然而，显然，本领域技术人员可以在不脱离本公开的构思的范围内修改和替换实施例。即，作为示例描述了本公开，因此本公开不应被具体分析。为了确定本公开的构思，优选的是考虑权利要求。可以由硬件、软件或两者的组合配置执行本说明书中描述的系列处理。当由软件执行处理时，可以将记录处理序列的程序安装在由专用硬件构成的计算机的存储器中，并可以执行它，或者可以在能够执行各种处理的通用计算机中安装该程序并执行它。例如，可以预先将程序记录在记录介质中。除了从记录介质安装到计算机以外，还可以通过诸如LAN(局域网)和因特网的网络接收程序，并且可以将程序安装在诸如嵌入硬盘的记录介质中。本说明书中描述的各种处理是根据说明按时间序列执行的，并且可以根据执行处理的装置的处理能力或者根据需要并行或分别执行。本说明书中的系统是多个装置的逻辑组配置，并且不限于以相同情况配置的结构的装置。本公开包含与在2011年2月9日向日本专利局提交的日本优先权专利申请JP2011-026242中公开的主题相关的主题，该专利申请的整个内容在此引为參考。
本领域的技术人员应明白，根据设计要求和其他因素，可以作出各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内即可。
权利要求
1.一种摄像装置，包括 多个摄像单元，从不同视点拍摄图像； 图像分析单元，通过对由所述多个摄像单元拍摄的图像进行图像分析来检测特征点； 控制单元，通过输入由所述图像分析单元生成的特征点信息，计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换参数；以及 图像转换单元，通过应用由所述控制单元计算出的图像转换参数，对所述多个摄像单元所拍摄的图像执行转换处理， 其中所述控制单元执行如下处理输入由所述图像分析单元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换参数的可靠度，并在显示单元上作为指标显示所述可靠度，其中，所述摄像单元的变焦透镜被设定到望远端的位置是初始位置。
2.根据权利要求I所述的摄像装置，其中当确认在所述变焦透镜被设定到望远端的初始位置处计算出的可靠度等于或大于预定阈值时，所述控制单元将所述变焦透镜从望远侧顺序地移动到广角侧，并执行在多个变焦位置处利用从所述图像分析单元输入的特征点信息计算图像转换参数和可靠度的校准处理。
3.根据权利要求I所述的摄像装置，其中当确定在所述变焦透镜被设定到望远端的初始位置处计算出的可靠度小于预定阈值时，所述控制单元输出请求改变所拍摄的图像的消息。
4.根据权利要求I所述的摄像装置，其中所述多个摄像单元拍摄应用于三维图像显示的左眼图像和右眼图像，并且 其中所述控制单元计算校正应用于三维图像显示的左眼图像和右眼图像在上下方向上的偏差的校正用的图像转换参数。
5.根据权利要求I所述的摄像装置，其中所述图像分析单元对所述多个摄像单元所拍摄的图像执行块匹配处理，以基于块匹配处理检测特征点。
6.根据权利要求I所述的摄像装置，其中，所述图像分析单元在基于对所述多个摄像单元拍摄的图像的图像分析的特征点检测处理中，生成包括满足预定条件的特征点的数量和特征点的分布的特征点信息，并将所述特征点信息输出到所述控制单元，并且 其中所述控制单元通过应用包括满足预定条件的特征点的数量和特征点的分布的特征点信息来计算可靠度。
7.根据权利要求I所述的摄像装置，其中所述图像转换单元是执行仿射转换的图像转换单元，并且 其中所述控制单元计算应用于仿射转换的图像转换参数。
8.根据权利要求I所述的摄像装置，其中所述控制单元将变焦透镜从望远侧顺序地移动到广角侧，并在多个变焦位置处利用从所述图像分析单元输入的特征点信息来计算图像转换参数和可靠度，并且 其中在存储器中存储其中变焦透镜的位置、图像转换参数以及可靠度被关联在一起的数据。
9.根据权利要求I所述的摄像装置，其中所述控制单元将变焦透镜从望远侧顺序地移动到广角侧，并在多个变焦位置处利用从所述图像分析单元输入的特征点信息来计算图像转换参数和可靠度，其中基于在所述多个变焦位置处计算出的多个可靠度的值，确定是否满足预定处理成功条件， 其中当确定为成功时，将计算出的图像转换参数作为有效参数存储在存储器中，并且 其中当确定为失败时，输出表示处理失败的消息。
10.根据权利要求9所述的摄像装置，其中， 当对于从望远端到广角端的测量点中的70%或更多的测量点来说可靠度等于或高于预定阈值时，确定满足预定处理成功条件。
11.根据权利要求6所述的摄像装置，其中， 所述图像分析单元确定特征点在图像上的广度，并基于所述广度计算与特征点的分布有关的彳目息。
12.一种对摄像装置执行的摄像装置控制方法，该方法包括 由图像分析单元通过对从不同视点拍摄图像的多个摄像单元所拍摄的图像进行的图像分析，检测特征点；以及 由控制单元输入在对图像的分析过程中生成的特征点信息，以计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换参数， 其中所述控制单元执行如下处理输入由所述图像分析单元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换参数的可靠度，并在显示单元上作为指标显示所述可靠度，其中，在计算参数的过程中所述摄像单元的变焦透镜被设定到望远端的位置是初始位置。
13.一种使摄像装置执行摄像装置处理的程序，该处理包括 由图像分析单元通过对从不同视点拍摄图像的多个摄像单元所拍摄的图像进行的图像分析，检测特征点；以及 由控制单元输入在对图像的分析过程中生成的特征点信息，计算用于校正由所述多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换参数， 其中所述控制单元执行如下处理输入由所述图像分析单元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换参数的可靠度，并在显示单元上作为指标显示所述可靠度，其中，在计算参数的过程中所述摄像单元的变焦透镜被设定到望远端的位置是初始位置。
全文摘要
本发明涉及摄像装置、摄像装置控制方法。该摄像装置包括多个摄像单元，从不同视点拍摄图像；图像分析单元，通过对由多个摄像单元拍摄的图像进行图像分析来检测特征点；控制单元，利用输入的由图像分析单元生成的特征点信息，计算用于校正由多个摄像单元拍摄的多个图像在上下方向上的偏差的校正用的图像转换参数；以及图像转换单元，通过应用由控制单元计算出的图像转换参数，对多个摄像单元所拍摄的图像执行转换处理，其中控制单元执行如下处理输入由图像分析单元基于在初始位置处拍摄的图像而生成的特征点信息，计算图像转换参数的可靠度，并在显示单元上作为指标显示可靠度，其中，摄像单元的变焦透镜被设定到望远端的位置是初始位置。
文档编号G03B35/00GK102638693SQ201210022640
公开日2012年8月15日 申请日期2012年2月2日 优先权日2011年2月9日
发明者泷口雅史 申请人:索尼公司