专利名称：图像处理设备和方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法。
背景技术：
当利用摄影设备摄影时，可按照待摄影的被摄物体等，选择其中图像的长度方向近似水平的取向(横向摄影)，或者其中图像的长度方向近似垂直的取向(竖向摄影)。结果，即使当拍摄具有与双眼视差相等或相近的视差的立体图像时，在用户中也存在沿着期望的图像取向进行摄影的需要。已知一种在摄影设备中设置多个成像单元，以使摄影设备的结构能够按照待摄影的图像的取向，围绕每个成像单元的摄影光轴旋转的技术(日本特开1998-2M820号公报， 日本特开2009-177565号公报)。此外，已知一种相关技术，其中具备单目成像单元的摄影设备配有三轴加速度传感器。该设备根据传感器输出检测摇摄操作，从而识别待摄影的图像的取向(日本特开 2009-103980 号公报)。
发明内容
—种图像处理设备，包括第一检测单元，其输入第一图像和第二图像，并检测第一图像和第二图像之间的第一位置像差；校正单元，其校正第一图像中，用第一检测单元检测的第一位置像差；第二检测单元，其检测校正的第一图像和第二图像之间的第二位置像差的方向；和判定单元，其根据检测的第二位置像差的方向，判定显示第一图像和第二图像时的图像取向。本发明的目的和优点将至少由在权利要求中特别指出的特征、元件和组合实现和获得。显然上面的概述和下面的详细说明都是示范和说明性的，而不是对要求保护的发明的限制。
图1是在实施例中说明的立体图像获取设备的示意方框图。图2A图解说明与横向摄影中的拍摄位置的移动相应的摄影图像的变化的例子。图2B图解说明与竖向摄影中的拍摄位置的移动相应的摄影图像的变化的例子。图3A是摄影图像的例子。
图;3B是在与图3A的摄影图像不同的拍摄位置摄影的图像的例子。图3C图解说明其中校正了图3A和图;3B中的摄影图像的背景区域的位置像差的组合图像。图4A图解说明在横向摄影的情况下，图像中的各个成像单元移动方向。图4B图解说明在竖向摄影的情况下，图像中的各个成像单元移动方向。图5A是摄影图像的一个例子。图5B图解说明在不同的拍摄位置摄影的，并且归因于照相机抖动而沿着图像中与成像单元的拍摄位置移动方向垂直的方向变动的图像的例子。图5C图解说明其中图5A和图5B中的摄像图像的背景区域的位置像差被校正的组合图像。图6是图解说明按照第一实施例的立体图像获取处理的流程图。图7是图解说明背景区域位置像差检测处理的流程图。图8是图解说明前景区域位置像差检测处理的流程图。图9A是图解说明基于横向摄影基准的图像取向判定处理的流程图。图9B是图解说明基于竖向摄影基准的图像取向判定处理的流程图。图10是图解说明按照第二实施例的立体图像获取处理的流程图。图IlA是图解说明基于横向摄影基准的图像数据保存处理的流程图。图IlB是图解说明基于竖向摄影基准的图像数据保存处理的流程图。图12是图解说明在用程序实现立体图像获取设备的状态下的硬件结构的例子的示意方框图。图13是图解说明立体图像获取设备的另一种结构的示意方框图。图14A图解说明拍摄时的图像的例子。图14B图解说明摄影图像的例子。图14C图解说明从摄影图像切掉的矩形区域的例子。图14D图解说明经历旋转处理的图像(矩形区域)的例子。
具体实施例方式下面将首先说明上述技术的问题，然后说明各个实施例。最好沿着图像的视差方向对应观看者双眼的并排方向的取向来显示立体图像。结果，如果摄影设备被配置成允许按照希望的取向拍摄立体图像，那么在显示或输出立体图像时，必须检测图像取向。待显示的图像取向可根据例如拍摄时的图像取向来检测。此外， 如果立体图像是用具备例如，能够围绕摄影光轴旋转的多个成像单元的摄影设备拍摄的， 那么按照成像单元的围绕摄影光轴的图像取向，能够检测拍摄时的图像取向。此外，用具备单目成像单元和三轴加速度传感器的摄影设备拍摄的立体图像的取向可按照三轴加速度传感器的输出来检测。不过，就上述技术来说，除了拍摄的数据之外，为了检测待显示的图像取向，还需要获得关于每种摄影设备的结构(型号)的不同信息。如果摄影设备具备输出立体图像显示等的功能，那么如果就每种摄像设备结构来说，用于检测供显示图像之用的图像取向的信息的种类不一致，则难以在不了解摄影设备的结构的情况下，共用实现上述功能的程序。具体地说，需要开发为每种摄像设备结构(型号)实现上述功能的程序，而不确保各个程序实现上述功能的通用性。此外，当独立于摄影设备设置用于输出立体图像显示等的输出设备时，需要在输出设备中包含识别摄像设备结构，随后按照摄像设备结构，切换检测图像取向的处理的内容的功能。下面参考附图，说明所公开技术的实施例的详细例子。(第一实施例)图1图解说明按照第一实施例的立体图像获取设备10。立体图像获取设备10配有图像获取单元12，第一图像保存单元14，第二图像保存单元16，第一位置像差检测单元 18，图像变换单元20，第二位置像差检测单元22，第三位置像差检测单元M，摄影取向判定单元沈，和图像保存处理器观。立体图像获取设备10的功能单元可以用例如电子电路等实现。例如，立体图像获取设备可用半导体集成电路，更具体地说，专用集成电路(ASIC)等实现。此外，立体图像获取设备10配有操作单元30，操作单元30是接收用户输入的操作的输入装置。图像获取单元12顺序获得时间上连续的多个图像的图像数据。例如，图像获取单元12可以是包括电荷耦合器件(CCD)或互补金属氧化物半导体(CM0Q图像传感器等的成像单元。作为代表上述成像单元的图像获取单元12的一个例子，按照第一实施例的立体图像获取设备10可以安装在具备上述成像单元的电子设备(例如，摄影设备(其一个例子示于图2A和2B中)或移动终端等)中。另外，图像获取单元12可以是通过通信，从外部设置的成像单元，或者从具备记录图像数据的存储单元的外部信息处理器设备获得图像数据的通信单元。当图像获取单元12是上述通信单元时，按照第一实施例的立体图像获取设备 10可以例如安装在具备上述通信单元的电子设备(例如，服务器或诸如个人计算机(PC)之类的计算机)中。第一图像保存单元14和第二图像保存单元16是保存用图像获取单元12获得的图像数据的处理单元。第一图像保存单元14保存用图像获取单元12获得的初始图像数据 (第一图像数据)。这里，初始图像数据可以是从图像获取单元12输出的图像数据。相反， 在另一方面，初始图像数据可以是在操作设置在立体图像获取设备10中的操作单元30之后，图像获取单元12最初输出的图像数据。第二图像保存单元16保存用图像获取单元12 获得的最新图像数据(第二图像数据)。于是，每次图像获取单元12获得新的图像数据时， 第二图像保存单元16保存的图像数据被更新。第一位置像差检测单元18比较由第一图像保存单元14保存的第一图像数据，和由第二图像保存单元16保存的第二图像数据。第一位置像差检测单元18随后检测第一图像中的背景区域和第二图像数据中的背景区域之间的位置像差。当下面提及的第二位置像差检测单元22和第三位置像差检测单元M设定表示这些图像中的前景区域的背景信息时，第一位置像差检测单元18识别图像中的排除前景区域外的背景区域。图像变换单元20按照第一位置像差检测单元18检测的背景区域的位置像差，根据第一图像生成其中利用第二图像中的背景区域位置作为基准校正了第一图像中的背景区域的位置像差的变换图像。第二位置像差检测单元22比较图像变换单元20生成的变换图像，和用保存在第二图像保存单元16中的第二图像数据表示的第二图像，并检测这两个图像中的前景区域在第一方向(例如，图像纵长方向)的位置像差。第三位置像差检测单
6元对比较图像变换单元20生成的变换图像，和用保存在第二图像保存单元16中的第二图像数据表示的第二图像，并检测这两个图像中的前景区域在与第一方向垂直的方向的位置像差。摄影取向判定单元沈根据分别用第二位置像差检测单元22和第三位置像差检测单元M检测的水平方向和垂直方向的位置像差的大小，判定第一图像和第二图像是否满足立体图像的条件。当判定立体图像条件被满足时，摄影取向判定单元26判定第一图像和第二图像的摄影取向是水平的(横向摄影)还是垂直的(竖向摄影)。当摄影取向判定单元沈判定第一图像和第二图像满足立体图像的条件时，图像保存处理器观保存分别保存在第一图像保存单元14和第二图像保存单元16中的第一图像和第二图像。每次图像获取单元12获得新的图像数据时，保存在第二图像保存单元16 中的图像数据就被更新，一直到判定第一图像和第二图像满足立体图像的条件为止。此外， 当判定第一图像和第二图像满足立体图像的条件时，图像保存处理器观保存保存在第一图像保存单元14中的第一图像数据，和保存在第二图像保存单元16中的第二图像数据，以便生成立体图像。图像保存处理器观另外向保存的第一图像数据和第二图像数据中，添加代表用摄影取向判定单元沈判定的摄影取向的信息，作为属性信息。下面将说明立体图像，之后说明第一实施例的操作。图2A和2B图解说明包括按照离摄影设备34最近，到离摄影设备34最远的顺序，分别布置的圆锥体32A，圆柱体32B和立方体32C的被摄物体。用配备单目成像单元的摄影设备34，在沿着水平方向移动的拍摄位置，多次拍摄所述被摄物体。如图2A和2B中所示，各个物体在摄影图像中的位置也随同拍摄位置的移动一起移动(不过，在图2A和2B中的例子中，在每次摄影中，调整摄影光轴， 以使物体32B被置于摄影图像的中央附近)。如果不调整摄影光轴方向，那么在到各个物体的摄影位置距离变大的情况下，相对于摄影位置的移动量，对应于各个物体的图像区域在摄影图像中的位置的移动量变小。这种现象被称为“深度暗示”。当使用配备单个成像单元的摄影设备34时，通过如图2A和2B中所示，一边沿着一定方向(通常水平方向)移动摄影位置，一边多次进行图像的摄影，来完成拍摄图像，从而产生立体图像的操作。结果，如图3A和;3B中图解所示，获得多个图像36和38。通过校正图像36和38中的位置像差，随后组合各个图像，以使得存在于各图像中的、与背景区域中到拍摄位置的距离最远的物体(这种情况下，物体32C)对应的图像部分的位置彼此一致，从而获得图3C中图解说明的图像40。在图3C中图解所示的图像40中，在与用作位置像差校正的基准的物体32C相比，到拍摄位置的距离较小的物体32A和32B对应的图像区域中，出现局部位置像差。这种局部位置像差被称为“视差”。如果立体图像中的视差的大小(视差量)适当，并且如果立体图像的视差方向对应于观看者双眼的并排方向，那么立体观看该立体图像的观看者能够从图像40中感知上述深度暗示，从而获得立体感。图2A是其中摄影时，图像取向的纵长方向近似水平的所谓横向摄影。图2B是其中摄影时，图像取向的纵长方向近似垂直的所谓竖向摄影。当利用配有单个成像单元的摄影设备34摄影用于生成立体图像的图像时，存在在拍摄时，仅仅通过旋转摄影设备34的取向，而不需要旋转成像单元的机构，就能够选择横向摄影或者竖向摄影的优点。不过，由于当观看立体图像时，立体图像的视差方向最好对应于观看者的双眼的并排方向，因此最好判定拍摄时的图像取向，换句话说，判定摄影是以横向摄影还是竖向摄影的形式进行的。
当在沿着一定方向移动摄影位置的同时进行多次图像拍摄时，图像中对应于被摄物体的图像区域位置沿着与拍摄位置的移动方向对应的方向移动。结果，如果如用图4A中的箭头所示，图像中的图像区域的移动方向与图像的纵长方向一致，那么图像被判定为是横向摄影。相反，如果如用图4B中的箭头所示，图像中的图像区域的移动方向垂直于图像的纵长方向，那么图像可被判定为竖向摄影。不过，当在移动摄影位置的时候，由于照相机抖动等而使摄影光轴改变成与摄影位置的移动方向垂直的方向时，图像中的图像区域的位置也相应地变成与摄影位置的移动方向垂直的方向。结果，存在拍摄时的取向的判定可能不正确的可能性。另一方面，尽管由于照相机抖动等而出现摄影光轴方向的变化，不过即使当发生照相机抖动时，拍摄位置本身也不会发生变化。当在拍摄位置不变化，但是摄影光轴方向变化的情况下进行摄影时，在摄影光轴方向变化前后摄影的图像中，出现图像中对应于被摄物体的图像区域的位置像差。不过，当进行位置像差校正以获得立体图像时，两个图像及其前景区域基本一致。在拍摄图5A中图解所示的图像36之后，图5B中的例子图解说明在摄影位置没有任何移动的情况下，由于摄影光轴方向沿着垂直向下方向被改变，从而使图像中对应于被摄物体的图像区域的位置垂直向下移动的图像42。当分别进行在图5A和5B中图解说明的图像36和42的位置像差校正，以获得立体图像时，如用图5C中的图像44图解所示，图像36和42以及它们的前景区域大体一致。这是因为由于拍摄位置没有变化，因此从摄影设备看到的被摄物体的视图不变化。换句话说，由于只要拍摄位置没有变化，就不会出现视差，因此视差方向与为摄影立体图像而移动拍摄位置的方向一致。由于摄影设备位置的移动方向与观看者的双眼的并排方向一致，因而能够判定立体图像在拍摄时的图像取向和在显示时的图像取向。下面将说明通过在第一实施例中利用该事实，检测在进行位置像差校正以获得立体图像之后的图像的视差方向，从而能够按照检测的方向，判定立体图像在拍摄时的图像取向和在显示时的图像取向。作为第一实施例的操作，下面参考图6，说明在立体图像获取设备10中进行的立体图像获取处理。在图6中图解说明的立体图像获取处理中，图像获取单元12首先获得一帧图像数据，随后获得的图像数据被保存在第一图像保存单元14中，作为第一图像的图像数据(步骤50)。随后，图像获取单元12获得下一帧图像数据，获得的图像数据随后被保存在第二图像保存单元16中，作为第二图像的图像数据(步骤52)。在步骤50和52中，用图像获取单元12获得的图像数据代表通过利用配备单目成像单元的摄影设备，在沿着水平方向移动拍摄位置的时候，反复进行被摄物体的摄影操作而获得的一系列图像数据的一部分。上述摄影操作可伴随调整摄影光轴方向，以使得在沿着水平方向移动拍摄位置的时候，被摄物体被置于图像的中央附近的操作。在步骤M，第一位置像差检测单元18进行背景区域中的位置像差检测处理。下面详细说明的这种处理涉及检测保存在第一图像保存单元14中的图像数据的第一图像和保存在第二图像保存单元16中的图像数据的第二图像之间的背景区域的位置像差，随后计算校正量，以校正检测的位置像差。在步骤56，图像变换单元20根据在背景区域位置像差检测处理中计算的校正量，生成按照第一图像的上述校正量校正的位置像差校正图像。在该处理中，生成利用第二图像作为基准，校正第一图像的位置像差的校正图像。结果，能够排除归因于照相机抖动等的沿着不同于视差方向的方向的移动。在步骤58，第二位置像差检测单元22和第三位置像差检测单元M进行前景区域位置像差检测处理。在所述前景区域位置像差检测处理中，第二位置像差检测单元22检测第二图像和由图像变换单元20生成的位置像差校正图像之间的前景区域在第一方向的位置像差量。此外，第三位置像差检测单元M检测所述位置像差校正图像和第二图像在第二方向的位置像差量。在下面详细说明前景区域位置像差检测处理。在步骤60，摄影取向判定单元沈判定由第二位置像差检测单元22检测的前景区域位置像差量和由第三位置像差检测单元M检测的前景区域位置像差量的至少之一是否等于或超过预定阈值。用于上述判定的阈值的具体例子将在下面说明。前景区域的位置像差量等同于立体图像视差量，从而将允许判定对于立体图像视差量而言前景区域位置像差量是否为适当值的数值设定为上述阈值。如果步骤60中的判定是否定的，那么处理返回步骤52，随后重复步骤52-60，直到步骤60中的判定是肯定的为止。结果，重复图像获取单元 12的图像数据的获取和保存在第二图像保存单元16中的图像数据的更新(第二图像的更新)，直到前景区域位置像差量等于或超过阈值为止。当前景区域位置像差量等于或超过阈值时，步骤60中的判定是肯定的，从而处理进入步骤62，在步骤62，摄影取向判定单元沈根据前景区域位置像差量，进行判定拍摄时的图像取向的图像取向判定处理。将在下面详细说明图像取向判定处理。在步骤64，图像保存处理器观随后从第一图像保存单元14读取第一图像的图像数据，和从第二图像保存单元16读取第二图像的图像数据。图像保存处理器观还生成代表在图像取向判定处理中判定的图像取向的取向信息。随后，生成的取向信息作为属性信息，被添加到包括第一图像的读取图像数据和第二图像的读取图像数据的立体图像数据中。保存其中添加了作为属性信息的取向信息的立体图像数据，随后结束该处理。在显示用立体图像数据表示的立体图像时，参照作为属性信息添加到立体图像数据中的图像取向信息。立体图像被酌情旋转，以使立体图像的视差方向对应于观看者的双眼的并排方向，随后显示立体图像。下面将参考图7，说明在立体图像获取处理(图6)中的步骤M中进行的背景区域位置像差检测处理。第一位置像差检测单元18首先在背景区域位置像差检测处理的步骤 70中，判定是否设定了前景区域信息。前景区域信息是规定图像中的前景区域的位置和范围的信息。前景区域信息是按照下面说明的第二位置像差检测处理设定的。于是，当最初进行背景区域位置像差检测处理时，前景区域信息未被设定。通过在第二次进行背景区域位置像差检测处理期间或之后，进行第二位置像差检测处理来设定前景区域信息。当由于未设定前景区域信息，从而步骤70中的判定是否定的时，第一位置像差检测单元18从第一图像的所有区域中提取特征点(步骤7 ，并把所有提取的特征点设定为第一图像中的背景区域特征点(步骤74)。相反，当由于设定了前景区域信息，从而步骤70 中的判定是肯定的时，第一位置像差检测单元18从被设定为第一图像背景区域特征点的特征点之中的背景区域特征点中，除去存在于用前景区域信息指示的前景区域内的特征点 (步骤76)。步骤70和76中的处理不是必需的。这些功能可被看作附加功能以减轻处理负荷。随后，第一位置像差检测单元18从第二图像中提取特征点(步骤78)，进行使第一图像背景区域特征点与从第二图像提取的特征点相关联的处理(步骤80)。特征点的关联可以由使用例如平面射影变换法，或者更具体地说，Hartley的8点算法或其它算法的具体方法来实现。第一位置像差检测单元18随后根据第一图像和第二图像的关联特征点的位置像差，计算用于校正背景区域位置像差的校正量(步骤82)。随后结束背景区域位置像差检测处理。下面参考图8，说明在立体图像获取处理(图6)中的步骤58中进行的前景区域位置像差检测处理。在步骤90中，第二位置像差检测单元22计算第二图像相对于图像变换单元20生成的位置像差校正图像在第一方向(例如，图像纵长方向)的运动向量。由于位置像差校正图像是通过校正第二图像的背景区域的位置像差生成的，因此上面计算的运动向量对应于位置像差校正图像和第二图像之间在第一方向的前景区域位置像差量。在步骤92，第二位置像差检测单元22首先搜索先前计算的第一方向的运动向量， 作为通过把图像分成多个块(部分区域)而得到的各个块的单位。其中生成位置像差校正图像和第二图像之间的位置像差的各个块的运动向量的调制大于0，并且还随着位置像差校正图像和第二图像之间的位置像差量的增大而增大。第二位置像差检测单元22针对其沿着第一方向的运动向量的调制大于0的各个块，计算沿着第一方向的运动向量的调制 (例如，最大值)，将其视为沿着第一方向的前景区域位置像差量。此外在步骤94，第三位置像差检测单元M计算第二图像相对于位置像差校正图像在第二方向(例如，与图像纵长方向垂直的方向)的运动向量。上面计算的运动向量是位置像差校正图像和第二图像之间在第二方向的前景区域位置像差量的等同物。在步骤96，第三位置像差检测单元M首先搜索先前计算的第二方向的运动向量， 该运动向量被视为通过把图像分成多个块(部分区域)而得到的各个块的单位。随后，第三位置像差检测单元M针对沿着第二方向的运动向量大于0的各个块，计算沿着第二方向的运动向量值(例如，最大值)，该运动向量值被视为在第二方向的前景区域位置像差。在步骤98，如果前景区域信息还未被设定，那么第二位置像差检测单元22和第三位置像差检测单元M设定前景区域信息，以使得具有超过先前所设定阈值的计算的前景区域位置像差量的各个块被包含在前景区中。如果先前已设定了前景区域信息的话，第二位置像差检测单元22和第三位置像差检测单元M还更新前景区域信息，以使得前景区域位置像差量新近超过所述阈值的各个块被添加到前景区域中。随后结束前景区域位置像差检测处理。下面详细说明在立体图像获取处理(图6)的步骤62中，由摄影取向判定单元沈进行的图像取向判定处理。通常，在用于摄影被摄物体的摄影设备中，横向摄影或竖向摄像被预先设定为拍摄时的标准图像取向。当用图像获取单元12获得的图像数据是使用在拍摄时标准图像取向为横向的摄影的摄影设备拍摄的图像的图像数据时，进行图9A中图解说明的处理，作为图像取向判定处理。在图9A中图解说明的图像取向判定处理的步骤100中，摄影取向判定单元沈判定在水平标准方向的位置像差量是否等于或大于先前设定的阈值。上述水平标准方向是图像的与用拍摄时的标准图像取向拍摄的图像中的被摄物体的水平方向对应的方向；当摄影期间的标准图像取向是横向摄影时，水平标准方向是图像纵长方向。摄影取向判定单元沈通过比较所述阈值与用第二位置像差检测单元22和第三位置像差检测单元M检测的在图像纵长方向的前景区域位置像差量，进行步骤100中的上述判定。与用于立体图像获取处理(图6)中的步骤60中的判定的阈值相同的阈值可用作上述阈值。当步骤100中的判定是肯定的时，视差方向被判定为与为水平标准方向的图像纵长方向一致。结果，当步骤100中的判定是肯定的时(步骤10 ，摄影取向判定单元沈在表示拍摄时的图像取向的取向信息中，设定指示“横向摄影”的信息。这种情况下，显示立体图像，以使根据上述取向信息，使取向在表示图像纵长方向的图像水平方向上。当步骤100 中的判定是否定的时，视差方向被判定为与垂直于作为水平标准方向的图像纵长方向的方向一致。结果，当步骤100中的判定为否定的时(步骤104)，摄影取向判定单元沈在表示拍摄时的图像取向的取向信息中，设定指示“竖向摄影”的信息。这种情况下，显示立体图像，以使得根据上述取向信息，使取向在表示与图像纵长方向垂直的方向的图像水平方向上。随后，结束图9A中图解说明的图像取向判定处理。相反，当用图像获取单元12获得的图像数据是使用在拍摄时标准图像取向为竖向摄影的摄影设备拍摄的图像的图像数据时，进行图9B中图解说明的处理，作为图像取向判定处理。在图9B中图解说明的图像取向判定处理的步骤106中，摄影取向判定单元沈判定水平标准方向的位置像差量是否等于或大于先前设定的阈值。当拍摄时的默认图像取向是竖向摄影时，上述水平默认方向垂直于图像纵长方向。摄影取向判定单元沈通过比较所述阈值与用第二位置像差检测单元22和第三位置像差检测单元M检测的在与图像纵长方向垂直的方向上的前景区域位置像差量，进行步骤106中的上述判定。与用于立体图像获取处理(图6)中的步骤60中的判定的阈值相同的阈值可用作上述阈值。当步骤106中的判定是肯定的时，视差方向被判定为与垂直于图像纵长方向的方向，即水平标准方向一致。结果，当步骤106中的判定是肯定的时(步骤108)，摄影取向判定单元沈在表示拍摄时的图像取向的取向信息中，设定指示“竖向摄影”的信息。这种情况下，显示立体图像，以使得根据上述取向信息，使取向在指示与图像纵长方向垂直的方向的图像水平方向上。当步骤106中的判定是否定的时，视差方向被判定为与图像纵长方向一致。结果，当步骤106中的判定是否定的时(步骤110)，摄影取向判定单元沈在表示拍摄时的图像取向的取向信息中，设定指示“横向摄影”的信息。这种情况下，显示立体图像， 以使得根据上述取向信息，使取向在指示图像纵长方向的图像水平方向上。随后，结束在图 9B中图解说明的图像取向判定处理。下面，说明在立体图像获取处理(图6)中的步骤60，在图9A的图像取向判定处理的步骤100，和在图9B的图像取向判定处理的步骤106中使用的阈值的具体例子。所述阈值是指示前景区域位置像差量值是否适于作为立体图像视差量的默认值。所述阈值具有下限和上限，以考虑到观看者能够从立体图像中感知空间效果的适当范围，然而还考虑到抑制立体图像中的物体从屏幕中极度投射出的范围。人眼表现出平行视觉，即，具有目间距视差的观测物体的视界是无限的，不过当眼睛脱离平行性时，不能实现视觉。结果，在背景区域中的视差量超过人类的平均目前距的立体图像中，左右图像不能在大脑中合并成单一图像，从而立体图像不能被理解(接受)为立体图像。于是，设定前景区域位置像差量的阈值的下限，以使立体图像的背景区域中的视差量不超过目间距。例如，当在最大屏幕尺寸为60英寸(约130厘米宽)的家用电视机上显示2兆像素(1920X1080像素)的立体图像时，由于人的平均目间距等于6. 5厘米，因此根
11据屏幕上的像素数的变换为1920X (6. 5/130)，阈值下限将约为100像素。另外，设定相对于前景区域位置像差量的阈值上限，以使得抑制立体图像中的物体从屏幕中极度投射出。例如，如果允许立体图像中的物体从屏幕投出的投射量为观看距离的一半，那么在先前的例子中，增加100像素的负视差，从而借助屏幕上的像素数的变换，阈值上限变成100+100 = 200像素。更具体地说，上述判定可涉及阈值的上下限与前景区域位置像差量的比较。如果前景区域位置像差量不大于阈值上限，并且不小于阈值下限，那么判定结果可被认为是肯定的。此外，当比较介于阈值上下限之间的值(例如，上限和下限的平均值)和前景区域位置像差量时，如果前景区域位置像差量等于或大于被比较值，那么可认为判定结果是肯定的。(第二实施例)下面说明公开的发明的第二实施例。第二实施例的结构基本上类似于上述第一实施例。相似的元件具备相同的附图标记，并省略其说明，下面只说明与第一实施例不同的部分。在第二实施例中，在图10中图解说明的立体图像获取处理由立体图像获取设备 10进行。按照第二实施例的立体图像获取处理包括在步骤62中，用摄影取向判定单元沈进行图像取向判定处理之后，在步骤66中用图像保存处理器观进行的图像数据保存处理。 当图像获取单元12获得的图像数据是用拍摄时的标准图像取向为横向摄影的摄影设备拍摄的时，图像保存处理器观进行图IlA中图解说明的处理，作为图像数据保存处理。具体地说，在图IlA中图解说明的图像数据保存处理的步骤120中，图像保存处理器观判定摄影取向判定单元沈判定的拍摄时的图像取向是否是横向摄影。当拍摄时的图像取向被判定为横向摄影时，处理进入步骤S1M。当拍摄时的图像取向被判定为不是横向摄影(即，竖向摄影)时，在步骤122，图像保存处理器观从第一图像保存单元14读取第一图像的图像数据，并从第二图像保存单元16读取第二图像的图像数据。图像保存处理器观随后把读取的图像数据变换成代表被旋转90°的读出图像数据的图像，然后处理进入步骤 124。在步骤124，图像保存处理器28保存包括第一图像的图像数据和第二图像的图像数据的立体图像数据，随后所述处理被终止。在上面的处理中，当拍摄时的图像取向不同于拍摄时的标准图像取向时，代表旋转90°的图像的图像数据被保存为立体图像数据。于是， 在显示用保存的立体图像数据代表的立体图像时，能够使得在拍摄时的标准图像取向为横向摄影的情况下作为水平标准方向的图像纵长方向与观看者的双眼的并排方向(显示图像的水平方向)对应，从而均勻地进行显示。结果，能够使立体图像的视差方向与观看者双眼的并排方向一致地显示立体图像，而不用进行与拍摄时的图像取向对应地旋转待显示的立体图像的处理。此外，当图像获取单元12获得的图像数据是用拍摄时的标准图像取向为竖向摄影的摄影设备拍摄的时，图像保存处理器观进行图IlB中图解说明的处理，作为图像数据保存处理。在图IlB中图解说明的图像数据保存处理的步骤130中，图像保存处理器28 判定摄影取向判定单元26判定的拍摄时的图像取向是否是竖向摄影。当拍摄时的图像取向被判定为竖向摄影时，处理进入步骤S134。当拍摄时的图像取向被判定为不是竖向摄影(即，横向摄影)时，在步骤132，图像保存处理器观从第一图像保存单元14读取第一图像的图像数据，并从第二图像保存单元16读取第二图像的图像数据。图像保存处理器观随后把读取的图像数据变换成代表被旋转90°的读出图像数据的图像，然后处理进入步骤 134。在步骤134，图像保存处理器28保存包括第一图像的图像数据和第二图像的图像数据的立体图像数据，随后所述处理被终止。在上面的处理中，当拍摄时的图像取向不同于拍摄时的默认图像取向时，代表旋转90°的图像的图像数据被保存为立体图像数据。于是， 在显示用保存的立体图像数据代表的立体图像时，能够使得在拍摄时的默认图像取向为竖向摄影的情况下垂直于作为水平标准方向的图像纵长方向的方向与观看者的双眼的并排方向对应，从而均勻地进行显示。结果，能够使立体图像的视差方向与观看者双眼的并排方向一致地显示立体图像，而不用进行与拍摄时的图像取向对应地旋转待显示的立体图像的处理。上面的第一和第二实施例说明图像保存处理器观保存第一图像保存单元14和第二图像保存单元16中的图像的例子。在一个不同于上述实施例的实施例中，代替图像保存处理器观保存的图像被保存在第一图像保存单元14中的第一图像，保存用图像变换单元 20校正第一图像的位置像差的校正图像。通过利用校正图像作为保存的对象，当显示图像时，不需要校正在与视差方向不同的方向上的照相机抖动。(第三实施例)下面说明公开的发明的第三实施例。图12图解说明能够起立体图像获取设备10 作用的计算机140。计算机140包括均用总线148互连的CPU142，存储器144和非易失性存储单元 146。存储单元146可用例如硬盘驱动器(HDD)或闪速存储装置实现。使计算机140起立体图像获取设备10作用的立体图像获取程序150记录在充当记录介质的存储单元146中。 CPU142从存储单元146读取立体图像获取程序150，并在存储器144中展开立体图像获取程序150，以顺序进行立体图像获取程序150中的处理。立体图像获取程序150具有图像获取进程152，第一图像保存进程154，第二图像保存进程156，第一位置像差检测进程158和图像变换进程160。立体图像获取程序150还具有第二位置像差检测进程162，第三位置像差检测进程164，摄影取向判定进程166和图像保存进程168。通过执行图像获取进程152，CPU142进行基本上与图1中图解说明的图像获取单元12类似的操作。具体地说，图像获取进程152执行通过与经通信线路连接到计算机140 的外部设备的通信，来顺序获得多个图像的图像数据的处理。外部设备可以是摄影设备，或者配备保存图像数据的存储单元的外部信息处理器设备。通过执行第一图像保存进程154，CPU142进行与图1中图解说明的第一图像保存单元14类似的操作。具体地说，第一图像保存进程IM执行保存在图像获取进程152中获得的图像数据的处理。通过执行第二图像保存进程156，CPU142进行与图1中图解说明的第二图像保存单元16类似的操作。具体地说，第二图像保存进程156执行保存在图像获取进程152中获得的图像数据的处理。
通过执行第一位置像差检测进程158，CPU142进行与图1中图解说明的第一位置像差检测单元18类似的操作。具体地说，第一位置像差检测进程158执行检测第一图像中的背景区域和第二图像中的背景区域之间的位置像差的处理。通过执行图像变换进程160，CPU142进行与图1中图解说明的图像变换单元20类似的操作。图像变换进程160按照第一位置像差检测单元18检测的背景区域的位置像差， 根据第一图像来生成第一图像的以第二图像中的背景区域位置为基准的背景区域的位置像差被校正的变换图像。通过执行第二位置像差检测进程162，CPU142进行与图1中图解说明的第二位置像差检测单元22类似的操作。具体地说，第二位置像差检测进程162执行比较变换图像和第二图像，以检测两个图像中的前景区域在第一方向的位置像差的处理。通过执行第三位置像差检测进程164，CPU142进行与图1中图解说明的第三位置像差检测单元M类似的操作。具体地说，第三位置像差检测进程164执行比较变换图像和第二图像，以检测两个图像中的前景区域在第二方向的位置像差的处理。通过执行摄影取向判定进程166，CPU142进行与图1中图解说明的摄影取向判定单元沈大体类似的操作。具体地说，摄影取向判定进程166执行判定第一图像和第二图像是否满足立体图像的条件，和判定第一图像和第二图像的摄影取向是横向还是竖向的处理。通过执行图像保存进程168，CPU142进行与图1中图解说明的图像保存处理器28 大体类似的操作。具体地说，图像保存进程168执行保存用于生成立体图像的第一图像数据和第二图像数据的处理，和添加表示摄影取向的信息作为属性信息的处理。这样，执行立体图像获取程序150的计算机140起立体图像获取设备10的作用。 尽管上面说明从存储单元146读取立体图像获取程序150，不过，也可从任意记录介质读取和随后执行立体图像获取程序150。如上所述，按照本实施例的立体图像获取设备10和立体图像获取程序150能够从多个摄影图像中，判定拍摄时的图像取向，而没有检测拍摄时的图像取向，和获得检测结果的结构。此外，在显示立体图像时，能够判定图像取向。此外，按照拍摄图像时使用的摄影设备的配置，切换判定拍摄时的图像取向的需要变得不必要，能够用相同的处理判定拍摄时的图像取向，而不管在拍摄图像时使用的摄影设备的配置。虽然上面的说明描述了以第一图像作为非基准图像，以第二图像作为基准图像， 对第一图像进行背景区域位置像差校正的情况，不过，本发明并不局限于这种情况。例如， 图像变换单元20可被配置成利用第一图像作为基准图像，利用第二图像作为非基准图像， 对第二图像进行背景区域位置像差校正。在这种情况下，第二位置像差检测单元22和第三位置像差检测单元M可被配置成检测第一图像和用图像变换单元20生成的变换图像之间的前景区域位置像差。此外，尽管上面说明了按照水平标准方向的前景区域位置像差量是否等于或大于阈值，判定图像取向的情况(图9A中的步骤100和图9B中的步骤106)，不过本发明并不局限于这种情况。例如，代替上述判定，前景区域位置像差量最大的方向可被判定为图像纵长方向，或者与图像纵长方向垂直的方向。在这种情况下，如果在图像纵长方向上的前景区域位置像差量较大，那么图像取向可被判定为横向摄影。类似地，如果在与图像纵长方向垂直的方向上的前景区域位置像差量较大，那么图像取向可被判定为竖向摄影。另外，尽管上面说明了摄影者如上所述移动摄影设备位置，以便生成立体图像的情况，不过本发明并不局限于这种情况。可在不借助摄像者移动拍摄位置的特殊操作的情况下，进行用于生成立体图像的图像的拍摄，比如通过坐在沿着固定方向移动的交通工具 (例如车辆等)中的摄影者多次拍摄在交通工具外的被摄物体。此外，尽管上面说明了使用配备单一成像单元的摄影设备34，拍摄用于生成立体图像的图像的例子，不过本发明并不局限于这个例子。例如，可以使用配备多个成像单元的摄影设备，以使得能够判定在拍摄用于生成立体图像的、由多个成像单元任意之一生成的图像时拍摄的取向以及显示立体图像时的图像取向。即使当使用配备多个成像单元的摄影设备时，也存在通过用多个成像单元任意之一，拍摄用于生成立体图像的图像，使具有任意基线长度的摄影成为可能的优点。此外，尽管上面说明了其中用不具有旋转成像单元的机构的摄影设备，拍摄用于生成立体图像的图像的例子，不过公开的发明并不局限于此，可以实施用具有旋转成像单元的机构的摄影设备进行的拍摄时的图像取向的判定。这种情况下，能够在不提供感测拍摄时的图像取向的结构的情况下，判定显示时的图像取向。此外，如上所述，假定作为拍摄时的图像取向，可以选择竖向摄影或横向摄影。即， 通过判定拍摄时的图像取向，能够确定显示时的图像取向。公开的发明并不局限于第一实施例。例如，图13图解说明按照另一个实施例的立体图像获取设备200。在下面的说明中， 与立体图像获取设备10的附图标记相同的附图标记指的是在第一实施例中说明的立体图像获取设备10的相同部分，并且省略其说明。从而，将只说明与在第一实施例中说明的立体图像获取设备10不同的部分。立体图像获取设备200具备代替第二位置像差检测单元22和第三位置像差检测单元M的第四位置像差检测单元202。另外，立体图像获取设备200具备代替摄影取向判定单元沈的显示方向判定单元204。另外，立体图像获取设备200具备图像处理单元206。 立体图像获取设备200中的图像获取单元12获得沿着包括竖向摄影和横向摄影的任何取向拍摄的图像数据。结果，第四位置像差检测单元202检测由图像变换单元20生成的变换图像和保存在第二图像保存单元16中的第二图像数据之间的前景区域位置像差。随后，第四位置像差检测单元202检测具有所检测的前景区域的最大位置像差量的图像取向。之后，第四位置像差检测单元202输出所述图像取向和像差量。显示方向判定单元204通过判定第四位置像差检测单元202输出的前景区域位置像差量是否等于或大于阈值，判定第一图像和第二图像是否满足立体图像条件。显示方向判定单元204随后判定由于前景区域位置像差量等于或大于阈值，而被判定为满足立体图像条件的前景区域位置像差的方向是在显示图像时的图像水平方向。图像处理单元206判定由显示方向判定单元204判定的在显示图像时的图像水平方向是否平行于或垂直于变换图像和第二图像的外缘。当该判定结果是肯定的时，图像处理单元206把由显示方向判定单元204判定的在显示图像时的图像水平方向按照水平方向输出。相反，作为图14A中图解说明的例子，当沿着与竖向摄影或横向摄影不同的取向拍摄被摄物体时，前景区域位置像差的方向(在显示图像时的图像水平方向)并不平行于或垂直于图像的外缘，如用图14B中的箭头210图解所示。这种情况下，图像处理单元206 从变换图像和第二图像中，剪取由平行于或垂直于在显示图像时的图像水平方向的边环绕的矩形图像区域，如用图14B中的虚线图解所示。此外，根据在显示图像时的图像水平方向与变换图像和第二图像的外缘的方向之间的角度差，图像处理单元206旋转剪取的矩形图像区域，以使得环绕该区域的各个边平行于或垂直于变换图像和第二图像的外缘(参见图 14C 和图 14D)。按照上述处理，能够显示立体图像，以使得在不进行响应确定的在图像显示时的图像水平方向，旋转待显示的立体图像的处理的情况下，立体图像的视差方向对应于观看者双眼的并排方向。除了上述处理之外，可以进行放大旋转的矩形区域，以使矩形区域的大小与变换图像和第二图像的大小相符的进一步处理。类似于图12的说明，通过使计算机从存储单元读取立体图像获取程序，并执行所述立体图像获取程序，以使计算机起立体图像获取设备200的作用，可以使计算机起立体图像获取设备200的作用。此外，尽管上面说明了针对用单一成像单元顺序拍摄的一组图像，判定在拍摄时的图像取向的情况，不过本发明并不局限于此。当用多个成像单元顺次拍摄多个运动图像， 以生成立体图像运动图像时，假定观看立体图像的观看者的双眼的并排方向，并确定多个成像单元的位置关系，以使得在拍摄的多个运动图像之间，沿着假定的方向形成视差。结果，公开的发明也适用于判定上述多个运动图像在拍摄时的图像取向。尽管上面说明了其中立体图像获取程序150被保存在存储单元146中的情况，不过，立体图像获取程序150也可被保存在便携式记录介质，比如⑶-ROM，DVD-ROM或USB存储装置等中。在与各个文献，专利申请和技术标准被具体且单独地引用为参考时相同的程度上，这里说明的所有文献，专利申请和技术标准地作为参考包含在本说明书中。这里引用的所有例子和条件语句是教导性的，以帮助读者理解本发明的原理，和发明人对促进现有技术而贡献出的思想，不应被理解成局限于这样的具体引用的例子和条件，说明书中这些例子的组织也不涉及本发明的优势和劣势的展示。尽管详细说明了本发明的实施例，不过显然可对说明的实施例做出各种改变、替代和变更，而不脱离本发明的精神和范围。
权利要求
1.一种图像处理设备，包括第一检测单元，其输入第一图像和第二图像，并检测第一图像和第二图像之间的第一位置像差；校正单元，其校正第一图像中，用第一检测单元检测的第一位置像差； 第二检测单元，其检测第二图像和校正后的第一图像之间的第二位置像差的方向；和判定单元，其根据检测的第二位置像差的方向，判定显示第一图像和第二图像时的图像取向。
2.根据权利要求1所述的图像处理设备，其中判定单元判定检测的第二位置像差的方向是显示第一图像和第二图像时的图像水平方向。
3.根据权利要求1所述的图像处理设备，其中第二检测单元沿着图像的多个方向，检测第二图像和校正后的第一图像之间的第二位置像差，并根据检测结果，检测第二位置像差方向。
4.根据权利要求3所述的图像处理设备，其中第一图像和第二图像是相对于被摄物体，在水平方向的不同位置拍摄的图像； 第二检测单元沿着校正后的第一图像的第一方向，检测的第二位置像差量，沿着与第一方向垂直的第二方向，检测第二位置像差量，然后检测在沿着第一方向检测的位置像差量和沿着第二方向检测的位置像差量之中，检测的位置像差量最大的方向，并把检测的方向设定为第二位置像差方向；和当第二位置像差方向是第一方向时，判定单元把第一方向判定为待显示图像的水平方向，而当第二位置像差方向是第二方向时，把第二方向判定为待显示图像的水平方向。
5.根据权利要求1所述的图像处理设备，其中第一检测单元检测的第一位置像差是背景区域位置像差，和校正单元校正检测的第一图像的背景区域位置像差。
6.根据权利要求1所述的图像处理设备，其中第二检测单元检测与第一图像和第二图像之间的前景视差对应的位置像差，作为第一图像和第二图像之间的第二位置像差。
7.根据权利要求6所述的图像处理设备，其中第二检测单元检测第二图像和其中位置像差已被校正单元校正的第一图像之间的第二位置像差的方向，并把图像中第二位置像差大小不小于阈值的区域设定为前景区域；和当第二检测单元设定了前景区域时，第一检测单元检测图像中，除前景区域外的区域的第一位置像差。
8.根据权利要求1所述的图像处理设备，还包括 图像获取单元，其单独地获得第一图像和第二图像； 第一图像保存单元，其保存图像获取单元获得的第一图像；和第二图像保存单元，其保存图像获取单元获得的第二图像；其中第一检测单元检测保存在第一图像保存单元中的第一图像，和保存在第二图像保存单元中的第二图像之间的第一位置像差。
9.根据权利要求8所述的图像处理设备，其中图像获取单元顺序获得多个图像，和每次图像获取单元获得新图像时，第二图像保存单元把作为第二图像保存的图像更新为新获得的图像。
10.根据权利要求1所述的图像处理设备，还包括属性添加单元，其把表示判定单元判定的代表图像取向的信息，作为第一图像的属性信息添加到第一图像的图像数据中，并作为第二图像的属性信息添加到第二图像的图像数据中。
11.根据权利要求1所述的图像处理设备，还包括图像保存处理单元，当第一图像的图像数据和第二图像的图像数据要被保存，而图像数据的图像取向与判定单元判定的图像取向不一致时，在保存图像数据之前，图像保存处理单元变换图像数据，以使图像数据的图像取向与判定单元判定的图像取向一致。
12.根据就权利要求1所述的图像处理设备，其中第一图像和第二图像的外缘是矩形；第二检测单元沿着图像中的三个以上方向，检测第二图像和其位置像差已被校正单元校正的第一图像之间的第二位置像差，并检测三个以上的方向之中，其第二位置像差大小最大的方向，作为第二位置像差的方向；判定单元判定检测的第二位置像差的方向是显示第一图像和第二图像时的图像水平方向；和所述图像处理设备还包括图像处理单元，当判定单元判定的显示图像时的图像水平方向是既不平行于，也不垂直于第一图像和第二图像的外缘各边的方向时，图像处理单元剪取由平行于或者垂直于显示图像时的图像水平方向的各边环绕的矩形区域，并旋转剪取的矩形区域的各边，以使剪取的矩形区域的各边平行于或垂直于第一图像和第二图像的外缘各边。
13.—种通信系统的检测方法，包含用第一检测单元输入第一图像和第二图像，并检测第一图像和第二图像之间的第一位置像差；针对第一图像，用校正单元校正在第一检测单元中检测的第一位置像差；用第二检测单元检测校正后的第一图像和第二图像之间的第二位置像差的方向；和用判定单元根据第二位置像差的方向，判定显示第一图像和第二图像时的图像取向。
14.一种包括程序的非临时性计算机可读记录介质，所述程序使处理器执行图像处理方法的操作，所述方法包括用第一检测单元输入第一图像和第二图像，并检测第一图像和第二图像之间的第一位置像差；针对第一图像，用校正单元校正在第一检测单元中检测的第一位置像差；用第二检测单元检测第二图像和校正后的第一图像之间的残余第二位置像差的方向；和用判定单元根据第二位置像差的方向，判定显示第一图像和第二图像时的图像取向。
全文摘要
一种图像处理设备和方法，图像处理设备包括第一检测单元，其输入第一图像和第二图像，并检测第一图像和第二图像之间的第一位置像差；校正单元，其校正第一图像中，用第一检测单元检测的第一位置像差；第二检测单元，其检测校正后的第一图像和第二图像之间的第二位置像差的方向；和判定单元，其根据检测的第二位置像差的方向，判定显示第一图像和第二图像时的图像取向。
文档编号H04N13/02GK102572492SQ20111041824
公开日2012年7月11日 申请日期2011年12月14日 优先权日2010年12月15日
发明者佐藤辉幸 申请人:富士通株式会社