专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法。
背景技术：
以往，公知有根据拍摄的动态图像帧间的运动数据进行动态图像的校正处理的装置。例如，在下面的专利文献I中公开了以下装置计算基准图像与比较图像间的运动数据，利用运动数据，按每个对应的块计算图像间的像素值的差分，根据该像素值的差分，按每个块决定基准图像与比较图像的重叠比率，进行重叠处理，得到合成图像，由此得到更鲜明的手抖校正图像。专利文献专利文献1:日本特开2009-164857号公报
此外，公知有通过合成由多个照相机拍摄的图像而取得具有立体感的立体图像的技木。此外，还公知有连续地拍摄、显示这种立体图像来取得立体动态图像的技木。在这种立体动态图像中，与普通的动态图像同样，需要进行手抖校正、失真校正等校正处理。在分别对从多个摄像元件取得的图像独立地进行专利文献I中记载的手抖校正的情况下，无法得到从各摄像元件取得的图像间的手抖校正的匹配性，可能无法进行适当的校正处理。
发明内容
因此，本发明的目的在于提供能够进行在从多个摄像元件得到的图像之间具有匹配性的校正处理的图像处理装置和图像处理方法。本发明的图像处理装置对由摄像装置拍摄的多个帧图像进行图像处理，其中，所述摄像装置具有多个依次连续地拍摄第I帧图像和第2帧图像的摄像元件，所述图像处理装置的特征在于，该图像处理装置具有设置信息取得部，其按每个摄像元件，取得表示摄像元件相对于摄像装置的设置状态的设置信息；运动信息取得部，其取得第I帧图像和第2帧图像间的摄像装置的运动信息；以及输出区域取得部，其按每个摄像元件，取得第2输出区域的位置信息，该第2输出区域是第2帧图像内的区域，与第I帧图像内的第I输出区域对应，输出区域取得部根据由设置信息決定的第I输出区域的位置信息和运动信息，取得多个摄像元件中的作为基准的基准摄像元件的第2输出区域，输出区域取得部根据基准摄像元件的设置信息、多个摄像元件中的不同于基准摄像元件的其它摄像元件的设置信息以及运动信息，取得其它摄像元件的第2输出区域。本发明的图像处理方法用于对由摄像装置拍摄的多个帧图像进行图像处理，其中，摄像装置具有多个依次连续地拍摄第I帧图像和第2帧图像的摄像元件，图像处理方法的特征在于，该图像处理方法包括以下步骤设置信息取得步骤，按每个摄像元件，取得表示摄像元件相对于摄像装置的设置状态的设置信息；运动信息取得步骤，取得第I帧图像和第2帧图像间的摄像装置的运动信息；以及输出区域取得步骤，按每个摄像元件，取得第2输出区域的位置信息，该第2输出区域是第2帧图像内的区域，与第I帧图像内的第I输出区域对应，在输出区域取得步骤中，根据由设置信息決定的第I输出区域的位置信息和运动信息，取得多个摄像元件中的作为基准的基准摄像元件的第2输出区域，在输出区域取得步骤中，根据基准摄像元件的设置信息、多个摄像元件中的不同于基准摄像元件的其它摄像元件的设置信息以及运动信息，取得其它摄像元件的第2输出区域。根据这种发明，根据由设置信息決定的第I输出区域的位置信息和运动信息，取得基准摄像元件的第2输出区域，根据基准摄像元件的设置信息、其它摄像元件的设置信息以及运动信息，取得多个摄像元件中的不同于基准摄像元件的其它摄像元件的第2输出区域。此处，基准摄像元件的第2输出区域和其它摄像元件的第2输出区域是根据在这些摄像元件之间通用的运动信息而取得的，因此，能够进行在从多个摄像元件得到的图像之间具有匹配性的校正处理。此处，还可以具有判定部，该判定部针对所有摄像元件，判定第2输出区域的位置信息是否位于第2帧图像内，在第2输出区域的位置信息不位于第2帧图像内的情况下，输出区域取得部对根据第I输出区域的·位置信息与第2输出区域的位置信息之间的差分求出的移动量进行缩小调整，直到在所有摄像元件中，第2输出区域的位置信息位于第2帧图像内为止。该情况下，可以防止由于第2输出区域不位于第2帧图像内而导致无法进行图像处理。运动信息取得部可以从基准摄像元件拍摄的第I帧图像和第2帧图像中取得运动信息。该情况下，能够从图像取得运动信息，因此不需要新的硬件的结构，就能够取得多个摄像元件中通用的运动信息。运动信息取得部可以通过陀螺仪传感器取得运动信息。该情况下，能够从陀螺仪传感器取得多个摄像元件中通用的运动信息，因此能够降低运算负荷。运动信息取得部取得从多个摄像元件拍摄的第I帧图像和第2帧图像中得到的运动信息的加权平均，作为运动信息。该情况下，根据多个摄像元件取得运动信息，因此，能够高精度地取得运动信息。此外，可以根据摄像条件从多个摄像元件的中选择基准摄像元件。该情况下，例如选择性能优越的摄像元件作为基准摄像元件，由此能够高精度地取得运动信息。输出区域取得部可以将由于具有多个摄像元件而所需的输出区域以外的区域用作为由于运动而进行校正时使用的区域。此时，在将用于得到立体图像的边缘和由于运动而进行校正时的边缘共用的情况下，能够利用ー个边缘进行多个校正处理。因此，能够减少因确保边缘而导致的校正处理后的有效像素数下降。根据本发明，能够进行在从多个摄像元件得到的图像间具有匹配性的校正处理。
图1是说明多个摄像元件的手抖校正的概要的图。图2是示出第I实施方式的图像处理装置的功能结构的框图。图3是说明第I摄像元件和第2摄像元件的设置信息的图。图4是示出图像处理装置的硬件结构的图。图5是说明运动イ目息的图。图6是示出输出区域取得部中的运算处理的步骤的图。
图7是示出第I实施方式的第2输出区域的取得处理的流程图。图8是示出第2实施方式的图像处理装置的功能结构的框图。图9是说明运动校正矩阵的再计算方法的图。图10是示出第2实施方式的第2输出区域的取得处理的流程图。图11是示出第3实施方式的图像处理装置的功能结构的框图。图12是示出平均运动校正矩阵的取得处理的步骤的图。图13是示出第3实施方式的第2输出区域的取得处理的流程图。图14是示出平均运动校正矩阵的取得处理的流程图。 标号说明1、1A、1B图像处理装置；10摄像部；11第I摄像元件；12第2摄像元件；21第I输入部；22第2输入部；30信息取得部；40设置信息取得部；41设置信息存储部；50、50A、50B输出区域取得部；60判定部。
具体实施例方式以下，參照附图对本发明的实施方式进行说明。在附图的说明中，对相同的要素标注相同的标号，省略重复的说明。(第I实施方式)第I实施方式的图像处理装置进行在从多个摄像元件输入的图像之间具有匹配性的手抖校正处理，并安装在便携电话、数码照相机、摄像机或者普通的计算机系统中。例如，用于多镜头照相机。在本实施方式中，作为多个摄像元件的例子，对具有两个摄像元件的结构进行说明。首先，为了便于理解发明，对从两个摄像元件取得立体图像的方法进行说明。图1示出两个摄像元件即第I摄像元件和第2摄像元件拍摄的输入帧和对该输入帧的一部分的像素区域进行剪切而得到的输出帧。以下，将从第I摄像元件拍摄的第I帧、第2帧中剪切的区域(第I输出区域)分别称为第I输出区域AU、第2输出区域A12。此外，将从第2摄像元件拍摄的第I帧、第2帧中剪切的区域(第2输出区域)分别称为第I输出区域A21、第2输出区域A22。为了使用第I摄像元件和第2摄像元件得到立体图像，剪切第I摄像元件拍摄的第I帧图像中的包含对象物T的规定的图像区域作为第I输出区域All，从第2摄像元件12拍摄的第I帧图像中剪切与第I输出区域All对应的第I输出区域A21。然后，根据第I输出区域All与第1输出区域A21之间的视差信息得到立体图像。此处，与第I输出区域A12对应的第1输出区域A21的位置由第2摄像元件相对于第I摄像元件的设置位置、设置角度等设置信息唯一地決定。此外，与第I输出区域A21对应的第I输出区域All的位置由第I摄像元件相对于第2摄像元件的设置位置、设置角度等设置信息唯一地決定。设置信息在后面详细叙述。本实施方式的图像处理装置检测第I帧图像和第2帧图像间的摄像部10的运动信息，根据摄像部的移动量，移动第I摄像元件和第2摄像元件的第2输出区域A12、A22的位置，取得移动后的第2输出区域A12、A22的位置信息。此处，如果各自的摄像元件独立地进行手抖校正，则无法取得第2输出区域A12与第2输出区域A22之间的对应，可能无法得到适当的视差信息。因此，本实施方式的图像处理装置将根据一方的摄像元件的运动信息而得到的输出区域的移动量反映到另一方的摄像元件的输出区域，由此与设置位置无关地进行具有匹配性的手抖校正。以下，对本实施方式的图像处理装置进行说明。图2是示出本实施方式的图像处理装置I的功能结构的框图。图像处理装置I是对具有多个摄像元件的摄像部10拍摄的图像进行图像处理的装置。本实施方式的摄像部10具有两个摄像元件。摄像部10具有第I摄像元件11和第2摄像元件12。第I摄像元件11和第2摄像元件12是对摄像对象物进行拍摄的单元,例如，以C-MOS (Complementary Metal OxideSemiconductor :互补金属氧化物半导体)或CCD (Charged Coupled Device:电荷稱合兀件)等摄像元件为主要部件而构成。第I摄像元件11和第2摄像元件12连续地依次拍摄第I帧图像和第2帧图像。此处，如图3 (a)、(b)所示，第I摄像元件11和第2摄像元件12被配置为彼此具有规定的间隔、角度。如图3 (a)所示，这样配置的摄像部10对同一摄像对象物T进行拍摄。摄像部10由多个摄像元件中的作为基准的基准摄像元件、和作为不同于基准摄像元件的其它摄像元件的參照摄像元件构成。由基准摄像元件拍摄的图像在生成运动信息时使用，该运动信息在进行图像的校正处理时使用。在本实施方式中，将第I摄像元件11作为基准摄像元件，将第2摄像元件12作为參照摄像元件。第I摄像元件11和第2摄像元件12将拍摄的第I帧图像和第2帧图像作为图像数据输出到图像处理装置I。 图4是图像处理装置I的硬件结构图。如图4所示，图像处理装置I作为普通的计算机系统而构成，其在物理上包含CPU (Central Processing Unit :中央处理单元)100、ROM (Read Only Memory :只读存储器)101 以及 RAM (Random Access Memory :随机存取存储器)102等主存储装置、键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等。在CPU100、R0M10U RAM102等硬件上读取规定的计算机软件，由此在CPU100的控制下使输入设备103和输出设备104动作，进行主存储装置和辅助存储装置105中的数据的读出和写入，从而实现后述图像处理装置I的各功能。此外，图像处理装置I也可以具有通信模块等。如图2所示，图像处理装置I在功能上具有第I输入部21、第2输入部22、运动信息取得部30、设置信息取得部40、设置信息存储部41以及输出区域取得部50。第I输入部21是取得由基准摄像元件即第I摄像元件11拍摄的图像数据(以下，称为基准图像)的功能。第I输入部21将由第I摄像元件拍摄的第I帧图像和第2帧图像输出到运动信息取得部30和输出区域取得部50。第2输入部22是取得由參照摄像元件即第2摄像元件12拍摄的图像数据(以下，称为參照图像)的功能。第2输入部22分别取得第2摄像元件12拍摄的第I帧图像和第2帧图像。第2输入部22将第2摄像元件拍摄的第I帧图像和第2帧图像输出到输出区域取得部50。运动信息取得部30是取得第I帧图像和第2帧图像间的摄像部10的运动信息的功能。运动信息是根据作为基准的第I帧图像和第2帧图像间的空间位移量计算的值。具体而言，在第I帧图像和第2帧图像中，在帧间检索与分割为规定大小的块内的图像信号图案最类似的图像信号图案，计算帧间的最类似的图像信号图案间的空间位移量(运动矢量)作为运动信息。具体而言，如图5所示，运动信息取得部30取得第2帧图像相对于第I帧图像的旋转量9、图像原点的偏移量ぉ、(17、放大量8，作为运动信息。运动信息取得部30将取得的运动信息输出到输出区域取得部50。设置信息取得部40取得表示第I摄像元件11以及第2摄像元件12相对于摄像部10的设置状态的设置信息。设置信息是表示摄像元件相对于摄像部10的设置位置、设置角度等的参数。这些参数是在设计摄像部10时设定的参数，当摄像部10与图像处理装置I连接时，取得存储在摄像部10中的设置信息，存储到设置信息存储部41。设置信息取得部40从设置信息存储部41取得第I摄像元件11和第2摄像元件12的设置信息。设置信息取得部40将取得的第I摄像元件11和第2摄像元件12的设置信息输出到输出区域取得部50。另外，设置信息取得部40也可以直接从摄像部10取得设置信息。输出区域取得部50取得第2输出区域A12、A22的位置信息，第2输出区域A12、A22是第2帧图像内的区域，与第I帧图像内的第I输出区域All、A21对应。此处，与第1输出区域A11、A21对应的第2输出区域A12、A22是指，与第I输出区域A11、A21成对的第2输出区域A12、A22。输出区域取得部50以相对于第I帧图像中的第I输出区域A11、A21抖动消失的方式设定第2帧图像的第2输出区域A12、A22的位置。有时所设定的第2输出区域A12、A22的位置是与第I输出区域A11、A21 —致的位置，有时是与第I输出区域A11、A21不同的位置。输出区域取得部50按每个摄像元件取得第2输出区域。以下，对用于取得第I摄像元件11和第2摄像元件12的第2输出区域A12、A22的位置信息的运算处理进行说明。图6示出用于取得第I摄像元件11和第2摄像元件12的第2输出区域A12、A22的位置信息的运算处理的步骤。根据图6，说明输出区域取得部50的运算处理。首先，输出区域取得部50根据式(I)将参照图像的第I帧图像内的任意坐标(X’，y’)变换为正规坐标系(正規座標系)的坐标(xn，yn)0正规矩阵是进行从输入图像的坐标系向正规坐标系的变换的矩阵。此处，式(I)的正规矩阵(正規化行列鴻’—1是式(2)所示的第2摄像元件12的逆正规矩阵M’的逆矩阵。逆正规矩阵M’是进行从正规坐标系向参照图像的坐标系的变换的矩阵。逆正规矩阵M，由第2摄像元件12的第I帧图像的第I输出区域A21的剪切位置即(Xl’，y/ )、(x2’，y2’)、U3，，y/ )求出，是由从设置信息取得部40输出的第2摄像元件12相对于摄像部10的位置信息决定的矩阵。
权利要求
1.一种图像处理装置，其对由摄像装置拍摄的多个帧图像进行图像处理，其中，所述摄像装置具有多个依次连续地拍摄第I帧图像和第2帧图像的摄像元件，所述图像处理装置的特征在于，该图像处理装置具有 设置信息取得部，其按每个所述摄像元件，取得表示所述摄像元件相对于所述摄像装置的设置状态的设置信息； 运动信息取得部，其取得所述第I帧图像和所述第2帧图像间的所述摄像装置的运动/[目息;以及 输出区域取得部，其按每个所述摄像元件，取得第2输出区域的位置信息，该第2输出区域是所述第2帧图像内的区域，与所述第I帧图像内的第I输出区域对应， 所述输出区域取得部根据由所述设置信息决定的所述第I输出区域的位置信息和所述运动信息，取得多个所述摄像元件中的作为基准的基准摄像元件的所述第2输出区域， 所述输出区域取得部根据所述基准摄像元件的设置信息、多个所述摄像元件中的不同于所述基准摄像元件的其它所述摄像元件的设置信息以及所述运动信息，取得其它所述摄像元件的所述第2输出区域。
2.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置具有判定部，该判定部针对所有摄像元件，判定所述第2输出区域的位置信息是否位于所述第2帧图像内， 在所述第2输出区域的位置信息不位于所述第2帧图像内的情况下，所述输出区域取得部对根据所述第I输出区域的位置信息与所述第2输出区域的位置信息之间的差分求出的移动量进行缩小调整，直到在所有摄像元件中，所述第2输出区域的位置信息位于所述第2帧图像内为止。
3.根据权利要求1或2所述的图像处理装置，其中， 所述运动信息取得部从所述基准摄像元件拍摄的所述第I帧图像和所述第2帧图像中取得运动息。
4.根据权利要求1或2所述的图像处理装置，其中， 所述运动信息取得部通过陀螺仪传感器取得运动信息。
5.根据权利要求1或2所述的图像处理装置，其中， 所述运动信息取得部取得从多个所述摄像元件拍摄的所述第I帧图像和所述第2帧图像中得到的运动信息的加权平均，作为运动信息。
6.根据权利要求1 5中的任意一项所述的图像处理装置，其中， 根据摄像条件从多个所述摄像元件的中选择所述基准摄像元件。
7.根据权利要求1 6中的任意一项所述的图像处理装置，其中， 所述输出区域取得部将由于具有多个摄像元件而所需的输出区域以外的区域用作为由于运动而进行校正时使用的区域。
8.一种图像处理方法，对由摄像装置拍摄的多个帧图像进行图像处理，其中，所述摄像装置具有多个依次连续地拍摄第I帧图像和第2帧图像的摄像元件，所述图像处理方法的特征在于，该图像处理方法包括以下步骤 设置信息取得步骤，按每个所述摄像元件，取得表示所述摄像元件相对于所述摄像装置的设置状态的设置信息；运动信息取得步骤，取得所述第I帧图像和所述第2帧图像间的所述摄像装置的运动/[目息;以及 输出区域取得步骤，按每个所述摄像元件，取得第2输出区域的位置信息，该第2输出区域是所述第2帧图像内的区域，与所述第I帧图像内的第I输出区域对应， 在所述输出区域取得步骤中，根据由所述设置信息决定的所述第I输出区域的位置信息和所述运动信息，取得多个所述摄像元件中的作为基准的基准摄像元件的所述第2输出区域， 在所述输出区域取得步骤中，根据所述基准摄像元件的设置信息、多个所述摄像元件中的不同于所述基准摄像元件的其它所述摄像元件的设置信息以及所述运动信息，取得其它所述摄像元件的所述第2输出区域。
全文摘要
图像处理装置和图像处理方法。该装置具有设置信息取得部，其按每个摄像元件取得表示摄像元件相对于摄像部的设置状态的设置信息；运动信息取得部，其取得第1帧图像和第2帧图像间的摄像装置的运动信息；输出区域取得部，其按每个摄像元件取得第2输出区域的位置信息，第2输出区域是第2帧图像内的区域，与第1帧图像内的第1输出区域对应，输出区域取得部根据由设置信息决定的第1输出区域(A11)的位置信息和运动信息取得多个摄像元件中作为基准的基准摄像元件的第2输出区域(A12)，根据基准摄像元件的设置信息、其它摄像元件的设置信息和运动信息取得多个摄像元件中不同于基准摄像元件的其它摄像元件的第2输出区域(A22)。
文档编号G06T7/20GK103037158SQ20121036809
公开日2013年4月10日 申请日期2012年9月28日 优先权日2011年10月4日
发明者羽深兼介, 阿部刚 申请人:株式会社 摩如富