图像处理装置和方法与流程

本发明涉及图像处理装置和方法。更具体地，涉及一种可以减小图像数据项的传输延迟的图像处理装置和方法。

背景技术：

在相关的技术中，已经开发出具有高帧率的图像捕获技术(例如，见专利文献1和专利文献2)。例如，专利文献1公开了一种高速驱动图像传感器以提高高于正常帧速率的帧速率的方法。此外，例如，专利文献2公开了一种使用以正常帧速率驱动的多个图像传感器并将图像传感器彼此之间的驱动时序移位的方法，从而实现整体的高帧率。

引用列表

专利文献

[专利文献1]日本专利jp4503697

[专利文献2]美国专利申请公开us2007/0030342

技术实现要素：

技术问题

然而，近年来，希望在下游处理系统中利用图像传感器获取的高帧频对捕获的图像进行即时(实时)图像处理。为了实现及时图像处理，希望将图像传感器获取的图像数据项以更高的速度传送到下游处理系统。

根据专利文献1中公开的技术，在捕获图像具有高帧速率的情况下，相应地增加光电转换获得的图像数据项的数据速率。因此，希望将图像数据项临时存储在存储器等设备中，并将其发送到外部。然而，在这种情况下，可能产生显著的传输延迟。

此外，根据专利文献2中公开的方法，可以使用具有传统性能的图像传感器来实现高帧速率。然而，为了顺序地将各个图像传感器获取的图像数据项传输到下游处理系统，希望将图像数据项临时存储在存储器等设备中，并且控制定时以传送图像数据项。然而，在这种情况下，可能产生显著的传输延迟。

针对上述情况提出本发明，本发明的一个目的是减小图像数据项的传输延迟。

技术方案

本发明的一个方面是图像处理装置，该图像处理装置包括图像合并单元，该图像合并单元将由彼此不同的图像捕获单元获取的多个捕获图像的各个部分图像合并，并生成一个合成图像。

图像合并单元可以合并由图像捕获单元获取的部分图像，部分图像是在比捕获图像的一帧的曝光时间短的相同周期内获取的。

图像合并单元可以每次在周期内合并部分图像。

图像捕获单元的各个曝光周期可以相互移位。

图像捕获单元的各个曝光周期可在每个预定时间之间相互移位。

预定时间可以短于捕获图像的一帧的曝光时间。

获取部分图像的周期的长度可以是预定时间。

预定时间可以是通过将捕获图像的一帧的曝光时间除以图像合并单元合并的部分图像的数量而提供的时间。

图像合并单元可以合并位于捕获图像彼此不同位置的多个部分图像。

图像捕获单元的各个曝光周期可以是相同的周期。

图像合并单元可以合并位于捕获图像的相同位置的多个部分图像。

一些图像捕获单元的曝光周期可以是相同的，并且其他图像捕获单元的曝光周期可以相互移位。

图像合并单元可以将位于捕获图像的同一位置的多个部分图像与位于捕获图像的位置的部分图像合并，该位置与多个部分图像中的任一位置不同。

图像处理装置还可以包括位置校正单元，位置校正单元根据获得部分图像的图像捕获单元的位置来校正部分图像的位置。

图像处理装置还可以包括追赶处理器，追赶处理器使用由图像合并单元生成的合成图像执行对合成图像中的聚焦目标的追赶。

图像处理装置还可以包括处理执行单元，处理执行单元使用由所述追赶处理器获取的聚焦目标的追赶结果的信息执行对执行器单元的控制的处理，该执行器单元执行预定的物理运动。

图像处理装置还可以包括深度信息生成单元，该深度信息生成单元使用由所述图像合并单元生成的所述合成图像生成关于所述合成图像中目标的深度的深度信息。

图像处理装置还可以包括位置校正单元，该位置校正单元根据获得深度信息的图像获取单元的位置对深度信息生成单元生成的深度信息执行位置校正。

图像处理装置还可以包括多个图像捕获单元。

本发明的另一方面是一种图像处理方法，包括合并由相互不同的图像捕获单元获取的多个捕获图像的各个部分图像；并且生成一个合成图像。

根据本发明的各个方面，将彼此不同的图像捕获单元获取的多个捕获图像的各个部分图像进行合并，并生成一个合成图像。

本发明的有益效果如下：

根据本发明，可以对图像进行处理。另外，根据本发明，可以减小图像数据项的传输延迟。

附图说明

[图1]图1是示出图像处理装置的主要配置示例的框图。

[图2]图2是示出图像捕获装置的主要配置示例的图。

[图3]图3是示出图像处理示例的流程图。

[图4]图4是示出图像数据项的曝光周期的示例的图。

[图5]图5是示出读取图像数据项的示例的图。

[图6]图6是示出读取图像数据项的示例的图。

[图7]图7是示出合成图像数据项的示例的图

[图8]图8是示出合成图像数据项的示例的图。

[图9]图9是示出追赶处理的示例的图。

[图10]图10是示出图像处理的使用示例的图。

[图11]图11是示出图像处理装置的另一个配置示例的框图。

[图12]图12是示出图像处理示例的流程图

[图13]图13是示出图像数据项的曝光周期的示例的图。

[图14]图14是示出读取图像数据项的另一示例的图。

[图15]图15是示出读取图像数据项的另一示例的图。

[图16]图16是示出合并图像数据项的另一示例的图。

[图17]图17是示出合并图像数据项的另一示例的图

[图18]图18是示出深度数据项的示例的图。

[图19]图19是示出计算机的主要配置示例的框图。

具体实施方式

以下将描述实施本发明的方式(以下称为实施例)。实施方式将按以下顺序描述。

1.第一实施例(图像处理装置)

2.第二实施例(图像处理装置)

3.第三实施例(计算机)

<1.第一实施例>

<具有高帧速率的图像数据项的即时图像处理>

在相关技术中，开发了一种以高帧速率捕获图像的技术。例如，根据一种方法，高速驱动一个图像传感器以实现高于正常帧速率的帧速率。根据另一种方法，例如使用多个图像传感器，每一个图像传感器以正常帧速率驱动，并且它们的驱动时序相互移位以实现整体的高帧速率。

在捕获图像具有高帧速率的情况下，相应地增加了通过光电转换获得的图像数据项的数据速率。因此，很难将图像数据项实时地从图像传感器传输到外部，并对图像数据项执行图像处理。因此，一般而言，图像数据项暂时存储在存储器等设备中，并且传输到外部，并且图像处理通常非实时地进行，即所谓的脱机处理。

然而，近年来，希望通过下游处理系统实时地对图像传感器获取的高帧速率的图像进行实时处理。例如，在对捕获的图像进行分析并将分析结果用于设备控制的情况下，从图像捕获到图像处理的时间延迟导致控制延迟。因此，时间延迟越少越理想。如上所述，在图像数据项暂时存储在存储器中的情况下，从图像捕获到图像处理的时间延迟增加。实现即时图像处理比较困难。

为了实现对具有高帧速率的图像数据项的即时图像处理(例如，为了进行图像处理的实时处理)，希望提高图像处理的处理速度以防止数据溢出，并将由图像传感器获取的图像数据项传输到处于实时处理(即时)的下游处理系统，以防止数据溢出。

为了这个目的，例如，在以高速驱动一个图像传感器以实现高帧速率的方法的情况下，图像传感器的整体处理速度可以由从光电转换设备读取图像数据项增加到传输图像数据项到外部。然而，在这种情况下，图像传感器的功率消耗可能增加。此外，还需要高规格的图像传感器来实现从捕获到传输的高速处理。因此，图像传感器的开发和制造成本可能会增加。

相反，在变换以正常帧速率驱动的多个图像传感器彼此的驱动时序以实现整体高帧速率的方法的情况下，高帧速率可由具有常规性能的图像传感器实现，并且图像数据项可以被输出到图像传感器外部。然而，在这种情况下，多个图像数据项被并行发送。具体而言，下游处理系统必须接收并处理并行发送的多个图像数据项。这样的技术没有被构想出来，而且很难实现。即使实现了，也必须在启动图像处理之前接收图像数据项的一个或多个帧。因此，相应接收的图像数据项必须被保存在存储器中，并且可能发生一个或多个帧的时间延迟。

<部分图像的合并>

因此，合并由彼此不同的图像捕获单元获取的多个捕获图像的各个部分图像，并且生成一个合成图像。

例如，图像处理装置包括图像合并单元，该图像合并单元将由不同的图像捕获单元获取的多个捕获图像的各个部分图像合并，并生成一个合成图像。

由于图像以这种方式进行合并，所以传输图像数据项的总线之类的配置可以是简单的，并且只需要下游图像处理器来处理图像项组。因此，实时处理(即，即时图像处理)容易实现。此外，由于合并了部分图像，所以可以在不等待一帧或多帧时间的情况下启动图像处理。换句话说，图像处理时间延迟的增加被抑制。换句话说，通过应用本发明，可以减小图像数据项的传输延迟，同时抑制成本和功耗的增加。

<图像处理装置>

图1是示出应用本发明的图像处理装置的实施例的图像处理装置的主配置示例的图。

在图1中，图像处理装置100是以高帧速率生成捕获图像并在捕获图像上执行即时(实时)图像处理的装置(作为实时处理进行图像处理)。

需注意，由图像处理装置100处理的图像数据项的帧速率的特定数值是任意的。如后面所述，图像处理装置100通过使用多个图像传感器捕获图像，并且生成比每个图像传感器的帧速率高的帧速率的图像数据项。换句话说，在本说明书的描述中，每个图像传感器的帧速率(在帧速率不同的情况下，最高帧速率)将被称为标准帧速率，高于标准帧速率的帧速率将被称为高帧速率。

如图1所示，图像处理装置100包括图像传感器111-1至图像传感器111-n(n是大于等于2的整数)、位置校正单元112-1至位置校正单元112-n，数据合并单元113和gpu(图形处理单元)114。

在以下描述中，在没有必要互相区分图像传感器111-1至图像传感器111-n的情况下，也可以统称为图像传感器111。同时，在没有必要相互区分位置校正单元112-1至位置校正单元112-n的情况下，也可以统称为位置校正单元112。

图像传感器111捕获目标的图像，将来自目标的光进行光电转换，生成捕获图像的图像数据项。每个图像传感器111是cmos(互补金属氧化物半导体)传感器，并且以曝光顺序读取法(也称为滚动快门法)从一行到多行的像素阵列读取图像数据项。图像传感器111向位置校正单元112提供生成的图像数据项。

位置校正单元112为对应于位置校正单元112的图像传感器111生成的图像数据项校正捕获图像之间的由各个图像传感器111的位置差所引起的位移。各个位置校正单元112向数据合并单元113提供位置校正图像数据项。

数据合并单元113将从各个位置校正单元112提供的图像数据项合并。具体地，数据合并单元113将由各个图像传感器111获取的捕获图像的图像数据项(部分图像)合并。数据合并单元113向gpu114提供合并图像数据项作为图像数据项组。

gpu114对数据合并单元113提供的图像数据项组即时(实时)执行图像处理。gpu114执行程序和诸如此类，并处理数据，从而实现关于图像处理的功能。图1的跟踪处理器121是由gpu114实现的功能的功能模块。

跟踪处理器121执行追赶处理(也称为跟踪处理)，在捕获图像中检测预定追赶目标的运动并且追赶目标，捕获图像包含在由数据合并单元113提供的图像数据项(即捕获图像)的图像中。

gpu114输出指示跟踪处理器121追赶处理结果的信息。例如，图像处理装置100还包括控制单元131和执行器132。gpu114向控制单元131提供指示追赶处理结果的信息。

控制单元131基于从gpu114提供的指示追赶处理结果的信息，生成控制执行器132的控制信息。控制单元131在适当的定时向执行器132提供控制信息。

执行器132将电能转换为物理运动，并根据控制单元131提供的控制信号驱动物理元件，例如机械元件。

<图像传感器的排列示例>

图2显示图像传感器111的排列示例。在下面的描述，如图2所示，九个图像传感器111(图像传感器111-0至图像传感器111-8)在水平方向上以预定距离排成一行。换句话说，数据合并单元113将由各个九图像传感器111获取的捕获图像的部分图像合并。需注意，图像传感器111-0至111-8也被称为cam0到cam8。同时，在没有必要相互区分cam0至cam8的情况下，也可以统称为cams(即图像传感器111)。

<图像处理流程>

参照图3的流程图描述图1的图像处理装置100执行的图像处理流程的示例。必要时，将参照图4至图9描述。

在步骤s101中，一旦图像处理装置100启动图像处理，每个图像传感器111在自己的定时上捕获目标的图像。

图4示出了各个图像传感器111的曝光周期(曝光的时期)(换句话说，图像捕获定时)的示例。图4中每个箭头显示对应cam的曝光周期。需注意，为了简便，没有曝光的周期不存在于描述中。在这种情况下，每个图像传感器111的帧速率为60fps，并且捕获图像的一帧的曝光时间(曝光周期长度)为1/60秒。此外，各个图像传感器的曝光时间移位1/540秒。

因此，各个图像传感器111的曝光周期可以相互移位。例如，各个图像传感器111的曝光周期可以以预定时间相互移位。例如，各个图像传感器111的曝光周期可以以比捕获图像的一帧的曝光时间(曝光周期的长度)短的预定时间相互移位。例如，预定时间可以是将捕获图像的一帧的曝光时间(在图4的示例中为“1/60秒”)除以要合并的部分图像的数量(即，图像传感器的数字111(在图4的示例中为“9”))而提供的时间(在图4的示例中为“1/540秒”)。应该认识到，图4的示例用于说明，每个参数的数值，例如曝光周期、帧速率、图像传感器111的数量、图像传感器111之间曝光周期移位的长度(预定时间)可以不同于图4的示例的数值。

再参考图3，在步骤s102，每个图像传感器111在预定定时读取捕获图像的部分图像(去除数据项)。

获得部分图像(带状数据项)的曝光时间的长度比预定时间足够短。此外，获取部分图像(带状数据项)的曝光时间的长度比捕获图像的一帧的曝光时间短。因此，预定时间(读取部分图像(带状数据项)的时间间隔)可以比捕获图像的一帧的曝光时间短。例如，每次可以在各个图像传感器111之间移位的曝光周期读取部分图像(带状数据项)。例如，可以在各个图像传感器111的曝光周期的开始时间读取部分图像(带状数据项)。

例如，在图4所示的各个图像传感器111的曝光周期相互移位1/540秒(预定时间)的情况下，1/540秒可以是读取部分图像的定时的时间间隔(带状数据项)。另外，1/540秒可以是获取捕获图像的部分图像的曝光时间。

如上所述，每个周期从图像传感器111读取图像数据项(带状数据项)。换句话说，在相同的定时从各个图像传感器111读取图像数据项(带状数据项)。图像数据项(带状数据项)是在比捕获图像的一帧的曝光时间短的相同周期内获得的。

如上所述，由于图像传感器111使用滚动快门法读取图像数据项，部分图像(带状数据项)是从捕获图像的一帧的所有行中除去部分行(一行或多条连续行)的图像。另外，在相同的定时从各个图像传感器111读取的部分图像(带状数据项)可以是位于捕获图像的一帧的不同位置(行)上的图像。

例如，在图4的情况下，各个图像传感器111的曝光定时被每隔1/540秒移位一次。在各个图像传感器111的曝光周期的开始时间读取部分图像(带状数据项)，并且1/540秒是获取捕获图像的部分图像(带状数据项)的曝光时间。因此，在预定定时从各个图像传感器111读取的部分图像(带状数据项)是位于捕获图像的一帧的不同位置(行)上的图像。一次读取的带状数据项的行数可以是捕获图像的整个帧的一帧的行数除以图像传感器111的数量而提供的行数。

在图5中示出了在预定定时t0读取带状数据项的示例。在图5中，时间轴为垂直方向(自上而下)。此外，由虚线表示的捕获图像171-0至捕获图像171-8分别表示从各个图像传感器111(cam0到cam8)读取捕获图像的一帧的图像数据项的周期。在下文中，在没有必要相互区分捕获图像171-0至捕获的图像171-8的情况，可以统称为捕获图像171。

如图5所示，从各个图像传感器111读取捕获图像171的一帧的周期以δt(在图4的示例中，δt＝1/540秒)相互移位。此外，在预定定时t0从各个图像传感器111读取带状数据项172-0至带状数据项172-8。在下文中，在没有必要相互区分带状数据项172-0至带状数据项172-8的情况下，可以统称为带状数据项172。

如图5所示，由于各个带状数据项172是在相同周期内获得的数据，对于每个图像传感器111，相对于各个捕获图像171的带状数据项172的位置是不同的。换句话说，相互不同行的数据项在相同定时获得。在图5的示例中，从所有图像传感器111读取一帧的行数的图像数据项(带状数据项)。

图6示出了在下一定时t0+δt读取带状数据项的示例。也在图6中，与图5类似，时间轴为垂直方向(自上而下)。

在定时t0+δt(图6)，读取下一带状数据项。具体地，从定时t0到时间δt的周期内获取的图像数据项，被读取为带状数据项。就cam0而言，由于帧的最后带状数据项在定时t0被读取(图5)，捕获图像171-10的下一帧的第一带状数据项173-0在定时t0+δt(图6)被读取。

也是在定时t0+δt的情况下，从各个图像传感器111获取相互不同行的数据项。具体地，在图6的示例中，从所有图像传感器111读取一帧的行数的图像数据项(带状数据项)。具体地，在每个预定周期δt,从所有图像传感器111读取一帧的行数的图像数据项。

再次参考图3，在步骤s103，位置校正单元112对带状数据项执行位置校正，带状数据项由对应于位置校正单元112的图像传感器111获取。

参考图2所述，由于各个图像传感器111的位置彼此不同，图像捕获范围相互移位。因此，在所有图像传感器111捕获同一目标的图像的情况下，例如，各个捕获图像中的对象的位置相互移位。位置校正单元112执行图像的位置校正，以便减小捕获图像(条状数据项)之间的位移。

例如，在图2的情况下，由于图像传感器111沿水平方向布置在一条直线上，因此位置校正单元112在水平方向上校正位移。

需注意，位置校正是基于图像传感器111的相对位置关系而执行的。因此，位置校正单元112可以提前确定位置关系。

在步骤s104，在基于图像传感器111的相对位置关系执行位置校正的相同定时(即在步骤s102中的处理获取的)上，数据合并单元113合并由各个图像传感器111获取的带状数据项组(即在步骤s103中的处理进行的位置校正)。换句话说，数据合并单元113可以在比捕获图像的一帧的曝光时间短的相同周期获取的的部分图像(带状数据项)。此外，数据合并单元113可以每次在周期内合并部分图像(带状数据项)。此外，图像合并单元113可以合并位于捕获图像彼此不同位置的多个部分图像。

在图7中示出了合并在预定定时t0读取的带状数据项的示例。例如，如图7的a中所示，在定时t0使用各个图像传感器111捕获汽车对象181的图像。如图7的b中所示，由6个图像传感器111获取的捕获图像182-1至捕获图像182-6彼此不同。在下文中，在没有必要相互区分捕获图像182-1至捕获图像182-6的情况下，可以统称为捕获图像182。

此外，在定时t0，从图像传感器111获取带状数据项183-1至带状数据项183-6。在下文中，在没有必要相互区分带状数据项183-1至带状数据项183-6的情况下，可以统称为带状数据项183。

根据图像传感器111之间的位置关系，目标181(汽车)的位置在各个捕获图像182(即，各个带状数据项183)中相互移位。在位置校正单元112对这些带状数据项183执行位置校正之后，数据合并单元113将这些带状数据项183合并以提供图像数据项组。

数据合并单元113将各个带状数据项183排成行，对应于各个带状数据项183的位置关系执行位置校正，并生成合成数据项组184。在参考图4至图6所描述的示例中，由于一帧的行数的图像数据(带状数据项)在上述预定周期δt被读取，合成数据项184为一帧的图像数据项。换句话说，一帧的捕获图像在定时t0被获取。

此外，图8示出了合并在下一定时t0+δt读取的带状数据项的一个示例。例如，如图8的a中所示，使用各个图像传感器111在定时t0+δt捕获汽车目标181的图像。如图8的b中所示，由6个图像传感器111获取的捕获图像185-1至捕获图像185-6彼此不相同。在下文中，在没有必要相互区分捕获图像185-1至捕获图像185-6的情况下，可以统称为捕获的图像185。

此外，在定时t0+δt，从这些图像传感器111获取带状数据项186-1至带状数据项186-6。在下文中，在没有必要相互区分带状数据项186-1至带状数据项186-6的情况下，可以统称为带状数据项186。

还是在这种情况下，数据合并单元113将各个带状数据项186排成行，对应于各个带状数据项186的位置关系执行位置校正，并生成合成数据项组187。换句话说，在参考图4至图6所描述的示例中，合成数据项187是一帧的图像数据项。换句话说，一帧的捕获图像在定时t0+δt被获取。

由于数据合并单元113以这样的方式合并带状数据项，合成数据项(图像数据项的一帧)在每个周期δt被获取。

再次参考图3，在步骤s105中，数据合并单元113发送合成数据到gpu114。

换句话说，gpu114获取捕获图像组，每个捕获图像具有比每个图像传感器111的速率(标准帧速率)高的帧速率(在图4到图6的示例中为540fps)。

因此，gpu114可以以与高帧速率相匹配的处理速度，使用各个合成数据项来执行期望的图像处理。具体地说，由于gpu114不需要执行复杂的处理，包括对齐和处理并行提供的多个图像数据项，以及并行处理多个图像数据项，因此时间延迟和功耗增加被抑制。开发和生产成本的增长也受到抑制。

需注意，每个图像传感器111使用滚动快门法读取图像数据项。事实上，捕获图像(带状数据项)中的目标181的形状因此被扭曲。因此，在定时t0逻辑获取捕获图像的一帧作为合成数据项184。事实上，如图7的合成数据项184和图8的合成数据项187所示，图像中可能存在失真和位移。

然而，通过将失真等因素纳入考虑的位置校正单元112执行位置校正，可以减小位移和变形。换句话说，可以提供与捕获图像基本类似的图像的合成数据项。

在步骤s106，gpu114的跟踪处理器121执行聚焦目标的跟踪处理，由于图像处理使用所提供的合成数据项，聚焦目标包含在合成数据项中。

如图9示出了跟踪处理的示例。例如，在图7和图8的汽车(目标181)为聚焦目标的情况下，跟踪处理器121指定包括在定时t0时合成数据项184的聚焦目标188的区域，并指定包括在定时t0+δt时合成数据项187的聚焦目标189的区域。例如，跟踪处理器121使用运动预测法等方法指定具有与区域188类似的图像的区域189。因此，跟踪处理器121指定包括各个合成数据项的聚焦目标的区域。

再次参考图3，在步骤s107，gpu114输出合成的跟踪结果(例如，关于包括聚焦目标的区域的信息)到控制单元131。

控制单元131根据跟踪结果控制执行器132。执行器132在控制单元131的控制的基础上驱动诸如机器之类的物理机构。

如上文所述，执行每个处理后，图像处理结束。需注意，上述在步骤s101至步骤s107的每个处理，对于每个周期δt是重复的。具体地，每个处理是并行执行的。在图像捕获结束后，每个处理结束。

如上所述，图像处理装置100可以通过使用低功耗和低帧速率(标准帧速率)的多个廉价图像传感器111来实现具有高帧速率的图像捕获。因此，图像处理装置100可以以高帧速率实现图像捕获，而成本的增加和功耗被抑制。此外，如上所述，通过合并在相同定时获得的带状数据项，图像处理装置100可以减小图像数据项的传输延迟，同时成本和功耗的增加被抑制。以这种方式，图像处理装置100可以在成本和功耗的增加被抑制的情况下实现图像数据项的即时图像处理。

<跟踪处理的用法示例>

如上所述，通过使用具有高帧速率的图像数据项进行跟踪处理，具有高追赶性能的跟踪处理将成为可能。换句话说，以高速运动的被追赶对象能够被更精确地追赶。

例如，如图10所示，对运动目标即作为被追赶目标的球191执行跟踪处理。使用跟踪结果，机器人195被控制使得机器人195对球191执行适当的运动。例如，如图10所示，当人将乒乓球191朝向机器人195击球时，图像处理装置100跟踪球191，并使机器人195正确地将球191击回(将球191击回乒乓球台的对手侧)。此时，由于可以使用如上所述的具有极高帧速率的捕获图像执行跟踪处理，即使球191以高速移动，图像处理装置100也可以正确地跟踪球191，其使机器人195执行正确的动作。

<其他例子>

需注意，本发明不限于上述示例。例如，应用本发明的装置的配置不限于图1的图像处理装置100的配置。对于应用本发明的装置来说，仅仅具有图1的数据合并单元113是必要的，其他配置可以被配置为其他装置。此外，例如，一个图像处理装置141可以包括数据合并单元113和gpu114。在这种情况下，一个图像捕获装置142可以包括图像传感器111和位置校正单元112。可选地，一个装置可以包括各个图像传感器111，并且一个装置可以包括各个位置校正单元112。

此外，一个图像处理装置143可以包括图像处理装置141和图像捕获装置142。此外，一个控制装置144可以包括图像处理装置143和控制单元131。

图像传感器111可以具有任何帧速率。在上述描述中，各个图像传感器111具有相同的帧速率。然而，至少一部分图像传感器111的帧速率可以与至少其它部分的图像传感器111的帧速率不同(可以不相同)。

类似地，图像传感器111的像素的数量是任意的，并且对于所有图像传感器111来说，像素的数量可以相同或不相同。此外，像素的排列是任意的。例如，各个像素可以排列在阵列或其他诸如不是阵列的蜂窝中。此外，对于所有图像传感器111，各个像素的排列可以相同或不相同。

此外，只要提供多个图像传感器111，图像传感器111的数目是任意的。此外，图像传感器111可以是ccd(电荷耦合设备)。更进一步，读取每个图像传感器111的图像数据项的方法可以不是滚动快门法。例如，该方法可以是一个全局快门法。用于所有图像传感器111的方法可以是相同的或不同的。

此外，足够的带状数据项可以是所拍摄图像的部分图像的图像数据项。例如，该带状数据项的数目是任意的。换句话说，带状数据项的读取定时间隔是任意的。例如，带状数据项的读取定时间隔可以与滚动快门法的读取定时间隔相同或不相同。

此外，在各个定时读取的带状数据项的行数可以总是相同的或不相同的。此外，所有图像传感器111在各个定时读取的带状数据项的行数可以是相同的或不相同的。换句话说，读取间隔(δt)可以总是一致的或者变化的。对于所有图像传感器111，间隔可以是相同的或不相同的。

此外，带状数据项的形状(即部分图像的形状)是任意的。例如，带状数据项可以包括用于列单元的图像数据项，或者可以包括块单元的图像数据项，例如宏块。

此外，一个图像传感器111的部分多个带状数据项可以彼此重叠。

图像传感器111的排列方法是任意的。图像传感器111可被线形排列，曲线形排列、平面形排列、或在任意方向弯曲。另外，各个图像传感器111可以按规则间隔或不规则间隔排列。

需注意，位置校正单元112可以省略。特别地，在gpu114不在多个带状数据项上执行图像处理的情况下，不需要位置校正，并且可以省略位置校正单元112。另外，可以在数据项被合并之后执行位置校正。

需注意，校正位移的方向可以是与图像传感器111的位置关系相对应的任意方向，不限于上述水平方向。

此外，数据合并单元113可以仅合并部分带状数据项目。此外，数据合并单元113可以改变对应于定时而合并的条带数据项。同时，数据合并项可以不少于一帧的捕获图像。

例如，在图4的示例中，在cam0启动图像捕获的时间，其他cams的图像捕获不启动。因此，合并数据项不形成一帧的图像数据项。然而，由于合并数据项可以被发送到gpu114，所以可以启动图像处理。因此，可以减小图像处理的延迟。例如，在作为图像处理进行跟踪处理的情况下，具有高追赶性能的跟踪处理是可能的。换句话说，以更高的速度移动的被追赶目标可以被更精确地追赶。

需注意，由gpu114执行的图像处理是任意的，并且可以是跟踪处理以外的其他处理。例如，图像处理包括编码和解码。然而，由于合并数据项是带状数据项的聚合，如如上所述，容易生成位移、扭曲等。因此，在大多数情况下，在合并数据项用作观察数据项的情况下，可能需要抑制图像质量退化的处理。

此外，控制单元131不仅可以执行执行器132(执行器单元)的控制，也可以执行任意处理。此外，执行器132可以是执行任何物理运动的任何执行单元。

<2.第二实施例>

<图像处理装置>

另一个图像处理的示例，gpu114可以执行立体匹配处理以生成深度图(也被称为深度信息)，例如，深度图包括在来自多个具有相互视差图像的立体图像的图像捕获范围内的每个位置的深度信息。在这种情况下，例如，一些图像传感器111的曝光周期可以是相同的，并且其他的曝光周期可以相互移位。换句话说，数据合并单元113将位于捕获图像的相同位置上的带状数据项和位于捕获图像的位置上的带状数据项合并，该位置不同于任何多个带状数据项的位置。

图11是示出应用本发明的图像处理装置的另一实施例的图像处理装置的主配置示例的图。

在图11中，图像处理装置200是以生成具有高帧速率的捕获图像并在捕获图像上即时(实时)执行图像处理的装置(执行作为实时处理的图像处理)。图像处理装置200作为图像处理执行上述立体匹配处理。

如图11所示，图像处理装置200包括图像传感器111、数据合并单元113和gpu114。这些基本上与第一实施例中描述的相似，因此下文将省略其详细描述。

从各个图像传感器111读取的带状数据项被提供给数据合并单元113。具体地，在这种情况下，数据合并单元113合并不执行位置校正的带状数据项，并向gpu114提供带状数据项。

gpu114包括立体匹配处理器211和位置校正单元212作为功能块。

立体匹配处理器211使用来自数据合并单元113提供的合并数据项来执行立体匹配处理。合并数据项使用在相同的曝光期间获得的带状数据项形成具有多个相互视差的立体图像，这将在下文中详细描述。立体匹配处理器211生成深度图，深度图映射图像捕获范围内的每一位置的深度信息。

位置校正单元212为深度图校正捕获图像之间的由各个图像传感器111的位置差所引起的位移。gpu114的输出位置校正的深度图。例如，图像处理装置100还包括3d图像生成单元221。gpu114为3d图像生成单元221提供位置校正的深度图。

3d图像生成单元221使用所提供的深度图生成3d图像，即立体图像。<图像传感器的排列示例>

与第一实施例类似，图像传感器111的排列为任意的。在下面的描述中，图像传感器111在水平方向上排列成与图2类似的一行。

<图像处理流程>

参照图12的流程图描述图11的图像处理装置200执行的图像处理的流程示例。如有必要，将参考图13至图18来描述。

在步骤s201中，一旦图像处理装置200开始处理图像，每个图像传感器111在各自的定时捕获目标的图像。

作为图13的示例，各个图像传感器111的曝光周期(曝光的时期)(换句话说，图像捕获定时)被控制。图13中每个箭头显示对应的cam的曝光周期。在图13的示例中，cam0和cam5的的曝光周期是相同的，cam1和cam6的曝光周期是相同的，cam2和cam7的曝光周期是相同的，cam3、cam4和cam8的曝光周期是相同的。具体地，九个图像传感器111的曝光周期的定时被分为四组。

因此，假设每个图像传感器111的帧速率为60fps，则根据每个曝光时间(1/60秒)除以图像传感器111的组数(4)所提供的时间，即1/240秒来移位各组的曝光周期。

因此，在第二实施例的情况下，一些图像传感器111具有相同的曝光时间。

再次参考图12，在步骤s202中，每个图像传感器在预定定时将捕获图像的带状数据项，读取到图像传感器111的外部。换句话说，类似于第一实施例，从各个图像传感器111读取带状数据项。具体地，在相同周期中获取的带状数据项由各个图像传感器111在相同定时读取。

然而，如上所述，在第二实施例的情况下，由于一些图像传感器111具有相同的曝光周期，从各个图像传感器111读取的一些条带数据项在行的相同位置上具有相同的图像数据项。

在图14中示出了在预定定时t0读取条带数据项的示例。在图14中，由虚线表示的捕获图像251-0至捕获图像251-8分别表示从各个图像传感器111(cam0至cam8)读取的一帧的图像数据项的周期。在下文中，在没有必要相互区分捕获图像251-0至捕获图像251-8的情况下，可以统称为捕获图像251。

如图14所示，从cam0至cam3的捕获图像251的一帧的读取周期相互以δt移位(在图13的示例中，δt＝1/240秒)。此外，从cam5至cam8的捕获图像251的一帧读取周期相互相移位δt(在图13的示例中，δt＝1/240秒)。

如上所述，由于cam0的曝光周期和cam5是相同的，捕获图像251-0的读取周期和来自cam5的捕获图像251-5的读取周期也是相同的。同样，分别地，捕获图像251-1和捕获图像251-6的读取周期是相同的，捕获图像251-2和捕获图像251-7的读取周期是相同的，捕获图像251-3和捕获图像251-8的读取周期是相同的。需注意，捕获图像251-4的读取周期与捕获图像251-3和捕获图像251-8的读取周期相同。

在预定定时t0，假设从各个图像传感器111读取带状数据项252-0至带状数据项252-8。在下文中，在没有必要相互区分带状数据项252-0至带状数据项252-8的情况下，可以统称为带状数据项252。

由于各个带状数据项252是在相同周期内获得的数据项，因此相对于各个捕获图像251的带状数据项252的位置如图14所示。换句话说，在相同定时从图像传感器111-0至图像传感器111-3获取相互不同行的数据项。类似地，从图像传感器111-5至图像传感器111-8获取相互不同行的数据项。

换句话说，从图像传感器111-0和图像传感器111-5获取同行的带状数据项。类似地，从图像传感器111-1和图像传感器111-6，从图像传感器111-2和图像传感器111-7，从图像传感器111-3、图像传感器111-4和图像传感器111-8分别获取同行的带状数据项。

由于从图像传感器111获取的同行带状数据项相互不同，带状数据项具有相互视差。换句话说，第二实施例提供具有相互视差的多个图像的立体图像的带状数据项。

图5示出在下一定时t0+δt读取带状数据项的示例。在定时t0+δt(图15)读取下一带状数据项。具体地，从定时t0开始的时长δt的周期内获取的图像数据项被读取为带状数据项。对cam0而言，由于帧的最后带状数据项在定时t0被读取(图14)，捕获图像251-10的下一帧的第一带状数据项253-0在定时t0+δt被读取(图15)。类似地，由于帧的最后带状数据项在定时t0被读取(图14)，捕获图像251-15的下一帧的第一带状数据项253-0在定时t0+δt被读取(图15)。

还是在定时t0+δt的情况下，带状数据项与定时t0的情况类似地被读出(图14)。换句话说，第二实施例提供了具有相互视差的立体图像的带状数据项。

再次参考图12，在步骤s203，数据合并单元113合并由各个图像传感器111在相同定时获取的带状数据项组(即在步骤s202通过处理获取的)。

在图16中示出了合并在预定定时t0读取的带状数据项的示例。例如，如图16的a中所示，在定时t0处使用各个图像传感器111捕获作为目标261的汽车的图像。如图16的b中所示，由m个图像传感器111获取的捕获图像262-1至捕获图像262-m(其中m为自然数)相互不同。在下文中，在没有必要相互区分捕获图像262-1至捕获图像262-6的情况下，可以统称为捕获图像262。

此外，在定时t0，从这些图像传感器111获取带状数据项263-1至带状数据项263-m。在下文中，在没有必要相互区分带状数据项263-1至带状数据项263-m的情况下，可以统称为带状数据项263。

数据合并单元113以任意顺序排列各个条带数据项263以生成合并数据项集264。例如，如图16的示例，立体图像的带状数据项263可以被相邻地排列。

也是在这种情况下，由于没有执行位置校正，如图16的示例，在合并数据项264的各个带状数据项中生成图像位移等，并且它们的位置相互移位。

此外，图17示出了合并在下一定时t0+δt读取的带状数据项的示例。例如，如图17的a中所示，在定时t0+δt，使用各个图像传感器111捕获汽车目标181的图像。如图17的b中所示，由m个图像传感器获取的捕获图像265-1至捕获图像265-6相互不同。在下文中，在没有必要相互区分捕获图像265-1至捕获图像265-6的情况下，可以统称为捕获图像265。

此外，在定时t0+δt，从这些图像传感器111获取带状数据项266-1至266-6。在下文中，在没有必要相互区分带状数据项266-1条至数据项266-6的情况下，可以统称为带状数据项266。

也是在这种情况下，数据合并单元113以任意顺序排列各个条带数据项266，以生成合并数据项集267。例如，如图17的示例，立体图像的带状数据项266可以被相邻地排列。

也是在这种情况下，由于没有执行位置校正，如图17的示例，在合并数据项267的各个带状数据项中生成图像位移等，并且它们的位置相互移位。

在参照图13至图15所描述的示例中，合并数据项264和合并数据项267分别为一帧的立体图像数据项。换句话说，由于带状数据项由数据合并单元113合并，合并数据项(图像数据项的一帧)在每个周期δt被获取。

再次参考图12，步骤s204，数据合并单元113发送合并数据项到gpu114。

换句话说，gpu114获取捕获图像集，其中每个捕获图像具有比每个图像传感器111的帧速率(标准帧速率)高的帧速率(在图13到图15的示例中，为240fps)。

因此，也是在第二实施例中，gpu114可以在与高帧速率匹配的处理速度下使用各个合并数据项来执行期望的图像处理。具体地，由于gpu114不需要执行复杂的处理，包括对齐和处理并行提供的多个图像数据项，并且并行处理多个图像数据项，则时间延迟和功耗的增加受到抑制。此外，开发和生产成本的增长也受到抑制。

在步骤s205，gpu114的立体匹配处理器211使用立体图像执行立体匹配处理，由于图像处理使用所提供的合并数据项，立体图像包含在合并数据项中。

通过立体匹配处理，生成图18的a至图18的f所示的深度图271。每一个深度图271通过亮度指示距离图像捕获范围内的每个位置上的目标的距离(深度)。具体地，生成具有高帧速率的深度图。因此，图像处理装置200可以更精确地确定与高速移动的目标的距离。

再次参考图12，在步骤s206，执行深度图的位置校正。需注意，深度图的位置校正是使用立体图像执行的，因此可以处理帧中各个带状数据项的深度图。因此，在立体匹配处理之前不必进行位置校正。

在步骤s207，gpu114输出合成的深度图到3d图像生成单元221。3d图像生成单元221使用深度图生成立体图像(3d图像)。

在执行如上所述的每个处理之后，结束图像处理。需注意，上述步骤s201至步骤s207中的每一个处理，在每个周期δt重复。具体地，每个处理是并行执行的。在图像捕获结束后，每个处理结束。

如上所述，图像处理装置200可以通过使用低功耗和低帧速率(标准帧速率)的多个廉价图像传感器111来实现具有高帧速率的图像捕获。因此，图像处理装置200可以在实现具有高帧速率的图像捕获的同时抑制成本和功耗的增加。此外，如上所述，通过合并在相同定时获得的带状数据项，图像处理装置200可以在降低图像数据项的传输延迟的同时抑制成本和功耗的增加。以这种方式，图像处理装置200可以在成本和功耗的增加被抑制的情况下实现图像数据项的即时图像处理。

<其他例子>

需注意，本发明不限于上述示例。例如，应用本发明的装置的配置不限于图11的图像处理装置200的配置。对于应用本发明的装置来说，仅仅具有图11的数据合并单元113是必要的，其他配置可以被配置为其他装置。此外，例如，一个图像处理装置231可以包括数据合并单元113和gpu114。在这种情况下，一个图像捕获装置232可以包括图像传感器111。可选地，一个装置可以包括各个图像传感器111，并且一个图像捕获装置233可以包括图像处理装置231和图像捕获装置232。

此外，例如，数据合并单元113可以合并多个图像传感器111在相同周期获得的多个部分图像，多个图像传感器111的曝光周期相同。换句话说，数据合并单元113可以合成位于捕获图像的相同位置的多个部分图像。

<3.第三实施例>

<计算机>

上述一系列处理可由硬件或软件执行。当一系列处理由软件执行时，配置软件的程序被安装到计算机中。这里，计算机包括被并入专用硬件的计算机，例如，能够通过安装各种程序来实现各种功能的通用个人计算机等。

图19是示出通过程序执行上述一系列处理的计算机的硬件结构的示例的框图。

在图19的计算机800中，cpu(中央处理单元)801、rom(只读存储器)802和ram(随机访问存储器)803经由总线804彼此连接。

输入和输出接口810进一步被连接到总线804。输入单元8110、输出单元812、存储单元813、通信单元814和驱动器815被连接到输入和输出接口810。

输入单元811可以包括键盘、鼠标、麦克风等。输出单元812包括显示器、扬声器等。存储单元813包括硬盘，非易失性存储器等。通信单元109可以包括网络接口等。驱动器815驱动可移动介质821，例如磁盘、光盘、磁光盘和半导体存储器。

在上述配置的计算机中，例如，cpu801通过输入和输出接口810和总线804将存储在存储单元813中的程序加载到ram803中，并执行该程序，从而执行上述的一系列处理。由cpu801等执行各种处理所需的数据被适当地存储在ram803中。

由计算机(cpu801)执行的程序可以记录在可移动介质821中，并且被提供为例如包装介质等。在这种情况下，可以通过将可移动介质821加载到驱动器815，经由输入和输出接口810将程序安装到存储单元813中。

进一步地，可以通过有线或无线传输介质(如局域网、因特网和数字卫星广播)提供该节目。在这种情况下，可以在通信单元814处接收程序并安装到存储单元813中。

此外，程序可以预先安装到rom102或存储单元108中。

需注意，由计算机执行的程序可以是方法步骤按照说明书中描述的顺序以时序执行的程序，或者可以是方法步骤并行执行的程序，或者是在必要定时调用的程序。

需要注意的是，在本说明书中，用于说明上述一系列方法的步骤不仅包括按照所描述顺序以时序执行的方法，还包括无需按照时序处理的并行或单独执行的方法。

此外，如上所述的每一步骤中的处理可以由如上所述的每个装置执行，或由上述装置以外的任意装置执行。在这种情况下，执行处理的装置可以具有执行处理所必需的功能(例如功能块)。另外，处理所必需的信息可根据情况发送到装置。

此外，在本说明书中，系统的含义是具有多个配置的元件(例如装置或模块(部件))的集合，并且不考虑所有配置的元件是否在同一个外壳中。因此，系统可以是存于单独的外壳中的并通过网络连接的多个装置，或者是在单个外壳中的多个模块。

此外，如上所述作为一个设备(或处理单元)的配置可被划分为多个设备(或处理单元)。反之，如上所述的多个设备(或处理单元)的配置可组合成一个设备(或处理单元)。此外，应当理解，上述配置以外的配置可以添加到每个设备(或每个处理单元)的配置中。此外，如果整个系统的配置或操作基本上相同，则任何设备(或处理单元)的配置的一部分可以包括在另一设备(或另一处理单元)的配置中。换句话说，本发明不限于上述实施例，并且可以在不脱离本发明精神的情况下进行各种更改。

虽然参照附图详细描述了本发明的优选实施例，但本发明不限于这样的示例。显然，本领域技术人员可以在权利要求的技术思想的精神内构思各种变化或修改，应当理解，这些变化或修改属于本发明的技术范围之内。

例如，本发明可以采取云计算的配置，通过多个设备经由网络共享一个功能并执行协同处理。

此外，上述流程图中描述的各个步骤可以由一个装置执行，或者也可以通过与多个装置共享步骤来执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包含的多个处理可以由一个装置执行，或者也可以通过与多个设备共享步骤来执行。

此外，本发明不限于此，可以被实现为安装在设备上的任何类型的配置，其配置设备和系统，例如，作为系统大规模集成(lsi)的处理器，包含多个处理器的模块，包括多个模块的单元，以及添加到单元上具有其他功能的集合(即设备的部分配置)。

本发明可应用于包括信号处理、图像处理、编解码、测量、计算控制、驱动控制、显示等多种技术。例如，本发明可以应用于内容创建、运动场景分析、医用设备控制、用于电子显微镜控制的视场控制的mems(微电子机械系统)、机器人的驱动控制、生产线之类的fa(工厂自动化)设备控制、监控摄像机的目标跟踪、3d测量、碰撞测试、如汽车或飞机的操作控制、智能运输系统(its(智能交通系统)外观检查、用户界面、增强现实(ar)、数字档案馆、生命科学等。

本发明还可以包括以下配置：

(1)一种图像处理装置，包括：

图像合并单元，其合并由相互不同的捕获单元获取的多个捕获图像的各个部分图像，并生成一个合成图像。

(2)如(1)所述的图像处理装置，其中

所述图像合并单元合并由所述图像捕获单元获取的所述部分图像，在比所述捕获图像的一帧的曝光时间短的相同周期内获取所述部分图像。

(3)如(2)所述的图像处理装置，其中

所述图像合并单元每次在所述周期内合并所述部分图像。

(4)如(2)或(3)所述的图像处理装置，其中

所述图像捕获单元的各个曝光周期相互移位。

(5)如(4)所述的图像处理装置，其中

所述图像捕获单元的所述各个曝光周期在每个预定时间相互移位。

(6)如(5)所述的图像处理装置，其中

所述预定时间短于所述捕获图像的一帧所述曝光时间。

(7)如(6)所述的图像处理装置，其中

获取所述部分图像的所述周期的长度为预定时间。

(8)如(7)所述的图像处理装置，其中

所述预定时间是通过将所述捕获图像的一帧的所述曝光时间除以所述图像合并单元合并的所述部分图像的数量而提供的时间。

(9)如(4)至(8)任一所述的图像处理装置，其中

所述图像合并单元合并位于所述捕获图像彼此不同位置的多个部分图像。

(10)如(2)至(9)任一所述的图像处理装置，其中

所述图像捕获单元的所述各个曝光周期为相同周期。

(11)如(10)所述的图像处理装置，其中

所述图像合并单元合并位于所述捕获图像的相同位置的所述多个部分图像。

(12)如(2)至(11)任一所述的图像处理装置，其中

一些所述图像捕获单元的所述曝光周期相同，并且其他的所述曝光周期相互移位。

(13)如(12)所述的图像处理装置，其中

所述图像合并单元将位于所述捕获图像的相同位置的多个部分图像和位于所述捕获图像的位置的所述部分图像合并，所述位置与任一所述多个部分图像的位置不同。

(14)如(1)至(13)任一所述的图像处理装置，进一步包括：

位置校正单元，其根据获取所述部分图像的所述图像捕获单元的位置来校正所述部分图像的位置。

(15)如(1)至(14)任一所述的图像处理装置，进一步包括：

追赶处理器，其使用由所述图像合并单元生成的所述合成图像，在所述合成图像中执行对聚焦目标的追赶。

(16)如(15)所述的图像处理装置，进一步包括：

处理执行单元，其使用由所述追赶处理器获取的聚焦目标的追赶结果的信息执行对执行器单元的控制的处理，该执行器单元执行预定的物理运动。

(17)如(1)至(16)任一所述的图像处理装置，进一步包括：

深度信息生成单元，其使用由所述图像合并单元生成的所述合成图像生成关于所述合成图像中目标的深度的深度信息。

(18)如(17)所述的图像处理装置，进一步包括：

位置校正单元，其根据获取所述深度信息的所述图像捕获单元的所述位置对所述深度信息生成单元生成的所述深度信息执行位置校正。

(19)如(1)至(18)任一所述的图像处理装置，进一步包括：

所述多个图像捕获单元。

(20)一种图像处理方法，包括：

合并由相互不同的图像捕获单元获取的多个捕获图像的各个部分图像；并且

生成一个合成图像。

附图标记列表

100图像处理装置

111图像传感器

112位置校正单元

113数据合并单元

114gpu

121跟踪处理器

131控制单元

132执行器

141图像处理装置

142图像捕获装置

143图像处理装置

144控制装置

171捕获图像

172和173带状数据项

181目标

182捕获图像

183带状数据项

184合并数据项

185捕获图像

186带状数据项

187合并数据项

191球

195机器人

200图像处理装置

211立体匹配处理器

212位置校正单元

2213d图像生成单元

231图像处理装置

232图像捕获装置

233图像处理装置

251捕获图像

252和253带状数据项

261目标

262捕获图像

263带状数据项

264合并数据项

265捕获图像

266带状数据项

267合并数据项

271深度图

800计算机。