专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本公开涉及一种用于生成全景(panoramic)图像的图像处理设备和图像处理方法以及用于实现其的程序。
背景技术：
如在日本专利申请特开No. 2010-161520中所描述的，已知用于从多个图像来生成ー个全景图像的图像处理。在合成多个成像后图像(多个帧图像数据)以生成全景图像的过程中，如果在成像后场景中存在运动对象，则这变为图像爆裂(crash)或降级的图像质量的缘由，例如，一部分运动对象是分离的或模糊的。
因而，已提出了一种用于检测运动对象并在避开运动对象的同时确定形成全景图像的接合处(接缝)的方法。
发明内容
当在避免特定对象的同时确定接缝并合成每个图像吋，出现下述问题。为了对于整个全景图像确定最适宜的接合处，參考要合成的所有图像帧的信息(位置、像素、运动对象、人脸检测等中的至少ー个)来确定接合处。因而，在对所有图像帧的处理(成像、对准、各种检测处理等)完成之前，将不开始确定接合处的处理。这意味着，在用于执行全景合成的系统中，在完成对最终成像后图像的处理之前，要保存包括所有图像的像素信息的所有信息。因为在全景合成中通常合成具有较宽范围的重叠区域的大量静止图像，所以成像后图像的数据量是最終全景图像的数据量的几倍至几十倍。因此，特别是在对存储器容量具有严格限制的合成设备中，这可能变成降低全景图像的图像质量或引发全景场角变窄的因素。例如，除非采取诸如降低成像后图像的分辨率或減少成像后图像的数量的措施，否则在ー些情况下可能不能实现全景图像的生成，并且，很难生成具有高分辨率、高图像质量和宽场角的全景图像。因为在完成所有图像的成像之前不开始接缝的确定，所以同时增加了全景合成时间。就这样的问题来看，希望实现在全景图像的生成中，利用较低的存储器容量和较短的处理时间、在避免运动对象的接合处执行合成的过程。根据本公开，提供了ー种图像处理设备，包括对象信息检测部分，用于在用来生成全景图像的一系列n个帧图像数据的输入过程中检测关于帧图像数据的对象信息；以及接缝确定处理部分，用于在输入过程中依序执行如下处理，即通过使用对于每m+l(m < n)帧图像数据组由对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每ー个的位置并确定m或更少个接合处。
其可以进一歩包括图像合成部分，用于通过基于由接缝确定处理部分确定的接合处合成每个帧图像数据，来使用n个帧图像数据而生成全景图像数据。根据本公开，提供了ー种图像处理方法，包括，在用来生成全景图像的一系列n(m< n)个帧图像数据的输入过程中，依序执行如下处理检测关于帧图像数据的对象信息；以及通过使用对于每m+1帧图像数据组由对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每ー个的位置并确定m或更少个接合处。根据本公开，提供了一种用于使得计算处理单元在用来生成全景图像的一系列n(m < n)个帧图像数据的输入过程中，依序执行如下处理的程序检测关于帧图像数据的对象信息；以及通过使用对于每m+1帧图像数据组由对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每ー个的位置并确定m或更少个接合处。
根据上述本公开的实施例，当通过合成n个帧图像数据生成全景图像时，在这样的n个帧图像数据的输入过程中依序确定接合处(接縫)。换句话说，对于每m+1帧图像数据组，关于m+1帧图像数据的相邻图像之间的m个接缝全面地获得最佳接合处位置。然后，确定m或更少个接合处(至少ー个或更多个接合处)。在帧图像数据的输入过程中重复执行该处理以确定每个接缝。因此，能够在完成所有n个帧图像数据的输入之前进行接缝确定处理。此外，因为在其中确定接缝的帧图像数据中已经确定了不用于全景合成的图像部分，所以要存储的图像容量可以被减小。此外，可以通过利用m+1帧图像数据组来获得每个接缝，而执行考虑全部多个帧图像数据的接缝确定。根据本公开的实施例，可以在全景图像的生成中利用较低的存储器容量和较短的处理时间来实现在避免运动对象的接合处执行合成的过程。因为就m+1帧图像数据组中的全部多个帧图像数据来获得最佳接缝，所以所确定的接缝变为更适当的位置。
图I是根据本公开的实施例的成像设备的框图；图2是在全景成像中得到的图像组的示范性视图；图3是全景成像的帧图像数据中的接缝的示范性视图；图4是全景图像的示范性视图；图5是实施例的全景合成过程的示范性视图；图6是实施例的成本函数(cost function)的示范性视图；图7是其中在实施例的成本函数上反映空间条件的示范性视图；图8是实施例的帧之间的成本函数的关系的示范性视图；图9是实施例的全景合成过程示例I的流程图；图10是实施例的接缝前后的混合过程的示范性视图；、图11是在实施例的输入过程中的接缝确定的示范性视图；图12是要在实施例的接缝确定之后保存的区域的示范性视图13是与实施例的帧次序对应的接合处设置范围的示范性视图；图14A是实施例的全景合成过程示例II的流程图；图14B是实施例的全景合成过程示例II的流程图；并且图15是实施例的全景合成过程示例III的流程图。
具体实施例方式下面，将參考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的參考数字来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复解释。下面将按以下次序描述实施例。在本文档中，有时将图14A和图14B简单指示为图14，并且当对它们进行区分时用符号A、B来指示。在实施例中，将通过示例的方式来描 述安装有本公开的图像处理设备的成像设备。〈I.成像设备的构造〉<2.全景合成功能的概述><3.实施例的全景合成算法〉<4.全景合成过程示例I〉<5.全景合成过程示例II〉<6.全景合成过程示例III〉<7.程序〉<8.变体 >〈I.成像设备的构造〉图I示出成像设备I的构造示例。成像设备I包括透镜单元100、成像元件101、图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107和传感器部分108。透镜单元100收集对象的光图像。透镜单元100具有用于调整焦距、物距(subjectdistance)、光圈等的机制，以使得根据来自控制部分103的指令获得适当图像。成像元件101对由透镜单元100收集的光图像进行光电转换以转换成电信号。具体地，通过CCD (电荷耦合器件)图像传感器、CMOS (互补金属氧化物半导体)图像传感器等来实现成像元件101。图像处理部分102包括采样电路，用于对来自成像元件101的电信号进行采样；A/D转换器电路，用于将模拟信号转换成数字信号；图像处理电路，用于对数字信号执行预定的图像处理；等等。这里，图像处理部分102适于执行随后将描述的用于通过成像元件101中的成像来获得帧图像数据的处理及用于合成全景图像的处理。图像处理部分102不仅包括专用的硬件电路，还包括能够执行软件处理以负责灵活的图像处理的CPU(中央处理单元)和DSP(数字信号处理器)。控制部分103包括CPU及控制程序，并且控制成像设备I的每个单元。控制程序自身实际被存储在存储器部分105中，并且由CPU执行。通过控制部分103和图像处理部分102来执行本实施例的用于合成全景图像的过程(随后将描述的全景合成过程I、II、III等)。
显示部分104包括D/A转换器电路，用于将由图像处理部分102处理并存储在存储器部分105中的图像数据转换成模拟形式；视频编码器，用于将模拟形式的图像信号编码成适于后级中的显示设备的形式的视频信号；以及显示设备，用于显示与输入的视频信号相对应的图像。例如通过IXD(液晶显示器)、有机EL(电致发光)面板等来实现显示设备，并且显示设备还具有用作取景器(finder)的功能。存储器部分105包括诸如DRAM(动态随机存取存储器)的半导体存储器，并且临时记录由图像处理部分102处理的图像数据、控 制部分103中的控制程序及各种类型的数据。记录设备106包括诸如半导体存储器的记录介质，包括闪速存储器(闪存)、磁盘、光盘及磁光盘；以及关于这些记录媒体的记录和再现系统电路/机制。在成像设备I的成像中，由图像处理部分102编码成JPEG(联合图片专家组)格式并且存储在存储器部分105中的JPEG图像数据被记录在记录媒体上。在再现中，保存在记录媒体中的JPEG图像数据被读取到存储器部分105中，并且经历图像处理部分102的解码过程。可以将解码的图像数据显示在显示部分104中，或者可以通过外部接ロ(未示出)将其输出到外部设备。操作部分107包括诸如快门按钮、操作盘的硬件键以及诸如触摸板的输入设备，并且适于检测拍摄者(用户)的输入操作及将其发送到控制部分103。控制部分103根据用户的输入操作来确定成像设备I的操作，并且执行控制使得每个单元执行期望的操作。传感器部分108包括陀螺仪传感器、加速传感器、地磁传感器、GSP (全球定位系统)传感器等，并且适于执行对各种类型的信息的检测。这样的信息作为元数据被添加到成像后图像数据，此外，在各种图像处理和控制过程中被使用。通过总线109使图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107和传感器部分108相互连接，使得可以交换图像数据、控制信号
坐寸o<2.全景合成功能的概述>现在将描述成像设备I的全景合成功能的概述。本实施例的成像设备I能够通过关于在拍摄者绕某个选择轴旋转地移动成像设备I的同时成像时获得的多个静止图像(帧图像数据)来执行合成过程，生成全景图像。图2A示出全景成像时的成像设备I的移动。由于当合成全景图像时长距离视图和短距离视图的视差导致接合处的不自然，所以期望成像时的旋转中心是不产生被称为节点(nodal point)的视差的、对透镜来说卩隹一的点。成像设备I在全景成像时的旋转移动被称为“扫视(swe印)”。图2A是当对通过成像设备I的扫视而获得的多个静止图像执行适当对准时的概念图。利用按照成像的时间次序的成像中获得的每个静止图像，将从时间0至时间n-1成像的帧图像数据指示为帧图像数据FM#0、FM#1、. . .、FM# (n-1)。当从n个静止图像生成全景图像时，如图I中所示，对依序成像的一系列n帧图像数据FM#0至FM# (n-1)执行合成过程。如图2A中所示，每个成像后图像数据必须与相邻的帧图像数据具有重叠的部分，并且因此要适当设置成像设备I的每个帧图像数据的成像时间间隔及拍摄者进行扫视的速度的上限值。以此方式对准的帧图像数据组具有许多重叠部分，并且因此应关于每个帧图像数据确定用于最后的全景图像的区域。换句话说，要确定全景合成过程中的图像的接合部分(接缝)。在图3A和图3B中，示出了接缝SM的ー个示例。接缝可以是如图3A中所示的垂直于扫视方向的线或可以如图3B中所示是非线性(曲线等)的。在图3A和图3B中，接缝SMO示出了在帧图像数据FM#0、FM#1之间的接合处，接缝SMl示出了在帧图像数据FM#1、FM#2之间的接合处，,以及接缝SM(n-2)示出了在帧图像数据FM# (n-2)、FM# (n-1)之间的接合处。
这样的接缝SMO至SM (n-2)在合成时变成相邻的图像之间的接合处，使得每个帧图像数据中的阴影部分变成在最后的全景图像中不使用的图像区域。当执行全景合成时，为了降低接缝周围的图像的不自然，有时对在接缝之前和之后的图像区域执行混合(blend)过程。随后将在图9中描述混合过程。通过在较宽范围上执行混合过程可以接合每个帧图像数据的共同部分，或可以从共同部分中针对每个像素选择对全景图像做出贡献的像素，其中在这些情况中不明显存在接缝，但是在本说明书中这样的较宽范围的接合部分也被认为与接缝相同。如图2B中所示，作为每个帧图像数据的对准的結果，一般不仅识别出在扫视方向上而且在垂直于扫视的方向上的轻微移动。这是由于在扫视时拍摄者的手抖动等发生的移位。通过确定每个帧图像数据的接缝、通过对其边界区域执行混合过程来接合、以及最后考虑手抖动量来修剪在垂直于扫视的方向上的不必要部分，来获得具有以扫视方向作为长边方向的宽视场角的全景图像，如图4中所示。在图4中，垂直线示出接缝，其中示范性示出了分别在接缝SMO至SM(n_2)处接合n个帧图像数据FM#0至FM#(n-l)以生成全景图像的状态。<3.实施例的全景合成算法〉现在将描述本实施例的成像设备I的全景合成过程的细节。图5示出用于全景合成过程的在作为功能构造的图像处理部分102和控制部分103中执行的过程、以及由这些功能构造站点执行的过程。如用点划线所示的，功能构造包括对象信息检测部分20、接缝确定处理部分21、图像合成部分22以及全景合成准备处理部分23。对象信息检测部分20在生成全景图像中使用的一系列n个帧图像数据的输入过程中对于每个帧图像数据检测对象信息。在该示例中，执行运动对象检测处理202和检测/识别处理203。接缝确定处理部分21执行使用在对象信息检测部分20中检测的对象信息、通过最佳位置确定过程来对于每m+1 (m < n)帧图像数据组获得变成相邻帧图像数据之间的接缝的m个接缝中的每ー个的位置的过程(接缝确定过程205)，以及确定m或更少个接合处。在一系列n个帧图像数据的输入过程中依序执行接缝确定过程205。
图像合成部分22执行用于通过基于在接缝确定处理过程21中确定的接缝来合成每个帧图像数据而使用n个帧图像数据来生成全景图像数据的缝合过程206。全景合成准备处理部分23执行例如预处理200、图像配准处理201及重投影处理204，作为用于准确执行全景合成的准备过程。安排对象信息检测部分20、接缝确定处理部分21及图像合成部分22被安排为实现本实施例的特征操作。然而，图像合成部分22的操作可以由外部设备来执行，在该情况下，在本实施例的图像处理设备中至少安排对象信息检测部分20和接缝确定处理部分21。现在将描述每个过程。变成预处理200的目标的输入图像组是在拍摄者正利用成像设备I执行全景成像时依序获得的帧图像数据FM#0、FM#UFM#2...。首先，在全景合成准备处理部分23中，关于由拍摄者的全景成像操作所成像的图像(每个帧图像数据)(这里假定图像经历类似于正常成像时的图像处理)来执行用于全景合成过程的预处理200。基于透镜单元100的属性，输入图像受色差影响。具体地，透镜的失真色差不利地影响图像配准处理201，并使对准的精度降级。失真色差也导致合成后的全景图像的接缝周围的伪像，并且因而在预处理200中校正失真色彩。可以通过校正失真色彩来提高运动对象检测处理202和检测/识别处理203的准确性。全景合成准备处理部分23对经历预处理200的图像数据执行图像配准处理201。在全景合成中将多个帧图像数据坐标变换到单个坐标系中，其中这样的单个坐标系被称为全景坐标系。图像配准处理201是输入两个连续的帧图像数据、并且在全景坐标系中执行对准的过程。通过图像配准处理201获得的关于两个帧图像数据的信息仅是两个图像坐标之间的相对关系，但是可以通过选择多个图像坐标系中的ー个(例如第一帧图像数据的坐标系)并且将其固定为全景坐标系来将所有帧图像数据的坐标系转换到全景坐标系。将在图像配准处理201中执行的具体处理广泛地分成下面的两个过程。I.检测图像中的局部运动2.从所获得的局部运动信息中获得整个图像的全局运动在过程I中， 块匹配 诸如Harris、Hessian、SIFT、SURF、FAST的特征点提取和特征点匹配通常用于获得图像的特征点的局部矢量。在过程2中，鲁棒的估计方法，诸如 最小平方法*M 估计 最小中值法(LMedS)
、
RANSAC (RANdom 样本一致)被用于获得最佳仿射变换矩阵和投影变换矩阵(Homography)，其中以在过程I中获得的局部矢量组作为输入来描述两个坐标系之间的关系。在本说明书中，将这样的信息称为图像配准信息。
全景合成准备处理部分23执行重投影处理204。在重投影处理204中，所有帧图像数据基于由图像配准处理201获得的图像配准信息经历在单个平面或诸如圆柱表面或球形表面的单个曲面上的投影处理。同吋，运动对象信息和检测/识别信息也经历在同一平面或曲面上的投影处理。就像素优化处理而言，可以作为缝 合处理206的前一级处理或作为缝合处理206的一部分来执行帧图像数据的重投影处理204。其也可以简单地在图像配准处理201之前执行，例如作为预处理200的一部分。更简单地，可以不执行处理本身，并且可以作为圆柱投影处理的近似来处理该处理本身。对象信息检测部分20对经历预处理200的每个帧图像数据执行运动对象检测处理202和检测/识别处理203。在全景合成过程中，由于合成多个帧图像数据的属性，所以如果在成像场景中存在运动对象，则运动对象的存在变为图像爆裂或降级的图像质量的缘由，例如，一部分运动对象是分离的或模糊的。因而，优选地是，检测运动对象然后在避开运动对象的同时确定全
景的接缝。运动对象检测处理202是输入两个或更多个连续的帧图像数据并且执行对运动对象的检测的过程。在特定过程的示例中，如果利用由图像配准处理201获得图像的配准信息实际执行对准的两个帧图像数据的像素的差值大于或等于阈值，则将对象被确定为运动对象。替选地，可以使用在图像配准处理201的鲁棒估计时被确定为离体物(outlier)的特征点信息来进行确定。在检测/识别处理203中，检测成像后帧图像数据中的人、动物等的面部和身体的位置信息。人和动物很可能是运动对象，并且即使他们不是运动的，如果将全景的接缝确定在该对象上，与其他物体相比，也通常提供视觉方面的不舒服感觉，因此优选在避开这些对象的同时确定接縫。也就是说，在检测/识别处理203中获得的信息用于补偿运动对象检测处理202的信息。通过接缝确定处理部分21的接缝确定处理205是如下过程即利用来自重投影处理204的图像数据、来自图像配准处理201的图像配准信息、来自运动对象检测处理202的运动对象信息、以及来自检测/识别处理203的检测/识别信息作为输入，确定对于全景图像具有较少爆裂的适当接縫。这里，将描述其中要获得的接缝限于垂直于扫视方向的线、如图3A所示的方法。首先，将參考图6描述重叠区域中的成本函数的定义。在全景坐标系中，扫视方向上的坐标轴是X轴，以及垂直于X轴的轴是y轴。假定在区域ak彡X彡bk中在时间k成像的帧图像数据FM# (k)和在时间k+1成像的帧图像数据FM#(k+1)重叠，如图6A中所示。将成本函数fk(x)定义为将在重叠区域(ak至bk)中的来自运动对象检测处理202的运动对象信息和来自检测/识别处理203的检测/识别信息适当加权、按X轴方向投影、并且然后对于所有信息进行累计(integrate)。换句话说，[等式I]
权利要求
1.一种图像处理设备，包括 对象信息检测部分，用于在用来生成全景图像的一系列η个帧图像数据的输入过程中检测关于帧图像数据的对象信息；以及 接缝确定处理部分，用于在输入过程中依序执行如下处理，即通过使用对于每m+1 (m< η)帧图像数据组由所述对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每一个的位置并确定m或更少个接合处。
2.根据权利要求I所述的图像处理设备，进一步包括图像合成部分，用于通过基于由所述接缝确定处理部分确定的接合处合成每个帧图像数据，来使用η帧图像数据而生成全景图像数据。
3.根据权利要求2所述的图像处理设备， 其中，在通过所述接缝确定处理部分确定η-i个接合处之后，所述图像合成部分使用所述η个帧图像数据来生成全景图像数据。
4.根据权利要求2所述的图像处理设备， 其中，每当所述接缝确定处理部分在输入过程中确定一个或多个接合处时，所述图像合成部分基于所确定的接合处来执行多个帧图像数据的合成。
5.根据权利要求I所述的图像处理设备， 其中，所述接缝确定处理部分在所述最佳位置确定处理中，根据对象信息来计算反映对象信息的成本函数值，并且执行用于优化所述成本函数值以获得m个接合处中的每一个的位置的计算。
6.根据权利要求5所述的图像处理设备，其中， 用于优化所述成本函数的计算是获得m个接合处中的每一个的计算，其中每个接合处的成本函数值之和对于m个接合处中的每一个变成最小值，所述m个接合处中的每一个处于基于接合处设置范围内的成本函数值而选择的接合处位置，在所述接合处设置范围中对象在相邻帧图像数据之间重叠。
7.根据权利要求5所述的图像处理设备， 其中，所述接缝确定处理部分将用于获得所述成本函数值的成本函数假定为反映图像的空间条件的函数。
8.根据权利要求5所述的图像处理设备， 其中，所述接缝确定处理部分将用于获得所述成本函数值的成本函数假定为反映所述对象信息的可靠性的函数。
9.根据权利要求5所述的图像处理设备， 其中，所述接缝确定处理部分将用于获得所述成本函数值的成本函数假定为反映所述m+1帧图像数据组中的帧次序的函数。
10.根据权利要求5所述的图像处理设备， 其中，所述接缝确定处理部分依据所述m+1帧图像数据组中的帧次序、改变基于所述成本函数值来获得相邻帧图像数据之间的接合处的约束条件。
11.根据权利要求10所述的图像处理设备， 其中，所述约束条件是其中对象在相邻帧图像数据之间重叠的接合处设置范围的设置。
12.根据权利要求I所述的图像处理设备， 其中，所述对象信息检测部分执行运动对象检测以用于所述对象信息的检测。
13.根据权利要求I所述的图像处理设备， 其中，所述对象信息检测部分执行人脸检测以用于所述对象信息的检测。
14.根据权利要求I所述的图像处理设备， 其中，所述对象信息检测部分执行人体检测以用于所述对象信息的检测。
15.—种图像处理方法,包括 在用来生成全景图像的一系列n (m < η)个帧图像数据的输入过程中，依序执行以下处理 检测关于帧图像数据的对象信息；以及 通过使用对于每m+1帧图像数据组由对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每一个的位置并确定m或更少个接合处。
16.一种用于使得计算处理单元在用来生成全景图像的一系列n (m< η)个帧图像数据的输入过程中，依序执行如下处理的程序 检测关于帧图像数据的对象信息；以及 通过使用对于每m+1帧图像数据组由对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每一个的位置并确定m或更少个接合处。
全文摘要
提供了一种图像处理设备，包括对象信息检测部分，用于在用来生成全景图像的一系列n个帧图像数据的输入过程中检测关于帧图像数据的对象信息；以及接缝确定处理部分，用于在输入过程中依序执行如下处理，即通过使用对于每m+1(m＜n)帧图像数据组由所述对象信息检测部分检测的对象信息的最佳位置确定处理，来获得要变成相邻帧图像数据之间的接合处的m个接合处中的每一个的位置并确定m或更少个接合处。
文档编号H04N5/232GK102739980SQ201210097648
公开日2012年10月17日 申请日期2012年4月5日 优先权日2011年4月12日
发明者木村笃史 申请人:索尼公司