专利名称：信息处理设备、信息处理方法及其程序的制作方法
技术领域：
本发明涉及能够组合多个图像的信息处理设备、信息处理方法及其程序。
背景技术：
过去，存在已知的将多个具有物理连续信息的图像连接起来的拼接技术 (stitching technique)，拼接技术用于全景摄影、显微图像的拍摄等。在拼接技术中，适当 设置将被彼此连接的多个图像之间的相互位置关系是非常重要。在多个图像彼此重叠的整个区域上进行诸如模板匹配的处理，从而，计算用来设 定将被连接的多个图像之间的最佳相互位置关系的偏离值。另外，例如，公开号为Hei 09-91410的日本专利申请(下文中称作专利文献1，参 见第W054]到W071]段，
图10和图11等)公开了一种全景图像合成系统，其中连接多个 图像的合成参数设置如下。首先，如专利文献1的图11所示，将被连接的两个图像91和92 的重合点(coincidence point)由用户分别指定为用户指定点93和94。接着，在图像92 上以用户指定点94为中心定义搜索范围95 ；然后，以图像91上的用户指定点93作为中心 切出一个模板图像，叠加在搜索范围95内，从而计算一个像素单元内的差值。差值总和为 最小值的点被计算作为图像91和92之间的实际对应点，基于计算出的实际对应点来计算 上述合成参数。
发明内容
然而，在多个图像彼此重叠的整个区域上执行上述处理的情况下，计算量增大并 且图像合成所需的处理时间周期变长。此外，在专利文献1所公开的全景图像合成系统中， 用户指定用户指定点，基于用户指定点计算图像91和92之间的实际对应点，因此，增加了 用户的负担。考虑到上述情况，期望提供能够在短的处理时间周期内连接多个图像并能减轻用 户负担的信息处理设备、信息处理方法和相应的程序。根据本发明的实施方式，提供了一种包含生成装置、选择装置、匹配处理装置和计 算装置的信息处理设备。生成装置生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域 分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个区域来获得 多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。选择装置基于由生成装置生成的每个模板图像块的亮度信息，选择作为分别被进 行匹配处理的对象的多个目标图像块。匹配处理装置通过对对应图像块和多个目标图像块进行匹配处理，计算对应图像 块和目标图像块的相对位置信息，其中，对应图像块是生成装置所生成的多个源图像块中 对应于选择装置所选择的多个目标图像块的图像。计算装置基于由匹配处理装置计算的相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。在信息处理设备中，将源图像的连接区域和将要重叠在其上的模板图像的连接区 域都分割成多个区域，从而生成多个源图像块和多个模板图像块。然后，从多个模板图像块 中选择目标图像块，计算目标图像块与对应图像块之间的相对位置信息。基于所述位置信 息，计算源图像连接区域和模板图像连接区域的相对位置偏移信息。从而，对彼此叠加的整 个连接区域的匹配处理以及由用户对重合点的指定是不必要的，结果，用户可以很小的负 担在较短的处理时间内将源图像1和模板图像2适当地连接。生成装置可以生成与多个源图像块对应且尺寸小于多个源图像块的多个模板图 像块。在这种情况下，匹配处理装置可以根据各个对应图像块中的各个目标图像块的位 置生成基于各个对应图像块的亮度信息和各个目标图像块的亮度信息的相关系数以执行 匹配处理，并计算所生成的相关系数作为相对位置信息。此外，计算装置可以通过累加目标图像块的相关系数来计算相对位置偏移信息， 所述相关系数由匹配处理装置来计算。在信息处理装置中，作为对应图像块和目标图像块的相对位置信息，计算了相关 系数。将相关系数累加，结果，可以预测源图像的连接区域与模板图像连接区域的相对位置 偏移信息，从而可以在短的时间周期内计算具有高精度的位置偏移信息。计算装置可以通过累加目标图像块的相关系数生成临时位置偏移信息，并且当包 含在预先设定的容限内的临时位置偏移信息被连续生成预定次数时，计算包含在容限内的 临时位置偏移信息作为相对位置偏移信息。在信息处理设备中，相关系数累加，结果，生成临时位置偏移信息。当生成的临时 位置偏移信息满足上述条件时，将临时位置偏移信息计算作为最终的位置偏移信息。通过 适当设置上述条件，可以适当地设置计算的位置偏移信息的精度、处理时间周期等。选择装置可以计算每个模板图像块的亮度值的标准偏差值，并且选择标准偏差值 等于或大于预定阈值的模板图像块作为目标图像块。通过基于标准偏差值选择目标图像块，可以选择匹配处理的最优目标图像块。从 而，计算出具有高可靠性的位置信息，结果，可以在短的时间周期内精确地计算位置偏移信 肩、ο选择装置可以将表示通过匹配处理装置执行匹配处理的优先级别的第一优先级 赋予具有第一标准偏差值的模板图像块，将优先级别低于第一优先级的第二优先级赋予标 准偏差值小于第一标准偏差值的模板图像块，并选择被赋予第一优先级的模板图像块和被 赋予第二优先级的模板图像块作为目标图像块。从而，首先选择了具有高可靠性的位置信息，结果，可以在短的时间周期内精确计 算位置偏移信息。选择装置可以选择第一模板图像块和第二模板图像块作为目标图像块，所述第二 模板图像块在模板图像的连接区域中与所述第一模板图像块相隔预定距离或更大。在信息处理设备中，选择板图像的连接区域中彼此相隔预定距离或更大的第一模 板图像块和第二模板图像块作为目标图像块。因此，在连接区中，计算了位置信息而无位置 偏移。结果，可以基于计算的位置信息精确地计算位置偏移信息。
根据本发明的实施方式，提供了一种由信息处理设备执行的信息处理方法，该信 息处理方法包括以下步骤具体地，信息处理设备生成多个源图像块和多个模板图像块，其中，通过将源图像 的连接区域分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个 区域来获得多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。基于生成的每个模板图像块的亮度信息将多个目标图像块选择作为分别被进行 匹配处理的对象。通过对对应图像块和多个目标图像块进行匹配处理，计算对应图像块和目标图像 块的相对位置信息，其中，对应图像块是所生成的源图像块中对应于所选择的目标图像块 的图像。基于计算的相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对 位置偏移信息。根据本发明的实施方式，提供了一种使得信息处理设备执行上述信息处理方法的 程序，该程序可以记录在记录介质中。根据本发明的实施方式，提供了一种信息处理设备，该信息处理设备包括生成部、 选择部、匹配处理部和计算部。生成部被配置为生成多个源图像块和多个模板图像块，其中，通过将源图像的连 接区域分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个区域 来获得多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。选择部被配置为基于由生成部生成的每个模板图像块的亮度信息，选择作为分别 被进行匹配处理的对象的多个目标图像块。匹配处理部被配置为通过对对应图像块和多个目标图像块进行匹配处理，计算对 应图像块和目标图像块的相对位置信息，其中，对应图像块是生成部所生成的多个源图像 块中对应于选择部所选择的多个目标图像块的图像。计算部被配置为基于由匹配处理部计算的相对位置信息，计算源图像的连接区域 和模板图像的连接区域的相对位置偏移信息。如上所述，根据本发明的实施方式，可以使得用户以很小的负担在较短的处理时 间内将多个图像彼此连接。通过下面的最佳实施方式的详细描述(如附图中所示)，本发明的各种发明这些 和其他的目的、特点和优点将变得显而易见。图说明图1是根据本发明的第一实施方式的包含至少一个信息处理设备的信息处理系 统的结构框图；图2A和图2B是用来说明用于数字图像的拼接处理的示意图，其中，说明了根据第 一实施方式的PC的操作；图3是示出了根据第一实施方式的PC处理的概述的流程图；图4是示出了图3中所示的各处理的具体算法的流程图；图5是示出了根据第一实施方式的源图像模块和模板图像模块的示图；图6是根据第一实施方式的用来说明选择目标图像模块的方法示6
图7是根据第一实施方式的用来具体说明目标图像模块和对应图像模块的匹配 处理的示图；图8是根据第一实施方式的用来说明累加结果映射和累加偏离值的示图；图9A至9C是根据第一实施方式的用来说明用于判断累加偏离值的稳定性的参数 的示图；图10是示出根据本发明第二实施方式的作为信息处理设备的PC的处理的概述的 流程图；图11是示出图10中所示的各处理的具体算法的流程图；图12A和12B是用来说明图10中所示的统计值管理的处理的示图；图13A至图13C是示出根据第二实施方式拼接处理的处理结果以及作为比较实例 的拼接处理的处理结果的示图；图14A和图14B是示出第二实施方式拼接处理和作为比较实例的拼接处理之间的 差别的示图。
具体实施例方式下文中，将参照附图描述本发明的实施方式。(第一实施方式)[信息处理设备的结构]图1是根据本发明第一实施方式的至少包含一个信息处理设备的信息处理系统 的结构框图。作为信息处理设备，例如使用PC(个人计算机)100。计算机100包括CPU(中央处理器)101、ROM(只读存储器)102、RAM(随机存取存 储器)103、输入/输出接口 105和连接这些组件的总线104。显示单元106、输入单元107、存储单元108、通信单元109、驱动单元110等连接到 输入/输出接口 105。显示单元106是使用(例如)液晶、EL(电致发光)或CRT(阴极射线管)的显示
直ο输入单元107例如是定点装置(pointing device)、键盘、触摸面板或者其他操作 设备。当输入单元107包括触摸面板时，触摸面板可以与显示单元106集成在一起。存储单元108是诸如HDD (硬盘驱动)、闪存和其他固态存储器的非易失性存储器 件。驱动单元110是能够驱动可移动记录介质111 (诸如光学记录介质、软盘(注册商 标)、磁带和闪存)的装置。与其相对，存储单元108通常用作主要驱动不可移动的记录介 质的装置，并且其预先被结合在PC100中。通信单元109是调制解调器、路由器或其他能连接到LAN(局域网)、WAN(广域网) 等的通信装置，并用于与其他装置通信。通信单元109可以执行无线或有线通信。在许多 情况下，通信单元109独立于计算机100使用。(信息处理设备的操作)为了描述本实施方式的计算机100的操作，首先将描述用于数字图像的拼接处 理。图2是用来说明拼接处理的示图。
如图2A和2B所示，拼接处理是将具有物理连续信息的源图像1和模板图像2适 当地连接的处理。源图像1具有作为连接区域的重合图像A，模板图像2具有作为连接区域 的重合图像B。连接源图像1和模板图像2使得重合图像A和重合图像B彼此重叠。图2A示出了重合图像A和重合图像B作为图像数据彼此完全相同的情况。在这 种情况下，重合图像A和B彼此重叠，它们的相对位置没有偏移，从而，源图像1和模板图像 2适当地彼此连接。因此，重合图像A和B之间的相对位置偏移信息，即图2中示出的在χ 和y方向上的偏离值为(0，0)。图2B示出了重合图像A和B作为图像数据彼此不完全相同的情况。例如，由于在 拍摄源图像1和模板图像2时的拍摄误差、拍摄图像时的时间差等，出现了图2B中所示的 状态。在这种情况下，如果不考虑重合图像A和B之间的相对位置偏移，源图像1和模板图 像2就不能适当地彼此连接。在图2B中，偏离值是G，7)，重合图像B相对于重合图像A在 χ方向上偏移4 (像素)，在y方向上偏移7 (像素)，从而彼此重叠。因此，源图像1和模板 图像2适当地彼此连接。通过本实施方式的PC 100来计算上述偏离值，下面将详细描述PC100的操作。图3是示出了根据该实施方式的作为信息处理设备的PC 100的处理的概述的流 程图。图4是示出图3中所示的各处理的具体算法的流程图。PC 100(各个处理部)的以下处理是通过存储在存储单元108、R0M102等中的软 件和PC 100的硬件资源共同协作而实现的。具体地，CPU 101将存储在存储单元108、ROM 102等中的构成软件的程序加载到RAM 103中，并执行该程序，从而实现如下处理。通过重合图像输入部来输入将要彼此连接的源图像1和模板图像2 (步骤101，步 骤201)。可以输入整个源图像1和模板图像2，或者仅输入源图像1的重合图像A和模板 图像2的重合图像B。通过重合图像块分割部将重合图像A和B的每一个分割成多个区域(步骤102，步 骤20 。这种处理被称为分割成块，通过将重合图像A分割成块而获得的图像被称为源图 像块。此外，通过将重合图像B分割成块而获得的图像被称为模板图像块。图5是示出了源图像块和模板图像块的示图。在此实施方式中，设定了尺寸均为 4048X450(像素)的重合图像A和B。然后，将位于重合图像A中部的块区域3分成多块， 从而生成四个尺寸均为256X256(像素)的源图像块4。如图5所示，相邻的源图像块4 设置在重合图像A上，使得其一半区域彼此重叠。当定义了源图像块4的各个边的尺寸时，重合图像A的边缘5的尺寸也可以被确 定。边缘5均等地分布在重合区域A的上部、下部、左部、右部，从而可以生成源图像块4而 同时避开重合图像A的边缘部(其中由于透镜而导致的拍摄失真很大)。这样可以提高利 用源图像块4计算的图像块偏离值(随后将描述)的精度。在重合图像B的中部，设置了尺寸小于块区域3的块区域6。设置重合图像B的块 区域6使得其被包含在与重合图像A的块区域3对应的块区域3'中。而且，块区域6设置 在区域3'的中部，将块区域6分成多块，从而生成四个尺寸均为U8X128(像素)的模板 图像块7。源图像块4和模板图像块7彼此一一对应。图5示出了彼此对应的源图像块4和 模板图像块7之间的位置关系。这是一种当将偏离值设置为(0，0)且重合图像A和B彼此重叠时得到的图像块(块η)之间的位置关系，模板图像块7位于源图像块4的中部。可以适当设置上述的重合图像A和B、源图像块4和模板图像块7的尺寸和数量。 此外，也可以适当设置重合图像A和B中的块区域3和6的位置等。图5示出了右手侧上的源图像1的端部与左手侧上的模板图像2的端部彼此连接 的情况。然而，左手侧上的源图像1的端部可以和右手侧上的模板图像2的端部彼此连接。 可选地，模板图像2还可以连接至上侧或下侧上的源图像1的端部。在这种情况下，源图像 块4和模板图像块7在如图5所示的横向上对准。通过用在计算中的用于块的提取部，将多个目标图像块从模板图像块7中选取出 来，作为与相应的源图像块4进行匹配处理的对象(步骤103)。图6是用来说明选择目标图像块的方法的示图。在本实施方式中，在匹配处理中， 将一个“纹理存在”的指标用于最优目标图像块8，根据该指标，计算每个模板图像块7的亮 度值的标准偏差值，根据标准偏差值是否等于或大于预定阈值来判断纹理的存在与否(步 骤203和204)。这个预定的阈值例如被设定为10. 0，标准偏差值大于等于10. 0的模板图 像块7被判定为具有纹理。物理上，亮度值的标准偏差值表示偏离模板图像块7的平均亮度值的程度。因此， 标准偏差值等于或大于阈值的模板图像块7是具有少量平坦部且在亮度值的分布中亮度 值变化较大的图像。因此，可以说这样的模板图像块7具有适于匹配处理的物理特性。将预定数量的标准偏差值等于或大于阈值的模板图像块7设定为待计算块组9， 然后，将这些模板图像块7以标准偏差值递减的顺序挑选出来，并以此顺序设定为经受匹 配处理的目标图像块8 (步骤205)。在图6中，待计算块组9由四个目标图像块8形成。此外，从具有较大标准偏差值 的目标图像块8(块7)开始，给出表示以下描述的匹配处理执行的先后顺序(1至4)。应当 注意的是，可以适当设置组成待计算块组9的目标图像块8的数量。目标图像块8和与目标图像块8对应的作为源图像块4的对应图像块通过偏离计 算部经受匹配处理。然后，计算目标图像块8与对应图像块的最优偏离值(步骤104，步骤 206)。在本实施方式中，采用模板匹配处理，也可以采用其他匹配处理。在下文中，将描述 上述的匹配处理。在对应图像块056 X 256(像素))内移动目标图像块8 (1 X 128 (像素))，计算 目标图像块8和对应图像块重叠的区域中的相关系数。然后，将对应图像块内每个位置的 相关系数存储作为单一结果映射。单一结果映射是对应图像块与目标图像块8的相关位置 信息。基于对应图像块的像素的亮度值和目标图像块8的像素亮度值，通过归一化的相关 系数的如下表达式来计算相关系数[表达式1]
权利要求
1.一种信息处理设备，包括生成装置，用来生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域 分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来 获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；选择装置，用来基于由所述生成装置生成的每个所述模板图像块的亮度信息，选择作 为分别被进行匹配处理的对象的多个目标图像块；匹配处理装置，用来通过对对应图像块和所述多个目标图像块进行匹配处理，计算所 述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所述生成装置 所生成的所述多个源图像块中对应于所述选择装置所选择的所述多个目标图像块的图像； 以及计算装置，用来基于由所述匹配处理装置计算的所述相对位置信息，计算所述源图像 的连接区域和所述模板图像的连接区域的相对位置偏移信息。
2.根据权利要求1所述的信息处理设备，其中，所述生成装置生成与所述多个源图像块对应且尺寸小于所述多个源图像块的所述多 个模板图像块；所述匹配处理装置根据各个所述对应图像块中的所述各个目标图像块的位置生成基 于各个所述对应图像块的亮度信息和各个所述目标图像块的亮度信息的相关系数以执行 所述匹配处理，并计算所生成的所述相关系数作为所述相对位置信息；所述计算装置通过累加所述目标图像块的相关系数来计算所述相对位置偏移信息，所 述相关系数由所述匹配处理装置来计算。
3.根据权利要求2所述的信息处理设备，其中，所述计算装置通过累加所述目标图像块的所述相关系数生成临时位置偏移信息，并且 当包含在预先设定的容限内的所述临时位置偏移信息被连续生成预定次数时，计算包含在 所述容限内的所述临时位置偏移信息作为所述相对位置偏移信息。
4.根据权利要求1所述的信息处理设备，其中，所述选择装置计算每个所述模板图像块的亮度值的标准偏差值，并且选择标准偏差值 等于或大于预定阈值的所述模板图像块作为所述目标图像块。
5.根据权利要求4所述的信息处理设备，其中，所述选择装置将表示通过所述匹配处理装置执行所述匹配处理的优先级别的第一优 先级赋予具有第一标准偏差值的所述模板图像块，将优先级别低于所述第一优先级的第二 优先级赋予标准偏差值小于所述第一标准偏差值的所述模板图像块，并选择被赋予所述第 一优先级的所述模板图像块和被赋予所述第二优先级的所述模板图像块作为所述目标图 像块。
6.根据权利要求1所述的信息处理设备，其中，所述选择装置选择第一模板图像块和第二模板图像块作为所述目标图像块，所述第二 模板图像块在所述模板图像的连接区域中与所述第一模板图像块相隔预定距离或更大。
7.一种由信息处理设备执行的信息处理方法，包括以下步骤生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区 域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；基于生成的每个模板图像块的亮度信息来选择作为分别被进行匹配处理的对象的多 个目标图像块；通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述 目标图像块的相对位置信息，其中，所述对应图像块是所生成的所述源图像块中对应于所 选择的所述目标图像块的图像；以及基于计算出的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连接 区域的相对位置偏移信息。
8.一种程序，使得信息处理设备执行以下步骤生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区 域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个 模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；基于生成的每个模板图像块的亮度信息来选择作为分别被进行匹配处理的对象的多 个目标图像块；通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述 目标图像块的相对位置信息，其中，所述对应图像块是所生成的所述源图像块中对应于所 选择的所述目标图像块的图像；以及基于计算得到的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连 接区域的相对位置偏移信息。
9.一种信息处理设备，包括生成部，被配置为生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区 域分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域 来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；选择部，被配置为基于由所述生成部生成的每个所述模板图像块的亮度信息，选择作 为分别被进行匹配处理的对象的多个目标图像块；匹配处理部，被配置为通过对对应图像块和所述多个目标图像块进行匹配处理，计算 所述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所述生成部 所生成的所述多个源图像块中对应于所述选择部所选择的所述多个目标图像块的图像；以 及计算部，被配置为基于由所述匹配处理部计算的所述相对位置信息，计算所述源图像 的连接区域和所述模板图像的连接区域的相对位置偏移信息。
全文摘要
本发明涉及信息处理设备、信息处理方法及其程序。一种信息处理设备，包括生成部、选择部、匹配处理部和计算部。生成部生成通过将源图像的连接区域分割为多个区域而获得的源图像块和通过将模板图像的连接区域分割为多个区域而获得的模板图像块，模板图像的连接区域重叠在源图像的连接区域上。选择部基于每个模板图像块的亮度信息选择作为分别被进行匹配处理的对象的目标图像块。匹配处理部分计算作为对应于目标图像块的图像的对应图像块和目标图像块的相对位置信息。计算部基于相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。
文档编号G06T11/60GK102129703SQ201110006119
公开日2011年7月20日 申请日期2011年1月12日 优先权日2010年1月19日
发明者福士岳步 申请人:索尼公司