图像处理装置、图像处理方法及程序的制作方法
【技术领域】
[0001]本技术涉及为捕获的全景图像数据执行图像处理的图像处理装置、图像处理方法、以及用于图像处理的程序。
[0002]引用列表
[0003]专利文献
[0004]专利文献1:JP2010-161520A
[0005]专利文献2:JP2011-519192T
【背景技术】
[0006]例如，如在专利文献I中所描述的，从多个捕获图像生成单个全景图像的这种全景合成技术是已知的。
[0007]取决于包括图像拍摄技术(诸如水平扫描图像拍摄、水平和垂直自由摆动图像拍摄、以及多行图像拍摄)、光学系统(诸如广角镜头和鱼眼镜头)和合成算法的每个要素，各种全景合成技术都是可能的，并且使得可以拍摄包含环绕用户(摄影者)的360度场景的全周全景图像和甚至包括在用户(摄影者)正上方或正下方的场景的全向全景图像。
[0008]这种全景图像通常被记录为投影到圆柱面、球面等的图像，并且可以在相机的再现模式中或者被个人计算机(PC)中的图像浏览器等再现。
[0009]投影到圆柱面或球面的全景图像可以进一步再投影和显式在虚拟平面屏幕上，从而向用户提供强烈的临场感和沉浸感(例如，QuickTime VR? An Image-Based Approachto Virtual Environment Navigat1n[AppleComputer, Inc.])。
[0010]由于这些全景合成技术在性质上合成从不同位置拍摄的多个图像，因此难以生成全景运动图像。作为创建全景运动图像的技术，利用特殊光学系统的技术(诸如能够在单次曝光拍摄全周的图像的二次曲线镜)已获得广泛的使用。但是，该技术放大了在图像传感器上形成的全周图像来创建全景图像，不幸地显著降低了分辨率。
[0011]使多个相机同时捕获图像以及使用诸如多眼相机的专用相机装置的这些技术也是已知的，但是对于一般的用户，很难随意使用这些技术。
[0012]此外，当然存在用遥摄倾斜器(pan tilter)和长焦镜头等自动拍摄图像来生成具有一些具有十亿像素(gigapixel)的超高分辨率全景图像的技术，但是需要有特殊装置(遥摄倾斜器)并且花很长的时间来拍摄图像并合成所拍摄的图像。而且，所生成的全景图像具有庞大的数据大小，使得对于一般的用户，也不容易随意使用该技术。
[0013]运动图像和高分辨率是使全景图像提供加强的临场感和沉浸感的重要要素，但是如上所述，对于一般用户，在这些情况下难以结合那些要素。
[0014]此外，专利文献2公开了接合各个具有相似位置数据的记录数据来向用户呈现全景场景的技术。
【发明内容】
[0015]技术问题
[0016]如果装置能自动地将运动图像和高分辨率图像粘贴和整合为全景图像，则可以生成向用户提供较强临场感和沉浸感的全景图像而无需给用户强加太重的负担。
[0017]不幸的是，在这些情况下，还没有设计出具体的技术。
[0018]本技术的一个目的是生成向用户提供较强临场感和沉浸感的全景图像而无需给用户强加太重的负担。
[0019]问题的解决方案
[0020]首先，根据本技术的一种图像处理装置包括:对齐判定处理部分，配置为判定除捕获的全景图像数据之外的其它捕获图像数据是否能够以捕获的被摄体在捕获的全景图像数据和其它捕获图像数据之间保持一致的方式与捕获的全景图像数据对齐；图像连接处理部分，其配置为将由对齐判定处理部分判定为能够与捕获的全景图像数据对齐的其它捕获图像数据连接到捕获的全景图像数据。
[0021]根据上述配置，可以将被判定为能够与捕获的全景图像数据对齐的捕获图像数据连接到捕获的全景图像数据。
[0022]第二，在根据本技术的图像处理装置中，期望其它捕获图像数据包括运动图像数据和静止图像数据中的任何一种，其中，所述静止图像数据用作与用于捕获所述捕获的全景图像数据的全景图像的设定视角相比在长焦端的视角处捕获的高分辨率图像数据。
[0023]运动图像或高分辨率图像对于整合到捕获的全景图像中以增强临场感和沉浸感是优选的。
[0024]第三，在根据本技术的图像处理装置中，期望对齐判定处理部分根据其它捕获图像数据的图像类型改变判定方法。
[0025]这允许根据图像类型使用合适的对齐判定方法。
[0026]第四，在根据本技术的图像处理装置中，期望其它捕获图像数据包括运动图像数据和静止图像数据两者，并且对齐判定处理部分用比静止图像数据的判定标准低的判定标准判定运动图像数据。
[0027]按照特性，运动图像数据可以包括相对大量的未能对齐的帧图像，使得由此判定是用低判定标准做出的。
[0028]第五，在根据本技术的图像处理装置中，期望当连续地判定预定数量或更多的帧图像数据不能对齐时，或者当判定为不能对齐的帧图像数据的数量与帧的总数量之比大于或等于预定值时，对齐判定处理部分判定整个的运动图像数据不能与捕获的全景图像数据对齐。
[0029]因此，对齐判定是基于不能对齐的连续帧图像的数量以及与帧的总数量的比利用合适的判定标准对运动图像做出的。
[0030]第六，在根据本技术的图像处理装置中，期望其它捕获图像数据包括多变焦图像数据，所述多变焦图像数据包括与用于捕获所述捕获的全景图像数据的全景图像的设定视角相比在长焦端的多个视角处分别捕获的静止图像数据，当其它捕获图像数据是多变焦图像数据时，对齐判定处理部分判定在多变焦图像数据中所包括的每个静止图像数据是否能够与捕获的全景图像数据对齐，并且连接处理部分不将由对齐判定处理部分判定为不能与捕获的全景图像数据对齐的静止图像数据连接到捕获的全景图像数据。
[0031]多变焦图像要求相对较高的对齐精度，因为用户专注于享受高分辨率图像。
[0032]第七，在根据本技术的图像处理装置中，期望对齐判定处理部分判定在多变焦图像数据中所包括的每个静止图像数据的是否能够与捕获的全景图像数据对齐，并且在存在结果被判定为不能与捕获的全景图像数据对齐的静止图像数据的情况下，判定整个多变焦图像数据不能与捕获的全景图像数据对齐。
[0033]因此，除非判定在多变焦图像数据中所包括的所有静止图像数据都能够对齐，否贝1J，即使存在能够对齐的静止图像数据，也没有静止图像数据被连接到捕获的全景图像数据。
[0034]第八，在根据本技术的图像处理装置中，期望对齐判定处理部分基于通过执行检测两个目标图像中的特征点和对应点、基于检测到的对应点的坐标检测局部和全局运动、以及用鲁棒估计方法检测两个图像之间的最佳位置关系的图像配准处理所获得的结果判定两个目标图像是否能够彼此对齐。
[0035]因此，对齐处理被执行作为对齐判定处理中的图像配准处理。
[0036]第九，在根据本技术的图像处理装置中，期望对齐判定处理部分判定检测到的特征点的数量小于预定值的捕获图像数据是不能对齐的。
[0037]检测到的特征点的数量小于预定值意味着缺乏特征的均匀图像。
[0038]第十，期望判定检测到的对应点的数量小于预定值的捕获图像数据在根据本技术的图像处理装置中是不能对齐的。
[0039]检测到的对应点的数量小于预定值意味着可被认为在两个图像之间相同的特征点少。
[0040]第十一，在根据本技术的图像处理装置中，期望对齐判定处理部分在图像配准处理中执行RANSAC的鲁棒估计处理，并判定在鲁棒估计处理的过程中所获得检测到的内点的数量小于预定值的捕获图像数据是不能对齐的。
[0041]检测到的内点的数量小于预定值意味着要被用作用于对齐的标准的指示全局运动(即，背景的运动)的特征点少。
[0042]第十二，期望根据本技术的图像处理装置还包括:选择处理部分，配置为选择要由对齐判定处理部分处理的捕获的全景图像数据和其它捕获图像数据。
[0043]这允许对齐判定处理部分只对由选择处理部分选择的全景图像数据和其它捕获图像数据执行判定处理。
[0044]第十三，期望根据本技术的图像处理装置还包括:对齐信息添加处理部分，配置为将关于捕获的全景图像数据的对齐信息添加到由对齐判定处理部分判定为能够对齐的其它捕获图像数据。
[0045]需要对齐信息来整合捕获的全景图像数据和其它捕获图像数据。
[0046]发明的有益效果
[0047]根据本发明，为了整合除捕获的全景图像之外的捕获图像(诸如运动图像和高分辨率图像)，以及为了生成提供加强的临场感和沉浸感的全景图像，用户只需在基本上相同的图像捕获点处拍摄全景图像和其它捕获图像。因此，可以生成向用户提供较强临场感和沉浸感的全景图像感而无需给用户强加太重的负担。
【附图说明】
[0048]图1是用于描述全景合成的概述的图。
[0049]图2是示出接缝的例子的图。
[0050]图3是示出全景图像与接缝之间的关系的图。
[0051]图4是示出根据实施例的包括图像处理装置的图像捕获装置的结构例的图。
[0052]图5是示出作为功能结构的作为全景合成处理被执行的处理的图。
[0053]图6是用于描述被执行直到全景图像和其它图像被彼此连接为止的处理的概述的图。
[0054]图7是连接信息的添加的具体实例的解释性图。
[0055]图8是用于描述为了实现根据实施例的图像处理而被执行的具体处理的过程的流程图。
[0056]图9是示出作为对于运动图像的判定和连接处理被执行的处理的过程的流程图。
[0057]图10是示出作为对于多变焦图像的判定和连接处理被执行的处理的过程的流程图。
[0058]图11是示出执行对齐判定处理和图像连接处理的计算机装置的结构例的图。
【具体实施方式】
[0059]本技术的实施例将在以下进行描述。
[0060]描述将按照以下次序给出。
[0061]〈1.关于全景合成〉
[0062]<2.图像处理装置的结构〉
[0063][2-1.整体结构]
[0064][2-2.全景合成处理]
[0065]〈3.连接的流程>
[0066][3-1.概述]
[0067][3-2.关于对齐判定处理]
[0068][3-3.关于连接处理]
[0069]<4.处理过程〉
[0070]<5.结论〉
[0071]〈6.程序〉
[0072]<7.修改〉
[0073]<8.本技术〉
[0074]〈1.关于全景合成>
[0075]首先，将描述全景合成的概述。
[0076]根据以下描述的实施例和近年来的一般图像捕获装置(数字静物相机)的图像捕获装置100可以通过对多个静止图像(全景帧图像数据)执行合成处理来生成全景图像(捕获的全景图像数据)，其中所述多个静止图像是捕获图像的人在特定点(旋转轴)处旋转图像捕获装置100的同时捕获的。
[0077]图1A示出了用于捕获全景图像的图像捕获装置100的运动。由于背景与前景之间的不一致使得合成图像的接合处在全景图像中不自然，因此期望使用被称为节点(nodalpoint)的特定于镜头的点，作为用于捕获图像的旋转中心，其中在该节点处观察不到不一致。用于捕获全景图像的图像捕获装置100的旋转被称为“扫描”。
[0078]图1B是示出通过图像捕获装置100的扫描所获取的多个静止图像被适当对齐的示意图。这个图示出了从第一个捕获图像开始按时间次序的各个被捕获静止图像。即，从时间O到时间(η-1)捕获到的静止图像被称为各个全景帧图像数据FM#0、FM#1...FM#(n_l)。
[0079]如果全景图像是根据η个静止图像生成的，则合成处理对如图中所示出的连续捕获的一连串η个全景帧图像数据FM#0至FM#(n-l)执行。
[0080]如图1B中所示，每个被捕获帧图像数据需要部分地与相邻帧图像数据重叠。从而，用于图像捕获装置100捕获各个帧图像数据的时间间隔和摄影者的扫描速度的上限需要被适当地设置。
[0081]以这种方式对齐的帧图像数据组具有大量的重叠部分，使得需要决定要用于最终全景图像的每个帧图像数据的区域。换句话说，这与决定全景合成处理中图像的接合处(接缝)相同。
[0082]图2A和2B每个都示出了接缝SM的例子。
[0083]接缝包括如图2A中所示与扫描方向垂直的直线和如图2B中所示的非直线(诸如曲线)。
[0084]在图2A和2B中，接缝SMO代表全景帧图像数据FM#0与FM#1之间的接合处，接缝SMl代表全景帧图像数据FM#1与FM#2之间的接合处，…接缝SM(n_2)代表全景帧图像数据FM#(n-2)与F