图像处理装置和方法、以及程序的制作方法
【专利摘要】本技术涉及一种图像处理装置和方法、以及程序，其使得可以在生成360度全景图像时获得高质量的全景图像。投影图像生成单元以当360度旋转摄像装置时所捕获的图像被映射在圆柱表面上的方式生成投影图像。累积差分值计算单元计算在每个位置处邻近的投影图像之间的累积差分值。有向图生成单元基于投影图像和累积差分值生成有向图，在有向图中，累积差分值反映在边缘能量上。根据有向图，当彼此连接投影图像以生成全景图像时，路径搜索单元搜索具有最少间断的投影图像的连接位置。基于搜索结果，全景图像生成单元连接投影图像并且生成全景图像。本技术适用于图像处理装置。
【专利说明】图像处理装置和方法、以及程序
【技术领域】
[0001]本技术涉及一种图像处理装置和图像处理方法、以及程序，并且更具体地，涉及一种用于当生成360度全景图像时、获得具有较高质量的全景图像的图像处理装置、图像处理方法、以及程序。
【背景技术】
[0002]例如，可以从每次近似36度地旋转数字摄像装置时连续地捕获的10个图像生成360度全景图像。即，从每个捕获图像中裁剪出等价于36度视图的区域，并且将所裁剪出的图像接合在一起以生成360度全景图像。
[0003]具体地，如下所述地生成这种全景图像。
[0004]首先，通过对彼此邻近的捕获图像进行分析，确定邻近的捕获图像之间的位置关系。对位置关系进行累积，以在基于第一个捕获图像的坐标系中确定拍摄每个捕获图像的方向(在下文中，也称为图像捕获方向)。
[0005]在这种基于第一个捕获图像的坐标系中的每个捕获图像的图像捕获方向、或在基于第一捕获图像的坐标系中关于每个捕获图像的位置关系，通常可以表达为3乘3的矩阵，并且被称为齐次变换矩阵(单应性矩阵)。
[0006]在基于第一个捕获图像的坐标系中表达关于第s个捕获图像的位置关系的齐次变换矩阵表示为H1;s的情况下，建立了根据下面的表达式(I)的关系。
[0007][数学等式I]
【权利要求】
1.一种图像处理装置，通过对被旋转的成像装置连续地拍摄的多个捕获图像进行接合，生成360度全景图像， 所述图像处理装置包括: 差分计算单元，配置成计算彼此邻近的捕获图像之间的差分信息； 数据生成单元，配置成基于所述差分信息生成数据，所述数据指示当在预定位置对彼此邻近的所述捕获图像进行接合时发生的图像缺陷程度； 确定单元，配置成基于所述数据确定所述捕获图像之间的接合位置，当在与参考捕获图像相同的图像被设置为所述捕获图像的第N个捕获图像之后的第N+1个捕获图像的情况下、通过使用在所述捕获图像的参考捕获图像中的指定位置与所述捕获图像的第N+1个捕获图像中的指定位置之间的部分生成全景图像时，所述接合位置使所述图像缺陷程度最小化，N是从所述参考捕获图像起计数的数量；以及 图像生成单元，配置成通过基于所确定的接合位置对所述捕获图像进行接合，生成所述全景图像。
2.根据权利要求1所述的图像处理装置，其中，所述确定单元确定在关于不同的指定位置所确定的接合位置之中、具有全景图像的最小缺陷程度的接合位置为最终接合位置。
3.根据权利要求2所述的图像处理装置，其中，所述数据是下述有向图:在所述有向图中，在所述预定位置对彼此邻近的所述捕获图像进行接合时发生的图像缺陷程度被示为与在所述捕获图像中的所述预定位置相对应的节点的边缘能量。
4.根据权利要求3所述的图像处理装置，其中，所述数据生成单元计算图像缺陷程度，所述图像缺陷程度作为在彼此邻近的所述捕获图像中的第一捕获图像与所述捕获图像中的第二捕获图像之间的所述预定位置的所述差分信息与在所述第一捕获图像和所述第二捕获图像中与所述预定位置邻近的其他位置的所述差分信息的均值；以及所述数据生成单元将所述均值设置为与所述第一捕获图像中的所述预定位置相对应的节点和与所述第二捕获图像中的所述其他位置相对应的节点之间的边缘能量。
5.根据权利要求4所述的图像处理装置，其中，所述确定单元通过从在所述有向图中从与所述参考捕获图像中的所述指定位置相对应的节点延伸至与所述第N+1个捕获图像中的所述指定位置相对应的节点的路径之中、识别出具有在所述路径中所存在的节点之间最小总边缘能量的路径，确定所述捕获图像之间的所述接合位置。
6.根据权利要求5所述的图像处理装置，其中 所述图像生成单元通过使用所述捕获图像中的不同的捕获图像作为参考捕获图像，生成多个全景图像，以及 所述图像处理装置还包括输出单元，所述输出单元配置成输出最终全景图像， 所述最终全景图像是在所述全景图像中具有最小图像缺陷程度的全景图像。
7.一种用于通过对被旋转的成像装置连续地拍摄的多个捕获图像进行接合、生成360度全景图像的图像处理方法， 所述图像处理方法包括下述步骤: 计算彼此邻近的捕获图像之间的差分信息； 基于所述差分信息生成数据，所述数据指示当在预定位置对彼此邻近的所述捕获图像进行接合时发生的图像缺陷程度；基于所述数据确定所述捕获图像之间的接合位置，当在与参考捕获图像相同的图像被设置为所述捕获图像的第N个捕获图像之后的第N+1个捕获图像的情况下、通过使用在所述捕获图像的参考捕获图像中的指定位置与所述捕获图像的第N+1个捕获图像中的指定位置之间的部分生成全景图像时，所述接合位置使所述图像缺陷程度最小化，N是从所述参考捕获图像起计数的数量；以及 通过基于所确定的接合位置对所述捕获图像进行接合，生成所述全景图像。
8.一种用于对图像进行处理、以通过对被旋转的成像装置连续地拍摄的多个捕获图像进行接合生成360度全景图像的程序， 所述程序使得计算机执行包括下述步骤的处理: 计算彼此邻近的所述捕获图像之间的差分信息； 基于所述差分信息生成数据，所述数据指示当在预定位置对彼此邻近的所述捕获图像进行接合时发生的图像缺陷程度； 基于所述数据确定所述捕获图像之间的接合位置，当在与参考捕获图像相同的图像被设置为所述捕获图像的第N个捕获图像之后的第N+1个捕获图像的情况下、通过使用在所述捕获图像的参考 捕获图像中的指定位置与所述捕获图像的第N+1个捕获图像中的指定位置之间的部分生成全景图像时，所述接合位置使所述图像缺陷程度最小化，N是从所述参考捕获图像起计数的数量；以及 通过基于所确定的接合位置对所述捕获图像进行接合，生成所述全景图像。
【文档编号】G06T3/00GK103918250SQ201280053872
【公开日】2014年7月9日 申请日期:2012年11月2日 优先权日:2011年11月9日
【发明者】大木光晴, 山田英史, 佐野乾一, 加藤直哉, 木村笃史, 增野智经 申请人:索尼公司