专利名称：图像显示装置及图像显示方法
技术领域：
本发明涉及显示图像的装置及方法。
背景技术：
数字静物照相机(digital still camera)和数字摄像机已经普及,将所拍摄的静图像和动图像保存在计算机中进行阅览、加工，或将其显示于游戏机或电视(TV)系统的画面上的机会正在增加。此外，将所拍摄的动图像上传到因特网上的投稿网站，与其他用户共享动图像的情况也很流行。数码照相机中还有能够拍摄全景图像的照相机，其已能够简单地拍摄视场角大的全景图像。此外，通过一边改变拍摄方向，一边粘贴数码照相机所拍摄的多个图像来生成全景图像的软件工具也已经常被利用。存在接受用户所拍摄的这样的全景图像的投稿，并将其在因特网上公开的称作360cities的网站(http;//www.360cities.net),在该网站上，能够阅览全世界的用户所投稿的全景图像。
发明内容
〔发明所要解决的课题〕当全景图像是静图像时，对于全景图像中所拍摄到的一部分对象物，有时会想要提供动图像来代替静图像。例如，在拍摄有夜景的全景图像的情况下，其是静图像时非常美丽，但若其是动图像，则能够表现出建筑物的灯一亮一灭的情景，图像更具现实感、更加美丽。此外，若使活动的对象物成为动图像，则能够使全景图像具有跃动感。此外，在通过全景图像观看了整体的风景后聚焦到感兴趣的对象物来观看其详细内容时，若提供动图像，则能够提供更多的信息。本发明是鉴于这样的课题而研发的，其目的在于提供一种能够在对象图像内有效地显示动图像的技术。〔用于解决课题的手段〕为解决前述课题，本发明的一个方案的图像显示装置包括:检测部，通过在对象图像和应粘贴于上述对象图像的动图像的一部分帧之间抽取特征点，来检测用于将上述动图像与上述对象图像的区域建立对应的控制点；对齐处理部，基于上述控制点调整上述动图像相对于上述对象图像的对齐；映射处理部，将上述对象图像和被进行了对齐处理的上述动图像的静图像帧作为纹理而映射于三维对象空间中；三维图像生成部，生成以上述对象图像的拍摄地点为视点位置，在被指定的视线方向上观看上述三维对象空间时的三维对象图像；显示控制部，使上述三维对象图像显示于画面；接口部，接收用户针对所显示的三维对象图像的指示；以及动图像再现部，在上述接口部接收到再现上述三维对象图像内的上述动图像的指示的情况下，再现上述动图像。本发明的另一方案也是图像显示装置。该装置包括:对齐处理部，在被提供了对象图像和应粘贴于上述对象图像的动图像时，调整上述动图像的至少一部分帧相对于上述对象图像的对齐；显示控制部，使被进行了对齐处理的上述动图像的静图像帧重叠于上述对象图像地显示在画面中；接口部，接收用户针对所显示的对象图像的指示；以及动图像再现部，在上述接口部接收到再现上述对象图像内的上述动图像的指示的情况下，再现上述动图像。在上述接口部接收到向上述对象图像内的包含上述动图像的区域变倍放大的指示的情况下，上述动图像再现部开始上述动图像的再现来代替上述动图像的静图像帧。本发明的另一个方案是图像显示方法。该方法包括:处理器从存储器件读出对象图像和应粘贴于上述对象图像的动图像，调整上述动图像的至少一部分帧相对于上述对象图像的对齐的步骤；处理器使被进行了对齐处理的上述动图像的静图像帧重叠于上述对象图像地显示在画面中的步骤；处理器接受用户针对所显示的对象图像的指示的步骤；以及当处理器接收到向上述对象图像内的包含上述动图像的区域变倍放大的指示时，开始上述动图像的再现来代替上述动图像的静图像帧。此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、数据结构、记录介质等间变换后的实施方式，作为本发明的方案也是有效的。〔发明效果〕通过本发明，能够在对象图像内有效地显示动图像。
图1是实施方式的全景图像显示装置的构成图。图2是作为图1的全景图像显示装置所连接的输入设备的一个例子的控制器的构成图。图3的(a) (d)是说明用于拍摄全景图像的全方位拍摄系统的机构和拍摄方向的图。图4的(a)是说明照相机的方位角Θ的图，图4的(b)是说明照相机的仰角Φ的图。图5的(a) (C)是说明照相机的初始位置在方位角Θ的方向上时拍摄的全景图像的图。图6的(a) (C)是说明在照相机的仰角Φ = 60°时拍摄的全景图像的图。图7A是说明拼接多个图像来制作全景图像的方法的图。图7B是说明拼接多个图像来制作全景图像的方法的图。图8是说明图1的全景图像显示装置的全景图像生成步骤的流程图。图9的(a)、(b)是表不全景图像和应粘贴于其上的动图像的例子的图。图10是表不应粘贴于全景图像的另一个动图像的图。图11是表不已粘贴有图10的动图像的全景图像的图。图12是表示在图11所示的全景图像中，向粘贴有动图像的区域变倍放大(zoomin)时所显示的图像的图。图13是表不粘贴有动图像的全景图像的图。图14的(a)、(b)、(C)表示将全景图像内的动图像的区域变倍放大而再现动图像的状况。
图15是变倍缩小(zoom out)而返回到图13的全景图像时的画面例。图16是表示再次调整动图像的对齐(alignment)，将其粘贴在全景图像上的例子的图。
具体实施例方式对本发明的实施方式的概要进行说明。将动图像的静图像帧对齐粘贴在全景图像上。向全景图像内的包含动图像的区域变倍放大时，动图像将代替至此所显示的静图像帧地开始再现。由于所拍摄的动图像中包含有手抖成分，故图像在动图像和全景图像的边界区域会产生紊乱。因此，在边界区域对动图像和全景图像进行alpha混合(alpha blend),来减小手抖的影响。中断动图像的再现并将其变倍缩小时，将最后所显示的帧相对于全景图像重新对齐来进行显示。或者，在进行变倍缩小时，也可以切换到原来的全景图像来显
/Jn ο图1是实施方式的全景图像显示装置100的构成图。作为一个例子，图1所示的全景图像显示装置100的功能结构能够通过对个人计算机、游戏机、便携设备、便携终端等安装硬件、软件或其组合来构成。这些功能结构的一部分被组装于服务器，一部分被组装于客户端，全景图像显示装置100可以介由网络而作为服务器客户系统来实现。全景图像.附加数据存储部24保持将与拍摄地点相关的信息和与拍摄方位相关的信息建立了关联的全景图像。与拍摄地点、拍摄方位相关的信息等附加数据可以直接附加于全景图像的数据文件中，也可以将附加数据作为不同于全景图像的文件来管理。与拍摄地点相关的信息例如 包含由GPS (Global Positioning System)给出的讳度、经度信息。与拍摄方位相关的信息例如包含从方位传感器等得到的全景图像的中心点的方位角的信息，还可以包含拍摄时的照相机的仰角和滚动角的信息。作为与拍摄方位相关的信息，若给出全景图像的中心点的方位角，则能够基于将照相机的镜头向左右方向摇摆的角度来计算并求出全景图像的任意点的方位。可以将基于全景图像的中心点的方位角和摇摆(pan)角计算出来的处于全景图像的正北、正南、正东、正西方位的像素的坐标值作为与拍摄方位相关的信息，附加于全景图像。全景图像取得部10从全景图像 附加数据存储部24取得显示对象全景图像。显示对象全景图像例如通过用户在地图等中指定拍摄地点来确定。动图像数据存储部26保持被关联有与拍摄地点相关的信息的动图像。与拍摄地点相关的信息例如包括在拍摄时由GPS给出的纬度、经度信息。与拍摄地点相关的信息可以是地名、设施的名称等所拍摄的对象物的固有名称。动图像取得部11从动图像数据存储部26取得应粘贴于全景图像的动图像。动图像取得部11可以从全景图像.附加数据存储部24取得全景图像取得部10所取得的显示对象全景图像的与拍摄地点相关的信息，从动图像数据存储部26取得在同一或邻近的拍摄地点拍摄的动图像。拍摄地点可以用纬度经度信息来确定，也可以通过具体确定地名、施设名等来间接确定拍摄地点。此外，在存在多个在同一地点拍摄而拍摄时间带和拍摄季节不同的动图像的情况下，动图像取得部11可以选择符合全景图像的拍摄时间带和拍摄季节的动图像。例如，对在春季拍摄的全景图像选择在春季拍摄的动图像，对在夜晚时间带拍摄的全景图像选择在夜晚时间带拍摄的动图像。控制点检测部20通过在全景图像和动图像的帧之间进行特征点抽取，来检测将全景图像与动图像建立对应的控制点。若针对动图像的所有帧抽取特征点，则会花费处理时间，故例如从动图像的开头起选择数帧，在全景图像与这些帧之间进行特征点抽取。特征点抽取处理能够使用图像匹配中所使用的公知的技术。特征点抽取处理结束后，从所抽取的特征点中选出适合使动图像帧对应于全景图像的区域的控制点。特征点被抽取多个，但作为控制点，希望不偏向地分散于动图像帧的整体，优选的是，若能够针对将动图像帧按网格状分割为多个区域时的每个网格点选择控制点，则能够以高精确度将动图像帧对齐于全景图像的区域。对齐处理部12基于控制点调整动图像相对于全景图像的对齐。具体来讲，使动图像放大、缩小、变形，使得全景图像的控制点与动图像帧的控制点对应。由于全景图像存在因广角拍摄引起的畸变，故动图像帧也配合它地变形。结果，为映射于全景图像，需要求出动图像巾贞的摇摆(Pan)、倾斜(tilt)、滚动(roll)、比例(scale)。在此，由于控制点是针对动图像的例如从开头起的数个帧所设定的，故这些帧分别被基于控制点而对齐于全景图像的区域，使用最小二乘法，针对这些帧决定最合适的摇摆、倾斜、滚动、比例。基于最终决定的对齐，使动图像对应于全景图像的区域。基于最终决定的摇摆、倾斜、滚动、比例而被进行了对齐处理的动图像的一个帧、例如开头帧被作为静图像而粘贴于全景图像的区域。映射处理部14进行将全景图像和被对齐处理了的动图像的静图像帧作为纹理而映射到三维全景空间的处理。在全天球全景图像的情况下，假设球作为三维全景空间，通过球面映射，将全景图像纹理映射于球面。或者，可以假设立方体作为三维全景空间，通过立方体映射，将全景图像纹理映射于立方体表面。此外，若全景图像是不含倾斜(tilt)方向的成分、仅在摇摆方向延展的图像，则可以假设圆柱体作为三维全景空间，将全景图像纹理映射于圆柱体面。全景图像是不含摇摆方向的成分、仅在倾斜方向延展的图像的情况也是一样。三维图像生成部16生成在被指定的视线方向上观看被映射处理部14映射了全景图像和动图像的静图像帧的三维全景空间内时的三维全景图像。若三维全景空间是球，则视点被置于球的中心，若三维全景空间是立方体，则视点被置于立方体内部的中心，若三维全景空间是圆柱体，则视点被置于圆柱体的中心轴上。视点是拍摄显示对象全景图像的地点，而视线方向是从该拍摄地点观看周围的方向，以方位角和仰角来确定。三维图像生成部16生成按方位角和仰角所确定的视线方向观看三维全景空间时的三维图像。动图像再现部22再现被粘贴在三维图像生成部16所生成的三维全景图像内的动图像，并将其提供给显示控制部18。在全景图像内的粘贴有动图像的区域中，设置有指向动图像数据存储部26所保存的动图像数据的链接，动图像再现部22从动图像数据存储部26读出基于链接信息而编码了的动图像数据，进行解码、再现。显示控制部18使所生成的三维全景图像显示于显示器装置的画面上。此外，显示控制部18还使动图像再现部22所再现的动图像显示于显示器装置的画面上。动图像的再现例如于向粘贴有动图像的静图像帧的全景图像的区域变倍放大时自动开始。此外，可以在粘贴有动图像的静图像帧的全景图像的区域中显示表示存在动图像的标记，在用户选择了该标记的情况下使动图像再现。当在动图像再现过程中，因照相机的摇摆、倾斜、滚动在帧之间变化、或照相机的变倍率变化等，拍摄方向或拍摄倍率有较大程度的变化时，控制点检测部20可以在有拍摄方向或拍摄倍率的变化后的数个帧(称作“最新帧”)与全景图像之间进行特征点抽取处理，从已抽取出的特征点中新检测出控制点，向对齐处理部12提供控制点的信息。此时，对齐处理部12基于新的控制点再次调整动图像相对于全景图像的对齐，将动图像的最新帧与全景图像的区域建立对应。映射处理部14将被进行了对齐处理的动图像的最终显示帧和全景图像一起映射于三维全景空间中。由此，动图像被基于最新的对齐信息适当地对齐于全景图像中，在全景图像内显示。动图像的最初的对齐处理是基于从动图像的开头数帧中检测出的控制点而进行的。若基于最初的对齐结果使再现过程中的帧显示于全景图像的区域，则在照相机的拍摄方向、拍摄倍率发生了变化时，有时会产生失配。通过针对再现过程中的帧重新检测控制点，再次调整对齐，能够使再现中的动图像的帧正确地与全景图像的区域建立对应。特别是，当在动图像拍摄中拍摄地点正移动时，应粘贴再现过程中的帧的全景图像的位置已从最初的对齐处理所决定的粘贴位置移动了。因此，若针对再现过程中的帧再次进行控制点的检测、对齐处理，则能够使再现过程中的帧与全景图像的移动目标位置正确地建立对应。动图像的对齐的再次调整可以在动图像的再现结束或中断时进行。由于动图像的再现是在将全景图像的粘贴有动图像的静图像帧的区域变倍放大时进行的，故有时即使正再现的帧没有适当地对齐于全景图像，也不会在意，但若结束或中断动图像的再现并变倍缩小，动图像最后所显示的帧(称作“最终显示帧”)没有正确地对齐于全景图像，则会显得不自然。因此，控制点检测部20可以在最终显示帧与全景图像之间进行特征点抽取处理，重新检测控制点，对齐处理部12可以基于新的控制点再次调整动图像相对于全景图像的对齐，将动图像的最终显示帧与全景图像的区域建立对应。由此，动图像的最终显示帧、即在动图像的再现结束时最后的帧、动图像的再现中途中断时所显示的帧被适当地对齐于全景图像，显示于全景图像内。在动图像再现过程中，各帧之间拍摄方向或拍摄倍率超过预定阈值地变化了时，控制点检测部20在最新帧与全景图像之间重新检测控制点，但在该时点不由对齐处理部12进行对齐的再次调整，仅将控制点的信息存储于存储器中，可以根据变倍缩小了全景图像时等的需要，由对齐处理部12进行动图像的对齐的再次调整。用户接口部40是能够由用户使用输入设备针对显示器的画面所显示的图形进行操作的图形用户接口。用户接口部40从游戏机的控制器、鼠标、键盘等输入设备接受用户针对画面所显示的地图或三维全景图像的指示。图2表示作为输入设备的一个例子的控制器102,对于其详细的构成会在之后叙述。此外，当一定时间内没有来自输入设备的输入时，可以由脚本再现部按照脚本针对显示于画面的地图、三维全景图像执行操作指令。用户接口部40指示全景图像取得部10从全景图像.附加数据存储部24取得被指定的全景图像。用户通过操作例如控制器102的模拟摇杆118或方向键群116等，能够输入变更观看三维全景空间的视线方向的指示。用户接口部40的视线方向设定部32将用户所指示的视线方向提供给三维图像生成部16。三维图像生成部16生成从被指定的视线方向观看三维全景空间时的图像。视场角设定部31设定在用户针对所显示的全景图像进行了变倍操作时的视场角，向全景图像取得部10和三维图像生成部16提供所设定的视场角的信息。当视场角不同的全景图像已被存储于全景图像.附加数据存储部24时，全景图像取得部10读出距所设定的视场角最近的视场角的全景图像，切换显示对象全景图像。三维图像生成部16通过根据所设定的视场角放大或缩小三维全景图像，来实现变倍放大、变倍缩小的视觉效果。全景图像中被赋予有与拍摄高度相关的信息，全景图像 附加数据存储部24可以保持以不同的高度针对同一拍摄位置拍摄的全景图像。此时，用户通过操作例如处于控制器102的壳体前面左侧的L1/L2按钮161、162，能够输入变更高度的指示。通过按压LI按钮161，能够给与增加高度的指示，通过按压L2按钮162，能够给与降低高度的指示。显示控制部18例如可以通过在画面的上部、下部显示小箭头来将针对当前正显示的全景图像有以不同的高度在同一拍摄地点拍摄的全景图像这一事情通知给用户。若画面的上部有向上的箭头，则表不有拍摄闻度比当如的闻的图像，若画面的下部有向下的箭头，则表示有拍摄高度比当前的低的图像。用户接口部40的高度设定部34接收到用户的变更高度的指示后，指示全景图像取得部10从全景图像.附加数据存储部24取得拍摄位置相同的、与被指定的高度对应的全景图像。全景图像取得部10在LI按钮161被按压的情况下，取得拍摄高度比当前正显示的全景图像高的全景图像，在L2按钮162被按压的情况下，取得拍摄高度更低的全景图 像。显示控制部18在切换到拍摄高度不同的全景图像进行显示时，例如为给与用户仿佛在升降电梯中升降那样的感觉，可以对图像施以特别的效果。例如，当切换到高度更高的全景图像时，将当前正显示的全景图像向下滚动、使高度更高的全景图像从上方降下来地进行显示，由此，用户能够有仿佛上了楼那样的感觉。全景图像中被赋予有与拍摄日期时间相关的信息，全景图像.附加数据存储部24可以保持拍摄位置相同而拍摄日期时间不同的全景图像。此时，用户例如通过操作处于控制器102的壳体前面右侧的R1/R2按钮151、152，能够输入变更拍摄日期时间的指示。通过按压Rl按钮151，能够给与移换到较晚的日期时间的指示，通过按压R2按钮152，能够给与移换到较早的日期时间的指示。显示控制部18可以将针对当前正显示的全景图像有在不同的日期时间拍摄的全景图像这一情况例如通过在画面的角落显示时钟或日历的图标来通知给用户。当存在早晨、中午、夜晚等时间带不同的全景图像时，显示时钟图标，当存在春季、夏季、秋季、冬季等拍摄季节不同的全景图像时，显示日历图标。当用户接口部40的日期时间设定部36从用户接收到变更日期时间的指示时，指示全景图像取得部10从全景图像.附加数据存储部24取得拍摄位置相同的、与被指定的日期时间对应的全景图像。全景图像取得部10在Rl按钮151被按压了的情况下，取得拍摄日期时间比当前正显示的全景图像晚的全景图像，在R2按钮152被按压了的情况下，取得拍摄日期时间更早的全景图像。由此，例如即使是同一拍摄地点，也能够从在早晨的时间带拍摄的全景图像切换为在夜晚时间带拍摄的全景图像，或从春季所拍摄的全景图像切换到秋季所拍摄的全景图像等，切换到拍摄时间带、拍摄季节等不同的全景图像。显示控制部18在切换全景图像时，可以对图像施以淡入淡出等效果。视点位置设定部30将全景图像的拍摄地点设定于视点位置，将视点位置通知给三维图像生成部16。视线方向设定部32将被指定的视线方向提供给三维图像生成部16。图2是作为图1的全景图像显示装置100所连接的输入设备的一个例子的控制器102的构成图。全景图像显示装置100例如可以是游戏机。控制器102具有用于进行对全景图像显示装置100的操作输入的多个按钮和键。用户操作控制器102的按钮、键时，该操作输入被通过无线或有线发送给全景图像显示装置 100。控制器102的壳体上面122设有方向键群116、模拟摇杆118、操作按钮群120。方向键群116包含“上”、“下”、“左”、“右”方向指示键。操作按钮群120包含〇按钮124、X按钮126、□按钮128、及Λ按钮130。用户以左手握持左侧握持部134b，以右手握持右侧握持部134a，来操作壳体上面122上的方向键群116、模拟摇杆118、及操作按钮群120。此外，控制器102的壳体前面设有右侧操作部150和左侧操作部160。右侧操作部150包含Rl按钮151和R2按钮152，左侧操作部160包含LI按钮161和L2按钮162。用户通过操作方向键群116，能够使画面上所显示的指针向上下左右各方向移动。例如，选择全景图像内所显示的多个标识器的其中一个时，能够操作方向键群116而在画面上的多个标识器之间移动。用户在指针已到达所希望的标识器上时，通过按压〇按钮124，能够选择该标识器。操作按钮群120的各按钮可以被全景图像显示应用程序分派各自不同的功能。例如，Λ按钮130被分派指定菜单的显示的功能、X按钮126被分派指定取消所选择的项目等的功能，〇按钮124被分派指定所选择的项目的决定等的功能，□按钮128被分派指定目录等的显示/非显示的功能。模拟摇杆118具备在由用户进行了倾倒操作时，输出模拟值的装置。控制器102将与倾倒模拟摇杆118时的方向和量相应的模拟输出信号传送到全景图像显示装置100。例如，用户通过向所希望的方向倾倒模拟摇杆118，能够在显示器所显示的三维全景图像内使视点向所希望的方向移动。壳体上面122还设有带LED的按钮136、选择按钮140、开始按钮138。带LED的按钮136例如作为用于使菜单画面显示于显示器的按钮被使用。开始按钮138是用于用户指示全景图像显示应用程序的起动、全景图像的再现开始、暂停等的按钮。选择按钮140是用于用户指示选择显示器所显示的菜单显示等的按钮。图3的(a) (d)是说明用于拍摄全景图像的全方位拍摄系统230的机构和拍摄方向的图。如图3的(d)所示的那样，在全方位拍摄系统230中，照相机200被固定于操作盘210，通过使操作盘210围绕Z轴转动，能够改变照相机的摇摆角，通过使操作盘210围绕X轴转动，能够改变照相机的倾斜角，通过使操作盘210围绕Y轴方向转动，能够改变照相机的滚动角。在此，Z轴是铅直轴(重力方向轴)。
图3的(a)是设置于操作盘210上的照相机200的俯视图，将操作盘的初始位置(Y轴方向)定为摇摆角0°，能够围绕Z轴在一 180° + 180°的范围内改变摇摆角。图3的(b)是设置在操作盘210上的照相机200的主视图，将操作盘210被水平放置的状态定为滚动角0°，能够围绕Y轴在一 180° + 180°的范围内改变滚动角。图3的(C)是设置在操作盘210上的照相机200的侧视图，将操作盘210被水平放置的状态定为倾斜角0°，能够围绕X轴在一 90° +90°的范围内改变倾斜角。为将与拍摄方位相关的信息赋予给由图3的(d)的全方位拍摄系统230拍摄的全景图像，需要预先记录照相机200在拍摄时朝向哪个方位。为此，全方位拍摄系统230具备用于测量方位的方位传感器和用于测量倾斜角的加速度传感器等。此外，为测量拍摄位置和拍摄时间，还具备GPS传感器等。图4的(a)是说明照相机200的方位角Θ的图，图4的(b)是说明照相机200的仰角Φ的图。图4的(a)是照相机200的俯视图，照相机200在拍摄的初始位置时朝向从正北向东偏离了方位角Θ的角度的方向220，该方向相当于摇摆角0°。即，摇摆角的基准方向220的方位角是Θ。拍摄全景图像时，一边相对于该方位角Θ的基准方向220在一180° + 180°的范围内改变摇摆角，一边全景拍摄被摄物体。图4的(b)是照相机200的侧视图，仰角Φ是使照相机200绕X轴转动了时，相对于倾斜0°的方向、即Y轴方向，将上方向定义为正的角度。通常，由于将照相机200设定在水平位置上来拍摄，故仰角Φ =0°，但在拍摄全天球的全景图像时，需要使照相机倾斜，改变仰角Φ来拍摄被摄物体。图5的(a) (C)是说明照相机200的初始位置处于方位角Θ的方向时所拍摄的全景图像的图。如图5的(a)的俯视图所示的那样，在初始位置下，照相机200朝向方位角Θ的方向220，如图5的(b)的侧视图所示的那样，照相机200的仰角Φ =0°。保持仰角Φ=0°，一边使照相机200的摇摆角相对于基准方向220在一 180°至+ 180°的范围内变化，一边拍摄仰角Φ =0°时的全方位的全景图像。图5的(c)表示这样拍摄的全景图像300。全景图像300的中心是摇摆角0°，全景图像300的左半部分是将摇摆角从0°改变至一 180°所拍摄的图像，右半部分是将摇摆角从0°改变至180°所拍摄的图像。因全景图像300的摇摆角0°的中心位置从正北向东偏离了方位角Θ，故北(N)、南(S)、东(E)、西(W)的位置是虚线所示的地方。只要全景图像300拥有摇摆角0°的中心位置的方位角Θ作为与拍摄方位相关的信息，就能够考虑方位角Θ的偏离地计算求得北(N)、南(S)、东(E)、西(W)的像素位置。或者，也可以取代方位角Θ，而是具有北(N)、南
(S)、东(E)、西(W)的像素位置的坐标值来作为与拍摄方位相关的信息。为得到全天球的全景图像，需要改变照相机200的仰角来拍摄。例如，假设照相机200的视场角是60°时，从原理上来讲，若在使照相机200上下地倾斜±60°的基础上，一边在一 180° 180°的范围内改变摇摆角，一边进行同样的拍摄，则能够得到全天球的全景图像。图6的(a) (C)是说明在照相机200的仰角Φ = 60°的情况下拍摄的全景图像的图。如图6的(a)的俯视图所示的那样，在初始位置，照相机200朝向方位角Θ的方向220,如图6的(b)的侧视图所示的那样,照相机200的仰角Φ = 60°。保持仰角Φ =60°，一边使照相机200的摇摆角相对于基准方向220在一 180°至+ 180°的范围内变化，一边拍摄如图6的(c)所示那样的仰角Φ =60°时的全景图像302。同样地，保持照相机200的仰角Φ =— 60°，一边使摇摆角在一 180°至+ 180°的范围内变化，一边拍摄仰角Φ = — 60°时的全景图像。若组合仰角Φ =0°、60°、一60°的全景图像，则能够得到全天球全景图像。当然，在实际操作上，为修正在视场角的边界部分粘贴图像时因镜头的畸变产生的失配，多数采取使边界附近重叠来拍摄的方法。这样得到的全天球全景图像被赋予有方位角及仰角的信息，能够基于该信息针对全景图像的任意像素确定方位和仰角。此外，全景图像还被赋予由GPS测量出的纬度、经度信息作为拍摄地点的位置信息。作为一个例子，应赋予全景图像的附加信息可以按照被称作Exif (Exchangeable Image File Format:可交换图像文件)的图像文件的规格来记录。能够将拍摄地点的地名记录在文件名的一部分中，并将拍摄日期时间、拍摄地点的纬度、经度、高度、方位角等作为Exif格式的数据来记录。仰角在Exif格式中没有被定义，但作为扩展数据来记录。图7A及图7B是说明拼接多个图像来制作全景图像的方法的图。在图7A的例子中，在一边使照相机200倾斜(或摇摆)一边所拍摄的7幅图像341 347映射于圆筒后，拼接而生成圆筒状的图像340。拼接图像时，使图像的边界附近重叠。如图7B所示的那样，通过使照相机200摇摆(或倾斜)地进行拍摄，能够在摇摆(或倾斜)方向上得到多个图7A所示的圆筒状的图像。通过使这些圆筒状的图像340a 340f在图像的边界附近重叠地合成，能够最终得到全方位的全景图像360。图8是说明全景图像显示装置100的全景图像生成步骤的流程图。一边参照图9的(a)、(b) 图16，一边说明图8的全景图像生成步骤的各步骤。在图8所示的流程图中，将各部的处理步骤以代表步骤的S (St印的首字母)和数字的组合来表示。此外，当在以S和数字的组合表示的处理中执行某判断处理，其判断结果为肯定时，附加“是”(“是”的首字母)，例如表示为“S24的“是””，相反的，其判断结果为否定时，附加“否”(“否”的首字母)，表示为“S24的“否””。全景图像取得部10从全景图像.附加数据存储部24取得所拍摄的全景图像400和其被附加的与拍摄地点相关的信息(S10)。动图像取得部11从动图像数据存储部26取得在与全景图像400的拍摄地点相同或相近的地点所拍摄的动图像500 (S12)。控制点检测部20从动图像500的开头取得数个帧(S14)，在全景图像400与动图像500的帧之间抽取取得匹配的特征点，从所抽取的特征点中选择用于将动图像500的帧对齐于全景图像400的区域的控制点(S16)。图9的(a)、(b)是表示全景图像400和应粘贴于它的动图像500的例子的图。在此，在图9的(a)的全景图像400与图9的(b)的动图像500的开头帧之间检测出4个控制点，2个图像的相对应的控制点之间如虚线所示的那样被建立了关联。对齐处理部12基于控制点调整动图像500相对于全景图像400的对齐，将动图像500与全景图像400的区域建立关联(S18)。图10是表示应粘贴于全景图像的另一动图像510的图。动图像510是拍摄有摩天轮的图像。图11是表示粘贴有图10的动图像510的全景图像410的图。全景图像410中本来就拍摄有摩天轮，在该摩天轮的拍摄区域粘贴有摩天轮的动图像510的开头帧的静图像。在其它实施例中，全景图像410中没有拍摄到摩天轮，通过粘贴动图像510，能够使得看起来仿佛在该位置存在摩天轮。回到图8的流程图，映射处理部14将被关联有动图像500、510的全景图像400、410映射于全景球(S20)。三维图像生成部16生成在被指定的视线方向上观看映射有被关联了动图像500、510的全景图像400、410的三维全景球时的三维全景图像，显示控制部18显示所生成的三维全景图像(S22 )。当用户进行了将包含被粘贴于全景图像400、410的动图像500、510的区域变倍放大的操作时(S24的“是”)，动图像再现部22开始动图像500、510的再现。由此，在动图像500中，大厦的灯一亮一灭的情景和升降电梯升降的情景被再现，在动图像510中，摩天轮转动的情景被再现。在没有进行针对动图像500、510的变倍放大操作的情况下(S24的“否”)，结束全景图像生成处理。动图像再现部22在动图像再现时，对动图像500、510和全景图像400、410的边界区域进行alpha混合(S26)。图12是表示在图11所示的全景图像410中，在向粘贴有动图像510的区域变倍放大了时显示的图像412的图。再现动图像510时，由于动图像510和全景图像410的边界区域512因手抖的影响而各个帧的边界线有变动，故会产生紊乱。这是因为动图像510的开头的数帧已被对齐于全景图像，但因手抖的影响，所有帧的控制点并不一定与全景图像的控制点一致。该因手抖而产生的边界区域的紊乱在如图11那样动图像510的静图像帧已被粘贴于全景图像410的状态下不存在，但会在变倍放大而再现动图像510时产生。因此，动图像再现部22在动图像510和全景图像410的边界区域512对动图像510的各帧的像素和全景图像410的像素进行alpha混合，来通过后处理使边界区域的紊乱不明显。在动图像再现过程中，当拍摄方向或拍摄倍率的变化量在帧之间处于预定的阈值以内时(S28的“否”)，重复步骤S26的处理。当拍摄方向或拍摄倍率的变化量在帧之间超过了预定的阈值时(S28的“是”)，动图像再现部22取得拍摄方向或拍摄倍率变化后的数个帧(“最新帧”)(S30)，回到步骤S16，控制点检测部20针对动图像的最新帧重新检测用于与全景图像的区域建立对应的控制点，对齐处理部12基于新的控制点再次调整动图像的对齐，将动图像的最终显示帧与全景图像建立关联。参照图13 图16说明动图像的对齐的再次调整处理。图13是表示粘贴有动图像520的全景图像420的图。动图像520是拍摄有马车的图像，但通过针对其背景图像取得匹配，动图像520的开头帧被与全景图像420的区域建立对应，并被粘贴于其中。图14的(a)、(b)、(C)表示将全景图像420内的动图像520的区域变倍放大而再现动图像520的情况。图14的(a)、图14的(b)、图14的(c)的各帧是按时间顺序表示从动图像520中再现出的帧。马车从全景图像420内的右边向左边方向前进，到达了摩天轮
N /.刖。图15是进行变倍缩小而返回到图13的全景图像420时的画面例。变倍缩小时，动图像的再现会中断，其最后显示的帧被显示。或者，也可以在变倍缩小后继续再现动图像，显示最新帧。在此，为进行比较，说明不进行对齐的再次调整的情况。基于动图像520的最初的对齐结果，动图像520被对齐于全景图像420的右侧，但被显示的却是最后所显示的、或最新的图14的(c)的帧，故动图像520的背景与全景图像420不一致，很不自然。图16是表示再次调整动图像520的对齐后粘贴于全景图像420的例子的图。由于动图像520的最终显示帧的背景图像的控制点与全景图像420的移动目标区域的控制点被建立对应，故动图像520的背景与全景图像420 —致。像这样，当在动图像520中被拍摄的对象物(在此例中是马车)移动时，使将动图像520粘贴于全景图像420的位置也相应地追踪移动。此外，在变倍缩小而中断了动图像的再现时，若要不是显示最终显示帧，而是显示动图像的开头帧，则只要基于最初的对齐结果，将动图像520如图15所示那样对齐于全景图像420的右侧即可。动图像520的粘贴位置的移动可以在变倍缩小了的时点进行，但也可以通过使动图像520的各帧的控制点追从于全景图像420内的控制点，来实时地使动图像520的粘贴位置在全景图像420内移动。即使是正变倍放大时，也会有动图像520的周围显示有全景图像420的一部分的情况，通过在再现动图像520的过程中使各帧的粘贴位置在全景图像420内移动，能够使各帧的背景图像与全景图像420 —致，保持连续性。如以上所述的那样，通过本实施方式的全景图像显示装置，能够基于针对动图像的开头数帧所求出的控制点，准确地将动图像的静图像帧粘贴于全景图像中来显示。在向粘贴有动图像的区域变倍放大了时，动图像的再现自动开始。因手抖的影响，每个帧的控制点的位置不同，但通过在动图像和全景图像的边界区域对动图像和全景图像的像素值进行alpha混合，能够使边界区域的紊乱不明显。由于在中断了动图像的再现时，针对中断时所显示的帧求出控制点而粘贴于全景图像，故能够在变倍缩小了时维持与全景图像的连续性。特别是，当动图像内的对象物移动，拍摄方向发生了变化时，通过使动图像的粘贴位置在全景图像内移动，能够在动图像与全景图像之间保持连续性。以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。在前述的说明中，将关联有动图像的全景图像映射于球面等三维全景空间中，将从被指定的视线方向观看三维全景空间时的三维全景图像显示在了画面中，但也可以仅简单地二维显示关联有动图像的全景图像。此时，不需要映射处理部14及三维图像生成部16的构成，能够使全景图像显示装置100简单化。在该情况下，当向二维显示的与全景图像建立了关联的动图像的区域变倍放大了时，动图像也被自动再现。或者，也可以在用户选择了表示全景图像被关联有动图像的标记的情况下，开始动图像的再现。全景图像不限于用图3那样的全方位拍摄系统拍摄的图像，也可以是使用鱼眼镜头拍摄的图像，或将一边改变拍摄方向一边用通常的数码照相机拍摄的多个图像合成后的图像。在前述的说明中，对齐处理部12将动图像与全景图像的区域建立关联后，映射处理部14将全景图像和动图像的静图像帧映射在三维全景空间中。作为其它方法，也可以是对齐处理部12进行完基于控制点将动图像的静图像帧合成到全景图像的区域中的处理后，映射处理部14将合成有动图像的静图像帧的全景图像映射于三维全景空间中。通过将全景图像显示装置100的功能结构中的主要涉及使动图像对齐并链接于全景图像的功能的结构安装于服务器，将主要涉及阅览全景图像和全景图像内所被链接的动图像的功能的结构安装于客户端，能够将全景图像显示装置100作为介由网络的服务器一客户端系统来实现。可以是服务器执行向全景图像对齐并链接动图像的静图像帧的处理，客户端被提供阅览链接有动图像的全景图像的接口。可以是在客户端的显示画面中，用户将动图像的区域变倍放大时，从服务器作为流而发送动图像的编码流，然后在客户端侧解码进行动图像的再现。此外，在本说明书中所讲的“全景图像”，并不限定于狭义上的“全景图像”、即横长或纵长的图像、360度的全景图像等，而是单纯地以广范围为对象的图像。此外，在实施方式中，说明了以全景图像为对象图像而粘贴动图像的例子，但对象图像不需要是所谓的全景图像，以任意尺寸的通常的图像为对象，也能够适用本发明。或者，对象图像也可以是多个分辨率不同的图像被阶层化了的图像。这样的被阶层化了的图像可以构成为在将图像的一部分区域放大时，被放大的区域置换为分辨率更高的图像。〔标号说明〕10全景图像取得部、11动图像取得部、12对齐处理部、14映射处理部、16三维图像生成部、18显示控制部、20控制点检测部、22动图像再现部、24全景图像.附加数据存储部、26动图像数据存储部、30视点位置设定部、31视场角设定部、32视线方向设定部、34高度设定部、36日期时间设定部、40用户接口部、100全景图像显示装置、200照相机。〔工业可利用性〕能够适用于显示图像的技术。
权利要求
1.一种图像显示装置，其特征在于，包括: 检测部，通过在对象图像和应粘贴于上述对象图像的动图像的一部分帧之间抽取特征点，来检测用于将上述动图像与上述对象图像的区域建立对应的控制点； 对齐处理部，基于上述控制点调整上述动图像相对于上述对象图像的对齐； 映射处理部，将上述对象图像和被进行了对齐处理的上述动图像的静图像帧作为纹理而映射于三维对象空间中； 三维图像生成部，生成以上述对象图像的拍摄地点为视点位置，在被指定的视线方向上观看上述三维对象空间时的三维对象图像； 显示控制部，使上述三维对象图像显示于画面； 接口部，接收用户针对所显示的三维对象图像的指示；以及 动图像再现部，在上述接口部接收到再现上述三维对象图像内的上述动图像的指示的情况下，再现上述动图像。
2.如权利要求1所述的图像显示装置，其特征在于， 在上述接口部接收到向上述三维对象图像内的包含上述动图像的区域变倍放大的指示的情况下，上述动图像再现部开始上述动图像的再现来代替被粘贴于对象图像内的动图像的静图像帧。
3.如权利要求1或2所述的图像显示装置，其特征在于， 上述动图像再现部在再现上述动图像时，对上述动图像和上述对象图像的边界区域进行alpha混合，由此来缓和因没有被进行控制点的检测的动图像的帧与上述对象图像的不一致而产生的影响。
4.如权利要求1至3的任意一项所述的图像显示装置，其特征在于， 当上述动图像的拍摄方向或拍摄倍率超过预定阈值地变化了时，上述检测部针对拍摄方向或拍摄倍率变化后的最新帧，在与上述对象图像之间抽取特征点，重新检测用于使上述动图像与上述对象图像的区域建立对应的控制点； 上述对齐处理部基于最新帧的上述控制点再次调整上述动图像相对于上述对象图像的对齐； 上述映射处理部将上述对象图像和被再次调整了对齐的上述动图像的最新帧作为纹理映射于三维对象空间中。
5.如权利要求1至4的任意一项所述的图像显示装置，其特征在于， 上述对象图像是全景图像，上述三维对象空间是三维全景空间。
6.一种图像显示装置，其特征在于，包括: 对齐处理部，在被提供了对象图像和应粘贴于上述对象图像的动图像时，调整上述动图像的至少一部分帧相对于上述对象图像的对齐， 显示控制部，使被进行了对齐处理的上述动图像的静图像帧重叠于上述对象图像地显示在画面中， 接口部，接收用户针对所显示的对象图像的指示，以及 动图像再现部，在上述接口部接收到再现上述对象图像内的上述动图像的指示的情况下，再现上述动图像； 其中，在上述接口部接收到向上述对象图像内的包含上述动图像的区域变倍放大的指示的情况下，上述动图像再现部开始上述动图像的再现来代替上述动图像的静图像帧。
7.如权利要求6所述的图像显示装置，其特征在于， 上述动图像再现部在再现上述动图像时，对上述动图像和上述对象图像的边界区域进行alpha混合，由此来缓和因动图像拍摄时的手抖所带来的与上述对象图像失配的影响。
8.如权利要求6或7所述的图像显示装置，其特征在于， 当上述动图像的拍摄方向或拍摄倍率超过预定阈值地变化了时，上述对齐处理部针对拍摄方向或拍摄倍率变化后的最新帧再次调整相对于上述对象图像的对齐； 上述显示控制部将被再次调整了对齐的上述动图像的最新帧重叠于上述对象图像地显示在画面中。
9.如权利要求6至8的任意一项所述的图像显示装置，其特征在于， 上述对象图像是全景图像。
10.一种图像显示方法，其特征在于，包括: 处理器从存储器件读出对象图像和应粘贴于上述对象图像的动图像，调整上述动图像的至少一部分帧相对于上述对象图像的对齐的步骤； 处理器使被进行了对齐处理的上述动图像的静图像帧重叠于上述对象图像地显示在画面中的步骤； 处理器接受用户针对所显示的对象图像的指示的步骤；以及 当处理器接收到向上述对象图像内 的包含上述动图像的区域变倍放大的指示时，开始上述动图像的再现来代替上述动图像的静图像帧。
11.一种计算机程序，其特征在于，使计算机实现如下功能: 通过在对象图像和应粘贴于上述对象图像的动图像的一部分帧之间进行特征点抽取，来检测用于使上述动图像与上述对象图像的区域建立对应的控制点的功能； 基于上述控制点调整上述动图像相对于上述对象图像的对齐的功能； 将上述对象图像和被进行了对齐处理的上述动图像的静图像帧作为纹理而映射到三维对象空间中的功能； 生成以上述对象图像的拍摄地点为视点位置，在被指定的视线方向上观看上述三维对象空间时的三维对象图像的功能； 使上述三维对象图像显示于画面中的功能； 接收用户针对所显示的三维对象图像的指示的功能；以及 在接收到再现上述三维对象图像内的上述动图像的指示的情况下，再现上述动图像的功能。
12.—种记录介质,其特征在于， 存储有权利要求11所述的程序。
全文摘要
控制点检测部(20)通过在全景图像与动图像的一部分帧之间进行特征点抽取，来检测用于使动图像与全景图像的区域建立对应的控制点。对齐处理部(12)基于控制点调整动图像相对于全景图像的对齐。映射处理部(14)将全景图像和被进行了对齐处理的动图像的静图像帧作为纹理而映射于三维全景空间中。三维图像生成部(16)生成在被指定的视线方向上观看三维全景空间时的三维全景图像。动图像再现部(22)在接收到再现三维全景图像内的动图像的指示的情况下，再现动图像。
文档编号H04N5/262GK103155538SQ201180047929
公开日2013年6月12日 申请日期2011年7月29日 优先权日2010年10月5日
发明者古村京子, 平田真一, 山岸建 申请人:索尼电脑娱乐公司