专利名称：全景图像生成装置及全景图像生成方法
技术领域：
本发明涉及由运动图像生成全景图像的技术。
背景技术：
以往，周知有由构成运动图像的多个静止图像生成全景图像的技术(参照 JP2009-141821A,JP2000-244814A,JP2009-159514A)。但是，在由构成运动图像的多个静止图像生成全景图像的情况下，会生成极端地横长或纵长的全景图像。在这样的极端地横长或纵长的全景图像中存在难以确认用户所关注的被摄体的问题。
发明内容
本发明的目的在于提供一种由构成运动图像的多个静止图像生成容易视觉辨认用户所关注的被摄体的全景图像的技术。根据本发明的一方式的全景图像生成装置能够由运动图像生成全景图像，该全景图像生成装置包括全景图像生成部，其对构成所述运动图像的多个静止图像进行合成而生成全景图像；切出尺寸确定部，其确定从通过所述全景图像生成部生成的全景图像中切出显示用全景图像的大小；关注摄影位置判定部，其从通过所述全景图像生成部生成的全景图像中检测出关注摄影位置；显示用全景图像切出部，其根据通过所述关注摄影位置判定部检测出的关注摄影位置和通过所述切出尺寸确定部确定的大小，从通过所述全景图像生成部生成的全景图像中切出显示用全景图像；以及显示部，其显示通过所述显示用全景图像切出部切出的显示用全景图像。根据本发明的另一方式的全景图像生成方法由运动图像生成全景图像，该全景图像生成方法包括如下步骤对构成所述运动图像的多个静止图像进行合成而生成全景图像；确定从所述生成的全景图像中切出显示用全景图像的大小；从所述生成的全景图像中检测出关注摄影位置；以及根据所述检测出的关注摄影位置和所述确定的大小，从所述生成的全景图像中切出显示用全景图像。根据本发明，从对构成运动图像的多个静止图像进行合成而生成的全景图像中切出包括用户关注的摄影位置的范围而生成显示用全景图像，因此能够容易视觉辨认用户所关注的被摄体。
图1是搭载了一实施方式中的全景图像生成装置的数字照相机的正面立体图。图2是搭载了一实施方式中的全景图像生成装置的数字照相机的背面立体图。图3是表示数字照相机的硬件结构例的图。图4是表示从通过图像合成部生成的全景图像生成切出全景图像而显示到显示部为止的处理的流程的流程图。
图5是表示从纵长的全景图像生成切出全景图像为止的处理的流程的流程图。图6是表示构成生成全景图像所用的运动图像的多个静止图像的一例的图。图7是表示根据图6所示的构成运动图像的多个静止图像而生成的全景图像的一例的图。图8是用于说明计算全景图像的横向上的切出量的方法的图。图9是表示在通过图像合成部生成的全景图像中生成全景图像所用的多个静止图像的中心位置的图。图10是表示构成全景图像的多个静止图像的中心位置的时间轴上的坐标的图。图11是表示在全景图像的横向上每个单位区间的静止图像的中心位置的数量的曲线图及表示全景图像中的关注位置的图。图12是表示由图6所示的运动图像生成并显示在显示部的切出全景图像的一例的图。图13是表示利用了切出全景图像所包括的静止图像的运动图像显示的处理的流程的流程图。图14是表示切出全景图像所包括的帧的一例的图。图15是表示对图14所示的、切出全景图像所包括的帧依次进行运动图像再现的例子的图。图16是表示在进行分类运动图像再现的情况下，将切出全景图像也同时显示的例子的图。图17是表示在利用图16进行说明的运动图像再现方法中结合时限而显示的例子的图。图18是表示将显示在显示部的切出全景图像也移动显示的例子的图。符号说明102摄像元件15图像处理部19显示部27CPU(全景图像生成部、切出尺寸确定部、关注摄影位置判定部、全景图像切出部、再现部)观运动矢量检测部29图像合成部
具体实施例方式图1是搭载了一实施方式中的全景图像生成装置的数字照相机1的正面立体图。 图2是搭载了一实施方式中的全景图像生成装置的数字照相机1的背面立体图。如图1及图2所示，数字照相机1具有形成为大致长方体形状的照相机主体3、作为光学系统的镜头4、作为操作部的快门按钮5、电源按钮6 (以上，参照图1)、菜单按钮7、 十字按钮8、0K/FUNC按钮9、变焦按钮10、模式转盘11、液晶监视器等显示部19 (以上，参照图2)。快门按钮5是用于指示通过镜头4摄像的静止图像及运动图像(连续的静止图像)的记录的操作按钮。电源按钮6是用于开/关数字照相机1的电源的操作按钮。菜单按钮7是用于将用于进行数字照相机1的各种设定的菜单画面显示在显示部19的操作按钮。十字按钮8是用于通过移动在显示部19显示的菜单画面上的光标位置等而选择所希望的菜单项目的操作按钮。0K/FUNC按钮9用于将利用十字按钮8而选择的菜单项目确定为选择项目的操作按钮。变焦按钮10是用于通过将镜头4向广角侧或望远侧移动而指示焦距的变更的操作按钮。模式转盘11是用于设定例如运动图像摄影模式或静止图像摄影模式等的数字照相机1的动作模式的操作转盘。图3是表示数字照相机1的硬件结构例的图。图3所示的数字照相机1具有镜头101 (相当于图1的镜头4)；摄像元件102 ；摄像处理部103 ；A/D104 (将这些从镜头101 到A/D104称为“摄像部100”)；图像处理部15 ；压缩解压缩部16 ；图像缓存17 ；显示处理部18 ；显示部19 (相当于图2的显示部19)；存储部20 ；内置存储器21 ；外部存储器22 ；有线I/F23 ；总线M ；操作部25 ；集音部沈；CPU27 ；运动矢量检测部28 ；图像合成部四等。摄像部100对被摄体进行摄像而依次生成图像数据(图像信号)。生成的图像数据通过总线M输出到图像缓存17。如上所述，摄像部100由镜头101、摄像元件102、摄像处理部103、A/D104构成。镜头101使对被摄体进行摄像时的被摄体像在摄像元件102上形成。摄像元件 102将模拟电信号输出到摄像处理部103，该模拟电信号表示对通过镜头101形成的被摄体像进行光电转换得到的图像。摄像元件102例如为CCD (Charge CoupledDevice 电荷耦合器件)。摄像处理部103使由摄像元件102输出的模拟电信号的噪声成分减少并使信号电平稳定化，输出到A/D104。摄像处理部103具有使模拟电信号的噪声成分减少的 CDS (Correlated Double Sampling 相关双采样)和使信号电平稳定化的AGC (Automatic Gain Control 自动增益控制)等电路。A/D104将由摄像处理部103输出的模拟电信号转换为数字电信号。转换后的数字电信号作为图像数据输出到总线对。图像缓存17临时存储由A/D104输出并通过总线M输入的图像数据。图像缓存 17例如为DRAM(Dynamic Random Access Memory 动态随机存取存储器)等存储装置。图像处理部15对存储于图像缓存17、内置存储器21或外部存储器22中的图像数据实施伽马校正和白平衡校正等校正处理、增减像素数量的放大/缩小处理(缩放处理) 等各种图像处理。图像处理部15在根据存储于图像缓存17、内置存储器21或外部存储器 22中的图像数据在显示部19显示图像数据时、在将存储于图像缓存17的图像数据存储于内置存储器21或外部存储器22时，作为其前置处理而实施所述图像处理。压缩解压缩部16在将通过图像处理部15实施了图像处理的图像数据存储于内置存储器21或外部存储器22时实施压缩处理，或者在读出存储于内置存储器21或外部存储器22的图像数据时实施解压缩处理。在此所说的压缩处理和解压缩处理是指，例如基于 JPEG(Joint Photographic Experts Group 联合图像专家组)方式或 MPEG (Moving Picture Experts Group 运动图像专家组)方式等的处理。显示处理部18基于通过图像处理部15进行了图像处理的图像数据在显示部19
5显示图像数据时生成显示部19能够显示的影像信号而输出到显示部19。显示部19显示与通过显示处理部18输出的影像信号对应的影像。显示部19例如为液晶监视器等显示装置。存储部20存储图像数据。在此所说的图像数据是指，通过图像处理部15实施了图像处理，且通过压缩解压缩部16实施了压缩处理的图像数据。存储部20由内置存储器 21或外部存储器22构成。内置存储器21是预先内置于数字照相机1的存储器。外部存储器22是在数字照相机1上装卸自如的存储卡，例如为xD-图像卡(注册商标)。有线I/F23是用于数字照相机1按照有线通信标准与外部设备连接的接口。所谓有线通信标准例如为USB (Universal Serial Bus:通用串行总线)。操作部25是图1的快门按钮5、总线按钮6、菜单按钮7、十字按钮8、0K/FUNC按钮 9、变焦按钮10、模式转盘11等。与这些操作部25相关的操作信息被发送到CPU27。集音部 26是对声音进行汇集的麦克风等装置。通过该集音部沈获得的声音信号被发送到CPU27。CPU(又称为切出尺寸确定部、关注摄影位置判定部、显示用全景图像切出部、再现部)27通过读出并执行存储于存储部20的内置存储器21的控制程序来控制数字照相机1 的整体的动作。运动矢量检测部观利用已知的方法检测多个图像之间的运动矢量。图像合成部(又称为全景图像生成部) 根据由运动矢量检测部观检测的运动矢量而校正多个图像之间的位置偏差，将位置偏差校正后的多个图像合成而生成合成图像。特别是，图像合成部四校正构成运动图像的多个静止图像之间的位置偏差，通过合成位置偏差校正后的多个静止图像而生成全景图像。由构成运动图像的多个静止图像生成全景图像的方法是已知的，因此在此省略生成全景图像的处理的详细说明。根据搭载了一实施方式中的全景图像生成装置的数字照相机，从通过图像合成部 29生成的全景图像中切出在进行运动图像摄像时用户所关注的图像区域而作为新的全景图像显示在显示部19。在此，将通过切出通过图像合成部四生成的全景图像而新生成的全景图像称为切出全景图像。图4是表示从通过图像合成部四生成的全景图像中生成切出全景图像而显示到显示部19为止的处理的流程的流程图。从步骤SlO开始，由CPU27进行处理。但是，在流程图的各个步骤的处理当中，既可以通过图像处理部15进行一部分的处理，也可以通过设置未图示的GPU (Graphics Processing Unit 图形处理器)，由GPU进行处理。在步骤SlO中，判定通过图像合成部四生成的全景图像是否为横长。图6是表示生成全景图像所用的、构成运动图像的多个静止图像51 61的一例的图。并且，图7是表示根据图6所示的构成运动图像的多个静止图像51 61而生成的全景图像的一例的图。在对运动图像进行摄像时，如图6所示，在将照相机的镜头主要向横向移动的情况下，如图7所示，所生成的全景图像成为横长。另外，在对运动图像进行摄像时，在将照相机的镜头主要向纵向移动的情况下，所生成的全景图像成为纵长。在步骤SlO的判定中，如果判定为所生成的全景图像为横长，则进入步骤S20。从步骤S20到步骤S60的处理是对横长的全景图像进行的处理。在步骤S20中，计算通过图像合成部四生成的全景图像的横向(水平方向)上的切出量(切出的大小)。图8是用于说明计算通过图像合成部四生成的全景图像70的横向上的切出量的方法的图。设通过图像合成部四生成的全景图像的横向的长度为WP、纵向的长度为HP、显示切出全景图像时的纵向的显示宽度为HD、横向的显示宽度为WD时，由下面的公式(1)来表示切出全景图像的横向上的切出量WP_NEW。WP_NEW = HPXWD/HD (1)在步骤S30中，求出在通过图像合成部四生成的全景图像中，用户摄像时所关注的位置。在此，在通过图像合成部四生成的全景图像中，求出生成全景图像所用的多个静止图像的各个中心位置，将全景图像的横向上的每个单位区间的中心位置的数量最多的位置作为用户在进行运动图像摄像时所关注的位置。在此，将在显示部19显示切出全景图像时的横向的长度WP_NEW作为单位区间。图9是表示在通过图像合成部四生成的全景图像中生成全景图像所用的多个静止图像80 90的中心位置80A 90A的图。图10是表示构成全景图像的多个静止图像80 90的中心位置80A 90A的时间轴上的坐标的图。图11是表示在全景图像的横向上每个单位区间的静止图像的中心位置的数量的曲线图及表示全景图像中的关注位置(关注摄影位置)的图。在图10所示的例子中可知， 用户在进行运动图像摄像时，在摄像区间A中，只是将照相机的镜头简单地向横向(右方向)移动，而在摄像区间B中，将照相机的镜头不仅向右方向移动，而且还向左方向移动，对被摄体进行精心的摄像。并且，在运动图像的摄像中，一般在对用户所关注的被摄体进行摄像时的摄像速度比对用户不怎么关注的被摄体进行摄像时的摄像速度慢。S卩，在全景图像的横向上，每个单位区间的静止图像的中心位置的数量多的位置是在构成运动图像的多个静止图像中最多的静止图像所映出之处，可以判断为用户所关注的位置。因此，在一实施方式中的摄像装置中，在全景图像的横向上，将每个单位区间的静止图像的中心位置的数量最多的位置作为用户所关注的位置。在图4所示的流程图的步骤S40中，当以在步骤S30中求出的关注位置为中心，从全景图像中切出在步骤S20中计算的切出量WP_NEW的图像区域时，判定切出的区域是否在全景图像的横向上溢出。当判定为切出的区域在全景图像的横向上没有溢出时，进入步骤 S60，当判定为切出的区域在全景图像的横向上溢出时，进入步骤S50。在步骤S50中，使在步骤S30求出的关注位置偏移与切出的区域溢出的量相应的量，以使切出的区域不从全景图像溢出。在步骤S60中，以在步骤S30或步骤S50求出的关注位置为中心，从全景图像中切出在步骤S20计算的切出量WP_NEW的图像区域。在图11中由虚线表示的区域100是表示从全景图像中切出的区域的一例的图。并且，图8的图像80表示从全景图像70切出的图像的一例，与在图11中由虚线所示的区域100对应的图像。另外，在步骤SlO中，当判定为所生成的全景图像为纵长时进入步骤S90。在步骤 S90中进行从纵长的全景图像中切出包括用户所关注的被摄体的图像的处理。利用图5来说明关于该处理的详细情况。
在图5所示的流程图的步骤SlOO中，计算通过图像合成部四生成的全景图像的纵向(垂直方向)上的切出量。当设通过图像合成部四生成的全景图像的横向的长度为 WP、纵向的长度为HP、在显示切出全景图像时的纵向的显示宽度为HD、横向的显示宽度为 WD时，切出全景图像的纵向上的切出量HP_NEW可由下面的公式⑵表示。HP_NEff = WPXHD/WD (2)在步骤SllO中，求出在通过图像合成部四生成的全景图像中，用户进行摄像时所关注的位置。在此，在通过图像合成部四生成的全景图像中，求出构成全景图像的多个静止图像的中心位置，将全景图像的纵向上的每个单位区间的中心位置的数量最多的位置作为用户在进行运动图像摄像时所关注的位置。在此，将在显示部19显示切出全景图像时的纵向的长度HP_NEW作为单位区间。在步骤S120中，当以在步骤Sl 10中求出的关注位置为中心，从全景图像中切出在步骤SlOO中计算的切出量HP_NEW的图像区域时，判定切出的区域是否在全景图像的纵向上溢出。当判定为切出的区域在全景图像的纵向上没有溢出时，进入步骤S140，当判定为切出的区域在全景图像的纵向上溢出时，进入步骤S130。在步骤S130中，使在步骤SllO求出的关注位置偏移与切出的区域溢出的量相应的量，以使切出的区域不从全景图像溢出。在步骤S140中，以在步骤SllO或步骤S130求出的关注位置为中心，从全景图像中切出在步骤SlOO计算的切出量HP_NEW的图像区域。在进行步骤S140的处理后进入图 4所示的流程图的步骤S70。在步骤S70中，将在步骤S60或在图5的步骤S140中切出的图像即切出全景图像与显示部19的显示尺寸对应地进行放大/缩小。在放大/缩小切出全景图像时的放缩系数k可由下面的公式⑶表示。k = HD/HP (3)在步骤S80中，在显示部19显示在步骤S70中放大或缩小的切出全景图像。图8 的图像85是表示以放缩系数k将从全景图像70中切出的图像80放大/缩小的图像的一例。图12是表示由图6所示的运动图像生成并显示在显示部19的切出全景图像的一例的图，与图8的图像85对应。通过由运动图像生成全景图像的以往的方法会生成如图7 所示的极端横长的图像或极端纵长的图像，因此显示在显示部19的被摄体变小，导致用户难以视觉辨认。另外，根据图7所示的全景图像，在整个图像中难以知道用户所关注的部分。但是，根据一实施方式中的全景图像生成装置，如图12所示，切出认为用户关注的图像区域而生成全景图像，因此能够生成与用户的摄像意图相应的全景图像。-变形显示例1-在对运动图像进行再现时，也可以在运动图像的整个区间中切出在摄像时想必用户所关注的摄像区间而进行再现。认为用户关注的摄像区间是切出区间图像所包括的区间。图13是表示使用了切出全景图像所包括的静止图像的运动图像显示的处理的流程的流程图。在步骤S1300中，在构成运动图像的多个帧(静止图像)中，将前头帧的帧序号N
8设定为1。在步骤S1310中，对帧序号N的帧数据进行解码。在步骤S1320中，判定在步骤S1310中解码的帧是否包括在切出全景图像中。在此，判定解码的帧的中心位置是否包括在切出全景图像中。图14是表示包括在切出全景图像140中的帧141 145的一例的图。如图14所示，帧141 145的中心位置包括在切出全景图像140中。图14所示的帧146不包括在切出全景图像140中。当在步骤S1320中判定为解码的帧不包括在切出全景图像中时进入步骤S1340， 当判定为包括在切出全景图像中时进入步骤S1330。在步骤S1330中，将在步骤S1310中解码的帧显示在显示部19。在步骤S1340中判定帧序号N的帧是否为构成运动图像的最终帧。当判定为帧序号N的帧不是构成运动图像的最终帧时进入步骤S1350，对帧序号N加1而返回到步骤 S1310。另外，当判定为帧序号N的帧是构成运动图像的最终帧时，终止流程图的处理。图15是表示对图14所示的、包括在切出全景图像140中的帧141 145依次进行运动图像再现的例子的图。在该情况下，显示的帧是在构成运动图像的多个帧中抽出一部分的帧，因此有时会抽出中间的帧。但是，根据该运动图像显示方法，能够抽出认为用户在进行运动图像摄像时所关注的摄像区间而进行分类再现。由此，即使在运动图像摄影时间长的情况下，也能够在短时间内有效地欣赏用户在进行运动图像摄像时所关注的被摄体。-变形显示例2-图16是表示在进行所述分类运动图像再现的情况下，将切出全景图像160也同时显示的例子的图。根据该显示方法，在显示部19显示了切出全景图像160的状态下，依次显示分类再现的帧161 165。但是，为了将进行分类再现的帧与显示在背后的切出全景图像区别开，以强调分类再现的帧的方式进行显示。在图16所示的例子中，为了强调进行分类再现的帧161 165，使切出全景图像 160的图像区域中，进行分类再现的图像区域以外的图像区域的亮度低。但是，强调进行分类再现的帧的方法不限于该方法。例如，也可以通过显示进行分类再现的帧的帧框架来强调显示再现的帧。根据该运动图像显示方法，能够容易视觉辨认出再现了所摄像的运动图像区间中的哪个区间。-变形显示例3-图17是表示在利用图16进行说明的运动图像再现方法中与时限170结合而显示的例子的图。时限170的长度与被摄像的整个运动图像区间的长度对应，被涂黑的区间171 是进行分类再现的运动图像区间。另外，由箭头172来表示在被摄像的整个运动图像区间中正在进行分类再现的帧的位置。由此，能够更加容易视觉辨认正在对被摄像的整个运动图像区间中的哪个区间进行再现。另外，也可以将时限的长度与切出全景图像的摄像区间的长度对应起来。在该情况下，能够确认正在对切出全景图像的摄像区间中的哪个区间进行分类再现。为了进行上述显示，存储部20使表示切出全景图像及运动图像的再现位置的数据附随于利用了切出全景图像所包括的静止图像的运动图像的数据而进行存储。由此，能够容易进行如图17所示的以切出全景图像为背景的运动图像显示及表示全景图像中的运动图像的再现位置的运动图像显示。-变形显示例4-在利用图16进行说明的运动图像再现方法中，显示在显示部19的切出全景图像未进行移动。图18是表示对显示在显示部19的切出全景图像也进行移动显示的例子的图。在图18所示的显示例中，将显示在显示部19的切出全景图像以图像180、图像 181、图像182、图像181的顺序进行替换。在图18中，上部分表示显示在显示部19的画面的迁移，下部分表示与进行分类再现的帧190 197同时显示的切出全景图像。在图18的下部分中，与切出全景图像180、181、182同时显示的图像183是表示由构成运动图像的多个静止图像构成的全景图像的一部分的图像，这是为了容易理解切出全景图像180 182 的各个关系而示出的。切出全景图像181是通过已说明的方法生成的切出全景图像。切出全景图像180 是切出图像183中摄影时间比切出全景图像181早的部分的全景图像。例如，以使切出全景图像181的左半部分与切出全景图像180的右半部分成为相同的被摄体的方式从图像183 切出全景图像180。但是，在从图像183切出切出全景图像180时，要切出相对于切出全景图像181摄影时间早多少的部分可以任意设定。切出全景图像182是切出了摄影时间比切出全景图像181晚的部分的全景图像。 例如，以使切出全景图像181的右半部分与切出全景图像182的左半部分成为相同的被摄体的方式从图像183切出全景图像182。但是，在从图像183切出切出全景图像182时，要切出相对于切出全景图像181摄影时间晚多少的部分可以任意设定。切出全景图像180、 181、182的大小分别相同。进行分类运动图像再现的帧是包括在切出全景图像180、181、182中的帧。在图18 所示的例子中，帧190 197为进行分类运动图像再现的帧。进行分类再现的帧190 197中的帧190、191是包括在切出全景图像180中的图像，与切出全景图像180同时显示。另外，帧192、193、194、196、197是包括在切出全景图像 181中的图像，与切出全景图像181同时显示。另外，帧195是包括在切出全景图像182中的图像，与切出全景图像182同时显示。因此，在从显示了帧191的状态显示帧192的情况下，要同时显示的切出全景图像也从图像180变更为图像181。同样，在从显示了帧195的状态显示帧196的情况下，要同时显示的切出全景图像也从图像182变更为图像181。根据该显示方法，与使用一个切出全景图像的显示方法相比，能够以更宽的摄像范围为对象进行分类运动图像再现。另外，也可以准备多个与帧同时显示的切出全景图像，通过将准备的多个切出全景图像一点一点切换而显示，进行使显示于背景的切出全景图像一点一点变化的显示。以上，根据一实施方式中的全景图像生成装置，合成构成运动图像的多个静止图像而生成全景图像，确定从所生成的全景图像切出显示用全景图像的大小，同时从所生成的全景图像检测关注摄影位置。并且，根据检测的关注摄影位置和确定的大小，从全景图像切出显示用全景图像。从而，能够生成容易视觉辨认用户所关注的被摄体的全景图像。并且，在由构成运动图像的多个静止图像生成的全景图像中的构成运动图像的多个静止图像中，检测最多的静止图像所映出之处，作为关注摄影位置。从而，能够高精度地检测认为用户在进行运动图像摄影时关注的位置，因此能够生成容易视觉辨认用户所关注的被写体的全景图像。并且，在构成运动图像的多个静止图像中，利用包括在显示用全景图像的静止图像而进行运动图像再现，从而提取认为用户在进行运动图像摄像时关注的摄像区间而对运动图像进行分类再现。另外，在利用包括在显示用全景图像中的静止图像而进行运动图像的再现时，以显示用全景图像为背景，进行强调运动图像的再现。从而，用户能够容易视觉辨认对进行摄像的运动图像区间中的哪个区间进行了再现。并且，通过一实施方式的全景图像生成装置，在利用包括在显示用全景图像中的静止图像而进行运动图像的再现时，能够进行表示在如下两个全景图像的至少一个图像中的再现位置的显示通过合成构成运动图像的多个静止图像生成的全景图像及显示用全景图像。从而，在进行运动图像再现时，用户容易视觉辨认正在对所摄像的运动图像区间中哪个区间进行再现。并且，使表示显示用全景图像及运动图像的再现位置的数据附随于利用了包括在显示用全景图像中的静止图像的运动图像的数据而进行存储，因此能够以显示用全景图像为背景，容易进行利用了包括在显示用全景图像中的静止图像的运动图像的再现。并且，在进行利用了包括在显示用全景图像中的静止图像的运动图像的再现时，能够容易显示全景图像中的运动图像的再现位置。另外，通过一实施方式中的全景图像生成装置，在准备多个显示用全景图像，以显示用全景图像为背景进行利用了包括在显示用全景图像中的静止图像的运动图像的再现时，能够与运动图像的再现应对地切换显示用全景图像。从而，与利用了一个显示用全景图像的显示方法相比，能够以更宽的摄像范围为对象进行运动图像再现。另外，在所述的一实施方式的说明中，作为全景图像生成装置进行的处理，以硬件的处理为前提，但无需限定于这样的结构。例如，也可以是由另外软件进行处理的结构。在该情况下，全景图像生成装置包括CPU、RAM等主存储装置、存储有用于实现所述处理的全部或一部分的程序的可由计算机读取的存储介质。在此，将该程序称为全景图像生成程序。 并且，CPU读出存储于所述存储介质中的全景图像生成程序，执行信息的加工/演算处理， 从而实现与所述全景图像生成装置相同的处理。在此，所谓计算机可读取的存储介质是指，磁盘、光盘、CD-ROM、DVD-ROM、半导体存储器等。并且，也可以通过通信线路将该全景图像生成程序发送到计算机，由接收该发送的计算机执行该全景图像生成程序。本发明不限于所述一实施方式，在不脱离本发明的宗旨的范围内可进行各种变形或应用。例如，将搭载了全景图像生成装置的照相机作为数字照相机进行了说明，但既可以是摄像机或电影摄像机这样的运动图像用照相机，也可以是内置于便携电话或便携式信息终端(PDA=Personal Digital Assisit 个人数字助理)、游戏设备等的照相机。在所述的一实施方式中，如参照图11所说明，在全景图像的横向(或纵向)上，将每个单位区间的静止图像的中心位置的数量最多的位置(峰值位置)作为关注摄影位置。 在此，在由曲线图表示每个单位区间的静止图像的中心位置的数量时，如果峰值位置为多个，则也可以将峰值位置中，每个单位区间的静止图像的中心位置的数量为规定阈值以上的峰值位置设定为关注摄影位置。在被设定的关注摄影位置为多个的情况下，对于被设定的各个关注摄影位置生成切出全景图像。
权利要求
1.一种全景图像生成装置，其能够由运动图像生成全景图像，该全景图像生成装置的特征在于包括全景图像生成部，其对构成所述运动图像的多个静止图像进行合成而生成全景图像；切出尺寸确定部，其确定从通过所述全景图像生成部生成的全景图像中切出显示用全景图像的大小；关注摄影位置判定部，其从通过所述全景图像生成部生成的全景图像中检测出关注摄影位置；显示用全景图像切出部，其根据通过所述关注摄影位置判定部检测出的关注摄影位置和通过所述切出尺寸确定部确定的大小，从通过所述全景图像生成部生成的全景图像中切出显示用全景图像；以及显示部，其显示通过所述显示用全景图像切出部切出的显示用全景图像。
2.根据权利要求1所述的全景图像生成装置，其特征在于，所述关注摄影位置判定部在通过所述全景图像生成部生成的全景图像中的构成所述运动图像的多个静止图像中，检测最多的静止图像所映出之处，作为关注摄影位置。
3.根据权利要求1或2所述的全景图像生成装置，其特征在于，该全景图像生成装置还包括再现部，该再现部利用构成所述运动图像的多个静止图像中的所述显示用全景图像所包括的静止图像进行运动图像再现。
4.根据权利要求3所述的全景图像生成装置，其特征在于，在利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述再现部进行以所述显示用全景图像为背景，强调了所述运动图像的再现。
5.根据权利要求3所述的全景图像生成装置，其特征在于，在利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述显示部进行表示如下两种全景图像中的至少一种图像中的再现位置的显示通过所述全景图像生成部生成的全景图像和通过所述显示用全景图像切出部切出的显示用全景图像。
6.根据权利要求5所述的全景图像生成装置，其特征在于，该全景图像生成装置还包括存储部，该存储部使表示所述显示用全景图像及运动图像的再现位置的数据附随于利用了所述显示用全景图像所包括的静止图像的运动图像的数据而进行存储。
7.根据权利要求4所述的全景图像生成装置，其特征在于，所述显示用全景图像切出部切出多个所述显示用全景图像，在以所述显示用全景图像为背景利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述再现部还与所述运动图像的再现对应地切换所述显示用全景图像。
8.—种全景图像生成方法，由运动图像生成全景图像，该全景图像生成方法的特征在于包括如下步骤对构成所述运动图像的多个静止图像进行合成而生成全景图像；确定从所述生成的全景图像中切出显示用全景图像的大小；从所述生成的全景图像中检测出关注摄影位置；以及根据所述检测出的关注摄影位置和所述确定的大小，从所述生成的全景图像中切出显示用全景图像。
全文摘要
本发明提供全景图像生成装置及全景图像生成方法。在由构成运动图像的多个静止图像生成全景图像的情况下，会生成极端地横长或纵长的全景图像。合成构成运动图像的多个静止图像而生成全景图像(70)，确定从所生成的全景图像(70)切出显示用全景图像的大小，同时从全景图像(70)检测关注摄影位置。并且，根据检测的关注摄影位置和所确定的大小，从全景图像(70)切出显示用全景图像(80)。
文档编号H04N5/232GK102469259SQ20111033953
公开日2012年5月23日 申请日期2011年11月1日 优先权日2010年11月1日
发明者坂田诚一郎 申请人:奥林巴斯映像株式会社