电子设备及其控制方法和计算机可读介质与流程

本发明涉及电子设备、电子设备的控制方法、程序和存储介质，并且更具体地涉及用于显示具有宽范围的视频图像的运动图像的技术。

背景技术：

对于全方位运动图像和具有宽视角的运动图像，用户可以一次观看的范围是有限的。日本特开2016-201714公开了如下的方法：通过该方法，在再现运动图像时，使得用户能够通过将显示范围自动切换到宽范围图像中的更大数量的用户正在查看的观看方向来看到运动图像的精彩部分。

技术实现要素：

然而，在日本特开2016-201714所公开的现有技术中，在存在精彩部分时，始终显示精彩部分的一部分，使得仅显示许多用户正在查看的观看方向。因此，即使在用户希望看到其它部分时，也不显示其它部分，因此用户无法看到其它部分。另一方面，在没有示出诸如精彩部分等的信息的情况下，用户可能看到除精彩部分以外的部分并且可能不会注意到精彩部分。

本发明提供用以提高在用户观看显示有宽范围图像的一部分的运动图像时的可视性的技术。

根据本发明的电子设备包括：检测单元，其被配置为检测显示单元的姿势；再现单元，其被配置为能够再现运动图像；改变单元，其被配置为根据所述检测单元所检测到的所述显示单元的姿势来改变显示范围，所述显示范围是图像的部分范围并且是要显示在所述显示单元上的范围；以及控制单元，其被配置为：进行控制，使得在再现所述运动图像的第一帧的情况下，无论所述检测单元所检测到的姿势是第一姿势还是第二姿势，都将主被摄体显示在所述显示单元上，以及进行控制，使得在再现所述运动图像的与所述第一帧不同的第二帧的情况下，所述显示范围在所检测到的姿势是所述第一姿势的情况和所检测到的姿势是所述第二姿势的情况之间不同。

一种电子设备的控制方法，包括：检测步骤，用于检测显示单元的姿势；再现步骤，用于再现运动图像；改变步骤，用于根据所述检测步骤中所检测到的所述显示单元的姿势来改变显示范围，所述显示范围是图像的部分范围并且是要显示在所述显示单元上的范围；以及控制步骤，用于：进行控制，使得在再现所述运动图像的第一帧的情况下，无论所述检测步骤中所检测到的姿势是第一姿势还是第二姿势，都将主被摄体显示在所述显示单元上，以及进行控制，使得在再现所述运动图像的与所述第一帧不同的第二帧的情况下，所述显示范围在所检测到的姿势是所述第一姿势的情况和所检测到的姿势是所述第二姿势的情况之间不同。

一种计算机可读介质，其存储程序，所述程序使计算机用作上述的电子设备的各单元。

根据本发明，可以提高在用户正在观看显示有宽范围图像的一部分的运动图像时的可视性。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A示出根据实施例1和2的电子设备的结构的示例；

图1B示出根据实施例1和2的电子设备的外观的示例；

图1C示出根据实施例1和2的头戴式适配器的外观的示例；

图2A示出根据实施例1和2的VR图像的示例；

图2B示出根据实施例1和2的显示的示例；

图2C示出根据实施例1和2的VR空间的示例；

图3是示出根据实施例1的运动图像编辑处理的示例的流程图；

图4是示出根据实施例1的运动图像编辑处理的显示示例；

图5是示出根据实施例1的运动图像再现处理的示例的流程图；

图6示出根据实施例1的更新基准方向的示例；

图7是示出根据实施例1的摄像模式处理的示例的流程图；

图8是示出根据实施例2的运动图像编辑处理的示例的流程图；

图9是示出根据实施例2的要点时间段确定处理的示例的流程图；以及

图10是示出根据实施例2的运动图像再现处理的示例的流程图。

具体实施方式

实施例1

以下将说明根据本发明的实施例1的电子设备。根据实施例1的电子设备能够再现运动图像。在实施例1中，将通过示例来说明所谓的摘要形式的运动图像的编辑方法和再现方法，在该摘要形式的运动图像中，通过将多个运动图像数据拼接到一起、或者提取一个长时间段的运动图像数据的多个部分，来获得一个运动图像文件。

图1A示出作为本发明可以应用于的显示控制设备的示例的电子设备100的结构的示例。电子设备100可以使用诸如智能电话等的显示设备配置成。

在图1A中，CPU 101、存储器102、非易失性存储器103、图像处理单元104、显示单元105、操作单元106、存储介质I/F 107、外部I/F 109和通信I/F 110连接至内部总线150。音频输出单元112和姿势检测单元113也连接至内部总线150。连接至内部总线150的单元被配置为能够经由内部总线150彼此交换数据。

CPU 101是控制整个电子设备100的控制单元，并且包括至少一个处理器。存储器102例如包括RAM(使用半导体元件的易失性存储器等)。CPU 101根据例如非易失性存储器103中所存储的程序，通过使用存储器102作为工作存储器来控制电子设备100的各单元。非易失性存储器103存储图像数据、音频数据、其它数据和CPU 101进行工作所用的各种程序等。非易失性存储器103例如包括闪速存储器或ROM。

在CPU 101的控制下，图像处理单元104对非易失性存储器103或存储介质108中所存储的图像、经由外部I/F 109所获取到的视频图像信号和经由通信I/F 110所获取到的图像等进行图像处理。图像处理单元104所进行的图像处理包括A/D转换处理、D/A转换处理、图像数据编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理等。另外，还对全方位图像或者不是全方位但具有宽范围数据的宽范围图像进行诸如全景扩展、映射处理和转换等的各种类型的图像处理。图像处理单元104可以包括用于进行特定图像处理的专用电路块。此外，根据图像处理的类型，CPU101还可以在无需使用图像处理单元104的情况下根据程序进行图像处理。

在CPU 101的控制下，显示单元105显示图像或者构成GUI(图形用户界面)的GUI画面。CPU 101根据程序生成显示控制信号，并且控制电子设备100的各单元，以生成要显示在显示单元105上的视频图像信号并将所生成的视频图像信号输出至显示单元105。显示单元105基于所输出的视频图像信号来显示视频图像。电子设备100自身的结构可以是用于输出供在显示单元105上显示的视频图像信号的接口，并且显示单元105可以由外部监视器(电视等)配置成。

操作单元106是用于接收用户操作的输入装置，诸如键盘等的字符信息输入装置、鼠标或触摸面板等的指点装置、按钮、拨盘、操纵杆、触摸传感器、以及触摸板等。触摸面板是被配置成以平面方式叠加在显示单元105上并且被配置为输出与所触摸的位置相对应的坐标信息的输入装置。

诸如存储卡、CD和DVD等的存储介质108可以安装在存储介质I/F 107上，该存储介质I/F 107在CPU 101的控制下从所安装的存储介质108读取数据或者将数据写入存储介质108。外部I/F 109是用于经由有线线缆或无线地与外部设备相连接、并且用于输入和输出视频图像信号和音频信号的接口。通信I/F 110是用于与外部设备和因特网(NET)111等进行通信以发送和接收诸如文件和命令等的各种数据的接口。

音频输出单元112输出运动图像和音乐数据的声音、操作声音、传入声音和各种通知声音等。尽管音频输出单元112包括用于连接耳机等的音频输出端子112a和扬声器112b，但音频输出可以通过无线通信等进行。

姿势检测单元113检测(感测)电子设备100相对于重力方向的姿势。基于姿势检测单元113所检测到的姿势，可以判断电子设备100是侧向保持、纵向保持、向上指向、向下转动还是处于倾斜姿势等。可以使用加速度传感器、陀螺仪传感器、地磁传感器和方向传感器等至少之一作为姿势检测单元113，并且可以组合使用多个这样的装置。

操作单元106包括触摸面板106a。CPU 101可以检测触摸面板106a上的以下操作或状态。

·未触摸触摸面板106a的手指或笔新触摸触摸面板106a，即触摸的开始(以下称为“触及”)。

·手指或笔正在触摸触摸面板106a的状态(以下称为“触摸持续”)。

·手指或笔在触摸触摸面板106a的同时正在移动(以下称为“触摸移动”)。

·已经触摸触摸面板106a的手指或笔与触摸面板106a分离，即触摸的结束(以下称为“触摸停止”)。

·什么也没有触摸触摸面板106a的状态(以下称为“未触摸”)。

在检测到触及时，同时检测到触摸持续。在触及之后，只要没有检测到触摸停止，通常连续检测到触摸持续。在检测到触摸移动时，同时还检测到触摸持续。即使检测到触摸持续，除非触摸位置移动，否则不会检测到触摸移动。在检测到所触摸的所有手指和笔进行了触摸停止之后，检测到未触摸。

将这些操作/状态以及手指或笔正在触摸触摸面板106a的位置的坐标经由内部总线通知至CPU 101，并且CPU 101基于所通知的信息来判断在触摸面板106a上进行了哪种操作(触摸操作)。关于触摸移动，还可以基于位置坐标的变化，针对触摸面板106a上的各垂直分量和水平分量判断手指或笔在触摸面板106a上移动的移动方向。在判断为进行了预定距离以上的触摸移动的情况下，判断为进行了滑动操作。将使手指在触摸触摸面板106a的同时在该触摸面板上快速移动了一定距离、然后使手指从该面板分离的操作称为轻拂(flick)。换句话说，轻拂是用手指在触摸面板106a上快速地拂过、仿佛手指被该面板排斥那样的操作。在检测到按预定速度以上进行了预定距离以上的触摸移动并且原样检测到触摸停止的情况下，可以判断为进行了轻拂(可以判断为在滑动操作之后发生了轻拂)。此外，将用于同时触摸多个点(例如，两个点)并使触摸位置彼此靠近的触摸操作称为“捏合(pinch-in)”，并且将用于使触摸位置彼此远离的触摸操作称为“分开(pinch-out)”。将分开和捏合统称为捏分(pinch)操作(或简称为“捏分”)。作为触摸面板106a，可以使用例如以下的任何方式的触摸面板：电阻膜方式、电容方式、表面声波方式、红外方式、电磁感应方式、图像识别方式和光学传感器方式等。存在通过与触摸面板接触来检测触摸的方式、以及通过手指或笔接近触摸面板来检测触摸的方式，并且可以使用这些方式中的任意方式。

图1B示出电子设备100的外观图的示例。显示单元105显示图像和各种信息。如上所述，显示单元105是与触摸面板106a一体地配置成的，并且可以检测向显示单元105的显示面的触摸操作。如图所示，操作单元106包括操作单元106b、106c、106d和106e。操作单元106b是用于接收将电子设备100的电源切换成接通和断开的操作的电源按钮。操作单元106c和操作单元106d是用于增大/减小从音频输出单元112输出的声音的音量的音量按钮。操作单元106e是用于在显示单元105上显示主画面的主页按钮。

图1C示出作为可以安装电子设备100的VR(虚拟现实)护目镜的头戴式适配器的外观图。电子设备100也可以通过安装在VR护目镜上而用作头戴式显示器。插入口120用于插入电子设备100。可以将整个电子设备100插入VR护目镜中，使得显示单元105的显示面面向用于使VR护目镜固定至用户的头部的头带130侧(即，用户侧)。作为这样安装已安装有电子设备100的VR护目镜的结果，用户可以在VR护目镜安装在头部上的状态下，在无需用手把持电子设备100的情况下，从视觉上识别电子设备100的显示单元105。在这种情况下，在用户移动头部或全身时，电子设备100的姿势也改变。姿势检测单元113检测此时电子设备100的姿势的变化，并且CPU 101基于姿势的变化来进行以下所述的VR显示(VR显示处理)。在这种情况下，姿势检测单元113检测电子设备100的姿势等同于检测用户的头部的姿势(用户的视线的方向)。

电子设备100可以在显示单元105上进行VR图像(VR内容)的VR显示。

如这里所提到的，VR图像是可以进行VR显示的图像。假定VR图像包括全方位照相机(全天球照相机)所拍摄到的全方位图像(全天球图像)、以及具有比可以在显示单元105上一次显示的显示范围宽的视频图像范围(有效视频图像范围)的全景图像。假定不仅作为照相机所拍摄到的图像而且还作为使用计算机图形(CG)所创建的图像的、可以进行VR显示的图像包括在VR图像(VR内容)中。VR图像不仅包括静止图像，而且还包括运动图像和实时取景图像(从照相机几乎实时地获取到的图像)。VR图像具有在上下方向(垂直角度、从天顶起的角度、仰角、俯角、高度角)上最大为360度并且在左右方向(水平角度、方位角度)上最大为360度的视野的视频图像范围(有效视频图像范围)。此外，还假定VR图像还包括如下的图像，这些图像具有即使在视场角(观看范围)在上下方向上小于360度且在左右方向上小于360度的情况下、也比正常照相机可以拍摄到的视场角宽的宽视场角，或者具有比在显示单元105上可以一次显示的显示范围宽的视频图像范围(有效视频图像范围)。例如，能够拍摄左右方向(水平角度、方位角度)为360度且以天顶为中心的垂直角度为210度的视野(视场角)内的被摄体的全天球照相机所拍摄到的图像是VR图像。也就是说，如下的图像是VR图像，该图像具有在上下方向和左右方向上为180度(±90度)以上的视野的视频图像范围、以及比人类可以从视觉上一次识别的范围宽的视频图像范围。在对该VR图像进行VR显示的情况下，通过改变左右转动方向上的姿势，可以在左右方向(水平转动方向)上观看无缝的全方位视频图像。在上下方向(垂直转动方向)上，在从正上方(天顶)观看时可以在±105度的范围内观看无缝的全方位图像，但在从正上方起超过105度的范围，获得无视频图像的空白区域。VR图像也可被认为是“视频图像范围至少是虚拟空间(VR空间)的一部分的图像”。

如这里所提到的，VR显示是可以改变如下的显示范围的显示方法，在该显示范围中，显示VR图像中的、与姿势检测单元113所检测到的电子设备100的姿势相对应的观看范围的视频图像。在将电子设备100安装在VR护目镜上并且观看电子设备100的情况下，显示与用户的面部的朝向相对应的观看范围的视频图像。例如，假定显示VR图像中的、具有在特定时间点处以左右方向上为0度(特定方向、例如向北)和上下方向上为90度(从天顶起的90度、即水平)为中心的视角(视场角)的视频图像。在电子设备100的姿势从该状态反转的情况下(例如，在显示面从向南方向改变到向北方向的情况下)，显示范围改变为同一VR图像中的、具有以左右方向上为180度(相反方向、例如向南)和上下方向上为90度(水平)为中心的视角的视频图像。例如，在用户观看VR护目镜上所安装的电子设备100时，在用户使面部从北方指向南方(即，转向背面)的情况下，电子设备100上所显示的视频图像从北方的视频图像改变为南方的视频图像。利用这种VR显示，可以向用户提供用户从视觉上在VR图像中(在VR空间内)的感觉。

以下将说明VR显示的具体示例。图2A示出具有在上下方向上为180度且在左右方向上为360度的视野的视频图像范围的VR图像201。在VR显示时，如图2A所示，根据姿势检测单元113所检测到的电子设备100的姿势，将VR图像201的部分范围202确定为显示范围。然后，如图2B所示，将显示范围202的视频图像显示在显示单元105上。显示范围202跟随电子设备100的姿势变化而改变。例如，在用户正在观看VR护目镜上所安装的电子设备100时，在用户使面部转向左的情况下，显示范围202向左移动，以及在用户使面部转向上的情况下，显示范围202向上移动。

图2C示出VR空间210。如图2C所示，在VR显示中，可以向用户提供仿佛他或她在VR空间210内一样的沉浸感或真实感。VR显示的显示位置(显示范围的位置)211可以通过使用XY轴平面(前后方向和左右方向上的面)中的角度A1和XZ轴平面(上下方向上的面)中的角度A2来表示。角度A1还可被认为是“在穿过VR空间210的中心位置(用户的位置)和显示位置211的方向上的绕Z轴(上下方向)的转动角”。角度A2还可被认为是“在穿过VR空间210的中心位置和显示位置211的方向上的绕垂直于Z轴的Y轴的转动角”。在电子设备100绕Z轴转动时，角度A1改变并且显示位置211改变。在电子设备100绕Y轴转动时，角度A2改变并且显示位置211改变。在用户正在观看VR护目镜上所安装的电子设备100时，在用户向右或向左摆动面部的情况下，角度A1改变，以及在用户上下摆动面部的情况下，角度A2改变。还可以通过利用对触摸面板106a的触摸操作(滑动操作或轻拂)改变角度A1、A2来改变显示位置。在确定显示位置时，确定了以该显示位置为中心的显示范围。显示范围的大小根据VR图像的放大率而改变。

图3是电子设备100所进行的运动图像编辑处理的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU 101执行所加载的程序来实现该处理。在电子设备100的电源接通、在存储介质108上所记录的图像和从通信目的地获取到的图像中选择VR运动图像(作为VR内容的运动图像)、并且指定了向编辑模式的转变的情况下，开始图3的处理。在本实施例中，将VR运动图像划分成多个章节(部分运动图像)，通过图3的处理来从多个章节中选择一个或多个章节，并且生成包括所选择的章节的运动图像(组合运动图像；摘要格式的运动图像)。

在步骤S301中，CPU 101获取VR运动图像的运动图像文件。

在步骤S302中，CPU 101判断是否对操作单元106进行了用于选择步骤S301中所获取到的VR运动图像的章节的选择操作。在进行了选择操作的情况下，处理进入步骤S303，以及在没有进行选择操作的情况下，处理进入步骤S304。

在步骤S303中，CPU 101基于步骤S302中的选择操作来选择步骤S301中已获取到的VR运动图像的多个章节其中之一，并且将所选择的章节设置成选中状态。

在步骤S304中，CPU 101判断是否存在步骤S303中已设置成选中状态的章节(选中章节)。在存在选中章节的情况下，处理进入步骤S305；否则，处理进入步骤S315。

在步骤S305中，CPU 101判断是否对操作单元106进行了用于解除选中章节的选中状态的解除操作。在进行了解除操作的情况下，处理进入步骤S306；否则，处理进入步骤S307。

在步骤S306中，CPU 101基于步骤S305中的解除操作来将选中章节设置成解除状态。

在步骤S307中，CPU 101判断是否对操作单元106进行了用于将选中章节添加到组合运动图像的添加操作。在进行了添加操作的情况下，处理进入步骤S308；否则，处理进入步骤S309。

在步骤S308中，CPU 101基于步骤S307中的添加操作来将选中章节设置成添加到组合运动图像的添加状态。

在步骤S309中，CPU 101判断是否对操作单元106进行了用于从组合运动图像中排除步骤S308中已设置成添加状态的选中章节的排除操作。在进行了排除操作的情况下，处理进入步骤S310；否则，处理进入步骤S311。

在步骤S310中，CPU 101基于步骤S309中的排除操作来将选中章节的状态设置成没有添加到组合运动图像的排除状态。

在步骤S311中，CPU 101判断是否对操作单元106进行了用于选择主被摄体(选中章节的主被摄体)的选择操作。在进行了主被摄体的选择操作的情况下，处理进入步骤S312；否则，处理进入步骤S313。

在步骤S312中，CPU 101基于步骤S311中的选择操作来选择主被摄体，并且将与所选择的主被摄体有关的主被摄体信息添加到选中章节的元数据。主被摄体信息可以是或可以不是指示主被摄体的信息。

在步骤S313中，CPU 101判断是否对操作单元106进行了用于解除主被摄体的选择的解除操作。在进行了主被摄体的解除操作的情况下，处理进入步骤S314；否则，处理进入步骤S302。

在步骤S314中，CPU 101基于步骤S313中的解除操作来从选中章节的元数据中删除主被摄体信息。

在步骤S315中，CPU 101判断是否对操作单元106进行了用于生成组合运动图像的运动图像生成操作。在进行了运动图像生成操作的情况下，处理进入步骤S316；否则，处理进入步骤S318。

在步骤S316中，CPU 101针对处于添加状态的章节(添加章节)，将章节开始位置(组合运动图像中的添加章节的开始定时)记录在元数据中。

在步骤S317中，CPU 101生成包括与添加章节有关的运动图像数据以及元数据的运动图像文件作为包括添加章节的组合运动图像的运动图像文件。应当注意，诸如组合运动图像的滤镜效果的设置和组合运动图像的再现速度的设置等的其它设置也是可能的。

在步骤S318中，CPU 101判断是否对操作单元106进行了用于结束运动图像编辑处理的结束操作。在进行了结束操作的情况下，运动图像编辑处理结束；否则，处理进入步骤S319。

在步骤S319中，CPU 101判断是否进行了用于再现步骤S317中所生成的组合运动图像的再现操作。在进行了再现操作的情况下，处理进入步骤S320；否则，处理进入步骤S302。

在步骤S320中，CPU 101进行用于再现步骤S317中所生成的组合运动图像的再现处理。结果，用户可以确认是否创建了期望的组合运动图像。

图4示出运动图像编辑处理的显示示例。在运动图像编辑处理中，在显示单元105上显示运动图像编辑GUI 401。运动图像编辑GUI 401具有用于显示视频图像的部分402和用于接收各种用户操作的操作面板403。在部分402中，显示步骤S301中所获取到的VR运动图像和步骤S317中所生成的组合运动图像等。通过使用操作面板403，用户可以指示运动图像的再现和运动图像的停止等。操作面板403包括时间线404和章节选择按钮405。时间线404指示运动图像的多个帧中的所显示的帧的时间位置。章节选择按钮405是用于使章节的状态在选中状态和非选中状态之间切换的按钮。例如，在按下章节选择按钮405时，章节的状态被设置成选中状态，并且在时间线404上显示指示处于选中状态的章节的标签406。

图5是在电子设备100中进行的运动图像再现处理的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU 101执行所加载的程序来实现该处理。在电子设备100的电源接通、从存储介质108上所记录的图像或从通信目的地获取到的运动图像中选择VR运动图像、并且指定了向再现模式的转变的情况下，开始图5的处理。

在步骤S501中，CPU 101获取VR运动图像(图3的运动图像编辑处理中所生成的组合运动图像)的运动图像文件。

在步骤S502中，CPU 101从步骤S501中所获取到的运动图像文件中获取与章节有关的主被摄体信息。

在步骤S503中，CPU 101开始作为步骤S501中所获取到的运动图像文件中的第N章节(N是1以上的整数)的章节N的再现。N的初始值例如是1。

在步骤S504中，CPU 101获取章节N的一帧。在本实施例中，多次重复步骤S504的处理。因而，按时间顺序获取多个帧。

在步骤S505中，CPU 101获取基准方向α，该基准方向α是图2C的VR空间中从用户起的方向并且是用于确定显示范围的基准方向。例如，获取到预定方向作为基准方向α。预定方向不受特别限制，并且是向着与拍摄章节N的图像时的摄像设备的正面相对应的位置的方向。在本实施例中，有时可以更新基准方向α。在这种情况下，获取更新后的基准方向α。在步骤S504中获取到章节N的开始位置(最初)的帧的情况下，代替更新后的基准方向α，可以获取预定方向作为基准方向α。

在步骤S506中，CPU 101基于从姿势检测单元113获得的姿势信息来确定观看方向β，该观看方向β是VR空间中用户正在查看的方向并且是VR空间中从用户起的方向。

在步骤S507中，CPU 101判断步骤S504中所获取到的帧是否是章节N的开始位置处的帧。在所获取到的帧是开始位置处的帧的情况下，处理进入步骤S508；否则，处理进入步骤S511。

在步骤S508中，CPU 101判断章节N的元数据中是否存在主被摄体信息。在存在主被摄体信息的情况下，处理进入步骤S509；否则，处理进入步骤S511。

在步骤S509中，CPU 101基于章节N的主被摄体信息来确定作为VR空间中从用户到主被摄体的方向的关注方向γ。

在步骤S510中，CPU 101更新基准方向α，使得步骤S506中所确定的观看方向β与步骤S509中所确定的关注方向γ基本上一致(“基本上”包括“完全”)。如图6所示，在更新基准方向α的情况下，可以使在VR空间中描绘的视频图像以用户为中心转动，并且可以使观看方向β与关注方向γ基本上一致。

在步骤S511中，CPU 101基于从姿势检测单元113获得的姿势信息来检测电子设备100的姿势的变化、即用户正在查看的方向的变化。

在步骤S512中，CPU 101基于步骤S511的检测结果来更新步骤S506中所确定的观看方向β。

在步骤S513中，基于观看方向β，CPU 101针对步骤S504中所获取到的帧确定包括指向观看方向β的位置的范围作为显示范围，并且将所确定的显示范围的视频图像显示在显示单元105上。在步骤S510中更新基准方向α的情况下，确定显示范围，使得独立于电子设备100的姿势而显示主被摄体。另外，在步骤S511中检测到电子设备100的姿势的变化的情况下，改变显示范围的位置以跟随姿势的变化。

在步骤S514中，CPU 101判断步骤S504中所获取的帧是否是章节N的最后帧。在所获取到的帧是最后帧的情况下，处理进入步骤S515；否则，处理进入步骤S504。

在步骤S515中，CPU 101判断章节N是否是最后章节。在章节N是最后章节的情况下，运动图像再现处理结束；否则，处理进入步骤S516。

在步骤S516中，CPU 101向变量N加上1。

如上所述，根据本实施例，在再现章节开始帧(与章节的开始定时相对应的帧)的情况下，进行控制，使得独立于电子设备100的姿势而显示主被摄体。然后，在再现其它帧的情况下，进行控制，使得根据电子设备100的姿势而显示不同的显示范围。结果，可以提高在用户正在观看显示有宽范围图像的一部分的运动图像时的可视性。具体地，可以在向用户赋予作为VR显示的真正刺激的沉浸感或真实感的同时，使得用户能够适当地观看具有宽范围的视频图像的运动图像的精彩部分。

要注意，无论是否存在主被摄体信息，都可以更新(调节)基准方向α。例如，在没有改变摄像设备的姿势的状态下所拍摄到的VR运动图像的情况下，可想到存在想要在章节的开始时重置显示范围的用户。因此，在章节的开始时，可以使用S505中所获取到的基准方向α作为关注方向γ以更新基准方向α。结果，在章节的开始时，可以确定显示范围，使得用户可以看到更新之前的基准方向α上的视频图像。

可以进行控制，使得章节开始帧的主被摄体相对于章节开始帧的显示范围的相对位置与先前帧(章节开始帧的前一帧)的主被摄体相对于先前帧的显示范围的相对位置基本上一致。具体地，在步骤S510中，可以更新基准方向α，使得当前章节的开始时的主被摄体的位置与前一章节的结束时的主被摄体的位置基本上一致。

在以下情况下，可以进行控制，使得将与所检测到的姿势相对应的范围作为显示范围显示在显示单元105上。也就是说，在以下情况下，可以取消基准方向α的更新。在这些情况下，用户可以在无需更新基准方向α的情况下容易地观看主被摄体等。此外，还可以在没有更新基准方向α的情况下，通过根据所检测到的姿势确定显示范围来抑制VR体验(沉浸感或真实感)的降低。

·主被摄体包括在与所检测到的姿势相对应的范围中的情况。也就是说，主被摄体包括在与更新之前的基准方向α相对应的显示范围中的情况。

·章节开始帧的主被摄体相对于章节开始帧的与所检测到的姿势相对应的范围的相对位置与先前帧的主被摄体相对于先前帧的显示范围的相对位置之间的差异小于预定值的情况。也就是说，更新之前的基准方向α和更新之后的基准方向α之间的差异小于预定值的情况。

·章节开始帧的主被摄体包括在先前帧的显示范围中的情况。也就是说，当前章节的开始时的主被摄体的位置在更新之前的显示范围内的情况。

在基准方向α一度改变的情况下，显示范围的位置一度大幅改变，这可能给用户带来不适。因此，可以使基准方向α在数个帧中逐渐改变以逐渐改变显示范围的位置。然而，在由于章节的切换而导致发生视频图像的拍摄位置的切换或者场景的切换等的情况下，基准方向α可能一度改变。也就是说，可以进行控制，使得将章节开始帧的显示范围和先前帧的显示范围之间的差异限制成小于预定值。此外，在从先前帧到章节开始帧的图像的变化量大于预定量的情况下，可以进行控制，使得章节开始帧的显示范围和先前帧的显示范围之间的差异未被限制成小于预定值。

在运动图像编辑处理中，可以针对一个章节选择多个被摄体中的各被摄体作为主被摄体。在这种情况下，可以更新基准方向α，使得多个主被摄体落在显示范围内。

在上文所述的实施例中，在运动图像编辑处理中选择章节之后选择主被摄体，但本实施例不是限制性的。除选择主被摄体之外，还可以在没有选择章节的状态下根据主被摄体的选择操作来选择章节。

在上文所述的实施例中，生成包括从一个VR运动图像中提取的章节的组合运动图像，但本实施例不是限制性的。例如，电子设备100可以具有运动图像拍摄功能，并且可以生成包括通过多次摄像操作所获得的多个VR运动图像中的各个VR运动图像作为章节的组合运动图像。

图7是在电子设备100中进行的摄像模式处理的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU 101执行所加载的程序来实现该处理。在电子设备100的电源接通并且指定了向摄像模式的转变的情况下，开始图7的处理。

在步骤S701中，CPU 101开始用于将表示被摄体的当前状态的实时取景画面显示在显示单元105上的LV控制。

在步骤S702中，与图3的步骤S311相同，CPU 101判断是否对操作单元106进行了用于选择主被摄体的选择操作。在进行了主被摄体选择操作的情况下，处理进入步骤S703；否则，处理进入步骤S704。

在步骤S703中，CPU 101基于步骤S702的选择操作来选择主被摄体。

在步骤S704中，与图3的步骤S313相同，CPU 101判断是否对操作单元106进行了用于解除主被摄体的选择的解除操作。在进行了主被摄体的解除操作的情况下，处理进入步骤S705；否则，处理进入步骤S706。

在步骤S705中，CPU 101基于步骤S704中的解除操作来解除主被摄体的选择。

在步骤S706中，CPU 101判断是否对操作单元106进行了用于拍摄VR运动图像的摄像操作。在进行了摄像操作的情况下，处理进入步骤S707；否则，处理进入步骤S713。用户可以通过按下快门按钮或者选择指示摄像的开始和结束的项来开始拍摄运动图像，并且可以通过与为了开始摄像所进行的操作相同的操作来停止摄像。此外，在经过了预定时间(诸如1分钟或2分钟等)之后，可以自动停止运动图像的拍摄。

在步骤S707中，CPU 101执行摄像处理并且获取与所拍摄到的VR运动图像有关的运动图像数据。

在步骤S708中，CPU 101判断是否选择了主被摄体。在选择了主被摄体的情况下，处理进入步骤S709；否则，处理进入步骤S710。

在步骤S709中，CPU 101将与所选择的主被摄体有关的主被摄体信息添加到步骤S707中所获取到的运动图像数据的元数据。

在步骤S710中，CPU 101判断是否在存储介质108上生成了组合运动图像的运动图像文件。在已生成了运动图像文件的情况下，处理进入步骤S711；否则，处理进入步骤S712。

在步骤S711中，CPU 101将步骤S707中所获取到的运动图像数据及其元数据作为最后章节的数据添加到已记录在存储介质108中的运动图像文件。

在步骤S712中，CPU 101生成包括步骤S707中所获取到的运动图像数据及其元数据的运动图像文件，并且将所生成的运动图像文件记录在存储介质108中。

在步骤S713中，CPU 101判断是否对操作单元106进行了用于结束摄像模式处理的结束操作。在进行了摄像模式处理的结束操作的情况下，摄像模式处理结束；否则，处理进入步骤S702。

实施例2

以下将说明根据本发明的实施例2的电子设备。在实施例2中，与实施例1相对比，将通过示例说明不限于摘要格式的运动图像的运动图像的编辑方法和再现方法。作为本发明可以应用于的显示控制设备的电子设备100的结构图和外观图分别与图1A和1B所示相同，并且可以安装电子设备100的VR护目镜(头戴式适配器)的外观图与图1C所示相同。

图8示出在电子设备100中进行的运动图像编辑处理的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU 101执行所加载的程序来实现该处理。在电子设备100的电源接通、在存储介质108上所记录的图像和从通信目的地获取到的图像中选择VR运动图像(作为VR内容的运动图像)、并且指定了向编辑模式的转变的情况下，开始图8的处理。

在步骤S801中，CPU 101获取VR运动图像的运动图像文件。

在步骤S802中，CPU 101判断是否对操作单元106进行了用于选择步骤S801中所获取到的VR运动图像的帧的选择操作。在进行了选择操作的情况下，处理进入步骤S803；否则，处理进入步骤S804。

在步骤S803中，CPU 101基于步骤S802的选择操作来选择步骤S801中已获取到的VR运动图像的多个帧其中之一，并且将所选择的帧设置成选中状态。

在步骤S804中，CPU 101判断是否存在步骤S803中已设置成选中状态的帧(选中帧)。在存在选中帧的情况下，处理进入步骤S805；否则，处理进入步骤S811。

在步骤S805中，CPU 101判断是否对操作单元106进行了用于解除选中帧的选中状态的解除操作。在进行了解除操作的情况下，处理进入步骤S806；否则，处理进入步骤S807。

在步骤S806中，CPU 101基于步骤S805的解除操作来将选中帧设置成解除状态。

在步骤S807中，CPU 101判断是否对操作单元106上进行了用于向选中帧添加要点的添加操作。在进行了添加操作的情况下，处理进入步骤S808；否则，处理进入步骤S809。

在步骤S808中，CPU 101基于步骤S807的添加操作来将要点信息添加到选中帧的元数据。添加操作包括用于指示主被摄体的操作，并且要点信息包括与所指示的主被摄体有关的主被摄体信息。

在步骤S809中，CPU 101判断是否对操作单元106进行了用于解除选中帧的要点的解除操作。在进行了要点解除操作的情况下，处理进入步骤S810；否则，处理进入步骤S802。

在步骤S810中，CPU 101基于步骤S809的解除操作来从选中帧的元数据中删除要点信息。

在步骤S811中，CPU 101判断是否对操作单元106进行了用于生成运动图像的运动图像生成操作。在进行了运动图像生成操作的情况下，处理进入步骤S812；否则，处理进入步骤S814。

在步骤S812中，CPU 101进行以下要说明的要点时间段确定处理。

在步骤S813中，CPU 101生成根据需要将要点信息添加到帧的运动图像的运动图像文件。

在步骤S814中，CPU 101判断是否对操作单元106进行了用于结束运动图像编辑处理的结束操作。在进行了结束操作的情况下，运动图像编辑处理结束；否则，处理进入步骤S802。

图9是在电子设备100中所进行的要点时间段确定处理(步骤S812)的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU101执行所加载的程序来实现该处理。

在步骤S901中，CPU 101获取步骤S801中所获取到的VR运动图像的帧。在本实施例中，多次重复步骤S901的处理。结果，按时间顺序获取多个帧。

在步骤S902中，CPU 101判断步骤S901中所获取到的帧是否是最后帧。在所获取到的帧是最后帧的情况下，处理进入步骤S903；否则，处理进入步骤S905。

在步骤S903中，CPU 101判断是否存在要点信息被添加到元数据的帧。在存在要点信息被添加到元数据的帧的情况下，要点时间段确定处理结束；否则，处理进入步骤S904。

在步骤S904中，CPU 101将步骤S801中所获取到的VR运动图像的最初帧设置为要点开始帧且要点结束帧。具体地，CPU 101将表示帧是要点开始帧且要点结束帧的要点信息添加到最初帧的元数据。在本实施例中，可以将从要点开始帧起直到要点结束帧为止的时间段设置为要点时间段。在步骤S904中，仅将最初帧的时间段设置为要点时间段。

在步骤S905中，CPU 101判断是否存在步骤S901中所获取到的帧的元数据中的要点信息。在存在要点信息的情况下，处理进入步骤S914；否则，处理进入步骤S906。在存在要点信息的情况下，这意味着用户将步骤S901中所获取到的帧指定为要点开始帧。

在步骤S906中，CPU 101判断在步骤S901中所获取到的帧中预定声音(诸如欢呼等的特征声音)的输出是否开始。在预定声音的输出开始的情况下，处理进入步骤S907；否则，处理进入步骤S908。

在步骤S907中，CPU 101选择步骤S901中所获取到的帧中的发出预定声音的部分作为主被摄体的一部分。

在步骤S908中，CPU 101判断在步骤S901中所获取到的帧中被摄体的数量的变化是否开始。在被摄体的数量的变化开始的情况下，处理进入步骤S909；否则，处理进入步骤S910。这里的被摄体是诸如人、车辆(汽车和飞机等)以及自然物(树、山和云等)等的预定类型的被摄体。在本实施例中，判断人数的变化(人数的增加或减少)是否开始。

在步骤S909中，CPU 101选择步骤S901中所获取到的帧中的人数已改变的部分作为主被摄体的一部分。在人数减少的情况下，可以选择剩余的多个人其中之一作为主被摄体，或者可以选择包括剩余的所有人的部分作为主被摄体的一部分。

在步骤S910中，CPU 101判断步骤S901中所获取到的帧是否与拍摄步骤S801中所获取到的VR运动图像时的摄像设备的姿势变化的开始定时相对应。在该帧与姿势变化的开始定时相对应的情况下，处理进入步骤S911；否则，处理进入步骤S912。

在步骤S911中，CPU 101从步骤S901所获取到的帧中自动检测主被摄体。例如，将预定类型的被摄体或者具有预定大小以上的被摄体等自动检测为主被摄体。

在步骤S912中，CPU 101判断步骤S901中所获取到的帧是否与拍摄步骤S801中所获取到的VR运动图像时的摄像设备的振动的开始定时相对应。在该帧与振动的开始定时相对应的情况下，处理进入步骤S913；否则，处理进入步骤S901。

在步骤S913中，CPU 101从步骤S901所获取到的帧中自动检测主被摄体。例如，将预定类型的被摄体或者具有预定大小以上的被摄体等自动检测为主被摄体。

在步骤S914中，CPU 101将步骤S901中所获取到的帧确定为要点开始帧。

在步骤S915中，CPU 101判断步骤S901中所获取到的帧是否是从紧前的要点开始帧起的预定数量的帧(预定时间)之后的帧。在该帧在从要点开始帧起的预定数量的帧之后的情况下，处理进入步骤S920；否则，处理进入步骤S916。

在步骤S916中，CPU 101判断在步骤S901中所获取到的帧中预定声音(诸如欢呼声等的特征声音)的输出是否结束。如果预定声音的输出结束，则处理进入步骤S920；否则，处理进入步骤S917。

在步骤S917中，CPU 101判断在步骤S901中所获取到的帧中被摄体的数量的变化是否结束。在被摄体的数量的变化结束的情况下，处理进入步骤S920；否则，处理进入步骤S918。这里的被摄体是诸如人、车辆(汽车和飞机等)以及自然物(树、山和云等)等的预定类型的被摄体。在本实施例中，判断人数的变化(人数的增加或减少)是否结束。

在步骤S918中，CPU 101判断步骤S901中所获取到的帧是否与拍摄步骤S801中所获取到的VR运动图像时的摄像设备的姿势变化的结束定时相对应。在该帧与姿势变化的结束定时相对应的情况下，处理进入步骤S920；否则，处理进入步骤S919。

在步骤S919中，CPU 101判断步骤S901中所获取到的帧是否与拍摄步骤S801中所获取到的VR运动图像时的摄像设备的振动的结束定时相对应。在该帧与振动的结束定时相对应的情况下，处理进入步骤S920；否则，处理进入步骤S901。

在步骤S920中，CPU 101将步骤S901中所获取到的帧确定为要点结束帧。

在步骤S921中，CPU 101基于先前处理的结果，将要点信息添加到步骤S901中所获取到的帧的元数据或者更新该帧的要点信息。在没有要点信息被添加到步骤S901中所获取到的帧的情况下，生成并添加要点信息，并且在要点信息已经被添加到步骤S901中所获取的帧的情况下，更新所添加的要点信息。步骤S921中所添加的要点信息指示帧是要点开始帧、要点结束帧或者要点时间段中的其它帧。此外，步骤S921中所添加的要点信息包括与主被摄体(主被摄体的一部分)有关的主被摄体信息。将与要点开始帧相同的主被摄体信息添加到要点时间段内的多个帧中的不是要点开始帧的帧。将指示发出预定声音的部分作为主被摄体部分的主被摄体信息添加至例如从预定声音的输出开始的要点开始帧起的要点时间段中的各帧。

一个VR运动图像中的要点时间段的数量不受特别限制。例如，可以针对一个章节、一个场景或一个运动图像等设置一个要点时间段或多个要点时间段。可以将紧接在上述的要点结束帧之前的帧设置为要点结束帧。也就是说，上述的要点结束帧可以是要点时间段之外的时间段的开始帧。用于确定要点时间段(要点开始帧或要点结束帧)的方法不限于上述方法。代替在运动图像编辑时设置要点时间段，电子设备100可以具有运动图像拍摄功能，并且可以在摄像时设置要点时间段。

图10是电子设备100所进行的运动图像再现处理的流程图。通过将非易失性存储器103中所记录的程序加载到存储器102中并且CPU 101执行所加载的程序来实现该处理。在电子设备100的电源接通、从存储介质108上所记录的图像或从通信目的地获取到的运动图像中选择VR运动图像、并且指定了向再现模式的转变的情况下，开始图10的处理。

在步骤S1001中，CPU 101获取VR运动图像(图8的运动图像编辑处理中所生成的运动图像)的运动图像文件。

在步骤S1002中，CPU 101从步骤S1001中所获取到的运动图像文件获取帧的要点信息。

在步骤S1003中，CPU 101开始步骤S1001中所获取到的运动图像文件的再现。

在步骤S1004中，CPU 101获取步骤S1001中所获取到的运动图像文件的一帧。在本实施例中，多次重复步骤S1004的处理。结果，按时间顺序获取多个帧。

在步骤S1005中，CPU 101获取基准方向α。

在步骤S1006中，CPU 101基于从姿势检测单元113获得的姿势信息来确定观看方向β。

在步骤S1007中，CPU 101基于步骤S1002中所获取到的要点信息来判断步骤S1004中所获取到的帧是否是要点时间段中的帧。在所获取到的帧是要点时间段中的帧的情况下，处理进入步骤S1008；否则，处理进入步骤S1010。

在步骤S1008中，CPU 101基于步骤S1004中所获取到的帧的主被摄体信息来确定关注方向γ。

在步骤S1009中，CPU 101更新基准方向α，使得步骤S1006中所确定的观看方向β与步骤S1008中所确定的关注方向γ基本上一致。

在步骤S1010中，CPU 101基于从姿势检测单元113获得的姿势信息来检测电子设备100的姿势的变化、即用户正在查看的方向的变化。

在步骤S1011中，CPU 101基于步骤S1010的检测结果来更新步骤S1006中所确定的观看方向β。

在步骤S1012中，CPU 101判断是否存在用于改变显示范围的用户操作(显示范围改变操作；触摸移动、轻拂和按钮操作等)。在存在显示范围改变操作的情况下，处理进入步骤S1013，否则处理进入步骤S1014。

在步骤S1013中，CPU 101基于步骤S1012中所进行的显示范围改变操作来更新基准方向α。

在步骤S1014中，基于观看方向β，CPU 101针对步骤S1004中所获取到的帧将包括指向观看方向β的位置的范围确定为显示范围，并且将所确定的显示范围的视频图像显示在显示单元105上。在步骤S1009中更新基准方向α的情况下，确定显示范围，使得独立于电子设备100的姿势而显示主被摄体。在步骤S1010中检测到电子设备100的姿势的变化的情况下，使显示范围的位置改变以跟随姿势的变化。在步骤S1012中进行显示范围改变操作的情况下，根据显示范围改变操作来改变显示范围。例如，在基准方向α和观察方向β(用户正在查看的方向)是图2C中的角度A1＝0度且角度A2＝0度的方向的状态下、用户进行用于使角度A1增加30度的显示范围改变操作的情况下，基准方向α改变为角度A1＝30度且角度A2＝0度的方向。结果，在观看方向β处于角度A1、A2＝0度的状态下，用户可以看到角度A1＝30度且角度A2＝0度的方向上的范围。

在步骤S1015中，CPU 101判断步骤S1004中所获取到的帧是否是最后帧。在所获取到的帧是最后帧的情况下，运动图像再现处理结束；否则，处理进入步骤S1004。

如上所述，根据本实施例，进行控制，使得在适当设置的要点时间段内，独立于电子设备100的姿势而显示主被摄体。此外，进行控制，使得在其它时间段内，根据电子设备100的姿势而显示不同的显示范围。结果，可以提高在用户正在观看显示有宽范围图像的一部分的运动图像时的可视性。具体地，可以在向用户赋予作为VR显示的真正刺激的沉浸感或真实感的同时，使得用户能够适当地观看具有宽范围的视频图像的运动图像的精彩部分。

被描述为由CPU 101进行的上述各种控制可以由一个硬件进行，或者整个设备可以通过在多个硬件之间分担处理来控制。

尽管已经基于本发明的优选实施例详细说明了本发明，但应当理解，本发明不限于这些具体实施例，并且没有背离本发明的主旨的各种实施例也包括在本发明中。此外，上述各实施例仅仅示出本发明的一个实施例，并且可以适当地组合这些实施例。

在上述实施例中，将本发明以示例方式应用于诸如智能电话等的电子设备100，但本发明不限于该示例，并且可以应用于可被控制成显示VR图像的一部分的任何电子设备。无需说明，代替智能电话，本发明还可应用于头戴式显示器(HMD)。此外，本发明可应用于个人计算机、PDA、移动电话终端、便携式图像查看器、配备有显示器的打印机、以及数字相框等。此外，本发明可以应用于音乐播放器、游戏机、电子书阅读器、平板终端、智能电话、投影设备、具有显示器的家用电子设备、以及车载设备等。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。