电子设备、电子设备的控制方法和计算机可读介质与流程

本发明涉及电子设备、电子设备的控制方法和计算机可读介质，并且特别涉及记录具有宽范围的图像的方法。

背景技术：

在照相机的正面和背面具有两个广角镜头(例如鱼眼镜头)的可以拍摄全方位图像((全)天球图像)的一体型全方位照相机((全)天球照相机)变得普及。通常，全方位照相机由于拍摄全方位图像的方式的特性而不包括用于实时取景的显示器，因此在连接到全方位照相机的智能电话的显示器上进行远程实时取景显示，以观察被摄体(拍摄图像)。

日本特开2017-108356公开了如下技术，该技术用于显示分别与多个视点相对应的多个信息，以从期望的视点容易地观察所拍摄的全方位图像。

如图11a所示，在所拍摄的全方位图像的远程实时取景显示的情况下，全方位图像的一部分被裁剪并显示在画面上。用户可以通过“轻拂(flick)”操作等自由地改变全方位图像的显示范围(画面上显示的范围；裁剪范围)。

然而，在个人计算机(pc)等上检查所拍摄的(所记录的)全方位图像的情况下，如图11b所示，全方位图像的整个图像被显示为全方位图像的文件的缩略图图像。由于该缩略图图像的印象与拍摄图像时的远程实时取景显示的显示范围的印象不一致，因此用户不能容易地识别在各文件中拍摄了全方位图像的哪个场景。

此外，当再现文件时，全方位图像的在预定方向(例如，天球照相机的正面方向)上拍摄的范围首先被显示为显示范围。因此，开始再现时的显示范围的印象与拍摄图像时的远程实时取景显示的显示范围的印象不一致，并且用户不能容易地识别在再现文件中拍摄了全方位图像的哪个场景。

技术实现要素：

本发明提供了使得用户能够容易地识别在文件中拍摄了图像文件的哪个场景的技术。

本发明在其第一方面提供一种电子设备，包括：第一获取单元，其被配置为获取拍摄图像；以及控制单元，其被配置为进行控制，使得响应于来自用户的摄像指示，将所述第一获取单元所获取到的图像的文件记录在存储器中，其中，在将所述拍摄图像的部分范围作为实时取景图像显示在显示器上的情况下，所述控制单元还进行控制，使得将与所述实时取景图像相对应的缩略图图像与所述文件相关联地记录。

本发明在其第二方面提供一种电子设备，包括：第一获取单元，其被配置为获取拍摄图像；以及控制单元，其被配置为进行控制，使得响应于来自用户的摄像指示，将所述第一获取单元所获取到的图像的文件记录在存储器中，其中，在将所述拍摄图像的部分范围作为实时取景图像显示在显示器上的情况下，所述控制单元还进行控制，使得将与所述拍摄图像的与预定定时的实时取景图像相对应的部分范围有关的信息作为与在再现所述文件时首先显示的范围有关的信息来与所述文件相关联地记录。

本发明在其第三方面提供一种电子设备的控制方法，所述控制方法包括：获取步骤，用于获取拍摄图像；以及控制步骤，用于进行控制，使得响应于来自用户的摄像指示，将在所述获取步骤中所获取到的图像的文件记录在存储器中，其中，在将所述拍摄图像的部分范围作为实时取景图像显示在显示器上的情况下，在所述控制步骤中，还进行控制，使得将与所述实时取景图像相对应的缩略图图像与所述文件相关联地记录。

本发明在其第四方面提供一种电子设备的控制方法，所述控制方法包括：获取步骤，用于获取拍摄图像；以及控制步骤，用于进行控制，使得响应于来自用户的摄像指示，将在所述获取步骤中所获取到的图像的文件记录在存储器中，其中，在将所述拍摄图像的部分范围作为实时取景图像显示在显示器上的情况下，在所述控制步骤中，还进行控制，使得将与所述拍摄图像的与预定定时的实时取景图像相对应的部分范围有关的信息作为与在再现所述文件时首先显示的范围有关的信息来与所述文件相关联地记录。

本发明在其第五方面提供一种计算机可读介质，其存储用于使计算机执行上述控制方法的程序。

根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1a和图1b是数字照相机的外观图，以及图1c是描绘数字照相机的框图；

图2a是显示控制设备的外观图，以及图2b是描绘显示控制设备的框图；

图3a和图3b是描绘远程实时取景显示的示例的图；

图4是描绘一般处理的示例的流程图；

图5是描绘远程实时取景处理的示例的流程图；

图6是描绘本发明的效果的示例的图；

图7是描绘一般处理的变形例的流程图；

图8是描绘远程实时取景处理的变形例的流程图；

图9是描绘一般处理的变形例的流程图；

图10是描绘再现处理的流程图；以及

图11a和图11b是描绘本发明要解决的问题的示例的图。

具体实施方式

将参考附图描述本发明的实施例。图1a是作为根据本实施例的电子设备的数字照相机100(摄像设备)的正面立体图(外观图)。图1b是数字照相机100的背面立体图(外观图)。数字照相机100是全方位照相机((全)天球照相机)。

挡板102a是用于摄像范围是数字照相机100的前方区域的前置照相机单元的保护窗口。前置照相机单元是摄像范围是数字照相机100的前侧的例如垂直和水平180°以上的宽范围的广角照相机单元。挡板102b是用于摄像范围是数字照相机100的后方区域的后置照相机单元的保护窗。后置照相机单元是摄像范围是数字照相机100的后侧的例如垂直和水平180°以上的宽范围的广角照相机单元。

显示单元28显示各种信息。快门按钮61是用于指示摄像的操作单元(操作构件)。模式选择开关60是用于切换各种模式的操作单元。连接i/f25是用于将连接线缆连接到数字照相机100的连接器，由此数字照相机100经由该连接线缆连接到外部设备(例如智能电话、个人计算机、tv)。操作单元70具有用于接收来自用户的各种操作的各种开关、按钮、拨盘或触摸传感器等。电源开关72是用于接通/断开电源的推式按钮。

发光单元21是用于使用发光模式和发光颜色向用户通知数字照相机100的各种状态的发光构件(例如，如发光二极管(led))。固定单元40例如具有用于三脚架的螺孔，并且用于将数字照相机100安装并固定到固定器具(例如三脚架)。

图1c是描绘数字照相机100的结构示例的框图。

挡板102a覆盖前置照相机单元的摄像系统(例如摄像透镜103a、快门101a、摄像单元22a)，以防止摄像系统的污染和损坏。摄像透镜103a是包括变焦透镜和调焦透镜的透镜组，并且是广角透镜。快门101a是具有用于调整被摄体光向摄像单元22a的入射量的光圈功能的快门。摄像单元22a是由用于将光学图像转换为电信号的ccd或cmos元件等构成的摄像元件(图像传感器)。a/d转换器23a将从摄像单元22a输出的模拟信号转换为数字信号。代替设置挡板102a，摄像透镜103a的外表面可以露出，以使得摄像透镜103a防止摄像系统的其它组件(例如快门101a、摄像单元22a)的污染和损坏。

挡板102b覆盖后置照相机单元的摄像系统(例如摄像透镜103b、快门101b、摄像单元22b)，以防止摄像系统的污染和损坏。摄像透镜103b是包括变焦透镜和调焦透镜的透镜组，并且是广角透镜。快门101b是具有用于调整被摄体光向摄像单元22b的入射量的光圈功能的快门。摄像单元22b是由用于将光学图像转换为电信号的ccd或cmos元件等构成的摄像元件(图像传感器)。a/d转换器23b将从摄像单元22b输出的模拟信号转换为数字信号。代替设置挡板102b，摄像透镜103b的外表面可以露出，以使得摄像透镜103b防止摄像系统的其它组件(例如快门101b、摄像单元22b)的污染和损坏。

由摄像单元22a和摄像单元22b拍摄虚拟现实(vr)图像。vr图像是可以被vr显示(以显示模式“vr观看”显示)的图像。vr图像包括由全方位照相机((全)天球照相机)拍摄的全方位图像((全)天球图像)和具有比显示单元的显示范围宽的图像范围(有效图像范围)的全景图像。vr图像不仅包括静止图像，还包括运动图像和实时取景图像(接近实时地从照相机获取的图像)。vr图像具有等于垂直方向上(垂直角度、从天顶起的角度、仰角、俯角、高度角、俯仰角)最多360°且水平方向上(水平角度、方位角度、横摆角)最多360°的视场的图像范围(有效图像范围)。

vr图像包括：具有即使角度在垂直方向上小于360°并且在水平方向上小于360°、也比标准照相机可以拍摄的视角宽的视角(视场范围)的图像；或者具有比显示单元的能够显示范围宽的图像范围(有效图像范围)的图像。例如，由可以拍摄与水平方向上(水平角度、方位角度)360°和以天顶为中心的垂直方向上210°的视场(视角)的被摄体的图像的天球照相机拍摄的图像是一种vr图像。此外，由可以拍摄水平方向上(水平角度、方位角度)180°和以水平方向为中心的垂直方向上180°的视场(视角)的被摄体的图像的照相机拍摄的图像是一种vr图像。换句话说，具有在垂直方向和水平方向上分别至少160°(±80°)的视场的图像范围并且具有比人能够视觉上一次识别的范围宽的图像范围的图像是一种vr图像。

当vr显示(以显示模式“vr观看”显示)该vr图像时，通过在水平转动方向上改变显示设备(用于显示vr图像的显示设备)的姿势，可以在水平方向(水平转动方向)上观看无缝的全方位图像。关于垂直方向(垂直转动方向)，可以在从正上方(天顶)起的±105°的范围内观看无缝的全方位图像，但是超过从天顶起的105°的范围成为不存在图像的空白区域。可以将vr图像定义为“图像范围是虚拟空间(vr空间)的至少一部分的图像”。

vr显示(vr观看)是可以改变用于显示vr图像中的与显示设备的姿势相对应的视场范围内的图像的显示范围的显示方法(显示模式)。为了在作为显示设备的智能电话上观看图像，显示与智能电话的朝向相对应的视场范围内的图像。例如，假定如下：在某个时点正在显示vr图像中的以水平方向上0°(诸如北等的特定方位)和垂直方向上90°(从天顶起90°，即水平)为中心的视场角(视角)内的图像。如果显示设备的姿势前/后反转(例如，显示面从面向南改变为面向北)，则显示范围改变为同一vr图像中的以水平方向上180°(诸如南等的相反方位)和垂直方向上90°(水平)为中心的视场角的图像。在用户在持有智能电话的同时观看图像的情况下，如果智能电话从北转向南(换句话说，如果用户转身)，则智能电话上显示的图像将从北向的图像改变为南向的图像。通过这种vr显示，用户可以在视觉上体验用户仿佛在vr图像(vr空间)的现场一样的感觉(沉浸感)。

显示vr图像的方法不限于以上描述。代替改变姿势，显示范围可以根据用户对触摸面板或方向按钮等的操作而移动(滚动)。当显示vr图像时(当显示模式是“vr观看”时)，不仅可以通过改变姿势，还可以通过在触摸面板上的触摸移动、通过鼠标的拖动操作和按下方向按钮等来改变显示范围。

图像处理单元24对来自a/d转换器23a和a/d转换器23b的数据或者来自存储器控制单元15的数据进行诸如像素插值、调整大小(例如缩小)和颜色转换等的预定处理。图像处理单元24还使用拍摄的图像数据来进行预定的算术处理。系统控制单元50基于图像处理单元24获取的算术结果来进行曝光控制和距离测量控制。由此，进行通过镜头(ttl)方式的自动调焦(af)处理、自动曝光(ae)处理和预闪光发光(ef)处理等。图像处理单元24还使用拍摄的图像数据来进行预定的算术处理，并基于获取的算术结果来进行ttl方式的自动白平衡(awb)处理。此外，图像处理单元24对从a/d转换器23a和a/d转换器23b获取的两个图像(两个鱼眼图像；两个广角图像)进行基本图像处理，并且进行用于将进行了基本处理的两个图像合成的图像连接处理以生成单个vr图像。此外，图像处理单元24当在实时取景中对vr图像进行vr显示时或再现vr图像时进行图像裁剪处理、缩放处理和失真校正等以显示vr图像，并进行绘制以将处理结果写入存储器32的vram中。

在图像连接处理中，图像处理单元24使用两个图像中的一个作为基准图像并且另一个作为比较图像，针对各区域通过模式一致处理计算基准图像和比较图像之间的偏差量，并且基于各区域的偏差量来检测用于连接两个图像的连接位置。考虑到检测到的连接位置和各光学系统的透镜特性，图像处理单元24通过几何变换来校正各图像的失真，以将各图像转换为天球形式(天球图像形式)的图像。然后，图像处理单元24将天球形式的两个图像进行合成(混合)，以生成一个天球图像(vr图像)。所生成的天球图像是基于等距圆柱投影的图像，并且该天球图像的各像素的位置可以与球体(vr空间)表面上的坐标相对应(3d映射)。

来自a/d转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15或者在不通过图像处理单元24的情况下经由存储器控制单元15写入存储器32。例如，存储器32存储由摄像单元22a和22b获取并由a/d转换器23a和23b转换成数字数据的图像数据。存储器32还存储要传输到经由通信单元54无线连接的外部设备(例如智能电话)的图像数据、以及要从连接i/f25输出到外部显示器的图像数据。存储器32具有用以存储预定数量的静止图像或者预定时间的运动图像和声音数据的足够的存储容量。

存储器32也用作图像显示所用的存储器(视频存储器)。存储在存储器32中的图像显示所用的数据可以传输到经由通信单元54无线连接的外部设备(例如智能电话)，或者可以经由连接i/f25输出到外部显示器。由图像处理单元24从摄像单元22a和22b拍摄的图像生成的、并存储在存储器32中的vr图像可以传输到经由通信单元54无线连接的外部设备(例如智能电话)，并显示在外部设备侧。由此，外部设备(例如智能电话)可以用作电子取景器，并进行远程实时取景显示(远程lv显示)。还可以通过将存储在存储器32中的vr图像顺序地传输到外部显示器并且在外部显示器的画面上显示vr图像来进行远程lv显示。此后，将远程lv显示所显示的图像称为“远程实时取景图像”(远程lv图像)。

非易失性存储器56是用作电可擦除且可记录的记录介质的诸如eeprom等的存储器。在非易失性存储器56中，记录了系统控制单元50的操作所用的常数和程序等。这里的“程序”是指本实施例中后面描述的用于执行各种流程图的计算机程序。

系统控制单元50是包括至少一个处理器或电路的控制单元，并且总地控制数字照相机100。系统控制单元50通过执行记录在上述非易失性存储器56中的程序来实现稍后将在本实施例中描述的各处理。系统存储器52例如是ram，并且在系统存储器52中，展开系统控制单元50的操作所用的常量和变量以及从非易失性存储器56中读取的程序。系统控制单元50还通过控制存储器32、图像处理单元24和存储器控制单元15等来控制显示。系统计时器53是用于测量各种控制所用的时间和内部时钟的时间的计时器。

模式选择开关60、快门按钮61、操作单元70和电源开关72用于向系统控制单元50输入各种操作指示。

模式选择开关60将系统控制单元50的操作模式切换到静止图像记录模式、运动图像拍摄模式、再现模式和通信连接模式等其中之一。静止图像记录模式包括自动摄像模式、自动场景判断模式、手动模式、光圈优先模式(av模式)、快门速度优先模式(tv模式)和程序ae模式。还包括用于设置各摄像场景的摄像的各种场景模式以及定制模式。用户可以使用模式选择开关60直接选择这些模式中其中之一。在使用模式选择开关60切换到摄像模式列表画面之后，用户可以使用其它操作构件来选择性地切换到在显示单元28上显示的多个模式其中之一。以相同的方式，运动图像拍摄模式也可以包括多个模式。

快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在快门按钮61的操作中途即处于半按下状态(摄像准备指示)时接通，并生成第一快门开关信号sw1。通过第一快门开关信号sw1，系统控制单元50开始诸如自动调焦(af)处理、自动曝光(ae)处理、自动白平衡(awb)处理和预闪光灯(ef)处理等的摄像准备操作。第二快门开关64在快门按钮61的操作完成即处于全按下状态(摄像指示)时接通，并生成第二快门开关信号sw2。通过第二快门开关信号sw2，系统控制单元50开始从自摄像单元22a和22b读取信号到将图像数据写入记录介质150的一系列摄像处理的操作。

快门按钮61不限于可以进行两级操作(半按下和全按下)的操作构件，也可以是能够仅进行一级按下操作的操作构件。在这种情况下，通过一级按下连续进行摄像准备操作和摄像处理。这与全按下可以进行半按下和全按下这两者的快门按钮的情况(几乎同时生成第一快门开关信号sw1和第二快门开关信号sw2的情况)相同。

通过选择在显示单元28上显示的各种功能图标和选项，操作单元70用作进行针对各场景所分配的功能的各种功能按钮。功能按钮包括：结束按钮、返回按钮、图像前进按钮、跳转按钮、预览按钮和属性改变按钮。例如，当按下菜单按钮时，在显示单元28上显示允许进行各种设置的菜单画面。用户在观看显示单元28上显示的菜单画面的同时操作操作单元70，由此可以直观地进行各种设置。

电源开关72是用于切换电源的接通/断开的推式按钮。电源控制单元80包括电池检测电路、dc-dc转换器和用于选择要通电的块的开关电路，以检测电池是否安装、电池的类型和电池电力的剩余量等。电源控制单元80还基于检测结果和系统控制单元50的指示来控制dc-dc转换器，并且在必要的时间段内向包括记录介质150的各组件供给所需的电压。电源单元30包括：一次电池(例如，碱电池、锂电池)、二次电池(例如，nicd电池、nimh电池、li电池)和ac适配器。

记录介质i/f18是与记录介质150(例如存储卡硬盘)的接口。记录介质150是用于记录拍摄图像的存储单元(例如存储卡)，并且由半导体存储器、光盘或磁盘等构成。记录介质150可以是可从数字照相机100拆卸的可更换记录介质，或者可以是嵌入在数字照相机100中的记录介质。

通信单元54相对于无线连接或经由线缆连接的外部设备发送/接收图像信号和声音信号。通信单元54也可以连接到无线局域网(lan)或互联网。通信单元54将由摄像单元22a和22b拍摄的、图像处理单元24所生成、并存储在存储器32中的vr图像传输到经由通信单元54无线连接的外部设备(例如智能电话)，并在外部设备侧显示vr图像。由此，外部设备(例如智能电话)可以用作电子取景器，并进行远程实时取景显示(远程lv显示)。通信单元54还可以发送记录在记录介质150中的图像，并且可以从外部设备接收图像和各种其它信息。

姿势检测单元55检测数字照相机100相对于重力方向的姿势。基于姿势检测单元55检测到的姿势，可以判断由摄像单元22a和22b拍摄的图像是在数字照相机100处于水平位置时拍摄的图像还是在数字照相机100处于垂直位置时拍摄的图像。还可以判断当摄像单元22a和22b拍摄图像时数字照相机100在三个轴方向(转动方向)即横摆方向、俯仰方向和侧倾方向上倾斜的程度。系统控制单元50可以将根据姿势检测单元55检测到的姿势的朝向信息添加到由摄像单元22a和22b拍摄的vr图像的图像文件，或者可以转动图像(调整图像的朝向以校正倾斜(天顶校正))并记录转动后的图像。可以使用加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等中的多个传感器中的一个或一组作为姿势检测单元55。使用构成姿势检测单元55的加速度传感器、陀螺仪传感器或方位传感器等，可以检测数字照相机100的运动(例如平摇、纵摇、抬升、静止)。

麦克风20是用于收集被记录为作为运动图像的vr图像(vr运动图像)的声音的、数字照相机100周围的声音的麦克风。连接i/f25是连接线缆或usb线缆等以相对于外部设备发送或接收图像的连接插头。

图2a是显示控制设备200的外观图。显示控制设备200是诸如智能电话等的显示设备。显示器205是用于显示图像和各种信息的显示单元。显示器205与触摸面板206a一体化，使得可以检测到显示器205的显示表面上的触摸操作。显示控制设备200可以在显示器205上对vr图像(vr内容)进行vr显示。操作单元206b是接收用以切换显示控制设备200的电源接通/断开的操作的电源按钮。操作单元206c和操作单元206d是用于增加/减少从声音输出单元212输出的声音的音量的音量按钮。操作单元206e是用于在显示器205上显示主画面的主按钮。声音输出端子212a是作为用于将声音信号输出到耳机或外部扬声器等的端子的耳机插孔。扬声器212b是输出声音的内置扬声器。

图2b是描绘显示控制设备200的结构示例的框图。cpu201、存储器202、非易失性存储器203、图像处理单元204、显示器205、操作单元206、记录介质i/f207、外部i/f209和通信i/f210连接到内部总线250。声音输出单元212和姿势检测单元213也连接到内部总线250。连接到内部总线250的各单元被配置为使得可以经由内部总线250与其它单元交换数据。

cpu201是总地控制显示控制设备200的控制单元，并且包括至少一个处理器或电路。存储器202是ram(例如，使用半导体元件的易失性存储器)。例如，cpu201根据存储在非易失性存储器203中的程序，使用存储器202作为工作存储器来控制显示控制设备200的各单元。非易失性存储器203存储诸如图像数据和声音数据等的数据、以及cpu201操作所用的各种程序。非易失性存储器203例如是闪速存储器或rom。

图像处理单元204基于cpu201的控制，对存储在非易失性存储器203和记录介质208中的图像、经由外部i/f209获取的图像信号以及经由通信i/f210获取的图像等进行各种图像处理。图像处理单元204进行的图像处理包括：a/d转换处理、d/a转换处理、图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理。图像处理单元204还对vr图像进行各种类型的图像处理(例如，全景展开、映射处理、转换)，其中vr图像是全方位图像、或者不是全方位图像但是具有宽范围的图像的宽范围图像。图像处理单元204可以由用于进行特定图像处理的专用电路块配置成。根据图像处理的类型，cpu201可以在不使用图像处理单元204的情况下根据程序进行图像处理。

显示器205基于cpu201的控制来显示图像和构成gui的gui(图形用户界面)画面。cpu201根据程序生成显示控制信号，并且控制显示控制设备200的各单元，以生成要在显示器205上显示图像的图像信号并将该图像信号输出到显示器205。基于所生成和输出的图像信号，显示器205显示图像。显示控制设备200可以仅包括直到用于输出显示器205显示图像所用的图像信号的接口为止的结构，并且显示器205可以是外部监视器(例如tv)等。显示器205可以用作电子取景器，并通过显示由数字照相机100(摄像设备)拍摄并经由通信i/f210顺次传输的vr图像来进行远程实时取景显示(远程lv显示)。

操作单元206是用于接收用户操作的包括文本信息输入装置(例如键盘)、指点装置(例如鼠标、触摸面板)、按钮、拨盘、操纵杆、触摸传感器和触摸板的输入装置。在本实施例中，操作单元206包括触摸面板206a和操作单元206b、206c、206d和206e。

记录介质208(例如，存储卡、cd、dvd)可以可拆卸地安装到记录介质i/f207。基于cpu201的控制，记录介质i/f207从所安装的记录介质208读取数据，或者将数据写入记录介质208。外部i/f209是经由线缆或无线方式与外部设备连接的接口，并输入/输出图像信号和声音信号。通信i/f210是通过经由互联网211等与外部设备通信来发送/接收各种数据(例如文件、命令)的接口。

声音输出单元212输出运动图像或音乐数据的声音、操作音、铃声和各种通知音等。声音输出单元212包括用于连接耳机等的声音输出端子212a和扬声器212b。声音输出单元212可以经由无线通信等向外部扬声器输出声音数据。

姿势检测单元213检测显示控制设备200相对于重力方向的姿势(倾斜)以及显示控制设备200相对于横摆方向、俯仰方向和侧倾方向上的各轴的姿势。基于姿势检测单元213检测到的姿势，可以判断显示控制设备200是水平还是垂直地保持、以及显示控制设备200是向上或向下还是斜向姿势。还可以检测显示控制设备200是否在转动方向(例如，横摆方向、俯仰方向、侧倾方向)上倾斜、倾斜的程度、以及显示控制设备200是否在转动方向上转动。传感器(例如，加速度传感器、陀螺仪传感器、地磁传感器、方位传感器、高度传感器)中的一个或组合可以用作姿势检测单元213。

如上所述，操作单元206包括触摸面板206a。触摸面板206a是被配置为叠加在显示器205上的平面的输入装置，使得输出与接触位置相对应的坐标信息。cpu201可以检测在触摸面板206a上进行的以下操作或触摸面板206a的状态。

-没有触摸触摸面板206a的手指或触笔触摸触摸面板206a，即触摸开始(以下称为触及(touch-down))。

-手指或触笔正触摸触摸面板206a(以下称为触摸持续(touch-on))。

-手指或触笔在触摸状态下在触摸面板206a上移动(以下称为触摸移动(touch-move))。

-正触摸触摸面板206a的手指或触笔从触摸面板206a释放，即触摸结束(以下称为触摸停止(touch-up))。

-没有触摸触摸面板206a(以下称为未触摸(touch-off))。

当检测到触及时，也同时检测到触摸持续。除非在触及之后检测到触摸停止，否则通常继续检测到触摸持续。同样，当检测到触摸移动时，同时检测到触摸持续。即使当检测到触摸持续时，除非触摸位置正移动，否则也不会检测到触摸移动。在检测到所有手指或触笔的触摸停止时检测到未触摸。

经由内部总线向cpu201通知这些操作、状态以及手指或触笔触摸触摸面板206a的位置坐标，并且基于所通知的信息，cpu201判断对触摸面板206a进行了何种操作(触摸操作)。关于触摸移动，cpu201还可以基于位置坐标的改变针对触摸面板206a上的垂直分量和水平分量分别判断手指或触笔在触摸面板206a上的移动方向。如果检测到至少预定距离的触摸移动，则cpu201判断为进行了滑动操作。

在触摸状态下在触摸面板206a上快速移动手指一定距离并释放手指的操作称为“轻拂”。换句话说，轻拂是在触摸面板206a上触摸并快速移动手指的操作。如果检测到按预定速度以上进行了至少预定距离的触摸移动并且之后检测到触摸停止，则判断为进行了轻拂(判断为在滑动操作之后进行了轻拂)。

此外，将同时触摸多个点(例如，两个点)并使这些触摸位置彼此移近的触摸操作称为“捏合(pinch-in)”，而将使这些触摸位置彼此移远的触摸操作称为分开“(pinch-out)”。将分开和捏合统称为捏分(pinch)操作(或简称为“捏分”)。对于触摸面板206a，可以使用诸如电阻膜类型、电容类型、表面声波类型、红外类型、电磁感应类型、图像识别类型和光学传感器类型等的各种类型的触摸面板。存在当实际接触触摸面板时检测到触摸的类型以及当手指或触笔靠近触摸面板时检测到触摸的类型，但是也可以使用任意类型。

图3a和图3b是显示控制设备200上的远程实时取景显示的示例。在本实施例中，远程实时取景显示的显示形式包括天球(全方位)图像形式和缩放观看形式。天球图像形式是使用等距圆柱投影在显示器205上显示由数字照相机100(摄像设备)拍摄的整个vr图像的形式，即所谓的“全景形式”。换句话说，在天球图像形式的情况下，数字照相机100拍摄的vr图像按原样显示。图3a是天球图像形式的远程实时取景显示的示例。缩放观看形式是从数字照相机100拍摄的vr图像中裁剪部分区域(范围)并在显示器205上显示裁剪的图像的形式。在缩放观看形式中，部分区域通常基于用户使用显示控制设备200(智能电话)所指示的区域来进行裁剪和显示。图3b是缩放观看形式的远程实时取景显示的示例。使用操作单元206，用户可以在天球形式的显示模式和缩放观看形式的显示模式之间切换显示模式。可以设置的显示模式不限于天球图像形式和缩放观看形式，而是可以是其它显示形式的显示模式。

图4是描绘数字照相机100的一般处理的示例的流程图。该处理通过系统控制单元50在系统存储器52中展开非易失性存储器56中所记录的程序并执行该程序来实现。当数字照相机100的电源接通时，图4中的处理开始。

在s401中，系统控制单元50判断是否通知了显示控制设备200的显示形式(显示模式)的改变。如果通知了，则处理进入s402，否则处理进入s403。在s402中，系统控制单元50将表示所通知的显示形式(改变之后的显示形式；当前显示形式)的形式信息存储到系统存储器52(更新系统存储器52中所存储的形式信息)。s401中的处理也是用于判断是否接收(获取)到形式信息的处理。在本实施例中，经由通信单元54从显示控制设备200获取形式信息。

在s403中，系统控制单元50判断是否通知了显示控制设备200的显示范围(在远程实时取景显示中显示的拍摄图像的范围)的改变。如果通知了，则处理进入s404，否则处理进入s405。在s404中，系统控制单元50将与所通知的显示范围(改变之后的显示范围；当前显示范围)有关的范围信息存储在系统存储器52中(更新系统存储器52中所存储的范围信息)。范围信息表示在对所拍摄的vr图像(等距圆柱投影)进行3d映射时的视点方向和视场角(视角)。范围信息可以是表示显示范围的其它信息。在s403中的处理也是用于判断是否接收(获取)到范围信息的处理。在本实施例中，经由通信单元54从显示控制设备200获取范围信息。

在s405中，系统控制单元50判断是否从用户接收到摄像指示(摄像操作)。如果接收到摄像指示，则处理进入s406，否则处理进入s411。在s406中，系统控制单元50将所拍摄的vr图像(等距圆柱投影)的文件记录在记录介质150中。

在s407中，系统控制单元50基于系统存储器52中存储的形式信息来判断显示控制设备200的显示形式是否是用于显示所拍摄的vr图像的部分范围的形式(缩放观看形式)。如果显示形式是缩放观看形式，则处理进入s409，否则(如果是天球图像形式)，处理进入s408。

在s408中，系统控制单元50基于所拍摄的vr图像来将缩略图图像记录(生成和记录)在s406中所记录的文件中。具体而言，将缩略图(例如，表示所拍摄的整个vr图像(等距圆柱投影)的图像(通过减少vr图像生成的图像))记录在文件中。

在s409中，系统控制单元50对所拍摄的vr图像(等距圆柱投影)进行3d映射，并根据系统存储器52中存储的范围信息(视点的方向和视场角(视角))从vr图像中裁剪显示范围。在s410中，系统控制单元50基于在s409中裁剪的图像(显示范围)来将缩略图图像记录(生成和记录)在s406中所记录的文件中。具体而言，系统控制单元50将表示显示范围的缩略图图像(例如，通过减少显示范围中的图像而生成的图像)记录在文件中。

在s411中，系统控制单元50判断用户是否指示了停止数字照相机100(进行了停止操作)。如果用户指示了停止数字照相机100，则系统控制单元50通过进行各种类型的处理来停止数字照相机100(关断数字照相机100的电源)。然后，图4中的整个处理结束。在其它情况下，处理进入s412。

在s412中，系统控制单元50使用摄像单元22a获取(拍摄)前方图像。在s413中，系统控制单元50使用摄像单元22b获取(拍摄)后方图像。在s414中，系统控制单元50使用图像处理单元24将在s412和s413中获取的两个图像进行合成，以生成单个vr图像(等距圆柱投影)。在s415中，系统控制单元50经由通信单元54将在s414中生成的vr图像(等距圆柱投影)发送到显示控制设备200。

图5是描绘由显示控制设备200进行的远程实时取景处理的示例的流程图。该处理通过cpu201在存储器202中展开非易失性存储器203中所记录的程序并执行该程序来实现。当显示控制设备200的电源接通并且显示控制设备200被设置为用以进行数字照相机100所拍摄的vr图像的远程实时取景显示的显示模式时，图5中的处理开始。

在s501中，cpu201判断是否从数字照相机100(摄像设备)接收到所拍摄的vr图像(等距圆柱投影)。如果接收到vr图像，则处理进入s509，否则处理进入s502。在本实施例中，经由通信i/f210从数字照相机100接收vr图像。

在s502中，cpu201判断用户是否指示了形式改变(用以改变显示形式的指示：形式改变操作)。如果指示了形式改变，则处理进入s503，否则处理进入s506。

在s503中，cpu201判断当前显示形式是否为天球图像形式。如果当前显示形式是天球图像形式，则处理进入s504，否则处理进入s505。

在s504中，cpu201将表示缩放观看形式的形式信息存储在存储器202中，以将显示形式切换为缩放观看形式(更新存储器202中所存储的形式信息)。此外，cpu201经由通信i/f210将表示缩放观看形式的形式信息发送到数字照相机100，以向数字照相机100通知显示形式已改变为缩放观看形式。

在s505中，cpu201将表示天球图像形式的形式信息存储在存储器202中，以将显示形式切换为天球图像形式(更新存储器202中所存储的形式信息)。此外，cpu201经由通信i/f210将表示天球图像形式的形式信息发送到数字照相机100，以向数字照相机100通知显示形式已改变为天球图像形式。

在s506中，cpu201判断用户是否指示了范围改变(改变显示范围的指示：范围改变操作)。如果指示了范围改变，则处理进入s507，否则处理进入s501。在s507中，cpu201判断当前显示形式是否是缩放观看形式。如果当前显示形式是缩放观看形式，则处理进入s508，否则处理进入s501。在s508中，cpu201将与改变之后的显示范围有关的范围信息存储在存储器202中，以更新显示范围(更新存储器202中所存储的范围信息)。此外，cpu201经由通信i/f210将表示当前显示范围的范围信息发送到数字照相机100，以向数字照相机100通知显示范围已改变。

在s509中，cpu201判断当前显示形式是否为天球图像形式。如果当前显示形式是天球图像形式，则处理进入s510，否则处理进入s511。

在s510中，cpu201将从数字照相机100接收到的vr图像(等距圆柱投影)作为远程实时取景图像显示在显示器205上(更新在显示器205上显示的图像)。

在s511中，cpu201从存储器202中读取范围信息(视点的方向和视场角(视角))。在s512中，cpu201对从数字照相机100接收到的vr图像(等距圆柱投影)进行3d映射，并根据在s511中读取的范围信息从vr图像裁剪显示范围。在s513中，cpu201将在s512中裁剪的显示范围内的图像作为远程实时取景图像显示在显示器205上(更新在显示器205上显示的图像)。

如上所述，根据本实施例，在将所拍摄的vr图像的部分范围作为实时取景图像显示在显示器上的情况下，将与实时取景图像的范围相对应的缩略图图像记录在文件中。因此，当在个人计算机(pc)等上接收到所拍摄(记录)的vr图像时，如图6所示，用户在摄像期间正在检查的范围内的图像被显示为vr图像的文件的缩略图图像。由此，缩略图图像的印象与在摄像期间的远程实时取景显示的显示范围的印象一致，因此用户仅通过观看缩略图图像就可以容易地识别在各文件中拍摄了vr图像的哪个场景。

描述了拍摄图像是vr图像的情况下的示例，但是即使拍摄除了vr图像之外的图像，也可以通过同样的处理来实现同样的效果。此外，描述了进行远程实时取景显示的示例，但是可以在根据本实施例的电子设备(数字照相机100)中设置能够执行实时取景显示的显示器。

此外，描述了将形式信息和范围信息从显示控制设备200发送到数字照相机100并且基于该信息生成缩略图图像的情况的示例，但本发明的实施例不限于此。例如，数字照相机100可以将摄像定时通知至显示控制设备200，并且显示控制设备200可以将所显示的远程实时取景图像发送到数字照相机100。然后，数字照相机100可以基于所接收到的远程实时取景图像来记录缩略图图像。图7和图8是描绘这样的处理的示例的流程图。

图7是描绘数字照相机100的一般处理的示例的流程图。该处理通过系统控制单元50在系统存储器52中展开非易失性存储器56中所记录的程序并执行该程序来实现。当数字照相机100的电源接通时，图7中的处理开始。

在s701中，系统控制单元50判断是否从用户接收到摄像指示。如果接收到摄像指示，则处理进入s702，否则处理进入s704。在s702中，系统控制单元50将所拍摄的vr图像(等距圆柱投影)的文件记录在记录介质150中。在s703中，系统控制单元50经由通信单元54请求显示控制设备200发送远程实时取景图像。

在s704中，系统控制单元50判断是否从显示控制设备200接收到远程实时取景图像。如果接收到远程实时取景图像，则处理进入s705，否则处理进入s706。在本实施例中，经由通信单元54从显示控制设备200接收远程实时取景图像。在s705中，系统控制单元50基于从显示控制设备200接收到的远程实时取景图像将缩略图图像记录(生成和记录)在s702中所记录的文件中。具体而言，在文件中记录表示所接收到的远程实时取景图像的缩略图图像(例如，通过减少远程实时取景图像而生成的图像)。

在s706中，系统控制单元50判断用户是否指示了停止数字照相机100。如果用户指示了停止数字照相机100，则系统控制单元50通过进行各种类型的处理来停止数字照相机100。然后，图7中的整个处理结束。在其它情况下，处理进入s707。

在s707中，系统控制单元50使用摄像单元22a获取(拍摄)前方图像。在s708中，系统控制单元50使用摄像单元22b获取(拍摄)后方图像。在s709中，系统控制单元50使用图像处理单元24将在s707和s708中获取的两个图像进行合成，以生成单个vr图像(等距圆柱投影)。在s710中，系统控制单元50经由通信单元54将在s709中生成的vr图像(等距圆柱投影)发送到显示控制设备200。

图8是描绘由显示控制设备200进行的远程实时取景处理的示例的流程图。该处理通过cpu201在存储器202中展开非易失性存储器203中所记录的程序并执行该程序来实现。当显示控制设备200的电源接通并且显示控制设备200被设置为进行数字照相机100所拍摄的vr图像的远程实时取景显示的显示模式时，图8中的处理开始。

在s801中，cpu201判断是否从数字照相机100(摄像设备)接收到所拍摄的vr图像(等距圆柱投影)。如果接收到vr图像，则处理进入s809，否则处理进入s802。

在s802中，cpu201判断用户是否指示了形式改变。如果指示了形式改变，则处理进入s803，否则处理进入s806。

在s803中，cpu201判断当前显示形式是否为天球图像形式。如果当前显示形式是天球图像形式，则处理进入s804，否则处理进入s805。在s804中，cpu201将表示缩放观看形式的形式信息存储在存储器202中，以将显示形式切换为缩放观看形式(更新存储器202中所存储的形式信息)。在s805中，cpu201将表示天球图像形式的形式信息存储在存储器202中，以将显示形式切换为天球图像形式(更新存储器202中所存储的形式信息)。

在s806中，cpu201判断用户是否指示了范围改变。如果指示了范围改变，则处理进入s807，否则处理进入s814。

在s807中，cpu201判断当前显示形式是否为缩放观看形式。如果当前显示形式是缩放观看形式，则处理进入s808，否则处理进入s801。在s808中，cpu201将与改变之后的显示范围有关的范围信息存储在存储器202中，以更新显示范围(更新存储器202中所存储的范围信息)。

在s809中，cpu201判断当前显示形式是否为天球图像形式。如果当前显示形式是天球图像形式，则处理进入s810，否则处理进入s811。

在s810中，cpu201将从数字照相机100接收到的vr图像(等距圆柱投影)作为远程实时取景图像显示在显示器205上(更新在显示器205上显示的图像)。此外，cpu201将当前远程实时取景图像存储在存储器202中(更新存储器202中所存储的远程实时取景图像)。

在s811中，cpu201从存储器202中读取范围信息(视点的方向和视场角(视角))。在s812中，cpu201对从数字照相机100接收到的vr图像(等距圆柱投影)进行3d映射，并根据s811中读取的范围信息从vr图像裁剪显示范围。在s813中，cpu201将在s812中裁剪的显示范围内的图像作为远程实时取景图像显示在显示器205上(更新在显示器205上显示的图像)。此外，cpu201将当前远程实时取景图像存储在存储器202中(更新存储器202中所存储的远程实时取景图像)。

在s814中，cpu201判断数字照相机100是否经由通信i/f210请求了远程实时取景图像的发送。如果请求了发送，则处理进入s815，否则处理进入s801。在s815中，cpu201从存储器中读取远程实时取景图像，并经由通信i/f210将远程实时取景图像发送到数字照相机100。

系统控制单元50可以响应于来自用户的记录开始指示(摄像指示)开始记录所拍摄(获取)的运动图像的文件，并且响应于来自用户的记录停止指示而停止记录文件。在这种情况下，系统控制单元50将与文件正在被记录的实时取景图像的范围相对应的缩略图图像记录在文件中。由于文件正在被记录的实时取景图像更有可能保留为用户的印象，因此用户通过仅观看缩略图图像就可以容易地识别在各文件中拍摄了运动图像的哪个场景。特别地，在接收到记录开始指示或记录停止指示的定时的实时取景图像更有可能保留为用户的印象，因此优选地，在文件中记录与这样的定时的实时取景图像的范围相对应的缩略图图像。

描述了基于文件中的远程实时取景图像来记录缩略图图像的示例，但是可以将与远程实时取景图像的范围有关的范围信息作为与再现文件时首先显示的范围有关的初始再现信息记录在文件中。然后，开始再现时的显示范围的印象与摄像期间的远程实时取景显示的显示范围的印象一致，并且用户可以容易地识别在再现文件中拍摄了vr图像的哪个场景。图9和图10是描绘这样的处理的示例的流程图。

图9是描绘数字照相机100的一般处理的示例的流程图。该处理通过系统控制单元50在系统存储器52中展开非易失性存储器56中记录的程序并执行该程序来实现。当数字照相机100的电源接通时，图9中的处理开始。

在s901中，系统控制单元50判断是否通知了显示控制设备200的显示形式的改变。如果通知了，则处理进入s902，否则处理进入s903。在s902中，系统控制单元50将表示所通知的显示形式(改变之后的显示形式；当前显示形式)的形式信息存储到系统存储器52(更新系统存储器52中所存储的形式信息)。

在s903中，系统控制单元50判断是否通知了显示控制设备200的显示范围的改变。如果通知了，处理进入s904，否则处理进入s905。在s904中，系统控制单元50将与所通知的显示范围(改变之后的显示范围；当前显示范围)有关的范围信息(视点的方向和视场角(视角))存储在系统存储器52中(更新系统存储器52中所存储的范围信息)。

在s905中，系统控制单元50判断是否从用户接收到摄像指示。如果接收到摄像指示，则处理进入s906，否则处理进入s910。在s906中，系统控制单元50将所拍摄的vr图像(等距圆柱投影)的文件记录在记录介质150中。

在s907中，系统控制单元50基于系统存储器52中所存储的形式信息判断显示控制设备200的显示形式是否为缩放观看形式。如果显示形式是缩放观看形式，则处理进入s909，否则处理进入s908。在s908中，系统控制单元50将所拍摄的vr图像中的与数字照相机100的预定方向(例如，前方方向)上的摄像范围有关的初始再现信息(视点的方向和视场角(视角))记录在s906中所记录的文件中。在s909中，系统控制单元50将系统存储器52中所存储的范围信息(视点的方向和视场角(视角))作为初始再现信息记录在s906中所记录的文件中。

在s910中，系统控制单元50判断用户是否指示了停止数字照相机100。如果用户指示了停止数字照相机100，则系统控制单元50通过进行各种类型的处理来停止数字照相机100。然后，图9中的整个处理结束。在其它情况下，处理进入s911。

在s911中，系统控制单元50使用摄像单元22a获取(拍摄)前方图像。在s912中，系统控制单元50使用摄像单元22b获取(拍摄)后方图像。在s913中，系统控制单元50使用图像处理单元24将在s911和s912中获取的两个图像进行合成，以生成单个vr图像(等距圆柱投影)。在s914中，系统控制单元50经由通信单元54将在s913中生成的vr图像(等距圆柱投影)发送到显示控制设备200。

图10是描绘由显示控制设备200进行的再现处理(再现文件的处理)的示例的流程图。该处理通过cpu201在存储器202中展开非易失性存储器203中所记录的程序并执行该程序来实现。当显示控制设备200的电源接通并且用户指示再现记录介质208中存储的文件时，图10中的处理开始。

在s1001中，cpu201从再现对象文件中获取初始再现信息(视点的方向和视场角(视角))。在s1002中，cpu201在显示器205上显示再现对象文件中记录的vr图像中的、与在s1001中获取的初始再现信息相对应的显示范围。如果拍摄图像时的显示形式为天球图像形式，则以天球图像形式显示vr图像。如果拍摄图像时的显示形式是缩放观看形式，则裁剪并显示vr图像的部分范围，使得显示在拍摄图像时的远程实时取景显示中显示的显示范围。

假定由上述系统控制单元50和cpu201进行的各种控制可以由一个硬件组件进行，或者由多个硬件组件(例如，多个处理器或电路)分担以控制整个设备。以同样的方式，假定由上述cpu201进行的各种控制可以由一个硬件组件进行，或者由多个硬件组件(例如，多个处理器或电路)分担以控制整个设备。

虽然已参考优选实施例描述了本发明，但本发明的实施例不限于这些具体实施例，并且在不背离本发明的实质的范围内包括各种模式。上述实施例各自仅是本发明的示例，并且可以根据需要进行组合。

在上述实施例所描述的示例中，本发明应用于数字照相机，但本发明的实施例不限于该示例，并且可以应用于能够记录拍摄图像的文件的任何电子设备。例如，本发明可应用于个人计算机、pda、便携式电话终端、便携式图像观看器、打印机、数字相框、音乐播放器、游戏机、电子书阅读器和视频播放器。本发明还可应用于智能电话、电视、投影仪、平板终端、ai扬声器、家用电子装置、车载单元和医疗设备。

根据本发明，用户可以容易地识别在文件中拍摄了图像文件的哪个场景。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。