图像处理设备、图像处理方法和程序与流程

本申请是申请日为2011年2月3日、申请号为201180012510.5、发明名称为“图像处理设备、图像处理方法和程序”的专利申请的分案申请。

本发明涉及图像处理设备，更具体地，涉及用于显示图像的图像处理设备和图像处理方法以及使得计算机执行该方法的程序。

背景技术：

近年来，已经使用用于成像被摄体(如人或动物)以生成图像数据并记录该图像数据作为图像内容的成像设备(如数字照相机或数字摄像机(例如集成相机的记录仪))。此外，已经提出这样的成像设备，其能够根据用户的偏好确定多个这样记录的图像内容作为一组，并且以确定的组为单元执行内容管理(例如，以拍摄日期为单元的管理)。例如，可以通过确定相互关联的多个图像内容为一组执行内容管理。

已经提出用于显示这样记录的图像内容的多种再现装置。例如，存在用于通过使用操纵部件的用户操纵执行图像前进并顺序地显示多个图像的再现装置。此外，存在用户改变再现装置的姿态以改变显示单元的显示内容的再现装置。

例如，已经提出这样的信息处理设备，其用于获得主体的移动量或旋转量，并且例如根据该量指令滚动显示单元的显示内容(例如，见专利文献1)。

引用列表

专利文献

ptl1：日本专利申请公开no.h06-4208(图3)

技术实现要素：

根据上述现有技术，可以通过改变设备的姿态改变显示单元的显示内容，使得在用户握持设备的状态下，用户可能容易地执行改变操纵。

这里，在例如以组为单元执行内容管理时显示期望的图像内容的情况下，例如，假设执行期望的图像内容所属的组的选择以及属于该组的图像内容的顺序显示。然而，根据属于每个组的图像内容的类型，假设图像显示切换和用于执行显示切换的设备的姿态的改变相互不对应。在该情况下，当显示属于相同组的相互关联的多个图像时，假设不容易观看每个图像。

鉴于以上，期望在显示相互关联的多个图像时显示容易观看的每个图像。

解决问题的技术方案

根据本发明的一个方面，一种图像处理设备可以包括控制单元，该控制单元可操作来在第一模式中控制在显示屏幕上显示图像组的代表性图像，并且在第二模式中控制在显示屏幕上显示对应于设备的姿态的图像组的图像。此外，该控制单元可以可操作来在第一模式和第二模式中的操作之间切换。

根据本发明的另一方面，一种图像处理方法可以包括：在第一模式中，控制在显示屏幕上显示图像组的代表性图像，以及在第二模式中，控制在显示屏幕上显示对应于设备的姿态的图像组的图像。该方法还可以包括在第一模式和第二模式之间切换。

根据本发明的另一方面，一种非暂时记录介质可以记录计算机可执行的、用于允许计算机执行图像处理的计算机可读程序。该程序可以包括以下步骤：在第一模式中，控制在显示屏幕上显示图像组的代表性图像，以及在第二模式中，控制在显示屏幕上显示对应于设备的姿态的图像组的图像。该程序还可以包括在第一模式和第二模式之间切换的步骤。

根据本发明的另一方面，一种用于控制显示图像的图像处理设备的方法，该方法包括：

指导用户如何操纵以在组图像显示模式中在显示屏幕上显示图像组中的每个图像；

在组图像显示模式和代表性图像显示模式之间切换；

在组图像显示模式中，根据图像处理设备的姿态的改变控制显示屏幕上该图像组中每个图像的显示；以及

在代表性图像显示模式中，不根据该姿态的变化控制显示屏幕上每个代表性图像的显示。

根据本发明的另一方面，一种图像处理设备包括：

显示器；以及

电路，其配置成：

在第一显示模式和第二显示模式之间切换，在第一显示模式中在显示器上显示多个代表性图像的一个，在第二显示模式中在显示器上显示从不同视图中选择的视图，所有该不同视图对应于从多个代表性图像中选择的单个代表性图像；

在第二显示模式中，根据图像处理设备的姿态的改变控制以改变显示器上的视图；以及

在第一显示模式中，不根据该姿态的改变控制以改变显示器上显示的每个代表性图像。

根据本发明的另一方面，一种用于控制具有显示屏幕的图像处理设备的方法，该方法包括：

在第一显示模式和第二显示模式之间切换，在第一显示模式中在显示屏幕上显示多个代表性图像的一个，在第二显示模式中在显示屏幕上显示从不同视图中选择的视图，所有该不同视图对应于从多个代表性图像中选择的单个代表性图像；

在第二显示模式中，根据图像处理设备的姿态的改变控制以改变显示屏幕上的视图；以及

在第一显示模式中，不根据该姿态的改变控制以改变显示屏幕上显示的每个代表性图像。

附图说明

图1a示出本发明第一实施例中的成像设备100的外观配置示例。

图1b示出本发明第一实施例中的成像设备100的外观配置示例。

图2a示出本发明第一实施例中当使用成像设备100时的一个姿态示例。

图2b示出本发明第一实施例中当使用成像设备100时的一个姿态示例。

图2c示出本发明第一实施例中当使用成像设备100时的一个姿态示例。

图3是示出本发明第一实施例中的成像设备100的功能配置示例的框图。

图4示意性示出本发明第一实施例中的图像管理信息存储单元210的存储内容。

图5示意性示出本发明第一实施例中的输入/输出面板101上的图像显示转换示例。

图6示意性示出本发明第一实施例中的输入/输出面板101上的图像显示转换示例。

图7a示出本发明第一实施例中的输入/输出面板101上显示的图像和成像设备100的姿态之间的关系。

图7b示出本发明第一实施例中的输入/输出面板101上显示的图像和成像设备100的姿态之间的关系。

图7c示出本发明第一实施例中的输入/输出面板101上显示的图像和成像设备100的姿态之间的关系。

图8a示意性示出本发明第一实施例的输入/输出面板101中显示转换和成像设备100的姿态之间的关系。

图8b示意性示出本发明第一实施例的输入/输出面板101中显示转换和成像设备100的姿态之间的关系。

图9a示意性示出本发明第一实施例的输入/输出面板101中显示转换和成像设备100的姿态之间的关系。

图9b示意性示出本发明第一实施例的输入/输出面板101中显示转换和成像设备100的姿态之间的关系。

图10a示出本发明第一实施例中的输入/输出面板101中的显示转换示例。

图10b示出本发明第一实施例中的输入/输出面板101中的显示转换示例。

图11a示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图11b示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图11c示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图11d示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图12a示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图12b示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图12c示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图13a示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图13b示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图13c示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。

图14是示出根据本发明第一实施例的成像设备100中的图像内容再现处理的处理过程示例的流程图。

图15是示出根据本发明第一实施例的成像设备100中的图像内容再现处理的处理过程示例的流程图。

图16示意性示出根据本发明第二实施例的组图像再现单元160中的交织处理的流程。

图17是示出根据本发明第二实施例的成像设备100中的图像内容再现处理的处理过程示例的流程图。

具体实施方式

以下，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同参考标号表示，并且省略这些结构元件的重复说明。

将按照以下顺序给出描述。

1.第一实施例(显示控制：在组图像显示模式中显示属于对应于在代表性图像显示模式中指定的代表性图像的组的图像的示例)

2.第二实施例(显示控制：在组图像显示模式中要显示的图像经历交织处理的示例)

1.第一实施例

(成像设备的外观配置示例)

图1a和1b示出本发明第一实施例中的成像设备100的外观配置示例。图1a是示出成像设备100的显示表面侧的外观的透视图。图1b是示出成像设备100的显示表面侧的外观的侧视图。成像设备100例如由能够成像被摄体以生成图像数据、记录图像数据作为图像内容、并显示图像内容的数字照相机或数字摄像机(例如，集成相机的记录仪)实现。

成像设备100包括输入/输出面板101和快门按钮102。成像设备100是用户能够携带的图像处理设备，并且用户能够观看输入/输出面板101上显示的图像。成像设备100是权利要求中定义的图像处理设备的一个示例。

输入/输出面板101显示各种图像，并且通过检测输入/输出面板101上的接触操纵接收来自用户的操纵输入。快门按钮102是当将成像被摄体生成的图像数据(成像的图像)记录为图像内容(静态图像文件)时拍摄者按压的按钮。

成像设备100包括其他操纵部件，如电源开关和模式切换开关、镜头单元等，但是为了说明方便，这里将不示出和描述这样的操纵部件。这里，镜头单元(未示出)是包括用于聚焦来自被摄体的光的多个透镜、光圈等的光学系统。

这里，将描述成像设备100的姿态的改变。例如，用户可以在用户用手握持成像设备100的状态下，关于三个正交轴改变旋转角(即，偏航角、俯仰角和滚动角)。例如，用户可以在箭头302指示的方向上(偏航角)改变成像设备100的姿态，其轴是箭头300(或箭头301)。改变示例在图2b中示出。对于另一示例，用户可以在箭头305指示的方向上(俯仰角)改变成像设备100的姿态，其轴是箭头303(或箭头304)。对于另一示例，用户可以在箭头308指示的方向上(滚动角)改变成像设备100的姿态，其轴是箭头306(或箭头307)。

此外，例如用户可以在用户用手握持成像设备100的状态下，通过沿着平面上的直线移动(滑动)成像设备100来改变成像设备100的姿态。例如，用户可以通过在箭头300或箭头301指示的方向上移动成像设备100(图1b中垂直方向上的移动)来改变姿态。对于另一示例，用户可以通过在箭头303或304指示的方向上移动成像设备100(图1b中水平方向上的移动)来改变姿态。该改变示例在图2c中示出。此外，例如用户可以通过在箭头306或307指示的方向上移动成像设备100来改变姿态。

(成像设备的使用示例)

图2a到2c示出在本发明第一实施例中使用成像设备100时的姿态的一个示例。在图2a中，示出当使用成像设备100执行图像内容再现时的成像设备100的姿态的一个示例。当人310使用成像设备100执行图像内容再现时，人310可以在例如人310用双手握持成像设备100的状态下观看在输入/输出面板101上显示的图像，如图2a所示。

在图2b和2c中，示出了改变成像设备100的姿态的转换示例。在图2b中，示出了关于图1a中所示的箭头300(301)，在箭头302指示的方向上旋转成像设备100以改变姿态时的转换示例。

在图2c中，示出了在图1a中所示的箭头303和304指示的方向上移动成像设备100以改变姿态时的转换示例。在本发明第一实施例中，示出了这样的示例，其中通过如此改变成像设备100的姿态，顺序地改变输入/输出面板101上显示的图像。也就是说，示出了这样的示例，其中通过用户的手势操纵，顺序地改变输入/输出面板101上显示的图像。下面将参考图7a到13c详细描述图像显示状态的这样的改变。

(成像设备的功能配置示例)

图3是本发明第一实施例中的成像设备100的功能配置示例的框图。成像设备100包括输入/输出单元110、姿态检测单元120、分析单元130、控制单元140、代表性图像再现单元150、组图像再现单元160、表现存储器170、图像内容存储单元200、和图像管理信息存储单元210。

图像内容存储单元200存储成像单元(未示出)生成的图像数据(成像的图像)作为图像文件(图像内容(静态图像内容或运动图像内容))。图像内容存储单元200将存储的图像内容提供给代表性图像再现单元150或组图像再现单元160。在本发明第一实施例中，示出了使用静态图像内容作为图像内容的示例。

图像管理信息存储单元210存储关于图像内容存储单元200中存储的图像内容的管理信息(图像管理信息)。使用图像管理信息，执行代表性图像显示模式和组图像显示模式中的再现。这里，代表性图像显示模式是这样的模式，其中根据用户操纵，顺序地显示图像内容存储单元200中存储的图像内容中的分组的图像内容的代表性图像和未分组的图像内容的图像。组图像显示模式是这样的模式，其中根据成像设备100的姿态的改变，顺序地显示图像内容存储单元200中存储的图像内容中的每个分组的图像内容的图像。图像内容存储单元200和图像管理信息存储单元210例如可以是一个或多个可移除记录介质(如盘、如数字多功能盘(dvd)或半导体存储器(如存储卡))。记录介质可以嵌入成像设备100中，或者可拆卸地提供在成像设备100中。

输入/输出单元110包括显示单元111和操纵接收单元112。显示单元111是用于显示从代表性图像再现单元150或组图像再现单元160提供的图像的显示单元。各种菜单屏幕或各种图像显示在显示单元111上。显示单元111例如可以是液晶显示器(lcd)或有机电致发光(el)面板。

操纵接收单元112是用于接收用户的操纵内容的操纵接收单元，并且将取决于接收的操纵内容的操纵信号提供给控制单元140。操纵接收单元112对应于例如操纵部件(如图1a和1b中所示的快门按钮102)或触摸面板。例如，触摸面板叠加在显示单元111上以透射显示单元111的屏幕，并且通过检测接触显示表面的对象接收来自用户的操纵输入。也就是说，当用户例如通过用他的/她的手指接触输入/输出单元110中的显示表面来按压期望的位置时，触摸面板检测按压的位置的坐标，并且输出对应于检测的坐标的操纵信号到控制单元140。当控制单元140获取操纵信号时，控制单元140基于获取的操纵信号执行预定处理。操纵接收单元112例如可以是用于使用专用感测设备将显示表面上的接触转换为电信号并将转换的电信号输出到控制单元140的触摸面板。此外，操纵接收单元112例如可以是能够检测接近或接触显示表面的对象(例如用户的手指)的光学传感器型的触摸面板。输入/输出单元110对应于操纵部件，如图1a和1b中示出的快门按钮102或输入/输出面板101。

姿态检测单元120通过检测成像设备100的加速度、移动、倾斜等，检测成像设备100的姿态的改变，并且将关于检测的姿态的改变的姿态改变信息输出到分析单元130。例如，姿态检测单元120检测成像设备100的移动方向和特定方向上的移动量作为成像设备100的姿态改变。姿态检测单元120可以通过陀螺仪传感器(角速度传感器)或加速度传感器实现。姿态检测单元120是权利要求中定义的检测单元的示例。

分析单元130基于从姿态检测单元120输出的姿态改变信息，分析成像设备100的姿态的改变量(例如，移动方向和移动量)，并且确定显示单元111上显示的图像是否应当切换(图像前进或图像返回)。分析单元130将确定结果(图像显示切换指令)输出到组图像再现单元160。具体地，当设置组图像显示模式时，控制单元140输出分析指令和分析参考信息(用于关于是否应当切换图像的确定的确定参考信息(例如图4中所示的操纵方法215))给分析单元130。此外，当输出分析指令时的成像设备100的姿态的位置用作参考位置，并且根据分析参考信息，分析单元130确定是否应当基于从姿态检测单元120输出的姿态改变信息切换图像。分析单元130将确定结果输出到组图像再现单元160。例如，分析单元130基于从姿态检测单元120输出的姿态改变信息，确定成像设备100的姿态是否改变超过特定量。随后，当成像设备100的姿态改变超过特定量时，分析单元130根据分析参考信息确定改变是否对应于操纵方法(图4中示出的操纵方法215)。随后，当改变对应于操纵方法时，分析单元130基于改变量输出图像显示切换指令(图像前进或图像返回指令)到组图像再现单元160。将参考图7a到7c详细描述关于是否应当切换图像的确定。

控制单元140基于来自操纵接收单元112的操纵内容控制成像设备100的每个单元。例如，控制单元140在操纵接收单元112接收代表性图像显示模式设置操纵时设置代表性图像显示模式，并且当操纵接收单元112接收组图像显示模式设置操纵时设置组图像显示模式。

此外，当接收组图像显示模式设置操纵时，控制单元140控制在显示单元111上顺序地显示对应于在设置操纵时在显示单元111上显示的代表性图像的组中的图像。当设置组图像显示模式时，控制单元140基于姿态检测单元120检测的姿态改变和组中图像之间的相互关系，控制在显示单元111上顺序地显示组中的图像。这里，组中图像之间的相互关系例如指在通过成像设备100成像时图像之间的相互关系。例如，如图7a所示，通过改变目标被摄体(例如人的脸)的视图生成的多个图像是多视图图像的指示被获得作为相互关系。在该情况下，如图7b所示，可以通过水平旋转成像设备100顺序地显示组中的图像。例如，如图11d所示，通过根据目标被摄体(例如人)的移动来移动成像设备100生成的多个图像是移动目标被摄体的操作状态图像的指示被获得作为相互关系。在该情况下，如图11c所示，可以通过水平地旋转成像设备100顺序地显示组中的图像。此外，例如，如图12c所示，通过使用固定的成像设备100成像移动目标被摄体(例如飞机)产生的多个图像是水平移动图像的指示被获得作为相互关系。在该情况下，可以通过水平地移动成像设备100顺序地显示组中的图像，如图12a所示。基于相互关系获得图4中所示的操纵方法215。

当已经设置代表性图像显示模式并且接收指令在显示单元111上显示的图像的显示切换(例如图像前进和图像返回)的指令操纵时，控制单元140指令代表性图像再现单元150基于指令操纵切换图像显示。此外，当执行组图像显示模式设置操纵时，控制单元140获取与在来自组图像再现单元160的设置操纵时显示单元111上显示的代表性图像对应的组相关联的操纵方法(图4中所示的操纵方法215)。控制单元140根据获取的操纵方法将分析参考信息和分析指令输出到分析单元130。控制单元140例如由中央处理单元(cpu)实现。

代表性图像再现单元150在控制单元140的控制下，在显示单元111上显示对应于图像内容存储单元200中存储的图像内容中的代表性图像的图像内容和未分组图像内容。具体地，当已经设置代表性图像显示模式时，代表性图像再现单元150从图像内容存储单元200中获取对应于代表性图像的图像内容和未分组图像内容。随后，代表性图像再现单元150解码获取的图像内容，并且基于解码的图像内容在表现存储器170中表现(render)显示图像。代表性图像再现单元150在控制单元140的控制下，在显示单元111上顺序地显示在表现存储器170中表现的图像之一。代表性图像再现单元150在显示单元111上显示代表性图像和操纵支持信息(例如图6(a)中所示的操纵支持信息401)，该操纵支持信息支持对用于显示对应于代表性图像的组中的每个图像的组图像显示模式的操纵设置。

组图像再现单元160在控制单元140的控制下，以组为单元在显示单元111上显示图像内容存储单元200中存储的图像内容中的分组的图像内容。具体地，当设置组图像显示模式时，组图像再现单元160从图像内容存储单元200获取属于对应于在组图像显示模式设置操纵时显示的代表性图像的组的每个图像内容。随后，组图像再现单元160解码获取的图像内容，并且基于解码的图像内容在表现存储器170中表现显示图像。在该情况下，组图像再现单元160例如根据预定规则安排显示图像，并且在表现存储器170中表现图像。

当接收组图像显示模式设置操纵时，组图像再现单元160在显示单元111上显示指示与要显示的组相关联的操纵方法的操纵支持信息和该组中的各个图像，以使其相互关联。在该情况下，例如组图像再现单元160基于姿态检测单元120检测的成像设备100的姿态的改变，改变操纵支持信息的内容。也就是说，组图像再现单元160基于来自分析单元130的图像显示切换指令(图像前进或返回指令)，在显示单元111上显示来自表现存储器170中表现的图像中的一个图像。

例如，组图像再现单元160基于姿态的改变，确定是否执行对应于操纵支持信息的操纵方法，并且当执行操纵方法时，组图像再现单元160可以删除操纵支持信息。

表现存储器170是用于保持由代表性图像再现单元150或组图像再现单元160表现的图像的表现缓冲器，并且将表现的图像提供给代表性图像再现单元150或组图像再现单元160。

(图像管理信息存储单元的存储内容)

图4示意性示出本发明第一实施例中的图像管理信息存储单元210的存储内容。在图像管理信息存储单元210中存储组识别信息211、图像内容识别信息212、组存在213、代表性图像214和操纵方法215。

用于识别每个组的识别信息存储在组识别信息211中。这里，组是包括相互关联的多个图像内容的图像组，基于预定规则指定该图像内容的顺序。该组例如包括图7a和8a所示的图像411到417。在本发明第一实施例中，示出了这样的示例，其中包括多个图像内容的图像组和不在图像组中的图像内容被分配组识别信息，以识别不在图像组中的图像内容和图像组。

用于识别图像内容存储单元200中存储的每个图像内容的识别信息(图像内容识别信息)存储在图像内容识别信息212中。例如，每个图像内容的图像内容识别信息存储在图像前进或返回顺序(例如，拍摄时间(记录日期)的顺序)中。

用于识别图像内容是否分组(图像内容是否属于组)的信息存储在组存在213中。在图4所示的示例中，在分组图像内容的字段中指示“存在”，并且在未分组图像内容的字段中指示“不存在”。

用于指定多个分组的图像内容中的代表性图像的代表性图像信息存储在代表性图像214中。在图4所示的示例中，对应于代表性图像的图像内容的图像内容识别信息(图像内容识别号)显示为代表性图像信息。此外，在未分组图像内容的字段中指示“不存在”。

在已经设置组图像显示模式的情况下在顺序地显示多个分组的图像内容时的操纵方法存储在操纵方法215中。操纵方法是与成像设备100的姿态的改变有关的操纵方法。例如，“水平旋转”指通过围绕图1a和1b所示的箭头300(301)在箭头302所示的方向上旋转成像设备100以改变姿态，顺序地显示多个图像内容的操纵。此外，例如，“垂直旋转”指通过围绕图1a和1b所示的箭头303(304)在箭头305所示的方向上旋转成像设备100以改变姿态，顺序地显示多个图像内容的操纵。此外，例如，“水平移动”指通过在图1a和1b所示的箭头303和304所示的方向上移动成像设备100以改变姿态，顺序地显示多个图像内容的操纵。例如，“垂直移动”指通过在图1a和1b所示的箭头300和301所示的方向上移动成像设备100以改变姿态，顺序地显示多个图像内容的操纵。成像设备100例如能够根据图像内容生成时的成像操作方法，自动地确定操纵方法。此外，操纵方法可以通过用户的操纵根据用户的偏好来适当地确定。

组识别信息211、组存在213、代表性图像214和操纵方法215中存储的信息可以记录在图像文件(图像内容)中。例如，这样的信息可以记录为与静态图像文件有关的属性信息。图像内容中记录的信息可以在图像内容再现时使用。

(图像显示转换示例)

图5和6示意性示出本发明第一实施例中的输入/输出面板101上的图像显示转换示例。在图5(a)中，示意性示出这样的情况，其中根据预定规则(图像内容识别信息的顺序)安排图像内容存储单元200中存储的图像内容。在图5(a)所示的示例中，只示出了图像内容存储单元200中存储的图像内容中的图像内容#1到#13。此外，图像内容#1到#13对应于图4的图像内容识别信息212中指示的#1到#13。在图5中，通过具有图像内容识别信息(#1到#13)的矩形示意性示出图像内容和对应的图像。此外，通过虚线矩形以组为单元包围分组的图像内容。

在图5(b)中，示出了当已经设置代表性图像显示模式时在输入/输出面板101上显示的图像的转换。如图5(b)所示，基于用户的图像前进操纵或图像返回操纵，顺序地显示未分组图像内容(#1、#5、#6和#13)以及分组图像内容的代表性图像(#3和#9)。例如，使用成像设备100中包括的操纵部件(例如，触摸面板或外部操纵按钮(未示出))执行图像前进操纵或图像返回操纵。此外，类似于组图像显示模式的设置，例如可以根据成像设备100的姿态的改变执行图像前进操纵或图像返回操纵。

在图6(a)中，示出了这样的显示切换示例，其中基于用户的图像前进操纵或图像返回操纵，顺序地显示图5(b)中所示的图像中的图像内容#6、#9和#13。在图6中，示意性示出使用具有图像内容识别信息(#6、#8到#10和#13)的矩形指示图像内容的图像。因此，可能基于用户操纵在输入/输出面板101上显示每个图像。这里，当如图6(a)所示在输入/输出面板101上显示分组图像内容的代表性图像(例如#9)时，显示用于设置组图像显示模式的操纵支持信息401。操纵支持信息401是用于在代表性图像显示模式的设置时支持用于设置组图像显示模式的操纵的操纵按钮。也就是说，用户可以通过按压对应于操纵支持信息401的矩形区域设置组图像显示模式。例如，当在输入/输出面板101上显示分组图像内容的代表性图像(例如#3和#9)的状态下按压操纵支持信息401时，设置组图像显示模式。因此，按压操纵支持信息401的操纵变为进入组图像显示模式。在设置组图像显示模式的情况下，顺序地显示属于对应于当执行组图像显示模式设置操纵(按压操纵支持信息401的操纵)时显示的代表性图像的组的图像内容。

另一方面，当如图6(a)所示在输入/输出面板101上显示未分组图像内容(例如，#6和#13)时，不显示操纵支持信息401。相应地，将不执行按压操纵支持信息401的操纵，并且在未分组图像内容(例如#6和#13)已经显示在输入/输出面板101上的状态下，将不设置组图像显示模式。

这里，假设这样的情况，其中在已经在输入/输出面板101上显示分组图像内容的代表性图像(#9)的状态下，执行组图像显示模式设置操纵(按压操纵支持信息401的操纵)。在该情况下，组图像再现单元160从图像内容存储单元200获取属于对应于当执行组图像显示模式设置操纵时显示的代表性图像的组的图像内容。组图像再现单元160基于获取的图像内容在表现存储器170中表现每个图像。在该情况下，组图像再现单元160根据预定规则(例如，图像内容识别信息的顺序)在表现存储器170中表现每个图像。

在图5(c)中，示意性示出这样的情况，其中在表现存储器170中表现属于对应于当设置组图像显示模式时显示的代表性图像的组的图像内容。当由此执行图像内容表现处理时，组图像再现单元160在输入/输出面板101上显示事实，并且在组图像显示模式中不执行显示处理。该情况下的显示示例在图6(b)中示出。

在图6(b)中，示出了紧接在执行组图像显示模式设置操纵后执行图像内容表现处理时的显示示例。例如，叠加在当设置组图像显示模式时显示的代表性图像(#9)上的、指示图像内容表现处理的操纵支持信息402显示在输入/输出面板101上。当终止图像内容表现处理时，组图像再现单元160在输入/输出面板101上显示用于支持组图像显示模式中的图像显示切换操纵的操纵支持信息。显示示例在图6(c)中示出。

在图6(c)中，示出了在执行组图像显示模式设置操纵之后终止图像内容表现处理时的显示示例。例如，叠加在当设置组图像显示模式时显示的代表性图像(#9)上的、用于支持组图像显示模式中的图像显示切换操纵的操纵支持信息403和404显示在输入/输出面板101上。操纵支持信息403和404是用于支持用于显示输入/输出面板101上显示的组中的每个图像的操纵的操纵向导。图6(c)中示出的操纵支持信息403和404示出，在用户将成像设备100握持在他的或她的手中的状态下，可以通过用户执行围绕图1a所示的箭头300(301)旋转成像设备100的操纵执行图像前进或图像返回。在各个图中，为了容易说明，操纵支持信息显示为相对大。此外，将参考图7a到13c详细描述在设置组图像显示模式时的图像前进操纵和图像返回操纵。

这里，如图6(c)所示，将描述在设置组图像显示模式并且显示叠加在要显示的图像上的操纵支持信息403和404的状态下，用于设置代表性图像显示模式的设置操纵。当在该状态下设置代表性图像显示模式时，例如，用户执行触摸操纵以接触输入/输出面板101的显示表面。当执行触摸操纵时，模式从组图像显示模式切换为代表性图像显示模式(即，设置代表性图像显示模式)，如箭头405所示。紧接在如此设置代表性图像显示模式之后，显示在设置组图像显示模式时显示的组的代表性图像(例如，图像#9)。可以通过使用操纵部件的设置操纵以及输入/输出面板101中的触摸操纵设置代表性图像显示模式。

(在设置组图像显示模式时成像设备的姿态的改变和图像显示切换之间的关系的示例)

图7a到7c示出本发明第一实施例中的成像设备100的姿态和输入/输出面板101上显示的图像之间的关系。在图7a中，根据预定规则安排当已经设置组图像显示模式时连续显示的图像411到417。图像411到417属于相同组，并且图像414是代表性图像。此外，根据成像设备100的姿态的改变，按照图7a所示的顺序连续地显示图像411到417。

在图7b中，示出了当显示图像411到417时成像设备100的操纵范围。在该示例中，示出了这样的示例，其中通过围绕图1a和1b所示的箭头300(301)旋转成像设备100以改变姿态来前进或返回图像。在该情况下旋转角范围是(θ)。

在图7c中，示出了当对图像411到417执行图像前进或图像返回时作为参考的角度(参考角)。在该示例中，将描述这样的示例，其中当旋转角范围(θ)为60度时对七个图像(411到417)执行图像前进或图像返回。在该情况下，当执行图像前进或图像返回时的参考角(θ)1可以是10度(＝60度(旋转角(θ))/6(图像411到417的数量))。具体地，当设置组图像显示模式时，分析单元130设置成像设备100的位置作为参考位置421。当距离参考位置421的旋转角(当图1a和1b所示的箭头300(301)用作轴420时的成像设备100的旋转角)超过10度时，分析单元130输出图像显示切换指令到组图像再现单元160。当输出图像显示切换指令时，组图像再现单元160基于指令的内容执行图像前进或图像返回。

例如，紧接在设置组图像显示模式之后在输入/输出面板101上显示代表性图像(图像414)。用户改变成像设备100的姿态，使得在人310如图2a所示握持成像设备100的状态下左手侧向下。在该情况下，如果在设置组图像显示模式时距离参考位置421的旋转角超过10度(当旋转角超过旋转角范围422)时，执行图像前进。也就是说，显示图像415替代图像414。类似地，每次旋转角超过10度时(每次旋转角超过旋转角范围423和424时)，执行图像前进，并且顺序地显示图像416和417。

另一方面，人310改变成像设备100的姿态，使得在人310如图2a所示握持成像设备100的状态下右手侧向下。在该情况下，如果在设置组图像显示模式时距离参考位置421的旋转角超过10度(超过旋转角范围425)，执行图像返回。也就是说，显示图像413替代图像414。类似地，每次旋转角超过10度时(每次旋转角超过旋转角范围426和427时)，执行图像返回，并且顺序地显示图像412和411。

图8a到9b示意性示出本发明第一实施例的输入/输出面板101中的显示转换和成像设备100的姿态之间的关系。在图8a中，示出输入/输出面板101上显示的图像的转换。图8a中所示的输入/输出面板101上显示的图像411到417与图7a中所示的图像411到417相同。在图8a中，省略显示为要叠加在输入/输出面板101上显示的图像上的操纵支持信息411到417。图9a中示出操纵支持信息的显示示例。

在图8b中，示出当在图8a中所示的输入/输出面板101上显示图像时成像设备100的姿态的一个示例。在图8b所示的示例中，示出这样的转换示例，其中在设置组图像显示模式时成像设备100的姿态变为与水平平面330平行。在图8a和8b中，在左边和右边安排图8a中所示的输入/输出面板101上显示的图像和图8b所示的成像设备100的姿态，以示出它们之间的对应关系。

图9a示出在输入/输出面板101上显示的图像的转换。图9a所示的输入/输出面板101上显示的图像411、414和417与图8a中所示的图像411、414和417相同。在图9a中，省略在输入/输出面板101上显示的图像412、413、415和416。如上所述，紧接在设置组图像显示模式之后在输入/输出面板101上显示代表性图像(图像414)。在该情况下，显示叠加在图像414上的操纵支持信息403和404，如图6(c)。当在输入/输出面板101上显示图像412、413、415和416时，类似地显示叠加在每个图像上的操纵支持信息403和404。

如果在已经设置组图像显示模式时已经在输入/输出面板101上显示图像411，则将不执行进一步的图像返回。相应地，在输入/输出面板101上显示叠加在图像411上的、用于支持图像前进操纵的操纵支持信息431和432，如图9a所示。此外，如果在已经设置组图像显示模式时已经在输入/输出面板101上显示图像417，则将不执行进一步的图像前进。相应地，在输入/输出面板101上显示叠加在图像411上的、用于支持图像返回操纵的操纵支持信息433和434，如图9a所示。

当通过用户操纵将图像前进和图像返回执行特定时间(或特定次数)时，可以删除或改变(例如，减少)操纵支持信息。

在图9b中，示出了当在图9a中所示的输入/输出面板101上显示图像时成像设备100的姿态的一个示例。在图9b中，省略了图8b中所示的成像设备100的一些姿态，类似于图9a。在图9中，在左边和右边安排图9a中所示的输入/输出面板101上显示的图像和图9b所示的成像设备100的姿态，以示出它们之间的对应关系，类似于图8。

因此，通过将成像设备100倾斜到左边和右边，执行输入/输出面板101上显示的图像的图像前进或图像返回。此外，可以通过用户快速地执行操纵以将成像设备100倾斜到左边和右边，快速地执行图像前进或图像返回。

这里，图像411到417是通过从不同视图成像相同人的脸获得的图像。相应地，用户能够通过快速地执行用户操纵以将成像设备100倾斜到左边和右边并且快速地执行图像前进或图像返回，获得观看三维对象(人的脸)的感觉。也就是说，将成像设备100倾斜到左边和右边的用户操纵使得用户能够获得观看伪三维图像的感觉。

此外，在通过执行将成像设备100倾斜到左边和右边的用户操纵显示伪三维图像的示例中，其他对象以及人脸可以是被摄体。以下，示出这样的显示示例，其中显示从不同视图成像相同对象获得的图像。

图10a和10b示出本发明第一实施例中的输入/输出面板101中的显示转换示例。在图10a和10b中，示出当相同的车辆是要显示的图像时在输入/输出面板101中的显示转换示例。在图10a和10b中，省略一些图像和操纵支持信息。

在图10a和10b中，例如，通过示例方式示出旋转角范围(θ)(图7b所示)是180度的情况。在该情况下，用户可以通过执行将成像设备100倾斜到左边和右边的操纵(围绕图1a和1b中所示的箭头300(301)旋转成像设备100的操纵)，从其左侧和右侧到前方三维地观看车辆。

因此，可能通过用户的手势操纵，通过快速地前进通过从若干角度拍摄目标被摄体获得的图像组，享受伪三维图像作为印象深刻的图像。也就是说，当用户期望三维地观看对象(如人脸或车辆)时，他或她可以通过手动操纵容易地观看对象的伪三维图像。

可以通过用户操纵改变角度信息(图7c所示的旋转角范围(θ)和参考角(θ)1)，以根据用户的偏好容易地观看。此外，可以基于相邻或邻近的图像之间的关系，对于每个图像改变图像显示切换时用于确定的旋转角(参考角)。

此外，角度信息(旋转角范围和参考角)存储在图像管理信息存储单元210中以与每个组相关联，并且可以使用存储的角度信息执行组图像显示模式中的再现处理。在该情况下，例如，基于成像操作中目标被摄体(例如人脸)和成像设备100之间的位置关系，可以顺序地记录参考角。例如，当人脸是目标被摄体时，距离前方的成像位置是0度，并且距离使用人脸作为中心的成像位置0度的视角(对应于成像装置的角度)顺序地记录为参考角。

此外，可以通过对要显示的图像执行图像处理获得角度信息(旋转角范围和参考角)。例如，提取每个图像的特征量，并且比较相邻或邻近图像之间的特征量以计算特征量之间的相似度。可以基于相似度确定参考角。例如，当相似度高时，假设相邻图像之间的两个视图的角度(通过连接两个视图和被摄体(一个点)的两条线规定的角度(以该点为中心的角度))小，因此减少参考角。另一方面，当相似度低时，假设相邻图像之间的两个视图的角度大，因此增加参考角。特征量是用于计算图像之间的相似度的数据，并且例如可以基于颜色或亮度值提取。例如，当人脸包括在图像中时，用于识别构成脸的每个部分(如眼睛、鼻子、嘴或眉毛)的位置关系或形状的、指示脸图像的特征或属性的数据可以用作特征量。例如，可以执行检测每个图像中包括的脸(例如，占据图像超过特定百分比的脸(人或动物))的处理，并且当检测到脸时，可以检测每个图像中脸的方向，并且可以基于脸的方向确定参考角。作为检测图像中包括的脸的方法，例如，可以使用脸部检测方法，其使用具有记录其中的脸的亮度分布信息的模板和内容图像之间的匹配(例如，见日本专利公开no.2004-133637)。可替代地，可以使用基于图像中包括的人的脸或皮肤颜色的一部分的特征量的脸部检测方法。此外，作为脸方向检测方法，例如，可以使用通过使用脸图像中的两个点之间的亮度的差值的弱分类器检测脸属性(脸方向)的检测方法(例如，见日本专利公开no.2009-301170)。在该情况下，例如可以根据脸方向确定分数的大小确定参考角。此外，可以基于每个获得的参考角获得旋转角范围(θ)(例如，(θ)＝参考角的和)。例如，组图像再现单元160在控制单元140的控制下执行这样的角度信息的计算。

在上面的描述中，已经示出了这样的示例，其中通过执行将成像设备100在预定方向上倾斜的操纵顺序地显示多个图像并且三维地观看多个图像。这里，还假设这样的情况，其中当顺序地显示图像时，期望动态地观看多个图像中包括的目标被摄体。此外，当顺序地显示多个图像时，假设在预定方向上移动成像设备100的操作(滑动操纵)比在预定方向上倾斜成像设备100的操作更容易。以下，将描述这样的操纵方法和显示转换的一个示例。

图11a到13c示意性示出本发明第一实施例中输入/输出面板101中的显示转换示例和成像设备100的姿态之间的关系。在图11中，示出这样的示例，其中通过执行在垂直方向(围绕图1a和1b中所示的箭头303(304)由箭头305指示的方向)上倾斜成像设备100的操纵，静态图像显示如同运动图像。在图11所示的示例中，示出慢跑的人是目标被摄体的示例。

在图11a中，示出输入/输出面板101上显示的图像的显示示例。如上所述，紧接在设置组图像显示模式之后在输入/输出面板101上显示代表性图像。在该情况下，显示叠加在代表性图像上的操纵支持信息451和452，类似于图6(c)。例如，可以使用假设用户观看的状态作为参考显示操纵支持信息451和452。在图11a所示的示例中，假设用户观看输入/输出面板101，使得慢跑的人在垂直方向上。相应地，显示操纵支持信息451和452，使得成像设备100的水平方向(图1a所示的箭头303和304指示的方向)变为用户的观看方向。如图11b所示，可以显示操纵支持信息453和454，使得成像设备100的垂直方向(图1a所示的箭头300和301指示的方向)变为用户的观看方向。例如，这样的显示可以基于来自姿态检测单元120的姿态改变检测结果而改变。

在图11c中，示出当显示图11d所示的各个图像时成像设备100的操纵范围。在该示例中，示出这样的示例，其中通过围绕图1a和1b所示的箭头303(304)旋转成像设备100以改变姿态，前进或返回图像。旋转角范围在该情况下是(θ)10。

在图11d中，示出输入/输出面板101上显示的图像的转换。图11d中所示的输入/输出面板101上显示的各个图像是通过使用成像设备100连续拍摄慢跑的人获得的图像。在图11d中，省略要显示为叠加在输入/输出面板101上显示的每个图像上的操纵支持信息。

因此，可能通过用户的手势操纵，通过快速地前进通过高速拍摄生成的图像组，给用户提供如同观看原始动画的显示形式。

在图12a到12c中，示出了这样的示例，其中通过执行在水平方向(图1a和1b所示的箭头303和304指示的方向)上移动成像设备100的操纵，将飞机的起飞显示如同运动图像。

在图12a中，示出其中显示图12c所示的各个图像的成像设备100的操纵范围。在该示例中，示出这样的示例，其中通过在图1a和1b所示的箭头303和304指示的方向上移动成像设备100以改变姿态，前进或返回图像。例如，当对一个图像执行图像前进或图像返回时成像设备100的移动距离为d1。也就是说，可以通过在图1a和1b所示的箭头303和304指示的方向上将成像设备100移动距离d1，顺序地执行图像前进或图像返回。可以基于对于通过用户操纵的移动确定允许的移动距离(总距离)和要显示的图像的数量之间的关系，设置移动距离d1。例如，当总距离是d并且要显示的图像的数量是10时，移动距离d1可以等于d/10。

在图12b中，示出输入/输出面板101上显示的图像的显示示例。如上所述，紧接在设置组图像显示模式之后在输入/输出面板101上显示代表性图像。在该情况下，显示叠加在代表性图像上的操纵支持信息461和462，类似于图6(c)。在该情况下，使用假设用户观看的状态作为参考显示操纵支持信息461和462，类似于图11中所示的示例。在图12b所示的示例中，假设用户观看输入/输出面板101，使得飞机的起飞在水平方向上前进。相应地，显示操纵支持信息461和462，使得成像设备100的垂直方向(图1a所示的箭头300和301指示的方向)变为用户的观看方向。

在图12c中，示出输入/输出面板101上显示的图像的转换。图12c所示的输入/输出面板101上显示的图像是通过成像设备100连续拍摄的飞机起飞的图像。在图12c中，省略要显示为叠加在输入/输出面板101上显示的每个图像上的操纵支持信息。

在图13中，示出这样的示例，其中执行操纵以在水平方向(图1a和1b中所示的箭头303和304指示的方向)上移动成像设备100，使得高中女生显示为运动图像。

在图13a中，示出当显示图13c所示的图像时成像设备100的操纵范围。在该示例中，示出这样的示例，其中通过在图1a和1b所示的箭头303和304指示的方向上移动成像设备100以改变姿态，执行图像前进或返回。例如，当对一个图像执行图像前进或图像返回时成像设备100的移动距离为d2。也就是说，可以通过在图1a和1b所示的箭头303和304指示的方向上将成像设备100移动距离d2以改变姿态，顺序地执行图像前进或图像返回。可以类似于图12a中所示的示例计算移动距离d2。

在图13b中，示出输入/输出面板101上显示的图像的显示示例。如上所述，紧接在设置组图像显示模式之后在输入/输出面板101上显示代表性图像。在该情况下，显示叠加在代表性图像上的操纵支持信息471和472，类似于图6(c)。即使在该情况下，使用假设用户观看输入/输出面板101的状态作为参考显示操纵支持信息471和472，类似于图11中所示的示例。在图13b所示的示例中，假设在高中女生站立的状态下用户观看输入/输出面板101。相应地，显示操纵支持信息471和472，使得成像设备100的水平方向(图1a所示的箭头303和304指示的方向)变为用户的观看方向。

在图13c中，示出输入/输出面板101上显示的图像的转换。图13c所示的输入/输出面板101上显示的图像是通过成像设备100连续拍摄高中女生获得的图像。在图13c中，省略要显示为叠加在输入/输出面板101上显示的每个图像上的操纵支持信息。

可以根据用户的偏好通过用户操纵改变移动信息(总移动范围和图像显示切换时的移动距离)，以容易地观看。此外，可以基于相邻或邻近的图像之间的关系，对于每个图像改变图像显示切换时用于确定的移动距离(图像显示切换时的移动距离)。

此外，移动信息(总移动角和图像显示切换时的移动距离)存储在图像管理信息存储单元210中以与每个组相关联，并且可以使用存储的移动信息执行组图像显示模式中的再现处理。在该情况下，例如，基于成像操作中目标被摄体(例如飞机)和成像设备100之间的位置关系，可以顺序地记录图像显示切换时的移动距离。例如，当飞机是目标被摄体时，与飞机侧分隔预定距离的预定位置(成像位置)是参考，并且顺序地记录从成像位置水平移动的成像设备100的移动量。

此外，可以通过对要显示的图像执行图像处理获得移动信息(总移动范围和图像显示切换时的移动距离)。例如，提取每个图像的特征量，并且比较相邻或邻近图像之间的特征量以计算相邻图像之间的相对位移。基于相对位移，可以计算相邻图像之间的移动量和移动方向，以确定图像显示切换时的移动距离。作为计算相对位移的方法，例如可以使用图像之间的重叠区域中像素值相关的计算相对位移的计算方法。例如，可以使用lucas-kanade方法、块匹配方法等以获得相对位移。此外，基于获得的图像显示切换时的移动距离，可以获得总移动范围d(例如，d＝移动距离(图像显示切换时的移动距离)的和)。例如，组图像再现单元160在控制单元140的控制下执行这样的移动信息的计算。

可以通过对要显示的图像执行图像处理，确定与成像设备100的姿态的改变有关的操纵方法(操纵要显示的图像的方法(例如，图4所示的操纵方法250))。例如，如上所述，通过比较相邻图像之间的特征量，计算相邻图像之间的特征量的相似度和相邻图像之间的相对位移。类似地，通过比较邻近图像之间的特征量，计算邻近图像之间的特征量的相似度和邻近图像之间的相对位移。也就是说，通过比较相邻或邻近图像，检测图像之间的相关性。基于这样的相似度和相对位移，可以确定与成像设备100的姿态的改变有关的操纵方法(操纵要显示的图像的方法)。例如，当要显示的图像中包括的目标被摄体在图像中移动时，可以根据“水平移动”或“垂直移动”确定移动方向。此外，例如，当要显示的图像之间的特征量的相似度相对高时，可以根据“水平旋转”或“垂直旋转”(例如垂直方向)确定每个图像中包括的被摄体的类型。例如，组图像再现单元160可以在控制单元140的控制下执行操纵方法的确定。也就是说，组图像再现单元160是权利要求中定义的确定单元的一个示例。此外，在前面所示的示例中，已经示出这样的示例，其中通过在上、下、左和右方向的任一上滑动成像设备100或围绕这样的方向旋转成像设备100，改变输入/输出面板101中的显示状态。这里，可以通过在向前或向后方向上(图1a所示的箭头306或307)移动成像设备100或围绕这样的方向旋转成像设备100，改变输入/输出面板101中的显示状态。例如，通过将成像设备100前后移动的操纵方法，可以显示当使用成像设备100执行放大操纵或缩小操纵时的目标被摄体的成像的图像中的放大/缩小转换。

(成像设备的操作示例)

图14和15是示出根据本发明第一实施例的成像设备100中的图像内容再现处理的处理过程示例的流程图。在该示例中，示出这样的示例，其中当设置组图像显示模式后经过特定时间时，删除操纵支持信息。

首先，关于是否执行图像内容显示指令操纵进行确定(步骤s901)，并且当没有执行显示指令操纵时，继续监视。另一方面，当执行显示指令操纵时(步骤s901)，控制单元140设置代表性图像显示模式，并且代表性图像再现单元150在显示单元111上显示代表性图像和未分组图像(步骤s902)。

随后，关于是否在已经设置代表性图像显示模式的状态下执行图像前进操纵或图像返回操纵进行确定(步骤s903)。当执行图像前进操纵或图像返回操纵时(步骤s903)，代表性图像再现单元150执行显示单元111上显示的图像的显示切换(步骤s904)。也就是说，执行显示单元111上显示的图像的图像前进或图像返回。

当没有执行图像前进操纵或图像返回操纵时(步骤s903)，进行关于是否执行组图像显示模式设置操纵的确定(步骤s905)，并且当没有执行组图像显示模式设置操纵时，处理进行到步骤s916。另一方面，当执行组图像显示模式设置操纵时(步骤s905)，控制单元140设置组图像显示模式。组图像再现单元160从图像内容存储单元200获取属于对应于设置操纵时显示单元111上显示的代表性图像的组的每个图像内容、以及操纵方法(步骤s906)。

随后，组图像再现单元160解码获取的图像内容，并且基于解码的图像内容在表现存储器170中表现显示图像(步骤s907)。组图像再现单元160然后在显示单元111上显示在表现存储器170中表现的图像之一(代表性图像)(步骤s908)。

随后，进行关于设置组图像显示模式后是否已经经过特定时间的确定(步骤s909)。当设置组图像显示模式后没有经过特定时间时(步骤s909)，组图像再现单元160根据显示单元111上显示的图像在显示单元111上显示操纵支持信息(步骤s910)。另一方面，当设置组图像显示模式后已经经过特定时间时(步骤s909)，组图像再现单元160删除显示单元111上显示的操纵支持信息(步骤s911)。

随后，分析单元130基于从姿态检测单元120输出的姿态改变信息，确定成像设备100的姿态是否改变超过特定量(步骤s912)。当成像设备100的姿态改变超过特定量时(步骤s912)，分析单元130确定改变是否对应于与要显示的组相关联的操纵方法(图4所示的操纵方法215)(步骤s913)。当改变对应于与要显示的组相关联的操纵方法时(步骤s913)，分析单元130基于改变量，输出用于显示单元111上显示的图像的显示切换指令(图像前进或图像返回)到组图像再现单元160。组图像再现160基于显示切换指令对显示单元111上显示的图像执行显示切换(图像前进或图像返回)(步骤s914)，并且处理返回步骤s909。另一方面，当改变不对应于与要显示的组相关联的操纵方法时(步骤s913)，处理进行到步骤s915。

当成像设备100的姿态改变不超过特定量时(步骤s912)，进行关于是否执行代表性图像显示模式设置操纵的确定(步骤s915)，并且当执行设置操纵时，处理返回步骤s902。另一方面，当不执行代表性图像显示模式设置操纵时(步骤s915)，进行关于是否执行图像内容显示终止操纵的确定(步骤s916)，并且当执行显示终止操纵时，终止图像内容再现处理操作。当不执行图像内容显示终止操纵时(步骤s916)，进行关于是否已经设置组图像显示模式的确定(步骤s917)。当已经设置组图像显示模式时(步骤s917)，处理返回步骤s909，并且当还没有设置组图像显示模式时(即，已经设置代表性图像显示模式)，处理返回步骤s903。步骤s905到s914是权利要求中定义的控制过程的一个示例。步骤s912是权利要求中定义的检测过程的一个示例。

2.第二实施例

在本发明第一实施例中，已经示出了这样的示例，其中在组图像显示模式设置时，显示属于对应于组图像显示模式设置操纵时显示的代表性图像的组的图像。这里，假设属于组图像显示模式设置时要显示的组的图像的数量巨大。在该情况下，属于该组的所有图像可以基于用户操纵顺序地显示。然而，用户操纵范围有限，并且假设类似图像存在于相同组中。在本发明第二实施例中，示出这样的示例，其中当属于要显示的组的图像的数量超过设置组图像显示模式时的参考时，属于该组的图像经历交织处理，然后显示交织的图像。

本发明第二实施例中的成像设备的功能配置基本上与图3所示的示例相同，除了组图像再现单元160执行交织处理，然后显示交织的图像。相应地，与本发明第一实施例的那些相同的单元用相同参考标号表示，并且将部分地省略其描述。

(在设置组图像显示模式时要显示的图像的交织示例)

图16示意性示出根据本发明第二实施例的组图像再现单元160中的交织处理的流程。

在图16(a)中，示出当基于通过用户的图像前进操纵或图像返回操纵，顺序地显示图像内容存储单元200中存储的图像内容中的要在代表性图像显示模式中显示的图像时的显示转换示例。图像#56是分组的图像内容的代表性图像，并且图像#51和#63是未分组图像内容的图像。此外，除了要显示的图像不同，该显示示例与图6(a)的示例相同，相应地，在此将省略其描述。

在图16(b)中，示意性示出对属于对应于组图像显示模式设置操纵时显示的代表性图像的组的每个图像内容执行的交织处理的流程。属于对应于代表性图像(图像#56)的组#111的图像内容(#52到#62)的数量是11。

这里，假设在输入/输出面板101上显示分组的图像内容的代表性图像(#56)的状态下，执行通过用户的组图像显示模式设置操纵(按压操纵支持信息401的操纵)。在该情况下，组图像再现单元160从图像内容存储单元200获取属于对应于组图像显示模式设置操纵时显示的代表性图像的组的每个图像内容。随后，组图像再现单元160确定获取的图像内容的数量是否超过特定值。随后，当获取的图像内容的数量没有超过特定值时，组图像再现单元160基于获取的图像内容在表现存储器170中表现每个图像。另一方面，当获取的图像内容的数量超过特定值时，组图像再现单元160对获取的图像内容执行交织处理，并且基于交织的图像内容在表现存储器170中的每个图像。也就是说，当获取的图像内容的数量超过特定值时，组图像再现单元160在控制单元140的控制下，提取组图像显示模式操纵时的预定数量的图像内容。提取的图像内容是要显示的图像。在交织处理中，例如，执行交织使得获取的图像内容的数量在特定值的范围内。

这里，将描述当进行关于是否要执行交织处理的确定时使用的特定值。例如，基于可以允许用户改变成像设备100的姿态的范围和该范围内一个图像的显示切换范围之间的关系，可以确定特定值。例如，将描述这样的情况，其中成像设备100围绕图1a所示的箭头300和301向左和右旋转。例如，可以允许用户改变成像设备100的姿态的范围(当成像设备100向左和右旋转时的旋转角度)是90度，并且该范围内一个图像的显示切换角是5度。在该情况下，当执行交织处理时使用的特定值是18(＝90/5)。

此外，例如，可以基于当组图像再现单元160从图像内容存储单元200读取图像内容时的时间和用户可以允许的等待时间之间的关系，确定特定值。例如，当组图像再现单元160从图像内容存储单元200读取图像内容时的时间(每一个图像内容的时间)是100毫秒，并且用户可以允许的等待时间是3秒。在该情况下，当执行交织处理时使用的特定值是30(＝3/0.1)。

此外，例如，可以基于成像元件的视角和表现存储器170中可以展开的图像的数量确定特定值。成像元件例如是电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)。

这里，在图16(b)所示的示例中，将描述当执行交织处理时使用的特定值是6的情况。例如，属于对应于组图像显示模式设置操纵时显示的代表性图像(图像#56)的组#111的图像内容(#52到#62)的数量是11。相应地，组图像再现单元160确定从图像内容存储单元200获取的图像内容的数量(11)超过特定值(6)，并且对获取的图像内容执行交织处理。例如，如图16(b)所示，组图像再现单元160以特定间隔(每隔一个)从属于组#111的图像内容(#52到#62)交织5个图像内容。在交织处理中，例如，优选地执行交织使得代表性图像包括在交织的图像中。例如，可以基于图像内容的属性或图像之间的相关度执行交织处理。例如，当人脸包括在图像内容中时，可以执行交织处理，使得可以优选地留下具有用于脸部表达的高评估值的图像。

基于这样交织的图像内容(#52、#54、#56、#58、#60和#62)(图16(b)中的粗体边界所示)，组图像再现单元160在表现存储器170中表现每个图像。

(成像设备的操作示例)

图17是示出根据本发明第二实施例的成像设备100中的图像内容再现处理的处理过程示例的流程图。该处理过程是图14和15的变体，并且与图14和15所示的过程不同在于执行交织处理。此外，因为该处理过程在其他配置上与图14和15所示的过程相同，所以与图14和15中的那些相同的单元用相同参考标号表示，并且将省略其描述。

获取属于要在组图像显示模式中显示的组的每个图像和操纵方法(步骤s906)，然后组图像再现单元160确定获取的图像的数量是否超过参考(步骤s921)。当获取的图像的数量超过参考时(步骤s921)，组图像再现单元160执行交织处理，使得获取的图像的数量在参考范围内(步骤s922)。另一方面，当获取的图像的数量不超过参考时(步骤s921)，处理进行到步骤s907。

因此，当存在要在组图像显示模式中显示的多个图像时，通过执行交织处理使得要显示的图像的数量适当，可以容易地观看设置组图像显示模式时显示的图像。也就是说，可以在允许用户操纵成像设备100的姿态的范围内执行图像前进和返回。相应地，可以在不期望的范围内防止图像前进操纵或图像返回操纵。

当存在要在组图像显示模式中显示的多个图像时，执行交织处理以便要显示的图像的数量适当，使得组图像再现单元160不必读取所有要显示的图像。相应地，可能减少要显示的图像的读取时间和直到启动组图像显示模式中的图像再现的等待时间。

如上所述，根据本发明实施例，通过用户操纵，可以容易地执行切换代表性图像显示模式和组图像显示模式的操纵，因此使得可能容易地显示用户喜欢的每个图像。例如，可以通过仅仅按压操纵支持信息(例如，图6(a)中所示的操纵支持信息401)执行组图像显示模式设置操纵。此外，当设置组图像显示模式时，可以通过仅仅触摸显示表面执行代表性图像显示模式设置操纵。

当设置组图像显示模式时，可以根据用户的手势操纵快速地前进或返回图像组，因此允许用户享受手势操纵。

此外，当设置组图像显示模式时，根据手势操纵的操纵支持信息(操纵向导)显示为与显示图像相关联，因此导致用户的平滑的手势操纵。此外，当设置组图像显示模式时，要显示的每个图像在表现存储器170中表现，使得不必每次前进或返回图像时读取要显示的图像，并且可以根据用户手势操纵执行平滑的图像前进或图像返回。此外，当设置组图像显示模式时，可以执行根据可以通过用户操纵的范围的图像前进或图像返回，从而防止不期望区域中的图像前进或图像返回。因此，可能在用户感到舒服的操纵范围内执行图像前进和图像返回操纵。

当设置代表性图像显示模式时，可能通过只读取和显示代表性图像，实现普通再现的高速图像前进或图像返回，从而减少用户不愉快(例如，等待时间引起的不愉快)。当设置代表性图像显示模式时，不执行手势操作，因此防止不期望的用户手势操纵引起的故障。

因此，根据本发明实施例，当显示相互关联的多个图像时，每个图像可以显示为容易观看。

尽管已经通过本发明实施例的示例的方式描述了成像设备，但是本发明的实施例可以应用于能够在显示单元上显示记录介质中存储的图像内容的图像处理设备。例如，本发明实施例可以应用于诸如移动电话、导航系统和具有成像功能的便携式媒体播放器的图像处理设备。

本发明实施例图示了用于体现本发明的一个示例，并且本发明实施例中的内容和权利要求中的本发明的规定内容具有对应关系，如本发明实施例中描述的。类似地，权利要求中的本发明的规定内容和具有与规定内容相同名称的本发明实施例中的内容具有对应关系。这里，本发明不限于实施例，并且可以对实施例进行各种变化而不偏离本发明的精神和范围。

此外，本发明实施例中描述的处理过程可以当作包括一系列过程的方法或用于使得计算机执行一系列过程的程序或在其上存储该程序的记录介质。记录介质例如可以是致密盘(cd)、迷你盘(md)、数字多功能盘(dvd)、存储卡、blue-ray(蓝光)盘(注册商标)或非暂态存储介质等。

本领域技术人员应当理解，依据设计需要和其它因素，可以出现各种修正、组合、子组合和替换，只要其在权利要求或其等效的范围内即可。