信息处理装置的制作方法

1.本发明涉及信息处理装置，特别涉及对广角全景图像的缩略图显示有效的技术。


背景技术：

2.在对由数字摄像机或智能手机等带摄像机的便携信息终端等拍摄到的多个图像进行可视检索时，广泛进行使用例如信息处理装置等创建多个图像的缩略图并一览显示。
3.信息处理装置进行的缩略图的一览显示例如有时将纵3列
×
横3列共9个缩略图排列于显示画面。在该情况下，作为一个显示区域，通常假定相当于摄像机视角的长宽比为3：4或者长宽比为9：16的矩形的缩略图。
4.然而，在长宽比明显不同的广角全景图像中，在显示缩略图时，也必须在长宽比为3：4或长宽比为9：16的区域显示，在该情况下，存在成为增加缩小率的缩略图显示而难以辨识图像的问题。
5.作为提高这种缩略图图像中的视认性的技术，在图像是全景图像的情况下有时生成3d图像的缩略图，在旋转图像用3d缩略图的同时进行显示(例如参照专利文献1)。
6.作为其它技术，在选择的应显示的图像数据是全景显示的情况下，有时滚动该全景图像并在显示区域进行显示(例如参照专利文献2)，或有时将修正了畸变的切出图像与缩略图一起显示等(例如参照专利文献3)。
7.现有技术文献
8.专利文献
9.专利文献1：日本特开2012－99906号公报
10.专利文献2：日本特开2000－152168号公报
11.专利文献3：日本特开2017－118472号公报


技术实现要素：

12.发明要解决的问题
13.在上述专利文献1和专利文献2的技术中，有对在将全景图像旋转或滚动的同时进行缩略图显示的记载，但没有进行对于在广角拍摄的广角全景图像的周边部等产生的图像畸变等的考虑。
14.因此，存在如下问题：将存在畸变的广角拍摄的全景图像原样旋转或者滚动地显示，难以看到映现的内容，图像的判别变得困难。
15.另外，在专利文献3的技术中存在如下问题：仅针对特定的被拍摄体显示进行了畸变修正的缩略图，难以将广角图像整体明确地辨识至每个角落。
16.本发明的目的在于提供一种技术，能够在进行广角全景图像的缩略图显示时，通过使减轻了畸变或倾斜偏移等的缩略图图像滚动显示来提高视认性。
17.根据本说明书的记载和附图来阐明本发明的以上所述以及其它目的和新的特征。
18.用于解决问题的技术方案
19.如下对在本申请中公开的发明中具有代表性的部分的概要简单地进行说明。
20.即，具有代表性的信息处理装置具有图像修正信息生成部、控制部和显示部。图像修正信息生成部生成对由广角全景图像的任意的图像区域构成的部分图像进行修正的修正信息。控制部基于图像修正信息生成部生成的修正信息来修正部分图像。显示部显示图像。
21.而且，控制部使修正后的部分图像作为缩略图图像在显示部滚动显示。
22.特别是，图像修正信息生成部具有水平铅垂方向确定处理部和图像畸变确定处理部。水平铅垂方向确定处理部基于表示广角全景图像的水平和铅垂方向的倾斜的第一传感器信息，生成对由广角全景图像的任意的图像区域构成的部分图像的水平方向和铅垂方向的偏移进行修正的水平铅垂方向信息，并将所生成的水平铅垂方向信息作为修正信息输出至控制部。
23.图像畸变确定处理部基于表示拍摄用透镜引起的拍摄畸变的状态的第二传感器信息，生成用于对部分图像的图像畸变进行修正的图像畸变信息，并将所生成的图像畸变信息作为修正信息输出至控制部。
24.控制部基于水平铅垂方向确定处理部生成的水平铅垂方向信息和图像畸变确定处理部生成的图像畸变信息，对部分图像中的水平方向和铅垂方向的偏移以及图像畸变进行修正。
25.图像修正信息生成部、水平铅垂方向确定处理部、图像畸变确定处理部作为程序存储于存储器部，由控制部执行处理。在安装了进行图像修正信息生成、水平铅垂方向确定处理以及图像畸变确定处理的专用硬件的情况下，也可以通过专用硬件执行各处理。
26.发明效果
27.如下对由在本申请中公开的发明中具有代表性的部分获得的效果简单地进行说明。
28.在缩略图显示中，能够提高广角全景图像的视认性。
附图说明
29.图1是表示实施方式的信息处理装置中的结构的一例的说明图。
30.图2是表示图1的信息处理装置的广角全景图像中的滚动显示处理的一例的说明图。
31.图3是表示作为图2所示的广角全景图像的缩略图显示而滚动显示的广角全景图像的各部分图像的显示例的说明图。
32.图4是表示图1的信息处理装置的广角全景图像中的滚动显示处理的另一例的说明图。
33.图5是表示作为图4所示的广角全景图像的缩略图以被拍摄体的特征点为中心滚动显示的广角全景图像的部分图像的显示例的说明图。
34.图6是表示对图1的信息处理装置的广角全景图像的缩略图进行滚动显示时的动作处理的一例的流程图。
35.图7是图6之后的流程图。
36.图8是图7之后的流程图。
37.图9是表示通过图1的信息处理装置进行缩略图显示的部分图像中的显示的一例的说明图。
38.图10是表示实施方式2的信息处理装置中的结构的一例的说明图。
39.图11是表示对由图10的信息处理装置所具有的摄像机部拍摄到的广角全景图像进行滚动显示时的显示的一例的说明图。
40.图12是表示图11所示的广角全景图像的部分图像中的滚动显示的一例的说明图。
41.图13是表示对由图10的信息处理装置所具有的摄像机部拍摄的广角全景图像进行滚动显示时的另一显示例的说明图。
42.图14是表示图13所示的广角全景图像的部分图像中的滚动显示的一例的说明图。
具体实施方式
43.在用于对实施方式进行说明的所有图中，原则上对相同的部件标注相同的附图标记，并省略其重复的说明。
44.(实施方式1)
45.以下，对实施方式详细地进行说明。
46.〈信息处理装置的结构例〉
47.图1是表示本实施方式的信息处理装置100中的结构的一例的说明图。
48.如图1所示，信息处理装置100由控制部(控制器)101、存储器部104、图像畸变确定处理部(图像畸变确定处理程序)105、水平铅垂方向确定处理部(水平铅垂方向确定处理程序)106、特征点确定处理部107、显示部(显示器)108、输入操作部(输入操作接口)109、语音输入输出处理部(语音输入输出接口)110、外部接口部(外部接口)111以及外部输入输出端子(入输出接口)112等构成。
49.这些控制部101、存储器部(存储器)104、图像畸变确定处理部105、水平铅垂方向确定处理部106、特征点确定处理部107、显示部108、输入操作部109、语音输入输出处理部110以及外部接口部111经由总线113相互连接。
50.存储器部104具有图像数据和图像信息存储区域102以及用于存储动作控制用程序等的程序存储区间103等存储区域。图像数据和图像信息存储区域102是存储原始图像数据、后述的第一传感器信息和后述的第二传感器信息等信息的区域。程序存储区域103是存储控制信息处理装置100的动作的程序等动作控制用程序的区域。
51.在外部输入输出端子112上连接有例如数字摄像机或带摄像机的便携信息终端等外部装置。将由数字摄像机或带摄像机的便携信息终端等拍摄到的图像经由外部输入输出端子112向外部接口部111输入。将所输入的图像作为原始图像存储于存储器部104中的图像数据和图像信息存储区域102。
52.在此，由数字摄像机或带摄像机的便携信息终端等拍摄到的图像是例如相当于摄像机视角的长宽比为3：4或长宽比为9：16等标准图像或者以广角拍摄的广角全景图像等。
53.作为图像修正信息生成部(图像修正信息生成程序)的水平铅垂方向确定处理部106，通过从该存储器部104读取的原始图像的任意的区域的图像即各部分图像对作为原始图像保存于存储器部104的广角全景图像，确定水平方向和铅垂方向中的至少任一个方向，生成水平铅垂方向信息。
54.或者，水平铅垂方向确定处理部106也可以从被原始图像映现的被拍摄体等图案识别出水平方向和铅垂方向中的至少任一个方向来确定水平方向和/或铅垂方向。
55.另外，在向信息处理装置100输入的原始图像的数据中包括表示水平方向或者铅垂方向之类的拍摄状态的第一传感器信息的情况下，也可以使用该第一传感器信息确定水平方向或者铅垂方向。在该情况下，第一传感器信息存储于存储器部104的图像数据和图像信息存储区域102。
56.作为图像修正信息生成部的图像畸变确定处理部105通过从存储器部104读出的广角全景图像的原始图像的各部分图像确定图像畸变并生成图像畸变信息。在该情况下，控制部101也可以通过对在原始图像内映现的被拍摄体等进行图案识别来确定图像畸变。
57.另外，对于由数字摄像机或带摄像机的便携信息终端等拍摄设备拍摄到的原始图像，在表示由于摄像机透镜等而产生的拍摄畸变状态的第二传感器信息包括在原始图像的数据中的情况下，图像畸变确定处理部105也可以使用第二传感器信息确定图像畸变。
58.在该情况下，第二传感器信息存储于存储器部104的图像数据和图像信息存储区域102。该第二传感器信息也可以是包括包含摄像机透镜的光学系统的静态畸变信息、即透镜配置等的信息。
59.控制部101由例如cpu(central processing unit)等构成。控制部101通过执行存储于存储器部104的os(operating system)和动作控制用程序等程序来控制各功能块，进行信息处理装置100整体的动作控制处理。
60.该控制部101根据由水平铅垂方向确定处理部106生成的水平铅垂方向信息对原始图像的水平方向或者铅垂方向的偏移进行修正，并且根据由图像畸变确定处理部105生成的图像畸变信息对原始图像的图像畸变进行修正。
61.而且，控制部101进行控制，使得修正了水平方向和/或铅垂方向的倾斜偏移和图像畸变的图像在显示部108滚动显示。在该情况下，图像以显示以标准图像的视角沿该图像的水平方向移动的方式进行滚动显示。
62.存储器部104由被例示为闪存的非易失性存储器等构成，如上所述存储有控制部101使用的各种程序或原始图像等图像数据以及图像数据所附带的信息即第一传感器信息和第二传感器信息等图像信息。
63.显示部108由液晶面板等构成，除了图像之外，还显示表示对用户的警报、显示状态或者显示内容等的通知信息。另外，如图1所示，显示部108显示缩略图121～129等。
64.在图1中，缩略图121是广角全景图像的缩略图，缩略图122～129是标准图像的缩略图。广角全景图像一般是比标准图像更广角的横长或纵长的图像，是为了按照标准图像的长宽比显示而需要缩小、修整等处理的图像。
65.输入操作部109是输入各种信息的输入部，由例如键盘、鼠标等构成，能够设定输入用户想要输入的信息。另外，也可以将输入操作部109设为显示部108所具有的结构。
66.在该情况下，显示部108具有例如静电电容式等的触摸板功能。触摸板在显示部108显示，检测手指或触摸笔等进行的接近或接触操作并输入信息。
67.语音输入输出处理部110处理输入输出的语音。该语音输入输出处理部110包括输入外部的语音的麦克风或对外部输出语音的扬声器等，通过语音通知各种消息等。
68.特征点确定处理部107例如确定并提取面部等部分图像作为由输入操作部109设
定输入的被拍摄体的特征点，生成表示映现该特征点的图像部分的特征点保有部分图像信息。
69.而且，控制部101进行控制，以根据特征点确定处理部107生成的特征点保有部分图像信息强调具有特征点的部分图像，同时在显示部108滚动显示缩略图。
70.通过以上的结构，在进行广角全景图像中的缩略图显示时，能够使用在原始图像的各部分图像中修正了水平方向、铅垂方向的倾斜偏移以及图像畸变的图像，以标准图像的视角使广角全景图像在沿水平方移动的同时进行滚动显示。
71.由此，在进行缩略图显示时，能够使在作为原始图像的广角全景图像中映现的被拍摄体在修正了倾斜和畸变的状态的图像中滚动显示至每个角落。其结果，用户能够容易且准确地识别缩略图显示，能够大幅提高视认性。
72.另外，因为能够将在作为原始图像的广角全景图像中映现的面部等特征点作为中心强调并滚动显示修正了倾斜或畸变的图像，所以能够在修正了变形或畸变的图像中容易辨识用户想看的部位。
73.〈缩略图图像的处理例〉
74.接着，对信息处理装置100的动作进行说明。
75.图2是表示图1的信息处理装置100的广角全景图像200中的滚动显示处理的一例的说明图。
76.图2所示的作为原始图像的广角全景图像200表示由于摄像机的拍摄时的倾斜、拍摄用摄像机透镜的畸变状态等而具有水平方向和/或铅垂方向的倾斜偏移和局部的图像畸变的例子。
77.在进行广角全景图像200的缩略图显示时，从图2的上方到下方沿着三个滚动轨迹201～203进行滚动显示。另外，图2所示的位置p21～p25在各个滚动轨迹201～203中分别表示滚动显示广角全景图像200的部分图像的位置。
78.在对广角全景图像200进行缩略图显示的情况下，首先，控制部101如滚动轨迹201所示，从广角全景图像200的左侧的最上段基于水平铅垂方向信息沿着广角全景图像200的水平方向向右方向滚动，同时显示根据图像畸变信息修正了图像的倾斜偏移和图像畸变的部分图像。在此，将显示的部分图像设为标准视角。
79.如上所述，水平铅垂方向信息是由水平铅垂方向确定处理部106生成的信息，图像畸变信息是由图像畸变确定处理部105生成的信息。
80.在滚动轨迹201中，在滚动显示至广角全景图像200的右端后，控制部101从滚动轨迹202中的左侧与滚动轨迹201同样地向广角全景图像200的右水平方向滚动，并显示修正后的部分图像。
81.如果滚动轨迹202中的滚动显示结束，则在滚动轨迹203中，从广角全景图像200的左侧与滚动轨迹201、202同样地向广角全景图像的右水平方向滚动，同时显示修正了的部分图像。
82.如上，通过修正了图像内的倾斜偏移或畸变等的标准视角的部分图像滚动显示广角全景图像的整个画面。
83.〈缩略图的显示例〉
84.图3是表示作为图2所示的广角全景图像200的缩略图显示而滚动显示的广角全景
图像的各部分图像的显示例的说明图。
85.该图3示意性表示在图2所示的广角全景图像200的各位置p21～p25中依次滚动显示的部分图像。
86.图3所示的图像s1～s5是在以图2所示的滚动轨迹201滚动的同时进行显示的修正后的部分图像。这些图像s1～s5是图2所示的滚动轨迹201中的各个位置p21、p22、p23、p24、p25中的各部分图像。
87.图3所示的图像s6～s10是在以图2所示的滚动轨迹202滚动的同时进行显示的修正后的部分图像。这些图像s6～s10是图2所示的滚动轨迹202中的各个位置p21、p22、p23、p24、p25中的各部分图像。
88.图3所示的图像s11～s15是在以图2所示的滚动轨迹203滚动的同时进行显示的修正后的部分图像。这些图像s11～s15是图2所示的滚动轨迹203中的各个位置p21、p22、p23、p24、p25中的各部分图像。
89.这样，通过连续显示修正了水平方向和/或铅垂方向的倾斜偏移以及局部图像畸变等的标准视角的部分图像即图像s1～s15，能够像沿水平方向滚动的动画那样显示该广角全景图像200。
90.由此，能够将作为原始图像的广角全景图像200整体准确的辨识至每个角落。
91.在上述的例子中，对以沿上下方向分割成三部分的滚动轨迹201～203中的每一个分别从右侧沿水平方向滚动显示作为原始图像的广角全景图像200整体的情况进行了说明，但滚动轨迹的分割数根据原始图像的尺寸等可以是一个，或者也可以分割成三个以外的多次。另外。滚动方向也可以是与图2相反的方向，即从广角全景图像200的左侧到右侧的方向。
92.而且，控制部101进行的广角全景图像200的滚动显示也可以以在沿该广角全景图像200的水平方向滚动的同时逐渐向广角全景图像200的铅垂方向偏移的方式进行显示。
93.由此，能够大致快速地辨识广角全景图像200中的图像的整体。
94.此外，在图3的例子中，表示了在部分图像中包括建筑和背景等非被拍摄体物体的例子，但也可以不将这样的非被拍摄体物体作为部分图像显示。
95.例如在广角全景图像200的上侧仅为天空和云的情况下，也可以从映现有天空和云以外的被拍摄体的部位开始滚动显示。或者，同样地，在广角全景图像200的下侧仅映现地面的情况下，也可以在地面跟前结束滚动显示，或在上侧反复滚动显示。即，也可以以将非被拍摄体物体去除的形式进行滚动显示。
96.〈缩略图的另一显示例〉
97.接着，对信息处理装置100的广角全景图像200中的另一显示动作进行说明。
98.图4是表示图1的信息处理装置100的广角全景图像200中的滚动显示处理的另一例的说明图。
99.该图4表示以被拍摄体的特征点为中心对输入到信息处理装置100的作为原始图像的广角全景图像200进行滚动显示的例子。
100.作为在广角全景图像200内映现的被拍摄体的特征点，可举出例如人脸、对焦的地方、存在颜色急剧变化的地方等。在此，对将特征点例如设为“人脸”的情况进行说明。
101.首先，在输入操作部109中，进行将“人脸”设定为特征点的输入。特征点确定处理
部107确定具有由输入操作部109设定输入的被拍摄体的特征点即“人脸”的部分图像，生成表示映现该特征点的部分图像的特征点保有部分图像信息。
102.而且，在进行图4所示的广角全景图像200的缩略图显示时，控制部101如滚动轨迹401所示，根据由特征点确定处理部107生成的特征点保有部分图像信息，将修正了倾斜偏移或畸变后的具有作为特征点的“人脸”的部分图像以相连的方式从广角全景图像200的左端向右方滚动显示。
103.由此，能够从广角全景图像200的整个画面中准确地捕捉“人脸”这个特征点，并将修正了倾斜偏移和图像畸变等的标准视角的部分图像作为中心进行滚动显示。由此，用户在进行缩略图显示时能够更明确地辨识特征点。
104.图5是说明作为图4所示的广角全景图像200的缩略图以被拍摄体的特征点为中心滚动显示的广角全景图像的部分图像的显示例的说明图。
105.该图5示意性在示出在图4所示的广角全景图像200的各个位置p41～p45依次滚动显示的部分图像。
106.在图4的滚动轨迹401中的位置p41、p42、p43、p44、p45中，如图5所示，图像s16、s17、s18、s19、s20的部分图像被滚动显示。另外，在位置p41、p43、p45中，具有作为特征点的“人脸”的部分图像被作为图像s16、s18、s20进行滚动显示。
107.另外，就图像s16～s20而言，与图3相同，控制部101根据由水平铅垂方向确定处理部106生成的水平铅垂方向信息来修正原始图像的水平方向或者铅垂方向的偏移，并且根据由图像畸变确定处理部105生成的图像畸变信息修正原始图像的图像畸变。
108.由此，能够通过修正了水平方向和/或铅垂方向的倾斜偏移以及局部图像畸变的标准视角的部分图像，以作为原始图像的广角全景图像200中的特征点为中心进行滚动显示。其结果，能够容易且准确地辨识广角全景图像200提取的特征点。
109.另外，也可以是，如果映现特征点的部分图像被滚动显示，则控制部101在显示部108显示表示“特征点显示”的消息，通过语音输入输出处理部110发送表示“特征点显示”的语音等信息。通过这些通知，能够提高易用性。
110.在作为以人为主的特征点拍摄到多个人的情况下，也可以将靠近人群的中心的人判断选择为例如主人公。另外，在映现拍摄者自身的情况下，可以将拍摄者自身指定为特定的人物，也可以将处于拍摄者的视线朝向的目标的物体作为特征点。
111.为了更明确地辨识特征点，可以延长特征点的显示时间，也可以在特征点的部分暂时停止显示，也可以将具有特征点的图像放大显示。
112.在特征点是面部的情况下，可以将面部放大调整而显示，也可以显示映现胸以上的胸部上方等。例如，在使用图4和图5进行说明的例子的情况下，延长显示作为特征点的“人脸”的图5的图像s16、s18、s20的显示时间，或暂时停止，还可以暂时以将“人脸”作为中心进行特写的方式放大显示。由此，能够进一步提高视认性。
113.另外，在有多个特征点的情况下，也可以将特征点中特别重要的物体识别为主被拍摄体，对于其它特征点以延长显示时间等方式进行区分。
114.在此，对原始图像为广角全景图像200的情况进行了说明，但即使在原始图像不是广角全景图像，而是标准视角的图像即标准图像的情况下，也与广角全景图像的情况相同地，能够使用标准视角的部分图像使其在沿水平方向移动的同时滚动显示。在该情况下，部
分图像也是修正了水平方向和/或铅垂方向的倾斜和偏移以及局部图像畸变等的标准视角的图像。
115.除此之外，也可以与广角全景图像200相同，对将标准图像例如分割成两个滚动轨迹的部分图像进行滚动显示。由此，能够更准确地识别缩略图图像，能够大幅提高视认性。
116.〈信息处理装置的动作例〉
117.接着，对信息处理装置100的动作详细得进行说明。
118.图6是表示对图1的信息处理装置100的广角全景图像的缩略图进行滚动显示时的动作处理地一例的流程图。图7是图6之后的流程图。图8是图7之后的流程图。
119.首先，在图6中，如果通过用户的操作而图像阅览程序起动(步骤s101)，则控制部101从存储于存储器部104的设定数据中读出起动时画面选择设定值，判断是否是显示缩略图一览画面的设定(步骤s102)。
120.在判断为是显示缩略图一览画面的设定时，进入图7所示的步骤s105～s110的处理并显示缩略图一览画面。在不是显示缩略图一览画面的设定的情况下，控制部101在图像阅览程序的起动时画面等上显示向缩略图一览画面的切换按钮等(步骤s103)。
121.在用户从输入操作部109点击向缩略图一览画面的切换按钮的情况下(步骤s104)，控制部101进入图7所示的步骤s105～s110的处理并进行缩略图一览画面的显示。
122.就设定数据的起动时画面选择设定值而言，也可以将图像阅览程序创建时确定的初始值在图像阅览程序安装时写入存储器部104。或者，也可以在图像阅览程序初次起动时将用户选择的设定值写入存储器部104。或用户也可以通过图像阅览程序或os(operating system)等的动作改写设定值。
123.接着，在图7中，控制部101基于设定于图像阅览程序的设定数据的显示选择指定列表，从存储器部104读出显示选择指定的原始图像数据(步骤s105)。在此，原始图像数据是拍摄的图像数据等，是通过全屏等鉴赏的图像数据。
124.此外，就显示选择指定列表而言，在图像阅览程序起动时，控制部101使提示用户选择的对话窗口在显示部108显示，可以选择添加到列表的原始图像数据，或者也可以选择特定的文件夹内的所有原始图像数据作为列表。另外，也可以存储上次用户选择的列表，在下次起动时使用。
125.之后，控制部101判断从存储器部104读出的原始图像数据是否是广角全景图像(步骤s106)。在读出的原始图像数据是广角全景图像的情况下，控制部101进行广角全景图像用缩略图的创建(步骤s107)。
126.步骤s106的处理中的原始图像数据是广角全景图像的判断对原始图像数据在拍摄时或者加工时等参照事前添加的图像信息进行判断。
127.或者，也可以通过存储于存储器部104的程序存储区域103的动作控制用程序来分析图像的畸变、长宽比等图像的特征，判断是否是广角全景图像，也可以通过专用的硬件等来判断。
128.在读出的原始图像数据不是广角全景图像的情况下，控制部101进行读出的原始图像数据的图像处理，创建与原始图像数据配对的缩略图(步骤s108)。
129.如果通过步骤s105的处理读出的原始图像文件的处理结束(步骤s109)，则控制部101使用通过步骤s107的处理或步骤s108的处理创建的缩略图图像来显示缩略图一览画面
(步骤s110)。
130.此外，缩略图的一览图像也可以使用预先创建的缩略图图像来生成并显示。在该情况下，在步骤s107的处理和步骤s108的处理中，读出与原始图像数据相关联地存储于存储器部104的缩略图图像数据，从读出的该缩略图图像显示缩略图的一览图像。
131.另外，对于控制部101没有判断为广角全景图像的原始图像数据，也可以在用户通过输入操作部109等指定时，通过控制部101进行广角全景图像用缩略图的创建，使用这些图像显示缩略图一览画面。
132.而且，用户指定为是广角全景图像的原始图像数据将是用户指定的广角全景图像的判断记录于原始图像数据所附带的图像信息。或也可以记录到图像阅览程序的设定文件等，在下次显示时也显示广角全景图像用缩略图。缩略图一览画面可以分成广角全景图像用缩略图和通常的缩略图来显示，也可以混在一起显示。
133.在缩略图一览画面中，在进行了结束图像阅览程序的操作的情况下(步骤s111)，控制部101结束图像阅览程序的动作。图像阅览程序的结束操作和结束处理也可以从缩略图一览画面以外的画面进行。
134.在没有进行结束图像阅览程序的操作的情况下(步骤s111)，控制部101进行是否进行了广角全景图像用缩略图的选择操作的判断(步骤s112)。
135.在该情况下，选择操作是用户通过输入操作部109选择广角全景图像用缩略图的动作，例如在输入操作部109是鼠标的情况下，通过单击等进行选择。
136.在步骤s112的处理中，在存在选择操作的情况下，在图8中，控制部101以全屏显示原始图像数据(步骤s113)。在该全屏显示时，在由用户按压缩略图一览画面显示按钮等的情况下(步骤s114、s115)，回到图7的步骤s110的处理，显示缩略图一览画面。
137.在此，作为缩略图的第一次输入操作，对例如通过单击对原始图像数据进行全屏显示的例子进行了说明，但作为另一例，也可以进行后述的动作，在变更显示的部分之后进行全屏显示。
138.通过广角全景图像用缩略图的第一次单击等输入操作，暂时停止缩略图的滚动显示，即暂停播放，等待来自用户的接下来的操作。作为接下来的操作，在缩略图上滑动了手指的情况下，通过向滑动的方向滚动缩略图图像内的显示部分，显示与在暂时停止时显示的部分不同的周围的另外的部分。
139.使用图3对上述的动作进行说明，在滚动显示时，在图3的图像s8中暂时停止，在该图像s8的缩略图在显示部108显示的状态下例如向左侧滑动手指。
140.通过该动作，缩略图画面内的显示根据手指的动作移动，显示手指停止的部分的部分图像。例如在停止的部分是图3的图像s7的情况下，显示该图像s7。能够滑动的方向也可以限于滚动显示的方向。
141.在用户通过上述的动作存储滚动显示时显示的部分的显示顺序的情况下，通过限制向不同的方向的移动，能够在存储中容易地寻找任意部分。
142.另外，也可以取消滚动显示的方向的限制而能够自由移动。也可以通过例如从图像s8向下滑动来显示图3的图像s13。
143.在该动作中，如图3的图像s8所示，在缩略图图像中显示有建筑物，在想要显示该建筑物的下方向的情况下，能够通过简单的操作直接移动，由此，能够直观地移动到任意的
显示部分。
144.另外，在向滚动显示的方向以外的方向移动的情况下，也可以设为用户能够识别从滚动显示的方向脱离。例如，是在滑动手指之后缩略图显示开始移动之前空出一定时间或通过振动或声音告知等动作。
145.在通过单击等第一次输入操作暂时停止了缩略图的滚动显示时，也可以通过第二次输入操作，例如单击、长按、双击或者按两下使滚动重新开始。单击、滑动等输入操作的方法也可以适当地变更。
146.〈部分图像的显示例〉
147.图9是表示通过图1的信息处理装置100进行缩略图显示的部分图像中的显示的一例的说明图。
148.在图9的(a)所示的缩略图一览画面700中，如果用户通过进行例如单击等第一输入操作来选择任意的缩略图121，则控制部101从存储器部104读入缩略图121的原始图像数据。
149.而且，控制部101将由图9的(b)所示的原始图像数据的缩略图显示的图像701如图9的(c)所示在显示部108全屏显示。
150.在图9的(a)所示的缩略图一览画面700中，如果用户通过例如双击等第二输入操作进行缩略图121的选择，则控制部101以进行了该第二输入操作即双击的点击位置为中心全屏显示调整了与被拍摄体相应的范围的图像。
151.在该情况下，例如，如图9的(d)所示，如果双击的点击位置是选择“人脸”的位置703，则包括图9的(d)所示的面部的区域704或者图9的(e)所示的胸部上方的图像在显示部108全屏显示。
152.或者，在双击时，也可以在图9的(a)所示的缩略图121的显示区域显示区域704的图像。图9的(f)表示在图9的(a)所示的缩略图121的显示区域显示区域704的图像的例子。
153.这样，通过将以通过双击等第二输入操作在指定的位置映现的被拍摄体，例如“人脸”等为中心切出并放大的图像在全屏画面或缩略图显示画面等中放大显示，用户能够明确地识别指定的被拍摄体。其结果，能够提高缩略图的视认性。
154.另外，在缩略图一览画面700中，在用户通过例如连按三下等第三输入操作进行了任意的缩略图的选择的情况下，控制部101如图9的(g)所示以连按三下的位置706为中心将在全屏显示的长宽比的范围内的最大的长方形的区域707的图像如图9的(h)所示全屏显示。或者，如图9的(i)所示，区域707的图像也可以在显示图9的(a)的缩略图121的区域显示。
155.另外，在例如面部的一部分未在缩略图内显示的情况下，如果未显示的部分存在于原始图像数据，则控制部101也可以从原始图像数据生成即使未进入当前的缩略图的显示范围、而面部进入的范围或者以胸部以上的状态显示的范围的图像并全屏显示。
156.而且，在通过与上述的第一输入操作、第二输入操作或者第三输入操作不同的第四输入操作选择了缩略图的情况下，也可以与缩略图的显示范围无关地显示原始图像整体。
157.在显示原始图像整体的情况下，也可以进行图像处理并显示，使得进行输入操作时的缩略图的位置为原始图像的中央。在原始图像数据是例如360度球面图像等能够自由
重新设定视线方向的图像的情况下，控制部101通过进行图像处理，能够变更并显示在中央显示的位置。
158.输入操作的方法能够适当地变更。例如，也可以将第一输入操作设为双击。输入操作的方法不限于画面上的操作，也可以是使用例如物理按钮或其它输入装置等的操作。
159.输入操作的方法及其动作的组合也可以作为设定值存储于存储器部104。控制部101也可以在下次起动时将该设定值从存储器部104读出，能够以与上次相同的组合进行使用。
160.另外，对于相同的输入操作，控制部101也可以判断缩略图图像的图像内容并变更动作。例如，即使是相同的输入操作，如图9的(d)所示，在选择了作为主要被拍摄体的人的情况下，将以被拍摄体为中心选择的区域704如图9的(e)那样全屏显示。
161.在如图9的(g)的位置706那样选择了主要被拍摄体以外、例如背景等的情况下，进行将按长宽比选择的图9的(g)的区域707如图9的(h)那样全屏显示等的动作变更。
162.如上，在进行广角全景图像的缩略图显示时，能够提供视认性良好的缩略图图像。
163.(实施方式2)
164.〈信息处理装置的结构例〉
165.图10是表示本实施方式2的信息处理装置100中的结构的一例的说明图。
166.在该情况下，图10所示的信息处理装置100由例如智能手机或平板电脑等具有摄像机功能的便携信息终端等构成。图10的信息处理装置100为除了图1的信息处理装置100具有的控制部101、存储器部104、图像畸变确定处理部105、水平铅垂方向确定处理部106、特征点确定处理部107、显示部108、输入操作部109、语音输入输出处理部110、外部接口部111以及外部输入输出端子112之外，还新设置了摄像机部(摄像机)150、151、加速度传感器部(加速度传感器)152、陀螺仪传感器部(陀螺仪传感器)153、地磁传感器部(地磁传感器)154、gps接收部(gps接收器)155、基站通信部(基站通信器)156以及无线通信部(无线通信器)157的结构。
167.这些新设置的各功能块也与图1相同地经由总线113相互连接。其它连接结构因为与图1相同，所以省略说明。
168.摄像机部150由正面摄像部150a和拍摄用透镜150b构成。拍摄用透镜150b设置于信息处理装置100的正面侧。正面摄像部150a拍摄拍摄用透镜150b取入的景象。
169.拍摄用透镜150b是广角透镜，例如也可以是鱼眼透镜等。鱼眼透镜能够取入上下左右方向的大致横跨180度的范围的景象。由此，能够广角拍摄完正面侧全景。
170.摄像机部151由背面摄像部151a和拍摄用透镜151b构成。拍摄用透镜151b设置于信息处理装置100的背面侧。背面摄像部151a拍摄拍摄用透镜151b取入的景象。
171.拍摄用透镜151b也是广角透镜，与拍摄用透镜150b相同，也可以是例如鱼眼透镜等。由此，也能够广角拍摄背面侧全景。
172.另外，正面摄像部150a生成表示拍摄用透镜150b引起的拍摄畸变状态的第二传感器信息，并向图像畸变确定处理部105输出。同样地，背面摄像部151a生成表示拍摄用透镜151b引起的拍摄畸变状态的第二传感器信息，并向图像畸变确定处理部105输出。
173.图像畸变确定处理部105使用正面摄像部150a和背面摄像部151a分别生成的第二传感器信息，进行确定由摄像机部150、151拍摄到的图像的畸变的处理。
174.此外，图像畸变确定处理部105进行的、确定并修正拍摄图像的变形的处理使用一般用于图像处理的周知技术即可。例如在鱼眼透镜的情况下，已知如下技术：将由假想球面模型上的任意的点相接的平面作为屏幕，且将假想球面模型上的点坐标转换为平面屏幕上的点，由此修正鱼眼透镜引起的图像的变形。
175.加速度传感器部152是检测加速度的传感器，能够检测重力。通过该加速度传感器部152进行的重力的检测能够检测信息处理装置100的铅垂方向的倾斜。
176.由此，加速度传感器部152能够检测由摄像机部150、151拍摄到的图像的水平铅垂方向的倾斜。具体而言，加速度传感器部152生成表示由摄像机部150或者摄像机部151拍摄到的图像的水平方向和/或铅垂方向的倾斜等拍摄状态的第一传感器信息，并向水平铅垂方向确定处理部106输出。
177.陀螺仪传感器部153是检测信息处理装置100的旋转方向的角速度的传感器。地磁传感器部154是检测地球的磁力的传感器，检测信息处理装置100的方向。
178.gps接收部155接收来自处于上空的gps(global positioning system)卫星的信号，检测信息处理装置100的当前位置。通过这些各种传感器等能够详细地检测信息处理装置100的位置或动作等。
179.基站通信部156是与w
‑
cdma(wideband code division multiple access)或gsm(global system for mobile communications)(注册商标)等基站进行远距离的无线通信的通信接口，经由未图示的收发天线进行信息的收发或者语音通信。
180.无线通信部157是通过无线lan(local area network)与路由器等进行无线通信的通信接口，经由该路由器等与外部网络连接，进行信息的收发。
181.此外，在对未由信息处理装置100的摄像机部150、151拍摄的原始图像进行缩略图显示的情况下，在图1中，示出了作为原始图像的广角全景图像经由外部输入输出端子112向外部接口部111输入的例子，但在图10的信息处理装置100中，也可以经由基站通信部156和无线通信部157输入原始图像。
182.这样，通过设置生成第一传感器信息的加速度传感器部152、生成第二传感器信息的正面摄像部150a以及背面摄像部151a，能够准确地修正原始图像的水平方向和/或铅垂方向的倾斜偏移和图像畸变等并进行缩略图显示。由此，在进行广角全景图像的缩略图显示时，能够实现更高的视认性。
183.〈缩略图图像的处理例〉
184.接着，对图10的信息处理装置100的动作进行说明。
185.图11是表示对由图10的信息处理装置100所具有的摄像机部150或摄像机部151拍摄的广角全景图像1100进行滚动显示时的显示的一例的说明图。
186.该图11表示使用作为鱼眼透镜的拍摄用透镜150b或151b拍摄广角全景图像1100的例子，其拍摄范围为如图所示达到水平方向360度、铅垂方向180度的球形360度的广角全景图像1100。
187.在图11中，点1101表示球形360度的广角全景图像1100的中心位置，点1102表示广角全景图像1100的顶点位置。示出在该情况下由于信息处理装置100的倾斜而作为顶点位置的点1102从作为图像的中心位置的点1101偏移的例子。
188.在进行图11所示的球形360度的广角全景图像1100的缩略图显示时，首先控制部
101按照以点1102为中心的滚动轨迹1103沿着广角全景图像1100的水平方向向该广角全景图像1100的逆时针方向滚动，同时像动画那样显示各部分图像。水平铅垂方向确定处理部106根据从第一传感器信息确定而生成的水平铅垂方向信息来判断水平方向。
189.此时，部分图像依次显示修正了图像的倾斜和/或偏移以及图像畸变等的标准视角。就显示的部分图像而言，控制部101根据水平铅垂方向信息和图像畸变信息修正图像的倾斜和/或偏移以及图像畸变等。
190.如上所述，水平铅垂方向确定处理部106根据第一传感器信息生成水平铅垂方向信息，图像畸变确定处理部105根据第二传感器信息生成图像畸变信息。
191.控制部101在按照滚动轨迹1103环绕广角全景图像1100进行滚动显示后，按照覆盖滚动轨迹1103的外周的滚动轨迹即滚动轨迹1104向广角全景图像1100的逆时针方向滚动，同时对修正后的标准视角的部分图像进行缩略图显示。
192.接着，控制部101通过覆盖滚动轨迹1103的外周的滚动轨迹即滚动轨迹1105与滚动轨迹1103、1104相同地向广角全景图像1100的逆时针方向滚动，同时以标准视角对修正后的部分图像进行滚动显示。
193.由此，因为能够通过修正了图像内的倾斜偏移和/或畸变等的标准视角的部分图像对广角全景图像1100的整个画面进行滚动显示，所以能够大幅提高视认性。
194.此外，滚动显示中的旋转方向，即滚动轨迹1103、1104、1105的滚动方向也可以是与逆时针方向相反的顺时针方向。另外，旋转方向的开始位置也可以从任何位置开始。
195.〈滚动显示例〉
196.图12是表示图11所示的广角全景图像1100的部分图像中的滚动显示的一例的说明图。
197.该图12示意性表示在对图11所示的球形360度的广角全景图像1100进行滚动显示时依次显示的部分图像。
198.图12所示的图像s20～s23是在按照图11所示的滚动轨迹1103滚动的同时显示的修正后的部分图像。这些图像s20～s23是图11所示的滚动轨迹1103中的广角全景图像1100的各个位置p111、p112、p113、p114中的各部分图像。
199.图12所示的图像s24～s27是在按照图11所示的滚动轨迹1104滚动的同时显示的修正后的部分图像。这些图像s24～s27是图11所示的滚动轨迹1104中的广角全景图像1100的各个位置p111、p112、p113、p114中的各部分图像。
200.图12所示的图像s28～s31是在按照图11所示的滚动轨迹1105滚动的同时显示的修正后的部分图像。这些图像s28～s31是图11所示的滚动轨迹1105中的广角全景图像1100的各个位置p111、p112、p113、p114中的各部分图像。
201.这样，在滚动轨迹1103中，图12所示的图像s20、s21、s22、s23的各部分图像分别滚动显示。在滚动轨迹1104中，图12所示的图像s24、s25、s26、s27的各部分图像分别滚动显示。在滚动轨迹1105中，图12所示的图像s28、s29、s30、s31的各部分图像分别滚动显示。
202.通过连续沿水平方向滚动显示修正了水平方向和/或铅垂方向的倾斜偏移以及局部图像畸变等的标准视角的部分图像即图像s20～s31，能够像动画那样显示缩略图显示。
203.由此，能够通过准确且容易地看到被拍摄体的状态将作为原始图像的球形360度的广角全景图像1100整体辨识至每个角落。
204.此外，部分图像的显示顺序不限于上述的图像s20～图像s31的顺序。也可以按照图像s20、图像s21、图像s22、图像s23、图像s27、图像s24、图像s25、图像s26、图像s30、图像s31、图像s28、图像s29的顺序等进行显示，以容易把握例如广角全景图像1100整体中的部分图像的位置。
205.或者，在直至图像s20～图像s24为止的水平方向360度之间，也可以以向下移动部分图像的纵向的长度的量的方式以螺旋状显示。也可以使水平360度之间的纵向移动的长度小于部分图像的纵向长度，使一部分重复并以螺旋状显示。
206.〈滚动显示的另一例〉
207.图13是表示对由图10的信息处理装置100所具有的摄像机部150或摄像机部151拍摄到的广角全景图像1100进行滚动显示时的另一显示例的说明图。
208.在该图13中，示出了将球形360度的广角全景图像1100向与图11所示的方向不同的铅垂方向滚动显示的情况的例子。即，滚动轨迹与图11不同。
209.在进行广角全景图像1100的缩略图显示时，如图13所示，首先，在滚动轨迹1301中，从广角全景图像1100的位置p131中的最上部的顶点位置朝向正下方、也就是广角全景图像1100的外周沿铅垂方向滚动显示。
210.之后，在滚动轨迹1302中，在将图13的位置顺时针移动的位置p132中，同样从最上部的顶点位置至正下方进行滚动显示。同样地，在滚动轨迹1303中，从广角全景图像1100的位置p133中的顶点位置朝向正下方、也就是广角全景图像1100的外周沿铅垂方向滚动显示。
211.之后，在滚动轨迹1304中，从广角全景图像1100的位置p134中的最上部的顶点位置朝向正下方、也就是广角全景图像1100的外周沿铅垂方向滚动显示。
212.由此，在高的建筑物或人物等向上下方向伸长的被拍摄体等的情况下，能够不避开对象被拍摄体，而以该被拍摄体为中心对修正了水平铅垂方向的倾斜偏移和/或图像畸变的部分图像进行滚动显示。
213.图14是表示图13所示的广角全景图像1100的部分图像中的滚动显示的一例的说明图。
214.该图14示意性表示在对图13所示的球形360度的广角全景图像1100进行滚动显示时依次显示的部分图像。
215.在图13所示的广角全景图像1100的各位置p131、p132、p133、p134中，在滚动轨迹1301中，图像s30～图像s32所示的修正后的各部分图像分别滚动显示。
216.在滚动轨迹1302中，在图像s33～图像s35中示出的修正后的部分图像分别滚动显示。在滚动轨迹1303中，图像s36～图像s38所示的修正后的各部分图像分别滚动显示，在滚动轨迹1304中，由图像s39～图像s41所示的修正后的各部分图像分别滚动显示。
217.这样，通过连续沿铅垂方向显示修正了水平方向和/或铅垂方向的倾斜偏移以及局部图像畸变等的标准视角的部分图像即图像s30～s41，能够像动画那样显示滚动显示。
218.由此，即使广角全景图像1100的被拍摄体是向上下方向伸长的被拍摄体，也能够视认性良好地、准确地辨识至每个角落。
219.此外，作为滚动显示的左右的移动方向，也可以逆时针旋转，移动方向的开始位置也可以是任何位置。作为滚动显示方向，也可以从正下方朝向顶点位置沿铅垂方向滚动显
示。另外，也可以在某位置从正下方向上侧，即顶点方向滚动显示，而且通过顶点位置滚动显示至相反侧的正下方。
220.在该情况下，例如在教堂等建筑物内，具有能够不间断天花板的图案风景等而准确地辨识的效果。
221.此外，由图10所示的信息处理装置100的摄像机部150或摄像机部151拍摄到的图像数据以及图像数据所附带的第一传感器信息以及第二传感器信息也能够从外部接口部111经由外部输入输出端子112向图1的信息处理装置100输出。
222.或者第一传感器信息和第二传感器信息也可以经由基站通信部156和/或无线通信部156向图1的信息处理装置100输出。在该情况下，可知，使用图1的信息处理装置100可获得与图10所示的信息处理装置100相同的作用、效果。
223.另外，作为原始图像，以静态图像为例进行了说明，但原始图像也可以是动画。在原始图像是动画的情况下，将特征性场景作为静态图像切出，对切出的部分图像进行缩略图显示。或者，将映现出在动画的时间序列中成为特征的图像的场景抽出并将它们组合进行缩略图显示。
224.以上，基于实施方式对由本发明者提出的发明具体地进行了说明，但本发明不限于上述实施方式，不必说，在不脱离其主旨的范围内能够进行各种变更。
225.此外，本发明不限于上述的实施方式，包括各种变形例。例如，上述的实施方式为了便于理解地说明本发明而详细地进行了说明，不必限于具备说明的所有结构。
226.另外，能够将某一实施方式的结构的一部分互换成另一实施方式的结构，另外，也能够对某一实施方式的结构添加另一实施方式的结构。另外，能够对各实施方式的结构的一部分进行其它结构的追加、删除、置换。
227.附图标记说明
228.100 信息处理装置
229.101 控制部
230.102 图像数据和图像信息存储区域
231.103 程序存储区域
232.104 存储器部
233.105 图像畸变确定处理部
234.106 水平铅垂方向确定处理部
235.107 特征点确定处理部
236.108 显示部
237.109 输入操作部
238.110 语音输入输出处理部
239.111 外部接口部
240.112 外部输入输出端子
241.113 总线
242.150 摄像机部
243.150a 正面摄像部
244.150b 拍摄用透镜
245.151 摄像机部
246.151a 背面摄像部
247.151b 拍摄用透镜
248.152 加速度传感器部
249.153 陀螺仪传感器部
250.154 地磁传感器部
251.155 gps接收部
252.156 基站通信部
253.157 无线通信部。