信息处理装置、信息处理方法和程序与流程

1.本公开内容涉及信息处理装置、信息处理方法和程序，并且更特别地，涉及能够直观且自由地移动在画面上显示的3d对象的信息处理装置、信息处理方法和程序。


背景技术：

2.近来，已经开发了一种用于在由包括以智能电话为代表的摄像装置的移动终端中的摄像装置捕获的观看空间的图像或视频中显示3d对象的技术。在这样的系统中，通过使用通过感测真实3d空间获得的信息(例如，通过从不同视点对被摄体进行成像获得的多视点视频)在观看空间中生成3d对象，并且将其显示为好像对象存在于观看空间(也被称为立体视频)中(例如，专利文献1)。
3.引文列表
4.专利文献
5.专利文献1：jp h11-185058 a


技术实现要素：

6.技术问题
7.以这种方式显示的3d对象可以理想地按照用户(观察者或操作者)的指令自由地移动。
8.然而，例如，在专利文献1中，通过使用用鼠标操作的指示器来指定对象，并且执行必要的移动操作。因此，难以直观且自由地移动3d对象。
9.此外，目前，可以通过使用利用触摸面板的操作系统来容易地指定画面中的对象。然后，在指定对象之后，可以通过滑动操作(划动操作)或轻拂操作来二维地移动对象。在滑动操作中，用手指跟踪画面。在轻拂(flick)操作中，用手指翻动(flip)画面。然而，为了三维地使对象进行移动，需要在选择对象之后单独地指定三维移动方向，使得难以直观且自由地移动对象。
10.因此，本公开内容提出了能够通过直观交互来三维地且自由地移动在显示画面上显示的对象的信息处理装置、信息处理方法和程序。
11.问题的解决方案
12.为了解决上述问题，根据本公开内容的实施方式的一种信息处理装置包括：第一检测单元，其检测包括显示区域的显示单元的法线方向，该显示区域的法线方向部分地或连续地改变；第二检测单元，其检测对显示区域的触摸操作；以及控制单元，其根据法线方向和对显示区域的触摸操作中的至少一个来改变在显示区域上显示的对象的显示模式。
附图说明
13.图1示出了根据第一实施方式的包括可折叠显示单元的移动终端的一个示例。
14.图2示出了根据第一实施方式的移动在移动终端上显示的3d模型的方法的一个示
例。
15.图3是示出根据第一实施方式的移动终端的硬件配置的一个示例的硬件框图。
16.图4是示出根据第一实施方式的移动终端的功能配置的一个示例的功能框图。
17.图5是示出根据第一实施方式的由移动终端执行的处理流程的一个示例的流程图。
18.图6概述了根据第二实施方式的移动终端。
19.图7示出了根据第二实施方式的在移动终端上显示的画面的一个示例。
20.图8是示出根据第二实施方式的由移动终端执行的处理流程的一个示例的流程图。
21.图9概述了根据第三实施方式的移动终端。
22.图10是示出根据第三实施方式的由移动终端执行的处理流程的一个示例的流程图。
23.图11概述了第三实施方式的变型。
24.图12概述了根据第四实施方式的移动终端。
25.图13是示出根据第四实施方式的移动终端的功能配置的一个示例的功能框图。
26.图14是示出根据第四实施方式的由移动终端执行的处理流程的一个示例的流程图。
27.图15示出了根据第五实施方式的信息处理装置的一个示例。
28.图16示出了检测显示面板的弯曲(deflection)的方法。
29.图17是示出根据第五实施方式的信息处理装置的硬件配置的一个示例的硬件框图。
30.图18是示出根据第五实施方式的信息处理装置的功能配置的一个示例的功能框图。
具体实施方式
31.下面将参照附图详细地描述本公开内容的实施方式。注意，在以下每个实施方式中，相同的附图标记被附至相同的部分，以省略重复的描述。
32.此外，将根据以下项目顺序来描述本公开内容。
33.1.第一实施方式
34.1-1.第一实施方式的移动终端的概述
35.1-2.移动终端的硬件配置
36.1-3.移动终端的功能配置
37.1-4.由移动终端执行的处理的流程
38.1-5.第一实施方式的效果
39.2.第二实施方式
40.2-1.第二实施方式的移动终端的概述
41.2-2.由移动终端执行的处理的流程
42.2-3.第二实施方式的效果
43.3.第三实施方式
44.3-1.第三实施方式的移动终端的概述
45.3-2.由移动终端执行的处理的流程
46.3-3.第三实施方式的效果
47.3-4.第三实施方式的变型
48.3-5.第三实施方式的变型的效果
49.4.第四实施方式
50.4-1.第四实施方式的移动终端的概述
51.4-2.移动终端的功能配置
52.4-3.由移动终端执行的处理的流程
53.4-4.第四实施方式的效果
54.5.第五实施方式
55.5-1.第五实施方式的信息处理装置的概述
56.5-2.信息处理装置的硬件配置
57.5-3.信息处理装置的功能配置
58.5-4.第五实施方式的效果
59.(1.第一实施方式)
60.本公开内容的第一实施方式是具有根据显示区域上的触摸操作改变在可折叠显示区域上显示的3d模型的显示模式的功能的移动终端(信息处理装置)的示例。
61.[1-1.第一实施方式的移动终端的概述]
[0062]
图1示出了根据第一实施方式的包括可折叠显示单元的移动终端的一个示例。移动终端10a包括均为可折叠的第一显示区域s1、第二显示区域s2和第三显示区域s3。第一显示区域s1和第二显示区域s2可以以转动轴a1为支承轴自由地转动。此外，第二显示区域s2和第三显示区域s3可以以转动轴a2为支承轴自由地转动。图1示出了第一显示区域s1和第二显示区域s2，它们被设置成形成角度θ1(θ1》180
°
)。此外，图1示出了第二显示区域s2和第三显示区域s3，它们被设置成形成角度θ2(θ2》180
°
)。如上所述，第一显示区域s1、第二显示区域s2和第三显示区域s3具有对于每个显示区域不同——即部分不同的——的法线方向。也就是说，移动终端10a包括具有法线方向部分改变的显示区域(第一显示区域s1、第二显示区域s2和第三显示区域s3)的显示单元。注意，移动终端10a是本公开内容中的信息处理装置的一个示例。
[0063]
在移动终端10a中，例如，在第二显示区域s2中绘制有3d模型14m。在第二显示区域s2中显示增强现实(ar)标记12时由在移动终端10a中进行操作的ar应用检测到ar标记12的情况下，在ar标记12的位置处显示3d模型14m。
[0064]
3d模型14m是通过对多个视点图像执行3d建模生成的被摄体模型，多个视点图像是通过利用多个同步成像装置对被摄体进行体积捕获而获得的。也就是说，3d模型14m具有关于被摄体的三维信息。3d模型14m包括网格数据、纹理信息和深度信息(距离信息)。网格数据表达关于顶点的连接中的被摄体的几何信息，其被称为多边形网格。纹理信息和深度信息与每个多边形网格对应。注意，3d模型14m具有的信息不限于此。3d模型14m可以包括其他信息。
[0065]
当移动终端10a的用户用他/她的手指fl在第一显示区域sl上执行触摸操作时，通
过层压在第一显示区域sl上的触摸面板的动作来检测触摸操作的内容。然后，根据检测到的触摸操作的内容改变3d模型14m的显示模式。
[0066]
此外，当移动终端10a的用户用他/她的手指f2在第三显示区域s3上执行触摸操作时，通过层压在第三显示区域s3上的触摸面板的动作来检测触摸操作的内容。然后，根据检测到的触摸操作的内容改变3d模型14m的显示模式。
[0067]
此外，当移动终端10a的用户用他/她的手指f1或f2在第二显示区域s2上执行触摸操作时，通过层压在第二显示区域s2上的触摸面板的动作来检测触摸操作的内容。然后，根据检测到的触摸操作的内容改变3d模型14m的显示模式。注意，如图1所示，为了方便起见，在本公开内容中将从仅单方向欣赏3d模型14m的模式被称为单向欣赏模式。
[0068]
图2示出了根据第一实施方式的移动在移动终端上显示的3d模型的方法的一个示例。
[0069]
首先，将描述通过在被设置成与第二显示区域s2一起形成角度θ1(θ1》180
°
)的第一显示区域s1上执行触摸操作来改变显示在第二显示区域s2中的3d模型14m的显示模式的情况。通过在第一显示区域s1上执行轻拂操作(使触摸画面的手指在特定方向上翻动的操作)或滑动操作(使触摸画面的手指在特定方向上移动的操作，也称为划动操作)来改变3d模型14m的显示模式。注意，关于在第一显示区域s1上执行轻拂操作或滑动操作的方向，如图2所示，朝向后侧的方向被限定为l1，朝向前侧的方向被限定为r1，朝向上侧的方向被限定为u1，并且朝向下侧的方向被限定为d1。
[0070]
在这种情况下，通过在ll方向上执行轻拂操作而在箭头kl的方向上旋转在第二显示区域s2上显示的3d模型14m。相比之下，通过在r1方向上执行轻拂操作，在箭头k2的方向上旋转3d模型14m。注意，预先设置一次轻拂操作的旋转量。例如，当一次轻拂操作的旋转量被设置为20
°
时，9次轻拂操作可以使3d模型14m反转(将3d模型14m在箭头k1或k2的方向上旋转180
°
)。
[0071]
此外，通过在l1方向上执行滑动操作，使在第二显示区域s2上显示的3d模型14m在y+方向上平移。即，从用户观看时，3d模型14m移开。此外，通过在r1方向上执行滑动操作使3d模型14m在y-方向上平移。即，3d模型14m在更靠近用户的方向上移动。此外，通过在u1方向上执行滑动操作使3d模型14m在z+方向上平移。即，3d模型14m在第二显示区域s2中向上移动。此外，通过在d1方向上执行滑动操作使3d模型14m在z-方向上平移。即，3d模型14m在第二显示区域s2中向下移动。
[0072]
如上所述，在本实施方式中，通过使在第一显示区域sl上执行的操作从根据第一显示区域s1的法线方向的方向作用于在第二显示区域s2中显示的3d模型14m来改变3d模型14m的显示模式。这使得3d模型14m能够进行直观的三维移动。
[0073]
接下来，将描述通过在被设置成与第二显示区域s2一起形成角度θ2(θ2》180
°
)的第三显示区域s3上执行触摸操作来改变显示在第二显示区域s2中的3d模型14m的显示模式的情况。通过在第三显示区域s3上执行轻拂操作或滑动操作来改变3d模型14m的显示模式。注意，关于在第三显示区域s3上执行轻拂操作或滑动操作的方向，如图2所示，朝向后侧的方向被限定为r3，朝向前侧的方向被限定为l3，朝向上侧的方向被限定为u3，并且朝向下侧的方向被限定为d3。
[0074]
在这种情况下，通过在r3方向上执行轻拂操作而在箭头k2的方向上旋转在第二显
示区域s2上显示的3d模型14m。相比之下，通过在l3方向上执行轻拂操作，3d模型14m在箭头k1的方向上旋转。
[0075]
此外，通过在r3方向上执行滑动操作，使在第二显示区域s2上显示的3d模型14m在y+方向上平移。即，从用户观看时，3d模型14m移开。此外，通过在l3方向上执行滑动操作使3d模型14m在y-方向上平移。即，3d模型14m在更靠近用户的方向上移动。此外，通过在u3方向上执行滑动操作使3d模型14m在z+方向上平移。即，3d模型14m在第二显示区域s2中向上移动。此外，通过在d3方向上执行滑动操作，使3d模型14m在z-方向上平移。即，3d模型14m在第二显示区域s2中向下移动。
[0076]
如上所述，在本实施方式中，通过使在第三显示区域sl上执行的操作从根据第三显示区域s3的法线方向的方向作用于在第二显示区域s2中显示的3d模型14m来改变3d模型14m的显示模式。这使得3d模型14m能够进行直观的三维移动。
[0077]
接下来，将描述通过在第二显示区域s2上执行触摸操作来改变在第二显示区域s2中显示的3d模型14m的显示模式的情况。通过在第二显示区域s2上执行轻拂操作或滑动操作来改变3d模型14m的显示模式。注意，关于在第二显示区域s2上执行轻拂操作或滑动操作的方向，如图2所示，朝向上侧的方向被限定为u2，朝向下侧的方向被限定为d2，朝向左侧的方向被限定为l2，并且朝向右侧的方向被限定为r2。
[0078]
在这种情况下，通过在r2方向上执行轻拂操作而在箭头k2的方向上旋转在第二显示区域s2上显示的3d模型14m。相比之下，通过在l2方向上执行轻拂操作，3d模型14m在箭头k1的方向上旋转。
[0079]
此外，通过在l2方向上执行滑动操作使显示在第二显示区域s2上的3d模型14m在x-方向上平移。即，从用户观看时，3d模型14m向左移动。此外，通过在r2方向上执行滑动操作使3d模型14m在x+方向上平移。即，从用户观看时，3d模型14m向右移动。此外，通过在u2方向上执行滑动操作使3d模型14m在z+方向上平移。即，3d模型14m在第二显示区域s2中向上移动。此外，通过在d2方向上执行滑动操作，使3d模型14m在z-方向上平移。即，3d模型14m在第二显示区域s2中向下移动。
[0080]
如上所述，虽然难以通过第二显示区域s2上的直观操作使3d模型14m在第二显示区域s2的深度方向上移动，从第一显示区域s1或第三显示区域s3给出的操作指令使能3d模型14m在深度方向上的直观移动。
[0081]
[1-2.移动终端的硬件配置]
[0082]
图3是示出根据第一实施方式的移动终端的硬件配置的一个示例的硬件框图。特别地，图3仅示出了本实施方式的移动终端10a的硬件部件中的与本实施方式有关的元件。即，移动终端10a具有其中中央处理单元(cpu)20、只读存储器(rom)21、随机存取存储器(ram)22、存储单元24和通信接口25通过内部总线23连接的配置。
[0083]
cpu 20通过在ram 22上开发和执行存储在存储单元24或rom 21中的控制程序pl来控制移动终端10a的整个操作。即，移动终端10a具有由控制程序p1操作的通用计算机的配置。注意，可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供控制程序p1。此外，移动终端10a可以利用硬件执行一系列处理。
[0084]
存储单元24包括例如闪速存储器，并且存储由cpu 20执行的控制程序pl以及关于3d模型m的信息等。3d模型m包括关于预先创建的被摄体的3d信息。3d模型m包括通过从多个
方向观察被摄体获得的多个3d模型14m。注意，由于3d模型m通常具有大容量，因此3d模型m可以经由因特网等从连接至移动终端10a的外部服务器(未示出)下载，并且必要时被存储在存储单元24中。
[0085]
通信接口25经由传感器接口30连接至旋转编码器31。旋转编码器31安装在转动轴a1和转动轴a2上，并且检测由显示区域围绕转动轴a1或转动轴a2形成的旋转角度。旋转编码器31包括盘和固定狭缝。盘与转动轴一起旋转，并且包括根据径向位置以多个节距形成的狭缝。固定狭缝安装在盘附近。通过在盘上施加光并检测穿过狭缝的透过光来输出旋转角度的绝对值。注意，除了旋转编码器31之外，能够检测围绕轴的旋转角度的任何传感器也都可以替换。例如，可以使用可变电阻器和可变电容器。可变电阻器的电阻值根据围绕轴的旋转角度而变化。可变电容器的电容值根据围绕轴的旋转角度而变化。
[0086]
此外，通信接口25经由触摸面板接口32获取关于层压在移动终端10a的第一显示区域至第三显示区域(s1、s2和s3)上的触摸面板33的操作信息。
[0087]
此外，通信接口25经由显示接口34在构成第一显示区域至第三显示区域(s1、s2和s3)的显示面板35上显示图像信息。显示面板35包括例如有机el面板和液晶面板。
[0088]
此外，虽然未示出，但是通信接口25通过无线通信与外部服务器(未示出)等进行通信，并且接收新的3d模型m等。
[0089]
[1-3.移动终端的功能配置]
[0090]
图4是示出根据第一实施方式的移动终端的功能配置的一个示例的功能框图。移动终端10a的cpu 20通过在ram 22上开发和操作控制程序p1来实现图4中的显示表面角度检测单元40、触摸操作检测单元41和显示控制单元42作为功能单元。
[0091]
显示表面角度检测单元40检测第一显示区域sl和第二显示区域s2的法线方向中的每一个。特别地，本实施方式的显示表面角度检测单元40检测第一显示区域s1的法线方向与第二显示区域s2的法线方向之间的差异，即，由第一显示区域s1和第二显示区域s2形成的角度θ1。此外，显示表面角度检测单元40检测第二显示区域s2和第三显示区域s3的法线方向中的每一个。特别地，本实施方式的显示表面角度检测单元40检测第二显示区域s2的法线方向与第三显示区域s3的法线方向的差异，即，由第二显示区域s2和第三显示区域s3形成的角度θ2。注意，显示表面角度检测单元40是本公开内容中的第一检测单元的一个示例。
[0092]
触摸操作检测单元41检测第一显示区域sl(显示区域)、第二显示区域s2(显示区域)和第三显示区域s3(显示区域)上的触摸操作。具体地，触摸操作与图2中描述的各种操作对应。注意，触摸操作检测单元41是本公开内容中的第二检测单元的一个示例。
[0093]
显示控制单元42通过使在第一显示区域sl上执行的操作从根据第一显示区域sl的法线方向的方向作用于3d模型14m来改变3d模型14m(对象)的显示模式。此外，显示控制单元42通过使在第三显示区域s3上执行的操作从根据第三显示区域s3的法线方向的方向作用于3d模型14m来改变3d模型14m的显示模式。此外，显示控制单元42通过使在第二显示区域s2上执行的操作作用于3d模型14m来改变3d模型14m的显示模式。显示控制单元42还包括3d模型帧选择单元42a和渲染处理单元42b。注意，显示控制单元42是控制单元的一个示例。
[0094]
3d模型帧选择单元42a根据用户的操作指令从存储在存储单元38中的多个3d模型
m中选择3d模型14m。例如，当触摸操作检测单元41检测到在图2中的箭头k1或k2的方向上使3d模型14m旋转90
°
的指令时，3d模型帧选择单元42a从存储在存储单元24中的3d模型m中选择通过使3d模型14m旋转90
°
获得的3d模型。
[0095]
渲染处理单元42b在第二显示区域s2中绘制由3d模型帧选择单元42a选择的3d模型，即，渲染3d模型。
[0096]
[1-4.由移动终端执行的处理的流程]
[0097]
图5是示出根据第一实施方式的由移动终端执行的处理流程的一个示例的流程图。在下文中，按顺序描述处理的流程。
[0098]
显示控制单元42确定移动终端10a是否处于执行单方向欣赏模式的状态(步骤s10)。注意，移动终端10a包括多个显示模式，并且可以在菜单画面(未示出)中选择要执行的显示模式。当在步骤s10中确定移动终端10a处于执行单方向欣赏模式的状态(步骤s10：是)时，处理进行至步骤s11。相反，当未确定移动终端10a处于执行单方向欣赏模式的状态(步骤s10：否)时，重复步骤s10。
[0099]
在步骤s10中确定为是的情况下，渲染处理单元42b在第二显示区域s2中绘制由3d模型帧选择单元42a选择的3d模型14m(步骤s11)。
[0100]
显示表面角度检测单元40确定角度θ1和角度θ2两者是否等于或大于预定值(例如，180
°
)(步骤s12)。当确定角度θ1和角度θ2两者等于或大于预定值(步骤s12：是)时，处理进行至步骤s13。相反，当确定角度θ1和角度θ2两者不等于或大于预定值(步骤s12：否)时，重复步骤s12。
[0101]
触摸操作检测单元41确定是否给出使3d模型14m移动的指令(步骤s13)。当确定给出移动指令(步骤s13：是)时，处理进行至步骤s14。相反，当确定给出移动指令(步骤s133：否)时，重复步骤s12。
[0102]
在步骤s13中确定为是的情况下，根据第二显示区域s2中的移动指令，渲染处理单元42b重新绘制由3d模型帧选择单元42a从3d模型m中选择的3d模型14m(步骤s14)。
[0103]
随后，渲染处理单元42b根据由触摸操作检测单元41检测到的操作指令，来确定3d模型14m的绘制位置是否已接近移动目标点(步骤s15)。当根据操作指令确定绘制位置已接近移动目标点(步骤s15：是)时，处理进行至步骤s16。相反，当根据操作指令未确定绘制位置接近移动目标点(步骤s15：否)时，处理返回至步骤s14。
[0104]
在步骤s15中确定为是的情况下，显示控制单元42确定移动终端10a是否已被指示结束单方向欣赏模式(步骤s16)。当确定移动终端10a已被指示结束单方向欣赏模式(步骤s16：是)时，移动终端10a结束图5中的处理。相反，当未确定移动终端10a已被指示结束单方向欣赏模式(步骤s16：否)时，处理返回至步骤s12。
[0105]
[1-5.第一实施方式的效果]
[0106]
如上所述，根据第一实施方式的移动终端10a，显示表面角度检测单元40(第一检测单元)检测显示面板35(显示单元)的法线方向。显示面板35包括其法线方向部分地改变的显示区域(第一显示区域s1、第二显示区域s2和第三显示区域s3)。然后，检测相邻显示区域的法线方向之间的差异，即由相邻显示区域形成的角度θ1和θ2。然后，当角度θ1和θ2等于或大于预定值时，触摸操作检测单元41(第二检测单元)检测每个显示区域上的触摸操作。显示控制单元42(控制单元)根据显示区域(第一显示区域s1、第二显示区域s2和第三显示
区域s3)中的每一个上的触摸操作来改变在第二显示区域s2中显示的3d模型14m(对象)的显示模式。
[0107]
这使得能够通过直观操作从指定方向自由地观察移动终端10a上显示的3d模型14m。
[0108]
此外，根据第一实施方式的移动终端10a，显示区域(第一显示区域s1、第二显示区域s2和第三显示区域s3)包括可折叠的显示设备。
[0109]
这使得能够自由地设置对3d模型14m执行操作的方向。
[0110]
此外，根据第一实施方式的移动终端10a，显示控制单元42(控制单元)通过使在显示区域(第一显示区域sl、第二显示区域s2和第三显示区域s3)上执行的操作从与显示区域(第一显示区域s1、第二显示区域s2和第三显示区域s3)的法线方向对应的方向作用于3d模型14m(对象)来改变3d模型14m的显示模式。
[0111]
这使得能够直观地且三维地改变3d模型14m的显示形式。
[0112]
(2.第二实施方式)
[0113]
本公开内容的第二实施方式是具有以根据可折叠显示区域在显示区域上的取向的形式显示3d模型的功能的移动终端(信息处理装置)的示例。
[0114]
[2-1.第二实施方式的移动终端的概述]
[0115]
将参照图6和图7概述第二实施方式的移动终端10a。图6概述了第二实施方式的移动终端。图7示出了根据第二实施方式的在移动终端上显示的画面的一个示例。
[0116]
图6示出了如从正上方观看的通过使用实施方式的移动终端10a观察(观看)的3d模型14m。如第一实施方式中所述，移动终端10a包括三个可折叠显示区域(第一显示区域s1、第二显示区域s2和第三显示区域s3)。
[0117]
在这种情况下，移动终端10a在每个显示区域(s1、s2和s3)上显示3d模型14m的图像。从面向每个显示区域的法线方向的虚拟摄像装置(c1、c2和c3)观察3d模型14m。也就是说，通过以根据角度θ1的角度差观察3d模型14m获得的图像被显示在第一显示区域s1和第二显示区域s2上。此外，通过以根据角度θ2的角度差观察3d模型14m获得的图像被显示在第二显示区域s2和第三显示区域s3上。
[0118]
注意，需要预先指定移动终端10a与3d模型14m之间的距离和参考方向。例如，移动终端10a以第二显示区域s2作为参考表面，在第二显示区域s2中显示从默认距离和方向观察的3d模型14m的图像。然后，移动终端10a在第一显示区域s1中显示通过从根据角度θ1的方向观察3d模型14m获得的图像，该角度θ1由第一显示区域s1和第二显示区域s2形成。此外，移动终端10a在第三显示区域s3中显示通过从根据角度θ2的方向观察3d模型14m获得的图像，该角度θ2由第二显示区域s2和第三显示区域s3形成。
[0119]
图7示出了在移动终端10a被设置成处于图6的状态的情况下在每个显示区域(s1、s2和s3)中显示的3d模型14m的显示示例。即，在第二显示区域s2中显示通过从默认距离和方向观察3d模型14m获得的3d模型14m2。然后，代替3d模型14m2，在第一显示区域s1中显示通过从根据角度θ1的角度差的方向观察3d模型14m获得的3d模型14m1。此外，代替3d模型14m2，在第三显示区域s3中显示通过从根据角度θ2的角度差的方向观察3d模型14m获得的3d模型14m3。
[0120]
注意，为了方便起见，在本公开内容中，如图6所示的从多个方向同时观察3d模型
14m的模式被称为多方向同时欣赏模式。
[0121]
由于本实施方式的移动终端10a具有与第一实施方式的移动终端10a相同的硬件配置和功能配置，因此将省略硬件配置和功能配置的描述。
[0122]
[2-2.由移动终端执行的处理的流程]
[0123]
图8是示出根据第二实施方式的由移动终端执行的处理流程的一个示例的流程图。在下文中，按顺序描述处理的流程。
[0124]
显示控制单元42确定移动终端10a是否处于执行多方向同时欣赏模式的状态(步骤s20)。注意，移动终端10a包括多个显示模式，并且可以在菜单画面(未示出)中选择要执行的显示模式。当在步骤s20中确定移动终端10a处于执行多方向同时欣赏模式的状态(步骤s20：是)时，处理进行至步骤s21。相反，当未确定移动终端10a处于执行多方向同时欣赏模式的状态(步骤s20：否)时，重复步骤s20。
[0125]
在步骤s20中确定为是的情况下，渲染处理单元42b在第二显示区域s2中绘制由3d模型帧选择单元42a选择并从默认方向观看的3d模型14m2(参见图7)(步骤s21)。
[0126]
显示表面角度检测单元40确定角度θ1是否等于或大于180
°
(步骤s22)。当确定角度θ1等于或大于180
°
(步骤s22：是)时，处理进行至步骤s23。相反，当未确定角度θ1等于或大于180
°
(步骤s22：否)时，处理进行至步骤s24。
[0127]
在步骤s22中确定为是的情况下，渲染处理单元42b在第一显示区域sl中根据角度θl绘制3d模型14ml(参见图7)(步骤s23)。此后，处理进行至步骤s25。
[0128]
相反，在步骤s22中确定为否的情况下，渲染处理单元42b删除第一显示区域sl(步骤s24)。此后，处理进行至步骤s25。
[0129]
在步骤s23或s24之后，显示表面角度检测单元40确定角度θ2是否等于或大于180
°
(步骤s25)。当确定角度θ2等于或大于180
°
(步骤s22：是)时，处理进行至步骤s26。相反，当未确定角度θ2等于或大于180
°
(步骤s25：否)时，处理进行至步骤s27。
[0130]
在步骤s25中确定为是的情况下，渲染处理单元42b在第三显示区域s3中根据角度θ2绘制3d模型14m3(参见图7)(步骤s26)。此后，处理进行至步骤s28。
[0131]
相反，在步骤s25中确定为否的情况下，渲染处理单元42b删除第三显示区域s3(步骤s27)。此后，处理进行至步骤s28。
[0132]
在步骤s26或s27之后，显示控制单元42确定移动终端10a是否已被指示结束多方向同时欣赏模式(步骤s28)。当确定移动终端10a已被指示结束多方向同时欣赏模式(步骤s28：是)时，移动终端10a结束图8中的处理。相反，当确定移动终端10a被指示结束多方向同时欣赏模式(步骤s28：否)时，处理返回至步骤s22。
[0133]
[2-3.第二实施方式的效果]
[0134]
如上所述，根据第二实施方式的移动终端10a，显示控制单元42(控制单元)将3d模型14m(对象)改变为处于从第一显示区域s1、第二显示区域s2和第三显示区域s3的法线方向观看的模式，并在每个显示区域(s1、s2和s3)中绘制3d模型14m。
[0135]
这使得能够容易地从多个自由方向观察3d模型14m。
[0136]
(3.第三实施方式)
[0137]
本公开内容的第三实施方式是具有从四个方向观察3d模型的功能的移动终端(信息处理装置)的示例。在第三实施方式中，包括可折叠的四个显示区域的移动终端被设置在
四角形椎体中。3d模型虚拟地存在于四角形椎体内部。
[0138]
[3-1.第三实施方式的移动终端的概述]
[0139]
将参照图9概述第三实施方式的移动终端10b。图9概述第三实施方式的移动终端。
[0140]
移动终端10b的显示面板35(显示单元)(参见图3)包括四个连续的显示区域(第一显示区域s1、第二显示区域s2、第三显示区域s3和第四显示区域s4)。每个显示区域(s1、s2、s3和s4)可以以相邻显示区域之间设置的转动轴为支承轴自由转动(参见图1)。
[0141]
在本实施方式中，移动终端10b设置有构成四角形椎体(柱状体)的显示区域(s1、s2、s3和s4)。然后，假设3d模型14m虚拟地存在于四角形椎体内部，移动终端10b在每个显示区域中绘制通过从每个显示区域的法线方向观察3d模型14m获得的图像。以这种方式，通过从四个方向观察3d模型14m获得的图像被显示在每个显示区域中。
[0142]
即，如图9所示，在第一显示区域sl中显示通过用虚拟摄像装置cl观察3d模型14m获得的图像。虚拟摄像装置c1面向第一显示区域s1的法线方向。类似地，在第二显示区域s2中显示通过用虚拟摄像装置c2观察3d模型14m获得的图像。虚拟摄像装置c2面向第二显示区域s2的法线方向。此外，在第三显示区域s3中显示通过用虚拟摄像装置c3观察3d模型14m获得的图像。虚拟摄像装置c3面向第三显示区域s3的法线方向。然后，在第四显示区域s4中显示通过用虚拟摄像装置c4观察3d模型14m获得的图像。虚拟摄像装置c4面向第四显示区域s4的法线方向。
[0143]
此处，由移动终端10b的显示区域形成的四角形椎体逆时针旋转90
°
，同时保持四角形椎体的形状。在这种情况下，移动终端10b与3d模型14m一起旋转。因此，不管四角形椎体的旋转角度如何，在每个显示区域(s1、s2、s3和s4)中显示相同的图像。
[0144]
如上所述，移动终端10b使得通过以根据显示区域的法线方向的模式在由显示区域(s1、s2、s3和s4)形成的四角形椎体中显示3d模型14m，使得许多人能够从多个方向同时观察3d模型14m。此外，可以通过使四角形椎体旋转从自由方向观察3d模型14m。注意，为了方便起见，在本公开内容中，如本实施方式中的许多人同时从多个方向观察3d模型14m的模式被称为多人欣赏模式。
[0145]
注意，虽然移动终端10b已经被描述为具有四个显示区域，但是显示区域的数量不限于四个。也就是说，只要通过折叠显示面板35(显示单元)形成柱状体，则可以获得与上述相同的功能效果。即，至少需要提供三个显示区域。在这种情况下，由于通过折叠显示面板35形成三角棱柱，因此移动终端10b可以显示通过从三个不同方向观察3d模型14m获得的图像。注意，即使具有等于或大于五个显示区域的移动终端10b也可以获得类似的功能效果。
[0146]
通过将例如陀螺仪传感器36(未示出)作为检测四角形椎体形状的移动终端10b的旋转角度的传感器添加到第一实施方式中描述的移动终端10a的硬件配置来获得移动终端10b的硬件配置。此外，通过将检测四角形椎体形状的移动终端10b的旋转角度的旋转角度检测单元46(未示出)添加到第一实施方式中描述的移动终端10a的硬件配置来获得移动终端10b的功能配置。
[0147]
[3-2.由移动终端执行的处理的流程]
[0148]
图10是示出根据第三实施方式的由移动终端执行的处理流程的一个示例的流程图。在下文中，按顺序描述处理的流程。
[0149]
显示控制单元42确定移动终端10b是否处于执行多人欣赏模式的状态(步骤s30)。
注意，移动终端10b包括多个显示模式，并且可以在菜单画面(未示出)中选择要执行的显示模式。当在步骤s30中确定移动终端10b处于执行多人欣赏模式的状态(步骤s30：是)时，处理进行至步骤s31。相反，当未确定移动终端10b处于执行多人欣赏模式的状态(步骤s30：否)时，重复步骤s30。
[0150]
渲染处理单元42b在移动终端10b的每个显示区域(s1、s2、s3和s4)中绘制通过从预设默认方向观察3d模型14m获得的图像(步骤s31)。预设默认方向例如由诸如在第一显示区域s1中绘制从前方观看的3d模型14m的图像的布置来确定。当确定第一显示区域s1的观察方向时，唯一地确定其他显示区域(s2、s3和s4)的观察方向。
[0151]
接下来，旋转角度检测单元46(未示出)确定形成四角形椎体的移动终端10b的方向是否已改变，即，移动终端10b是否已旋转(步骤s32)。当确定移动终端10b的方向已改变(步骤s32：是)时，处理进行至步骤s33。相反，当确定移动终端10b的方向未改变(步骤s32：否)时，重复步骤s32中的确定。
[0152]
在步骤s32中确定为是的情况下，3d模型帧选择单元42a根据移动终端10b的方向来生成要在每个显示区域(s1、s2、s3和s4)中绘制的图像(步骤s33)。具体地，3d模型帧选择单元42a根据每个显示区域的方向从存储单元24中存储的3d模型m中选择3d模型。
[0153]
然后，渲染处理单元42b在对应的显示区域(s1、s2、s3和s4)中的每一个中绘制在步骤s33中生成的每个图像(步骤s34)。
[0154]
接下来，显示控制单元42确定移动终端10b是否已被指示结束多人欣赏模式(步骤s35)。当确定移动终端10b已被指示结束多人欣赏模式(步骤s35：是)时，移动终端10b结束图10中的处理。相反，当未确定移动终端10b被指示结束多人欣赏模式(步骤s35：否)时，处理返回至步骤s32。
[0155]
[3-3.第三实施方式的效果]
[0156]
如上所述，根据第三实施方式的移动终端10b(信息处理装置)，显示面板35(显示单元)包括至少三个或更多个显示区域(第一显示区域s1、第二显示区域s2、第三显示区域s3和第四显示区域s4)。当显示面板35被设置在柱状体中时，显示控制单元42(控制单元)将在每个显示区域中显示并且虚拟地存在于柱状体内部的3d模型14m(对象)的显示模式改变为处于从每个显示区域的法线方向观看的模式。
[0157]
这使得3d模型14m能够被许多人从多个方向同时观察(观看)。
[0158]
此外，根据第三实施方式的移动终端10b，当由移动终端10b的显示区域形成的柱状体围绕3d模型14m(对象)旋转时，显示控制单元42(控制单元)使3d模型14m与显示区域(第一显示区域s1、第二显示区域s2、第三显示区域s3和第四显示区域s4)一起旋转。
[0159]
这使得用户能够通过改变形成柱状体的移动终端10b的方向从自由方向观察(观看)3d模型14m。
[0160]
[3-4.第三实施方式的变型]
[0161]
图11概述了第三实施方式的变型。第三实施方式的变型是具有从四个方向观察3d模型的功能的移动终端(信息处理装置)的示例。在第三实施方式中，包括可折叠的四个显示区域的移动终端被设置在四角形椎体中。3d模型存在于四角形椎体内部。特别地，当设置在四角形椎体中的移动终端10b在保持四角形椎体的形状的同时旋转时，第三实施方式的变型的移动终端不使虚拟地存在于柱状体内的3d模型14m与移动终端10b一起旋转。
[0162]
也就是说，如图11所示，在第一显示区域sl至第四显示区域s4中显示通过用虚拟摄像装置c1至c4观察3d模型14m获得的图像。
[0163]
在该状态下，由移动终端10b的显示区域形成的四角形椎体逆时针旋转90
°
，同时保持四角形椎体的形状。在这种情况下，移动终端10b在没有3d模型14m的情况下旋转。因此，在从相同方向观察(观看)到图像的情况下，即使显示区域(s1、s2、s3和s4)改变，也始终会观察到相同的图像。
[0164]
例如，在图11的示例中，在旋转移动终端10b之前，在第一显示区域sl中绘制从前方观看的3d模型14m的图像。然后，当移动终端10b逆时针旋转90
°
时，第四显示区域s4到达已经提供第一显示区域s1的位置。然后，在第四显示区域s4中绘制从前方观看的3d模型14m的图像。如上所述，始终可以从相同方向观察(观看)到相同的图像。也就是说，移动终端10b可以被视为表现出覆盖3d模型14m的情况。
[0165]
[3-5.第三实施方式的变型的效果]
[0166]
如上所述，根据第三实施方式的移动终端10b(信息处理装置)，当由移动终端10b的显示区域形成的柱状体围绕3d模型14m(对象)旋转时，显示控制单元42(控制单元)不使3d模型14m与显示区域(第一显示区域s1、第二显示区域s2、第三显示区域s3和第四显示区域s4)一起旋转。
[0167]
这使得无论移动终端10b的安装方向如何，都能够始终从相同方向观察(观看)到相同图像。
[0168]
(4.第四实施方式)
[0169]
本公开内容的第四实施方式是具有以下功能的移动终端(信息处理装置)的示例：检测显示单元的折叠操作和用户(观察者和操作者)面向的显示区域并将显示在显示区域中的3d模型移动至用户可以容易地观察(观看)到3d模型。
[0170]
[4-1.第四实施方式移动终端的概述]
[0171]
将参照图12概述第四实施方式的移动终端10c。图12概述了根据第四实施方式的移动终端。
[0172]
如在上述实施方式中的每一个中那样，移动终端10c包括多个可折叠显示区域(图12的示例中的三个显示区域(s1、s2和s3))。3d模型14m被显示在显示区域中的任何一个中。此外，在每个显示区域的附近安装在每个显示区域的方向上捕获图像的摄像装置36a、36b和36c。这些摄像装置(36a、36b和36c)对操作移动终端10c的用户的面部进行成像。由每个摄像装置(36a、36b和36c)捕获的图像在移动终端10c内部被处理以确定用户的面部面向显示区域(s1、s2和s3)中的哪一个。然后，移动终端10c将3d模型14m的显示位置移动至被确定为由用户面向的显示区域。这使得移动终端10c无论显示区域(s1、s2和s3)的折叠状态如何都在容易地观察(观看)到3d模型14m的显示区域中显示3d模型14m。
[0173]
将参照图12描述移动终端10c的具体操作。在初始状态下，在每个显示区域(sl、s2和s3)打开的情况下，在第一显示区域sl中显示3d模型14m。当显示区域在这种状态下完全折叠时，如图12的右上方所示的，第二显示区域s2移动至前侧，而其他显示区域被隐藏在第二显示区域s2的后面。虽然图12示出了为了说明而移位的位置处的显示区域，但是第一显示区域s1和第三显示区域s3实际上隐藏在第二显示区域s2之后。然后，移动终端10c确定用户面向第二显示区域s2，并在第二显示区域s2中绘制3d模型14m。
[0174]
折叠移动终端10c的显示区域的操作经历如图12的右下方所示的那样显示区域的角度改变的状态，并且转变至如图12的右上方所示的那样显示区域完全被折叠的状态。此外，当用户用他/她的手握持处于初始状态的移动终端10c并观察(观看)3d模型14m时，每个显示区域的角度如图12的右下方所示的那样例如在移动的中间改变。
[0175]
如上所述，在移动终端10c处于图12的右下方的状态时，移动终端10c检测由用户面向的显示区域，并将3d模型14m移动至确定为由用户面向的显示区域。
[0176]
在图12的右下方的示例中，移动终端10c确定用户面向第二显示区域s2，并将在第一显示区域sl中绘制的3d模型14m移动至第二显示区域s2。图12右下方的图示出了在移动的中间的3d模型14m。注意，在第一显示区域s1中绘制的3d模型14m可以被删除并移动至第二显示区域s2，而无需在移动的中间经过这样的状态。
[0177]
注意，除了通过使用由摄像装置36a、36b和36c捕获的图像来确定由用户面向的显示区域之外，还可以检测由用户抓握的显示区域，以避免在显示区域中绘制3d模型14m。可以通过分析每个显示区域的触摸面板33(参见图3)的输出来确定用户是否抓握显示区域。
[0178]
在本公开内容中，为了方便起见，将如图12所示的那样将3d模型14m移动至容易地观察(观看)到3d模型14m的适当位置的模式称为3d模型移动显示模式。
[0179]
注意，本实施方式的移动终端10c的硬件配置是通过将用于每个显示区域的摄像装置36a、36b和36c添加到第一实施方式的移动终端10a的硬件配置而获得的。
[0180]
[4-2.移动终端的功能配置]
[0181]
图13是示出根据第四实施方式的移动终端的功能配置的一个示例的功能框图。与移动终端10a(参见图4)的功能配置相比，移动终端10c包括面部检测单元43和画面抓握检测单元44。注意，移动终端10a的触摸操作检测单元41可以替换画面抓握检测单元44。
[0182]
面部检测单元43基于由摄像装置36a、36b和36c捕获的用户面部的图像来确定用户面向哪个显示区域。
[0183]
画面抓握检测单元44检测用户抓握显示区域。当显示区域被抓握时，手指的接触区域通常增加，使得画面抓握检测单元44在接触区域的大小超过预定值的情况下确定显示区域被抓握。然后，当确定显示区域被抓握时，画面抓握检测单元44确定用户未面向显示区域。注意，由于在折叠状态下握持的显示区域隐藏在前侧的显示区域中，因此隐藏的显示区域的摄像装置不识别用户面部。因此，通常，只要至少提供面部检测单元43，则可以检测出用户面向显示区域的状态。然后，移动终端10c可以通过结合使用画面抓握检测单元44的检测结果来提高由用户面向的显示区域的检测准确度。
[0184]
[4-3.由移动终端执行的处理的流程]
[0185]
图14是示出根据第四实施方式的由移动终端执行的处理流程的一个示例的流程图。在下文中，按顺序描述处理的流程。注意，为了简单起见，将假设仅使用面部检测单元43的检测结果而不使用画面抓握检测单元44来检测由用户面向的显示区域来给出描述。
[0186]
显示控制单元42确定移动终端10c是否处于执行3d模型移动显示模式的状态(步骤s40)。注意，移动终端10c包括多个显示模式，并且可以在菜单画面(未示出)中选择要执行的显示模式。当在步骤s40中确定移动终端10c处于执行3d模型移动显示模式的状态(步骤s40：是)时，处理进行至步骤s41。相反，当未确定移动终端10c处于执行3d模型移动显示模式的状态(步骤s40：否)时，重复步骤s40。
[0187]
在步骤s40中确定为是的情况下，渲染处理单元42b在作为默认显示区域的第一显示区域sl中绘制3d模型14m(步骤s41)。
[0188]
显示表面角度检测单元40确定显示单元是否被折叠(步骤s42)。当确定显示单元被折叠(步骤s42：是)时，处理进行至步骤s43。相反，当未确定显示单元被折叠(步骤s42：否)时，处理进行至步骤s45。
[0189]
在步骤s42中确定为是的情况下，面部检测单元43确定第二显示区域s2是否面向用户(步骤s43)。当确定第二显示区域s2面向用户(步骤s43：是)时，处理进行至步骤s44。相反，当未确定第二显示区域s2面向用户(步骤s43：否)时，处理进行至步骤s42。
[0190]
相反，在步骤s42中确定为否的情况下，显示表面角度检测单元40确定每个显示区域的角度是否改变(步骤s45)。当确定每个显示区域的角度改变(步骤s45：是)时，处理进行至步骤s46。相反，当未确定每个显示区域的角度改变(步骤s45：否)时，处理进行至步骤s42。
[0191]
在步骤s45中确定为是的情况下，面部检测单元43确定第一显示区域s1是否面向用户(步骤s46)。当确定第一显示区域s1面向用户(步骤s46：是)时，处理进行至步骤s47。相反，当未确定第一显示区域s1面向用户(步骤s46：否)时，处理进行至步骤s48。
[0192]
在步骤s46中确定为否的情况下，面部检测单元43确定第二显示区域s2是否面向用户(步骤s48)。当确定第二显示区域s2面向用户(步骤s48：是)时，处理进行至步骤s49。相反，当确定第二显示区域s2未面向用户(步骤s48：否)时，处理进行至步骤s50。
[0193]
在步骤s48中确定为否的情况下，面部检测单元43确定第三显示区域s3是否面向用户(步骤s50)。当确定第三显示区域s3面向用户(步骤s50：是)时，处理进行至步骤s51。相反，当未确定第三显示区域s3面向用户(步骤s50：否)时，处理进行至步骤s42。
[0194]
返回至步骤s43，在步骤s43中确定为是的情况下，呈现处理单元42b将3d模型14m移动至第二显示区域s2并且执行绘制(步骤s44)。此后，处理进行至步骤s52。
[0195]
返回至步骤s46，在步骤s46中确定为是的情况下，渲染处理单元42b将3d模型14m移动到第一显示区域sl，并且执行绘制(步骤s47)。此后，处理进行至步骤s52。
[0196]
返回至步骤s48，在步骤s48中确定为是的情况下，呈现处理单元42b将3d模型14m移动至第二显示区域s2并且执行绘制(步骤s49)。此后，处理进行至步骤s52。
[0197]
返回至步骤s50，在步骤s50中确定为是的情况下，呈现处理单元42b将3d模型14m移动至第三显示区域s3，并且执行绘制(步骤s51)。此后，处理进行至步骤s52。
[0198]
在步骤s44、s47、s49和s51之后，显示控制单元42确定移动终端10c是否已被指示结束3d模型移动显示模式(步骤s52)。当确定已指示移动终端10c结束3d模型移动显示模式(步骤s52：是)时，移动终端10c结束图14中的处理。相反地，当未确定已指示移动终端10c结束3d模型移动显示模式(步骤s52：否)时，处理返回至步骤s42。
[0199]
[4-4.第四实施方式的效果]
[0200]
如上所述，根据第四实施方式的移动终端10c(信息处理装置)，显示控制单元42(控制单元)根据显示单元的法线方向的改变来移动3d模型14m(对象)。
[0201]
这使3d模型14m根据显示区域(s1、s2和s3)的折叠状态移动，使得可以实现自然交互。
[0202]
此外，根据第四实施方式的移动终端10c(信息处理装置)，显示控制单元42(控制
单元)基于用户面向显示区域的状态使3d模型14m(对象)移动(s1、s2和s3)。
[0203]
这使得3d模型14m能够显示在用户关注的显示区域上，使得可以实现根据用户的意图的交互。
[0204]
注意，上述实施方式中的每一个可以具有多个不同实施方式的功能。然后，在这种情况下，移动终端包括多个实施方式的所有硬件配置和功能配置。
[0205]
(5.第五实施方式)
[0206]
本公开内容的第五实施方式是具有根据显示面板的弯曲改变对象的显示模式的功能的信息处理装置的示例。
[0207]
[5-1.第五实施方式的信息处理装置的概要]
[0208]
图15示出了根据第五实施方式的信息处理装置的一个示例。信息处理装置15d包括薄膜柔性显示面板35(显示单元)。显示面板35包括例如有机发光二极管(oled)。由于使用oled的显示面板可以形成为比液晶面板薄，因此显示面板可以在一定程度上弯曲。
[0209]
如图15所示，可以在显示面板35上显示3d模型14m。然后，当显示面板35弯曲时，根据弯曲方向来改变3d模型14m的显示模式。
[0210]
即，当显示面板35被弯曲成使得前侧(观察者侧)突出时，信息处理装置15d在显示面板35上显示3d模型14m4。也就是说，对象被放大并显示。这与在显示3d模型14m的情况下执行捏合(pinch-in)操作时获得的显示相同。
[0211]
相反，当显示面板35弯曲成使得前侧(观察者侧)凹入时，信息处理装置15d在显示面板35上显示3d模型14m5。也就是说，对象被缩小并显示。这与在显示3d模型14m的情况下执行捏扩(pinch-out)操作时获得的显示相同。
[0212]
图16示出了检测显示面板的弯曲的方法。透明压电膜38a被层压在显示面板35的正面(z轴正侧)上。此外，透明压电膜38b被层压在显示面板35的背面(z轴负侧)上。压电膜38a和压电膜38b根据施加至压电膜的压力输出电压。注意，压电膜38a和压电膜38b具有相同的特性。注意，层压在显示面板35的表面上的压电膜38a也可以用作在操作显示面板35时使用的触摸面板。
[0213]
压电膜38a根据压电膜38a自身的弯曲状态向末端端子el输出电压。此外，压电膜38a根据压电膜38a自身的弯曲状态向末端端子e2输出电压。
[0214]
在图16中，假设用户从z轴正侧观察(观看)显示面板35的前侧的场景。在这种情况下，当用户将显示面板35弯曲成使得前侧凹入时，压电膜38a被压缩，如图16所示。相反，压电膜38b被扩展。信息处理装置15d通过对此时从末端端子e1输出的电压和从末端端子e2输出的电压执行算术处理来检测到显示面板35弯曲成使得用户侧凹入。注意，根据要使用的压电膜38a和38b的规格来确定运算处理的具体内容。然后，当检测到用户侧弯曲为凹面时，信息处理装置15d将3d模型14m改变为3d模型14m5(参见图15)。
[0215]
相反，当用户将显示面板35弯曲成使得前侧突出时，压电膜38a被扩展，如图16所示。相反，压电膜38b被压缩。信息处理装置15d通过对此时从末端端子e1输出的电压和从末端端子e2输出的电压执行算术处理来检测到显示面板35弯曲成使得用户侧突出。注意，根据要使用的压电膜38a和38b的规格来确定运算处理的具体内容。然后，当检测到用户侧弯曲为凸面时，信息处理装置15d将3d模型14m改变为3d模型14m4(参见图15)。
[0216]
如上所述，信息处理装置15d可以通过用户的直观操作来改变显示对象的显示模
式。
[0217]
[5-2.信息处理装置的硬件配置]
[0218]
图17是示出根据第五实施方式的信息处理装置的硬件配置的一个示例的硬件框图。
[0219]
信息处理装置10d具有与移动终端10a(参见图3)的硬件配置基本相同的硬件配置。该移动终端10a的硬件配置在以下三点上有所不同。即，信息处理装置10d包括用于实现特定于信息处理装置10d的功能的控制程序p2。此外，信息处理装置10d经由传感器接口30连接压电膜38a和38b。此外，由于压电膜38a可以在信息处理装置10d中具有触摸面板的功能，因此传感器接口30也具有触摸面板接口32的功能。
[0220]
[5-3.信息处理装置的功能配置]
[0221]
图18是示出根据第五实施方式的信息处理装置的功能配置的一个示例的功能框图。信息处理装置10d的cpu 20通过在ram 22上开发和操作控制程序p2来实现图18中的弯曲检测单元45和显示控制单元42作为功能单元。注意，尽管在图18中省略了，根据需要，信息处理装置10d可以包括触摸操作检测单元41(参见图4)。
[0222]
弯曲检测单元45检测显示面板35的弯曲状态。注意，弯曲检测单元45是本公开内容中的第一检测单元的一个示例。显示控制单元42的功能与移动终端10a的显示控制单元42的功能相同。
[0223]
由于信息处理装置10d执行的特定处理的内容如图15和图16中所述，因此将省略重复的描述。
[0224]
[5-4.第五实施方式的效果]
[0225]
如上所述，根据第五实施方式的信息处理装置10d，显示面板35(显示单元)包括柔性显示设备。
[0226]
这使得能够通过使显示面板35弯曲的直观操作来改变对象的显示模式。
[0227]
此外，根据第五实施方式的信息处理装置10d，显示控制单元42(控制单元)根据显示面板35(显示单元)的弯曲的状态(法线方向)来改变3d模型14m(对象)的显示比例。
[0228]
这使得能够通过直观操作改变对象的缩放(显示模式)。
[0229]
此外，根据第五实施方式的信息处理装置10d，当显示区域具有朝向用户(观察者)的凸面时，显示控制单元42(控制单元)扩大并显示3d模型14m(对象)，并且当显示区域具有朝向用户(观察者)的凹面时，缩小并显示3d模型14m(对象)。
[0230]
这在显示面板35接近用户时使3d模型14m扩大(变成朝向用户的凸面)，并且当显示面板35远离用户移动时使3d模型14m缩小(变成朝向用户的凹面)。因此，可以将对象的显示模式改变成与用户的感觉匹配。
[0231]
注意，说明书中阐述的效果仅是示例而不是限制。可以表现出其他效果。此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。
[0232]
注意，本公开内容还可以具有如下配置。
[0233]
(1)
[0234]
一种信息处理装置，包括：
[0235]
第一检测单元，其检测包括显示区域的显示单元的法线方向，所述显示区域的法
线方向部分地或连续地改变；
[0236]
第二检测单元，其检测对所述显示区域的触摸操作；以及
[0237]
控制单元，其根据所述法线方向和对所述显示区域的触摸操作中的至少一个来改变在所述显示区域上显示的对象的显示模式。
[0238]
(2)
[0239]
根据(1)所述的信息处理装置，
[0240]
其中，所述显示单元包括具有可折叠显示区域的显示设备。
[0241]
(3)
[0242]
根据(1)或(2)所述的信息处理装置，
[0243]
其中，所述控制单元通过使对所述显示区域执行的操作从根据所述显示区域的法线方向的方向作用于所述对象，改变所述对象的显示模式。
[0244]
(4)
[0245]
根据(1)或(2)所述的信息处理装置，
[0246]
其中，所述控制单元将所述对象改变为处于从所述显示单元的法线方向观看的模式。
[0247]
(5)
[0248]
根据(1)所述的信息处理装置，
[0249]
其中，所述显示单元包括至少三个或更多个显示区域，并且
[0250]
当所述显示区域被设置成柱状体时，所述控制单元将被显示在所述显示区域上并虚拟地存在于所述柱状体的内部的所述对象的显示模式改变为从所述显示区域中的每一个的法线方向观看所述对象的模式。
[0251]
(6)
[0252]
根据(5)所述的信息处理装置，
[0253]
其中，当所述柱状体围绕所述对象旋转时，所述控制单元使所述对象与所述显示区域一起旋转。
[0254]
(7)
[0255]
根据(5)所述的信息处理装置，
[0256]
其中，当所述柱状体围绕所述对象旋转时，所述控制单元不使所述对象与所述显示区域一起旋转。
[0257]
(8)
[0258]
根据(1)或(2)所述的信息处理装置，
[0259]
其中，所述控制单元根据所述显示单元的法线方向的改变来移动所述对象。
[0260]
(9)
[0261]
根据(8)所述的信息处理装置，
[0262]
其中，所述控制单元基于用户面向所述显示区域的状态来移动所述对象。
[0263]
(10)
[0264]
根据(1)所述的信息处理装置，
[0265]
其中，所述显示单元包括柔性显示设备。
[0266]
(11)
[0267]
根据(10)所述的信息处理装置，
[0268]
其中，所述控制单元根据所述显示单元的法线方向改变所述对象的显示比例。
[0269]
(12)
[0270]
根据(10)所述的信息处理装置，
[0271]
其中，当所述显示区域具有朝向观察者的凸面时，所述控制单元扩大并且显示所述对象，并且
[0272]
当所述显示区域具有朝向所述观察者的凹面时，所述控制单元缩小并且显示所述对象。
[0273]
(13)
[0274]
一种信息处理方法，包括：
[0275]
检测包括显示区域的显示单元的法线方向的第一检测过程，所述显示区域的法线方向部分地或连续地改变；
[0276]
检测对所述显示区域的触摸操作的第二检测过程；以及
[0277]
根据所述法线方向和对所述显示区域的触摸操作中的至少一个来改变在所述显示区域上显示的对象的显示模式的控制过程。
[0278]
(14)
[0279]
一种程序，所述程序使计算机用作以下：
[0280]
第一检测单元，其检测包括显示区域的显示单元的法线方向，所述显示区域的法线方向部分地或连续地改变；
[0281]
第二检测单元，其检测对所述显示区域的触摸操作；以及
[0282]
控制单元，其根据所述法线方向和对所述显示区域的触摸操作中的至少一个来改变在所述显示区域上显示的对象的显示模式。
[0283]
附图标记列表
[0284]
10a、10b、10c 移动终端(信息处理装置)
[0285]
10d 信息处理装置
[0286]
14m 3d模型(对象)
[0287]
35 显示面板(显示单元)
[0288]
40 显示表面角度检测单元(第一检测单元)
[0289]
41 触摸操作检测单元(第二检测单元)
[0290]
42 显示控制单元(控制单元)
[0291]
45 弯曲检测单元(第一检测单元)
[0292]
46 旋转角度检测单元
[0293]
a1、a2 转动轴
[0294]
s1 第一显示区域(显示区域)
[0295]
s2 第二显示区域(显示区域)
[0296]
s3 第三显示区域(显示区域)
[0297]
s4 第四显示区域(显示区域)
[0298]
c1、c2、c3、c4 虚拟摄像装置