信息处理装置、信息处理方法和计算机可读记录介质与流程

本公开内容涉及配备有透射式显示单元的移动终端。

背景技术：

移动终端正在以诸如移动电话和智能电话等各种设备的形式激增。这种移动终端包括在电话呼叫等期间输出音频的音频输出单元。另外，从提高便利性和其他因素的角度已经提出了在输出音频的同时在显示单元上显示图像等的移动终端(参照专利文献1)。

此外，已经提出了包括便携式透明透射式显示单元的移动终端(参照专利文献2)。专利文献2公开了如下技术：在用摄像机单元拍摄照片时将透射式显示单元的显示表面控制在透明状态下。

引用列表

专利文献

专利文献1：jph11-234637a

专利文献2：jp2010-183378a

技术实现要素：

技术问题

同时，存在对在输出音频时在透视式显示单元上呈现显示的移动终端的需求。然而，在输出音频时由透视式显示单元进行显示迄今为止尚未被完全地研究出来。

因此，本公开内容提出了一种移动终端，该移动终端使得用户能够在移动终端输出音频时适当地感知由透射式显示单元进行的显示。

问题的解决方案

根据本公开内容，提供了一种移动终端，所述移动终端配备有：壳体，其包括输出音频的音频输出单元；以及透射式显示单元，被设置成能够关于壳体旋转，其中，在音频输出单元输出音频时，透射式显示单元能够被布置在与壳体的主面相交的平面中。

根据这样的移动终端，由于在音频输出单元输出音频时透射式显示单元能够被布置在与壳体的主面相交的平面中，所以例如在用户通过将移动终端倚靠他或她的耳朵放置来收听正在输出的音频时将透射式显示置于易于观看的位置，因此用户能够适当地掌握透射式显示单元的显示。

根据一个实施例，一种信息处理装置包括：壳体，其包括音频输出电路，音频输出电路被配置成输出音频；透射式显示器，其被配置成定位在用户的至少一只眼睛的前方，并且被配置成在使用音频输出电路通信期间提供对透射式显示器上的显示的观看和通过透射式显示器对外部世界的观看；以及处理电路，其被配置成：在与另一用户通信期间，在透射式显示器上显示多个第一内容；检测用户手势以选择所显示的多个第一内容中的至少一个；在与另一用户通信期间，在透射式显示器上显示与所选择的第一内容相关联的第二内容；以及基于对手势的检测，将信息发送至另一用户的另一信息处理装置，信息的发送使得在另一用户的另一信息处理装置的显示器上显示第二内容。

根据另一个实施例，一种信息处理方法包括：在第一用户和第二用户的通信期间，在被配置成定位在第一用户的至少一只眼睛的前方的透射式显示器上显示多个第一内容；检测用户手势以选择所显示的多个第一内容中的至少一个；在第一用户和第二用户的通信期间，在透射式显示器上显示与所选择的第一内容相关联的第二内容；以及基于检测到手势，将信息发送至第二用户的信息处理装置，信息的发送使得在第二用户的信息处理装置的显示器上显示第二内容。

根据又一个实施例，一种计算机可读记录介质，其存储使计算机执行包括以下操作的方法的程序：在第一用户和第二用户的通信期间，在被配置成定位在第一用户的至少一只眼睛的前方的透射式显示器上显示多个第一内容；检测用户手势以选择所显示的多个第一内容中的至少一个；在第一用户和第二用户的通信期间，在透射式显示器上显示与所选择的第一内容相关联的第二内容；以及基于检测到手势，将信息发送至第二用户的信息处理装置，信息的发送使得在第二用户的信息处理装置的显示器上显示第二内容。

发明的有利效果

根据以上所描述的本公开内容，用户变得能够在移动终端正在输出音频时适当地感知由透射式显示单元进行的显示。

附图说明

[图1]是示出根据本实施方式的移动终端10的配置的示例的前视图。

[图2]是示出透射式显示单元40的旋转状态的示例的图。

[图3]是示出移动终端10的使用模式的示例的图。

[图4]是示出设置在移动终端10上的摄像机的示例。

[图5]是示出透射式显示单元40的两个打开状态的示例的图。

[图6]是示出移动终端10的外部配置的第二实例的图。

[图7]是示出移动终端10的外部配置的第三实例的图。

[图8]示出了供用户的左眼使用的透射式显示单元40的打开状态。

[图9]是示出移动终端10的外部配置的第四实例的图。

[图10]是示出根据第一显示方法的移动终端10的外部配置的图。

[图11]是示出根据该第一显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。

[图12]是示出根据第一显示方法的第一修改的透射式显示单元40的内部配置和光束传播路径的示意图。

[图13]是示出根据第一显示方法的第二修改的透射式显示单元40的内部配置和光束传播路径的示意图。

[图14]是示出根据第一显示方法的第三修改的移动终端10的外部配置的示例的示意图。

[图15]是根据第一显示方法的第三修改的透射式显示单元40的内部配置的示意图。

[图16]是示出在透射式显示单元40被定位在第一打开状态下时光束传播路径的示意图。

[图17]是示出在透射式显示单元40被定位在第二打开状态下时光束传播路径的示意图。

[图18]是示出根据第二显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。

[图19]是示出根据第三显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。

[图20]是示出透射式显示单元40的旋转检测机构的第一实例的图。

[图21]是示出透射式显示单元40的旋转状态与开关76的偏置状态之间的关系的图。

[图22]是示出透射式显示单元40的旋转检测机构的第二实例的图。

[图23]是示出透射式显示单元40的旋转检测机构的第三实例的图。

[图24]是示出透射式显示单元40的旋转检测机构的第四实例的图。

[图25]是示出透射式显示单元40的旋转检测机构的第五实例的图。

[图26]是示出移动终端10的示例内部配置的框图。

[图27]是示出基于从对话中提取的话题来显示相关信息的处理的流程图。

[图28]是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图29]是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图30]是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图31]是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图32]是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图33]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理的流程图。

[图34]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理的流程图。

[图35]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图36]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图37]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图38]是示出显示与同时正在观看的tv屏幕有关的相关信息的处理期间透射式显示单元40的示例显示的图。

[图39]是示出显示与打电话的人的谈话概要的处理的流程图。

[图40]是示出显示与打电话的人的谈话概要的处理期间透射式显示单元40的示例显示的图。

[图41]是示出显示与打电话的人的谈话概要的处理期间透射式显示单元40的示例显示的图。

[图42]是示出基于打电话的人的手势显示导航信息的处理的流程图。

[图43]是用于说明基于打电话的人的手势显示导航信息的处理的流程的说明图。

[图44]是示出基于从打电话的人的话音提取的关键字来显示导航信息的处理的流程图。

[图45]是用于说明基于从打电话的人的话音提取的关键字来显示导航信息的处理的流程的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。要指出的是，在该说明书和附图中，用相同的附图标记来表示具有基本相同功能的元件，并且省略对其重复说明。

在下文中，将按以下顺序进行描述。

1.移动终端的示例外部配置

1-1.外部配置的第一实例

1-2.外部配置的第二实例

1-3.外部配置的第三实例

1-4.外部配置的第四实例

2.透射式显示单元的显示方法

2-1.第一显示方法

2-2.第二显示方法

2-3.第三显示方法

3.透射式显示单元的旋转检测机构

3-1.透射式显示单元的旋转检测机构的第一实例

3-2.透射式显示单元的旋转检测机构的第二实例

3-3.透射式显示单元的旋转检测机构的第三实例

3-4.透射式显示单元的旋转检测机构的第四实例

3-5.透射式显示单元的旋转检测机构的第五实例

4.移动终端的示例内部配置

5.透射式显示单元的显示处理

5-1.通过从电话呼叫期间的对话中提取话题来显示相关信息

5-2.显示与同时正在观看的tv屏幕有关的相关信息

5-3.自动显示与其他人的谈话概要的处理

5-4.基于打电话的人的手势来显示导航信息的处理

5-5.基于从话音中提取的关键字来显示导航信息的处理

6.结论

<1.移动终端的示例外部配置>

根据示例实施方式的移动终端可以是例如包括电话功能的移动电话或智能电话。在下文中，将给出四个实例作为移动终端的示例外部配置。

(1-1.外部配置的第一实例)

图1是示出根据本实施方式的移动终端10的配置的示例的前视图。如图1所示，移动终端10包括壳体20和透射式显示单元40。透射式显示单元40通过铰链单元45耦接至壳体20，并且能够关于铰链单元45移动。

壳体20具有近似长方体形状。壳体20包括触摸面板22、作为音频输出单元的示例的扬声器24以及在前面20a上的麦克风26。

触摸面板22显示诸如文本、图形和图像等信息，另外还检测使用手指等对触摸面板22执行的各种操作。触摸面板22包括显示单元和布置在显示单元上的触摸传感器。显示单元例如由诸如液晶显示器或有机el面板等设备构成，并且显示诸如文本、图形和图像等信息。触摸传感器例如实现压敏检测方法或电容检测方法，并且检测使用手指对触摸面板22执行的各种操作以及对触摸面板22执行操作的位置。

扬声器24输出音频。例如，扬声器24输出在电话呼叫期间来自另一个人的话音。麦克风26拾取音频。例如，麦克风26将所拾取的来自移动终端10的用户的话音转换成电信号。要指出的是，扬声器24和麦克风26与执行电话呼叫的电话单元相对应。

透射式显示单元40是由透明构件构成的显示单元。透射式显示单元40被设置成关于壳体20可旋转。透射式显示单元40的宽度(图1的x方向上的长度)和厚度(图1的y方向上长度)与壳体20的宽度和厚度相同。在本实施方式中，透射式显示单元40在移动终端10的长度方向上接触壳体20。

透射式显示单元40显示诸如文本、图形和图像等信息。透射式显示单元40包括用于将由显示元件显示的图像光导向用户的眼睛的导光单元。因此，当透射式显示单元40位于眼睛前方时，用户能够看到由显示元件显示的图像。要指出的是，稍后将详细讨论透射式显示单元40的显示机构。

图2是示出透射式显示单元40的旋转状态的示例的图。如图2所示，透射式显示单元40能够关于壳体20的短边面上的一端旋转。图2(a)示出了被定位在闭合状态下的透射式显示单元40，而图2(b)示出了旋转中的透射式显示单元40，并且图2(c)示出了被定位在打开状态下的透射式显示单元40。要指出的是，图2(c)中的打开状态是将透射式显示单元40沿图2(b)中的箭头所指示的方向从闭合状态旋转90度而得到的位置。以此方式，透射式显示单元40关于壳体20在打开状态和闭合状态之间旋转。

另外，如图2(a)所示，当透射式显示单元40被定位在闭合状态下时，透射式显示单元40的设置有第二显示单元42的显示面与壳体20的前面20a位于同一面。或者，当透射式显示单元40被定位在闭合状态下时，透射式显示单元40的设置有第二显示单元42的显示面与壳体20的前面20a平行。因此，透射式显示单元40与壳体20之间的边界变得不明显，或者换句话说，可以给予用户透射式显示单元40与壳体20之间的统一感，并且可以防止设计美学的丢失。

图3是示出移动终端10的使用模式的示例的图，并且示出了当用户u使用移动终端10执行电话呼叫时移动终端10的使用模式。如图3所展示的，在电话呼叫期间，被定位在图2(c)的打开状态下的透射式显示单元40被布置在与作为壳体20的主面的前面20a相交的平面上。具体地，壳体20的前面20a面对用户的右耳，而被定位在打开状态下的透射式显示单元40位于用户右眼的前方。作为结果，用户在电话呼叫时能够看到在透射式显示单元40上的显示。另外，由于透射式显示单元40为前面所讨论的透射型的显示单元，所以即使透射式显示单元40位于眼睛的前方，用户仍能够通过透射式显示单元40看到并且观察外部世界。

透射式显示单元40还可以包括能够显示诸如日期和时间等信息的第二显示单元42。例如，当透射式显示单元40关于壳体20被定位在闭合状态下时，第二显示单元42呈现显示。第二显示单元42为非透射型显示单元，并且例如由作为发光显示设备的一个示例的有机el面板构成。要指出的是，由稍后讨论的系统控制器110来控制透射型显示器显示单元40和第二显示单元42的显示(参见图26)。

图4是示出设置在移动终端10上的摄像机的示例。移动终端10还可以包括作为图像拍摄单元的摄像机60。摄像机60可以如图4(a)所示设置在透射式显示单元40上，或者如图4(b)所示设置在壳体20上。例如，当在如图3所示的状态下执行电话呼叫时，用户可以使用摄像机60来拍摄在眼睛前方看到的风景等的图像。

要指出的是，图4(b)示出了两个摄像机60a和60b，并且两个摄像机60a和60b能够拍摄立体图像。然而，配置不限于此，并且可以在壳体20上设置仅一个摄像机，或者可以在透射式显示单元40上设置用于拍摄立体图像的两个摄像机。

尽管以上讨论的图3示出了透射式显示单元40被定位在用户右眼前方的示例，但配置不限于此。如图5所示，处于打开状态下的透射式显示单元40也可以被配置成能够旋转至用户右眼或左眼前方的位置。

另外，在移动终端10的长边面20d上设置有操作按钮71和操作按钮72。因此，当正在位于右眼前方的透射式显示单元70上显示图像时用户能够通过按压按钮71和72来对移动终端10进行操作。

图5是示出了透射式显示单元40的两个打开状态的示例。图5(a)示出了供用户右眼使用的透射式显示单元40的第一打开状态，而图5(b)示出了供用户左眼使用的透射式显示单元40的第二打开状态。鉴于此，当透射式显示单元40被定位在第一打开状态下或第二打开状态下时，透射式显示单元40变得位于与壳体20的前表面20a相交的平面中。

此外，由于与透射式显示单元40被定位在第二打开状态下的显示取向相比，透射式显示单元40被定位在第一打开状态下时的显示取向上下颠倒，所以透射式显示单元40的显示被切换。换言之，透射式显示单元40的显示是根据透射式显示单元40的旋转来控制的。因此，即使透射式显示单元40可以被定位在多个打开状态下，在用户进行电话呼叫时也呈现容易看见的显示。

要指出的是，当使用用于用户的左眼和右眼二者的透射式显示单元40时，不仅期望如图5(a)所示在壳体20的前面20a上设置扬声器24和麦克风26，还期望如图5(b)所示在壳体的背面20b上设置扬声器25和麦克风27。因此，可以在由左眼或右眼使用时适当地进行电话呼叫。

(1-2.外部配置的第二实例)

图6是示出移动终端10的外部配置的第二实例的图。图6(a)示出了作为根据第二实例的透射式显示单元40的默认状态的闭合状态，而图6(b)示出了透射式显示单元40的打开状态。

在第二实例中示出的透射式显示单元40中，远离作为旋转轴的铰链单元的部分的宽度大于靠近铰链单元的部分的宽度。此外，在闭合状态下，透射式显示单元40接触与壳体20的前面20a相比凹陷的凹陷单元20e。要指出的是，触摸面板22与图2所示的结构不同，并且触摸面板22被设置在壳体20的背面20b上。

(1-3.外部配置的第三实例)

图7是示出移动终端10的外部配置的第三实例的图。在第三实例中，透射式显示单元40在移动终端10的宽度方向上接触机壳20。另外，透射式显示单元40能够关于壳体20的长边面20d的一端旋转。

图7(a)示出了根据第三实例的透射式显示单元40的闭合状态，而图7(b)示出了透射式显示单元40的打开状态。图7(b)所示的透射式显示单元40在电话呼叫期间可以被定位在用户右眼前方(参照图3)。

同样地，在第三实例中，透射式显示单元40能够旋转到处于用户的右眼或左眼前方的位置。换言之，透射式显示单元40可以旋转至如图7(b)所示的供右眼使用的打开状态，或者旋转至如图8所示的供左眼使用的打开状态。要指出的是，图8示出了供用户的左眼使用的透射式显示单元40的打开状态。

(1-4.外部配置的第四实例)

图9是示出移动终端10的外部配置的第四实例的图。图9(a)示出了根据第四实例的透射式显示单元40的闭合状态，而图9(b)示出了透射式显示单元40的打开状态。

第四实例中的透射式显示单元40的显示面40a在尺寸上与壳体20的前面20a相同。以此方式，由于与第一实例至第三实例相比显示面40a的尺寸较大，所以可以显示更多的信息。此外，与第一实例至第三实例的透射式显示单元40相比，第四实例的透射式显示单元40较薄。

在以上描述中，移动终端10为具有电话功能的移动电话或智能电话，但配置不限于此。例如，移动终端也可以是提供语音导引而不包括电话功能的设备。即使在这样的设备的情况下，在音频输出期间透射式显示单元40也可以被布置在与壳体20的前面20a相交的平面中。因此，用户在收听语音导引的同时能够看到显示在透射式显示单元40上的显示。

<2.透射式显示单元的显示方法>

如前面所讨论的，透射式显示单元40包括用于将由显示元件显示的图像光导向用户的眼睛的导光单元。因此，当透射式显示单元40位于眼睛前方时，用户能够观看由显示元件显示的图像。在下文中，将给出三种方法作为透射式显示单元40的显示方法的示例。

(2-1.第一显示方法)

第一显示方法提供对透射式显示单元40内部的光束进行反射或透射的全息光栅，并且将由显示元件显示的图像光导向用户的眼睛。在下文中，将参照图10和图11来描述第一显示方法的机制。

图10是示出根据第一显示方法的移动终端10的外部配置的图。图11是示出根据第一显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。假设根据第一显示方法的移动终端10关于铰链单元45在图10(a)所示的闭合状态与图10(b)所示的打开状态之间旋转。另外，例如，处于图10(b)所示的打开状态下的透射式显示单元40在电话呼叫期间如图11所示位于用户左眼的前方。

如图11(a)所示，透射式显示单元40包括基座单元41、第二显示单元42、作为导光单元的示例的导光板43、铰链单元45、第一全息光栅46a和第二全息光栅46b。

基座单元41是充当透射式显示单元40的底座的部分，并且由透明元件构成。第二显示单元42设置在基座单元41的第一面41a侧，并且在透射式显示单元40处于如前面所讨论的闭合状态时显示诸如日期和时间等信息。

导光板43是经由空气层44设置在基座单元41的第二面41b侧的平板。导光板43与基座单元41相比被形成得较薄以使得光能够在平板内部进行全内反射。例如，从设置在铰链单元45内的图像显示元件(未示出)发出的光束进入导光板43。

导光板43包括形成在光学面43a的一端处的光入口43b和形成在与光学面43a相反的光学面43c的另一端的光出口43d。来自图像显示元件的光束进入光入口43b。光出口43d发出在光学面43a与光学面43c之间进行全反射的情况下行进的光束。

要指出的是，还可以在图像显示元件与导光板43之间设置将从图像显示元件发出的光束转换成平行光束的准直透镜(未示出)。在这样的情况下，从准直透镜发出的平行光束进入导光板43。此外，尽管在以上描述中图像显示元件被设置在铰链单元45中，但配置不限于此，并且图像显示元件例如也可以设置在壳体20中。

铰链单元45形成从透射式显示单元40朝壳体20向外突出的圆筒形状(参照图20)。如上所讨论的，图像显示元件可以设置在铰链单元45中。当透射式显示单元40处于打开状态时，图像显示元件发出光束。此外，连接至第二显示单元42的线缆穿过铰链单元45内部。

第一全息光栅46a被设置在光学面43c的面对光入口43b的位置处，并且衍射地反射从光入口43b进入的光束。由第一全息光栅46a衍射地反射的光束在光学面43a与光学面43c之间反复地进行全反射的同时前进，并且入射在第二全息光栅46b上，如图11(b)所示。

第二全息光栅46b设置在光学面43a的面对光出口43d的位置处，并且衍射地反射入射光束。光束通过被第二全息光栅46b衍射地反射而偏离全反射条件。因此，如图11(b)所示，光束从光出口43d射出，并且进入用户的眼睛h。因此，用户能够感知由图像显示元件显示的图像。

(第一修改)

以上所讨论的第一全息光栅46a和第二全息光栅46b被配置成对光束进行反射的反射式全息光栅，但不限于此。例如，如图12所示，第一全息光栅46a和第二全息光栅46b也可以是透射式全息光栅。

图12是根据第一显示方法的第一修改的透射式显示单元40的内部配置和光束传播路径的示意图。如图12所示，在第一修改中，第一全息光栅46a被设置在光学面43a的与光入口43b相同的位置处，而第二全息光栅46b被设置在光学面43c的与光出口43d相同的位置处。结果，传播通过第一全息光栅46a的光束在光学面43a与光学面43c之间反复地进行全反射的同时前进，并且入射在第二全息光栅46b上。随后，光束传播通过第二全息光栅46b，并且在从光出口43d射出之后进入用户的眼睛h。

(第二修改)

此外，如图13所示，也可以配置反射式全息光栅和透射式全息光栅的组合。作为结果，可以提高全息光栅的布置的自由度。

图13是示出根据第一显示方法的第二修改的透射式显示单元40的内部配置和光束传播路径。如图13所示，在第二修改中，透射式第一全息光栅46a被设置在光学面43a的与光入口43b相同的位置处，而反射式第二全息光栅46b被设置在光学面43a的与面对光出口43d的位置相同的位置处。结果，传播通过第一全息光栅46a的光束在光学面43a与光学面43c之间反复地进行全反射的同时前进，并且入射在第二全息光栅46b上。接着，光束被第二全息反射光栅6b衍射地反射，并且在从光出口43d射出之后进入用户的眼睛h。

(第三修改)

另外，移动终端10可以被定位在两个打开状态(第一打开状态和第二打开状态)下，以使得能够在电话呼叫期间位于用户的右眼或左眼的前方(参照图5)。因此，将参照图14至图17来描述具有这样的配置的第一显示方法的机制。

图14是示出根据第一显示方法的第三修改的移动终端10的外部配置的示例的图。图15是示出根据第一显示方法的第三修改的透射式显示单元40的内部配置的示意图。图16是示出当透射式显示单元40被定位在第一打开状态下时的光束传播路径的示意图。图17是示出当透射式显示单元40被定位在第二打开状态下时的光束传播路径的示意图。

假设根据第三修改的移动终端10关于铰链单元45在图14(a)所示的闭合状态、图14(b)所示的第一打开状态和图14(c)所示的第二打开状态之间旋转。另外，在电话呼叫期间，例如，处于图14(b)所示的第一打开状态的透射式显示单元40如图16所示位于用户左眼的前方，而处于如图14(c)所示的第二打开状态下的透射式显示单元40如图17所示位于用户右眼的前方。

如图15所示，根据第三修改的透射式显示单元40包括两个导光板43和导光板47。导光板43为第一导光单元，并且经由空气层44(对应于第一空气层)设置在基座单元41的第二面41b(对应于第一表面)侧。导光板47为第二导光单元，并且经由空气层48(第二空气层)设置在基座单元41的第一面41a(对应于第二表面)侧。另外，在两个导光板43和导光板47中的每个导光板上均设置有一对全息光栅。

导光板43的第一全息光栅46a和第二全息光栅46b为反射式全息光栅。鉴于此，如图16所示，经由光入口43b从铰链单元45内部的图像显示元件进入的光束被第一全息光栅46a衍射地反射，并且在光学面43a和43c之间反复地进行全反射的同时入射在第二全息光栅46b上。接着，该光束被第二全息光栅46b衍射地反射，从光出口43d射出，并且进入用户的左眼。

类似地，导光板47的第一全息光栅49a和第二全息光栅49b为反射式全息光栅，如图17所示。鉴于此，如图17所示，经由光入口47b从铰链单元45内部的图像显示元件进入的光束被第一全息光栅49a衍射地反射，并且在光学面47a和47c之间反复地进行全反射的同时入射在第二全息光栅49b上。接着，该光束被第二全息光栅49b衍射地反射，从光出口47d射出，并且进入用户的右眼h。

尽管以上所讨论的图15至图17采用反射式全息光栅作为示例，但配置不限于此。例如，可以使用如图12所描述的透射式全息光栅，或者可以使用如图13所描述的反射式全息光栅和透射式全息光栅的组合。

(2-2.第二显示方法)

第二显示方法提供了替代第一显示方法的全息光栅对透射式显示单元40内部的光束进行反射的反射面，并且将由显示元件显示的图像光导向用户的眼睛。

图18是示出根据第二显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。如图18所示，透射式显示单元40包括基座单元41、第二显示单元42、铰链单元45和导光单元143。由于基座单元41、第二显示单元42和铰链单元45与前面所讨论的配置相类似，所以将省略其描述。

导光单元143具有将从铰链单元45内部的图像显示元件(未示出)射出的光束导向用户的眼睛h的功能。导光单元143为平面构件，并且被设置在基座单元41的第二面41b侧。导光单元143在内部包括对光束进行反射的两个反射面144a和144b。因此，从图像显示元件进入导光单元143的光束被反射面144a反射，到达反射面144b，另外地被反射面144b反射，并进入用户的眼睛h。结果，用户能够感知由图像显示元件显示的图像。

要指出的是，尽管以上描述了设置在基座单元41的第二面41b上的导光单元143，但配置不限于此，并且例如也可以在基座单元41的第一面41a侧设置导光单元143。在这样的情况下，光束变得可以进入用户的左眼或右眼，如前面使用图16和图17描述的。

(2-3.第三显示方法)

第三显示方法在透射式显示单元40内部形成具有对光进行部分地反射同时使剩余的光透射的半反射镜层的反射面，并且将由显示元件显示的图像导向用户的眼睛。

图19是示出根据第三显示方法的透射式显示单元40的内部配置和光束传播路径的示意图。如图19所示，透射式显示单元40包括基座单元41、第二显示单元42、铰链单元45和导光单元153。由于基座单元41、第二显示单元42和铰链单元45与先前讨论的配置相同，所以省略其描述。

导光单元153具有将从铰链单元45内部的图像显示元件发出的光束导向用户眼睛h的功能。导光单元153为平面构件，并且被设置在基座单元41的第二面41b侧。导光单元153包括对光束进行反射的四个反射面154a、154b、154c和154d。

反射面154a对来自图像显示元件的入射光束进行全反射。反射面154b和反射面154c沿导光单元153的长度方向形成，如图19所示。由反射面154a反射的光束在反射面154b与反射面154c之间进行全反射同时前进，并且入射在反射面154d上。

反射面154d是用于将来自导光单元154的入射光束射出的平坦面，并且部分地包括半反射镜层。例如，半反射镜层的反射率被设定为20％，而透射率例如被设定为80％。因此，被反射面154d反射的光束进入用户的眼睛h。结果，用户能够感知由图像显示元件显示的图像。要指出的是，传播通过反射面154d的光束未被用于形成图像。

要指出的是，在第三显示方法中，也可以在基座单元41的第二面41b上设置导光单元143。作为结果，光束可以进入用户的左眼或右眼，如前面使用图16和图17描述的。

<3.透射式显示单元的旋转检测机构>

如前所讨论的，透射式显示单元40关于壳体20绕铰链单元45旋转。另外，移动终端10包括检测透射式显示单元40的旋转状态的旋转检测机构，并且根据透射式显示单元40的旋转状态来控制操作。例如，当透射式显示单元40处于闭合状态时，移动终端10开启触摸面板22和第二显示单元42的显示，并且关闭透射式显示单元40的显示。此外，当透射式显示单元40处于打开状态时，移动终端10关闭触摸面板22和第二显示单元42的显示，并且开启透射式显示单元40的显示。

在下文中，将描述第一实例至第五实例作为包括检测透射式显示单元40的旋转状态的旋转检测单元75的旋转检测机构的示例。

(3-1.透射式显示单元的旋转检测机构的第一实例)

图20是示出透射式显示单元40的旋转检测机构的第一实例的图。图20(a)是示出透射式显示单元40与壳体20分离的状态的透视图。图20(b)是示出铰链单元45与壳体20内部的旋转检测单元75之间的位置关系的图。

铰链单元45形成从透射式显示单元40突出的圆筒形状。在根据第一实例的铰链单元45的末端处，形成有部分地切除掉外周表面的切口单元45a。切口单元45a为d形切口，使得横截面呈大致d字形。

旋转检测单元75为设置在壳体20内部面对铰链单元45的位置处的传感器。旋转检测单元75包括能够与铰链单元45接触的开关76，并且根据开关76的状态来检测铰链单元45的旋转状态。开关76被偏置构件例如弹簧(未示出)偏置。要指出的是，图20(a)示出了处于偏置状态的开关76。开关76是根据透射式显示单元40的旋转状态而被铰链单元45推压的。因此，例如，如果开关76未被铰链单元45推压则旋转检测单元75检测透射式显示单元40处于闭合状态，而如果开关76正在被铰链单元45推压则旋转检测单元75检测透射式显示单元40处于打开状态。

图21是示出透射式显示单元40的旋转状态与开关76的偏置状态之间的关系的图。图21(b)是从图21(a)中的箭头的方向看到的图。当透射式显示单元40处于闭合状态时，开关76面向切口单元45a，并且因此开关76未被铰链单元45推压。当透射式显示单元40处于打开状态时，开关76与铰链单元45的除了切口单元45a之外的部分的外周表面接触并且被该外周表面推压。

(3-2.透射式显示单元的旋转检测机构的第二实例)

图22是示出透射式显示单元40的旋转检测机构的第二实例的图。图22(a)示出了在透射式显示单元40处于闭合状态时铰链单元45与旋转检测单元75之间的位置关系，而图22(b)示出了在透射式显示单元40处于打开状态时铰链单元45与旋转检测单元75之间的位置关系。

在第二实例中，替代使用图20所描述的第一实例的切口单元45a，在铰链单元45的末端处形成有从外周表面向外突出的突出单元45b。当透射式显示单元40处于闭合状态时，突出单元45b如图22(a)所示不与开关76接触，并且因此开关76未被推压。另一方面，当透射式显示单元40处于打开状态时，突出单元45b如图22(b)所示与开关76接触。因此，可以确定透射式显示单元40的打开状态或闭合状态。

(3-3.透射式显示单元的旋转检测结构的第三实例)

图23是示出透射式显示单元40的旋转检测机构的第三实例的图。

在以上所讨论的第一实例和第二实例中，开关76被铰链单元45推压。相反，在第三实例中，替代铰链单元45，当透射式显示单元40处于闭合状态时，透射式显示单元40的形成于铰链单元45侧的突出单元45c推压开关76。要指出的是，开关76被定位成在凹陷单元20f附近，其中突出单元45c插入凹陷单元20f。另一方面，当透射式显示单元40处于打开状态时，突出单元45c不推压开关76。结果，可以确定透射式显示单元40的打开状态或闭合状态。

(3-4.透射式显示单元的旋转检测机构的第四实例)

图24是示出透射式显示单元40的旋转检测机构的第四实例的图。

第四实例的旋转检测单元75不同于第一实例至第三实例，并且不包括被铰链单元45等推压的开关。替代地，旋转检测单元75例如为霍尔效应传感器，并且在透射式显示单元40中设置有磁体78。作为结果，当透射式显示单元40处于闭合状态时，旋转检测单元75检测到磁体78的磁力，而当透射式显示单元40处于打开状态时，透射式显示单元40未检测到磁体78的磁力。因此，可以确定透射式显示单元40的打开状态或闭合状态。

(3-5.透射式显示单元的旋转检测机构的第五实例)

如使用图5所描述的，透射式显示单元40可以被定位在第一打开状态或第二打开状态，使得能够位于用户右眼或左眼的前方。因此，在第五实例中，旋转检测单元75被配置成能够检测第一打开状态和第二打开状状态作为透射式显示单元40的打开状态。

图25是示出透射式显示单元40的旋转检测机构的第五实例的图。图25(a)示出了当透射式显示单元40处于闭合状态时铰链单元45与旋转检测单元75之间的位置关系，而图25(b)示出了当透射式显示单元40处于第一打开状态时铰链单元45与旋转检测单元75之间的位置关系，并且图25(c)示出了当透射式显示单元40处于第二打开状态时铰链单元45与旋转检测单元75之间的位置关系。

第五实例的铰链单元45具有凹陷单元45d而不是图20所示的d型切口单元45a。如图25(a)所示，当透射式显示单元40处于闭合状态时，旋转检测单元75的开关76进入凹陷单元45d。图25(a)所示的开关76被偏压构件(未图示)偏置，但不与铰链单元45接触，并且处于非推压状态。

当处于图25(a)所示的闭合状态的透射式显示单元40沿图25(b)所示的箭头方向旋动90度并且转变到第一打开状态时，开关76抵抗由凹陷单元45d的侧壁引起的偏置力，并且沿第一方向(例如图25(b)所示的顺时针方向)被推倒。此外，当处于闭合状态的透射式显示单元40沿图25(c)所示的箭头方向旋转90度并且转变到第二打开状态时，开关76抵抗由凹陷单元45d的侧壁引起的偏置力，并且沿第二方向(例如图25(c)所示的逆时针方向)被推倒。接着，通过检测开关76翻倒的方向，可以确定透射式显示单元40的第一打开位置和第二打开位置。

<4.移动终端的示例内部配置>

将参照图26来描述移动终端10的示例内部配置。图26是示出移动终端10的示例内部配置的框图。

系统控制器110例如由配备有中央处理单元(cpu)的微控制器、只读存储器(rom)、随机存取存储器(ram)、非易失性存储器单元和接口单元构成，并且系统控制器110为整体控制移动终端10的控制单元。

系统控制器110基于外界条件来控制移动终端10的部件。换言之，系统控制器110感测并确定外界条件，并且通过遵照被配置成执行对部件的操作控制的操作程序来相应地操作。因此，如果从功能上看，系统控制器110包括确定外部世界的条件的外部条件确定功能110a和根据外部条件确定功能110a的确定结果向部件发送控制指令的操作控制功能110b。

在移动终端10中，作为用于拍摄用户前方的视野的配置提供图像拍摄单元103、图像拍摄控制单元111和图像拍摄信号处理单元115。

图像拍摄单元103设置有：由图像拍摄镜头、光圈、变焦透镜、聚焦透镜等构成的透镜子系统；使透镜子系统进行聚焦操作和变焦操作的驱动子系统；以及通过检测并且对利用透镜子系统获得的拍摄光进行光电转换来生成图像拍摄信号的固态图像传感器阵列。固态图像传感器阵列例如可以是电荷耦合器件(ccd)传感器阵列或互补金属氧化物半导体(cmos)传感器阵列。

图像拍摄信号处理单元115配备有向图像拍摄单元103的固态图像传感器所获得的信号施加增益控制和波形整形的采样保持/自动增益控制(agc)电路和视频a/d转换器，并且获得作为数字数据的图像拍摄信号。图像拍摄信号处理单元115还对图像拍摄信号进行白平衡处理、亮度处理、色度信号处理、抖动校正处理等。

图像拍摄控制单元111基于来自系统控制器110的指令来控制图像拍摄单元103和图像拍摄信号处理单元115的操作。例如，图像拍摄控制单元111控制图像拍摄单元103和图像拍摄信号处理单元115的操作的开启/关闭。图像拍摄控制单元111还被配置成施加使图像拍摄单元103执行诸如自动对焦、自动曝光调节、光圈调节和缩放等操作的控制(电机控制)。

图像拍摄控制单元111还配备有定时发生器，并且利用由定时发生器针对固态图像传感器以及图像拍摄信号处理单元111的采样保持/agc电路和视频a/d转换器生成的定时信号来控制信号处理操作。另外，该定时控制使得能够对图像拍摄帧速率进行可变控制。

此外，图像拍摄控制单元111控制固态图像传感器的图像拍摄灵敏度和图像拍摄信号处理单元115的信号处理。例如，作为图像拍摄灵敏度控制，图像拍摄控制器11能够对从固态图像传感器读出的信号进行增益控制，设置黑色电平，控制用于数字数据级处的图像拍摄信号处理的各种系数，控制抖动校正处理中的校正幅度等。关于图像拍摄灵敏度，可以是例如不特别考虑的波段的整体灵敏度调节，以及调节特定波段例如红外区或紫外区的图像拍摄灵敏度(例如，切除特定波段的图像拍摄)的灵敏度调节。通过在图像拍摄透镜子系统中插入波长滤波器或者通过对图像拍摄信号进行波长滤波器运算处理，可以进行依赖于波长的灵敏度调节。在这些情况下，图像拍摄控制单元111能够利用对波长滤波器的插入控制、对滤波器计算系数的指定等来控制灵敏度。

将由图像拍摄单元103拍摄并且由图像拍摄信号处理单元115处理的图像拍摄信号(来自图像拍摄的图像数据)提供给图像输入/输出控制单元127。

图像输入/输出控制单元127根据系统控制器110的控制来控制图像数据的传递。换言之，控制图像数据在图像拍摄子系统(图像拍摄信号处理单元115)、显示子系统(显示图像处理单元112)、存储单元125和通信单元126之间的传递。例如，图像输入/输出控制单元127可以进行操作以将具有经图像拍摄信号处理单元115处理的图像拍摄信号的形式的图像数据提供给显示图像处理单元112、存储单元125或通信单元26。此外，例如，图像输入/输出控制单元127进行操作以将回放的图像数据从存储单元125提供给显示图像处理单元112或通信单元126。此外，例如，图像输入/输出控制单元127进行操作以将由通信单元126接收的图像数据提供给显示图像处理单元112或存储单元125。

在移动终端10中，作为向用户呈现显示的配置，提供了显示单元102、显示图像处理单元112、显示驱动单元113和显示控制单元114。

例如，可以经由图像输入/输出控制单元127将具有经图像拍摄单元103拍摄并且经图像拍摄信号处理单元115处理的图像拍摄信号形式的图像数据提供给显示图像处理单元112。显示图像处理单元112例如是所谓的视频处理器，并且是能够对所提供的图像数据执行各种显示处理的部件。例如，可以对图像进行亮度水平调节、色彩校正、对比度调节和锐度调节。另外，显示图像处理单元112还能够进行处理，例如生成对所提供的图像数据的一部分进行放大的放大图像或生成缩小图像、对所提供的图像数据的用于分屏显示的图像进行分离或组合、对图像的强调部分进行图像处理、生成特征图像或代表图像、以及对所生成的图像与所提供的图像进行组合。换言之，可以对所提供的图像数据进行各种处理。

显示驱动单元113由用于使被实现为液晶显示器的显示单元102例如显示从显示图像处理单元112提供的图像数据的像素驱动电路构成。换言之，针对显示单元102中以矩阵布置的每个像素，在各预定水平/垂直驱动时刻处施加基于画面信号的驱动信号以执行显示。另外，显示驱动单元113也可以控制显示单元102的每个像素的透射率以产生透明状态。

显示控制单元114基于来自系统控制器110的指令来控制显示图像处理单元112的处理操作和显示驱动单元113的操作。换言之，显示控制单元114使显示图像处理单元112执行上述各种处理。另外，显示控制单元114控制显示驱动单元113以在透明状态和图像显示状态之间切换。

要指出的是，也可以经由图像输入/输出控制单元127将从存储单元125回放的图像数据或由通信单元126接收的图像数据提供给显示图像处理单元112。在该情况下，通过显示图像处理单元112和显示驱动单元113的上述操作在显示单元102上输出回放图像或所接收的图像。

另外，移动终端10设置有音频输入单元106、音频信号处理单元116和音频输出单元105。

音频输入单元106包括图1所示的麦克风26以及对由麦克风26获得的音频信号进行放大和处理并且输出音频数据的麦克风放大单元和a/d转换器。由音频输入单元106获得的音频数据被提供给音频输入/输出控制单元128。

音频输入/输出控制单元128根据系统控制器110的控制来控制音频数据的传递。换言之，控制音频信号在音频信号处理单元116、存储单元125和通信单元126之间传递。例如，音频输入/输出控制单元128可以进行操作以将由音频输入单元106获得的音频数据提供给音频信号处理单元116、存储单元125或通信单元126。此外，例如，音频输入/输出控制单元128进行操作以将回放的音频数据从存储单元125提供给音频信号处理单元116或通信单元126。此外，例如，音频输入/输出控制单元128进行操作以将由通信单元126接收的音频数据提供给音频信号处理单元116或存储单元125。

音频信号处理单元116例如由数字信号处理器、d/a转换器等构成。音频信号处理单元116经由音频输入/输出控制单元128被提供以音频输入单元106所获得的音频数据或者来自存储单元125或通信单元126的音频数据。音频信号处理单元116在系统控制器110的控制下对所提供的音频数据执行处理，例如音量调节、音质调节以及声效处理。接着，将经处理的音频数据转换成模拟信号并提供给显示单元102。要指出的是，音频信号处理单元116不限于进行数字信号处理的配置，并且也可以利用模拟放大器或模拟滤波器进行信号处理。

音频输出单元105包括图1所示的扬声器24和用于扬声器24的放大电路。利用音频输入单元106、音频信号处理单元116和音频输出单元105，用户可以收听外部音频，收听从存储单元125回放的音频或者收听由通信单元126接收的音频。要指出的是，音频输出单元105也可以被配置成所谓的骨传导扬声器。

存储单元125是关于指定记录介质记录或回放数据的构件，并且例如被实现为硬盘驱动器(hdd)。明显地，作为记录介质能够想到各种介质，例如闪速存储器或其他固态存储器、容置固态存储器的存储卡、光盘、磁光盘和全息照相存储器，并且足以将存储单元125配置成能够根据所实施的记录介质来执行记录和回放。

可以经由图像输入/输出控制单元127将具有经图像拍摄单元103拍摄并且经图像拍摄信号处理单元115处理的图像拍摄信号形式的图像数据或由通信单元126接收的图像数据提供给存储单元125。此外，可以经由音频输入/输出控制单元128将由音频输入单元106获得的音频数据或由通信单元126接收的音频数据提供给存储单元125。

存储单元125遵照系统控制器110的控制对所提供的图像数据或音频数据进行编码处理以用于编码至记录介质，并且将经编码的数据记录至记录介质。另外，存储单元125遵照系统控制器110的控制从记录介质回放图像数据或音频数据。将所回放的图像数据输出至图像输入/输出控制单元127，而将所回放的音频数据输出至音频输入/输出控制单元128。

通信单元126向外部装备发送数据并且从外部装备接收数据。使用诸如无线lan或蓝牙方案的通信单元126例如可以被配置成经由短程无线通信与网络接入点进行网络通信，或者可以被配置成与设置有可兼容通信功能的外部装备进行直接无线通信。

可以经由图像输入/输出控制单元127将具有经图像拍摄单元103拍摄并且经图像拍摄信号处理单元115处理的图像拍摄信号形式的图像数据或者从存储单元125回放的图像数据提供给通信单元126。此外，可以经由音频输入/输出控制单元128将由音频输入单元106获得的音频数据或从存储单元125回放的音频数据提供给通信单元126。

通信单元126遵照系统控制器110的控制对所提供的图像数据或音频数据进行用于传输的处理如编码处理和调制处理，并且将其发送至外部装备。此外，通信单元126从外部装备接收数据。通信单元126将所接收的并且经解调的图像数据输出至图象输入/输出控制单元127，并且将所接收的并且经解调的音频数据输出至音频输入/输出控制单元128。

另外，移动终端10设置有话音合成单元127。话音合成单元127根据来自系统控制器110的指令进行话音合成，并且输出音频信号。将从话音合成单元127输出的音频信号经由音频输入/输出控制单元128提供给音频信号处理单元116并且由音频信号处理单元116进行处理，提供给音频输出单元105并且作为音频输出至用户。话音合成单元127也可以产生文本至话音或屏幕阅读器话音的音频信号。

移动终端10设置有照明单元104和照明控制单元118。照明单元104由发光体(例如led)和使发光体发光的发光电路构成。照明控制单元118基于来自系统控制器110的指令使照明单元4执行发光操作。

移动终端10包括周围环境传感器119、图像拍摄目标传感器120、gps接收单元121、日期和时间计数单元122、图像分析单元117和通信单元126作为用于获取外部世界信息的配置。

周围环境传感器119例如可想到地包括传感器，例如照明传感器、温度传感器、湿度传感器和气压传感器，并且周围环境传感器119是获取用于检测诸如作为移动终端10的周围环境的周围亮度、温度、湿度、天气等信息的传感器。

图像拍摄目标传感器120为这样的传感器，其检测与作为图像拍摄单元103的图像拍摄操作的被摄体的图像拍摄目标有关的信息。例如，能够想到检测关于从移动终端10到图像拍摄目标的距离的信息的测距传感器，或者像红外传感器例如热释电传感器那样的检测能量或信息例如由图像拍摄目标产生的特定波长的红外光的传感器。在热释电传感器的情况下，例如可以检测图像拍摄目标是否为活体，例如人或动物。此外，还能够想到像各种紫外线(uv)传感器那样的检测能量或信息例如由图像拍摄目标产生的红外光的特定波长的传感器。在该情况下，例如，可以检测图像拍摄目标是否为荧光材料或荧光体，或者检测外部世界中紫外线的量，这对于防止晒伤是需要的。

gps接收单元121从全球定位系统(gps)卫星接收无线电波，并且输出纬度和经度信息作为当前位置。

日期和时间计数单元122用作对日期和时间(年、月、日、时、分、秒)进行计数的所谓时钟单元，并且输出当前日期和时间信息。

图像分析单元117对图像数据进行图像分析。图像分析单元117经由图像输入/输出控制单元127被提供以图像数据。在图像分析单元117中经受图像分析的图像数据为具有由图像拍摄单元103和图像拍摄信号处理单元115获得的拍摄图像的形式的图像数据、由通信单元126接收的图像数据或者由存储单元125从记录介质回放的图像数据。换言之，移动终端10能够在显示单元102上显示的输入图像数据经受图像分析单元117的图像分析。接着，图像分析单元117对图像数据进行分析，并且获得关于包含在图像数据中的图像的信息。

通信单元126与外部装备进行数据通信。外部装备可以是设置有信息处理和通信功能的设备，例如计算机设备、个人数字助理(pda)、移动电话、视频装备、音频装备或者调谐器装备。另外，作为与其通信的外部装备还能够想到诸如连接至网络如因特网的终端设备和服务器设备等设备。此外，诸如具有内置ic芯片的非接触式通信ic卡、二维条形码如qr码、或者全息存储器等的对象可以被视为外部装备，并且通信单元126可想到地可以被配置成从这样的外部装备读取信息。此外。作为外部装备还能够想到另外的移动设备10。使用诸如无线lan或蓝牙等方案的通信单元126例如可以被配置成经由短程无线通信与网络接入点进行网络通信，或者可以被配置成与设置有可兼容通信功能的外部装备进行直接无线通信。

利用周围环境传感器119、图像拍摄目标传感器120、gps接收单元121、日期和时间计数单元122、图像分析单元117和通信单元126，获得关于从移动终端10视角看到的外部世界的信息并且将该信息提供给系统控制器110。

系统控制器110根据通过外部条件确定功能110a的处理获得的外部世界信息、利用操作控制功能110b的处理进行与图像拍摄操作和显示操作有关的控制。换言之，系统控制器110指示显示控制单元114控制显示图像处理单元112和显示驱动单元113的操作，选择要显示的数据源，并且控制存储单元125的回放操作和通信单元126的通信操作。

要指出的是，尽管周围环境传感器119、图像拍摄目标传感器120、gps接收单元121、日期和时间计数单元122、图像分析单元117和通信单元126被示出为用于获取外部世界信息的配置，但并非严格必需提供上述所有单元。另外，也可以设置其他传感器，例如感测和分析周围音频的音频分析单元。

<5.透射式显示单元的显示处理>

例如，在电话呼叫期间，移动终端10在处于打开状态的透射式显示单元40上显示诸如文本、图像和图形等信息。在下文中，将描述在电话呼叫期间由透射式显示单元40进行的显示处理的示例。

(5-1.通过从电话呼叫期间的对话中提取话题来显示相关信息的处理)

当用户与第三方(打电话的人)处于电话呼叫中时，根据本实施方式的移动终端10能够从对话中提取话题，并且在透射式显示单元40上显示与所提取的话题相对应的相关信息。在下文中，将参照图27至图32来描述显示与电话呼叫期间的话题有关的相关信息的处理。

图27是示出基于从对话中提取的话题来显示相关信息的处理的流程图。图28至图32是示出在显示与电话呼叫期间的话题有关的相关信息的处理期间透射式显示单元40的显示示例的图。

当移动终端10的用户向打电话的人进行电话呼叫的同时透射式显示单元40也处于打开状态并且被定位在用户眼睛的前方时，图27中的流程开始。在这一点上，假设如图28所示在透射式显示单元40上未显示图像等，并且用户正在通过透射式显示单元40看房间的状态。

首先，移动终端10的系统控制器110利用音频输入/输出控制128将用户和打电话的人的话音转换成文本，并且将所转换的文本数据存储在存储设备125中(步骤s102)。

接下来，系统控制器110以预定间隔提取与存储在存储设备125中的文本数据的内容相似的话题。在本文中，预定间隔例如为5分钟，但不限于此。

现在将描述话题提取方法的示例。首先，对文本数据执行形态分析，提取通过排除无关词而获得的词(特征词)，并且计算每个词的权重。作为结果，计算出文本数据的特征矢量。接下来，搜索预先存储在存储设备125等中的数据库(其中存储有用于各个话题的特征矢量)，并且根据文本数据的特征矢量与存储在数据库中的用于各个话题的特征矢量的内积来分别计算相似度。接着，例如提取具有最大相似度的话题。

现在将返回图27中的流程图并继续进行描述。系统控制器110如图29所示在透射式显示单元40上显示与所提取的话题相关联的url的图像(例如，封面图像)(步骤s106)。在图29中，在透射式显示单元40的右半边的区域中显示与戏剧话题有关的多个封面图像i1a至i1d。然而，封面图像的显示位置不限于此，并且例如也可以是透射式显示单元40的左侧的区域。

在透射式显示单元40显示多个封面图像时，用户可以如图30所示将指尖放在封面图像之一上，以从所显示的多个封面图像中选择一个封面图像。要指出的是，如果系统控制器110经由图像拍摄单元103识别出手位于与透射式显示单元40相对应的位置处，可以叠加地在透射式显示单元40的封面图像上显示虚假的手，如图30所示。

接下来，系统控制器110确定用户的指尖与一个封面图像是否已经重叠达预定时间(步骤s108)。接着，如果在步骤s108中确定指尖与一个封面图像已经重叠达预定时间(是)，则系统控制器110访问与被指尖覆盖的封面图像相对应的url(步骤s110)。因此，获取与封面图像相对应的网页。

接下来，系统控制器110如图31所示在透射式显示单元40的左半边的区域中显示所获取的网页(步骤s112)。此时，对网页i2进行全屏显示，如图31所示。

接下来，在显示网页之后，系统控制器110确定是否不存在用户的操作达预定时间(步骤s114)。接着，如果在步骤s114中确定不存在用户的操作(是)，则系统控制器110返回至步骤s104的处理，提取另一话题，并且显示封面图像，如图32所示。在图32中，显示了与动漫的话题有关的多个封面图像i3a至i3d。

要指出的是，如果在步骤s114中确定用户在预定时间内执行操作，则系统控制器112进行与用户的操作相对应的处理(例如，浏览或访问另一url)。

根据以上所讨论的基于从对话中提取的话题来显示相关信息的处理，用户在与第三方进行电话呼叫期间能够在透射式显示单元40上看到与话题相对应的图像等。

根据上述显示处理，系统控制器110根据在电话呼叫期间获取的话音或图像来生成话音或图像的相关信息(网页)，并且在透射式显示单元40显示该相关信息。具体地，系统控制器110访问和与在电话呼叫期间获取的话音(对话)相对应的话题有关的url，并且获取与该url相对应的网页。接着，系统控制器110在透射式显示单元40显示所获取的网页。作为结果，通过浏览所显示的网页，用户在进行电话呼叫的同时更容易地获得关于与对话有关的话题的信息。

(5-2.显示与同时正在观看的tv屏幕有关的相关信息的处理)

当用户与第三方同时正在看电视时，根据本实施方式的移动终端10能够在透射式显示单元40上显示关于正在观看的tv屏幕的相关信息。在下文中，将参照图33和图38来描述显示与同时正在观看的tv屏幕有关的相关信息的处理。

图33和图34是示出显示与正在观看的tv屏幕有关的相关信息的处理的流程图。图35至图38是示出在显示与正在观看的tv屏幕有关的相关信息的处理期间透射式显示单元40的示例显示。

当处于与第三方电话呼叫中的移动终端10的用户打开tv的显示器进行观看(步骤s202)时，图33中的流程开始。在这一点上，透射式显示单元40处于打开状态并且被定位在用户眼睛的前方。

接下来，移动终端10的系统控制器110临时存储正在广播的tv节目的画面和音频(步骤s204)。接下来，系统控制器110根据画面和音频生成签名(例如，指纹)，并且将签名发送至作为外部装置的服务器(步骤s206)。要指出的是，尽管上面根据画面和音频生成签名，但配置不限于此，并且也可以仅根据音频生成签名。

服务器基于从移动终端10接收的签名来生成与正在观看的tv节目有关的相关信息、图像信息、用于相关信息的显示位置信息等。在本文中，相关信息例如为正在观看的tv节目的标题以及与人物有关的信息。图像信息为用于决定tv屏幕的角度的信息。

接下来，系统控制器110从服务器获取由服务器生成的信息，例如与正在观看的tv节目有关的相关信息、图像信息和显示位置信息(步骤s208)。接下来，系统控制器110通过比较由图像拍摄单元103获取的图像和所获取的图像信息来指定tv屏幕的角度(步骤s210)。接着，系统控制器110在关于由所获取的显示位置信息指示的tv屏幕的预定相对位置处呈现相关信息的ar显示，如图35所示。在图35中，指示节目标题的信息i4a、指示关于节目的细节的信息i4b以及指示人物的信息i4c和i4d被呈现为ar显示。

在此之后，假设由打电话的人(即第三方)使用的终端发送操作信息请求(步骤s212)。接着，通过响应于操作信号请求使移动终端10向打电话的人的终端发送认证信号(步骤s214)，打电话的人的终端接收认证信号(步骤s216)。

接下来，移动终端10的系统控制器110确定用户的指尖和相关信息是否已经重叠达预定时间(步骤s218)。接着，如果在步骤s218中确定的指尖和相关信息已经重叠达预定时间(是)，则在如图36所示指尖与指示人物的信息14d重叠的情况下，例如系统控制器110访问和与指尖重叠的相关信息14d相关联的url(步骤s220)。因此，获取与相关信息i4d相对应的网页。

接下来，系统控制器110向打电话的人的终端发送包括在步骤s220中访问的url的信息(步骤s222)，并且因此打电话的人的终端接收到包括该url的信息(步骤s224)。打电话的人的终端访问包含在所接收的信息中的url(步骤s226)。

移动终端10的系统控制器110在透射式显示单元40上显示所访问的url的网页i5(步骤s228)，如图37所示。在这一点上，系统控制器110在避开tv屏幕的情况下显示网页i5，并且还修改相关信息i4c的位置，使得相关信息i4c与网页不重叠。

与移动终端10类似地，打电话的人的终端显示所访问的url的网页(步骤s230)。如果打电话的人的终端和移动终端10为相似的终端，则进行以上在步骤s228中描述的显示控制，如图38所示。要指出的是，图38是由打电话的人使用的移动终端的透射式显示单元40的示例显示。

根据以上所讨论的显示处理，系统控制器110访问与和打电话的人同时观看的tv屏幕相对应的url，并且获取与url相对应的网页。接着，系统控制器110在透射式显示单元40上显示所获取的网页。作为结果，通过浏览所显示的网页，用户更容易地获得与正在观看的tv屏幕有关的另外的信息。

(5-3.自动显示与其他人的谈话概要的处理)

当用户处于与第三方(打电话的人)的电话呼叫中时，根据本实施方式的移动终端10能够生成并且在透射式显示单元40上自动显示与打电话的人的谈话概要。在下文中，将参照图39至图41描述显示与打电话的人的谈话概要的处理。

图39是示出显示与打电话的人的谈话概要的处理的流程图。图40至图41是示出在显示与打电话的人的谈话概要的处理期间透射式显示单元40的示例显示的图。

当移动终端10的用户向打电话的人进行电话呼叫的同时透射式显示单元40也处于打开状态并且被定位在用户眼睛的前方时，图39中的流程开始。

首先，如果用户对操作单元进行操作以开启概要功能，则移动终端10的系统控制器110开启概要功能(步骤s302)。在这一点上，如图40所示，在透射式显示单元40上显示指示概要功能处于开启状态的信息i6。

接下来，移动终端10的系统控制器110利用音频输入/输出控制128将打电话的人的话音转换成文本，并且将所转换的文本存储在存储设备125中(步骤s304)。

接下来，在预定时间(例如5分钟)之后，系统控制器110根据存储设备125中存储的该预定时间的文本数据的内容创建概要，并且如图41(a)所示，在透射式显示单元40上显示该概要(步骤s306)。在图41(a)中，概要l7a显示在透射式显示单元40的右半边的区域中。

现在将描述创建文本数据的概要的方法的示例。为了创建文本数据的概要，将文本数据划分成部件例如词、短语或句子，并且获取特征例如所划分的词、短语等出现的频率和它们的相互接近程度。接着，在考虑诸如顺序和接近程度等特性如何影响该概要的情况下基于所获取的词、短语等特征对文本数据中的词、短语等的重要性进行排序。接着，基于该排序创建概要文本。

现在返回图39并且继续进行描述。系统控制器110确定自显示概要起是否已经过预定时间(步骤s308)。在本文中，预定时间例如为30秒，但不限于此。

接着，如果在步骤s308中确定已经过预定时间(是)，则系统控制器110再次创建与打电话的人的谈话概要，并且在透射式显示单元40上显示该概要，如图41(b)和图41(c)所示。图41(b)和图41(c)是示出了不同于图41(a)的概要i7b和概要i7c的图。换言之，系统控制器110重复进行概要的创建和显示。

另一方面，如果在步骤s308中确定尚未经过预定时间(否)，则系统控制器110确定用户是否对操作单元进行了操作以关闭概要功能(步骤s310)。接着，如果在步骤s310确定关闭了概要功能(是)，则系统控制器110停止利用音频输入/输出控制128将打电话的人的话音转换成文本的处理(步骤s312)。

根据以上所讨论的显示处理，系统控制器110生成在电话呼叫期间从打电话的人的终端获取的话音的内容概要，并且在透射式显示单元40上显示该概要，并且因此可以适当地理解在电话呼叫期间打电话的人所讲的内容。

(5-4.基于打电话的人的手势来显示导航信息的处理)

根据本实施方式的移动终端10能够基于从打电话的人的终端获取的来自打电话的人的手势信息来生成导航信息，并且在透射式显示单元40上显示所生成的导航信息。在下文中，将参照图42和图43来描述基于打电话的人的手势来显示导航信息的处理。

图42是示出基于打电话的人的手势来显示导航信息的处理的流程图。图43是用于说明基于打电话的人的手势来显示导航信息的处理的流程的说明图。

当用户的移动终端10建立与打电话的人的终端的电话呼叫时，图42中的流程开始，并且激活向导模式(步骤s402)。用户的移动终端10在激活向导模式之后向打电话的人的终端发送该信息。因此，打电话的人的终端也激活向导模式(步骤s403)。要指出的是，本显示处理假设打电话的人的终端也是包括透射式显示单元40的移动终端10。

接下来，用户的移动终端10(具体地，系统控制器110)使用图像拍摄单元103来拍摄用户的视野的图像i8(步骤s404)，如图43(a)所示。接下来，用户的移动终端10将所拍摄的视野图像发送至打电话的人的终端(步骤s406)。在这一点上，用户例如向打电话的人询问与去往目的地的向导有关的问题。

打电话的人的移动终端10在透射式显示单元40上显示所接收到的视野图像(步骤s408)。接下来，打电话的人的移动终端10使用图像拍摄单元103来拍摄打电话的人前方的区域(包括透射式显示单元40的区域)的图像(步骤s410)。为了回答用户的与去往目的地的向导有关的问题，打电话的人将手指放在透射式显示单元40上显示的图像中的目的地上，如图43(b)所示。接着，打电话的人的移动终端10拍摄透射式显示单元40连同打电话的人的手指的图像。

接下来，打电话的人的移动终端10从所拍摄的图像中识别并且提取打电话的人的手指(步骤s412)。接下来，打电话的人的移动终端10将所提取的手的图像发送至用户的移动终端10(步骤s414)。

接下来，用户的移动终端10在透射式显示单元40上显示从打电话的人的终端接收的手的图像i9作为导航信息(步骤s416)，如图43(c)所示。作为结果，用户能够容易地掌握目的地。此后，如果用户执行操作以结束当前有效的向导模式等(步骤s418：是)，则用户的移动终端10结束当前有效的向导模式(步骤s420)。在这一点上，用户的移动终端10结束向导模式，并且另外地向打电话的人的移动终端10发送信息。因此，打电话的人的移动终端10也结束当前有效的向导模式(步骤s422)。因此，本显示处理结束。

要指出的是，尽管以上描述中在透射式显示单元40上显示手的图像作为导航信息，但配置不限于此。例如，导航信息也可以是指向目的地的箭头、包围目的地的圆形或方形图形、或者文本等。另外，也可以输出与目的地有关的音频作为导航信息。

根据以上所讨论的显示处理，系统控制器110在电话呼叫期间获取与打电话的人的动作有关的动作信息，基于所获取的动作信息生成导航信息，并且在透射式显示单元40上显示该导航信息。具体地，系统控制器110从打电话的人获取手势信息，并且基于所获取的手势信息在透射式显示单元40上显示导航信息。因此，例如通过浏览在透射式显示单元40上显示的导航信息，用户更容易地理解打电话的人的向导。

(5-5.基于从话音中提取的关键字来显示导航信息的处理)

根据本实施方式的移动终端10能够从打电话的人的话音中提取指定目的地的关键字，并且基于所提取的关键字在透射式显示单元40上显示去往目的地的导航信息。在下文中，将参照图44和图45来描述基于从打电话的人的话音中提取的关键字来显示导航信息的处理。

图44是示出基于从打电话的人的话音中提取的关键字来显示导航信息的处理的流程图。图45是用于说明基于从打电话的人的话音中提取的关键字来显示导航信息的处理的流程的说明图。

当用户的移动终端10与打电话的人的移动终端建立电话呼叫并且激活向导模式时图44中的流程开始(步骤s502)。要指出的是，在本显示处理中，打电话的人的终端至少具有电话功能即足够。

接下来，移动终端10的系统控制器110使用图像获取单元103从用户的视野拍摄图像(步骤s504)，如图45(a)所示。接下来，移动终端10使用gps接收单元121来检测移动终端10的用户的当前位置和行进方向(步骤s506)。

此后，假设用户向打电话的人例如询问与去往目的地的向导有关的问题，并且响应于用户问题打电话的人发出与目的地有关的话音(“abc百货店”)，如图45(b)所示。

接着，系统控制器110进行话音识别，以对来自打电话的人的话音进行识别，并且提取与目的地有关的关键字(步骤s508)。此处，系统控制器110提取“abc百货店”作为关键字。

接下来，系统控制器110从地图信息中指定与所提取的关键字匹配的靠近用户的当前位置的地方，并且将所指定的地方设置成目的地(步骤s510)。接着，系统控制器110在透射式显示单元40上显示以目的地的方向进行引导的导航信息(步骤s512)，如图45(c)所示。在图45(c)中，指示目的地的方向的箭头i10被显示为导航信息。

接下来，系统控制器110根据用户的当前位置和行进方向来确定目的地是否包含在视野画面中(步骤s514)。接着，如果在步骤s514中确定包含目的地(是)，则系统控制器110在透射式显示单元40上显示指示目的地的导航信息(步骤s516)，如图45(d)所示。在图45(d)中，包围目的地的圆形图形i11被显示为导航信息。此后，如果用户执行操作以结束当前有效的向导模式等(步骤s518：是)，则系统控制器110结束当前有效的向导模式(步骤s520)。结果，本显示处理结束。

要指出的是，尽管在以上描述中指示目的地的方向的箭头或包围目的地的圆形图形被示出为导航信息，则配置不限于此。例如，替代箭头，可以显示文本或图形，并且替代圆形图形，可以显示另一图形(例如方形)或文本。另外，也可以输出去往目的地的地方的目的地的方向有关的音频作为导航信息。

根据以上所讨论的显示处理，系统控制器110获取由打电话的人讲的话音，并且基于所获取的话音在透射式显示单元40上显示导航信息。因此，例如通过浏览在透射式显示单元40显示的导航信息，用户更容易地理解打电话的人的向导。

<6结论>

在以上所讨论的移动终端10中，在音频输出单元正在输出音频时，透射式显示单元40可以被布置在与壳体20的主面相交的平面中。因此，由于例如在用户通过将移动终端10对着他或她的耳朵放置来收听正在输出的音频时将透射式显示单元40定位在易于看到的位置处，所以用户能够适当地掌握透射式显示单元40的显示。

具体地，如图3所示，在与第三方的电话呼叫期间，透射式显示单元40可以被布置在与壳体20的主面相交的平面中。因此，由于在用户与第三方打电话时透射式显示单元40被定位在易于看到的位置，所以用户更容易地把握透射式显示单元40的显示。

本领域技术人员应该理解的是，基于设计需要和其他因素可能会出现各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围内即可。

在实施方式中的流程图中示出的步骤自然包括以所描述的按时间顺序执行的处理，并且还包括不一定按时间顺序执行而是也并行地执行或者单独地执行处理。不用说，即使在按时间顺序执行处理的步骤中，也可以根据需要改变顺序。

由本文所描述的信息处理装置进行的处理可以由软件、硬件以及软件和硬件组合中之一来实现。包含在软件中的程序被预先存储例如设置在各个装置的内部或外部的记录介质中。当执行每个程序时例如由随机存取存储器(ram)读取每个程序，并且由处理器例如cpu来执行每个程序。

此外，本技术也可以被如下配置。

(1)一种移动终端，包括：

壳体，其包括输出音频的音频输出单元；以及

透射式显示单元，被设置成能够关于所述壳体旋转，

其中，在所述音频输出单元输出音频时，所述透射式显示单元能够被布置在与所述壳体的主面相交的平面中。

(2)根据(1)所述的移动终端，还包括：

进行电话呼叫的电话单元，

其中，在电话呼叫期间，所述透射式显示单元能够被布置在与所述壳体的主面相交的平面中。

(3)根据(1)或(2)所述的移动终端，其中，

所述透射式显示单元关于所述壳体在闭合状态与打开状态之间旋转，并且

被定位在所述闭合状态的所述透射式显示单元的显示面和所述壳体的主面位于同一面。

(4)根据(1)或(2)所述的移动终端，其中，

所述透射式显示单元关于所述壳体在闭合状态与打开状态之间旋转，并且

被定位在所述闭合状态的所述透射式显示单元的显示面和所述壳体的主面彼此平行。

(5)根据(1)至(4)中任一项所述的移动终端，其中，

当所述透射式显示单元被定位在关于所述壳体沿第一方向旋转的第一打开状态或沿所述第一方向的相反方向旋转的第二打开状态时，所述透射式显示单元能够被布置在与所述主面相交的平面中。

(6)根据(1)至(5)中任一项所述的移动终端，其中，

所述透射式显示单元包括非透射式第二显示单元。

(7)根据(6)所述的移动终端，其中，

当所述透射式显示单元被定位在关于所述壳体的闭合状态时，所述第二显示单元呈现显示。

(8)根据(1)至(7)中任一项所述的移动终端，还包括：

检测单元，其检测所述透射式显示单元的旋转状态；以及

控制单元，其控制所述透射式显示单元的显示，

其中，所述控制单元根据由所述检测单元检测的所述透射式显示单元的旋转状态来控制显示。

(9)根据(1)至(8)中任一项所述的移动终端，还包括：

进行电话呼叫的电话单元；

获取话音或图像的获取单元；以及

控制单元，其根据由所述获取单元获取的话音或图像来生成与所述话音或所述图像有关的相关信息并且在所述透射式显示单元上显示所述相关信息。

(10)根据(9)所述的移动终端，还包括：

万维网信息获取单元，其访问url并且获取万维网信息，

其中，所述控制单元控制对与话题有关的url的访问，所述话题对应于所述获取单元获取的话音。

(11)根据(9)或(10)所述的移动终端，还包括：

万维网信息获取单元，其访问url并且获取万维网信息，

其中，所述控制单元控制对与所述获取单元所获取的图像相对应的url的访问。

(12)根据(9)至(11)中任一项所述的移动终端，其中，

所述控制单元生成由所述获取单元获取的话音的内容概要并且在所述透射式显示单元上显示所述内容概要。

(13)根据(1)至(12)中任一项所述的移动终端，还包括：

进行电话呼叫的电话单元；

获取单元，其获取与打电话的人在电话呼叫期间的动作有关的动作信息；以及

控制单元，其基于由所述获取单元获取的动作信息来生成导航信息，并且在所述透射式显示单元上显示所述导航信息。

(14)根据(13)所述的移动终端，其中，

所述获取单元获取所述打电话的人的手势信息作为所述动作信息，并且

所述控制单元基于所获取的手势信息在所述透射式显示单元上显示导航信息。

(15)根据(13)或(14)所述的移动终端，其中，

所述获取单元获取由所述打电话的人说出的话音作为所述动作信息，并且

所述控制单元基于所获取的话音在所述透射式显示单元上显示导航信息。

(16)根据(1)至(15)中任一项所述的移动终端，其中，

所述透射式显示单元包括：

能够关于所述壳体旋转的基座单元，

设置在所述基座单元的表面上的导光单元，所述导光单元在对来自图像显示元件的光进行全反射的情况下将所述光导向出口，以及

形成在所述基座单元与所述导光单元之间的空气层。

(17)根据(16)所述的移动终端，其中，

所述导光单元包括：

设置在所述基座单元的第一表面上的第一导光单元，以及

设置在所述基座单元的所述第一表面的相反侧的第二表面上的第二导光单元，并且

所述空气层包括:

形成在所述基座单元的所述第一表面与所述第一导光单元之间的第一空气层，以及

形成在所述基座单元的所述第二表面与所述第二导光单元之间的第二空气层。

(18)根据(17)所述的移动终端，其中，

所述基座单元被定位在关于所述壳体沿第一方向旋转的第一打开状态或沿所述第一方向的相反方向旋转的第二打开状态，

当所述基座单元被定位在所述第一打开状态时，所述第一导光单元在对来自所述图像显示元件的光进行全反射的情况下将所述光导向出口，以及

当所述基座单元被定位在所述第二打开状态时，所述第二导光单元在对来自所述图像显示元件的光进行全反射的情况下将所述光导向出口。

附图标记列表

10移动终端

20壳体

20a前面

24扬声器

40透射式显示单元

41基座单元

42第二显示单元

43、47导光板

44、48空气层

45铰链单元

75旋转检测单元

110系统控制器