图像显示装置、图像显示方法和计算机程序的制作方法
【专利摘要】本发明公开了一种可以以简易的方式和低成本地进行使用者识别和认证处理的佩戴在使用者的头部或面部上使用的图像显示装置、图像显示方法和计算机程序，所述图像显示装置包括构造成显示从使用者侧看得见的内侧图像的显示单元；构造成从所述使用者输入识别模式的输入单元；构造成核查所述识别模式的核查单元；以及构造成基于所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
【专利说明】图像显示装置、图像显示方法和计算机程序
[0001]相关申请的交叉引用
[0002]本申请要求于2012年11月2日提交的日本在先专利申请JP2012-243184的权益，其全部内容以引用的方式并入本文。
【技术领域】
[0003]本技术涉及一种使用者佩戴在他或她的头部或面部上并且用来观看图像的图像显示装置、图像显示方法和计算机程序。特别地，本技术涉及一种进行例如在他或她的头部或面部上佩戴图像显示装置的使用者的认证的图像显示装置、图像显示方法和计算机程序。
【背景技术】
[0004]佩戴在头部并且用来观看图像的头戴式图像显示装置是已知的(该装置统称为“头戴式显示器”)。头戴式图像显示装置具有例如左眼和右眼用的各图像显示单元，并且被构造成当与头戴式耳机一起使用时能够控制视觉和听觉。头戴式图像显示装置可以向左眼和右眼示出不同的图像，并且还可以通过向左眼和右眼显示它们之间具有视差的图像来呈现二维图像。
[0005]头戴式图像显示装置还可以分类为遮光型和透过型的。遮光型头戴式图像显示装置被设计为当佩戴在他或她的头部上时直接覆盖使用者的眼睛，并且在观看图像时为使用者提供更大的沉浸感。另一方面，在透过型头戴式图像显示装置的情况下，即使当佩戴在使用者的头部上以显示图像时，他或她仍然可以透过所显示的图像观看现实世界的风景(即，可以穿过显示器)。因此，透过型头戴式图像显示装置可以以重合的方式在现实世界的风景上示出假想的显示图像。
[0006]在未来几年里，头戴式图像显示装置有望配备诸如智能手机等多功能终端的功能，并且有望导入涉及增强现实感等的多种应用。一旦头戴式图像显示装置提供内容观看外的更大附加价值，并且目的是使用者在生活中常用，那么将在其中存储诸如机密信息等各种信息。因此，当使用者开始使用头戴式图像显示装置时，涉及例如核查使用者的真实性的安全控制将变得更为重要。
[0007]在信息处理领域，基于使用者密码输入的认证方法已经广泛使用。然而，对于佩戴在使用者的头部或面部上使用的图像显示装置，很难为该图像显示装置的主体配备用于输入密码的设备(例如，键盘)。还有一个问题在于，佩戴图像显示装置的使用者不得不在基本上蒙住眼睛的状态下进行键输入操作。
[0008]例如，日本未审查专利申请公开N0.2003-167855公开了一种信息终端系统，其中当信息终端装置的主体开始操作时，设置在头戴式显示器中的检测设备读出使用者个人的眼球内的视网膜或虹膜等的生物学特征信息以对使用者进行认证。一旦确立使用者认证，就允许使用者进行与使用者的权限相对应的信息终端装置的操作，并且在头戴式显示器上显示所希望的信息，只要他或她不摘掉头戴式显示器，那么就不需要每次使用前进行使用者认证。
[0009]例如，日本未审查专利申请公开N0.2007-322769公开了一种获取佩戴视频显示装置的使用者的虹膜、视网膜或面部的生物信息并且基于生物信息验证是否是使用者本人的视频显示系统。
[0010]基于视网膜和虹膜等的生物学特征信息进行个人认证的技术已经被建立并且广泛用于各种工业领域。为了从使用者读出视网膜和虹膜等的生物学特征信息，一般使用高成本的专用设备。因此，在目的是使用者生活中常用的信息设备中安装这种认证用设备在成本方面具有非常大的缺点。用于读取视网膜和虹膜等的设备除了认证之外几乎没有发现其他的用途，并且一旦确立了认证，它们很少用来执行日常的应用。
【发明内容】
[0011]本文公开的技术的目的是提供一种使用者佩戴在他或她的头部或面部上并用来观看图像的改进的图像显示装置、改进的图像显示方法和改进的计算机程序。
[0012]本文公开的技术的另一个目的是提供一种可以优选对在他或她的头部或面部上佩戴图像显示装置的使用者进行认证的改进的图像显示装置、改进的图像显示方法和改进的计算机程序。
[0013]鉴于上述情况构想出了本文公开的技术，并且提供了一种佩戴在使用者的头部或面部上使用的图像显示装置。所述图像显示装置包括:构造成显示从所述使用者侧看得见的内侧图像的显示单元；构造成从所述使用者输入识别模式的输入单元；构造成核查所述识别模式的核查单元；以及构造成基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
[0014]所述核查单元可以核查所述使用者的真实性，以及基于所述使用者是否是真实的，所述控制单元可以确定是否在所述图像显示装置上执行预定的处理。
[0015]所述图像显示装置还可以包括构造成预先注册真实的使用者经由所述输入单元输入的认证模式的认证模式注册单元。所述核查单元可以基于所述使用者经由所述输入单元输入的识别模式和在所述认证模式注册单元中预先注册的认证模式之间的匹配度核查所述使用者的真实性。
[0016]所述图像显示装置还可以包括构造成检测所述使用者的视线的视线检测单元。所述输入单元可以输入基于从所述视线检测单元获取的所述使用者的注视点位置或注视点的移动的识别模式。
[0017]所述视线检测单元可以包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
[0018]所述图像显示装置还可以包括构造成检测佩戴所述图像显示装置的使用者的头部或身体的移动的运动检测单元。所述输入单元可以输入基于从所述运动检测单元获取的所述使用者的头部或身体的移动的识别模式。
[0019]在所述图像显示装置中的所述运动检测单元可以包括加速度传感器、陀螺仪传感器和相机中的至少一个。
[0020]所述图像显示装置还可以包括构造成检测所述使用者发出的声音的声音检测单元。所述输入单元可以输入基于从所述声音检测单元获取的声音的识别模式。[0021]所述图像显示装置还可以包括构造成检测所述使用者发声时产生的语音骨传导信号的骨传导信号检测单元。所述输入单元可以基于所述骨传导信号检测单元获取的语音骨传导信号而输入识别模式。
[0022]所述图像显示装置还可以包括构造成检测所述使用者的面部或面部部分的形状特征的特征检测单元。所述输入单元可以输入基于所述使用者的面部或面部部分的形状特征的识别模式。
[0023]在所述图像显示装置中的所述特征检测单元可以检测所述使用者的眼睛形状、眼间距离、鼻子形状、嘴巴形状、嘴巴开/闭操作、眼睫毛、眉毛和耳垂的形状特征中的至少一个。
[0024]所述图像显示装置还可以包括构造成检测所述使用者的眨眼动作的眨眼检测单元。所述输入单元可以输入基于从所述眨眼检测单元获取的所述使用者的眨眼的识别模式。
[0025]在所述图像显示装置中的所述眨眼检测单元可以包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
[0026]所述图像显示装置还可以包括构造成检测所述使用者的手、手指或指纹的形状特征的特征检测单元。所述输入单元可以输入基于所述使用者的手、手指或指纹的形状特征的识别模式。
[0027]所述图像显示装置还可以包括构造成与由所述使用者佩戴或携带在他或她身上的经认证的设备进行人体通讯并且从所述经认证的设备读取信息的人体通讯单元。所述输入单元可以输入基于由所述人体通讯单元从所述经认证的设备读取的信息的识别模式。
[0028]所述图像显示装置还可以包括构造成在所述显示单元上显示为所述使用者经由所述输入单元输入识别模式的操作提供引导的引导信息的引导信息显示单元。
[0029]所述图像显示装置还可以包括构造成当所述使用者在所述认证模式注册单元中预先注册认证模式时在所述显示单元上显示为输入认证模式的操作提供引导的引导信息的引导信息显示单元。
[0030]所述图像显示装置还可以包括构造成在所述显示单元上显示所述使用者经由所述输入单元输入识别模式的结果的输入结果显示单元。
[0031]根据本文公开的技术，提供了一种佩戴在使用者的头部或面部上使用的图像显示装置的图像显示方法。所述图像显示方法包括从所述使用者输入识别模式；核查所述识别模式；以及基于核查的结果来控制所述图像显示装置。
[0032]根据本文公开的技术，提供了一种以计算机可读格式写成而在计算机上控制佩戴在使用者的头部或面部上使用的图像显示装置的操作的计算机程序。所述计算机程序使得所述计算机具有以下功能:显示从所述使用者侧看得见的内侧图像的显示单元；从所述使用者输入识别模式的输入单元；核查所述识别模式的核查单元；以及基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
[0033]本文公开的计算机程序以计算机可读格式写成而在计算机上实现预定的处理。换句话说，本文公开的计算机程序安装到计算机中以在计算机上提供协作效应，从而使得可以提供类似于本文公开的图像显示装置的那些优点。
[0034]本文公开的技术可以提供一种改进的图像显示装置、改进的图像显示方法和改进的计算机程序，其可以以更简易的方式和低成本地实现对在他或她的头部或面部上佩戴图像显示装置的使用者的认证处理。
[0035]根据本文公开的技术，基于可以从图像显示装置中通常包含的设备输入的使用者的识别模式，可以以简易的方式和低成本地进行使用者识别和认证处理。
[0036]本文公开的技术的其他目的、特征和优点从基于以下实施方案和附图的更详细说明将变得很明显。
【专利附图】
【附图说明】
[0037]图1是示出佩戴透过型头戴式图像显示装置的使用者的状态的正视图；
[0038]图2是示出佩戴图1所示的图像显示装置的使用者的状态的俯视图；
[0039]图3是示出佩戴遮光型头戴式图像显示装置的使用者的状态的正视图；
[0040]图4是示出佩戴图3所示的图像显示装置的使用者的状态的俯视图；
[0041]图5示出图像显示装置的内部构成的例子；
[0042]图6示意性地示出图像显示装置基于使用者操作的信息用其进行使用者识别和认证处理的功能构成；
[0043]图7示意性地示出图像显示装置基于使用者操作的信息用其进行使用者识别和认证处理的功能构成(图6的变形例)；
[0044]图8示出由使用者识别和认证单元处理的识别模式和用于输入识别模式的环境传感器和状态传感器的组合的例子；
[0045]图9A示出当使用者输入涉及他或她的注视点的移动的识别模式时显示的引导信息的例子；
[0046]图9B示出使用者经由图9A所示的引导信息的显示屏幕通过使用他或她的视线输入个人识别码的状态；
[0047]图1OA是图9A所示的引导信息显示的变形例；
[0048]图1OB示出使用者经由图1OA所示的引导信息的显示屏幕通过使用他或她的视线输入个人识别码的状态；
[0049]图1OC是图1OA所示的引导信息显示的变形例；
[0050]图1lA示出作为设定视线的目标的多个图像对象被分散在其中的引导信息的例子;
[0051]图1lB示出其中使用者经由图1lA所示的引导信息的显示屏幕通过移动他或她的视线绘制所希望的注视点的轨迹的状态；
[0052]图12是其中大量的面部图像随机配置的引导信息的显示例子；
[0053]图13A示出当使用者输入他或她的头部的识别模式时显示的引导信息的例子；
[0054]图13B示出当以重合的方式在图13A所示的引导信息上显示检测到的头部移动的信息时屏幕的例子；
[0055]图13C示出当以重合的方式在图13A所示的引导信息上显示检测到的头部移动的信息时屏幕的例子；
[0056]图13D示出当以重合的方式在图13A所示的引导信息上显示检测到的头部移动的信息时屏幕的例子；[0057]图14A示出当由使用者发出的声音或语音骨传导信号(语音骨传导信号)用作使用者识别和认证用的识别模式时显示的引导信息的例子；
[0058]图14B示出在图14A所示的引导信息中检测到的声音信息显示在其上的屏幕的例子;
[0059]图15A示出当由使用者进行的眨眼动作作为使用者识别和认证用的识别模式被输入时引导信息的例子；
[0060]图15B示出当在图15A所示的引导信息中显示表示检测到的眨眼动作的图标时屏.的例子；
[0061]图16示出在经由图1lA所示的引导信息的显示屏幕通过移动他或她的视线绘制所希望的注视点的轨迹的同时使用者进行眨眼动作的状态；
[0062]图17示出用于提示使用者拥有认证设备(手表)的引导信息的例子；
[0063]图18示出用于提示使用者拥有认证设备(戒指)的引导信息的例子；
[0064]图19示出用于提示使用者拥有认证设备(卡)的引导信息的例子；
[0065]图20是示出在图像显示装置中预先注册使用者识别和认证处理用的认证模式的处理过程的流程图；以及
[0066]图21是示出图像显示装置进行使用者识别和认证处理的处理过程的流程图。【具体实施方式】
[0067]下面将参照附图详细说明根据本文公开的技术的实施方案。
[0068]A.装置构成
[0069]图1是示出佩戴透过型头戴式图像显示装置I的使用者的状态的正视图。图示的图像显示装置I具有类似于视力矫正用的眼镜的结构。图像显示装置I的主体在与使用者的左眼和右眼相对的位置配置有包括透明的导光单元等的虚像光学单元。在虚像光学单元的内侧显示由使用者观看到的图像。虚像光学单元由例如具有眼镜框形状的支撑体支撑。
[0070]具有眼镜框形状的支撑体在其大致中央处具有用于输入周围图像(在使用者的视野内)的相机。支撑体的左右两端附近还具有麦克风。由于设置有两个麦克风，所以只可以认出定位于中央的声音(使用者的声音)，并因而可以将其与周围噪音和其他人的说话声分离。因此，可以最小化例如基于声音输入的操作过程中的误操作。
[0071]图2是当由使用者佩戴时图像显示装置I的俯视图。如图所示，图像显示装置I在其左右两端配置有用于显示左眼用和右眼用的图像的显示面板。各显示面板由诸如液晶显示器或有机EL元件等微显示器构成。从显示面板输出的左右显示图像由虚像光学单元引导到左眼和右眼的附近，并且放大的虚像在使用者的瞳孔上成像。
[0072]图3是示出佩戴遮光型头戴式图像显示装置I的使用者的状态的正视图。图3所示的图像显示装置I具有类似于帽舌形状的结构并且被构造成直接覆盖佩戴图像显示装置I的使用者的左眼和右眼。图3所示的图像显示装置I在位于图像显示装置I的主体的内侧并且与使用者的左眼和右眼相对的位置配置有由使用者观看的显示面板(图3未示出)。显示面板例如由诸如有机EL元件或液晶显示器等微显示器构成。
[0073]具有类似于帽舌形状的图像显示装置I的主体在其前面的大致中央具有用于输入周围图像(在使用者的视野内)的相机。图像显示装置I的主体在其左右两端附近还具有麦克风。由于设置有两个麦克风，所以只可以认出定位于中央的声音(使用者的声音)，并因而可以与周围噪音和其他人的说话声分离。因此，可以最小化例如基于声音输入的操作过程中的误操作。
[0074]图4是示出佩戴图3所示的图像显示装置I的使用者的状态的俯视图。图示的图像显示装置I在与使用者的面部相对的位置处具有左眼用和右眼用的显示面板。显示面板例如由诸如有机EL元件或液晶显示器等微显示器构成。在显示面板上显示的图像通过对应的虚像光学单元，使得作为放大虚像由使用者观看到所产生的图像。由于每个使用者的眼睛的高度和瞳孔间距彼此不同，因此将左右显示系统与使用者的眼睛对齐很重要。在图4所示的例子中，在左眼用显示面板和右眼用显示面板之间设置有瞳孔间距调节机构。
[0075]图5示出图像显示装置I的内部构成的例子。下面将说明包含在图像显示装置I中的各个单元。
[0076]控制单元501包括只读存储器(ROM) 501A和随机存取存储器(RAM) 501B。R0M501A在其中存储由控制单元501执行的程序代码和各种数据。控制单元501执行加载到RAM501B中的程序，从而对将在显示面板509上显示的内容开始重放控制并且综合控制图像显示装置I的全体操作。由控制单元501执行的程序的例子包括用于显示内容观看的图像的各种应用程序，以及当使用者开始使用图像显示装置I时执行的使用者识别和认证程序。下面稍后说明由使用者识别和认证程序进行的处理操作的细节。R0M501A是电可擦可编程只读存储器(EEPROM)设备，可以将诸如用于使用者识别和认证处理的识别模式等重要数据写入其中。
[0077]输入操作单元502包括诸如键、按钮和开关等使用者用其进行输入操作的一个或多个操作元件。当经由操作元件接收使用者指示时，输入操作单元502将指示输出到控制单元501。类似地，当接收包含由遥控指令接收单元503接收的遥控指令的使用者指示时，输入操作单元502将指示输出到控制单元501。
[0078]环境信息获取单元504获取关于图像显示装置I的周围环境的环境信息，并将环境信息输出到控制单元501。由环境信息获取单元504获取的环境信息的例子包括环境光强度、声音强度、位置或场所、温度、天气、时间和周围的图像。为了获取这些环境信息，环境信息获取单兀504可以具有各种环境传感器,例如光强度传感器、麦克风、全球定位系统(GPS)传感器、温度传感器、湿度传感器、时钟、指向外侧以拍摄外部风景(在使用者的视野内的图像)的外侧相机和辐射传感器(这些都未在图5中示出)。可选择地，其构成可以使得图像显示装置I本身不具有环境传感器并且环境信息获取单元504从配备有环境传感器的外部装置(未示出)获取环境信息。获取的环境信息可以用于当使用者开始使用图像显示装置I时执行的使用者识别和认证处理。环境信息可以临时地存储在例如RAM501B中。
[0079]状态信息获取单元505获取关于使用图像显示装置I的使用者的状态的状态信息，并将状态信息输出到控制单元501。由状态信息获取单元505获取的状态信息的例子包括使用者的工作状态(例如，关于使用者是否佩戴图像显示装置I)、由使用者进行的操作和动作的状态(例如，佩戴有图像显示装置I的使用者的头部的姿势、使用者的视线的移动、诸如步行等的移动以及眼睑的开/闭状态)、使用者的精神状态(例如，兴奋度、觉醒度和情绪与感受，例如，使用者是否沉浸在或集中在观看在显示面板509上显示的内侧图像)以及使用者的生理状态。为了获取使用者的这些状态信息，状态信息获取单元505可以具有各种状态传感器，例如GPS传感器、陀螺仪传感器、加速度传感器、速度传感器、压力传感器、体温传感器、出汗传感器、肌电传感器、眼电传感器、脑波传感器、指向内侧(即，指向使用者的面部)的内侧相机、用于输入使用者发出的声音的麦克风以及具有机械开关的连接传感器(这些都未在图5中示出)。例如，根据从肌电传感器、眼电传感器或内侧相机输出的信息，状态信息获取单元505可以获取在他或她的头部上佩戴图像显示装置I的使用者的视线(眼球移动)。获取的状态信息可以用于当使用者开始使用图像显示装置I时执行的使用者识别和认证处理。状态信息可以临时地存储在例如RAM501B中。
[0080]通讯单元506进行与另一个单元的通讯处理以及对通讯信号的调制/解调和编码/解码处理。例如，通讯单元506从作为图像源的外部设备(未示出)接收通过显示面板509显示和输出的图像信号。通讯单元506对接收的图像信号进行解调和解码处理以获取图像数据。通讯单元506将图像数据或其他接收的数据供给到控制单元501。控制单元501也可以经由通讯单元506将数据发送到外部设备。
[0081]通讯单元506可以具有任意的构成。例如，通讯单元506可以按照用其进行通讯的用于将数据发送到外部设备/从外部设备接收数据的操作的通讯标准构成。通讯标准可以是任意的有线和无线通讯用的标准。这里使用的“通讯标准”的例子包括移动高清链接(Mobile High-def inition Link) (MHL)、通用串行总线(Universal Serial Bus) (USB)、高清晰度多媒体接口 (High Definition Multimedia Interface) (HDMI)、蓝牙(注册商标)通讯、红外线通讯、W1-Fi (注册商标)、以太网(注册商标)、由近场通讯(NFC)代表的非接触式通讯和人体通讯用的标准。图像显示装置I也可以使用经由通讯单元506连接到诸如因特网等广域网的云计算机(未示出)。例如，当在云计算机上执行使用者识别和认证处理的一部分或全部时，控制单元501将用于处理的信息经由通讯单元506发送到云计算机。
[0082]图像处理单元507对从控制单元501输出的图像信号进行诸如图像质量校正等信号处理，并且还将图像信号的分辨率转换成适于显示面板509的屏幕的分辨率。显示驱动单元508逐行顺次选择显示面板509中的像素，进行线顺次扫描，对图像信号进行信号处理，并且供给生成的图像信号。
[0083]显示面板509例如由诸如有机EL元件或液晶显示器等微显示器构成，并且显示可以从以图2或图4所示的方式佩戴图像显示装置I的使用者侧看见的内侧图像。虚像光学单元510将显示在对应的显示面板509上的图像放大和投影，因此使用者观察到的图像为放大的虚像。
[0084]在透过型图像显示装置I的情况下，虚像光学单元510包括例如衍射光学元件(参见例如日本未审查专利申请公开N0.2012-88715)。在遮光型图像显示装置I的情况下，虚像光学单元510包括例如眼用光学透镜(参见例如日本未审查专利申请公开N0.2012-141461)。
[0085]当图像显示装置I是双目型时，显示面板509和虚像光学单元510分别针对左眼和右眼设置，当图像显示装置I是单目型时，显示面板509和虚像光学单元510仅针对一只眼睛设置。
[0086]B.使用者识别和认证处理
[0087]尽管图5中未示出，但是图像显示装置I可以具有诸如智能手机等多功能终端的功能，并且具有内容观看外的更大附加价值，目的是使用者在他或她的生活中常用。在这种情况下，假定诸如机密信息等各种信息存储在图像显示装置I中，那么涉及例如核查使用者的真实性的安全控制将变得更为重要。
[0088]在使用者佩戴在他或她的头部或面部上而使用图像显示装置I的情况下，当他或她试图进行基于密码的认证处理时，他或她不得不在基本上蒙住眼睛的状态下(或当图像显示装置I是单目型时用一只眼睛)进行输入操作。佩戴在使用者的头部或面部上的图像显示装置I还具有容易直接获取使用者的信息的特征。尽管利用诸如视网膜或虹膜等生物信息的认证处理也是可想到的，但是这种认证处理涉及导致装置成本增加的读取专用设备。
[0089]因此，在本实施方案中，图像显示装置I被构造成:基于并利用从图像显示装置I中通常包括的设备任意输入的使用者的识别模式，而不依赖于指纹认证或虹膜认证等任何复杂的系统，从而以更简易的方式和低成本地进行使用者识别和认证处理。
[0090]图6示意性地示出图像显示装置I基于使用者操作的信息用其进行使用者识别和认证处理的功能构成。
[0091]当开始使用图像显示装置I时，向操作输入单元601输入由佩戴图像显示装置I的使用者提供的识别模式。
[0092]基于从操作输入单元601输入的使用者的识别模式，使用者识别和认证单元602进行使用者识别和认证处理，即，核查使用者的真实性。
[0093]例如，基于将要进行使用者识别和认证处理的识别模式可以针对每个使用者预先注册，并且在使用者识别和认证单元602可以在预先注册的识别模式和在使用开始时经由操作输入单元601输入的识别模式之间进行匹配的情况下，进行使用者识别和认证处理。
[0094]当利用预先注册的识别模式进行使用者识别和认证处理时，认证模式注册单元603将从操作输入单元601输入的用于预先注册的认证模式预先存储在与每个使用者的使用者识别信息相关联的认证模式存储单元604中。使用者识别和认证单元602当开始使用图像显示装置I时查询关于从操作输入单元601输入的识别模式的认证模式注册单元603，以获取表明试图开始使用图像显示装置I的使用者是否是预先注册的合法使用者以及使用者对应于哪个注册的合法使用者的信息(即，使用者识别信息)。
[0095]不必说，使用图像显示装置I的所有使用者都使用相同的认证模式的情况也是可想到的。在这种情况下，其构成可以是:认证模式存储单元604在其中存储图像显示装置I使用的认证模式，并且在使用者识别和认证处理过程中，使用者识别和认证单元602经由认证模式注册单元603从认证模式存储单元604读取认证模式。
[0096]当使用者将识别模式输入到操作输入单元601中时，使用者识别和认证单元602可以指示显示控制单元607，从而在显示面板509上显示示出为使用者输入识别模式提供引导的引导信息和识别模式的输入结果的屏幕。类似地，当使用者预先注册他或她的使用者识别和认证用的识别模式时，认证模式注册单元603可以指示显示控制单元607，从而在显示面板509上显示示出为使用者输入识别模式提供引导的信息和识别模式的输入结果的屏幕。使用这种配置，使用者可以按照在显示面板509上显示的引导信息没有错误地输入识别模式。通过观看在显示面板509的屏幕上的目前输入结果，使用者也可以核查识别模式是否按他或她本来想输入的那样。由于显示面板509指向图像显示装置I的内侧，SP，指向面对使用者面部的位置的侧面，所以从外侧看不见在显示面板509上显示的内容。因此，即使当显示引导信息和识别模式时，也没有泄漏到外部的风险。后面说明用于显示引导信息的方法的细节。
[0097]当使用者识别和认证处理成功时，使用者识别和认证单元602向应用程序执行允许单元605报告表明使用者识别和认证处理已经成功的结果。为了识别开始使用图像显示装置I的个人使用者，使用者识别和认证单元602可以向应用程序执行允许单元605输出包含使用者识别信息的结果。
[0098]在从使用者识别和认证单元602接收表明使用者识别和认证处理已经成功的结果后，应用程序执行允许单元605允许执行与由使用者随后给出的应用程序执行指令相关的应用程序。
[0099]当图像显示装置I针对每个使用者设定了应用程序的执行权限时，使用者权限存储单元606在其中预先存储与对应的使用者识别信息相关联的每个使用者的权限信息。基于从使用者识别和认证单元602通过的使用者识别信息，应用程序执行允许单元605查询使用者权限存储单元606以获取给予使用者的权限信息。关于由使用者随后给出的应用程序执行指令，应用程序执行允许单元605允许在由获取的权限信息限定的范围内执行应用程序。
[0100]作为图6所示的功能构成的变形例，也可以想到将一些功能设置在图像显示装置I的外部的构造。例如，如图7所示，认证模式注册单元603、认证模式存储单元604和使用者权限存储单元606的功能可以设置在网络上的云计算机701中。在这种情况下，使用者用在云计算机701中的认证模式注册单元603将使用者识别和认证用的他或她的认证模式预先注册在认证模式存储单元604中。当使用者开始使用图像显示装置I时，使用者识别和认证单元602可以经由通讯单元506查询云计算机701关于从操作输入单元601输入的识别模式，以进行使用者认证并获取对应的使用者识别信息。当使用者认证成功并且使用者给出执行应用程序的指令时，应用程序执行允许单元605经由通讯单元506查询云计算机701关于从使用者识别和认证单元602通过的使用者识别信息，以获取给予使用者的权限信息。关于由使用者随后给出的应用程序执行指令，应用程序执行允许单元605允许在由获取的权限信息限定的范围内执行应用程序。
[0101]根据图7所示的构造例子，其中使用者认证用的识别模式(注册在一个图像显示装置I中的识别模式)和针对每个使用者设定的应用程序权限信息与另一个图像显示装置(未示出)共享的情况也是可想到的。
[0102]操作输入单元601由在图像显示装置I中作为环境信息获取单元504包含的环境传感器和作为状态信息获取单元505包含的状态传感器构成。使用者识别和认证单元602可以通过使用可以使用环境传感器和状态传感器从佩戴图像显示装置I的使用者直接输入的识别模式来进行使用者识别和认证处理。图像显示装置I具有多种类型的环境传感器和状态传感器，并且可以处理各种识别模式。
[0103]图8示出由使用者识别和认证单元602处理的识别模式与用于输入识别模式的环境传感器和状态传感器的组合的例子。
[0104]操作输入单元601可以通过使用指向使用者的面部的内侧相机和当与使用者的头部或面部接触时分别检测肌电位和眼电位的肌电传感器和眼电传感器中的任意一种来检测佩戴图像显示装置I的使用者的注视位置或注视点的移动。通过使用涉及使用者的注视位置或注视点的移动的识别模式，使用者识别和认证单元602可以基于与预先存储的涉及注视位置或注视点的移动的认证模式的匹配度进行使用者识别和认证处理。
[0105]当图像显示装置I是遮光型的时，由于使用者处于蒙住眼睛的状态，或者相反，由于使用者的眼睛从外部隐藏起来，所以在输入涉及注视位置或注视点的移动的识别模式过程中没有其他人通过其可以窥视的缝隙。即使当图像显示装置I是透过型的时，在输入识别模式过程中使得显示单元不透明也允许不向外部泄漏地输入涉及注视位置或注视点的移动的识别模式。即使当在使用者的注视位置或注视点的移动过程中更机密信息作为引导信息显示在显示面板509上时，也没有泄漏引导信息的风险。
[0106]通过使用加速度传感器、陀螺仪传感器或指向使用者面部的相对侧(即，指向外侧)的外侧相机，操作输入单元601还可以检测使用者的头部和身体的动作，例如点头、左右摇头、前后移动和跳动等。通过使用涉及使用者的注视位置或注视点的移动的识别模式，使用者识别和认证单元602可以基于与预先存储的头部和身体的认证模式的匹配度进行使用者识别和认证处理。
[0107]操作输入单元601还可以通过使用麦克风检测使用者的声音。通过使用涉及使用者的声音的识别模式，使用者识别和认证单元602可以基于与预先存储的声音的认证模式的匹配度进行使用者识别和认证处理。在本实施方案中，由于设置有两个麦克风，即，一个在图像显示装置I的主体的左端附近，另一个在其右端附近，所以如上所述，通过与周围噪音和其他人的说话声的分离而只可以认出定位在中央的声音(使用者的声音)。
[0108]通过使用麦克风，操作输入单元601还可以以骨传导信号的形式检测使用者的说话产生的声音信息。通过使用涉及语音骨传导信号的识别模式，使用者识别和认证单元602可以基于与预先存储的骨传导信号的认证模式的匹配度进行使用者识别和认证处理。
[0109]通过使用指向使用者的面部的内侧相机，操作输入单元601可以捕捉使用者的面部部分，例如眼睛、鼻子、嘴巴、眉毛和耳垂等。通过使用经由对捕捉到的眼睛形状、眼间距离、鼻子形状、嘴巴形状、嘴巴开/闭操作、眼睫毛、眉毛或耳垂等的使用者面部部分图像进行图像处理而提取的面部部分识别模式(包含面部模式本身的模式)，使用者识别和认证单元602基于与预先注册的认证模式的匹配度进行使用者识别和认证处理。
[0110]操作输入单元601也可以通过使用指向使用者的面部的内侧相机和当与佩戴有图像显示装置I的使用者的头部或面部接触时分别检测肌电位和眼电位的肌电传感器和眼电传感器来检测使用者的眨眼动作。通过利用使用者的眨眼动作模式(例如眨眼的次数、眨眼的频率、眨眼间隔模式和左右眨眼的组合)，使用者识别和认证单元602可以基于与预先存储的认证模式的匹配度进行使用者识别和认证处理。
[0111]通过使用指向使用者的面部的相对侧(即，指向外侧)的外侧相机等，操作输入单元601可以捕捉使用者的手、手指和指纹。通过使用涉及使用者的手或手指的形状特征、手或手指的移动(例如符号或姿势)或指纹的形状特征的识别模式，使用者识别和认证单元602可以基于与预先存储的头部和身体的认证模式的匹配度进行使用者识别和认证处理。
[0112]当使用者具有手表、诸如戒指等饰品或卡等形式的经认证的设备时，操作输入单元601可以例如通过使用非接触式通讯或人体通讯接入经认证的设备，并且使用者识别和认证单元602可以基于涉及从经认证的设备读取的信息的认证模式进行使用者识别和认证处理。[0113]图8个别地示出在具有典型构造的图像显示装置I可以用于使用者识别和认证处理的识别模式和用于获取识别模式的传感器类之间的对应关系。然而，不仅是其中一个识别模式可以用于进行使用者识别和认证处理，而且两个或更多个识别模式可以组合起来以实现更灵活和更高精度的使用者识别和认证处理，从而可以提高安全性。
[0114]例如，涉及注视点移动和眨眼动作的组合的识别模式也可以用于使用者识别和认证处理。例如，使用者通过将在他或她的视野内从点A到点B的注视点的移动与在点A和B之间的中间点C处的眨眼动作组合创建识别模式。这种识别模式区别于单是从点A到点B的注视点移动。因此，即使简单的注视点移动模式被在使用者的后面或周围的第三者识破，眨眼动作插入移动模式也可以使得难以假冒。从图8可以看出，由于同一个传感器设备可以用于检测注视点和眨眼动作，因此这两种类型的组合也可以简化使用者识别和认证处理。
[0115]图像显示装置I的制造商或供货商可以预先设置图像显示装置I用于使用者识别和认证处理的识别模式的类型，或者图像显示装置I可以被构造成使得使用者可以在购买后在初始设置期间任意指定识别模式的类型。
[0116]用于输入识别模式的一种可能的变形例是将只有使用者可以知道答案的测验或问题呈现给使用者并且使用者通过输入图8所示的任意的识别模式回答的方法。即使当测验显示在显示面板509上时，由于不能从外部看见测验的详细内容，所以也可以保持高的安全性。
[0117]C.引导信息的显示
[0118]如上所述，当使用者在使用图像显示装置I的开始输入识别模式时和当使用者预先注册使用者识别和认证用的他或她的认证模式时，为使用者输入识别模式提供引导的引导信息显示在显示面板509上。因此，按照在显示面板509上显示的引导信息，使用者可以没有错误地进行模式输入操作。
[0119]涉及使用数字小键盘输入个人识别码的使用者认证已经被广泛使用。然而，当使用者在数字小键盘暴露到外面的机器(例如银行或商店的自动取款机(ATM))上进行个人识别码的输入操作时，他或她通常不得不用他或她的身体遮住数字小键盘，或优选安装覆盖数字小键盘的部件，从而使用者后面或周围的第三者不能窥见个人识别码。在任一种情况下，使用者都不得不以不自然的姿势进行个人识别码的输入操作，这很不方便并且可能导致错误的输入。
[0120]相比之下,根据本实施方案,如图9A所示,显示控制单元607在显示面板509上显示例如模拟数字小键盘的引导信息。然后，使用者可以通过顺次按照他或她预先注册的个人识别码凝视引导信息中对应的数字进行输入操作。图9B示出其中使用者经由图9A所示的引导信息的显示屏幕通过使用他或她的视线输入个人识别码的状态。在图示的例子中，使用者按O — 5 — O — 7的顺序凝视这些数字以输入个人识别码“0507”。通过使用内侧相机、肌电传感器或眼电传感器，操作输入单元601可以通过检测使用者的注视点以什么顺序通过数字小键盘来识别个人识别码“0507”。
[0121]在本实施方案中，由于在显示面板509上显示的数字小键盘和使用者的视线从外部隐藏起来了，所以使用者后面或周围的第三者不可能窥见个人识别码的详细内容。
[0122]在图9B中，使用内侧相机、肌电传感器或眼电传感器等检测到的使用者的注视点移动由虚线箭头表示。如图9B所示，显示控制单元607可以适于以重合的方式在引导信息上显示检测到的使用者的注视点移动。使用这种配置，通过观看在显示面板509的屏幕上的目前输入结果，使用者可以核查识别模式是否如他或她本来想的适宜输入那样。
[0123]除了如图9A所示的以矩阵状按升序或降序规则地排列数字O?9之外，还可以如图1OA所示的按基于数字的大小关系的数字顺序或位置不规则地排列这些数字。图1OB还示出其中使用者经由图1OA所示的引导信息的显示屏幕通过使用他或她的视线输入个人识别码的状态。在图示的例子中，使用者按O — 5 — O — 7的顺序凝视这些数字以输入个人识别码“0507”。由于使用者的视线从外部隐藏起来了并且各数字的位置不规则，所以这使得使用者后面或周围的第三者更难窥见个人识别码。
[0124]在图1OB中，使用内侧相机、肌电传感器或眼电传感器等检测到的使用者的注视点移动由虚线箭头表示。如图1OB所示，显示控制单元607还可以以重合的方式在引导信息上显示使用者的注视点的移动。使用这种配置，通过观看在显示面板509的屏幕上的输入结果，使用者可以核查识别模式是否如他或她本来想的适宜输入那样。
[0125]作为图1OA所示的引导信息的变形例，如图1OC所示，不仅是数字顺序或位置，而且字体大小也可以不规则。
[0126]对于ATM或门禁系统，为了最小化个人识别码被使用者后面的人盗取或从使用者的移动和姿势被识破的可能性，存在一种其中数字键的位置可被移动或可被改变的技术(参见例如日本未审查专利申请公开N0.6-318186)。在这种情况下，每隔预定次数更新数字键的位置的模式使得可以降低随着重复输入操作而识破个人识别码的风险。然而，在位置的模式更新后，使用者不得不找到他或她希望输入的数字键的新的位置，这非常麻烦。相比之下，在头戴式图像显示装置I的情况下，如图1OA所示的数字的位置模式从外部隐藏起来了，并且利用使用者的视线的输入操作也从外部隐藏起来了。因此，第三者非常难于识破个人识别码，并且可以不更新数字的位置模式。此外，使用者也可以通过使用他或她常用的视线移动(即，通过每次重复相同的注视点的移动模式)进行成功的认证处理。
[0127]除了使用者通过以上述方式顺次凝视对应的数字来输入个人识别码之外，使用者通过在他或她的视野内移动他或她的视线任意地绘制的轨迹也可以用来进行使用者识别和认证处理。然而，对于任何使用者来说，每次他或她进行使用者识别和认证处理时，一般很难通过移动他或她的视线而在空白区中绘制相同的轨迹。因此，也可以显示作为设定视线的目标的多个图像对象被分散在其中的引导信息。
[0128]图1lA示出包括诸如水果、蔬菜和面包等食物、动物、昆虫和电子设备等的多个图像对象被分散在其中的引导信息的例子。图1lB示出使用者经由图1lA所示的引导信息的显示屏幕通过移动他或她的视线绘制所希望的轨迹的状态。在图示的例子中，使用者通过按大象一桃子一甜瓜一草莓一胡萝卜的顺序移动他或她的视线来绘制大致M状的轨迹。基于这种轨迹模式，使用者识别和认证单元602可以进行使用者识别和认证处理。
[0129]使用图1lA所示的引导信息的显示屏幕，使用者可以通过按大象、桃子、甜瓜、草莓和胡萝卜的顺序以各图像对象为目标移动他或她的视线而每次都绘制具有基本上相同大小的字母“M”。另一方面，在没有作为视线目标的图像对象存在的空白视野内，不论是字母“M”还是任意其他字母，使用者都很难通过移动他或她的注视点来绘制所希望的形状。使用者也可以使用跟踪利用只有他或她可以知道的判定标准(例如，他或她喜欢的物、图或出现在某个故事中的物，或通过他或她自己的联想容易记起的物)选择的图像对象的跟踪模式。通过这样做，与使用没有生机的密码的情况相比，更难忘记跟踪模式(或者，即使忘记也更容易记起)。如图1lA和图1lB所示的引导图像(即，引导信息)从外部隐藏起来，因而使用者后面或周围的第三者很难识破，并且使用者通过他或她的视线绘制的跟踪模式也难以识破。
[0130]在图1lB中，使用内侧相机、肌电传感器或眼电传感器等检测到的使用者的注视点移动由虚线箭头表示。如图1lB所示，显示控制单元607也可以以重合的方式在引导信息上显示使用者的注视点的移动。使用这种配置，通过观看目前在显示面板509的屏幕上的目前输入结果，使用者可以核查识别模式是否如他或她本来想的适宜输入那样。
[0131]在图1lA所示的引导信息中，如上所述，包括诸如水果、蔬菜和面包等食物、动物、昆虫和电子机器等的图像对象作为视线的目标排列在使用者的视野中。然而，也可以使用其他各种图像对象。例如，可以使用字母表、平假名、片假名和日本汉字等随机排列的引导信息(未示出)。在这种情况下，使用者可以例如通过利用他或她的视线跟踪表示他或她喜欢的话或容易记起的词的字符串来输入注视点的轨迹模式。可选择地，如图12所示，可以使用其中随机地(或规则地)排列有大量面部图像的引导信息。在这种情况下，使用者可以例如通过利用他或她的视线跟踪他或她喜欢的面部来输入注视点的轨迹模式。可选择地，如果使用者的熟人、亲戚或家庭成员的面部图像随机地插入到引导信息中，那么更容易记起注视点的轨迹模式。
[0132]在多功能信息终端(例如，智能手机)中，例如，图锁技术是已知的(参见例如美国专利N0.8，136，053)。在这种技术中，例如，使用者在以矩阵状显示在触摸板上的各点之间以优选的顺序移动他或她的手指，并且存储手指是如何移动的。随后，当再现相同的手指移动时，允许使用者使用该设备。然而，由于在触摸板上显示的各点和使用者在触摸板上的移动动作都暴露到外部，所以使用者后面或周围的第三者窥见和识破相同移动的可能性仍然存在。相比之下，根据本实施方案，由于在显示面板509上显示的引导信息(作为使用者视线的目标的排列的各图像对象)和使用者的视线的位置都从外部隐藏起来了，所以没有第三者可以通过其窥视的缝隙。因此，使用者识别和认证处理可以以安全的方式进行。
[0133]到目前为止，说明了当将涉及注视位置或注视点的移动等的使用者的视线用作使用者识别和认证处理的识别模式时的引导信息的例子。当使用可以由图像显示装置I获取的其他类型的识别模式时，显示引导信息也使得使用者更容易没有错误地输入识别模式。
[0134]例如，当输入使用者的头部的识别模式，例如他或她的头部左右摇动时，如图13A所示，人头部的模型作为引导信息显示在显示面板509上。当通过使用加速度传感器、陀螺仪传感器或外侧相机等检测到使用者向前歪他或她的头部(即，点头)时，如图13B所示，由附图标记1301表示的向前歪头的姿势和由附图标记1302表示的歪头的方向由虚线箭头表示。当检测到使用者向右歪他或她的头部时，如图13C所示，由附图标记1303表示的向右歪头的姿势和由附图标记1304表示的歪头的方向由虚线箭头表示。当检测到使用者绕着其偏航轴逆时针转动他或她的头部时，如图13D所示，由附图标记1305表示的绕着偏航轴转动头部的姿势和由附图标记1306表示的头部绕着偏航轴转动的方向由虚线箭头表示。通过观看在显示面板509的屏幕上的目前输入结果，使用者可以核查识别模式是否如他或她本来想的输入那样。[0135]当由使用者输出的声音或语音骨传导信号作为使用者识别和认证的识别模式输入时，如图14A所示，由使用者预先注册的的语音文本和包括假想文本的多个文本作为引导信息显示在显示面板509上。当经由麦克风输入的声音被认出时，认出语音的文本如图14B中的附图标记1401表示那样突出(或以强调方式显示)，从而表明已经认出涉及使用者的声音的识别模式。通过观看在显示面板509的屏幕上的目前输入结果，使用者可以核查声音是否如他或她本来想的认出那样。
[0136]当使用者的左眼和右眼的其中一个或两个的眨眼动作作为使用者识别和认证的识别模式输入时，如图15A所示，显示双眼打开的初始状态的图像1501作为引导信息显示在显示面板509上。然后，使用内侧相机、肌电传感器或眼电传感器等每次检测到使用者眨动左眼和右眼的其中一个或两个的动作时，如图15B所示，表示检测到眨眼动作的图标1502按时间顺序显示。在图15B所示的例子中，纸面的上下方向对应于时间轴的方向，并且图15B表明检测到按眨动左眼、眨动右眼和眨动双眼的顺序的眨眼动作。使用这种配置，通过观看在显示面板509的屏幕上的目前输入结果，使用者可以核查眨眼的识别模式是否如他或她本来想的适宜输入那样。
[0137]如上所述，涉及注视点移动和眨眼动作的组合的识别模式也可以用来进行使用者识别和认证处理。在这种情况下，如图16中的附图标记1601、1602和1603所示，可以沿着注视点的轨迹模式在检测到眨动双眼、眨动左眼和眨动右眼的动作的位置显示表示眨眼动作的图标，从而表明检测到眨眼动作。
[0138]在其中图像显示装置I使用具有使用者佩戴或携带的手表、戒指或卡形式的经认证的设备的人体通讯进行使用者识别和认证处理的情况下，当使用者没有佩戴或没有携带它时，如图17中的附图标记1701、图18中的附图标记1801或图19中的附图标记1901所示，在显示面板509上显示用于提示使用者佩戴或携带经认证的设备的引导信息。
[0139]因此，根据本实施方案，使用者在他或她的头部或面部上佩戴图像显示装置I以进行使用者识别和认证处理的识别模式可以从通常包含在图像显示装置I中的设备输入，从而可以以简易的方式和低成本地进行使用者识别和认证处理。
[0140]图20是示出在图像显示装置I中预先注册用于使用者识别和认证处理的认证模式的处理过程的流程图。图示的过程自动地或基于使用者设定的操作启动，例如，当图像显示装置I第一次通电时(或者，当没有注册识别模式时每次通电时)。
[0141]首先，使用者识别和认证单元602指示显示控制单元607在显示面板509上显示核查使用者是否开始注册用于使用者识别和认证处理的认证模式的确认屏幕。然后，处理进入步骤S2001。当使用者不想注册认证模式(在步骤S2001中的否)时，所有的后续处理步骤都跳过并且本处理过程结束。
[0142]另一方面，当使用者想注册认证模式(在步骤S2001中的是)时，在步骤S2002中显示认证模式注册开始屏幕(未示出)。配置也可以是:使得使用者可以在认证模式注册开始屏幕上选择将用于使用者识别和认证处理的识别模式的类型。
[0143]在步骤S2003中，使用者识别和认证单元602指示显示控制单元607在显示面板509上显示对应于识别模式的类型的引导信息。在步骤S2004中，使用者识别和认证单元602指示操作输入单元601接收对应于识别模式的类型的传感器的输入，从而开始接收由使用者输入的认证模式。[0144]使用者向图像显示装置I输入他或她想注册的认证模式。当开始输入接收的传感器检测到使用者输入的认证模式时(在步骤S2005中)，操作输入单元601向使用者识别和认证单元602输出检测的结果。
[0145]在步骤S2006中，使用者识别和认证单元602在显示有引导信息的显示面板509的屏幕上显示从操作输入单元601输入的认证模式。通过显示屏幕，使用者可以核查他或她想注册的认证模式是否如本来想的输入那样。
[0146]当使用者给出表明通过使用输入操作单元502等完成认证模式的输入的通知时或者当在使用者停止输入后经过预定量的时间并且认出输入操作完成时(在步骤S2007中的是)，使用者识别和认证单元602指示认证模式注册单元603注册从操作输入单元601输入的认证模式。在步骤S2008中，使用者识别和认证单元602指示显示控制单元607在显示面板509上显示表明认证模式注册处理完成的信息。此后，本处理过程结束。
[0147]图21是示出图像显示装置I进行的使用者识别和认证处理的过程的流程图。例如，一旦认证模式注册在图像显示装置I中，那么图像显示装置I每次通电或每次检测到使用者在他或她的头部或面部上佩戴图像显示装置I时自动地启动图示的过程。
[0148]首先,在步骤S2101中，使用者识别和认证单元602指示显示控制单元607在显示面板509上显示表明认证开始的屏幕。
[0149]认证开始屏幕未示出。例如，当使用者已经注册多种类型的识别模式时，图像显示装置I可以被构造成允许使用者在认证开始屏幕上选择将要用于使用者识别和认证处理的识别模式的类型。
[0150]在步骤S2102中，使用者识别和认证单元602指示显示控制单元607在显示面板509上显示对应于识别模式的类型的引导信息。
[0151]在步骤S2103中，使用者识别和认证单元602指示操作输入单元601接收对应于识别模式的类型的传感器的输入，从而开始接收由使用者输入的识别模式。
[0152]在利用显示的引导信息的同时，使用者基于他或她的记忆输入识别模式。当检测到由使用者从已经开始输入接收的传感器输入的识别模式时(在步骤S2104中)，操作输入单元601向使用者识别和认证单元602输出检测的结果。
[0153]在步骤S2105中，使用者识别和认证单元602在显示有引导信息的显示面板509的屏幕上显示从操作输入单元601输入的识别模式。通过显示屏幕，使用者可以核查他或她记忆的识别模式是否如本来想的输入那样。
[0154]在步骤S2106中，使用者识别和认证单元602将输入的识别模式与通过图20所示的过程预先注册的认证模式作比较，并且基于输入的识别模式是否与认证模式匹配来核查使用者的真实性。
[0155]在步骤S2106中制定的确定用的阈值可以在一定程度上是大概的范围。例如，该阈值可以调节到可以制定家庭中的确定或可以制定使用者是成人或小孩的确定的程度。当阈值设定为大概的值时，安全性降低，但是优点在于，例如，可以降低直到使用者识别和认证处理完成时花费的时间。
[0156]当在输入的识别模式和预先注册的认证模式之间的匹配度超出预定的阈值时(在步骤S2106中的是)，使用者识别和认证单元602认为使用者识别或认证处理是成功的，并且在步骤S2107中显示认证完成屏幕(未示出)。此后，本处理过程结束。[0157]当使用者识别和认证处理成功时，使用者识别和认证单元602向应用程序执行允许单元605报告结果。在从使用者识别和认证单元602接收表明使用者识别和认证处理已经成功的结果后，应用程序执行允许单元605允许执行关于使用者随后给出的应用程序执行指令的应用程序。
[0158]表明认证是成功的结果在使用者在他或她的头部或面部上持续佩戴图像显示装置I的同时可以保持有效。可选择地，即使在使用者持续佩戴图像显示装置I时，每次经过一定时间或到达视听内容分断，仍然可以再次发出输入识别模式的要求以进行使用者识别和认证处理。
[0159]当在输入的识别模式和预先注册的认证模式之间的匹配度低于预定的阈值时(在步骤S2106中的否)，使用者识别和认证单元602认为使用者识别或认证处理是不成功的，并且在步骤S2108中显示认证失败屏幕(未示出)。随后，处理回到再次接收由使用者输入的识别模式的步骤S2104，并且重复执行使用者识别和认证处理。然而，当认证处理的失败次数到达预定次数时或者当图21所示的过程开始后在预定时间内没有完成认证处理时，认为使用者的认证失败，并且本处理过程结束。
[0160]当使用者识别和认证处理失败时，使用者识别和认证单元602向应用程序执行允许单元605报告结果。在从使用者识别和认证单元602接收表明使用者识别和认证处理失败的结果后，应用程序执行允许单元605拒绝执行关于使用者随后给出的应用程序执行指令的应用程序。
[0161]因此，根据本实施方案，基于由使用者直接输入的识别模式，图像显示装置I以简易的方式和低成本地进行使用者识别和认证处理，并且基于使用者识别和认证处理的结果，图像显示装置I可以允许或拒绝执行应用程序。
[0162]本文公开的技术也可以具有以下构成。
[0163](I) 一种佩戴在使用者的头部或面部上使用的图像显示装置，所述图像显示装置包括:
[0164]构造成显示从所述使用者侧看得见的内侧图像的显示单元；
[0165]构造成从所述使用者输入识别模式的输入单元；
[0166]构造成核查所述识别模式的核查单元；以及
[0167]构造成基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
[0168](2)根据(I)所述的图像显示装置，其中所述核查单元核查所述使用者的真实性，以及
[0169]基于所述使用者是否是真实的，所述控制单元确定是否在所述图像显示装置上执行预定的处理。
[0170](3)根据(I)所述的图像显示装置，还包括构造成预先注册真实的使用者经由所述输入单元输入的认证模式的认证模式注册单元，
[0171]其中所述核查单元基于所述使用者经由所述输入单元输入的识别模式和在所述认证模式注册单元中预先注册的认证模式之间的匹配度核查所述使用者的真实性。
[0172](4)根据(I)所述的图像显示装置，还包括构造成检测所述使用者的视线的视线检测单元，
[0173]其中所述输入单元输入基于从所述视线检测单元获取的所述使用者的注视点位置或注视点的移动的识别模式。
[0174](5)根据(4)所述的图像显示装置，其中所述视线检测单元包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
[0175](6)根据(I)所述的图像显示装置，还包括构造成检测佩戴所述图像显示装置的使用者的头部或身体的移动的运动检测单元，
[0176]其中所述输入单元输入基于从所述运动检测单元获取的所述使用者的头部或身体的移动的识别模式。
[0177](7)根据(6)所述的图像显示装置，其中所述运动检测单元包括加速度传感器、陀螺仪传感器和相机中的至少一个。
[0178](8)根据(I)所述的图像显示装置，还包括构造成检测所述使用者发出的声音的声音检测单元，
[0179]其中所述输入单元输入基于从所述声音检测单元获取的声音的识别模式。
[0180](9)根据(I)所述的图像显示装置，还包括构造成检测所述使用者发声时产生的语音骨传导信号的骨传导信号检测单元，
[0181]其中所述输入单元输入基于从所述骨传导信号检测单元获取的语音骨传导信号的识别模式。
[0182](10)根据(I)所述的图像显示装置，还包括构造成检测所述使用者的面部或面部部分的形状特征的特征检测单元，
[0183]其中所述输入单元输入基于所述使用者的面部或面部部分的形状特征的识别模式。
[0184](11)根据(10)所述的图像显示装置，其中所述特征检测单元检测所述使用者的眼睛形状、眼间距离、鼻子形状、嘴巴形状、嘴巴开/闭操作、眼睫毛、眉毛和耳垂的形状特征中的至少一个。
[0185](12)根据(I)所述的图像显示装置，还包括构造成检测所述使用者的眨眼动作的眨眼检测单元，
[0186]其中所述输入单元输入基于从所述眨眼检测单元获取的所述使用者的眨眼的识别模式。
[0187](13)根据(12)所述的图像显示装置，其中所述眨眼检测单元包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
[0188](14)根据(I)所述的图像显示装置，还包括构造成检测所述使用者的手、手指或指纹的形状特征的特征检测单元，
[0189]其中所述输入单元输入基于所述使用者的手、手指或指纹的形状特征的识别模式。
[0190](15)根据(I)所述的图像显示装置，还包括构造成与由所述使用者佩戴或携带在他或她身上的经认证的设备进行人体通讯并且从所述经认证的设备读取信息的人体通讯单元，
[0191]其中所述输入单元输入基于由所述人体通讯单元从所述经认证的设备读取的信息的识别模式。
[0192](16)根据(I)所述的图像显示装置，还包括构造成在所述显示单元上显示为所述使用者经由所述输入单元输入识别模式的操作提供引导的引导信息的引导信息显示单元。
[0193](17)根据(3)所述的图像显示装置，还包括构造成当所述使用者在所述认证模式注册单元中预先注册认证模式时在所述显示单元上显示为输入认证模式的操作提供引导的引导信息的引导信息显示单元。
[0194](18)根据(I)所述的图像显示装置，还包括构造成在所述显示单元上显示所述使用者经由所述输入单元输入识别模式的结果的输入结果显示单元。
[0195](19) 一种佩戴在使用者的头部或面部上使用的图像显示装置的图像显示方法，所述图像显示方法包括:
[0196]从所述使用者输入识别模式；
[0197]核查所述识别模式；以及
[0198]基于核查的结果来控制所述图像显示装置。
[0199](20) 一种以计算机可读格式写成而在计算机上控制佩戴在使用者的头部或面部上使用的图像显示装置的操作的计算机程序，所述计算机程序使得所述计算机具有以下功倉泛:
[0200]显示从所述使用者侧看得见的内侧图像的显示单元；
[0201]从所述使用者输入识别模式的输入单元；
[0202]核查所述识别模式的核查单元；以及
[0203]基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
[0204]以上通过举例的方式说明了本文公开的技术，并且本文说明的内容不应被解释为对本发明的限制。应该为了理解本文公开的技术的实质而解释所附权利要求的范围。
[0205]本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明所附的权利要求书或其等同物的范围内进行各种修改、组合、次组合以及改变。
【权利要求】
1.一种佩戴在使用者的头部或面部上使用的图像显示装置，所述图像显示装置包括: 构造成显示从所述使用者侧看得见的内侧图像的显示单元； 构造成从所述使用者输入识别模式的输入单元； 构造成核查所述识别模式的核查单元；以及 构造成基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
2.根据权利要求1所述的图像显示装置，其中 所述核查单元核查所述使用者的真实性，以及 基于所述使用者是否是真实的，所述控制单元确定是否在所述图像显示装置上执行预定的处理。
3.根据权利要求1所述的图像显示装置，还包括 构造成预先注册真实的使用者经由所述输入单元输入的认证模式的认证模式注册单元， 其中所述核查单元基于所述使用者经由所述输入单元输入的识别模式和在所述认证模式注册单元中预先注册的认证模式之间的匹配度核查所述使用者的真实性。
4.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者的视线的视线检测单元， 其中所述输入单元输入基于从所述视线检测单元获取的所述使用者的注视点位置或注视点的移动的识别模式。
5.根据权利要求4所述的图像显示装置，其中 所述视线检测单元包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
6.根据权利要求1所述的图像显示装置，还包括 构造成检测佩戴所述图像显示装置的使用者的头部或身体的移动的运动检测单元，其中所述输入单元输入基于从所述运动检测单元获取的所述使用者的头部或身体的移动的识别模式。
7.根据权利要求6所述的图像显示装置，其中 所述运动检测单元包括加速度传感器、陀螺仪传感器和相机中的至少一个。
8.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者发出的声音的声音检测单元， 其中所述输入单兀输入基于从所述声音检测单兀获取的声音的识别模式。
9.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者发声时产生的语音骨传导信号的骨传导信号检测单元， 其中所述输入单元输入基于从所述骨传导信号检测单元获取的语音骨传导信号的识别模式。
10.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者的面部或面部部分的形状特征的特征检测单元， 其中所述输入单元输入基于所述使用者的面部或面部部分的形状特征的识别模式。
11.根据权利要求10所述的图 像显示装置，其中 所述特征检测单元检测所述使用者的眼睛形状、眼间距离、鼻子形状、嘴巴形状、嘴巴开/闭操作、眼睫毛、眉毛和耳垂的形状特征中的至少一个。
12.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者的眨眼动作的眨眼检测单元， 其中所述输入单元输入基于从所述眨眼检测单元获取的所述使用者的眨眼的识别模式。
13.根据权利要求12所述的图像显示装置，其中 所述眨眼检测单元包括能够拍摄所述使用者的眼睛的内侧相机、肌电传感器和眼电传感器中的至少一个。
14.根据权利要求1所述的图像显示装置，还包括 构造成检测所述使用者的手、手指或指纹的形状特征的特征检测单元， 其中所述输入单元输入基于所述使用者的手、手指或指纹的形状特征的识别模式。
15.根据权利要求1所述的图像显示装置，还包括 构造成与由所述使用者佩戴或携带在他或她身上的经认证的设备进行人体通讯并且从所述经认证的设备读取信息的人体通讯单元， 其中所述输入单元输入基于由所述人体通讯单元从所述经认证的设备读取的信息的识别模式。
16.根据权利要求1所述的图像显示装置，还包括 构造成在所述显示单元上显示为所述使用者经由所述输入单元输入识别模式的操作提供引导的引导信息的引导信息显示单元。
17.根据权利要求3所述的图像显示装置，还包括 构造成当所述使用者在所述认证模式注册单元中预先注册认证模式时在所述显示单元上显示为输入认证模式的操作提供引导的引导信息的引导信息显示单元。
18.根据权利要求1所述的图像显示装置，还包括 构造成在所述显示单元上显示所述使用者经由所述输入单元输入识别模式的结果的输入结果显示单元。
19.一种佩戴在使用者的头部或面部上使用的图像显示装置的图像显示方法，所述图像显示方法包括: 从所述使用者输入识别模式； 核查所述识别模式；以及 基于核查的结果来控制所述图像显示装置。
20.—种以计算机可读格式写成而在计算机上控制佩戴在使用者的头部或面部上使用的图像显示装置的操作的计算机程序，所述计算机程序使得所述计算机具有以下功能: 显示从所述使用者侧看得见的内侧图像的显示单元； 从所述使用者输入识别模式的输入单元； 核查所述识别模式的核查单元；以及 基于由所述核查单元所核查的结果来控制所述图像显示装置的控制单元。
【文档编号】G06F3/01GK103809743SQ201310487409
【公开日】2014年5月21日 申请日期:2013年10月17日 优先权日:2012年11月2日
【发明者】高井基行, 佐古曜一郎, 宫岛靖, 武川洋, 楢原立也, 武田正资, 小川浩明, 和田成司, 早川莓, 丹下明, 谷亀贵央, 劔持一英 申请人:索尼公司