专利名称：信息处理设备、信息处理方法和终端设备的制作方法
技术领域：
本公开涉及信息处理设备、信息处理方法、程序和终端设备。
背景技术：
ATM (Automated Teller Machine,自动柜员机)和用于管理房间访问等的安全系统传统上通过使得用户输入仅被有限用户知道的诸如PIN(个人标识号)号或密码之类的机密信息来保持安全。各种技术也用于防止因为在信息的输入期间的暗中监视(窥探)导致的在安全上的下降。例如，根据日本公开专利公报No. 2002-032176，每次随机地重新布置在触摸板显示器上显示的输入按键的布局，以防止第三方根据用户的手部运动猜测机密信息。日本公开 专利公报No. H10-240186限制了液晶监控器的视角，以防止暗中监视。
发明内容
然而，对于在公报No. 2002-032176中的技术，虽然第三方不能仅从暗中监视用户的手部运动来知晓输入的信息，但是这样的第三方容易通过查看显示器以及用户的手部运动来知晓输入的信息。此外，虽然在公报No. H10-240186中的技术可以降低暗中监视的频率，但是它不能完全防止暗中监视的出现。因此，期望提供一种能够显著地改善输入机密信息时的安全性的新颖和改善的信息处理设备、信息处理方法和终端设备。因此，提供了一种用于识别输入操作的设备。所述设备包括通信单元，其被配置来发送虚拟按键信息。所述设备进一步包括输入单元，其被配置来基于所检测的输入件来确定输入位置信息。所述设备也包括确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入，其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。在另一个方面，提供了一种终端设备，用于表示虚拟按键信息。所述终端设备包括成像单元，其被配置来接收用于表示输入图像的图像数据。所述终端设备进一步包括识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述终端设备也包括显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。在另一个方面，提供了一种用于识别输入操作的方法。所述方法包括发送用于定义虚拟输入按键的布局的虚拟按键信息。所述方法进一步包括基于所检测的输入件来确定输入位置信息。所述方法也包括通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。在另一个方面，提供了一种用于表示虚拟按键信息的方法。所述方法包括接收用于表示输入图像的图像数据。所述方法进一步包括基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述方法也包括显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。在另一个方面，提供了一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行用于识别输入操作的方法。所述方法包括发送用于定义虚拟输入按键的布局的虚拟按键信息。所述方法进一步包括基于所检测的输入件来确定输入位置信息。所述方法也包括通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。在另一个方面，提供了一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行用于表示虚拟按键信息的方法。所述方法包括接收用于表示输入图像的图像数据。所述方法进一步包括基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述方法也包括显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。在另一个方面，提供了一种系统。所述系统包括输入设备，所述输入设备包括被 配置来发送虚拟按键信息的通信单元；被配置来基于所检测的输入件来确定输入位置信息的输入单元；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。所述系统进一步包括终端设备，所述终端设备包括成像单元，其被配置来接收用于表示输入图像的图像数据；识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。在另一个方面，提供了一种系统。所述系统包括输入设备，所述输入设备包括用于发送虚拟按键信息的通信部件；用于基于所检测的输入件来确定输入位置信息的输入部件；以及确定部件，用于通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。所述系统进一步包括终端设备，所述终端设备包括成像部件，用于接收用于表示输入图像的图像数据；识别部件，用于基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制部件，用于显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。根据如上所述的实施例，提供了能够显著地改善当输入机密信息时的安全性的信息处理设备、信息处理方法和终端设备。
图I是示出根据本公开的第一实施例的安全系统的概述的示意图；图2是示出根据第一实施例的终端设备的配置的一个示例的框图；图3是示出根据第一实施例的输入终端的配置的一个示例的框图；图4是有益于说明根据第一实施例和第二实施例的AR图像的图；图5是由根据第一实施例的安全系统执行的流程图；图6是示出根据第二实施例的安全系统的概览的示意图；图7是示出根据第二实施例的服务器的配置的一个示例的框图；图8是示出根据第二实施例的输入终端的配置的一个示例的框图；以及图9是由根据第二实施例的安全系统执行的流程图。
具体实施例方式下面，将参考附图详细描述本公开的实施例。注意，在本说明书和附图中，使用相同的附图标记来表示具有基本上相同功能和结构的结构元件，并且省略这些结构元件的重复说明。根据本公开的示例性实施例提供了一种设备，包括通信单元，其被配置来发送虚拟按键信息；信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入，其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。根据本公开的示例性实施例还提供了一种方法，包括发送用于定义虚拟输入按键的布局的虚拟按键信息；获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
根据本公开的示例性实施例还提供了一种系统，包括输入设备，包括通信单元，其被配置来发送虚拟按键信息；信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入；以及终端设备，包括成像单元，其被配置来接收用于表示输入图像的图像数据；识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。应当注意，下面根据如下的顺序来给出说明。第一实施例I.系统概述2.终端设备的示例配置3.输入终端(信息处理设备)的示例配置4.处理流程的示例第二实施例5.系统概述6.服务器(信息处理设备)的示例配置7.输入终端的示例配置8.处理流程的示例结论近些年来，注意力已经聚焦在被称为AR (增强现实)的技术，该技术通过在真实世界上叠加附加信息来向用户提供这样的信息。可以使用诸如文本、图标和动画的多种形式的虚拟对象来可视化由AR技术向用户提供的信息。适合于AR技术的主要领域之一是支持在真实世界中的用户行为。下面描述其中应用AR技术的安全系统。通过如此进行，能够改善当输入诸如PIN号、密码或口令的机密信息时的安全性。 能够向诸如ATM或房间访问的管理的、用于改善安全性的系统应用使用AR技术的安全系统。作为这样的安全系统的示例，下面描述其中用户U利用ATM设备作为输入终端的ATM处理系统的第一实施例和第二实施例。
<第一实施例>(I.系统概述)首先，参考图I来描述根据第一实施例的安全系统I的概述。安全系统I包括终端设备100和输入终端200。根据第一实施例的输入终端200是本公开的“信息处理设备”的一个示例。在图I中的示例中，在用户U已经使用作为在真实空间中的对象的输入终端200的输入单元240进行期望密码的按键输入后，执行ATM(自动柜员机)处理。输入单元240是不显示的触摸板显示器和/或无标记的小键盘，并且经由输入单元240来接收根据来自用户U的输入操作的按键输入信息。用户U使用终端设备100。终端设备100连接到在用户U的头部安装的图像采集设备120和显示设备150。图像采集设备120在用户U的视线方向上采集真实空间的图像，并且向终端设备100输出一系列输入图像。显示设备150显示包括虚拟按键信息的AR图 像。虚拟按键信息定义在图像中出现的、在输入单元240上叠加地显示的虚拟输入按键的布局。在第一和第二实施例中，如图4中的中心图中所示，虚拟按键信息是按键的布局信息。然而，虚拟按键信息不限于此，并且可以是用于示出QWERTY按键或数字按键(tenkey)的布局的按键布局信息或可以是用于示出在输入终端200的输入单元240上的按钮位置的信息。此外，虚拟按键信息可以是其中写入诸如标志(label)、发言气球(speechballoon)或消息标签(message tag)的某种文本信息的文本框或可以是诸如图标的符号化地表达某种信息的图形或符号。注意，下面描述的要显示为AR图像的变形后的虚拟按键信息也被包括在“虚拟按键信息”的概念中。在图I的示例中，显示设备150是头部安装的显示器(HMD)。然而，终端设备100不限于在图I中所示的配备相机的头部安装的显示器的示例，并且可以是诸如配备相机的移动终端等的AR用具。在配备相机的移动终端的情况下，相机采集真实空间的图像，并且在通过在移动终端中包含的MPU或CPU的图像处理后，虚拟按键信息的图像可以叠加和显示在终端的屏幕上的真实空间的图像上。显示设备150的屏幕可以是透明屏幕(see-throughscreen)或可以是不透明屏幕(non see-through screen)。注意，为了本说明书的目的，被“采集”的图像的概念包括透射环境光的透明屏幕。终端设备100可以是PC(个人计算机)或游戏控制台或另一种设备。终端设备100经由可以是有线或无线的通信连接来与输入终端200进行通信。作为示例，在终端设备100和输入终端200之间的通信可以是根据P2P(对等)方法的直接通信，或可以是经由诸如路由器或服务器的另一种设备(未示出)执行的间接通信。终端设备100显示在显示设备150上的真实空间上叠加的、由输入终端200拥有的虚拟按键信息。输入终端200可以例如被布置在银行的分行中，并且可以是执行ATM处理的ATM(自动柜员机)设备。输入终端200存储虚拟按键信息。在下面的部分中详细描述在上面的安全系统I中的各个设备的具体示例配置。(2.终端设备的示例配置)首先，将描述终端设备100的内部配置的一个示例。图2是示出根据第一实施例的终端设备100的配置的一个示例的框图。如图2中所示，终端设备100包括通信单元110、图像采集单元120 (即，成像单元)、识别单元130、显示控制单元140、显示单元150和存储单元160。在此使用的术语“单元”可以是软件模块、硬件模块或软件模块和硬件模块的组合。这样的硬件和软件模块可以被包含在分立电路、集成电路中或体现为由处理器执行的指令。通信单元110是居间促成在终端设备100和另一个设备之间的通信连接的通信接口。当终端设备100加入安全系统I中时，通信单元110在终端设备100和输入终端200之间建立通信连接。虽然由通信单元110执行的通信可以是如上所述的有线或无线通信，但是通常经由诸如无线LAN(局域网)或Bluetooth(注册商标，蓝牙)的无线通信来与输入终端200交换信息。通过如此进行，使得用户U能够利用安全系统I的服务的通信变得可能。更具体地，通信单元110从输入终端200接收虚拟按键信息。图像采集单元120对应于在图I中所示的终端设备100的图像采集设备120，并且通过采集真实空间的图像来获取一系列输入图像。图像采集单元120在用户U的视线方向上采集图像(视频)。当利用ATM服务时，用户U的视线朝向输入终端200定位以输入密码。这意味着图像采集单元120采集输入终端200的图像。图像采集单元120向识别单元 130输出输入图像。作为用户U实际看到的一个示例，在图4中左面示出的输入终端200的图像被输出到识别单元130。识别单元130对于来自图像采集单元120的输入图像执行图像识别处理。更具体地，识别单元130识别在输入图像中出现的、在输入终端200上设置的输入单元240。当已经识别出输入单元240时，识别单元130估计在输入图像中出现的输入单元240的位置、姿态(例如，角度)和变形。识别单元130可以使用诸如模式匹配的已知图像识别方法来识别输入单元240。例如，识别单元130可以通过执行对于大体在输入终端200的中心设置的矩形框的模式匹配来识别输入单元240。或者，识别单元130可以在输入图像中识别物理地粘结到输入终端200或输入单元240的外围的二维条形码、标记图像、迅速响应(QR)代码等。例如，可以预先在输入单元240的矩形框的四角处设置标记，并且通过识别在输入图像中的标记图像，识别单元130可以识别输入单元240。通过如此进行，能够降低图像处理的负载。可以在输入单元240的矩形框的四角处设置红外线发射单元等，并且通过检测从这样的单元发射的光点，识别单元130可以识别输入单元240。识别单元130向显示控制单元140输出识别的输入单元240的区域(输入区域)。作为一个示例，识别单元130可以根据在下文中公开的SLAM(同时定位与映射)技术的原理来检测输入单兀 240 uReal-Time Simultaneous Localization and Mappingwith a Single Camera，，(Proceedings of the 9th IEEE International Conference onComputer Vision Volume 2, 2003, pp.1403-1410)by Andrew J. Davison。显示控制单元140控制从输入终端200发送的虚拟按键信息的显示。更具体地，根据输入单元240的图像识别的结果，显示控制单元140首先将与估计的输入单元240的位置、姿态和变形对应的虚拟按键信息图像变形。通过如此进行，产生适合于叠加在由用户U看到的真实空间上的虚拟按键信息的图像。接下来，显示控制单元140向由识别单元130识别的输入单元240的区域上叠加变形后的虚拟按键信息的图像。通过如此进行，能够显示在用户U看到的实际场景上叠加的虚拟按键信息。在图4的中心的附图中示出变形后的虚拟按键信息的图像，而在右面的附图示出了变形后的虚拟按键信息如何叠加地出现在输入单元240上。注意，显示控制单元140可以使用如上所述的SLAM技术来绘制虚拟按键信息的图像。通过如此进行，由用户U佩戴的头部安装的显示器HMD的显示单元150显示(投影)叠加在由用户U看到的实际场景上的虚拟输入按键。通过如此进行，能够仅用户U看至IJ在图4中的AR图像，其中，在用户U看到的真实空间上叠加虚拟按键信息。注意,显示单元150对应于在图I中所示的终端设备100的显示设备150。如果显示设备150的屏幕是透明屏幕，则能够通过下述方式来向用户U的眼睛显示在图4的右面所示的AR图像仅向显示设备150上投影虚拟按键信息的图像，以便变得叠加。同时，如果显示设备150的屏幕是不透明的屏幕，则能够通过下述方式来向用户U的眼睛显示在图4的右面所示的AR图像在输入图像上叠加虚拟按键信息的图像，并且在显示设备150上显示这样叠加的图像(AR图像)。存储单元160使用诸如硬盘驱动器或半导体存储器的有形地体现的非暂时计算机可读存储介质来存储用于由终端设备100的处理器的处理和执行的程序和各种数据。存 储单元160也存储从输入终端200经由通信单元110获取的虚拟按键信息等。(3.输入终端的示例配置(信息处理设备))接下来，将描述输入终端200的内部配置的一个示例。图3是示出根据第一实施例的输入终端200的配置的一个示例的框图。如图3中所示，输入终端200包括应用单元210、显示控制单元220、通信单元230、输入单元240、信息获取单元250、确定单元260和存储单元270。应用单元210向用户提供与ATM服务相关的应用功能。应用单元210也与显示控制单元220和确定单元260 —致地作为，以实现使用AR技术的高度保密的用户界面(UI)。显示控制单元220控制由终端设备100对于AR图像的显示。显示控制单元220产生如上所述的虚拟按键信息，该虚拟按键信息可视地向用户U示出用户U的按键按下和触摸位置将被解释为何种操作。通信单元230是居中促成在输入终端200和终端设备100之间的通信连接的通信接口。通信单元230建立与终端设备100的通信连接。通信单元230向终端设备100发送虚拟按键信息。输入单元240被终端设备100的用户U使用来输入用于认证的密码。作为示例，输入单元240可以包括小键盘、按钮、开关或触摸板。可以作为输入单元240的示例给出不显示的触摸板显示器或未标记的小键盘。以这种方式，输入单元240既不显示用于向用户示出虚拟输入按键的布局的标记，也没有用于示出其的物理标记。输入单元240根据检测的输入件(例如，用户的手指)或根据由观看AR图像的用户U进行的在显示器上的输入操作(按压或触摸)来检测物理输入位置(例如，XY坐标)，并且向信息获取单元250输出该物理输入位置。信息获取单元250根据输入单元240的检测结果来产生输入位置信息，并且向确定单元260输出。注意，由输入单元240检测的物理输入位置也是“输入位置信息”的一个示例。根据输入单元240的检测结果，信息获取单元250可以将物理输入位置原样地作为输入位置信息向确定单兀260输出。通过将由显示控制单元220产生的虚拟按键信息和由信息获取单元250产生的输入位置信息作比较，确定单元260确定与用户U的操作对应的输入信息。确定单元260向应用单元210输出作为确定结果的输入信息(输入按键)。存储单元270使用诸如硬盘驱动器或半导体存储器的有形地体现的非暂时计算机可读存储介质，并且存储用于由输入终端200的处理器的执行和处理的程序和数据。存储单元270也存储虚拟按键信息。(4 处理流程的示例)接下来，将参考在图5中的流程图来描述在根据第一实施例的安全系统I中的处理的流程。首先，输入终端200的显示控制单元220产生虚拟按键信息，并且通信单元230向终端设备100发送虚拟按键信息(步骤S102)。终端设备100的通信单元110从输入终端200获取虚拟按键信息(步骤S104)。 同时，终端设备100的图像采集单元120在用户U的视线的方向上采集真实空间的图像，并且，识别单元130从输入图像识别输入单元240的区域(步骤S106)。接下来，终端设备100的显示控制单元140产生AR图像，其中，在输入单元240的区域上叠加虚拟按键信息(步骤S108)。显示单元150在头部安装的显示器HMD的显示屏幕上显示所产生的AR图像(步骤SI 10)。通过如此进行，仅终端设备100的用户U可以看到在图4的右部示出的AR图像。这意味着即使输入终端200的输入单元240是不显示的触摸板显示器或未标记的小键盘，通过基于在显示的AR图像中的虚拟按键信息来触摸在输入单元240上的任意位置，用户U能够执行密码等的所需要的按键输入操作。当由用户U诸如通过输入件来触摸输入单元240的任意位置时，输入终端200的输入单元240检测触摸位置(物理输入位置)(步骤SI 12)。输入终端200的信息获取单元250根据输入单元240的检测结果来产生输入位置信息(步骤SI 14)。通过将显示控制单元220产生的虚拟按键信息与由信息获取单元250产生的输入位置信息作比较，输入终端200的确定单元260确定与用户U的操作对应的输入信息(输入按键)(步骤SI 16)，并且可以执行与确定的按键输入对应的操作。如上所述，对于根据第一实施例的安全系统1，仅用户U能够看到使用AR技术在真实空间中存在的输入单元240上可视化和叠加地显示的虚拟按键信息。通过如此进行，用户U可以以与当操作其上显示按键布局的小键盘或触摸板时完全相同的方式使用未标记的小键盘或未显示的触摸板来输入密码等。同时，因为第三方仅可以看到用户U在操作未标记的小键盘或不显示的触摸板中进行的运动，所以防止了对于输入信息的暗中监视。通过如此进行，对于根据第一实施例的安全系统1，通过使用AR技术，能够提高输入诸如PIN号、密码或口令的机密信息时的安全性。或者，输入单元240可以显示诸如按键的标记的标识字符或作为触摸板的一部分的按键的轮廓，并且当输入终端200需要诸如PIN号、密码或口令的机密信息的输入时可以选择性地去除任何标识字符的显示，使得第三方可以仅看到当输入机密信息时用户U进行的移动。<第二实施例>(5.系统概述)接下来，将参考图6来描述根据第二实施例的安全系统2的概述。根据第二实施例的安全系统2与根据第一实施例的安全系统I不同在服务器300在终端设备100和输入终端400之间居中作用(intermediate)。因此，将聚焦在这种差别地描述根据第二实施例的安全系统2。在图6中所示的安全系统2包括终端设备100、服务器300和输入终端400。因为根据第二实施例的终端设备100的配置与根据第一实施例的终端设备100的配置相同，所以在此省略其说明。(6.服务器的示例配置(信息处理设备))这个第二实施例配置了向服务器300转移的根据第一实施例的输入终端200中设置的应用功能、显示控制功能和确定功能。注意，虽然输入终端200作为在第一实施例中的信息处理设备，但是在第二实施例中，服务器300作为信息处理设备。图7示出根据第二实施例的服务器300的内部配置。服务器300包括应用单元 210、显示控制单元220、信息获取单元250、确定单元260、存储单元270和通信单元330。通信单元330向终端设备100发送由显示控制单元220产生的虚拟按键信息。通信单元330也从输入终端400接收输入位置信息。因为服务器300的其他构成元件与根据第一实施例的输入终端200的相应元件相同，所以在此省略其说明。然而，在服务器300中不存在在根据第一实施例的输入终端200中设置的输入单元240。(7.输入终端的示例配置)图8示出根据第二实施例的输入终端400的内部配置。输入终端400包括通信单兀430和输入单兀440。输入单兀440具有与根据第一实施例的输入单兀240基本上相同的功能，检测物理输入位置，并且向通信单元430输出。通信单元430向服务器300发送由输入单元440检测的物理输入位置(输入位置信息)。(8.处理流程的示例)接下来，将参考在图9中的流程图来描述在根据第二实施例的安全系统2中的处理的流程。首先，服务器300的显示控制单元220产生虚拟按键信息，并且通信单元330向终端设备100发送产生的虚拟按键信息(步骤S202)。因为由终端设备100执行的步骤S204、S206、S208和S210与由在第一实施例中的终端设备100执行的在图5中的步骤S104、S106、S108和SllO相同，所以在此省略其说明。通过以这种方式操作，仅终端设备100的用户U可以看到在图4中的右面示出的AR图像。这意味着即使输入终端400的输入单元440是不显示的触摸板显示器或未标记的小键盘，通过基于在显示的AR图像中的虚拟按键信息来触摸在输入单元440上的任意位置，用户U能够执行密码等的所需的按键输入操作。当用户U触摸在输入单元440上的任意位置时，输入终端400的输入单元440检测触摸位置(物理输入位置)(步骤S212)。输入终端400的通信单元430向服务器300发送作为输入单元440的检测结果的物理输入信息(输入位置信息)(步骤S214)。服务器300的通信单元330接收这样的信息，并且输出到信息获取单元250。服务器300的信息获取单元250根据物理输入位置产生输入位置信息(步骤S216)。通过将由显示控制单元220产生的虚拟按键信息和由信息获取单元250产生的输入位置信息作比较，确定单元260确定与用户U的操作对应的输入信息(输入按键)(步骤S218)。如上所述，对于根据第二实施例的安全系统2，仅用户U能够看到使用AR技术在真实空间中存在的输入单元240上被可视化和叠加地显示的虚拟按键信息。通过如此进行，能够以与当操作其上显示按键布局的小键盘或触摸板时完全地相同的方式使用未标记的小键盘或未显示的触摸板来输入密码等，并且能够防止第三方暗中监视输入信息。另外，对于根据第二实施例的系统配置，从服务器300向终端设备100发送虚拟按键信息，并且，从输入终端400向终端设备100发送输入位置信息。以这种方式，根据第二实施例，单独地发送虚拟按键信息和输入位置信息。这意味着即使截取这样的信息之一，也不能猜出机密信息。通过如此进行，能够显著地提高输入机密信息时的安全性。注意，对于根据第二实施例的安全系统2，虽然在服务器300处布置了应用单元210 (参见图7)，并且在服务器300处执行所有的应用，但是本公开不限于此。例如，可以在服务器300处仅执行密码认证处理，并且，可以在输入终端400处执行密码认证后的应用。 在该情况下，从服务器300向输入终端400发送的信息可以仅是密码认证结果，并且不必发送密码本身。通过如此进行，能够提高保密性。作为一个示例，下面描述用于在电影院安装的售票终端机的示例应用。在这个示例中，首先，当用户向售票终端机输入他的/她的信用卡的PIN号时，使用由信用卡发放者的服务器提供的AR安全认证服务。在此引用的售票终端机是根据本实施例的输入终端400的一个示例，并且，信用卡发放者的服务器是根据本实施例的服务器300的一个示例。可以使用下述处理流程其中，在信用卡发放者的服务器处执行密码认证处理，并且如果认证成功，则向售票终端机通知这样的结果，并且在售票终端机处执行密码认证后的应用。< 结论 >已经参考图I至9描述了根据本公开的第一和第二实施例。虽然根据如上所述的实施例由用户U握持或携带终端设备100，但是本公开不限于此。例如，取代被用户U握持等，终端设备100可以被固定在输入终端之前。此外，用于本公开的“AR用具”不限于在第一和第二实施例中公开的用具。对于配备了 AR用具的用户，能够使用与传统的终端操作相同的方法来安全地输入高度机密信息。此外，虽然在如上所述的实施例中从输入终端200向终端设备100 (在图5中的步骤S102)或从服务器300向终端设备100(在图9中的步骤S202)发送虚拟按键信息，但是本公开不限于此。例如，如果虚拟按键信息用于显示具有较为简单的配置的数字键，则可以从终端设备100向输入终端200或从终端设备100向服务器300或经由以例如云计算配置的远程装置或服务器来发送虚拟按键信息。通过如此进行，可以由产生AR显示的侧和解释输入操作的侧共享虚拟按键信息，这使得能够安全地输入高度机密信息。例如，对于如上所述的数字键，能够使用下述配置其中，用户习惯使用的布局被预先存储在终端设备100中，并且每次使用这样的布局。然而，对于复杂应用而不是在此所述的较为简单的应用，在许多情况下，优选的是，根据在上面的实施例中所述的流程来发送和接收虚拟按键信息。此外，可以在通信路径上保持安全性，使得可以安全地发送和接收诸如密码的数据，该通信路径连接使用SSL(安全套接层)等连接在如上所述的实施例中所示的设备。可以使用硬件、软件或硬件和软件的组合来实现由在本说明书中描述的各个设备执行的系列控制处理。构造这样的软件的程序可以被预先存储于例如在各个的设备内部或外部设置的有形地体现的非暂时计算机可读存储介质上。在执行期间，作为一个示例，可以将相应的程序写入RAM(随机存取存储器)并且由诸如CPU(中央处理单元)的处理器执行。虽然已经参考附图详细描述了本公开的实施例，但是本公开不限于上面的示例。本领域内的技术人员应当明白，各种修改、组合、子组合和改变可以根据设计要求和其他因素来出现，只要它们在所附的权利要求或其等同内容的范围内。此外，在权利要求中对于诸如“一个”(“a”或“an”)的冠词的任何引用应当被解释为表示“一个或更多个”。例如，本技术可以采用下面的配置。(I) 一种信息处理设备,包括通信单元，用于向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局；
信息获取单元，用于获取输入位置信息，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及确定单元，用于通过将由所述通信单元发送的所述虚拟按键信息和由所述信息获取单元获取的所述输入位置信息作比较来确定由用户指示的输入按键。(2)根据⑴所述的信息处理设备，其中，所述通信单元从包括用于检测所述用户输入的物理位置的所述输入单元在内的输入终端接收所述输入位置信息。(3)根据⑴或⑵所述的信息处理设备，其中，所述信息处理设备进一步包括用于检测所述用户输入的物理位置的所述输入单元。(4)根据⑶所述的信息处理设备，其中，所述输入单元不向用户显示用于示出所述虚拟输入按键的布局的标记，并且，也不具有用于示出所述布局的物理标记。(5)根据(I)至(4)的任何一项所述的信息处理设备，其中，所述终端设备包括用于显示在所述输入单元上叠加的所述虚拟输入按键的头部安装的显示器。(6) 一种信息处理方法,包括向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局;获取输入位置信息，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及通过将所发送的虚拟按键信息和所获取的输入位置信息作比较来确定由用户指不的输入按键。(7) 一种程序，用于使得计算机执行处理，所述处理包括用于向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息的处理，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局；
用于获取输入位置信息的处理，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及用于通过将所发送的虚拟按键信息和所获取的输入位置信息作比较来确定由用户指示的输入按键的处理。(8) —种终端设备，包括图像采集单元，用于采集图像；通信单元，用于接收虚拟按键信息，所述虚拟按键信息定义在所述图像中出现的、要在输入终端的输入单元上叠加地显示的虚拟输入按键的布局；识别单元，用于识别与在所述图像中的所述输入单元对应的区域；以及显示控制单元，用于使用由所述通信单元接收的所述虚拟按键信息来显示在由所 述识别单元识别的区域上叠加的所述虚拟输入按键。(9)根据权利要求⑶所述的终端设备，其中，所述显示控制单元在头部安装的显示器上显示所述虚拟输入按键。本公开包含与在2011年2月24日在日本专利特许厅提交的日本在先专利申请JP2011-038557公开的主题相关的主题，其整体内容通过引用被包含在此。
权利要求
1.一种设备，包括 通信单元，其被配置来发送虚拟按键信息； 信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及 确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入， 其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。
2.根据权利要求I所述的设备，进一步包括所述输入单元，其被配置来基于所检测的输入件来确定所述输入位置信息。
3.根据权利要求I所述的设备，其中，所述通信单元从包括所述输入单元在内的输入终端接收所述输入位置信息。
4.根据权利要求1-3之一所述的设备，包括处理单元，其被配置来执行所确定的按键输入。
5.根据权利要求1-3之一所述的设备，包括显示控制单元，其被配置来产生所述虚拟按键信息。
6.根据权利要求1-3之一所述的设备，其中，所述虚拟按键信息定义QWERTY布局。
7.根据权利要求1-3之一所述的设备，其中，所述虚拟按键信息包括标志、发言气球、消息标签、图或符号中的至少一个。
8.根据权利要求1-3之一所述的设备，其中，所述输入单元包括未加标志的键盘或不显示标识字符的触摸板显示器之一。
9.根据权利要求1-3之一所述的设备，其中，当使用所述输入单元接收机密信息时，所述输入单元选择性地去除标识字符的显示。
10.根据权利要求1-3之一所述的设备，其中，所述输入单元包括二维条形码、标记图像、迅速响应代码或红外线发射单元中的至少一个，用于限定所述输入单元的位置。
11.一种终端设备，包括 成像单元，其被配置来接收用于表示输入图像的图像数据； 识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及 显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
12.根据权利要求11所述的终端设备，包括通信单元，其被配置来接收虚拟按键信息。
13.根据权利要求11所述的终端设备，其中，所述终端设备的显示器包括头部安装的显示器。
14.根据权利要求11所述的终端设备，其中，所述识别单元被配置来识别用于限定所述输入部分的位置的二维条形码、标记图像、迅速响应代码或红外线发射单元中的至少一个。
15.根据权利要求11所述的终端设备，其中 所述识别单元被配置来计算所述输入部分的位置和角度；以及 所述显示控制单元被配置来通过根据所述位置和角度来变换所接收的虚拟按键信息来在所述输入部分上叠加。
16.—种方法,包括 发送用于定义虚拟输入按键的布局的虚拟按键信息； 获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及 通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
17.—种方法,包括 接收用于表示输入图像的图像数据； 基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及 显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
18.一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行方法，所述方法包括 发送用于定义虚拟输入按键的布局的虚拟按键信息； 获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及 通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
19.一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行方法，所述方法包括 接收用于表示输入图像的图像数据； 基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及 显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
20.—种系统,包括 输入设备，包括 通信单元，其被配置来发送虚拟按键信息； 信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及 确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入；以及 终端设备，包括 成像单元，其被配置来接收用于表示输入图像的图像数据； 识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及 显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
全文摘要
本发明公开了一种信息处理设备、信息处理方法和终端设备。所述信息处理方法用于识别输入操作，该方法包括发送用于限定虚拟输入按键的布局的虚拟按键信息。该方法进一步包括基于所检测的输入件来确定输入位置信息。该方法也包括通过将虚拟按键信息与输入位置信息作比较来确定按键输入。
文档编号G07F7/02GK102682520SQ201210036858
公开日2012年9月19日 申请日期2012年2月17日 优先权日2011年2月24日
发明者柏谷辰起 申请人:索尼公司