操作输入装置、操作输入方法及计算机可读的记录介质与流程

本发明涉及能进行基于向显示于空中的画面的触摸的输入操作的操作输入装置以及操作输入方法，进一步涉及记录了用于实现它们的程序的计算机可读的记录介质。

背景技术：

近年来，提出一种操作装置，将操作用的画面投影到空中，用户通过触摸投影到空中的画面(以下标记为「空中投影面」)来进行操作输入(例如参考专利文献1)。由专利文献1提出的操作装置由显示装置、将显示装置的画面成像在空中的图像成像板、摄像机、距离传感器、和控制组件构成。

这当中，图像成像板具有使位于特定的位置的图像所放出的光会聚在从图像成像板来看相反侧的相同距离的位置来形成相同图像的功能(例如参考专利文献2)。为此，若从显示于显示装置的画面放出的光通过图像成像板，则画面就被投影在空中。

另外，在上述专利文献1公开的操作装置中，摄像机对空中投影面和用户的手指进行拍摄，将拍摄图像输入到控制组件。距离传感器据此来测定到用户的指尖的距离，将测定的距离输入到控制组件。

控制组件首先将映在拍摄图像的用户的指尖的图像上的位置、和距离传感器中测定的距离代入换算式，来算出用户的手指在空中投影面中的坐标。另外，这时所用的换算式根据空中投影面的位置坐标、和摄像机的信息(位置、视角、焦距等)来预先确定。

接下来，控制组件基于算出的坐标来判定用户的手指与显示于空中投影面的操作用的图标的重叠，基于判定结果来确定用户所进行的输入操作。通过这样的结构，用户能通过触摸显示于空中的画面来进行输入操作。

现有技术文献

专利文献

专利文献1：jp特开2017-62709号公报

专利文献2：jp特开2012-14194号公报

技术实现要素：

发明要解决的课题

但在上述专利文献1公开的操作装置中有如下问题：若用户的指尖位于比空中的操作画面更里侧的位置，就不再能正确地检测空中投影面中的用户的手指的接触位置的坐标。

具体地，若用户的指尖位于比空中的空中投影面更里侧的位置，则由距离传感器测定的距离就会变得比用户所打算的接触位置处的距离短。其结果，例如若设置距离传感器，使得空中投影面的中心位置处的距离最短，则根据上述的换算式，空中投影面中的用户的手指的坐标就会比实际更向画面的中央侧移动。

本发明的目的的一例消除上述问题，提供在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低的操作输入装置、操作输入方法以及计算机可读的记录介质。

用于解决课题的手段

为了达成上述目的，本发明的一侧面中的操作输入装置的特征在于，具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的控制装置，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述控制装置从所述传感器数据检测所述物体在所述空中投影面中的位置，进而若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形，然后使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

另外，为了达成上述目的，本发明的一侧面中的操作输入方法的特征在于，使用：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述操作输入方法具有如下步骤：(a)通过所述计算机，从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)通过所述计算机，若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和(c)通过所述计算机，使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

进而，为了达成上述目的，本发明的一侧面中的计算机可读的记录介质的特征在于，记录有程序，所述程序包含有在操作输入装置中使计算机执行步骤的命令，所述操作输入装置具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，在所述操作输入装置中，使所述计算机执行如下步骤：(a)从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；和(c)使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

发明的效果

如以上那样，根据本发明，在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低。

附图说明

图1是表示本发明的实施方式中的操作输入装置的结构的结构图。

图2是说明本发明的实施方式中的操作输入装置中所用的传感器装置的功能的图。

图3是表示本发明的实施方式中的操作输入装置中所具备的传感器装置的感测结果的一例的图。

图4是表示本发明的实施方式中的操作输入装置的动作的流程图。

图5是实现本发明的实施方式中的操作输入装置的控制装置的计算机的一例的框图。

具体实施方式

(实施方式)

以下参考图1～图5来说明本发明的实施方式中的操作输入装置、操作输入方法以及程序。

[装置结构]

最初说明本实施方式中的操作输入装置的结构。图1是表示本发明的实施方式中的操作输入装置的结构的结构图。

图1所示的本实施方式中的操作输入装置100是能进行基于向显示于空中的画面的触摸的输入操作的装置。如图1所示那样，操作输入装置100具备显示装置10、光学板20、传感器装置30和控制装置40。

显示装置10显示输入用的操作画面。光学板20将操作画面投影到空中来生成空中投影面21。传感器装置30是用于检测与空中投影面21接触的物体50在三维空间上的位置的装置。在图1的示例中，物体50是进行操作输入的用户的手指。

传感器装置30配置于空中投影面21的背面侧。传感器装置30输出包含用于确定感测区中的物体50的二维坐标的信息、和从传感器装置30到物体50的深度在内的传感器数据。

控制装置40具备操作输入确定部41、图形设定部42和深度校正部43。操作输入确定部41从传感器装置30输出的传感器数据中检测物体50在空中投影面21中的位置。然后，操作输入确定部41对应于检测到的物体50的位置来确定对操作画面进行的操作输入。

另外，图形设定部42若从传感器数据中检测到物体50的一部分位于空中投影面21的传感器装置30侧，就在传感器数据中设定包围该物体的一部分的图形。深度校正部43使用图形设定部42设定的图形的外缘的深度来校正物体50的空中投影面21中的位置。

如此地，在本实施方式中，例如在用户的指尖位于比空中投影面更靠里侧的位置的情况下，对手指的位置进行校正。为此，根据本实施方式，在用户触摸显示于空中的操作画面来进行输入操作的情况下，避免由于用户的误操作而触摸位置的检测精度降低的事态。

接下来，使用图2以及图3来更详细地说明本实施方式中的操作输入装置100的结构以及功能。图2是说明本发明的实施方式中的操作输入装置中所用的传感器装置的功能的图。图3是表示在本发明的实施方式中的操作输入装置中具备的传感器装置的感测结果的一例的图。

首先在本实施方式中，显示装置10是液晶显示装置等。作为光学板20，使用上述的专利文献2公开的图像成像板。光学板20具备如下功能：将显示于显示装置10的画面的图像所放出的光会聚在从图像成像板来看相反侧的相同距离的位置，来形成相同图像。

传感器装置30在本实施方式中是深度传感器。深度传感器若进行感测，就将通过感测得到的图像的图像数据、和对图像的每个像素附加的深度(depth)作为传感器数据来输出。另外，在本实施方式中，作为传感器装置30，可以使用由摄像机和距离传感器构成的装置。

并且，根据传感器数据中所含的图像数据，能确定感测区中的物体50的二维坐标。具体地，如图2所示那样，根据传感器数据中所含的图像数据，能确定物体50中的图像的垂直方向(v轴方向)的位置和图像的水平方向(h轴方向)的位置。另外，根据传感器数据中所含的深度，能确定物体50与传感器装置30在z轴方向上的距离。z轴是沿着传感器装置30的感测面的法线的轴。

在本实施方式中，在控制装置40中，操作输入确定部41若接受到传感器数据，就根据图像数据、和对图像的每个像素附加的各深度来确定物体50的最前端侧(传感器装置30侧)的部分的三维空间中的位置。然后，操作输入确定部41将确定的位置换算成空中投影面21上的位置。

具体地，操作输入确定部41首先提取物体50的最前端侧的部分。然后，操作输入确定部41从传感器数据中确定所提取的部分在三维空间中的位置、即x轴上的坐标、y轴上的坐标以及深度。

然后，如图2所示那样预先决定空中投影面21上的垂直方向(y轴方向)以及水平方向(x轴方向)、与传感器装置30中的v轴方向、h轴方向以及z轴方向的位置关系。因此，操作输入确定部41通过将物体50的最前端侧的部分的三维空间中的位置代入根据该位置关系确定的换算式，来检测物体50在空中投影面21的垂直方向上的位置和空中投影面21的水平方向上的位置。

若物体50的一部分位于空中投影面21的传感器装置30侧(图2中以虚线示出的状态)，则图形设定部42就从传感器数据检测这一情况。具体地，图形设定部42根据传感器数据来判定物体50的最前端侧的部分的z坐标(深度)是否是阈值以上。在判定的结果为不是阈值以上(比阈值小)的情况下，图形设定部42判定为物体50的一部分位于空中投影面21的传感器装置30侧。

另外，阈值对应于物体50的位置来设定。例如在图2中，物体50位于空中投影面21的上侧时的阈值成为比物体50位于空中投影面21的下方侧时的阈值小的值。

另外，如图4所示那样，在本实施方式中，图形设定部42在传感器数据中设定包围物体50的最前端侧的部分的矩形。如此地设定矩形是因为，虽然空中投影面21的x轴方向和传感器数据的h轴方向一致，但空中投影面21的y轴方向和传感器数据的v轴方向不一致，若物体50的一部分位于空中投影面21的传感器装置30侧，就会在y轴方向的位置出现误差。

在本实施方式中，深度校正部43使用设定的矩形的位于v轴方向侧的2边当中任一边中的深度，来对操作输入确定部41检测到的物体50在空中投影面21的垂直方向上的位置进行校正。

另外，对应于物体50的位置来决定位于v轴方向侧的2边当中任一边的深度。例如在物体50位于比与穿过传感器装置30的感测面的中央的法线与空中投影面21的交点在垂直方向上更靠下侧时，通过v轴方向上上侧的边的深度来进行校正。另一方面，在物体50位于比该交点在垂直方向上更靠上侧时，通过v轴方向上下侧的边的深度来进行校正。

进而，对应于空中投影面21与传感器装置30的位置关系，也可以使用位于h轴方向侧的边。进而，根据这些位置关系，也可以设定矩形以外的图形。另外，对应于这些位置关系，也可以是仅校正物体50在空中投影面21的水平方向上的位置的方式，还可以是校正垂直方向以及水平方向这两个方向上的位置的方式。

[装置动作]

接下来使用图4来说明本实施方式中的操作输入装置100的动作。图4是表示本发明的实施方式中的操作输入装置的动作的流程图。在以下的说明中适宜参酌图1～图3。另外，在本实施方式中，通过使操作输入装置100动作来实施操作输入方法。因而，将本实施方式中的操作输入方法的说明替换成以下的操作输入装置100的动作说明。

首先，传感器装置30空开设定间隔来连续地输出传感器数据。每当传感器数据被输出，控制装置40就接收该传感器数据，并执行以下的处理。

如图4所示那样，最初，在控制装置40，操作输入确定部41从传感器数据中所含的图像数据和各深度提取物体50的最前端侧(传感器装置30侧)的部分(步骤a1)。

接下来，操作输入确定部41确定步骤a1中确定的部分的三维空间中的位置，根据所确定的位置来检测物体50的最前端侧的部分在空中投影面21上的位置(步骤a2)。

具体地，操作输入确定部41从传感器数据确定所提取的部分在三维空间中的位置、即x轴上的坐标、y轴上的坐标以及深度。然后，操作输入确定部41将所确定的三维空间中的位置代入根据位置关系求得的换算式，来检测物体50的最前端侧的部分在空中投影面21的垂直方向上的位置和空中投影面21的水平方向上的位置。

接下来，图形设定部42根据传感器数据来判定物体50的最前端侧的部分的z坐标(深度)是否是阈值以上(步骤a3)。

在步骤a3的判定的结果为z坐标是阈值以上的情况下，图形设定部42将这一情况通知给操作输入确定部41。由此，操作输入确定部41基于步骤a2中检测到的位置来确定用户的操作输入(步骤a4)。

另一方面，在步骤a3的判定的结果为z坐标不是阈值以上(比阈值小)的情况下，物体的最前端侧的部分位于空中投影面21的传感器装置30侧。因此，如图3所示那样，图形设定部42在传感器数据中设定包围物体50的最前端侧的部分的矩形(步骤a5)。

接下来，深度校正部43对应于物体50的位置来选择所设定的矩形的一边，使用所选择的一边中的深度，来校正步骤a2中检测到的物体50的最前端侧的部分在空中投影面21上的位置(步骤a6)。

若执行了步骤a6，深度校正部43就将位置被校正这一情况通知给操作输入确定部41。由此，操作输入确定部41基于校正后的位置来确定用户的操作输入(步骤a4)。

上述的步骤a1到a4被反复执行直到操作输入装置100的启动被停止为止。

如以上那样，在本实施方式中，在用户的指尖这样的物体50位于比空中投影面21更靠里侧的情况下，对物体50在空中投影面21上的位置进行校正。因此，根据本实施方式，在用户触摸空中投影面21上的操作画面来进行输入操作的情况下，即使用户进行误操作，也会抑制触摸位置的检测精度的降低。

[程序]

本实施方式中的程序只要是使计算机执行图4所示的步骤a1～a6的程序即可。通过将该程序安装到计算机并执行，能实现本实施方式中的操作输入装置100的控制装置40。在该情况下，计算机的处理器作为操作输入确定部41、图形设定部42以及深度校正部43发挥功能，进行处理。

另外，本实施方式中的程序也可以通过由多个计算机构建的计算机系统执行。在该情况下，例如各计算机可以分别作为操作输入确定部41、图形设定部42以及深度校正部43的任一项发挥功能。

在此，使用图5来说明通过执行本实施方式中的程序来实现操作输入装置100的控制装置40的计算机。图5是表示实现本发明的实施方式中的操作输入装置的控制装置的计算机的一例的框图。

如图5所示那样，计算机110具备cpu(centralprocessingunit，中央处理器)111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读写器116和通信接口117。这些各部分经由总线121而相互能数据通信地连接。另外，计算机110可以除了具备cpu111以外，或取代cpu111而具备gpu(graphicsprocessingunit，图形处理器)或fpga(field-programmablegatearray，现场可编程门阵列)。

cpu111将存放于存储装置113的本实施方式中的程序(代码)在主存储器112中展开，通过以给定顺序执行该程序来实施各种运算。主存储器112典型地是dram(dynamicrandomaccessmemory，动态随机存取存储器)等易失性的存储装置。另外，本实施方式中的程序以存放于计算机可读的记录介质120的状态被提供。另外，本实施方式中的程序也可以是在经由通信接口117连接的因特网上流通的程序。

另外，作为存储装置113的具体例，除了硬盘驱动器以外，还能举出闪速存储器等半导体存储装置。输入接口114对cpu111与键盘以及鼠标这样的输入设备118之间的数据传输进行中介。显示控制器115与显示器装置119连接，控制显示器装置119中的显示。

数据读写器116对cpu111与记录介质120之间的数据传输进行中介，执行从记录介质120的程序的读出以及计算机110中的处理结果向记录介质120的写入。通信接口117对cpu111与其他计算机之间的数据传输进行中介。

另外，作为记录介质120的具体例，能举出cf(compactflash(注册商标))以及sd(securedigital)等通用的半导体存储器件、软盘(flexibledisk)等磁记录介质或cd-rom(compactdiskreadonlymemory，光盘只读存储器)等光学记录介质。

另外，本实施方式中的控制装置40还能不是由安装程序的计算机、而是使用与各部分对应的硬件来实现。进而，控制装置40也可以一部分以程序实现，剩余的部分以硬件实现。

上述的实施方式的一部分或全部能通过以下记载的(附记1)～(附记15)表现，但并不限定于以下的记载。

(附记1)

一种操作输入装置，其特征在于，具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的控制装置，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，所述控制装置从所述传感器数据检测所述物体在所述空中投影面中的位置，进而若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形，然后使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

(附记2)

根据附记1中记载的操作输入装置，其特征在于，所述控制装置在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。

(附记3)

根据附记2中记载的操作输入装置，其特征在于，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。

(附记4)

根据附记1～3任一项中记载的操作输入装置，其特征在于，所述控制装置在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。

(附记5)

根据附记1～4任一项中记载的操作输入装置，其特征在于，所述传感器装置是深度传感器。

(附记6)

一种操作输入方法，其特征在于，使用：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，操作输入方法具有如下步骤：(a)通过所述计算机，从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)通过所述计算机，若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，就在所述传感器数据中设定包围所述物体的一部分的图形；(c)通过所述计算机，使用设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

(附记7)

根据附记6中记载的操作输入方法，其特征在于，在所述(c)的步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。

(附记8)

根据附记7中记载的操作输入方法，其特征在于，在所述(c)的步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。

(附记9)

根据附记6～8任一项中记载的操作输入方法，其特征在于，在所述(b)的步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。

(附记10)

根据附记6～9任一项中记载的操作输入方法，其特征在于，所述传感器装置是深度传感器。

(附记11)

一种计算机可读的记录介质，其特征在于，记录有程序，所述程序包含有在操作输入装置中使计算机执行步骤的命令，所述操作输入装置具备：显示操作画面的显示装置；将所述操作画面投影到空中来生成空中投影面的光学板；用于检测与所述空中投影面接触的物体的三维空间中的位置的传感器装置；和确定对所述操作画面进行的操作输入的计算机，所述传感器装置输出包含用于确定感测区中的所述物体的二维坐标的信息和从该传感器装置到所述物体的深度在内的传感器数据，在所述操作输入装置中，使所述计算机执行如下步骤：(a)从所述传感器数据检测所述物体在所述空中投影面中的位置；(b)若从所述传感器数据检测到所述物体的一部分位于所述空中投影面的所述传感器装置侧，则在所述传感器数据中设定包围所述物体的一部分的图形；(c)使用所设定的所述图形的外缘中的所述深度来校正所述物体在所述空中投影面中的位置。

(附记12)

根据附记11中记载的计算机可读的记录介质，其特征在于，在所述(c)的步骤中，在所述传感器数据中设定包围所述物体的一部分的矩形，使用所述矩形的任意一边中的深度来校正所述物体在所述空中投影面的垂直方向上的位置以及所述空中投影面的水平方向上的位置当中的一个位置或两个位置。

(附记13)

根据附记12中记载的计算机可读的记录介质，其特征在于，在所述(c)的步骤中，所述一边基于所述空中投影面与所述传感器装置的位置关系来设定。

(附记14)

根据附记11～13任一项中记载的计算机可读的记录介质，其特征在于，在所述(b)的步骤中，在所述传感器数据中的所述物体的最靠所述传感器装置侧的部分的深度比阈值小的情况下，判定为所述物体的一部分位于所述空中投影面的所述传感器装置侧。

(附记15)

根据附记11～14任一项中记载的计算机可读的记录介质，所述传感器装置是深度传感器。

以上参考实施方式说明了本申请发明，但本申请发明并不限定于上述实施方式。在本申请发明的结构、详细说明中，能在本申请发明的范围内进行本领域技术人员能理解的种种变更。

本申请主张以在2018年3月7日申请的日本申请特愿2018-41162为基础的优先权，将其公开的全部内容引入于此。

产业上的可利用性

如以上那样，根据本发明，在用户触摸显示于空中的画面来进行输入操作的情况下，能抑制用户的误操作导致的触摸位置的检测精度的降低。本发明在进行空中投影面上的输入的各种装置中有用。

附图标记的说明

10显示装置

20光学板

21空中投影面

30传感器装置

40控制装置

41操作输入确定部

42图形设定部

43深度校正部

50物体

110计算机

111cpu

112主存储器

113存储装置

114输入接口

115显示控制器

116数据读写器

117通信接口

118输入设备

119显示器装置

120记录介质

121总线。