显示装置的制作方法

显示装置
1.本技术是国际申请号为pct/jp2017/003711、2019年7月17日进入中国国家阶段的申请号为201780083772.8的专利申请的分案申请。
技术领域
2.本发明涉及电子设备的显示装置的技术。尤其是，本发明涉及无需使用遥控器等设备就能够对显示装置的屏幕实现远程操作的技术。尤其是，本发明涉及可有效应用于具有通过影像显示而实现的人机接口(mmi)和图形用户接口(gui)的电子设备等的技术。


背景技术：

3.目前，作为包括电视接收机(电视机)、投影型显示装置(投影仪)、pc、平板电脑终端、智能手机等在内的各种电子设备或系统的常用的操作输入单元，操作面板、遥控器、键盘、鼠标、触摸面板等得到了广泛使用。例如，用户能够按下手持的遥控器的按钮，来远程操作电视机屏幕的选台等动作。用户能够从屏幕上显示的操作菜单中选择想要的项目并发出指示。用户能够通过在鼠标垫上移动鼠标来进行pc的操作输入。用户能够在手持的智能手机的触摸面板的屏幕上进行触摸输入。
4.近年来，随着电视机、摄像机、半导体等技术的进步和环境的完善，人们开发了与现有的遥控器等相比能够更直观地、顺畅地进行操作的先进的操作输入技术。利用已得到广泛普及的高性能摄像机的操作输入技术也被开发出来。例如，人们提出了利用电子设备附近所设的摄像机来读取由操作者的运动构成的规定的姿势(gesture)，以该姿势作为远程操作输入来进行控制的技术等。但即使在这样的状况下，使用遥控器等进行的操作也仍被广泛使用。其原因主要是，遥控器能够以简单的操作能够实现稳定的动作并且能够廉价地制造等。
5.作为关于电子设备的操作输入，尤其是使用了摄像机的远程操作控制的现有技术例，可举出日本特开平8-315154号公报(专利文献1)、日本特开2004-258837号公报(专利文献2)等。在专利文献1中，作为姿势识别系统记载了下述内容。该系统使用摄像机检测规定的手势的存在及其在空间内的位置来产生手势信号，并基于手势信号，在与检测出手势的空间内的位置对应的屏幕上的位置处显示手形图标。该系统在手形图标随手势的运动而移动到机械控制图标上时，产生机械控制信号。
6.在专利文献2中，作为光标操作装置记载了能够非接触地进行远程操作的技术，其中，检测对显示屏幕进行指示的指尖的空间位置，使显示屏幕内的光标与检测的位置连动地移动，并且，该文献还记载了下述内容。其记载了，提供一种光标能够平滑地跟踪指尖的运动，具有良好的指示操作性的装置，并且记载了，计算将与检测出的指示物体的位置对应的显示屏幕上的检测坐标点与上一次的显示坐标点连结的最新移动矢量等，基于最新移动矢量等修正显示坐标点。
7.现有技术文献
8.专利文献
9.专利文献1：日本特开平8-315154公报
10.专利文献2：日本特开2004-258837号公报


技术实现要素：

11.发明要解决的技术问题
12.现有的电子设备的操作输入技术存在下述问题。作为普遍的问题，在使用遥控器、键盘或鼠标的情况下，存在腾不出手、设备的管理较为烦琐等问题。而在使用触摸面板的情况下，由于需要直接接触触摸面板，所以不适于进行远程操作。在使用鼠标等的情况下，由于是配置在固定位置使用的，因此不适于用户的位置等会发生变动的情况。
13.在现有的使用了摄像机的远程操作技术中，像专利文献1那样，设置由用户手指的规定的运动定义的多个姿势，为每种姿势关联了动作指示等。在该系统中，位于远离屏幕的位置处的用户作出左右挥手等规定的姿势。该系统基于摄像图像的分析来检测该姿势，发出与该姿势对应的动作指示。在这样的技术中，对于用户来说，需要预先区分并记忆包括多种姿势与操作输入之间的对应关系在内的知识，所需的学习量较大。并且为了防止出现无意识的操作，还需要一定程度上熟练掌握。与遥控器等的简单、便利性相比，这种学习等的必要性是极为不利的。现有技术在用户的易用性方面存在问题，有改进的余地。
14.并且，在上述技术中，为了利用姿势进行远程操作，需要始终从整个摄像图像中细致地检测人物的运动或手指等的形状，尤其是，需要进行从多个姿势中区分并识别特定的姿势，并为每个姿势关联命令等的处理。这需要在计算机的后台运行大量的处理，负荷很高。
15.本发明的目的在于，就电子设备的操作输入技术，尤其是使用了摄像机的远程操作控制技术来说，提供一种能够提高用户的易用性的——例如能够简单地进行操作的技术。
16.解决问题的技术方案
17.本发明有代表性的实施方式是具有下述特征的显示装置等。
18.一个实施方式的显示装置，具有控制由用户对屏幕进行的远程操作而产生的操作输入的功能，其包括摄像部，所述摄像部包括对包含观看所述屏幕的所述用户在内的范围进行拍摄的至少2个摄像机，通过对所述摄像部的拍摄影像进行分析，来检测相对于表示所述2个摄像机的基准位置的第一点的第二点和第三点，其中，所述第二点表示与所述用户的身体的一部分对应的用户基准位置，所述第三点表示所述用户的手指的位置，在空间内，在从所述第二点起的第一方向上的规定长度的位置处的第四点上，设定至少包括1个虚拟面的虚拟面空间，计算所述手指进入到所述虚拟面空间的进入程度，该进入程度包括所述第三点与所述虚拟面空间的距离，基于所述进入程度判断所述手指对所述虚拟面空间的规定的操作，生成操作输入信息，所述操作输入信息包括所述第三点的位置坐标或与所述第三点对应的所述屏幕内的第五点的位置坐标，和表示所述规定的操作的操作信息，基于所述操作输入信息，控制所述显示装置的包括所述屏幕的显示控制在内的动作。
19.发明效果
20.采用本发明有代表性的实施方式，就电子设备的操作输入，尤其是使用了摄像机的远程操作控制来说，能够提高用户的易用性——例如能够简单地进行操作。
附图说明
21.图1是表示包括本发明实施方式1的显示装置的显示系统的结构的图。
22.图2是表示实施方式1的显示系统的功能模块结构的图。
23.图3是表示实施方式1中用户视野内的屏幕与虚拟面之间的关系的图。
24.图4是表示实施方式1中从侧面观察的空间的状态的图。
25.图5是表示实施方式1中从上方观察的空间的状态的图。
26.图6是表示实施方式1中从侧面观察的虚拟面空间等的状态的图。
27.图7是表示实施方式1中虚拟面的设定的相对方式的图。
28.图8是表示实施方式1中屏幕与虚拟面之间的对应关系的图。
29.图9是表示实施方式1中屏幕的第一显示控制例的图。
30.图10是表示实施方式1中第一显示控制例的后续处理的图。
31.图11是表示实施方式1中屏幕的第二显示控制例的图。
32.图12是表示实施方式1中屏幕的其他显示控制例的图。
33.图13是表示实施方式1中对虚拟面进行规定操作的例子的图。
34.图14是表示实施方式1中作为规定操作的轻扫操作的例子的图。
35.图15是表示实施方式1中作为规定操作的张合操作的例子的图。
36.图16是表示实施方式1中虚拟面的调整的图。
37.图17是表示实施方式1中虚拟面的位置、尺寸和倾斜度的调整操作的图。
38.图18是表示实施方式1中进行虚拟面的位置、尺寸和倾斜度的调整时的屏幕的显示例的图。
39.图19是表示实施方式1中基于双眼视差实现的距离测量的图。
40.图20是表示实施方式1中默认的虚拟面空间的设定例的图。
41.图21是表示实施方式1的第一变形例的显示系统的结构的图。
42.图22是表示实施方式1的第一变形例的摄像机间距离测量方式的图。
43.图23是表示实施方式1的第二变形例中虚拟面的调整的图。
44.图24是表示实施方式1的第三变形例中进行虚拟面的调整时的屏幕的显示例的图。
45.图25是表示实施方式1的第三变形例中虚拟面的位置调整的控制例的图。
46.图26是表示实施方式1的第三变形例中虚拟面的位置调整的其他控制例的图。
47.图27是表示实施方式1的第三变形例中虚拟面的尺寸调整的控制例的图。
48.图28是表示实施方式1的第三变形例中虚拟面的尺寸调整的其他控制例的图。
49.图29是表示实施方式1的第三变形例中虚拟面的倾斜度调整的控制例的图。
50.图30是表示实施方式1的第三变形例中虚拟面的倾斜度调整的其他控制例的图。
51.图31是表示实施方式1的其他变形例中屏幕的显示例的图。
52.图32是表示实施方式1的第四变形例中通常模式时的虚拟面的调整的图。
53.图33是表示实施方式1的第五变形例的虚拟面重置功能的图。
54.图34是表示包括本发明实施方式2的显示装置的远程操作控制装置的显示系统的结构的图。
55.图35是表示本发明实施方式3的显示装置中虚拟面的设定的绝对方式的图。
56.图36是表示包括本发明实施方式4的显示装置的显示系统的结构的图。
57.图37是表示包括本发明实施方式5的显示装置的显示系统的结构的图。
58.图38是表示包括实施方式5的变形例的显示装置的显示系统的结构的图。
59.图39是表示包括本发明实施方式6的显示装置的显示系统的结构的图。
60.图40是表示实施方式6中显示装置的硬件等的功能模块结构的图。
61.图41是表示实施方式6中显示装置的第一控制处理流程的图。
62.图42是表示实施方式6中显示装置的第二控制处理流程的图。
63.图43是表示包括本发明实施方式7的显示装置的显示系统的结构和使用例的图。
具体实施方式
64.下面，基于附图对本发明的实施方式进行详细说明。在用于说明实施方式的全部附图中，原则上对同一部分标注相同的标记，省略其重复说明。
65.(实施方式1)
66.使用图1～图33说明本发明实施方式1的显示装置。实施方式1的显示装置具有特有的远程操作控制功能。该功能针对屏幕在用户的附近设定虚拟面空间。检测用户的手指相对于虚拟面空间的进入程度。根据该检测，判断用户对虚拟面进行的触摸等规定的操作。并进行控制，使该规定的操作与操作面板等的操作输入关联。
67.[显示系统(1)]
[0068]
图1表示包括实施方式1的显示装置的显示系统的结构。在图1中，以立体的方式概略地表示了用户观看显示装置1的屏幕10的状态。其中，说明上的方向和坐标系使用了(x，y，z)，x方向是第一方向，y方向是第二方向，z方向是第三方向。x方向和y方向是构成屏幕10的正交的2个方向，x方向是屏幕内水平方向，y方向是屏幕内垂直方向。z方向是与屏幕10的x方向和y方向垂直的方向。用户是收看显示装置1的屏幕10上的影像的观众，是对屏幕10进行远程操作的操作者。图1中，作为用户收看影像时的姿态，表示了正对着屏幕10的标准姿态的情况，收看方向沿着z方向。屏幕10表示了沿铅垂方向竖立的情况。
[0069]
点p0是表示用户基准位置的点，该用户基准位置与用户的身体的一部分相对应。在实施方式1中，用户基准位置的点p0被设定为人头或人脸上的一点，例如有代表性地设定为双眼的中点。点p0对应于用户的视点。在能够利用2个摄像机的图像检测人脸等的情况下，点p0是可设定的。另外，用户基准位置的设定可不限于本例，例如可以是人头区域的一点，也可以是身体区域的重心点等。
[0070]
点f0是表示用户进行远程操作时的手指的位置的点。点f0是例如手指在z方向上最接近屏幕10的位置处的前端点，是进入到虚拟面空间100最深处的指尖的点。图1表示了表示右手一根手指的前端的点f0进入虚拟面空间100内操作虚拟面的状况。
[0071]
显示装置1例如是电视接收机，具有接收广播电波来播放并显示广播节目等的功能，和基于数字输入数据来播放并显示影像的功能等。显示装置1上安装有能够实现远程操作控制功能的、相对于现有技术作出了改进的硬件和软件等。屏幕10具有矩形的平面，中央的点为点q0，4个角落点为点q1～q4。右边的中点为点q5，左边的中点为点q6，上边的中点为点q7，下边的中点为点q8。
[0072]
显示装置1包括摄像机31和摄像机32这2个摄像机(即立体摄像机)。2个摄像机关
于屏幕10(连接点q7和点q8的轴)配置在左右位置。摄像机31是右侧摄像机，配置在右边的中点q5的附近。摄像机32是左侧摄像机，配置在左边的中点q6的附近。2个摄像机配置在能够拍摄包括屏幕10前方的用户在内的规定范围的方向上。摄像机31、32由支承调节机构连接在显示装置1的壳体的左右两侧。摄像机31、32的位置和拍摄方向能够由用户在规定范围内微调。表示摄像机基准位置的点是2个摄像机的中点，本例中相当于点q0。摄像机31、32通过无线通信接口与显示装置1连接，但不限于此，也可以通过有线通信接口连接。
[0073]
摄像机31、32输出拍摄影像的图像信号。在作为摄像图像的动态图像或静态图像内，包括作为对象的用户身体中的手指或人脸等。显示装置1具有使用2个摄像机的拍摄影像，通过基于双眼视差实现的距离测量来检测与对象物体间的距离以及对象物体的位置的功能。基于双眼视差实现的距离测量可应用公知的原理。与对象物体间的距离是摄像机基准位置(点q0)与手指位置(点f0)的距离，或摄像机基准位置(点q0)与用户基准位置(点p0)的距离等。点f0和点p0可在每个时间点作为三维空间坐标系(x，y，z)的位置坐标获取。
[0074]
在用户观看屏幕10的情况下，存在以屏幕10的4个点q1～q4为底面、以用户基准位置的点p0为顶点的大致四棱锥形状的空间。将连接点p0和点q0的直线表示为基准轴j0。基准轴j0的方向对应于用户观看屏幕10上的点q0时的收看方向。
[0075]
显示装置1基于用户基准位置的点p0的检测，在空间内的点p0的前方即去往屏幕10的z方向上，在手指可够得着的范围内，在规定的第一方向和长度的位置处设定虚拟面空间100。例如，将虚拟面空间100设定在基准轴k0上的规定长度的位置处，其中基准轴k0是自点p0起的具有相对于基准轴j0位于斜右下方的角度的轴。本例中，在用户是右利手的情况下，将虚拟面空间100配置在右手附近的位置。点c0是表示用于设定虚拟面空间100的基准位置的中心点。虚拟面空间100不具有物理实体，是由显示装置1的处理器等进行计算而作为三维空间的位置坐标设定的空间。在实施方式1中，虚拟面空间100由2个虚拟面构成。包括位于离用户近的跟前侧的第一虚拟面101和位于深处侧的第二虚拟面102。第一虚拟面101与第二虚拟面102之间具有规定的厚度。第一虚拟面101和第二虚拟面102之间的大致长方体或平板状的空间部分是虚拟面空间100。
[0076]
在图1的设定状态下，虚拟面空间100相对于用户的视点(点p0)配置在斜右下方。在用户从视点观看屏幕10的视野下，虚拟面空间100不与屏幕10重叠。在通常收看影像的情况下，用户的视点与屏幕10之间不存在妨碍收看的物体，手指也不会在其间挥动。
[0077]
作为虚拟面的第一虚拟面101和第二虚拟面102是接受用户对屏幕10进行的远程操作(也记作虚拟面操作、规定的操作等)的虚拟的面，尤其例如是平行的平面。虚拟面是以与屏幕10一对一相关联的方式管理的。虚拟面空间100内的位置与屏幕10内的位置对应(后述图3和图8)。点e0表示与虚拟面上的手指位置的点f0相关联的屏幕10内的位置的例子。例如，在用户以指示虚拟面空间100的右下方附近的方式作出了规定的操作的情况下，与此相应地，以指示屏幕10内的右下方附近的位置的方式进行操作输入。
[0078]
虚拟面空间100的点c0的设定方法如下。基于虚拟面空间100的设定信息，在空间内的自点p0起具有规定方向和距离的矢量的前端的位置上设定点c0。换言之，可按以下方式设定。首先，从点p0起在基准轴j0上的去往点q0的方向上的规定长度的位置处设定辅助点。在从该辅助点去往铅垂方向下方的规定长度的位置处设定下一个辅助点。在水平方向上从该辅助点起规定长度的位置上设定点c0。
[0079]
显示装置1根据手指的点f0相对于虚拟面空间100的位置关系和进入程度等状态，检测规定的操作。显示装置1将该规定的操作关联为对屏幕10的gui或显示装置1主体进行的远程操作输入。将通过虚拟面空间100的中心点c0的垂直的轴表示为基准轴k0。显示装置1判断基准轴k0的方向上的、手指的点f0相对于第一虚拟面101或第二虚拟面102的距离和进入程度(也记作深度)等。
[0080]
显示装置1例如在手指的点f0到达第一虚拟面101并进入到第一虚拟面101后方深处的情况下，自动地转移到可接受规定的操作的状态，在屏幕10上显示光标50作为反馈用的指针图像。该光标50是用于将虚拟面空间100内的用户的手指的存在和位置等操作状态反馈给用户的信息。光标50显示在与虚拟面空间100内的手指位置的点f0对应的屏幕10内的位置的点e0上。通过进行反馈显示，用户容易了解虚拟面空间100的操作状态。
[0081]
进而，显示装置1在手指位置的点f0到达第二虚拟面102并进入到第二虚拟面102后方深处的情况下，判断并检测规定的操作。规定的操作例如是对第二虚拟面102的触摸(touch)、轻击(tap)、轻扫(swipe)、张合(pinch)等操作。这些规定的操作是按照现有的物理的触摸面板上的触摸等操作而定义的操作，不同之处在于，其中包含了在空无一物的进深方向上的进入动作。显示装置1检测规定的操作并生成操作输入信息，该操作输入信息包括检测到的手指的位置的点f0的位置坐标(或与点f0对应的点e0的位置坐标)，和表示规定的操作的操作信息。显示装置1使用该操作输入信息控制包括屏幕10的gui的显示控制在内的显示装置1的动作。用户一边观看显示在屏幕10上的内容、操作面板、光标50等，一边在虚拟面空间100内移动手指来进行例如对操作面板上的操作按钮的触摸等规定的操作。显示装置1在检测到该规定的操作的情况下，进行与该操作按钮的触摸操作关联着决定的规定的对应处理(例如选台)。
[0082]
显示装置1只要检测手指相对于虚拟面空间100的位置和进入程度等即可，该处理可由负载较轻的处理实现。显示装置1不需要像现有技术那样高速和高精度地检测用户作出的多种姿势的每一种。用户不需要学习多种姿势，只要仅记住与现有的鼠标的点击和触摸面板的触摸等操作或与其感觉相似的规定的操作即可。
[0083]
[显示系统(2)]
[0084]
图2是表示图1的显示系统的显示装置1的功能模块结构的图。显示装置1包括控制部11、存储部12、内容显示部13、gui显示部14、显示驱动电路15、屏幕10、远程操作控制部20。远程操作控制部20包括摄像部30、手指位置检测部21、用户基准位置检测部22、虚拟面设定部23、操作判断部24、操作输入信息输出部25、虚拟面调整部26、个人识别部27和存储部28，其中摄像部30包括摄像机31、32。
[0085]
控制部11控制整个显示装置1。控制部11在用户进行了远程操作的情况下，根据其操作输入信息210控制显示装置1的动作。存储部12存储控制用的信息和内容等数据。内容显示部13基于内容数据在屏幕10上显示内容的影像。内容可以是广播节目、dvd影像、资料文件等各种内容。显示驱动电路15基于来自内容显示部13和gui显示部14的输入影像数据生成影像信号，在屏幕10上显示影像。
[0086]
gui显示部14是在显示装置1的os或应用程序等中进行下述处理的部分，该处理是，控制屏幕10的gui的图像显示的处理，和与针对gui上的对象的操作相应的规定的对应处理等。尤其是，gui显示部14具有在屏幕10上显示后述的操作面板和与远程操作控制功能
相关的菜单画面等的功能。gui也可以叠加显示在内容上。gui显示部14基于操作输入信息210进行与针对gui上的对象的操作输入相应的规定的对应处理。由此，能够控制gui的显示状态。此外，gui显示部14使用操作输入信息210控制屏幕10上的光标50等的显示状态。
[0087]
用户对图1的虚拟面空间100进行操作。该操作是对屏幕10的gui的远程操作。该操作被远程操作控制部20检测到并转换成针对屏幕10的gui的操作输入，作为操作输入信息210而生成。摄像部30的2个摄像机31、32分别对包含用户的人脸或手指的范围进行拍摄，输出拍摄影像200的图像信号。该拍摄影像200被输入到手指位置检测部21和用户基准位置检测部22。远程操作控制部20使用由处理器等进行的计算处理和摄像部30的拍摄影像200，检测空间内的用户的手指的运动等。
[0088]
手指位置检测部21基于拍摄影像200的图像，通过图像分析处理和基于双眼视差实现的距离测量的处理，来检测手指的点f0的位置坐标等。手指位置检测部21输出表示检测到的手指位置201的信息。基于双眼视差实现的距离测量的处理是测量摄像机31、32的摄像机基准位置与手指位置的距离等的处理(后述图19)。
[0089]
用户基准位置检测部22基于拍摄影像200的图像，检测表示用户基准位置的点p0的位置坐标等。用户基准位置检测部22输出表示检测到的用户基准位置202的信息。
[0090]
虚拟面设定部23基于表示摄像机基准位置(点q0)和用户基准位置202(点p0)的信息，进行在用户身体附近的规定位置处设定虚拟面空间100的处理。虚拟面设定部23输出表示按每个用户个人设定的虚拟面空间100的设定信息203，并将其也存储在存储部28内。存储部28由非易失性存储器等构成，在断电状态下也能够保持设定信息203。
[0091]
操作判断部24基于表示手指位置201的信息和设定信息203，根据手指相对于虚拟面空间100的进入程度等判断并检测规定的操作。操作判断部24例如判断手指是否进入到第一虚拟面101后方深处，以及手指是否进入到第二虚拟面102后方深处等。操作判断部24基于进入程度等，判断对虚拟面空间100进行的触摸、轻击、轻扫、张合等规定的操作。操作判断部24输出手指的点f0的位置坐标和表示规定的操作的操作信息204。规定的操作能够在gui显示部14中被解释成针对gui上的对象的操作输入。
[0092]
操作输入信息输出部25基于手指位置坐标和操作信息204，生成规定的形式的操作输入信息210，并将操作输入信息210输出到gui显示部14等。操作输入信息210包括每个时间点的手指位置的点f0的位置坐标信息。在检测到规定的操作的情况下，操作输入信息210包括表示该规定的操作的操作信息。操作信息是表示触摸、轻击、轻扫、张合等规定的操作的种类和有无等的信息。在需要根据手指位置更新光标50等的显示状态的情况下，操作输入信息210包括状态更新用的显示控制信息。显示控制信息是用于控制光标50等在屏幕10上的显示状态的信息，包括指定光标50是否显示以及尺寸、颜色、形状类型等的信息。操作输入信息输出部25根据虚拟面空间100内的手指位置进行控制，改变屏幕10内的光标50的位置等。
[0093]
实施方式1能够对屏幕10的操作面板进行远程操作。操作输入信息210可以包括与该操作面板相关的显示控制信息。操作输入信息210可不限于用于控制gui显示部14的信息。操作输入信息210也可以包括针对显示装置1的os、应用程序、内容等的动作指示的命令和控制信息。例如，可以从操作输入信息输出部25对控制部11提供操作输入信息210，由控制部11基于操作输入信息210进行显示装置1的动作的控制处理。
[0094]
远程操作控制部20——例如操作输入信息输出部25自动进行虚拟面空间100内的手指的点f0的位置坐标与屏幕10内的点e0的位置坐标之间的对应关系的管理和变换处理。该情况下，操作输入信息210包括屏幕10内的点e0的位置坐标信息等。该管理和变换也可以由gui显示部14等进行。
[0095]
虚拟面调整部26基于操作信息204进行后述的关于模式的判断和切换，判断用于调整用户个人的虚拟面空间100的操作(有时也记作调整操作)。而且，虚拟面调整部26按照该调整操作，进行实时地变更用户个人的虚拟面空间100的位置、尺寸和倾斜度等的处理。虚拟面调整部26输出表示调整后的用户个人的虚拟面空间100的调整信息206。伴随着调整，虚拟面调整部26更新存储部28中的用户个人的设定信息203。也可以进行整合，由操作判断部24进行调整操作等判断处理。虚拟面设定部23基于该调整信息206更新虚拟面空间100的设定状态。
[0096]
显示装置1还具有预先设定每个用户的虚拟面空间100的位置、尺寸和倾斜度等的初始状态的功能。显示装置1能够提供用户设定画面，进行虚拟面空间100的利用方法等的指导，最初提示默认的虚拟面空间100，由用户进行位置、尺寸和倾斜度等的调整。之后，用户能够随时使用调整功能将自己用的虚拟面空间100调整为容易使用的所要求的状态。
[0097]
个人识别部27基于拍摄影像200的输入进行用户个人的识别处理。在利用用户基准位置检测部22检测人脸等的情况下，个人识别部27也可以使用表示用户基准位置202的信息。个人识别部27例如基于公知的图像处理检测图像中的人脸部分，提取人脸特征信息，将其与预先登记在存储部28中的用户个人的人脸图像数据进行比较对照，来判断用户个人。个人识别部27输出个人识别的识别结果信息207。虚拟面设定部23基于识别结果信息207读取并输出为用于该用户个人而设定的虚拟面的设定信息203。在用户个人的设定信息203未登记的情况下，从存储部28中读取并使用默认的设定信息。个人识别部27能够应用根据人脸图像进行个人识别的方式以外的方式。例如，可以应用使用了用户输入的用户id等的方式以及各种生物认证方式等。
[0098]
用户个人的人脸图像数据的登记方法如下。用户从显示装置1的屏幕10上的用户设定画面中选择“登记人脸图像”项目。显示装置1响应于该选择而进入人脸图像登记模式，对用户显示表示要登记人脸图像的消息，使用户为脸部面向摄像机31、32的状态。显示装置1在该状态下拍摄人脸，将其人脸图像数据等登记为用户个人的信息，存储在存储部28中。此外，也可以省略这样的登记处理，而是利用通常使用时的摄像图像。
[0099]
作为变形例，也可以将操作判断部24等整合到gui显示部14等中。该情况下，远程操作控制部20至少输出包括每个时间点的手指的点f0的位置坐标的操作输入信息210。
[0100]
[显示系统(3)]
[0101]
实施方式1的显示系统主要仅通过手指位置的点f0的检测处理，来实现作为规定的操作的虚拟面操作。在实施方式1中，最初先检测人脸等用户基准位置的点p0，并自动地在关于该点p0的相对位置上设置虚拟面空间100(后述图7的相对方式)。之后，检测该虚拟面空间100上的手指位置的点f0，判断并检测作为规定的操作的触摸操作等。
[0102]
在实施方式1中，除了通常的虚拟面操作之外，还设置了用于调整虚拟面空间100的操作即调整操作，需要区分着判断并检测这两种操作。响应于检测到调整操作，实时地变更虚拟面的位置、尺寸和倾斜度等。
[0103]
在实施方式1中，对用户除了设置有可进行通常的虚拟面操作的通常模式之外，还明确设置有可进行虚拟面的调整的调整模式。通常模式和调整模式以时分的方式切换。通常模式下能够接受通常的规定的操作，但不接受调整操作。调整模式下能够接受调整操作。显示装置1响应于检测到例如规定的模式切换操作(调整模式切换操作)，从通常模式切换为调整模式。显示装置1响应于检测到规定的模式切换操作(通常模式切换操作)，从调整模式切换为通常模式。在调整模式下，当用户进行调整操作时，将表示调整操作状态的图像信息等作为反馈显示在屏幕10上。
[0104]
在实施方式1中，作为通常的规定的操作，可以是一根手指进行的操作，而作为调整操作同样可以是一根手指进行的操作。
[0105]
[视野内的屏幕与虚拟面的关系]
[0106]
图3概略地表示用户视野内的屏幕10与虚拟面空间100的尤其是第二虚拟面102之间的关系。屏幕10的横向(x方向)尺寸由h0表示，其一半的尺寸由h1表示，纵向(y方向)尺寸由v0表示，其一半的尺寸由v1表示。在视野内，虚拟面空间100的中心点c0位于偏离屏幕10的中心点q0的位置上。令第一虚拟面101的中心点为点c1，第二虚拟面102的中心点为点c2。在图3的例子中，屏幕10上显示有省略了图示的内容影像和gui的操作菜单300等。操作菜单300例如包括选项按钮301、302。本例表示了用户对第二虚拟面102的左下区域的点f0进行触摸操作的状况。点f0的位置坐标由(xf，yf，zf)表示。与该触摸操作对应地，进行了对点e0的触摸操作，该点e0是位于屏幕10内的左下区域的选项按钮301上的点。点e0的位置坐标由(xe，ye)表示。在与点f0对应的点e0的位置上显示有光标50。
[0107]
在图3的设定状态下，虚拟面空间100相对于屏幕10的点q0被配置在右下方附近的位置。虚拟面空间100的区域不与用户视野内的屏幕10的区域重叠。虚拟面空间100能够像本例那样，配置成不与用户视野内的屏幕10的区域重叠。但不限于此，虚拟面空间100也能够配置成一部分与用户视野内的屏幕10的区域重叠。在像本例那样采用不重叠的配置的情况下，由于手指不会处于用户的视点与屏幕10之间，因此具有用户容易观察屏幕10的显示状态这一优点。并且，本例中虚拟面空间100被配置在用户的右手附近，所以还具有用户不用过度上抬右手手指就能够进行操作这一优点。用户能够通过设定和调整来将虚拟面配置在例如自己容易操作的位置上。
[0108]
[从侧面观察的空间的状态]
[0109]
图4表示从侧面观察图1的空间的yz平面上的状态。摄像机基准位置的点q0的位置坐标由(x0，y0，z0)表示。用户基准位置的点p0的位置坐标由(xp，yp，zp)表示。手指的点f0的位置坐标由(xf，yf，zf)表示。虚拟面空间100的中心点c0的位置坐标为(xc0，yc0，zc0)。第一虚拟面101的中心点c1的位置坐标为(xc1，yc1，zc1)。第二虚拟面102的中心点c2的位置坐标为(xc2，yc2，zc2)。与点f0对应的屏幕10内的点e0的位置坐标由(xe，ye)表示。
[0110]
作为可测量的距离，表示了点q0与点p0的距离dp，和点q0与点f0的距离df。还表示了手指的点f0与第二虚拟面102的距离dst。距离dst是有正负的值。本例中，手指的点f0位于虚拟面空间100的上半部分一侧的区域内。对应地，所指示的点e0位于屏幕10的上半部分一侧的区域内。
[0111]
[从上方观察的空间的状态]
[0112]
图5表示从上方观察图1的空间的xz平面上的状态。在图5的状态下，虚拟面空间
100的第一虚拟面101和第二虚拟面102被设定在从用户的点p0看来相对于基准轴j0位于右侧的位置(点c1、c2)上。关于虚拟面空间100的尺寸，第一虚拟面101和第二虚拟面102的尺寸是相同的。用户能够使手指在虚拟面空间100内的所要求的面内方向(与第二虚拟面102等平行的方向)上自由地移动。例如，用户在想要操作屏幕10的左侧区域311内的操作按钮等的点e0的情况下，相应地使手指的点f0移动到虚拟面空间100的左侧的对应区域312内。
[0113]
[虚拟面空间]
[0114]
图6表示关于手指相对于虚拟面空间100的位置关系和进入程度等的说明图。图6是与图4同样地从侧面观察空间的状态，将虚拟面空间100附近放大表示。为便于说明，在空间内，令点p0到第一虚拟面101的空间部分为第一空间，第一虚拟面101与第二虚拟面102之间的空间部分为第二空间，第二虚拟面102后方的空间部分为第三空间。在从点p0起的第一方向的基准轴k0上，点c0设置于长度l0的位置，点c1设置于长度l1的位置，点c2设置于长度l2的位置。
[0115]
图中表示了虚拟面空间100的进深厚度m0。厚度m0是点c1与点c2的距离，是长度l1与长度l2的差。厚度m0在默认情况下设定为例如3～5cm左右。厚度m0设定为能够检测进深方向上手指相对于虚拟面的进入程度。厚度m0可通过进行用户设定来设定成对于用户个人而言容易操作的厚度。
[0116]
点f0～f5等表示手指位置的点f0的轨迹的例子。表示了使手指在基准轴k0的方向上进入到深处侧的情况。所表示的情况是，在要按下屏幕10的下侧区域321内的操作按钮等的情况下，对应地对虚拟面空间100的下侧区域322内进行触摸操作。手指位置最初位于虚拟面空间100外的第一空间内的点f0。用户使手指接近虚拟面空间100一侧而到达点f1。点f1相比第一虚拟面101靠跟前侧。接着，手指从点f1到达第一虚拟面101，位于点f2。接着，手指从点f2进入第一虚拟面101后方深处，位于点f3。接着，手指从点f3到达第二虚拟面102，位于点f4。接着，手指从点f4进入第二虚拟面102后方深处，位于点f5。在手指进一步从点f5进入深处的情况下，位于点f6。
[0117]
显示装置1能够掌握手指的点f0与各虚拟面的距离。例如，在位于点f1的时刻，掌握手指与第一虚拟面101的距离g1，与第二虚拟面102的距离g2。例如，在位于点f3的时刻，掌握手指与第一虚拟面101的距离g3，与第二虚拟面102的距离g4。
[0118]
在第二虚拟面102的更深处，在离点c2规定距离的位置上存在与第二虚拟面102平行的控制用的面601。第二虚拟面102与面601之间的区域602被用于判断规定的操作。在手指的点f0位于面601前方的区域602内的情况下，使触摸等操作有效，而在点f0进入到面601后方深处的情况下，使操作无效。可以理解为，这样的面601被设定为第三虚拟面。即，可以理解为，虚拟面空间100由以第二虚拟面102为主的2个以上的虚拟面的层构成。即使在不使用面601的情况下，也能够实现最低限度的控制。
[0119]
在对第二虚拟面102进行触摸操作的情况下，例如手指位置按照点f3、f4、f5的顺序变化。在手指位置停留于点f4或点f5的情况下，判断为进行了触摸操作。在轻击操作的情况下，例如手指位置按照点f3、f4、f5、f4、f3的顺序变化。在手指位置到达点f4或点f5后于规定时间内返回点f3这样的位置的情况下，判断为进行了轻击操作。同样地能够判断双击操作等。
[0120]
手指位置在虚拟面的面内方向也能够自由移动。例如能够从点f3移动到点f7或点
f8等。图5也表示了对应的点。在轻扫操作的情况下，例如手指位置按照点f3、f4、f5、f9、f10等的顺序变化。用户将手指探入第二虚拟面102后方深处的区域602内，在所要求的面内方向上移动后，使手指返回到比第二虚拟面102靠跟前侧。同样地能够判断轻拂(flick)操作等。
[0121]
虚拟面空间100的倾斜度能够由通过虚拟面的中心点的1个轴(与面平行的轴或与面垂直的轴)及其角度等表示。在图6的例子中，在yz平面内以垂直于虚拟面的轴(基准轴k0)与铅垂方向(y方向)所成的角度表示，虚拟面的倾斜度为45度。
[0122]
虚拟面的位置、尺寸和倾斜度等能够通过用户设定和调整功能来改变。可以认为，虚拟面的容易操作的位置、尺寸和倾斜度等对于每个用户个人并不是固定的而是各不相同的。考虑到这一点，实施方式1能够通过调整功能来容易地按每个用户个人调整虚拟面的位置、尺寸和倾斜度等。用户能够在利用虚拟面进行远程操作的同时，对虚拟面的位置等进行微调。由此易用性得到提高。
[0123]
[虚拟面设定—相对方式]
[0124]
在图7中，作为实施方式1的虚拟面空间100的设定方式表示了相对方式。图7以从上方观察空间的xz平面表示，并将虚拟面空间100简略表示为一个平面。考虑到易用性，在相对方式中，虚拟面空间100被设定在由从用户基准位置起的相对距离和矢量等决定的位置上。详细内容如下。首先，基于摄像图像检测用户基准位置的点p0。接着，在该点p0前方(z方向)的手指可够得着的范围内，将默认的虚拟面空间100设定在由规定的方向和距离da1的矢量va1决定的位置上的点c0处。例如，以从人脸的点p0起相对于基准轴j0位于前方斜下方向上的规定距离da1的位置的点c0a作为默认的位置。并且，与默认的位置一起应用默认的尺寸和倾斜度。将默认的虚拟面空间100表示为变更前的虚拟面空间100a。在用户最初使用显示装置1时，设定默认的虚拟面空间100。显示装置1预先存储有默认的虚拟面空间100的设定信息。
[0125]
进而，能够由用户个人从上述默认的虚拟面空间100起进行调整。用户能够通过调整操作将虚拟面空间100a变更为所要求的、合适的位置、尺寸和倾斜度等。变更后的状态由虚拟面空间100b表示，表示了中心的点c0b。例如，从中央(点c0a)移动到右侧的位置(点c0b)。变更后的虚拟面空间100b被设定为用户个人的虚拟面空间100，设定信息203得到更新。图中表示了具有从点p0到点c0b的方向(相当于上述的基准轴k0)和距离db1的矢量vb1。还表示了具有从点q0到点c0b的距离db2的矢量vb2。设定信息203例如包括矢量vb1，包括图6的长度l0和厚度m0或长度l1、l2。设定信息203还包括尺寸(sv，sh)和倾斜度的信息。在下次使用时，通过进行个人识别，读取与用户个人对应的设定信息203，重现与上一次相同的状态的虚拟面空间100b。
[0126]
另外，通过由用户在用户设定画面上进行操作，还能够容易地将已调整的虚拟面空间100的设定状态恢复成默认的设定状态。作为变形例，可以预先准备多种默认的虚拟面空间100，使得用户能够在用户设定画面等上从中选择并设定。
[0127]
图20在xy平面上表示了默认的多种虚拟面空间100的提示例。作为默认的点c0的位置表示了(1)～(6)的情况。(1)是位于点p0前方(z方向)的中央的规定距离处的情况。(2)是位于右侧的情况，是(1)的横向右侧的位置。(3)是位于左侧的情况，是(1)的横向左侧的位置。(1)～(3)是虚拟面的倾斜度为例如相对于水平面成90度的情况。(4)是中央倾斜向下
的情况(相当于图7的点c0a)，是(1)的下方的位置。(5)是斜右下方的情况，是(4)的横向右侧的位置。(6)是斜左下方的情况，是(4)的横向左侧的位置。(4)～(6)是虚拟面的倾斜度为例如相对于水平面成45度的情况。同样地，能够从多种位置、尺寸和倾斜度等进行选择。另外，在用户设定画面可以显示虚拟面的位置、尺寸和倾斜度等的数值，通过该数值进行设定。
[0128]
在图7的相对方式下，当用户移动了观看位置的情况下，用户基准位置的点p0会发生移动，因此与该点p0相应地，在维持矢量vb1等的相对关系的基础上，更新虚拟面空间100的位置等以使其自动跟随用户。例如，图中表示了用户基准位置从点p0移动到点p0c的情况。响应于检测到点p0c，在从点p0c起的相同矢量vb1的位置的点c0c上设定虚拟面空间100c。
[0129]
默认的虚拟面空间100是在假定了平均的用户的基础上设定的。作为变形例，显示装置1也可以根据摄像图像判断用户的分类，例如是成人还是儿童，并设定与该灵感对应的种类的虚拟面。例如，在儿童的情况下，所设定的虚拟面空间100的从点p0到点c0的距离比成人用的情况短。
[0130]
[屏幕与虚拟面之间的尺寸等的对应关系]
[0131]
图8表示屏幕10与虚拟面空间100之间的尺寸等的对应关系。图8的(a)表示默认的设定例。该状态下，虚拟面的区域与屏幕10的整个区域一对一地关联。即，第二虚拟面102内的点f0的位置与屏幕10内的点e0的位置对应。通过移动点f0，能够遍历屏幕10内的所有的点。第二虚拟面102的高宽比(sh：sv)被设定为与屏幕10相同的比(h0：v0)。第二虚拟面102的尺寸被设定为比屏幕10小的尺寸(sh＜h0，sv＜v0)。在虚拟面的尺寸设定得较大的情况下，能够对屏幕10进行更加精细的操作。在虚拟面的尺寸设定得较小的情况下，能够缩短手指在虚拟面上移动的距离。
[0132]
图8的(b)表示其他设定例。对应关系可通过用户设定功能或安装的功能来进行设定。本例中设定为，第二虚拟面102不与整个屏幕10关联，而是与屏幕10内的一部分区域801一对一地关联。第二虚拟面102例如被设定为与一部分区域801相同的尺寸和比例(高宽比)。一部分区域801例如可以是配置了后述的操作面板的区域。在采用该设定的情况下，能够通过虚拟面操作对一部分区域801进行操作，并能够使针对一部分区域801以外的区域的不必要的操作无法进行。
[0133]
此外，虚拟面的高宽比也可以设定为与屏幕10或区域801不同的比例。虚拟面的尺寸也可以设定为与屏幕10相同。虚拟面的倾斜度可以如图4那样设定成与屏幕10的倾斜度不同，但也可以设定为与屏幕10相同的倾斜度。
[0134]
[显示控制(1)]
[0135]
使用图6、图9等说明与手指和虚拟面空间100之间的位置关系对应的屏幕10的显示控制例。在实施方式1中，屏幕10上显示有操作面板和远程操作控制功能的菜单画面等，能够对它们进行虚拟面操作。最初，令显示装置1为启动状态，用户的手指位于第一空间内的点f0等。在该状态下，在屏幕10上如图9的(a)的例子那样显示内容影像。用户在观看屏幕10上的影像的过程中想要进行例如选台(频道选择)等操作的情况下，为了显示操作面板，如图6那样向前方伸出手指，使手指在基准轴k0上向深处移动，接近第一虚拟面101。
[0136]
手指到达第一虚拟面101(例如点f2)并进入第一虚拟面101后方深处的第二空间
内(例如点f3)。显示装置1响应于该动作，自动地转移到可接受远程操作的状态。在该状态下，如图9的(b)那样，在屏幕10上与此时的手指位置对应的位置上显示光标50。并且，在屏幕10的规定位置(例如右上角)显示与操作面板相关的图标401。在手指通过第一虚拟面101从第一空间进入第二空间时，按照手指位置与第一虚拟面101或第二虚拟面102的距离，控制光标50的显示状态。本例中，当到达第一虚拟面101，距离g1成为0时，显示光标50。
[0137]
用户能够通过在第二空间内自由地移动手指，来使屏幕10内的光标50移动到所要求的位置上。也可以在第二空间内根据手指位置与第二虚拟面102的距离，来控制光标50的尺寸和颜色等。显示装置1例如随着距离g4减小、深度增大而减小光标50的尺寸，并使颜色变化为深色。像这样，越增多屏幕10上的反馈显示的信息量，用户越容易了解虚拟面的操作状态。用户即使不去看虚拟面空间100的手指也能够进行操作。
[0138]
在本例中，根据手指位置自动地控制操作面板的显示状态。图标401相当于开启/关闭操作面板的显示的开关。用户在想要显示操作面板的情况下，移动手指来使光标50移动到图标401上。用户使手指在第二空间内进一步向深处移动，到达第二虚拟面102(例如点f4)并进入第二虚拟面102后方深处的第三空间内(例如点f5)。用户在例如光标50位于图标401上的状态下，使手指以向深处探入的方式进入第二虚拟面102。
[0139]
显示装置1将手指到达第二虚拟面102的动作和进入第三空间内的区域602的动作检测为触摸操作。响应于图标401的触摸操作，如图9的(c)那样，在屏幕10上显示操作面板402。本例表示了在屏幕10内的内容影像上于一部分区域叠加显示操作面板402的情况。
[0140]
也可以控制成，在手指到达第一虚拟面101的时刻立即显示操作面板402或后述的菜单画面。此外，也可以控制成，预先在显示装置1启动时或进行规定的判断时，以及在用户于任意时刻进行了指示输入等时，显示操作面板402等。还可以控制成，在手指离开虚拟面空间100的情况下，例如返回到比第一虚拟面101靠跟前侧的第一空间等情况下，自动地不显示操作面板402等。
[0141]
在手指位于第三空间内的比面601靠跟前侧的区域602的情况下，规定的操作是有效的。用户能够在区域602内自由地移动手指。能够检测出与手指的运动对应的规定的操作。例如，在用户使手指位置停止在第二虚拟面102或区域602内的情况下，检测出触摸操作(或称长按操作、hold操作)。在用户使手指从位于第二虚拟面102或区域602内的状态返回到跟前侧的第二空间内的情况下，检测出轻击操作(或称单击(click)操作)。在用户使手指在第二虚拟面102或区域602内于面内方向移动的情况下，检测出轻扫操作(或称拖动(drag)操作)。在用户使手指在第二虚拟面102或区域602内于面内方向迅速移动后返回第二空间内的情况下，检测出轻拂操作。在用户使2根手指于第二虚拟面102或区域602内接近、分离的情况，该开闭动作被检测为张合操作。
[0142]
作为应用控制例，也可以按照gui上的对象或规定的操作，应用不同距离的区域602。例如，可以使用第一距离的区域602判断第一触摸操作，并使用比第一距离大的第二距离判断第二触摸操作。例如，可以使用第一距离判断第一对象的触摸操作，并使用第二距离判断第二对象的触摸操作。此外，也可以按照gui上的对象或规定的操作，将手指与第二虚拟面102的距离dst的信息包含于操作输入信息210以供使用。例如，在进行音量变更按钮的触摸操作的情况下，按照距离dst来上下变更音量。另外，显示装置1也可以对手指位于区域602内的状态的时间进行计数，在持续规定时间以上的情况下判断为进行了触摸操作等。
[0143]
在手指通过第二虚拟面102从第二空间进入第三空间时或从第三空间返回第二空间时，也按照手指与第二虚拟面102的距离dst控制光标50的显示状态。例如，在手指到达第二虚拟面102，距离g4为0的状态下，光标50的尺寸最小且变为红色。并且，此时也可以在屏幕10上进行表示接触到第二虚拟面102的效果显示，或光标50的闪烁显示等。显示装置1在手指位置位于第三空间内的状态下，保持将光标50例如以最小尺寸显示。显示装置1按照手指在区域602内的运动使光标50的位置变化。
[0144]
显示装置1在手指位置通过第一虚拟面101从第二空间内返回到第一空间内的情况下，清除(不显示)例如光标50和操作面板402等。另外，显示装置1也可以在手指位置于第二空间内沿面内方向离开虚拟面空间100的情况下(例如从点f3转移到点f11)，清除光标50等。显示装置1也可以在手指位置进入到第三空间内的面601的更深处的情况下(例如从点f5转移到点f6)，清除光标50等。
[0145]
还存在这样的情况，即，用户将手指从第二空间内通过第一虚拟面101抽出到第一空间一侧，并使手指从与该抽出的位置不同的位置再次进入到第一虚拟面101后方深处的情况。该情况下能够应用多种显示控制的方式，例如有下述方式。(1)在手指抽出时，在屏幕10上暂时清除光标50。在手指再次进入时，在该再次进入的位置上再次显示光标50。(2)在手指抽出时，在屏幕10上暂时清除光标50。在手指再次进入时，在与抽出时相同的位置上再次显示光标50。(3)在手指抽出时，将屏幕10上的光标50维持显示在抽出的位置上。在手指再次进入时，使该光标50再次移动。
[0146]
显示装置1也可以在手指位置通过第二虚拟面102从第二空间进入到第三空间内的情况下进行以下控制。可以是，显示装置1在此时的手指位置位于操作按钮等对象上的情况下保持显示光标50，而在手指位置位于不存在操作按钮等的背景区域上的情况下清除光标50。在手指位置返回到第二空间内的情况下，再次显示光标50。显示装置1也可以在手指位置到达区域602的面601的更深处的情况下清除光标50等。或者，也可以以手指位置离开面601时的状态保持显示光标50。
[0147]
回到图9的(c)的说明。操作面板402的显示是由显示装置1主体所具有的公知的功能来控制的。该操作面板402不同于硬件的操作面板或遥控器，而是相当于软件的遥控画面。操作面板402可以显示在整个屏幕10上。操作面板402自身的显示位置和显示尺寸等可以变更。例如，可通过对操作面板402的角落点进行操作来变更显示尺寸。在操作面板402上，与现有的遥控器的按钮对应地配置有用于指示显示装置1的各种动作的操作按钮等。操作面板402上也可以配置现有的遥控器上不存在的独有的对象。操作面板402上配置有切换该操作面板的开启/关闭的按钮403和各种操作按钮404。具体而言，操作按钮404在电视机的情况下包括选择地面波、cs、bs等的选择按钮、频道选择按钮(各频道、频道加、频道减等)、音量变更按钮、输入切换按钮、设定按钮以及其他按钮。
[0148]
可以在操作面板402内配置所有按钮，也可以配置用户经常使用的按钮。操作面板402也可以采用分成多页的形式。例如，在第一页配置用于进行基本操作的频道选择按钮等，在第二页配置用于进行次要操作的按钮(例如亮度设定按钮等)。该情况下，操作面板402上具有页面切换用的按钮等。
[0149]
用户例如移动手指以使光标50对准操作面板402上的所要求的选台用操作按钮404，进行触摸操作等。显示装置1检测该操作，与选台指示对应地进行与选台指示对应的选
台动作。其他的各种操作按钮404也能够同样地操作。
[0150]
屏幕10上能够显示与远程操作控制功能相关的菜单画面。该菜单画面包括用于进行虚拟面空间100的调整等的项目。本例中，将用于开启/关闭该菜单画面的菜单按钮405作为1个按钮设置在操作面板402内。用户在想要进行虚拟面的调整等的情况下，同样地操作该菜单按钮405。该情况下，如图10的(a)那样显示菜单画面406。本例表示了将显示从操作面板402切换为菜单画面406的情况。显示装置1还具有进行菜单画面406的显示控制的功能，预先安装有实现该功能的程序等。菜单画面406上配置有用于开启/关闭该菜单画面的按钮407、关于远程操作控制功能的用户设定的按钮408和虚拟面调整用的按钮409等。在按钮408被操作的情况下显示用户设定画面，不过省略了其图示。
[0151]
此外，可以将菜单画面406的各按钮整合配置在操作面板402内。也可以与操作面板402独立地控制菜单画面406的显示。也可以响应于显示在屏幕10内的规定的图标的操作而显示菜单画面406。也可以省略菜单画面406的显示，响应于特定的操作而直接显示后述的调整模式画面。
[0152]
用户在想要进行虚拟面的调整的情况下，使光标50对准调整用的按钮409，同样地进行触摸操作等。显示装置1响应于检测到该操作，如图10的(b)那样，从通常模式切换到调整模式，在屏幕10上显示调整模式画面410。本例表示了调整模式画面410显示在整个屏幕10上的情况。在调整模式画面410上进行用于支持或辅助用户进行虚拟面空间100的调整的反馈显示。调整模式画面410上显示有表示调整操作的状态的图像信息。作为显示例，在调整模式画面410上显示有虚拟面外框图像411等。通过进行反馈显示，调整操作状态能够更加可靠地传达给用户，用户能够容易地进行调整操作，易用性得到提高。在调整模式下，能够由用户利用手指进行第二虚拟面102的调整操作，来变更虚拟面空间100的位置、尺寸和倾斜度等(后述图16等)。在调整模式画面410下，响应于用户的规定的操作(例如模式切换操作)，结束调整模式并切换到通常模式，例如返回原本的菜单画面406。
[0153]
[显示控制(2)]
[0154]
图11表示其他的显示控制例。图11的(a)表示在手指位于第一空间内时，预先利用显示装置1的功能在屏幕10内显示了gui的操作菜单300的情况。图11的(b)表示在手指到达第一虚拟面101时显示了光标50的状态。该光标50是箭头形状光标。(b)的状态是手指前端离第二虚拟面102相对较远的情况。光标50的尺寸与此时的距离dst对应，显示为相对较大的尺寸。该状态下光标50例如以黄色显示。该状态下光标50还较大，难以进行精细对象的选择操作。屏幕10的光标50随第二空间内的手指的运动同步地移动。用户能够根据光标50的运动来了解操作状态。
[0155]
图11的(c)表示手指到达第二虚拟面102时的状态。(c)的状态是手指前端离第二虚拟面102相对较近的情况。光标50的尺寸与此时的距离dst(距离g4)对应，显示为相对较小的尺寸。该状态下光标50例如改为红色显示。该状态下光标50变得较小，因此容易进行精细对象的选择操作。该状态下，手指位置对应于选项按钮302上。因此，该操作成为对选项按钮302的触摸操作。gui显示部14进行与选项按钮302的触摸操作对应的规定的处理，例如进行“选项b”的选中处理，并在屏幕10上显示选中效果等。
[0156]
在图12中，作为变形例表示了其他指针图像的显示控制例。指针图像不限于箭头形状光标可为各种图像，也可由用户设定。图12的(a)表示在操作面板402上作为指针图像
显示了圆环形状的光标52a、52b的例子。圆环的内侧圆的半径固定，而外侧圆的半径可变。外侧圆的半径随手指位置与第二虚拟面102的距离而变化。在手指位置离第二虚拟面102远的状态下，以相对较大的尺寸显示光标52a，在手指位置离第二虚拟面102近的状态下，以相对较小的尺寸显示光标52b。可以在手指位置到达第二虚拟面102的情况下使外侧圆与内侧圆的半径相同。
[0157]
图12的(b)表示在作为指针图像显示了手形的光标53a、53b的例子。手形光标的尺寸和形状类型随手指位置与第二虚拟面102的距离而变化。在手指位置离第二虚拟面102远的状态下，以较大尺寸显示第一形状类型(例如手掌形状)的光标53a，在手指位置离第二虚拟面102近的状态下，以较小尺寸显示第二形状类型(例如伸出一根手指的形状)的光标53b。
[0158]
通过像上述那样进行包括与距离dst对应的光标50的显示控制在内的视觉反馈，用户能够更易懂地了解手指相对于虚拟面空间100的位置和深度以及远程操作状态，易用性得到提高。
[0159]
[规定的操作]
[0160]
图13是表示实施方式1中可检测的规定的操作的例子的图。图13以从侧面观察虚拟面空间100的状态表示了手指到达并进入第二虚拟面102的操作的例子。图13的(a)表示一根手指的操作。作为通过一根手指的操作进行的规定的操作，可为触摸(touch)、轻击(tap)、轻扫(swipe)、轻拂(flick)等各种操作。图13的(b)表示整个手掌的操作。作为用手掌进行的规定的操作的例子，同样可为触摸等各种操作。图13的(c)表示单手多根手指的操作。作为用多根手指进行的规定的操作的例子，可为张合(pinch)等操作。用户能够区分使用该各种操作。远程操作控制部20能够区分检测该各种操作。此外，作为变形例也可以构成为仅能够检测各种操作中的一部分操作。
[0161]
实施方式1中，在通常模式时检测虚拟面空间100中的例如一根手指的操作，在屏幕10上如图9和图11的例子那样显示与该一根手指的操作对应的1个光标50。这是将最初进入虚拟面空间100的一根手指或进入程度最大的一根手指的前端位置检测为点f0，并在对应的位置上显示光标50的方式。在对虚拟面空间100进行手掌的操作的情况下，也能够实现同样地控制。作为变形例，可以同样应用于用户手持指示棒等物体的状态下进行的虚拟面操作(后述)。
[0162]
在图14中，作为图13的(b)的手掌的操作的例子，表示了通过轻扫操作来移动屏幕10的页面或对象的情况。表示了对第二虚拟面102进行的轻扫操作和此时手指位置的点f0的移动的状况。并且，表示的是在屏幕10上作为指针图像显示有手掌截面形状的光标54的情况。显示装置1大致计算通过第二虚拟面102的手指的截面积，显示与该截面积对应的光标54。光标54的形状可以是大致的形状，也可以取而代之使用图12的(b)那样的手形光标。在接受手掌的操作的情况下，不需要详细检测从第二虚拟面102进入的五指的各个手指，在整个手掌区域中以有代表性的1个位置为点f0即可。
[0163]
在图15中，作为图13的(c)的多根手指的操作的例子，表示了进行张合操作的情况。图15的(a)表示张合操作的第一方式。该方式与现有的触摸面板的张合操作类似，是利用单手的二根手指(例如拇指和食指)使2个点接近或分离的开闭操作。右侧表示第二虚拟面102上的双指的闭状态和开状态。表示了第一指的点f01和第二指的点f02。左侧表示随着
张合操作尤其是从闭状态成为开状态的外张(pinch out)操作，屏幕10的图像被放大的情况。同样可以通过内合(pinch in)操作来进行缩小。在外张操作的情况下，用户在对应于要放大的图像的部位，使两根指尖到达第二虚拟面102后方的状态下，进行使双指在面内方向上张开的动作。显示装置1将该动作检测为外张操作。按照双指的张开量实施图像的放大处理。用户在要停止张合操作的情况下，使手指返回到比第二虚拟面102靠跟前侧。
[0164]
在进行张合操作时，作为指针图像在屏幕10上显示光标55。本例中，光标55由分别显示在与双指的点f01、f02对应的位置上的2个光标55-1、55-2构成。光标55-1、55-2例如为圆形。显示装置1检测进入到第二虚拟面102的两根手指的各位置的点f01、f02，根据该各位置判断并检测张合操作。例如，显示装置1可以将2点间的距离与阈值比较，在该距离足够小的情况下，推测为进行了张合操作(尤其是闭状态)。显示装置1响应于检测到张合操作而显示特有的光标55。通过使用与通常的光标50不同种类的光标55，用户能够更容易了解操作状态。
[0165]
图15的(b)同样表示张合操作的第二方式。该方式是利用双手各一根手指使2个点接近等的操作。在进行该张合操作时，在屏幕10上同样显示光标55。其中一个光标55-1对应于一只手的点f01的位置，另一个光标55-2对应于另一只手的点f02的位置。在第二方式的情况下，能够更加自由地移动张合操作中的2个点，2点间的距离能够取得较宽。2个光标55-1、55-2也可以是2个箭头形状光标等。
[0166]
[虚拟面空间的调整]
[0167]
图16表示实施方式1中使用调整功能进行的虚拟面空间100的调整。实施方式1的调整方式是能够在调整模式中通过对虚拟面空间100内的2个点进行调整操作来同时变更虚拟面空间100的位置、尺寸和倾斜度和方式。图16的(a)表示调整模式中用户使用手指以虚拟面空间100的对角的2个点为对象进行调整操作的状况。图16的(b)表示通过调整操作变更了虚拟面空间100的位置、尺寸和倾斜度的情况下的变更前后的状态。变更前的状态由虚拟面空间100a的第一虚拟面101a和第二虚拟面102a表示。变更后的状态由虚拟面空间100b的第一虚拟面101b和第二虚拟面102b表示。虚拟面空间100的中心点c0在变更前为点c0a，变更后为点c0b。
[0168]
变更前的虚拟面空间100a例如表示为默认的设定状态，与图7的虚拟面空间100a相同。虚拟面空间100a的尺寸和比例采用图8的(a)的设定。虚拟面空间100a的倾斜度以虚拟面(或通过点c0a的垂直的轴)与铅垂方向所成的角度来说为45度。表示了这样的情况，即，通过调整，虚拟面空间100的位置变更为右下方的位置，尺寸被放大，倾斜度变更为向深处侧倒下。变更后的虚拟面空间100b位于靠用户的右手较近的位置，变得容易用右手操作。虚拟面空间100b的尺寸被放大，变得容易进行精细的操作。虚拟面空间100b的倾斜度接近于水平面，容易进行使手指在铅垂方向上进入的操作。不限于本例还能够进行各种调整，例如进行使虚拟面空间100从原本的位置向上移动，使倾斜度接近于铅垂方向的调整。
[0169]
[虚拟面调整操作]
[0170]
图17表示与图16对应的虚拟面空间100的调整操作的细节。图17表示从用户的视点沿基准轴k0的方向正面观察虚拟面空间100尤其是第二虚拟面102的情况。用户使用双手各一根手指对第二虚拟面102的2个点——例如对角的2个角落点进行调整操作。该一根手指的操作是用任意的手指(例如食指)指示对象点的位置的操作。在实施方式1中，该一根手
指的调整操作是与通常时的一根手指的操作相同的操作，因模式的不同而区分对待。本例表示了使用左手的一根手指进行指示角落点112的操作，使用右手的一根手指进行指示角落点114的操作。显示装置1对2个一根手指像这样接近虚拟面的2个角落点的位置的调整操作进行检测。调整操作时的2个点也可以是其他角落点(角落点111、113)。
[0171]
此外，一根手指的调整操作尤其指的是将指示某个位置的角落点的状态维持一定时间以上的操作。显示装置1基于手指位置的检测和时间的判断来判断并检测该一根手指的调整操作。通过附加时间的判断能够降低误检测。
[0172]
用户保持着左右二根手指指示第二虚拟面102a的2个角落点的状态，使各手指在所要求的方向上移动。矢量v1、v2表示此时指尖的移动。用户在想要进一步增大虚拟面的尺寸的情况下，对应于该目的，使手指在扩大2个角落点的间隔的方向上移动，而在要减小尺寸的情况下，使手指在缩小间隔的方向上移动。用户在想要改变虚拟面的位置的情况下，使2个角落点向所要求的方向移动。2个对角的角落点的中点为第二虚拟面102的中心点c2。用户在想要改变虚拟面的倾斜度的情况下，以改变2个角落点的进深方向上的位置关系的方式移动手指。
[0173]
本例中，角落点112、114被移动到角落点112b、114b。以连接角落点112b、114b的线为对角线的矩形即为第二虚拟面102b。本例中，虚拟面在不改变倾斜度的情况下一边放大尺寸一边移动了位置。像这样，用户能够通过一次调整操作来实时地将虚拟面的位置、尺寸和倾斜度同时变更为所要求的状态。该变更能够在摄像机可捕获手指的范围内进行。
[0174]
用户在确定采用变更后的虚拟面的状态的情况下，进行规定的虚拟面确定操作。该确定操作是用于将一根手指的操作解除的操作，是以一定时间以上维持相同状态后撤下手指的操作。用户在将指尖置于角落点112b、114b一定时间以上后，收回指尖使之返回到比第一虚拟面101靠跟前侧。显示装置1基于时间的判断等检测该确定操作。通过虚拟面确定操作，虚拟面被确定为变更后的虚拟面的状态，设定信息203得到更新。之后，用户也能够同样地重新进行调整。
[0175]
之后，用户在要结束调整的情况下，进行规定的模式切换操作。模式切换操作可以是对例如显示在图10的(b)的调整模式画面410内的未图示的模式切换按钮进行的触摸操作等，也可以另外设置针对虚拟面空间100的特定的模式切换操作。此外，也可以使虚拟面确定操作与模式切换操作相同，在虚拟面确定操作的同时结束调整模式。显示装置1响应于模式切换操作，结束调整模式并返回通常模式。例如返回图10的(a)的状态。
[0176]
[调整模式-反馈显示]
[0177]
图18表示与图17的调整操作的例子对应的、调整模式时的调整模式画面410上的反馈显示例。显示装置1基于操作输入信息210的显示控制信息，在屏幕10上显示用于反馈用户进行的虚拟面的调整操作状态的图像信息。本例中，在调整模式画面410内的一部分处显示表示“调整模式”之含义的图像412。在调整模式画面410内的中央的与点q0对应的位置上，作为虚拟面外框图像411显示了虚线的矩形。矩形的4个角落点(点k1～k4)的位置上显示了调整用的端子ts1～ts4。端子ts1～ts4例如是较小的正方形，但不限于此也可为任意的图形。
[0178]
用户在作出了如图17那样指示第二虚拟面102的角落点112、114的一根手指的操作时，将调整模式画面410的矩形的对应的端子ts2、ts4改变颜色进行强调显示。例如使该
端子从蓝色变为红色。由此，用户能够更加可靠地了解其正在接触看不见的虚拟面的角落点的状态。进而，在虚拟面的位置随调整操作而发生了变更时，与其位置变更方向对应地显示箭头图像421(本例为向右箭头)。而在虚拟面的尺寸发生了变更时，与其放大或缩小的方向相应地显示箭头图像422(本例为表示放大的4个箭头)。此外，在虚拟面的倾斜度发生了变更时，显示与其倾斜度变更方向相应的箭头图像，不过此处并未图示。
[0179]
通过上述反馈显示，用户容易了解调整操作状态和显示装置1的处理执行状态，能够更可靠地、容易地进行调整操作。用户即使不去看虚拟面空间100的手指也能够进行调整操作。虚拟面外框图像411等的反馈显示只要能够大致对用户传达调整操作状态即可，可以是任意的，不需要采用与虚拟面空间100的位置等严格对应的显示(例如矩形自身的显示位置的变更)。上述反馈显示可以是仅位于屏幕10内的一部分的辅助性显示，也可以是位于例如原本的屏幕10的状态之上的透明显示。
[0180]
[手指位置检测(基于双眼视差实现的距离测量)]
[0181]
作为补充说明，图19表示了与手指位置检测部21进行的手指位置的点f0的检测相关的、基于双眼视差实现的距离测量的说明图。简单说明其原理和示例。图19表示为从上方观察的xz平面。以用户a的包括脸部和手在内的身体部分作为摄像机31、32的被拍摄体。令左右摄像机31、32的镜头间长度902为距离d。摄像机31、32的镜头位置由点c1、c2表示。长度902的中点相当于摄像机基准位置。图像911是来自右侧摄像机31的拍摄图像，图像912是来自左侧摄像机32的拍摄图像。用户a的头部、脸部、手臂、手指、上半身等包含在图像911、912内。尤其是，该图像是用户使用右手食指对虚拟面进行操作时的图像。
[0182]
长度930是z方向上到被拍摄体的手指的点f0的长度，为距离l。区域916是由点f0和一对摄像机31、32(镜头的点c1、c2)构成，以长度902为底边、长度930为高的三角形区域。视差941a、941b是图像911内的指尖位置的视差。表示了图像911内的指尖的点fa和图像912内的指尖的点fb。在图像911内，用视差941a表示点fa与相当于点fb的点之间的差。焦距942是摄像机31的镜头的焦距，为距离f。区域943是以摄像机31的图像911的视差941b为底边、焦距942为高的三角形区域。
[0183]
摄像机32包括摄像元件945，摄像机31包括摄像元件946。摄像元件945上形成了与图像912对应的像。摄像元件946上形成了与图像911对应的像。位置947对应于摄像元件945上的被拍摄体的指尖位置(点fb)。位置948对应于摄像元件946上的被拍摄体的指尖位置(点fa)。
[0184]
像这样，在2个摄像机31、32拍摄同一个被拍摄体得到的图像911、912中产生了差异。手指位置检测部21以构成图像911、912的像素为单位，对该差异进行计数，测量表示差异的长度作为视差。能够根据该视差(例如视差941a、941b)和焦距(焦距942)，基于公知的原理测量与手指(点f0)间的距离930。即，能够计算点f0的位置坐标。
[0185]
在左侧的摄像机32中形成于摄像元件945上的像上，指尖位置为位置947。而在右侧的摄像机31中形成于摄像元件946上的像上，指尖位置为位置948。位置947、948是不同的。这对应于，通过像图像911、912那样从不同的角度拍摄同一被拍摄体，在像的视觉效果上会产生指尖位置(点fa、fb)的差异，例如视差941a、941b。
[0186]
根据光的性质，大三角形区域916与小三角形区域943存在相似关系。令视差941a或视差941b为距离s。摄像机31、32的镜头间长度902(距离d)、到被拍摄体的长度930(距离
l)、焦距942(距离f)和视差941a或视差941b(距离s)之间有l：d＝f：s这一关系成立。根据该关系，长度930(距离l)可表示为l＝d
×
f/s。例如，代入d＝2m、f＝2cm、s＝2mm，可得l＝20m。
[0187]
该方式不限于测量上述点f0的距离，也可以同样测量用户基准位置的点p0的距离。在已知摄像机31、32间的距离(例如长度902)时，在摄像机31、32位于固定位置的情况下，利用上述方式能够测量绝对距离。
[0188]
[效果等]
[0189]
如上所述，采用实施方式1的显示装置1，就使用摄像机进行的远程操作控制来说，能够提高用户的易用性——例如能够简单地进行操作。能够通过进行使手指进入用户前方的虚拟面的动作，来容易地进行显示装置1的操作输入。采用实施方式1，用户不需要学习包含多种姿势的操作方法，可减少学习量。用户不需要记忆复杂的姿势。用户不需要使用遥控器等，能够容易地空手进行电视等的操作输入。
[0190]
采用实施方式1，在实现远程操作时不需要进行用于始终掌握摄像图像内的人物的运动的处理，和判断多个姿势的处理等巨大的后台处理。在实施方式1中，只需要进行可掌握手指相对于设定在用户附近的虚拟面空间100的位置和进入程度等程度的处理，就能够实现远程操作。
[0191]
采用实施方式1，虚拟面操作是与现有的鼠标操作和智能手机等的触摸面板的触摸输入等操作类似的操作。因此用户容易记忆虚拟面操作。用户能够通过对屏幕10的操作面板402等进行简单的虚拟面操作，来指示显示装置1的动作。
[0192]
采用实施方式1，能够在用户附近以所要求的位置、尺寸和倾斜度等设定虚拟面空间100，使得用户容易进行操作。用户能够使用调整功能来自由地随时、立即调整虚拟面空间100的位置等。因此，就远程操作来说能够提高用户的易用性。在调整时，在屏幕10上进行了反馈显示，所以对于用户而言，调整操作易于进行，能够容易地进行调整。例如，用户能够根据其观看屏幕10的位置和姿态，将虚拟面配置在不与视野内的屏幕10重叠的、靠近利手的位置等。
[0193]
此外，实施方式1明确包括调整模式，所以用户容易知道其是处于通常使用过程中还是虚拟面调整过程中。显示装置1区分检测通常的操作和调整操作。
[0194]
[变形例]
[0195]
作为实施方式1的显示装置1的变形例，有以下例子。
[0196]
作为变形例，关于上述的模式切换，除了使用调整用的按钮409等的方式以外，可采用以下方式。用户在通常模式中用手指指示当前虚拟面空间100的对角的2个点的位置，维持一定时间以上。例如，与图17同样是双手的一根手指的操作。以该操作作为用于切换成调整模式的模式切换操作。显示装置1判断并检测该模式切换操作。显示装置1在检测到该操作的情况下切换到调整模式，显示调整模式画面410。在进行上述模式切换操作的判断时，时间的判断可以使用较长的时间(例如3秒)作为阈值。由此容易与通常的操作加以区分。
[0197]
作为变形例，虚拟面空间100也可以由单个虚拟面构成。根据手指位置与该单个虚拟面之间的距离，来同样地进行显示控制和规定的操作的检测。例如，可以在手指位置相比单个虚拟面靠跟前侧的情况下，在屏幕10上显示光标50。
[0198]
作为变形例也可以是这样的方式，即，在检测到双手的2个以上的手指进入1个虚
拟面空间100的情况下，在屏幕10内与各手指位置对应的位置上显示各自的独立的光标50。即，屏幕10上能够同时显示2个以上的光标50。与该2个以上的光标50对应的各自的规定的操作被独立地处理。例如，能够同时并行地进行屏幕10内的2个位置上的2个触摸操作。不过，计算量会相应增大。而且，在该变形例的方式中，在例如进行2个手指和2个光标的独立的控制的情况下，需要与上述的张合操作区分开，来检测该2个手指的操作。
[0199]
[变形例(1)]
[0200]
摄像机31、32的配置位置不限于图1的结构。配置位置例如可以是屏幕10右上角的点q1和左上角的点q2，也可以是右下角的点q3和左下角的点q4。该情况下，可以应用用于使摄像机基准位置与屏幕10的中心点q0对应的规定的校正计算。
[0201]
图21的(a)表示第一变形例的显示系统。第一变形例在显示装置1左右两侧附近配置有位置可移动的摄像机31、32。本例中，用户以坐在屏幕10的正面附近的椅子上的状态观看屏幕10上的影像。摄像机31、32例如通过无线通信接口与显示装置1主体连接。摄像机31、32安装在三脚架等摄像机架33、34上。摄像机架33、34可由用户移动，使得包括摄像机31、32的高度在内的配置位置和拍摄方向等可变更。即，摄像机31、32的摄像机基准位置可在较大范围内调整。
[0202]
图21的(b)表示摄像机31、32的其他配置例。也可以像这样扩大摄像机31、32的配置间隔。此外，例如也可以采用使摄像机31、32离开屏幕10而接近用户一侧的配置。
[0203]
第一变形例中摄像机31、32的位置是可变动的。该情况下，可采用以下方式测量摄像机间的距离(图19的长度902)，来设定摄像机基准位置。首先，简单的可以是提供用户设定画面等，由用户输入并设定摄像机31、32的位置和距离等的方式。能够根据该设定值计算摄像机基准位置。此外例如也可以是这样的方式，即，从一个摄像机发出光或声波等信号，测量另一个摄像机观测到该信号所需的时间，根据该时间来计算并自动地设定距离。不过，该方式需要高精度地测量极短的时间。而以下所示的方式则能够使用摄像图像来简单地测量摄像机间的距离。
[0204]
图22表示第一变形例的摄像机间的距离的测量方式的说明图。上侧表示分别设置在三脚架等摄像机架33、34上的摄像机31、32。摄像机31、32的镜头31a、32a的方向在摄像机架33、34上可改变。本例中，摄像机31、32配置成使镜头31a、32a相对。下侧表示摄像机31、32的拍摄画面961、962的例子。拍摄画面961中拍摄到对面的摄像机的镜头及其下方的标牌963。标牌963上例如记有摄像机序列号。
[0205]
显示装置1预先存储有基准图像，该基准图像是在摄像机31、32间的距离例如长2m的状态下，以规定的变焦倍率(例如1倍)拍摄到的图像。拍摄画面961对应于该基准图像。而实际的摄像机31、32的配置状态下同样拍摄到的图像对应于拍摄画面962。该情况下，显示装置1以改变拍摄画面962的变焦倍率的方式将图像放大。例如，在拍摄画面962的图像内容(镜头、标牌963)的大小于2倍变焦时变得与拍摄画面961的图像内容相同的情况下，摄像机31、32间的绝对距离为2m
×
2倍＝4m。根据该距离和摄像机31、32的位置可得到摄像机基准位置。
[0206]
显示装置1可以在初始动作——例如摄像机31、32的电源接通而变得可摄像的时刻，执行这样的摄像机31、32间的距离测量，来设定摄像机基准位置。也可以在摄像机架33、34上设置电动机，在初始动作时使摄像机31、32自动地彼此搜索，找到镜头彼此相对的合适
的角度的状态，互相进行拍摄。此外，在能够根据拍摄画面的图像识别标牌963的编号的情况下，能够识别对面的摄像机。在设置有多个摄像机的情况下，也能够通过识别其编号来识别各摄像机。
[0207]
[变形例(2)]
[0208]
图23表示第二变形例中使用调整功能进行的虚拟面空间100的调整。图23的(a)表示调整模式中虚拟面空间100的调整操作的状况。尤其表示了对虚拟面的对角的2个角落点进行操作的情况。图23的(b)表示(a)的调整操作的细节。表示了变更前的第二虚拟面102a和变更后的第二虚拟面102b。第二虚拟面102的中心点在变更前为点c2a，变更后为点c2b。尤其表示了一边改变倾斜度一边使位置移动的情况。
[0209]
在第二变形例中，作为调整操作设置了特有的捏取操作。作为与通常的一根手指的操作等不同的调整操作，显示装置1基于手指位置检测来判断并检测该捏取操作。该捏取操作是在对象点的位置处，使手的双指(例如拇指和食指)接近或接触而形成环形的操作。本例表示了左手捏取左上方的角落点112的操作，和右手捏取右下方的角落点114的操作。显示装置1在判断捏取操作时，可以基于摄像图像检测手指的形状，例如检测类似环形的区域来进行判断。
[0210]
用户在通过捏取操作捏取第二虚拟面102a的2个角落点的状态下，使它们分别向所要求的方向移动。图中表示了此时手指的移动矢量v1、v2。本例中，第二虚拟面102a的角落点112、114成为第二虚拟面102b的角落点112b、114b。像这样，与实施方式1同样地，能够实时地同时变更虚拟面的位置、尺寸和倾斜度。
[0211]
用户在变更后的虚拟面的状态下进行规定的虚拟面确定操作。该确定操作是用于将捏取操作解除的操作，是例如在角落点的位置上使双指张开的操作。图23的(c)表示左手的解除操作的例子。是使双指离开角落点112b并返回到比第二虚拟面102b靠跟前侧的操作。显示装置1判断并检测该解除操作即确定操作。也可以与上述同样地附加时间的判断，使上述捏取操作和确定操作为需要维持相同状态规定时间以上的操作。
[0212]
实施方式1不需要进行特有的捏取操作的判断处理，用户不需要记忆该捏取操作。实施方式1只要具有可检测手上的一根手指或手掌的位置的精度即可。而在第二变形例中，虽然需要进行与通常的一根手指的操作不同的捏取操作的判断处理，但这些操作能够容易地区分检测。第二变形例只要具有可检测手上两根手指的位置的精度即可。用户虽然需要记住捏取操作，但因为其与通常的操作有区别，所以容易掌握。
[0213]
上述捏取操作是用双指夹住角落点的操作，或者是使双指的位置与角落点大致一致的操作。但不限于此，上述捏取操作也可以是用双指形成的环形包围对象点的操作。可以在对象点的位置与环形的位置大致一致的情况下判断为是包围操作。此外，上述捏取操作(或包围操作)是与上述作为通常的操作之一的张合操作(或称开闭操作)不同的操作，二者被区分对待。
[0214]
[变形例(3)]
[0215]
在图24中，作为第三变形例的调整方式表示了调整模式时的调整模式画面410的反馈显示例。在第三变形例中，作为调整方式能够不是同时而是分别独立地调整虚拟面的位置、尺寸和倾斜度。在调整模式画面410的中央，作为虚拟面外框图像411显示了虚线的矩形。矩形的中心位置上显示有位置调整用的端子ts0，例如是较小的菱形。并且，在矩形的4
个角落点(点k1～k4)分别显示有尺寸调整用的端子ts1～ts4，例如是较小的正方形。而且，在矩形四边的各中点(点k5～k8)分别显示有倾斜度调整用的端子ts5～ts8，例如是较小的三角形。
[0216]
用户在仅要变更虚拟面的位置的情况下，作为位置调整操作，进行与端子ts0对应的虚拟面的中心点的操作，例如是通过捏取操作而使中心点移动的动作。由此，能够将虚拟面空间100的位置(点c0)整体变更到所要求的位置。在该位置变更时，尺寸和倾斜度维持原本的状态。细节如图25等所示。
[0217]
用户在仅要变更尺寸或比例的情况下，作为尺寸调整操作，进行与端子ts1～ts4对应的点的操作，例如是通过捏取操作来使对角的2个端子移动的动作。由此能够变更虚拟面的尺寸或比例。在该尺寸变更时，位置和倾斜度维持原本的状态。细节如图27等所示。此外，在尺寸变更时，可采用比例维持一定的方式，也可采用比例可自由变化的方式。也可以构成为，能够按照端子及其操作或者用户设定，从前者方式的操作和后者方式的操作中进行选择。
[0218]
用户在仅要变更倾斜度的情况下，作为倾斜度调整操作，进行与端子ts5～ts8对应的点的操作，例如是通过捏取操作来使边的中点向跟前侧或深处侧移动的动作。由此能够变更虚拟面的倾斜度(通过点c0的轴的方向)。在该倾斜度变更时，位置和尺寸维持原本的状态。细节如图29等所示。
[0219]
位置调整用的端子ts0、尺寸调整用的端子ts1～ts4和倾斜度调整用的端子ts5～ts8各自是接受捏取操作(与图23相同)的捏手端子，但不限于此，也可以是接受一根手指的操作等的端子。
[0220]
[虚拟面调整-位置(1)]
[0221]
图25的(a)以从上方观察的xz平面表示虚拟面的位置调整的状况。尤其表示从变更前的虚拟面空间100a的第二虚拟面102a平移到变更后的虚拟面空间100b的第二虚拟面102b的情况。这是变更前的第二虚拟面102a默认位于从点p0起相对于基准轴j0处于斜下方的点c2a处的情况。表示了从此处移动到右侧位置的点c2b的情况。用户通过一根手指或捏取操作来操作与端子ts0对应的点c2，使其移动到所要求的位置。随之，虚拟面空间100在维持原本的尺寸和倾斜度的状态下，整体位置发生变更。
[0222]
图25的(b)表示伴随(a)进行的反馈显示例。在调整模式画面410上显示“位置变更中”的消息。虚拟面外框图像411的端子ts0在操作过程中显示为红色。并且，随着大致向右的移动，显示表示该移动的箭头图像423。
[0223]
其他的反馈显示可采用以下方式。可以在屏幕10内显示图25的(a)那样表示从上方观察的空间(包括用户基准位置、屏幕10和虚拟面空间100)的状态的示意图。同样，也可以是从侧面观察的空间的状态的示意图。示意图只要能够大致对用户传达虚拟面的位置关系和变更过程中的状态即可，可为任意的显示。
[0224]
[虚拟面调整-位置(2)]
[0225]
图26的(a)表示其他虚拟面的位置调整的控制例。本例表示左利手的用户用左手对虚拟面空间100的第二虚拟面102进行调整操作的状况。表示位置从变更前的第二虚拟面102a(例如默认的设定状态)平移到变更后的第二虚拟面102b的情况。对于左利手的用户来说，将虚拟面设定在自身左侧的位置通常较易使用。作为调整操作，用户进行用一根手指指
示第二虚拟面102的1个角落点的操作。显示装置1将该调整操作检测为位置调整操作。该操作也可以是上述的捏取操作。用户使该角落点的手指向所要求的方向移动。例如从原本的位置移动到左下方的合适的位置。与该手指的位置相应地，显示装置1使整个虚拟面空间100的位置(点c0)移动。
[0226]
图26的(b)表示(a)的过程中的反馈显示例。这是显示了从用户的视点观察屏幕10的方向下的示意图的情况。在调整模式画面410内，中心显示了屏幕外框图像430。与屏幕外框图像430相对地显示了变更前的虚拟面外框图像411a和变更后的虚拟面外框图像411b，以大致传达位置关系。还显示了表示位置移动的矢量箭头图像431。被操作的端子例如左下角的端子ts3显示为红色。
[0227]
作为其他控制例，也可以按照多个端子中被操作的端子(对应的角落点)，来对应地限定可移动的方向。例如，在左下角的端子ts3被操作的情况下能够向左下方向移动，在左边中间的端子ts8被操作的情况下能够向左方移动。
[0228]
[虚拟面调整-尺寸(1)]
[0229]
图27的(a)以从用户的视点观察屏幕10和第二虚拟面102的xy平面表示虚拟面的尺寸调整的状况。尤其表示从变更前的虚拟面空间100a的第二虚拟面102a按一定比例放大尺寸而形成变更后的虚拟面空间100b的第二虚拟面102b的情况。变更前后的第二虚拟面102的中心点不变，为点c2。第二虚拟面102a的4个角落点从变更前的点p1a～p4a成为变更后的点p1b～p4b。虚拟面的高宽(sh，sv)比在默认情况下与屏幕10的高宽比相同。本例中，比例在尺寸调整时维持一定(固定)。调整操作是捏取与端子ts1～ts4对应的角落点中的任意一个角落点的操作。该操作也可以是一根手指的操作。用户通过例如用右手捏取右下角的角落点(点p4a)的操作，使其在放大尺寸的方向上移动。随着该操作，虚拟面空间100在维持原本的位置、比例和倾斜度的状态下，尺寸被放大。可以同样应用于尺寸缩小。此外，可以同样应用于改变比例来变更尺寸的方式。
[0230]
图27的(b)表示伴随(a)进行的反馈显示例。在调整模式画面410上显示“尺寸变更中”的消息。虚拟面外框图像411上的与进行了捏取操作的点对应的端子ts4显示为红色。在端子ts1～ts4的附近，显示表示尺寸放大的箭头图像441。不限于此，作为其他显示例也可以显示以端子ts1～ts4为起点的矢量箭头图像442。也可以在矩形外侧显示表示放大的含义的虚拟面外框图像443。作为其他显示例，也可以在屏幕10内显示像图4那样从侧面观察空间的状态的示意图，或像图5那样从上方观察的状态的示意图等。
[0231]
[虚拟面调整-尺寸(2)]
[0232]
图28表示虚拟面的尺寸调整的其他控制例。图28表示为从用户的视点观察屏幕10和第二虚拟面102的xy平面。表示了用户从点p0对位于前方斜下处的第二虚拟面102的尺寸进行调整操作的状况以及此时的反馈显示例。表示了从变更前的第二虚拟面102a成为变更后的第二虚拟面102b，横向(长度sh)尺寸缩小、比例发生变化的情况。调整操作是对虚拟面的边的中点进行的捏取操作等。由此能够变更虚拟面的纵向或横向的尺寸。本例中，通过用双手同时操作左右边的与2个端子ts7、ts8对应的2个点，能够变更横向长度sh。本例中，利用右手的捏取操作使右边的中点p7a向内侧左方移动而到达点p7b，并利用左手的捏取操作使左边的中点p8a向内侧右方移动而到达点p8b。由此，第二虚拟面102a的横向长度sha变更为第二虚拟面102b的横向长度shb。同时，第二虚拟面102b的比例相比屏幕10的比例成为纵
长形状。在调整模式画面410上，被操作的端子ts7、ts8显示为红色，并显示了表示横向长度sh的变更的箭头图像451。对于纵向长度sv，能够利用上下边的中点的操作来同样地变更。可以同样地应用于使比例一定的方式。
[0233]
[虚拟面调整-倾斜度(1)]
[0234]
图29的(a)以从侧面观察空间的yz平面表示虚拟面的倾斜度调整的状况。尤其表示以从用户看来倒向深处侧的方式变更虚拟面的倾斜度的情况。从变更前的虚拟面空间100a的第一虚拟面101a和第二虚拟面102a变化为变更后的虚拟面空间100b的第一虚拟面101b和第二虚拟面102b。变更前后的虚拟面空间100的中心点不变，为点c0。第一虚拟面101的倾斜度和点c1以及第二虚拟面102的倾斜度和点c2发生变化。
[0235]
表示虚拟面空间100的倾斜度的轴发生变化。在变更前的虚拟面空间100a中，通过点c0且与虚拟面垂直的轴由轴j1a表示，通过点c0且与虚拟面平行的轴由轴j2a表示。轴j1a与基准轴k0一致。在变更后的虚拟面空间100b中，通过点c0且与虚拟面垂直的轴由轴j1b表示，通过点c0且与虚拟面平行的轴由轴j2b表示。变更前后，虚拟面的倾斜度变化了与角度α对应的量。例如轴j1a与轴j1b所成的角度为角度α。作为倾斜度的变更，表示了以点c0为中心绕轴旋转的情况，但不限于此，也可以采用例如以第二虚拟面102的点c2为中心绕轴旋转的方式，或固定一边进行旋转的方式等。
[0236]
调整操作是捏取与各边中间的端子ts5～ts8对应的任意点的操作等。用户例如通过捏取与上边中间的端子ts5对应的第二虚拟面102的上边中点的操作，使手指以探向深处侧的方式移动。随之，虚拟面空间100在维持原本的位置和尺寸的状态下，倾斜度发生变更。在使该点以拉向跟前侧的方式移动的情况下，倾斜度反向变更。同样地，对于下边中点、左边中点等，也能够分别变更对应的倾斜度。
[0237]
图29的(b)表示(a)的过程中的反馈显示例。在调整模式画面410上显示“倾斜度变更中”的消息。虚拟面外框图像411上的进行了捏取操作的端子ts5显示为红色。在端子ts5附近，显示了表示倾斜度变更方向的箭头图像461。作为其他显示例，可以显示梯形等作为表示倾斜度变更后的虚拟面的图像462。作为其他显示例，也可以采用图29的(a)那样从侧面观察空间的状态的示意图，或从上方观察的状态的示意图等。
[0238]
[虚拟面调整-倾斜度(2)]
[0239]
图30表示虚拟面的倾斜度调整的其他控制例。图30的(a)表示第二虚拟面102的倾斜度的调整操作的状况。表示的是用户通过用双手捏取第二虚拟面102的对角的2个点的操作，来改变虚拟面的倾斜度以使其倒向深处的情况。表示了变更前的第二虚拟面102a和变更后的第二虚拟面102b。表示了在变更时，第二虚拟面102的下边的位置几乎不变，而上边向斜下方移动的情况。第二虚拟面102b的倾斜度接近水平面。该情况下，容易进行仿佛将用户的手指置于水平面的感觉下的虚拟面操作。
[0240]
图30的(b)表示(a)的过程中的反馈显示例。在调整模式画面410上显示从侧面观察空间的示意图。该示意图包括表示用户和用户基准位置(点p0)的图像470，表示虚拟面空间100变更前后的倾斜度的图像471、472，和表示屏幕10的图像473，且大致表示了它们的位置关系。图像471、472表示了从侧面观察虚拟面空间100的情况下的倾斜度。
[0241]
[反馈显示例]
[0242]
作为实施方式1的变形例，图31表示调整模式时的屏幕10上的其他反馈显示例。本
例中，调整模式画面410上显示了从摄像机基准位置(点q0)观察用户基准位置(点p0)的情况下的示意性的正视图。该正视图包括表示用户和用户基准位置的图像480、表示虚拟面空间100(尤其是第二虚拟面102)的虚拟面外框图像481。用户的图像480可以是使用摄像图像生成的图像，也可以是轮廓、图标等示意性的图像。图像480显示在与用户基准位置(点p0)对应的位置上。虚拟面外框图像481显示在与点c0对应的位置上，该点c0是基于点p0而相对地决定的点。虚拟面外框图像481表示了位于默认的位置的情况。此外，可以响应于调整的进行，显示表示变更后的虚拟面的虚拟面外框图像482。用户能够通过观察调整模式画面410，来大致确认当前的虚拟面空间100的位置等状态。
[0243]
[变形例(4)]
[0244]
作为第四变形例的调整方式，图32表示用户视野内的屏幕10和第二虚拟面102的例子。第四变形例中，没有对用户设置明确的调整模式，不进行模式切换，不在屏幕10内显示调整模式画面410。换言之，上述的调整模式是作为显示装置1(远程操作控制部20)的内部处理实现的。显示装置1在通常使用时检测出特定的调整操作的情况下，实时地进行虚拟面的调整并更新设定信息203。与上述同样地，调整操作是对虚拟面的角落点进行的持续一定时间以上的一根手指的操作，或捏取操作等。本例表示的是这样的情况，即，在屏幕10上显示有操作菜单300和光标50时，用户通过捏取第二虚拟面102的对角的2个角落点的操作，来调整虚拟面的位置。第二虚拟面102的位置的点c2从点c2a变更为点c2b。
[0245]
在屏幕10上，作为反馈显示例可以在检测到调整操作时显示表示该调整操作的图像等。本例在屏幕10的中央叠加显示了表示“调整中”的图像491。此时，光标50例如维持转移到调整操作前的显示状态。例如，用户使右手移动到右下方的角落点，从而光标50显示在屏幕10的右下角附近。作为其他显示例，可以响应于调整操作的进行而不显示光标50，也可以不将光标50显示为通常的箭头形状而是切换成表示处于调整中的其他种类的图像。
[0246]
用户在变更后的第二虚拟面102b的位置进行虚拟面确定操作(例如上述的解除操作)。显示装置1在检测到该确定操作时，确定虚拟面，更新设定信息203，恢复屏幕10的显示状态。此时光标50也变得能够移动。
[0247]
第四变形例不存在明确的模式切换，所以用户需要稍微习惯通常操作与调整操作的区别，但另一方面，对于已习惯的用户来说，则能够迅速地进行调整。
[0248]
[变形例(5)]
[0249]
作为第五变形例的调整方式，图33表示用户视野内观察到的屏幕10和第二虚拟面102的状态。第五变形例还具有虚拟面重置功能。该功能是利用特定的操作取消位于某位置处的虚拟面空间100的设定状态，将其重新设定到用户所要求的位置上的功能。第二虚拟面102a表示当前的设定状态，中心为点c2a，从用户基准位置看来大致位于右侧的位置，相对于屏幕10位于右下方的位置。在用户忘记了该第二虚拟面102a的位置或看不到该第二虚拟面102a的情况下，调整操作需要花费功夫。为此能够使用虚拟面重置功能。
[0250]
用户通过规定的操作进入调整模式。在屏幕10上显示调整模式画面410。用户将手指放置在空间内想要重新设定虚拟面空间100的所要求的位置，进行特定的重置操作。作为该重置操作，例如是捏取第二虚拟面102的对角的2个点(例如角落点111、113)，并且将该捏取状态维持一定时间以上的操作。显示装置1基于时间的判断等判断并检测该重置操作。此时的时间判断的阈值可以是较长的时间。显示装置1将以检测到重置操作的2个角为对角的
矩形，重新设定为具有其所处状态下的位置、尺寸和倾斜度的第二虚拟面102b。第二虚拟面102b的中心的位置为点c2b。点c2b从用户基准位置看来大致位于左侧的位置，相对于屏幕10位于左下方的位置。
[0251]
显示装置1在通过重置操作重新设定了虚拟面空间100的时刻，为了将该状态传达给用户，在屏幕10上显示规定的图像。本例在屏幕10内的中央显示了表示“重置”的图像492。同样地，也可以在屏幕10内显示表示重新设定的虚拟面空间100的位置等的示意图等。
[0252]
换句话说，重置功能是能够将位于原本的点c2a处的第二虚拟面102a立即移动到新的点c2b处的功能。如上所述，通过使用重置功能，例如在用户忘记了自己的虚拟面空间100的位置等情况下，能够立即设定到所要求的位置而无需寻找。
[0253]
(实施方式2)
[0254]
使用图34说明本发明实施方式2的显示装置和远程操作控制装置。实施方式2等的基本结构与实施方式1相同。下面说明实施方式2等的与实施方式1不同的结构部分。在实施方式2中，于显示装置1之外设置有远程操作控制装置3，显示装置1和远程操作控制装置3通过通信而连接，可协同动作。
[0255]
图34表示实施方式2的显示系统的功能模块结构。实施方式2的显示系统是显示装置1与远程操作控制装置3连接的系统。作为显示装置1之外的独立的装置，远程操作控制装置3具有实施方式1的远程操作控制部20的功能。远程操作控制装置3控制用户对显示装置1的主体和屏幕10的gui等的远程操作。远程操作控制装置3生成远程操作的操作输入信息210发送给显示装置1。显示装置1基于该操作输入信息210，与实施方式1同样地控制主体的动作和屏幕10的gui等。
[0256]
显示装置1除了与图2的结构要素相同的控制部11等之外还包括通信部16。通信部16从远程操作控制装置3的通信部42接收操作输入信息210，将其提供给gui显示部14等。远程操作控制装置3包括与图2的远程操作控制部20相当的同样的结构要素，并且还包括控制部41、通信部42等。控制部41控制整个远程操作控制装置3。存储部28存储控制用的信息和数据。通信部42在其与显示装置1的通信部16之间进行通信处理。通信部16和通信部42是包括支持规定的通信接口的通信接口装置的部分。通信部42将从操作输入信息输出部25输出的操作输入信息210发送给显示装置1的通信部16。
[0257]
实施方式2也与实施方式1同样地能够实现远程操作。实施方式2中，显示装置1不需要具有远程操作控制功能，能够使用现有的显示装置。远程操作控制装置3可以根据需要与各种显示装置连接来构成显示系统。
[0258]
(实施方式3)
[0259]
使用图35说明本发明实施方式3的显示装置。在实施方式3中，作为虚拟面空间100的设定方式使用绝对方式。
[0260]
图35表示实施方式3的绝对方式。在绝对方式下，与用户基准位置无关地，在空间内将虚拟面空间100设定在以显示装置1(屏幕10和摄像机31、32)的位置为基准的绝对位置上。在绝对方式下，虚拟面空间100被设定在由从屏幕10和摄像机基准位置起的相对的矢量等决定的位置的点c0上。细节如下。假定是摄像机31、32的摄像机基准位置与屏幕10的点q0一致的情况。首先，在自点q0起具有规定的方向(z方向)和距离da2的矢量va2的位置上，作为虚拟面空间100设定默认的虚拟面空间100a(中心为点c0a)。接着，从虚拟面空间100a起
通过调整而将虚拟面空间100b(中心为点c0b)设定于用户所要求的位置等。表示了具有从点q0到点c0b的方向和距离db2的矢量vb2。设定信息203中例如包括矢量vb2。尺寸和倾斜度也可同样设定。
[0261]
在该绝对方式下，即使在用户发生了移动时，虚拟面空间100的位置等也不移动。在用户使显示装置1和摄像机31、32的位置移动了的情况下，随之虚拟面空间100的位置等会以跟随的方式更新。例如，表示了摄像机基准位置从点q0变更到点q0c的位置的情况。伴随该变更，虚拟面空间100的中心在维持原本的矢量vb2等的相对关系的状态下，从点c0b移动到点c0c。
[0262]
在显示装置1中，作为虚拟面空间100的设定方式预先安装有相对方式和绝对方式中的任一种。或者可以安装2种方式，并使得可通过用户设定来进行选择设定。无论哪一种方式，都可以在用户设定画面上显示表示用户、虚拟面和显示装置1(屏幕10、摄像机31、32)等的位置关系的示意图等，对用户传达它们的设定状态。
[0263]
上述的相对方式和上述绝对方式的矢量，即用于规定虚拟面空间100的方向和距离等的设定值可通过用户设定或调整功能而变更。作为用于设定该矢量等的方式之一，在使用调整功能的情况下可为以下方式。例如，在调整模式下，用户使手指相对于当前的虚拟面空间100在进深方向上移动到前后的所要求的位置上。响应于检测到该操作，虚拟面空间100在进深方向上发生平移，与变更后的位置对应地设定上述矢量等。
[0264]
(实施方式4)
[0265]
使用图36说明本发明实施方式4的显示装置。上述实施方式1等采用了配置有2台摄像机的结构，但摄像机的台数不限于2台，也可以为3台以上。实施方式4使用了3台摄像机。关于摄像机的台数，为了能够进行基于双眼视差实现的距离测量的计算，最低需要使用2台，但在要提高计算的精度和处理速度的情况下，可使用3台以上。
[0266]
图36表示包括实施方式4的显示装置1的显示系统的结构。显示装置1两侧的摄像机31、32是与实施方式1相同的要素，除此之外还包括摄像机35。摄像机35是为了能够高精度地拍摄用户的手边而配置在靠近用户手边的位置的增设摄像机，例如是双镜头摄像机。本例中，摄像机35配置在桌台上的靠近用户右手的位置。利用摄像机35，从与摄像机31、32不同的方向(例如拍摄身体侧面的x方向)以高分辨率拍摄用户手指的运动。摄像机35通过无线通信接口与显示装置1连接，将拍摄影像的数据通过无线通信发送到显示装置1主体。摄像机35的位置和拍摄方向等可由用户变更。
[0267]
显示装置1使用来自摄像机31、32和摄像机35的各图像信号，通过基于双眼视差实现的距离测量的处理，来高精度地检测手指位置(点f0)。实施方式4中摄像机台数虽然增多，但能够更高精度地检测手指位置。与其精度相应地，规定的操作的检测和光标50的显示等也能够更高精度地实现。由此，能够实现更高速的操作输入。实施方式4中，即使对于用户的观看位置和姿态的变化，例如起立的状态或坐在地板上的状态，也能够通过调整摄像机35的位置等来加以应对，能够实现稳定可靠的远程操作。
[0268]
(实施方式5)
[0269]
使用图37、图38说明本发明实施方式5的显示装置。实施方式5表示应用投影仪作为显示装置1的情况。投影仪具有基于数字输入数据等而在幕布150的屏幕10上投影显示影像的功能等。投影仪内部的硬件等结构能够应用公知技术。
[0270]
图37表示包括显示装置1的显示系统的结构。从作为投影仪的显示装置1对幕布150投影显示影像光，来构成屏幕10。显示装置1在壳体左右两侧设置有摄像机31、32。显示装置1例如在幕布150与用户的椅子之间配置在桌台上。摄像机31、32拍摄包括用户的脸部和手在内的范围。
[0271]
作为变形例，摄像机31、32可以与上述同样为位置可移动的类型。也可以是，将显示装置1主体设定在远离屏幕10的桌台之上，将摄像机31、32设置在屏幕10的附近，通过有线或无线连接显示装置1主体与摄像机31、32。
[0272]
图38表示实施方式5的变形例的显示系统的结构。该变形例中，作为投影仪的显示装置1由安装器具设置在顶棚上。显示装置1位于幕布150与用户之间。显示装置1两侧的摄像机31、32对用户从上方拍摄包括头和手在内的范围。
[0273]
(实施方式6)
[0274]
使用图39～图42说明本发明实施方式6的显示装置。实施方式6具有这样的功能，即，与远程操作控制相关联地，使用传感器控制显示装置1的电源通/断等动作状态，从而能够实现节电。例如，仅在用户位于显示装置1附近时，使显示装置1主体的显示功能和远程操作控制功能为通电状态。
[0275]
[显示系统]
[0276]
图39表示包括实施方式6的显示装置1的显示系统的结构。这是显示装置1为电视机的情况，表示了壳体中内置有摄像机31、32的例子。摄像机31、32的镜头部分露出在外。摄像机31、32的拍摄方向等是可调整的。并且，与实施方式4同样地，在用户的手指附近设置有摄像机35。摄像机35也可以省略。显示装置1包括控制基板60、人体传感器61、主电源部62等。在控制基板60上，作为电子电路安装有处理器和上述图2的各要素。各要素通过电源线和通信线彼此连接。主电源部62对显示装置1主体和摄像机31、32等各部分供电。
[0277]
人体传感器61使用红外线等来感测显示装置1周边等规定范围(例如房间内部)内的人的存在。人体传感器61在感测到人的存在的情况下，对控制基板60的控制部发送检测信号。
[0278]
图40表示显示装置1的详细的硬件等的功能模块结构。显示装置1包括第一天线500、第二天线501、调谐电路502、解调电路503、影像声音数据信号分离电路504、数据解压电路505、摄像机信号输入电路510、图像存储器511、mpu(微处理器单元)520、非易失性数据存储器521、视频输入电路530、图形电路540、液晶驱动电路550、开关560、显示面板的屏幕10、摄像机31、32、35、人体传感器61、主电源部62、电源插头63等。显示装置1能够与外部pc700等连接。
[0279]
mpu520是进行整个显示装置1的控制处理的主要控制部。mpu520掌管上述的个人识别、手指位置检测、虚拟面的设定和调整、gui显示控制等各种处理。mpu520基于来自数据解压电路505的信号、来自视频输入电路530的影像信号等，控制图形电路540和液晶驱动电路550等，在屏幕10上显示内容影像和gui图像。图形电路540基于影像信号控制液晶驱动电路550。通过液晶驱动电路550的驱动，在屏幕10上显示影像。
[0280]
非易失性数据存储器521中存储有控制用的数据和信息。非易失性数据存储器521中还存储有个人识别用的登记人脸图像数据和每个用户个人的虚拟面设定信息等。
[0281]
显示装置1内具有将各部分之间连接的信号线和电源线。电源线651从主电源部62
对控制基板60内的mpu520等电子电路和人体传感器61供电。电源线652从主电源部62对摄像机31、32、35供电。另外，摄像机31、32、35自身也可以独立地具有电源部。信号线610～613等用于传递控制用的信号等。
[0282]
显示装置1具有与通常的电视机相同的显示功能。第一天线500是用于地面波数字广播的电视天线。第二天线501是用于卫星广播的电视天线。显示装置1通过调谐电路502检测由第一天线500和第二天线501接收到的电视信号，并通过解调电路503进行解调。解调后的信号由影像声音数据信号分离电路504分离成影像、声音、数据各自的信号。数据解压电路505进行压缩格式的信号的解压处理，并进行使时间标尺同步的处理。对于从外部pc700等发送来的视频信号，通过视频输入电路530转换成合适的格式后发送给图形电路540。
[0283]
摄像机信号输入电路510以从摄像机31、32、35得到的拍摄影像的图像信号为输入，转换成容易进行图像分析等的规定格式的图像信号，顺序存储在图像存储器511中。从图像存储器511将图像信号通过信号线610供给到mpu520。
[0284]
mpu520使用图像存储器511的图像信号进行上述的各种处理。例如，mpu520从图像信号中提取人脸特征或提取手臂或手指的特征。mpu520使用提取出的特征数据进行个人识别处理或基于双眼视差实现的距离测量处理等。mpu520在个人识别处理中将提取出的特征数据与存储在非易失性数据存储器521中的登记人脸特征数据进行比较对照，识别用户个人。mpu520在存在相似度为一定程度以上的数据的情况下，判断为对象对应于该登记人脸特征数据的用户个人。mpu520从非易失性数据存储器521读取与识别出的个人对应的虚拟面设定信息(上述设定信息203)。
[0285]
人体传感器61在检测到有人进入规定范围内的情况下，通过信号线612对mpu520发送检测信号。mpu520在从人体传感器61输入了检测信号的情况下，通过信号线613对开关560发送控制信号，将开关560从关断状态切换成接通状态。由此，从主电源部62通过电源线651、652对各摄像机供电，各摄像机成为开启状态，开始进行拍摄。mpu520在显示装置1主体的显示功能为开启状态的情况下，开始从主电源部602对控制基板60的各部分供电。
[0286]
在人体传感器61检测到人从规定范围内离开的情况下，使检测信号无效。mpu520响应于检测信号的无效，利用内部计时器等开始进行时间计数。mpu520在经过规定时间后检测信号也没有变得有效的情况下，使显示装置1主体的电源为关闭状态。即，显示装置1具有所谓的自动关机功能。
[0287]
[第一控制处理流程]
[0288]
图41表示显示装置1的第一控制处理流程。图41的处理主要由mpu520进行。图41包括步骤s1～s11。以下按步骤顺序进行说明。
[0289]
(s1)最初，主电源部62的主电源为关断状态，显示装置1主体(显示功能)、摄像机31、32(远程操作控制部20)等为断电状态。人体传感器61为通电状态。mpu520接收来自人体传感器61的检测信号，启动本控制处理。显示装置1基于检测信号的有效状态将开关560接通，使摄像机31、32、35为通电状态，开始进行拍摄。
[0290]
(s2)mpu520基于来自图像存储器511的图像信号(或者也可以是照度传感器等)，判断室内照明状态是否具有足够利用摄像机捕获用户的人脸和手指的亮度。mpu520在亮度足够的情况下(是)转移至s4，在亮度不够的情况下(否)转移至s3。
[0291]
(s3)显示装置1使显示功能为开启状态，在屏幕10上显示高亮度影像。高亮度影像
是背景为高亮度的图像，是用于辅助拍摄的图像。例如，mpu520从非易失性数据存储器521读取高亮度图像信号，控制图形电路540等。或者，显示装置1也可以通过视频叠加(superimpose)等方法，在屏幕10上显示提醒用户提高室内亮度的消息。
[0292]
(s4)显示装置1从摄像图像中检测用户的人脸特征，与登记人脸特征数据进行比较对照，进行用户个人的识别处理。并且，显示装置1检测表示空间内的用户基准位置(例如人脸的双眼的中心)的点p0。
[0293]
(s5)显示装置1确认是否能够识别用户个人，在能够识别用户个人的情况下(是)转移至s6，在不能识别的情况下(否)转移至s8。
[0294]
(s6)显示装置1确认是否存在与识别到的用户个人对应的虚拟面设定信息，在存在的情况下(是)转移至s7，在不存在的情况下(否)转移至s8。在虚拟面已设定的情况下，非易失性数据存储器521中存储有用户个人的虚拟面设定信息。
[0295]
(s7)显示装置1从非易失性数据存储器521读取用户个人的虚拟面设定信息，在空间内设定用户个人的虚拟面空间100。即，如上述那样，将虚拟面空间100的点c0等设定在从用户基准位置的点p0起的规定方向(例如基准轴k0)上的规定距离处，同时也设定尺寸和倾斜度等。
[0296]
(s8)显示装置1从非易失性数据存储器521读取默认的虚拟面设定信息，在空间内设定标准的虚拟面。即，如上述那样，将虚拟面空间100的点c0等设定在从用户基准位置的点p0起的规定方向(例如基准轴j0)上的规定距离处。
[0297]
(s9)显示装置1使用摄像图像和所设定的虚拟面空间100进行远程操作控制处理。该控制处理表示在接下来的图42中。
[0298]
(s10)显示装置1进行是否结束远程操作控制或主体的动作的规定的判断。例如，显示装置1在用户输入了结束操作的情况下，从摄像图像检测到用户已离开的情况下，或人体传感器61检测到人已离开等情况下，判断为要结束处理，转移至s11。尤其是，mpu520在人体传感器61的检测信号从有效状态变化为无效状态的情况下，使用内部计时器对时间计数。mpu520在经过规定时间后检测信号也没有再次变化为无效状态的情况下，判断为用户已离开房间，结束处理。在不结束的情况下，重复进行s9的处理。
[0299]
(s11)mpu520控制开关560以切断从主电源部62的供电，使显示装置1主体的显示功能和摄像机31、32、35为断电状态。即，显示装置1通过自动关机功能进入待机状态。
[0300]
在要清理或维护显示装置1或长期不使用显示装置1的情况下，包括人体传感器61和摄像机31、32、35在内，利用主电源部62将整个显示系统转移至完全断电状态。例如，由用户对主电源部62的硬件开关进行手动操作，控制使其断电。
[0301]
[第二控制处理流程]
[0302]
图42表示与图41的s9的处理内容对应的、显示装置1的第二控制处理流程。图42的处理主要由mpu520进行，尤其包括与图2的远程操作控制部20的处理对应的处理。图42包括步骤s21～s33。以下按步骤顺序进行说明。
[0303]
(s21)显示装置1使远程操作控制部20的远程操作控制功能为开启状态。
[0304]
(s22)远程操作控制部20根据输入的摄像图像进行上述的基于双眼视差实现的距离测量处理，由此检测手指位置的点f0。并且，远程操作控制部20计算上述手指位置的点f0与虚拟面的距离dst，掌握与距离dst相应的深度等。
[0305]
(s23)远程操作控制部20基于手指位置、距离dst和深度等，首先判断并检测手指是否进入到第一虚拟面101后方的第二空间。在已进入的情况下(是)转移至s24，在未进入的情况下(否)返回s22。
[0306]
(s24)显示装置1在屏幕10上显示上述操作面板402，并且与手指位置和距离dst对应地在屏幕10内显示光标50。此时，远程操作控制部20将包括显示用的显示控制信息在内的操作输入信息210发送给gui显示部14。gui显示部14基于该信息显示操作面板402和光标50。
[0307]
(s25)显示装置1的远程操作控制部20判断手指位置是否进入到第二虚拟面102后方的第三空间。在已进入的情况下(是)前进至s26，在未进入的情况下(否)返回s24。
[0308]
(s26)显示装置1的远程操作控制部20基于手指位置、距离dst和深度等，判断并检测针对虚拟面空间100的规定的操作或关于调整的操作。作为规定的操作，远程操作控制部20判断并检测触摸、轻扫等操作。作为关于调整的操作，远程操作控制部20检测用于切换成调整模式的模式切换操作(调整模式切换操作)等。
[0309]
(s27)显示装置1在检测到上述关于虚拟面的调整的操作的情况下(是)，转移至a1。
[0310]
(s28)远程操作控制部20输出包括表示规定的操作的操作信息在内的操作输入信息210。gui显示部14按照操作输入信息210执行与规定的操作关联的对应处理。在s28中调整用的按钮409被按下的情况下，同样转移至a1。在s28之后，结束图42的处理转移至图41的s9的下一处理s10，而在从s10返回s9的情况下，同样地从最初开始重复进行图42的处理。
[0311]
(s31)在转移至a1的情况下，首先，远程操作控制部20从通常模式切换到调整模式，在屏幕10上显示调整模式画面410。
[0312]
(s32)远程操作控制部20检测虚拟面空间100中的手指进行的调整操作(上述一根手指的操作或捏取操作、虚拟面确定操作等)，按照调整操作调整虚拟面的位置、尺寸和倾斜度等，更新虚拟面设定信息。并且，远程操作控制部20输出包括显示控制信息的操作输入信息210，以按照调整操作在屏幕10上显示反馈用的图像等。
[0313]
(s33)远程操作控制部20在检测到表示结束调整模式的模式切换操作(通常模式切换操作)的情况下，从调整模式切换到通常模式，返回原本的屏幕10的显示状态。在s33之后，结束图42的a1处理而转移至图41的s9的下一处理s10，而在从s10返回s9的情况下，同样地从最初开始重复进行图42的处理。
[0314]
如上所述，采用实施方式6，能够实现远程操作而无需使用遥控设备，并且还能够实现节电。在人体传感器61感测不到用户存在的情况下，抑制电力的消耗。而在人体传感器61感测到用户存在的情况下，在用户没有对虚拟面空间100进行操作时，用户能够继续进行通常的电视收看或其他工作等。
[0315]
[变形例]
[0316]
作为实施方式6的变形例，除了使用人体传感器61来控制电源状态的方式以外，也可以是使用摄像图像来控制电源状态的方式等。通常时，使摄像机31、32或摄像机35为通电状态。显示装置1检测其摄像机的拍摄范围内的用户进行的特定操作。该特定操作的目的是发出显示功能和远程操作控制功能的通电指示，例如是将手掌对着屏幕10或其摄像机挥动一定时间等简单的操作。该特定操作不同于虚拟面操作。显示装置1使该特定操作对应于显
示功能和远程操作控制功能的通电指示，使显示装置1主体和远程操作控制功能为开启状态。同样地，也可以检测摄像机的拍摄范围内的用户进行的特定操作，将其关联为显示功能和远程操作控制功能的断电指示。
[0317]
在没有检测到特定操作的状态下，用户能够继续进行电视收看以外的工作等。在检测到特定操作时，打开电视机并在屏幕10上显示内容影像等，使远程操作控制功能成为有效状态。进而，在用户使手指接近虚拟面空间100时，如上所述显示操作面板和光标。用户在要结束远程操作时，使手指远离虚拟面空间100。
[0318]
作为其他变形例，在图41的第一控制处理中，可以在例如通过s2确认了亮度足够后，追加进行以下处理。显示装置1确认是否已获得作为基准的摄像机31、32之间的距离(图19)和摄像机基准位置。显示装置1在摄像机31、32的位置是固定的，且它们的距离和摄像机基准位置已设定的情况下，省略之后的处理。显示装置1在摄像机31、32的位置可变，且未获得它们的距离和摄像机基准位置的情况下，例如通过上述图22的方式，自动测量摄像机31、32之间的距离，并根据该距离计算并设定摄像机基准位置。
[0319]
(实施方式7)
[0320]
使用图43说明本发明实施方式7的显示装置。实施方式7具有这样的功能，即，进行控制使多个用户能够同时利用显示装置1的远程操作控制功能。显示装置1进行控制，对位于显示装置1附近的多个用户中的规定的用户赋予虚拟面空间100的操作权限。该功能在例如多个用户一边共同观看显示在1个显示装置1的屏幕10上的资料等影像，一边进行会议的场景下是有用的。
[0321]
[显示系统]
[0322]
图43表示包括实施方式7的显示装置1的显示系统的结构。本例表示应用于会议系统的情况。本例中，存在一边利用屏幕10上的影像一边进行会议的5个用户a～e。用户a～e位于摄像机31、32的拍摄范围内。显示装置1将用户a～e从摄像图像中区分检测为不同的个人。显示装置1对用户a～e的每个人设定各自专用的虚拟面空间100。例如，虚拟面102b表示对用户b设定的第二虚拟面102。虚拟面102c表示对用户c设定的第二虚拟面102。
[0323]
在假定用户a～e同时进行虚拟面的操作的情况下，若将该多个人的操作同时反映到屏幕10上，可能造成混乱。为此，在不想像这样同时反映多个人的操作的情况下，如以下所示，使用控制成仅反映单个用户的操作的方式。各用户根据利用方法，协调后按顺序进行远程操作。
[0324]
显示装置1进行控制，以仅对多个用户中首先使手指进入虚拟面空间100的一个用户赋予作为代表操作者的权限。即，以先到先得的方式赋予该操作权限。会议中，例如用户b在产生了指示屏幕10上的资料的一部分处进行说明的需要的情况下，使手指进入自己的虚拟面102b。此时，用户b是最先操作的，其他用户视作没有进入虚拟面空间100。由此，对用户b赋予操作权限，在与用户b的手指位置对应的屏幕10内的位置的点eb上显示光标50。
[0325]
并且，显示装置1在代表操作者正在进行虚拟面操作时，在屏幕10内的一部分处(例如右上方)显示表示当前的代表操作者的图像493。由此，所有用户能够共同了解当前的代表操作者。该图像493可以使用摄像图像来生成，也可以是预先登记的人脸图像或其他的图标、标记等信息。
[0326]
接着，用户c使手指进入自己的虚拟面102c。此时，由于用户b正在操作中，不对用
户c赋予操作权限，所以在与用户c的手指位置对应的屏幕10内的位置的点ec上什么都不显示。接着，用户b结束说明等，使手指从虚拟面102b返回跟前侧。由此，解除了用户b的操作权限。接着，用户c使手指进入虚拟面102c。由此，对用户c赋予操作权限。在与用户c的手指位置对应的屏幕10内的位置的点ec上显示光标50，图像493变化为表示用户c的图像。
[0327]
如上所述，采用实施方式7，在存在多个用户的环境下，即使在利用使用了虚拟面的远程操作的情况下，也能够实现误检测较少的、不会造成混乱的、易用性高的环境。现有技术中，在摄像图像中拍摄到多个人物的情况下，难以区分进行远程操作的用户和其以外的人物。例如，房间内的儿童或路过的人的运动会以外扰作用，难以检测用户的姿势，可能造成误检测。现有技术中，即使在会议等情况下，也没有考虑如何控制才能够顺利地实现多人同时的远程操作。而采用实施方式7，即使在多人同时利用远程操作的情况下也能够顺利地实现。
[0328]
上述操作权限的控制能够同样应用于上述的操作面板402。作为变形例，上述操作权限可以不限于赋予1个人而是赋予规定数量的人。该情况下，在屏幕10上显示规定数量的人的多个光标50，具有操作权限的各用户能够同时进行远程操作。对每个用户个人分配显示不同图像的光标50。在多人共同操作的应用程序等情况下，这样的控制是有用的。另外，作为变形例，可以在多个用户间设定规定的优先等级。在多个用户大致同时使手指进入虚拟面的情况下，按照优先等级赋予操作权限。例如可以控制成，在优先等级低的用户b的操作过程中，优先等级比其高的用户c使手指进入虚拟面的情况下，使操作权限从用户b转移至用户c。
[0329]
[身体连续性的判断]
[0330]
以下是各实施方式的补充说明。显示装置1在基于摄像图像的分析来检测用户的脸部与头部的部分和手指与手臂的部分时，要判断用户个人的身体的连续性和同一性。例如，在像实施方式7那样多人同时利用远程操作的情况下，摄像图像内的人脸与其附近的手指也可能不属于同一用户。例如，存在用户a在用户b的旁边伸出手臂使手指进入用户b的虚拟面的情况。考虑到这样的可能性，显示装置1在进行摄像图像的分析时，需要判断用户个人的身体的连续性和同一性。显示装置1例如判断图像内从某个人脸区域是否连续地与手臂或手指的区域相连，在相连的情况下判断为属于同一用户。显示装置1在判断为图像内的人脸和手指属于不同用户的情况下，使远程操作无效。
[0331]
[手中持有物体的情况]
[0332]
在远程操作时，基本上用户能够在手中什么都没有的状态下进行虚拟面操作。但不限于此，用户也能够在手持指示棒等物体的状态下进行虚拟面操作。该情况下，显示装置1基于用户设定等从摄像图像中检测该规定的指示棒等物体。显示装置1还判断手指与该物体的连续性。显示装置1将表示该物体的前端位置的点检测为点f0。显示装置1可以预先登记指示棒等物体的图像，在从摄像图像进行检测时，检测该物体的颜色和形状等用于控制。
[0333]
上面基于实施方式对本发明进行了具体说明，但本发明并不限定于上述实施方式，可以在不脱离其主旨的范围内进行各种变更。可进行实施方式的结构要素的追加、删除、分离、合并、置换、组合等。实施方式的具体示例的数值等仅为一例。实施方式的功能等的一部分或全部可以由集成电路等硬件实现，也可以由软件程序处理来实现。构成各装置的功能等的软件可以在产品出厂时预先存储在装置内，也可以在产品出厂后从外部装置经
通信而获得。本发明不限于电视机等显示装置，能够应用于各种电子设备和系统(例如会议系统、数字标牌等)的操作输入。
[0334]
附图标记说明
[0335]1……
显示装置，10
……
屏幕，31、32
……
摄像机，100
……
虚拟面空间，101
……
第一虚拟面，102
……
第二虚拟面，j0、k0
……
基准轴，p0、q0～q8、f0、c0
……
点。