显示装置、程序、显示方法及控制装置与流程

本发明涉及显示装置、程序、显示方法及控制装置。

背景技术：

如下电子设备已被公开：通过计算手指与触摸面板之间的距离的静电容式的触摸传感器，来检测针对显示于空中的三维物体的操作(专利文献1)。但是，在专利文献1中，虽然记载了检测对三维物体(对象)进行的操作，但关于针对物体进行操作时的操作性尚不充分。

现有技术文献

专利文献

专利文献1：日本国特开2012-203737号公报

技术实现要素：

根据第1方案，显示装置具备：第1显示部，其在与其分开的位置显示第1像；第2显示部，其在与上述第1像不同的位置显示第2像；检测部，其检测使用者对上述第1像的操作；和显示控制部，其根据由上述检测部检测出的操作，变更由上述第1显示部显示的上述第1像及由上述第2显示部显示的上述第2像中的至少一方的显示形态。

根据第2方案，提供一种程序，其由显示装置的计算机执行，该程序使计算机执行以下处理：在分开的位置显示第1像的处理；在与上述第1像不同的位置显示第2像的处理；检测使用者对上述第1像的操作的处理；以及根据检测出的上述操作，变更上述显示的上述第1像及上述显示的上述第2像中的至少一方的显示形态的处理。

根据第3方案，提供一种显示装置的显示方法，其包括如下的步骤：在分开的位置显示第1像；在与上述第1像不同的位置显示第2像；检测使用者对上述第1像的操作；以及根据检测出的上述操作，变更上述显示的上述第1像及上述显示的上述第2像中的至少一方的显示形态。

根据第4方案，显示装置具备：第1显示部，其在从显示装置离开规定距离的位置显示通过上述显示装置显示的第1显示像；第2显示部，其在与上述第1显示像不同的位置显示通过第2显示装置显示的第2显示像；操作检测部，其检测使用者对上述第1显示像的操作；获取部，其在上述第1显示像的附近设定检测基准，并获取上述检测基准与使用者的操作的位置关系；和控制部，其基于由上述获取部获取的位置关系，进行使通过上述第2显示部显示的上述第2显示像相对于通过上述第1显示部显示的上述第1显示像的显示形态不同的显示控制。

根据第5方案，具备控制部，该控制部控制位于与空中的第1显示的位置不同的位置的第2显示，来变更检测使用者对上述第1显示的操作的检测基准与上述第2显示的位置关系。

根据第6方案，具备控制部，该控制部控制位于与空中的第1显示的位置不同的位置的物体，来变更检测使用者对上述第1显示的操作的检测基准与上述物体之间的位置关系。

附图说明

图1是说明第1实施方式的显示装置的结构的图，(a)是立体图，(b)是剖视图，(c)是表示成像光学系统的结构的剖视图。

图2是说明第1实施方式的显示装置的主要部分结构的框图。

图3的(a)是示意地表示在第1实施方式中显示的空中成像的图，(b)、(c)、(d)是表示操作检测器、空中成像与检测基准的关系的剖视图。

图4示意地示出在第1实施方式中显示的校准处理用的空中成像，是说明辅助图像的显示位置的变更与被感知的深度的关系的图。

图5是说明第1实施方式中的校准处理的图，(a)、(b)、(c)、(d)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。

图6是示意地表示在校准处理后显示的空中成像操作模式下的空中成像的图。

图7是说明第1实施方式中的基于第1校准处理模式的校准处理的流程图。

图8是表示第1实施方式中的第2校准处理模式下的空中成像、检测基准与手指的到达位置的位置关系的图。

图9是说明第1实施方式中的基于第2校准处理模式的校准处理的流程图。

图10是示意地表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的图。

图11是示意地表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的其他例子的图。

图12是说明第1实施方式的变形例1的其他例子中的显示装置的主要部分结构的框图。

图13是示意地表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的其他例子的图。

图14是表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的其他例子的图。

图15是示意地表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的其他例子的图。

图16是示意地表示第1实施方式的变形例1中的图标与辅助图像的显示形态的关系的其他例子的图。

图17是说明第1实施方式的变形例2中的显示装置的主要部分结构的框图。

图18是说明第1实施方式的变形例2中的校准处理的图，(a)、(b)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。

图19是说明第1实施方式的变形例2中的基于第1校准处理模式的校准处理的流程图。

图20是示意地表示在第1实施方式的变形例4中显示第1校准处理模式的空中成像的图。

图21是说明第1实施方式的变形例4中的校准处理的图，(a)、(b)、(c)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。

图22是说明第1实施方式的变形例4中的基于第1校准处理模式的校准处理的流程图。

图23是说明第1实施方式的变形例7中的显示装置的主要部分结构的框图。

图24是说明第1实施方式的变形例8中的显示装置的图，(a)是显示装置的外观立体图，(b)是说明显示装置的主要部分结构的框图。

图25是表示第1实施方式的变形例8的显示装置的内部结构的剖视图。

图26是说明第2实施方式的显示装置的结构的图，(a)是立体图，(b)是说明主要部分结构的框图。

图27是示意地表示第2实施方式中的空中成像与框的显示位置的图。

图28是说明第2实施方式中的基于第1校准处理模式的校准处理的流程图。

图29是示意地表示第2实施方式的变形例1中的空中成像的显示位置与框的位置关系的图。

图30是说明第2实施方式的变形例3的显示装置的结构的图，(a)是立体图，(b)是说明主要部分结构的框图。

图31是示意地表示第2实施方式的变形例3中的空中成像的显示位置与点亮中的led的位置关系的图。

图32是示意地表示第2实施方式的变形例3的其他例子中的空中成像的显示位置与点亮中的led的位置关系的图。

图33的(a)是表示第3实施方式的显示装置的剖视图，(b)是说明显示器和成像光学系统的结构的剖视图，(c)是说明第3实施方式的显示装置的主要部分结构的框图。

图34的(a)是第3实施方式的变形例1的显示装置的剖视图，(b)是说明第3实施方式的变形例1的显示装置的主要部分结构的框图，(c)是第3实施方式的变形例1的其他例子的显示装置的剖视图。

图35是第3实施方式的变形例2的显示装置的剖视图。

图36是示意地说明第4实施方式的显示装置的结构的图，(a)是外观立体图，(b)是内部剖视图，(c)是说明主要部分结构的框图。

图37是示意地表示第4实施方式中的空中成像的显示例的图。

图38是说明第4实施方式的其他例子中的显示装置的主要部分结构的框图。

图39是示意地表示第4实施方式的其他例子中的空中成像的显示例的图。

图40是示意地表示第4实施方式的变形例1中的空中成像的显示例的图。

具体实施方式

-第1实施方式-

一边参照附图，一边说明第1实施方式的显示装置。在第1实施方式中，列举将本实施方式的显示装置嵌入于操作面板的情况作为一例进行说明。此外，本实施方式的显示装置不限于操作面板，能够嵌入于移动电话、电视机、平板终端、腕表型终端等便携型信息终端装置、个人计算机、音乐播放器、固定电话机、可穿戴装置等电子设备。另外，本实施方式的显示装置也能够嵌入于数字告示(电子招牌)等电子设备。作为数字告示，既可以是例如自动贩卖机等中内置的小型显示器，也可以是例如设于建筑物的壁面等上这样的比普通成人的身形更大的显示器。另外，本实施方式的显示装置能够嵌入于例如在现金自动存取机(atm装置)中用于供用户输入密码和金额等的面板、铁路或公交车的乘车券、定期券等的自动车票贩卖机、图书馆或美术馆等的各种信息检索终端装置等的面板。另外，本实施方式的显示装置也可以搭载于各种机器人(例如能够自行走动的机器人、自行式清扫机这样的电子设备)。

图1的(a)是显示装置1的立体图，图1的(b)是将显示装置1的一部分放大示出的剖视图，图1的(c)是将显示装置1的一部分放大表示的侧视图。此外，为便于说明，关于显示装置1，如图示那样设定由x轴、y轴及z轴构成的坐标系。此外，坐标系不限于由x轴、y轴及z轴构成的正交坐标系，也可以采用极坐标系或圆柱坐标系。即，x轴被设定为显示装置1的矩形显示面的短边方向，y轴被设定为显示装置1的矩形显示面的长边方向，z轴被设定为与显示面垂直的方向。

显示装置1具备：内置控制部20的主体10、成像光学系统9、显示器11、操作检测器13、载台14和投影仪15。成像光学系统9、显示器11、操作检测器13、载台14和投影仪15配置于主体10内。显示器11由例如液晶显示器或有机el显示器等构成，具有排列成二维状的多个显示像素阵列。显示器11由控制部20控制，显示与显示用图像数据对应的图像。

如图1的(c)所示，成像光学系统9在内部以二维状配置有多个微小的镜元件90，相对于zx平面倾斜规定角度例如45°而配置。成像光学系统9对来自显示于显示器11的显示图像的朝向y方向正(+)向的光进行反射，在载台14的上方空间，将显示图像的实像形成为空中成像30。此时，空中成像30形成在关于成像光学系统9而与显示器11的显示面对称的位置。即，显示器11的显示面与成像光学系统9的距离d和成像光学系统9与空中成像30的距离d相等。像这样，显示装置1的使用者(以下称为用户12)能够将显示于显示器11的显示面的显示图像以作为浮于载台14的上方空中的空中成像30的方式来观察。此外，这样的成像光学系统9的具体结构在例如日本特开2016-14777号公报中有所记载。另外，不限于以上说明的成像光学系统9，也可以是例如凸透镜。此外，在为凸透镜的情况下，由于会因焦点距离而在光轴方向上产生厚度，所以也可以是菲涅尔透镜这样的结构。像这样，只要基于状况不同来适当选择显示装置1中使用的成像光学系统9即可。

另外，显示装置1还可以如后述的第3实施方式中说明那样，使用公知的光场方式来显示空中成像30。

另外，通过将显示器11与成像光学系统9之间的y方向上的距离d设为可变，能够使空中成像30的显示位置沿着z方向移动。例如当减小显示器11与成像光学系统9之间的距离时，即当将显示器11向接近成像光学系统9的方向移动时，空中成像30向远离用户12的方向(z方向-侧)移动并被显示。相反地，当增大显示器11与成像光学系统9之间的距离时，即当将显示器11向远离成像光学系统9的方向移动时，空中成像30向接近用户12的方向(z方向+侧)移动并被显示。显示器11的y方向上的移动能够通过未图示的马达或其他致动机构等驱动装置进行。

此外，根据成像光学系统9的种类不同，存在与上述相反的情况。即，当将显示器11向接近成像光学系统9的方向移动时，空中成像30向接近用户12的方向(z方向+侧)移动并被显示。相反地，当增大显示器11与成像光学系统9之间的距离时，即当将显示器11向远离成像光学系统9的方向移动时，空中成像30远离用户12(z方向-侧)移动并被显示。因此，根据成像光学系统9的种类不同，适当变更使显示器11移动的方向并使用即可。

空中成像30包括与用于指示显示装置1的各种设定和各种功能的执行的操作按键对应的多个图标30a(操作按键)。在本实施方式中，图标30a以例如1行×3列排列。

操作检测器13相对于后述的载台14在z方向-侧与xy平面平行地设置，例如由公知的透明静电容式面板(以下，记作静电容面板)构成。由静电容面板构成的操作检测器13通过由实质透明的部件构成的电极而形成电场。在用户12为了对空中成像30的显示位置进行操作而使手指或触控笔(stylus)向空中成像30的方向移动的情况下，操作检测器13检测该手指或触控笔的位置来作为静电容的值。例如，操作检测器13对在透明静电容面板的四角检测出的静电容的值进行比较，基于在四角检测出的静电容的值，来检测用户12的手指在x轴、z轴上的位置。

此外，操作检测器13也可以在载台14上与zx平面平行地设置。

另外，操作检测器13如在后详细说明那样，从自身的表面到z方向的规定范围内具有静电容的检测范围。操作检测器13例如对在透明静电容面板的四角检测出的静电容的值进行比较，基于在四角检测出的静电容的值来检测该规定的检测范围内的手指或触控笔与操作检测器13之间的间隔(在y轴上的位置)。当然，为了使空中成像30位于操作检测器13的规定的检测范围内，优选以位于规定的检测范围的z方向上的中间的方式通过成像光学系统9进行成像。像这样，操作检测器13检测用户12用手指或触控笔对空中成像30的显示位置进行操作这一情况，因此用户12不直接触摸操作检测器13就能够执行针对空中成像30的操作。此外，在以下的说明中，说明用手指对空中成像30的显示位置进行操作的例子，但在用触控笔等进行操作的情况下也是同样的。

载台14被设为与zx平面平行的面，在该载台14的上方显示空中成像30。在以下的说明中，设为载台14是矩形形状，但不限定于矩形，能够适用圆形形状或多边形形状等各种形状。

投影仪15设于载台14的上方(y方向+侧)，根据基于控制部20的控制，将形成在显示元件上的图像数据朝向y方向-侧投影，由此将投影图像投影到载台14上。投影仪15相对于空中成像30的位置将投影图像投影到规定的位置。

图2是表示显示装置1的结构中的、控制部20和由控制部20控制的显示器11及操作检测器13的框图。控制部20具有cpu、rom、ram等，包含运算电路，基于控制程序来控制包含显示装置1的显示器11及操作检测器13在内的各种结构要素，执行各种数据处理。控制部20具备图像生成部201、显示控制部202、校准部203、检测基准控制部204、存储部205、和投影仪控制部200。存储部205包括保存控制程序的非易失性存储器、存储显示于显示器11的图像数据等的存储介质等。此外，在存储部205中预先存储有从操作检测器13的表面到指尖为止的距离与操作检测器13检测到该指尖时的静电容之间的对应关系。因此，当指尖位于操作检测器13的规定的检测范围内时，操作检测器13会检测指尖处的静电容，能够根据该检测出的静电容与存储于存储部205的上述对应关系，检测指尖在z方向上的位置。

图像生成部201基于存储于存储介质的图像数据，生成与用于显示到显示器11的显示图像对应的显示用图像数据。显示控制部202使与由图像生成部201生成的显示用图像数据对应的图像显示到显示器11。另外，当用户12对空中成像30的图标30a的显示位置进行操作时，显示控制部202基于该被操作的图标30a的种类来进行显示器11的显示图像的切换控制。此外，在用户12对空中成像30的图标30a的显示位置进行了操作的情况下，显示控制部202并不限于进行显示器11的显示图像的切换控制。也可以是例如，显示器11作为显示图像而显示动态图像，在用户12对空中成像30的图标30a的显示位置进行了操作的情况下，显示控制部202进行播放由显示器11显示的动态图像的控制，或进行停止动态图像的控制。

校准部203执行在后详细说明的第1、第2校准处理模式的校准处理。检测基准控制部204将检测面即检测基准设定于载台14的上方空间。具体地说，检测基准控制部204在操作检测器13的规定的检测范围内且在空中成像30的位置(或规定范围)设定检测基准。检测基准控制部204还基于由操作检测器13检测出的静电容的值来判定用户12的手指达到了检测基准这一情况。即，检测基准控制部204在与由操作检测器13检测出的静电容的值对应的手指位置(在x轴、y轴、z轴的各轴上的位置)与已设定的检测基准的位置一致时，判定为用户12对图标30a的显示位置进行了操作。检测基准控制部204将检测基准设定于预先确定的规定初始位置。该检测基准的初始位置被预先存储于存储部205。此外，检测基准的初始位置可以是例如对全部用户12通用的位置，也可以基于用户12对显示装置1的使用历史等针对每个用户12设定不同的位置。此外，检测基准控制部204还可以基于后述的校准处理的结果来变更或修正检测基准的位置。

另外，检测基准的位置(初始位置、变更或修正后的位置)可以被设定于操作检测器13的载台14的整个平面上(x轴、y轴上)，也可以被设定于平面上的一部分。而且，检测基准的初始位置还可以将前次的显示装置1使用时所设定的检测基准存储于存储部205并将其读出来使用。此外，检测基准控制部204不限于与由操作检测器13检测出的静电容的值对应的手指位置与检测基准的位置一致的情况，在手指位置与检测基准的位置大致一致的情况下也可以判定成用户12对图标30a的显示位置进行了操作。该大致一致的判定范围可以预先设定。

投影仪控制部200控制投影仪15，使用于供用户12掌握所显示的空中成像30在x方向上的位置和z方向上的位置的辅助图像投影到载台14上。关于该辅助图像，在后进行详细的说明。

图3的(a)表示由显示装置1显示的空中成像30的一例，图3的(b)、(c)示意地表示主体10或操作检测器13、空中成像30与检测基准40的位置关系。图3的(b)以基于与yz平面平行的面得到的截面表示空中成像30与检测基准40的位置关系，图3的(c)以基于与zx平面平行的面得到的截面表示空中成像30与检测基准40的位置关系。

在图3的(a)中，作为第1像(第1显示像)的空中成像30如上述那样包含以1行×3列排列的三个图标30a。图标30a是由用户12操作的空中成像30的第1部分。在图标30a的下方(y方向-侧)的载台14上，投影有由投影仪15投影的作为第2像(第2显示像)的辅助图像31。与作为空中成像30的第1部分的图标30a不同的作为第2部分的辅助图像31是成为用于供用户12感知图标30a的z方向上的位置关系的头绪的图像。此外，关于辅助图像31的详情将在后说明。在图3的(b)、(c)中，检测基准40通过检测基准控制部204而设定在空中成像30的位置附近，具体地说在图示例中设定在比空中成像30稍靠用户12侧(z方向+侧)的位置。在图3的(b)中，空中成像30内的图标以粗点线30a示出。此外，图标30a为空中成像30的一部分，因此位于与空中成像30的位置相同的位置，但在图3的(b)、(c)中，为了将表示图标30a的粗点线区别于表示空中成像30的实线，而将粗点线的位置从实线位置错开画出。

在图3的(b)、(c)中，操作检测器13在载台14的上方(y方向+侧)具有静电容的检测范围13a。在图3的(b)、(c)中，操作检测器13的前方(z方向+侧)的沿着z方向的静电容的检测界限以虚线13a示出，该静电容的检测界限13a与操作检测器13的间隔被示为静电容检测范围13a。

在图3的(b)的例子中，示出检测界限13a被设定于载台14的z方向+侧的端部上方的情况。即，静电容检测范围13a与载台14的z方向的长度hz相等。该情况下，由于zx平面上的载台14与静电容检测范围一致，所以由操作检测器13检测在载台14的上方空间进行的用户12的操作。此外，zx平面上的载台14的大小与静电容检测范围可以不一致，可以设定比载台14窄的静电容检测范围，也可以设定比载台14宽的静电容检测范围。

空中成像30在载台14的上方形成于从操作检测器13向z方向+侧离开距离h1的位置。检测基准40在载台14的上方被设定于从操作检测器13向z方向+侧分离开距离h2(h1＜h2)的位置。空中成像30和检测基准40被设定成位于静电容的检测范围13a内。此外，检测基准40在图3的(b)、(c)中设定得比空中成像30靠z方向+侧，但只要在操作检测器13的静电容检测范围13a内即可，可以比空中成像30靠z方向-侧，或者也可以与空中成像30的位置一致。在此，将静电容检测范围13a内的被设定为检测基准40的区域以外的范围设为检测基准外范围41。

此外，检测基准控制部204也可以使上述检测基准40的位置在检测范围13a内沿z方向移动而变更。例如，检测基准控制部204可以基于后述的校准处理的结果，使如图3的(b)、(c)那样设定的检测基准40向z方向正向或负(-)向移动。在图3的(b)、(c)中，空中成像30和检测基准40被示为与xy平面平行的平面，但不限于它们都是平面，例如也可以都由曲面构成。另外，如图3的(d)所示，检测基准40也可以不为平面而针对每个图标30a具有层差。换言之，可以是，某个图标30a与针对该图标的检测基准40之间的间隔和其他图标30a与针对该其他图标的检测基准40之间的间隔不同。像这样，关于对检测基准40设置层差，在空中成像30为立体像且多个图标30a的位置沿z方向相互错开的情况下尤其有效。例如，基于立体的空中成像30的多个图标30a的在z方向上的错位，使与各图标30a对应的检测基准40的在z方向上的位置错开，由此也能够使图标30a所对应的检测基准40之间的距离成为固定。另外，检测基准40也可以使对图3的(d)所示的多个图标30a分别设定的检测基准40独立地移动，由此来变更检测基准40的位置。即，在基于针对图3的(d)的纸面左端的图标30a的操作而进行了校准处理的情况下，检测基准控制部204可以使与纸面左端的图标30a对应地设定的检测基准40的位置向z方向移动。此时，检测基准控制部204使与其他图标30a(图3的(d)的纸面中央部及右端的图标30a)对应地设定的检测基准40的z方向上的位置不移动。

操作检测器13在用户12的指尖距操作检测器13到达了距离h2时，输出与距离h2对应的检测输出。检测基准控制部204基于操作检测器13的检测输出，判定为用户12的指尖与检测基准40一致，并判定为指尖对图标30a的显示位置进行了操作。像这样，显示装置1检测用户12对空中成像30的图标30a的显示位置进行了操作这一情况，并执行与该被操作的图标30a对应的功能。例如，进行显示器11的显示图像的切换等。

图标30a位于距操作检测器13为距离h1的位置。由于该图标30a作为空中成像30来显示，所以对于某个用户12和其他用户12，有时会感到空中成像30的图标30a的显示位置、即距离h1在视觉上不同。另外，即使是同一用户12，根据操作该显示装置1的环境不同，有时也会感到图标30a的显示位置不同。例如，假设在设定成检测基准40与空中成像30的位置一致的情况下，某个用户12为了对图标30a的显示位置进行操作而将手指向空中成像30的图标30a的方向移动。在该用户12感到手指尚在图标30a的近前(z方向+侧)、却在实际上手指已到达图标30a即检测基准40的情况下，会违背用户12的意图而执行了图标操作。相反地，假设其他用户12为了进行图标操作而将手指向空中成像30的图标30a的方向移动。在该用户12认为手指已到达图标30a且正对图标30a的显示位置进行操作、但在实际上手指与图标30a即检测基准40相比位于z方向+侧的情况下，会违背用户12的意图而没有执行图标操作。在任一情况下，用户12都会对图标操作抱有不适应感。

本实施方式的显示装置1在上述的对空中成像30进行操作的空中成像操作模式的基础上，具备用于减轻上述图标操作的不适应感的校准处理模式。在校准处理模式中，显示装置1不变更空中成像30与检测基准40的位置关系，而变更载台14上的辅助图像31的显示位置，由此以犹如空中成像30的显示位置沿z方向(深度方向)进行了移动那样使用户12感知。由此，显示装置1使由用户12进行的图标操作的深度方向上的位置变更，使得在检测基准40的位置检测到用户12的图标操作。以下，对校准处理模式进行详细说明。

此外，在校准处理模式中，显示装置1不限于不变更空中成像30与检测基准40的位置关系而变更辅助图像31的显示位置，也可以变更空中成像30与检测基准40的位置关系并同时变更辅助图像31的显示位置。

本实施方式的显示装置1如上述那样具有第1及第2校准处理模式。第1校准处理模式与空中成像操作模式独立，即在不执行空中成像操作模式时执行校准处理。第2校准处理模式在显示装置1起动后执行了空中成像操作模式时在该空中成像操作模式的执行过程中执行校准处理。该第1～第2校准处理模式由图2所示的校准部203执行。

至于要执行第1～第2校准处理模式中的哪一个可以由用户12对省略了图示的设在显示装置1上的校准处理模式选择用的操作按键进行操作来进行选择。在没有通过校准处理模式选择用的操作按键选择第1～第2校准处理模式中的任一个的情况下，控制部20可以选择并执行空中成像操作模式。另外，显示装置1也可以不具备校准处理模式选择用的操作按键而始终进行第2校准处理模式。以下，依次说明第1～第2校准处理模式。此外，第1～第2校准处理模式的选择除了操作按键以外，还可以通过操作空中成像的图标来进行。

首先说明第1校准处理模式。显示装置1被起动，用户12对校准处理模式选择用的操作按键进行操作，选择第1校准处理模式。当通过用户12的操作选择了第1校准处理模式时，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，基于该显示用图像数据，显示器11显示校准处理中使用的显示图像。图像生成部201生成辅助图像用数据，基于该辅助图像用数据，投影仪15将辅助图像31投影到载台14上。

图4的(a)示意地示出进行该校准处理前的初始显示的空中成像300、辅助图像31的一例。空中成像300包含校准用图标300a。图像生成部201在校准用图标300a上重叠显示消息“进行校准。请触摸该图标”。此外，图像生成部201在校准处理时也并非必须显示上述消息“进行校准。请触摸该图标”。例如，在选择了校准处理模式的用户12预先知道在校准处理模式中应操作什么的情况等下，图像生成部201不进行上述消息的显示。

在本实施方式中，列举作为辅助图像31而使图标300a的影子显示的例子。即列举如下情况为例，例如在将图标300a视作实际存在于空中的物体时，显示与从上方(y方向+侧)对该物体进行照明的情况下形成的影子相当的图像(以下称作影子图像)。影子图像也能够称为是成为图标300a的深度位置的头绪的图像。即，影子图像能够视为图标300a的深度头绪。该情况下，图像生成部201生成表示图标300a的z方向上的位置、即以距操作检测器13的距离h1的位置为中心形成有与图标300a的形状相应的影子的区域(以下称为影子区域)的状态的辅助图像数据。在显示例如具有棱柱这样的形状的图标300a的情况下，图像生成部201将影子区域设定为矩形形状。另外，在显示例如具有圆柱这样的形状的图标300a的情况下，图像生成部201将影子区域设定为圆形。另外，在显示例如平面状的图标300a的情况下，图像生成部201设定线状的影子区域。

投影器15由投影器控制部200控制，与由图像生成部201生成的辅助图像数据对应地，以使影子区域以外的区域变明亮的方式朝向载台14投影投影光。由此，如图4的(a)、(b)所示，在图标300a的下方(y方向-侧)的载台14上作为辅助图像31而显示有与影子区域对应的影子图像。如上述那样，在辅助图像数据上，影子区域的中心位置形成于与操作检测器13相距距离h1的位置，因此，辅助图像31被投影到距操作检测器13向z方向+侧的距离h1的位置。对空中成像300进行视觉辨认的用户12根据均在距操作检测器13的距离h1的位置显示的空中成像300及辅助图像31的相对位置关系，来识别空中成像30的图标300a在z方向上的位置。由此，用户12视觉辨认为图标300a显示于距操作检测器13的距离h1的位置。即，显示装置1使用户12根据作为第2显示的辅助图像31的显示位置来识别作为第1显示的空中成像300的深度方向上的位置、换言之检测基准40的位置。

此外，也可以在投影器15的内部具有控制投影器15的动作的控制部、和生成辅助图像数据的生成部。该情况下，生成部与上述的图像生成部201同样地，生成表示以距操作检测器13的距离h1的位置为中心而形成有与图标300a的形状相应的影子区域的状态的辅助图像数据。另外，控制投影器15的动作的控制部也可以基于从控制部20的投影器控制部200输入的控制信号，来控制投影器15的动作，从而对辅助图像31进行投影。

图4的(c)、图4的(d)示出与图4的(a)、图4的(b)所示的初始显示的情况相比，空中成像300及图标300a的显示位置不变、但辅助图像31的投影位置向z方向-侧发生了变更的例子。即，示出如下的情况：图像生成部201生成使影子区域向z方向-侧发生了变更的辅助图像数据，投影仪15基于该辅助图像数据变更了对投影光进行投影的区域。由于空中成像300以具有透视性的方式显示，所以用户12无法稳定地视觉辨认空中成像300的位置。即，空中成像300的显示位置被用户12视觉辨认为在z方向上是不稳定的。因此，显示装置1为了示出空中成像300的显示位置，而在空中成像300的附近显示相当于影子的辅助图像31，由此使用户12感知犹如空中成像300的z方向上的显示位置位于辅助图像31的位置。用户12根据空中成像300及图标300a与辅助图像31的相对位置关系，识别为图标300a在z方向上的位置位于辅助图像31的z方向位置或其附近位置。即，如图4的(c)、(d)所示，若从用户12侧观察并将辅助图像31投影到比空中成像300及图标300a的显示位置远的远方，则用户12将图4的(c)所示的图标300a识别为与初始显示的状态相比位于z方向-侧。

图4的(e)、图4的(f)是示出与初始显示的情况相比，空中成像300及图标300a的显示位置不变、但辅助图像31的投影位置向z方向+侧发生了变更的例子。即，示出图像生成部201生成使影子区域向z方向+侧发生了变更的辅助图像数据，投影仪15基于该辅助图像数据变更了对投影光进行投影的区域的情况。在该情况下，用户12也根据空中成像300及图标300a与辅助图像31的相对位置关系，识别为图标300a的z方向的位置位于辅助图像31的z方向位置或其附近位置。即，如图4的(e)、(f)所示，若从用户12侧观察并将辅助图像31与空中成像300及图标300a的显示位置相比投影到前方，则用户12将图4的(e)所示的图标300a识别为与初始显示的状态相比位于z方向+侧。

此外，在以上的说明中，列举通过投影仪15对与影子区域的位置被变更的辅助图像数据进行投影而使辅助图像31在载台14上的z方向的位置移动的例子，但不限定于此。例如，投影仪15配置为能够沿着z方向移动，在投影仪15的多个显示像素上，预先确定用于投影低亮度的投影光的区域和用于投影高亮度的投影光的区域。投影仪15可以按照如后述那样计算出的辅助图像31的移动量沿z方向移动，由此使辅助图像31的位置移动。此外，上述低亮度也包含亮度为零、即全暗的情况。

参照图5，对校准处理时的用户12的手指相对于空中成像300的位置、和辅助图像31的显示进行说明。图5的(a)是示意地表示操作检测器13、空中成像300、检测基准40与手指f的位置的关系的剖视图。

如图5的(a)所示，检测基准控制部204将检测基准40设定于空中成像300的附近位置，例如，比空中成像300稍靠z方向+侧的位置。当然，检测基准控制部204也可以使检测基准40与空中成像300一致，还可以将检测基准40设定于比空中成像300稍靠z方向-侧的位置。该情况下，显示控制部202显示例如图4的(a)所示的空中成像300。

在图5的(a)中，用户12为了按照重叠显示于空中成像300的图标300a的消息对图标300a的显示位置进行操作，而将指尖f向图标300a的方向移动。当指尖f向z方向-侧移动并到达图2的操作检测器13的静电容的检测范围13a时，操作检测器13检测用户12的指尖f向该图标300a的接近移动、即向z方向-侧的移动来作为静电容的变化。此时，控制部20在检测基准外范围41获取由操作检测器13检测到的正在进行用户操作的位置。

图5的(b)示出指尖f向z方向-侧移动并达到比检测基准40稍靠z方向+侧的点线位置50的情况。此时，设为用户12感到指尖f到达图标300a的显示位置并执行了按压图标300a的操作，使指尖f以规定距离向z方向+侧移动。操作检测器13检测指尖f的向上述z方向-侧的移动即按压及其之后进行的规定距离的返回移动来作为静电容的变化。若操作检测器13检测到指尖f的上述按压及其之后进行的规定距离的返回移动，则检测基准控制部204判定为对图标300a的显示位置进行了操作。此外，当在用户12的指尖f为了对图标300a的显示位置进行操作而在进行了按压后进行了规定距离的返回移动的情况下，检测基准控制部204将按压至最深的位置设为到达位置。即，将点线位置50称为到达位置。

在到达位置50如图5的(b)所示那样相对于检测基准40而位于用户12侧(z方向+侧)的情况下，操作检测器13无法在检测基准40检测到用户12的指尖f。该情况下，为了在检测基准40检测到用户12的指尖f，与图5的(b)所示的情况相比，需要使到达位置50接近空中成像300侧、即z方向-侧。在本实施方式中，通过变更辅助图像31的显示，将位于到达位置50的用户12的指尖f引导为与图5的(b)所示的情况相比向z方向-侧移动。即，为了使用户12感知为空中成像300’和图标300a’位于图5的(b)中双点划线所示的位置，使以虚线所示的辅助图像31’显示到载台14上，使用户12的指尖f与图示的位置相比向z方向-侧移动。图像生成部201将图4的(a)所示那样被投影到已显示的图标300a的下方的辅助图像31的投影位置变更为图4的(c)所示的投影位置。图像生成部201生成将影子区域向z方向-侧进行了移动的辅助图像数据，投影器15基于该辅助图像数据变更对投影光进行投影的区域。即，图像生成部201基于用户12的操作被检测到的位置与检测基准40之间的位置关系，来控制辅助图像31的移动方向。换言之，图像生成部201基于由操作检测器13获取的位置关系，进行使作为第2显示像的辅助图像31的显示形态相对于作为第1显示像的图标300不同的显示控制。

像这样，图像生成部201变更辅助图像31的投影位置，，使得用户12感知到图标300a的显示位置在基于用户12按下图标300a的操作产生的方向上发生了变更。此外，用户12的按下操作不限于严格地在沿着z方向的方向上移动的情况。也可以是，即使在用户的按下操作相对于z轴倾斜地进行的情况下，即在用户12的按下操作的移动方向上包含z方向成分的情况下，控制部20也判断为由用户12进行了按下操作。然后，图像生成部201可以使辅助图像31的显示位置变更，使得用户感知为图标300a的显示位置在基于按下操作产生的方向即z方向上发生了变更。

此外，图像生成部201也可以基于用户12的按下操作，使辅助图像31的投影位置变更，使得用户12感知为在基于按下操作产生的方向、即在与用户12的按下操作相同的方向上图标300a的显示位置发生了变更。

图像生成部201基于检测基准40与到达位置50之间的偏移量、即z方向的距离来决定影子区域的移动量。该情况下，检测基准40与到达位置50之间的距离、和影子区域的移动量预先基于试验等的结果而决定，并作为建立了关联的关联数据被存储于存储部205。图像生成部201参照该关联数据来决定影子区域的移动量。决定出的影子区域的移动量被存储于存储部205。

此外，上述的影子区域的移动量被决定为基于到达位置50与检测基准40的距离的增减而增减。影子区域的移动可以被决定为基于到达位置50与检测基准40的距离的增减而线性地增减，也可以被决定为按到达位置50与检测基准40的距离每增减规定量而阶梯性增减。另外，还可以被决定为，无论到达位置50与检测基准40的距离如何，影子区域的移动均以规定的固定值变更。该情况下，可以构成为规定量能够由用户12设定。

若如上述那样，辅助图像31在载台14上的投影位置如图4的(c)所示那样变更，则用户12会感知为犹如图标300a向z方向-侧、即向远离用户12的方向移动。即，虽然空中成像300和图标300a实际上在z方向上没有移动，但用户12会感知为犹如移动到了图5的(b)的双点划线所示的位置。由于用户12感知为犹如图标300a显示于更远离自身的位置，所以在对图标300a进行操作时，可期待由用户12进行使指尖f位于更靠z方向-侧的操作。由此，用户12的指尖f的到达位置50与图5的(b)的情况相比位于更靠z方向-侧，如图5的(c)所示那样到达位置50位于检测基准40。因此，操作检测器13能够在检测基准40检测到用户12的指尖f，控制部20能够获取在检测基准40检测到的用户操作的位置。

以上，说明了由于手指的到达位置50与检测基准40相比位于近前(z方向+侧)而无法在检测基准40检测到用户操作的情况。在由于到达位置50与检测基准40相比位于里侧(z方向-侧)而无法在检测基准40检测到用户操作的情况下，检测基准控制部204也与上述同样地判定到达位置50，图像生成部201基于该到达位置50来变更影子区域的位置。该情况下，图5的(d)示出到达位置50与检测基准40的位置关系。该情况下，为了在检测基准40检测到用户12的指尖f，与图5的(d)所示的情况相比，需要使到达位置50位于用户12侧、即z方向+侧。即，为了使用户感知到空中成像300’和图标300a’位于图5的(d)中双点划线所示的位置，而在载台14上显示虚线所示的辅助图像31’，使用户的指尖f与图示的位置相比向z方向+侧移动。图像生成部201基于到达位置50与检测基准40的位置关系来控制亮度分布的重心位置g，由此将图4的(a)所示那样投影的辅助图像31的投影位置变更为图4的(e)所示的辅助图像31的投影位置。图像生成部201生成将辅助图像31的位置向z方向+侧进行了移动的辅助图像数据，投影仪15基于该辅助图像数据变更对投影光进行投影的区域。即，图像生成部201基于用户12的操作被检测到的位置与检测基准40的位置关系，来控制辅助图像31的移动方向。

该情况下也是，图像生成部201基于检测基准40与到达位置50之间的偏移量、即z方向上的距离来决定影子区域的移动量。决定出的影子区域的移动量被存储到存储部205。由于如图4的(e)所示那样辅助图像31的投影位置发生变更，所以显示装置1使用户12感知为犹如图标300a向z方向+侧、即接近用户12的方向进行了移动。由于用户12感知为犹如图标300a显示于更接近自身的位置，所以在对图标300a进行操作时，可期待由用户12进行使指尖f位于更靠z方向+侧的操作。由此，用户12的指尖f的到达位置50与图5的(d)所示的情况相比位于z方向+侧，如图5的(c)所示，到达位置50位于检测基准40。因此，操作检测器13能够在检测基准40检测到用户12的指尖f。

像这样，图像生成部201变更辅助图像31的投影位置，使得用户12感知为图标300a的显示位置在与基于用户12对图标300a进行按下操作产生的方向相反的方向上发生了变更。外，用户12的按下操作不限于严格地在沿着z方向的方向上移动的情况。即使在用户12的按下操作相对于z轴倾斜的情况下、即在用户12的按下操作的移动方向上包含z方向成分的情况下，控制部20也判断为由用户进行了按下操作。然后，图像生成部201可以变更辅助图像31的投影位置，使得用户12感知为图标300a的显示位置在基于按下操作产生的方向即z方向上发生了变更。

图像生成部201也可以基于用户12的按下操作使辅助图像31的投影位置变更，使得用户12感知为图标300a的显示位置在基于按下操作产生的方向、即与用户12的按下操作相反的方向上发生了变更。

此外，在到达位置50与检测基准40一致的情况下，检测基准控制部204也与上述同样地判定到达位置50。但是，由于到达位置50与检测基准40一致，所以图像生成部201不进行使用户12感知为图标300a的深度位置发生了变更这样的、影子区域的投影位置的变更。

另外，在到达位置50与检测基准40相比位于里侧(z方向-侧)的情况下，指尖f在到达到达位置50之前，会通过检测基准40。检测基准控制部204基于操作检测器13的检测输出，判定手指达到了检测基准40。但是，在第1校准处理模式中，图像生成部201不进行显示器11的显示切换。在到达位置50与检测基准40一致的情况下也是同样的，图像生成部201不进行显示器11的显示切换。当然，在指尖f到达了检测基准40时，例如图像生成部201也可以进行使图标300a闪烁等的强调显示，向用户12告知指尖f达到了检测基准40这一情况。

在以上的说明中，作为对图标300a的显示位置进行操作的例子，列举用户12按压图标300a的操作为例，但不限于此。也可以是，在由操作检测器13检测到用户12对图标300a进行的规定的非接触操作的情况下，基于进行了规定的非接触操作的地方、即由操作检测器13检测到规定的非接触操作的位置，图像生成部201变更影子区域的位置。规定的非接触操作例如是触摸图标300a这样的手势操作。也可以是，基于进行了触摸图标300a这样的操作的位置，图像生成部201变更影子区域的位置。对于触摸这样的操作，可列举例如用户12用手弹去图标300a这样的手势等。另外，作为进行了触摸这样的操作的位置，可以基于用户12用手弹去这样的手势结束而判定成用户12的手停止的位置和/或用户12用手弹去这样的手势开始的位置来决定。

另外，作为规定的非接触操作，是用户12使手指f以距离l1向z方向-侧(里侧)移动后u形转弯并以距离l1向z方向+侧(近前侧)移动的操作。即，该规定的非接触操作是向里侧的移动距离和向近前侧的移动距离相等的u形转弯轨迹。另外，该规定的非接触操作可以不是u形转弯即u字轨迹，而是描绘v字轨迹，另外，还可以是，手指f以距离l1向里侧移动后沿着该向里侧的移动轨迹以距离l1向近前侧移动的操作。而且，该规定的非接触操作还可以是，向里侧的移动距离l1与向近前侧的移动距离l1不相等、不相同。即，规定的非接触操作只要是进行接着手指向里侧的移动而使手指向近前侧移动的操作即可。

另外，作为规定的非接触操作，可以是用户12将手指f以距离l1向里侧移动后在规定时间使手指f停止的操作，也可以是用户12将手指f以距离l1向里侧移动后使手指f沿横向至少以规定距离l2移动的操作。

规定的非接触操作不限于上述各种以手指f的移动轨迹表示的操作，只要能以操作检测器13检测到其移动轨迹(手指f或手的移动轨迹)即可，也可以是描绘其他移动轨迹的操作。此外，由操作检测器13检测到规定的非接触操作的位置可以根据各个操作适当设定。例如，作为上述规定的非接触操作，在用户12将手指f以距离l1向里侧移后u形转弯、并以距离l1向近前侧移动的操作的情况下，可以将进行u形转弯中位于最靠z方向-侧的位置设为检测到非接触操作的位置。作为该检测到规定的非接触操作的位置的其他例子，可以将距离l1的一半处的位置设为检测到非接触操作的位置。

此外，检测基准控制部204判定到达位置50的方法不限于上述的基于从压入移动向规定距离的返回移动的变化进行判定的方法，也能够如以下叙述那样根据以下说明的各种方法进行判定。例如，用户12感到指尖f到达图标300a的显示位置并执行了对图标300a的按压操作之后，停止手指向z方向-侧的移动，即停止按压。检测基准控制部204根据操作检测器13检测到的静电容的值几乎没有变化这一情况，判定手指的按压停止，将该按压的停止位置判定即决定为到达位置50。此外，向z方向-侧的移动的停止是根据操作检测器13检测到的静电容的值在短时间、例如0.1秒～1秒左右的期间没有变化而判定的。作为另一其他方法，检测基准控制部204根据静电容的变化来检测用户12的手指的移动的速度矢量、即手指的移动速度和移动方向。检测基准控制部204可以根据静电容的变化，基于手指的速度矢量的朝向从z轴负向变化成z轴正向及z轴正向的速度矢量变成规定大小这一情况，将检测到z轴正向的规定大小的速度矢量时的手指位置判定为到达位置50。在该方法的情况下，当将上述的速度矢量的规定大小设定成大致为零时，将速度矢量的朝向从z轴负向变化为z轴正向的时间点的手指位置、即手指最按压的位置判定为到达位置。当将规定大小设定为零以外的值时，将手指从上述最按压的位置以规定距离返回后的位置判定为到达位置50。如以上那样，到达位置50被决定为由检测基准控制部204判定成手指对图标的显示位置进行了操作时的指尖f的最按压位置或其附近位置。

另外，在上述例子中，检测基准控制部204以手指或触控笔中的与空中成像300的图标300a接触的部分、即指尖部分的位置或触控笔的端部位置为基准，决定到达位置。也可以取而代之，检测基准控制部204以用户12的手指的指甲尖的位置或手指的第1关节的位置为基准来决定到达位置。而且，检测基准控制部204不限于用户12的手指，在用户12以脚或肘等对图标进行操作的情况下，也可以以脚或肘等为基准来决定到达位置。在使用触控笔的情况下，可以对触控笔的规定位置赋予标记，检测基准控制部204以该标记的位置为基准来决定到达位置。此外，在使用手指的第1关节或触控笔的标记等来决定到达位置的情况下，作为操作检测器13，期望取代使用静电容式面板，而使用在后述的第1实施方式的变形例8中说明的摄像装置等。

另外，在上述的说明中，将检测基准40设为单一平面或具有层差的平面，但不限定于此，检测基准40也可以是被夹于前表面(z方向+侧)和后表面(z方向-侧)的具有规定厚度的区域。该情况下，检测基准40既可以是后表面与空中成像30相比被设定于近前一侧(z方向+侧)，也可以是前表面与空中成像30相比被设定于里侧(z方向-侧)，还可以是被设定成空中成像30位于前表面与后表面之间。因此，检测基准控制部204能够更可靠地判定对显示位置的操作。例如，假设手指有时没有相对于图标30a大致沿着z轴移动而从斜方向移动的情况。该情况下，若检测基准40如图3所示那样为平面，则不会通过与图标30a的位置对应的部分的检测基准40，而会从其旁边的部分通过，可能导致检测基准控制部204无法判定手指对图标30a的显示位置的操作。但是，由于检测基准40具有规定厚度，所以即使在手指从斜方向移动的情况下，检测基准控制部204也能够可靠地检测手指进入检测基准40。而且，在手指与空中成像30平行地移动地对图标30a的显示位置进行了操作的情况下，由于检测基准40具有规定厚度，所以检测基准控制部204也能够可靠地检测手指进入检测基准40内。

此外，在如上述那样检测基准40具有厚度的情况下，在检测基准40的内部没有进行上述的规定的非接触操作的情况下，检测基准控制部204判定为没有进行规定的非接触操作。例如，设为规定的非接触操作是用户12将手指f以距离l1向里侧移动后u形转弯并以距离l1向近前侧移动的操作。此时，设为用户12在检测基准40内将手指f以距离l1向里侧移动后没有使手指f向近前侧移动直至成为距离l1。该情况下，检测基准控制部204判定为没有由用户12进行规定的非接触操作。

若如以上那样进行第1校准处理模式，则基于该校准处理的结果，变更图3的(a)所示的空中成像操作模式下的辅助图像31的显示位置。

图6中示出反映了上述第1校准处理模式的校准处理结果的、空中成像操作模式下的空中成像30和辅助图像31。图6的(a)与图3的(a)同样地，示出初始显示的空中成像30和辅助图像31。在图6的(a)中，对以1行×3列排列的图标30a从左侧朝向纸面赋予附图标记30aa、30ab、30ac。另外，对与图标30aa、30ab、30ac分别对应的辅助图像31，赋予附图标记31a、31b、31c。

图6的(b)示出反映了到达位置50位于检测基准40的近前的情况下(参照图5的(b))进行的校准处理的结果的空中成像30和辅助图像31。即，图6的(b)示出以被感知为犹如图标30a向远离用户12的方向进行了移动的方式将辅助图像31a～31c的显示位置向z方向-侧变更的情况。由此，可期待用户12以与第1校准处理模式时相比到达位置50位于z方向-侧的方式进行操作。

图6的(c)示出反映了在到达位置50位于检测基准40的里侧的情况下(参照图5的(d))进行的校准处理的结果的空中成像30和辅助图像31。即，图6的(c)以被感知为犹如图标30a向接近用户12的方向进行了移动的方式，变更了辅助图像31a～31c的显示位置的情况。由此，可期待用户12以与第1校准处理模式时相比到达位置50位于z方向+侧的方式进行操作。

如以上那样，基于以第1校准处理模式检测到的用户12的操作位置与检测基准40之间的距离，在空中成像操作模式中对将投影到图标30a的下方的位置变更后的辅助图像31进行投影。即，显示装置1通过控制辅助图像31的位置来变更空中成像30的显示位置、即检测基准40与辅助图像31的位置关系。

此外，在图6所示的例子中，图像生成部201针对多个图标30aa、30ab、30ac的全部图标，基于校准处理的结果，变更了其辅助图像31a、31b、31c的显示位置，但不限定于此。图像生成部201也可以变更与多个图标30aa～30ac对应的辅助图像31a～31c中的至少一个辅助图像31的显示位置。或者，图像生成部201还可以针对各图标30aa、30ab、30ac，分别单独反映校准处理的结果并变更辅助图像31a、31b、31c的显示位置。

参照图7所示的流程图来说明上述说明的第1校准处理模式和空中成像操作模式。图7的流程图所示的各处理在显示装置1被起动后由控制部20执行程序而进行。该程序存储在存储部205内。

在步骤s1中，若识别到由用户12利用校准处理模式选择用的操作按键选择了第1校准处理模式，则进入步骤s2。在步骤s2中，图2所示的校准部203开始第1校准处理模式，然后进入步骤s3。在步骤s3中，图像生成部201生成校准用的显示用图像数据，显示控制部202在显示器11上显示基于显示用图像数据的校准用图像，并且检测基准控制部204将检测基准40设定为规定的初始位置。同时，图像生成部201生成辅助图像31用的图像数据，投影仪15如图4的(a)所示那样，将辅助图像31以其第1范围311位于图标300a之下的方式投影到投影区域140。显示器11的显示图像是由成像光学系统9生成的图4的(a)所示的校准用的空中成像300。另外，空中成像300包括图标300a和消息“进行校准。请触摸该图标”。在步骤s4中，操作检测器13检测用户12的指尖f向z方向-侧的移动，然后进入步骤s5。

在步骤s5中，图2所示的检测基准控制部204基于操作检测器13的检测输出，判定手指是否到达了到达位置50。在步骤s5中进行了肯定判定的情况下、即判定为手指到达了到达位置50的情况下，进入步骤s6。在步骤s5中进行了否定判定的情况下、即判定为手指没有停止的情况下，直至进行肯定判定为止待机。在步骤s6中，图像生成部201基于到达位置50与检测基准40之间的距离，变更影子区域的位置并生成辅助图像数据。另外，图像生成部201将表示此时的影子区域的移动量的数据存储到图2所示的存储部205，然后进入步骤s7。

在步骤s7中，结束第1校准处理模式，然后进入步骤s8。在步骤s8中，开始空中成像操作模式，然后进入步骤s9。在步骤s9中，显示图8所示的包含空中成像操作模式用的图标30a的空中成像30。此时，图像生成部201从存储部205读出在步骤s6中存储到存储部205的表示影子区域的移动量的数据。图像生成部201基于所读出的数据生成空中成像操作模式用的辅助图像数据，投影器15基于辅助图像数据将辅助图像31投影到载台14上。像这样，在该空中成像操作模式中，在第1校准处理模式中以设定好适于用户12的操作特性的图标30a与辅助图像31的位置关系的状态，显示空中成像30。

若用户12为了对图标30a的显示位置进行操作而将手指朝向空中成像30沿z方向移动，则在步骤s10中，图2所示的操作检测器13检测用户12的手指向深度方向的移动，然后进入步骤s11。在步骤s11中，检测基准控制部204基于操作检测器13的检测输出来判定手指是否到达了检测基准40。在步骤s11中进行了肯定判定的情况下、即判定为手指到达了检测基准40的情况下，进入步骤s12。在步骤s11中进行了否定判定的情况下、即判断为手指没有达到检测基准40的情况下，直到进行肯定判定为止待机。在步骤s12中，显示控制部202将显示器11的显示图像切换到与被操作的图标30a相应的显示图像，然后进入步骤s13。在步骤s13中，判定是否进行了显示装置1的停止操作。在步骤s13中进行了肯定判定的情况下、即进行了显示装置1的停止操作的情况下，显示装置1停止。在步骤s13中进行了否定判定的情况下，返回步骤s10。

在以上的说明中，第1校准处理模式是在显示装置1被起动后、空中成像操作模式之前执行的，但第1校准处理模式也能够在空中成像操作模式之后执行。例如，用户12在空中成像操作模式的执行过程中，在例如对图标30a的显示位置的操作觉得不适时，对显示装置1的校准处理模式选择用的操作按键进行操作，选择第1校准处理模式。该情况下，将执行中的空中成像操作模式中断并执行第1校准处理模式，在该第1校准处理模式结束后，重新开始空中成像操作模式。此外，可以取代上述的按照用户12对操作按键的操作而显示装置1选择第1校准处理模式，校准部203在根据对图标30a的显示位置的操作的不适应感检测到用户12抱有不快感的情况时，执行第1校准处理模式。显示装置1检测例如用户12的脉搏数(生物体信息)，在检测到的脉搏数超过规定值的情况下，能够检测出用户12抱有不快感的情况。

接下来，参照图8及图9说明第2校准处理模式。此外，对于以下说明的第2校准处理模式，可以适当适用在上述第1校准处理模式中说明的处理。

图8是示出空中成像操作模式用的空中成像30、检测基准40、和指尖f的到达位置50的图。图9是示出第2校准处理模式的动作的流程图。图9的流程图所示的各处理在显示装置1的起到后由控制部20执行程序而进行。

在步骤s21中，识别选择了第2校准处理模式这一情况，然后进入步骤s22。在步骤s22中，空中成像操作模式和第2校准处理模式一并开始，然后进入步骤s23。在步骤s23中，显示图3所示的包含图标30a在内的空中成像30，并且图2所示的检测基准控制部204将检测基准40设定到预先确定的初始位置、例如空中成像30的位置或比空中成像30的位置稍靠z方向+侧的位置，然后进入步骤s24。此时，投影仪15将辅助图像31投影到与图标30a的初始位置相应的位置、即从操作检测器13向z方向+侧的距离h1的位置。此时，在空中成像30上以短时间显示消息“在图标的操作过程中进行校准”。此外，该消息可以不显示。

在步骤s24中，若用户12为了对图标30a的显示位置进行操作而使手指向z方向-侧移动，则操作检测器13开始检测手指的移动，然后进入步骤s25。在步骤s25中，检测基准控制部204基于操作检测器13的检测输出，判定手指是否在向z方向-侧的移动过程中通过了检测基准40。在步骤s25中进行了肯定判断的情况下，即手指在向z方向-侧的移动过程中通过检测基准40并进一步向z方向-侧移动了的情况下，进入步骤s26。图8的手指f1表示在向z方向-侧的移动过程中通过了检测基准40的手指。在步骤s26中，检测基准控制部204判定手指f1到达了检测基准40、即通过了检测基准40，然后进行图标显示的切换，即，基于空中成像30被操作的图标30a进行切换，然后进入步骤s27。在步骤s27中，检测基准控制部204判定手指f1是否到达了到达位置50，在肯定判定的情况下进入步骤s28，在否定判定的情况下会维持到肯定判定为止。在步骤s28中，图像生成部201基于到达位置50与检测基准40之间的距离，变更影子区域的位置，然后进入步骤s33。具体地说，图像生成部201以如图4的(d)所示那样与影子区域对应的辅助图像31位于z方向+侧(用户12侧)的方式，生成变更了影子区域的位置的辅助图像数据。投影仪15基于生成的辅助图像数据将辅助图像31投影到载台14上。

此外，在步骤s28中，检测基准控制部204对到达位置50和检测基准40比较位置关系，在检测到到达位置50没有位于距检测基准40比规定范围靠z方向-侧的位置的情况下，图像生成部201可以不变更辅助图像31的投影位置。或者，图像生成部201也可以将辅助图像31的投影位置的变更量(辅助图像31的移动量)设定为零(即，实质上没有变更辅助图像31的投影位置)。

在前述步骤s25中进行了否定判定的情况下，即在手指向z方向-侧的移动过程中没有通过检测基准40的情况下，进入步骤s29。在步骤s29中，检测基准控制部204基于操作检测器13的检测输出，判定指尖f是否到达了到达位置50，在肯定判定的情况下进入步骤s30。在否定判定的情况下会维持到肯定判定为止。图8的手指f2示出到达位置50与检测基准40一致这一情况。在步骤s30中，检测基准控制部204基于操作检测器13的检测输出，判定到达位置50是否与检测基准40一致，在肯定判定的情况下进入步骤s31，在否定判定的情况下进入步骤s32。在步骤s31中，由于到达位置50与检测基准40一致，所以进行图标显示的切换，但不进行影子区域的变更而进入步骤s33。

此外，检测基准控制部204在到达位置50与检测基准40不完全一致的情况下，例如在距检测基准40的规定范围内检测出到达位置50的情况下，也可以判定成到达位置50与检测基准40一致。该情况下，在图9的步骤s25中，检测基准控制部204可以判定到达位置50是否位于距检测基准40比规定范围靠下方的位置。在到达位置50位于距检测基准40比规定范围靠下方的位置的情况下，步骤s25进行肯定判定并进入步骤s26。另外，在步骤s30中，检测基准控制部204可以判定到达位置50是否距检测基准40位于规定范围内。在到达位置50距检测基准40位于规定范围内的情况下，步骤s30进行肯定判定并进入步骤s31。

在步骤s32中，如图8的手指f3所示那样到达位置50位于检测基准40的z方向+侧，图像生成部201基于到达位置50与检测基准40之间的距离变更影子区域的位置。具体地说，图像生成部201以如图4的(c)所示那样与影子区域对应的辅助图像31位于z方向-侧(与用户12侧为相反侧)的方式，生成变更了影子区域的位置的辅助图像数据。投影器15将与生成的辅助图像数据对应的辅助图像31投影到载台14上。在步骤s33中，判定是否进行了第2校准处理模式的结束操作，在肯定判定的情况下结束第2校准处理模式，在否定判定的情况下返回步骤s24。

如以上那样，第2校准处理模式在执行空中成像操作模式的过程中并行进行，无需有意识地执行校准处理，就能够以适于用户12的检测基准40执行针对空中成像30的显示位置的操作。此外，可以不必由用户12选择第1～2校准处理模式。也可以是显示装置1自动选择第1～2校准处理模式中的某一个。另外，也可以不具备第1～2校准处理模式中的全部模式，而具有其中的一个模式。

另外，在第1实施方式中，以使用户12感知为图标30a的显示位置沿着z轴方向发生了变更的方式，图像生成部201对辅助图像31的显示位置进行变更，但不限定于此。例如，图像生成部201也可以以使被感知为图标30a的显示位置的移动方向的方向被感知为是在成像光学系统9的光轴方向上移动的方式，变更辅助图像31的位置。即，在本实施方式中，图像生成部201可以以使用户12感知为辅助图像31在与成像光学系统9的光轴正交的方向以外的方向上进行了移动的方式，变更辅助图像31的位置。因此，图像生成部201可以以在辅助图像31的移动方向上包含沿着成像光学系统9的光轴的成分的方式使显示位置移动。

此外，在上述第1实施方式的显示装置1中，投影仪控制部200可以基于显示装置1周围的亮度来控制投影仪15投影的辅助图像31的亮度。该情况下，在显示装置1的主体10上设有检测周围明亮度的照度传感器等。此外，作为照度传感器，可以使用相机的测光功能。在由于显示装置1被日光或照明等照射而使显示装置1的周围明亮的情况下，由投影仪15投影的辅助图像31的第1范围311不易被用户12视觉辨认。因此，在显示装置1周围明亮的情况下，通过提高从投影仪15投影的第2范围312的亮度，而使用户12视觉辨认暗的第1范围311。

该情况下，投影仪控制部200基于由照度传感器检测出的周围亮度的增减，使与第2范围312对应的范围的投影光的亮度增减。投影仪控制部200可以控制成投影光基于周围亮度的增减而线性增减，也可以控制成周围亮度按每规定量的增减而阶梯性增减。另外，在周围亮度超过规定值的情况下也可以由投影仪控制部200控制与第2范围312对应的范围的投影光的亮度。

此外，并不限定于基于周围亮度来控制投影仪15的投影光的亮度。例如，可以通过用户12的操作设定投影仪15的投影光的亮度，投影仪控制部200按照该设定来控制投影光的亮度。该情况下，用户12能够对设于显示装置1的主体10的操作按键进行操作来设定投影仪15的投影光的亮度。此外，显示装置1也可以将该操作按键显示为空中成像。

另外，在来自投影仪15的投影光被以高亮度投影的情况下，存在用户12因明亮的投影光而不易视觉辨认空中成像30、300的情况。该情况下，显示控制部202基于投影仪15的投影光的亮度的增减，使显示于显示器11的显示图像的亮度增减。显示控制部202可以控制成显示图像的亮度基于投影光的增减而线性增减，也可以控制成投影光的亮度按每规定量的增减而阶梯性增减。另外，在投影光的亮度超过规定值的情况下，也可以由显示控制部202控制显示于显示器11的显示图像的亮度。

此外，即使在如上述那样基于用户12的操作来设定投影仪15的投影光的亮度的情况下，显示控制部202也能够基于所设定的亮度来控制显示器11的显示图像的亮度。

此外，不限定于基于投影光的亮度来进行显示控制部202对显示图像的亮度控制，也可以基于显示装置1的周围亮度来进行。即，也可以是，显示控制部202基于周围亮度的增减来进行显示器11的显示图像的亮度的控制。

此外，另外，在上述第1实施方式中，作为辅助图像31列举了影子图像为例，但也能够作为辅助图像31而适用影子图像以外的图像。例如，作为辅助图像31，可以显示示出空中成像30的位置且载置物体的台架、桌子、书案等。存在通过将上述那样的辅助图像31显示于空中成像30之下而由用户12感知为犹如空中成像30被载置于辅助图像31的情况。因此，即使将辅助图像31的位置进行了移动，也能够使用户12感知为犹如空中成像30位于辅助图像31的位置。

此外，如后述第4实施方式记载那样，辅助图像31显示与空中成像30的关联性越高的物体，用户12越可能感知到空中成像30显示于辅助图像31的位置。在后详细说明，辅助图像31与空中成像30之间的关联性高是指，使辅助图像31和空中成像30显示的对象彼此在现实世界较近地设置、或相接触地设置、或使对象彼此一体地构成等。此外，关于第1实施方式中说明的对辅助图像31显示表示空中成像30的影子的图像的例子，是辅助图像31与空中成像30的关联性深的例子。

在第1实施方式中，图像生成部201根据由操作检测器13检测出的操作，来变更作为第2像的辅助图像31的显示形态。具体地说，图像生成部201控制辅助图像31来变更检测用户12对空中成像30、300的操作的检测基准40、和位于与空中成像30、300的显示位置不同的位置的辅助图像31之间的位置关系。由此，能基于位置被变更的辅助图像31来变更用户操作的位置，而能够在检测基准40检测到用户12的操作。

另外，在第1实施方式中，图像生成部201基于用户12的操作来控制辅助图像31。由此，用户12的操作被反映于辅助图像31，因此能够提高校准处理的精度。

另外，在第1实施方式中，图像生成部201基于用户12的操作的到达位置50与检测基准40的位置关系，来决定辅助图像31的移动方向。由此，能够通过校准处理使用户12的操作的到达位置50到达检测基准40。

另外，在第1实施方式中，图像生成部201使辅助图像31在基于用户12的操作产生的方向、或与基于用户12的操作产生的方向相反的方向上移动。因此，使用户12变更沿着z方向进行操作的位置，并能够在检测基准40检测到用户操作。

此外，在用户12进行按下操作的情况下，图像生成部201使辅助图像31在基于用户12的按下操作产生的方向或与基于按下操作产生的方向相反的方向上移动。由此，用户12变更按下操作的位置，并能够在检测基准40检测到用户操作。

另外，在第1实施方式中，在用户12的操作没有达到检测基准40的情况下(参照图5的(b))，图像生成部201使辅助图像31的显示位置在基于用户12的操作产生的方向上移动。即，用户12感知为犹如图标30a、300a的位置向远离用户12的方向发生了变更。由此，能够使用户12进一步向z方向负向进行操作，而达到检测基准40。

另外，在第1实施方式中，在用户12的操作达到检测基准的情况下(参照图5的(d))，图像生成部201使辅助图像31的显示位置在与基于用户12的操作产生的方向相反的方向上移动。即，用户12感知为犹如图标30a、300a的位置向接近用户12的方向发生了变更。由此，能够使用户12在更接近用户12侧的位置进行操作，使用户12的操作位于检测基准40。

另外，在第1实施方式中，图像生成部201基于图标30a、300a来控制辅助图像31。由此，用户12能够识别为图标30a、300a与辅助图像31之间存在关联，能够将辅助图像31作为头绪而感知图标30a、300a的位置。

另外，在第1实施方式中，图像生成部201针对辅助图像31生成比图标30a、300a暗的图像(相当于影子或阴影的图像)。由此，使用户12容易以辅助图像31为头绪掌握图标30a、300a的位置。

另外，在第1实施方式中，图像生成部201将辅助图像31显示于图标30a、300a的下方(y方向-侧)。由此，使用户12容易以辅助图像31为头绪掌握图标30a、300a的位置。

(第1实施方式的变形例1)

在第1实施方式中，作为辅助图像31举出影子图像为例，说明了基于校准处理的结果来变更在载台14上投影的位置的情况。在变形例1中，说明在作为辅助图像31而应用影子图像的情况下，能够应用为辅助图像31的显示形态的例子。

＜1.变更辅助图像31的大小＞

图像生成部201可以基于图标30a的大小来使辅助图像31的大小、即影子图像的大小不同。例如，如图10的(a)所示，设为作为与空中成像操作模式对应的空中成像30而显示有两个图标30a1、30a2。在图10的(a)中，与图标30a1相比，图标30a2的大小较大。该情况下，图像生成部201以使与图标30a2对应的辅助图像31a2比与图标30a1对应的辅助图像31a1更大、即面积更大的方式，设定影子区域并生成辅助图像数据。

另外，在针对图10的(b)所示那样初始显示的图标30a和辅助图像31而切换到图标30a的大小不同的显示的情况下，图像生成部201可以基于图标30a的大小的变更来变更辅助图像31的大小。例如，如图10的(c)所示，在将图标30a的大小放大了的情况下，图像生成部201以基于图标30a的放大率，生成使影子区域的大小放大的辅助图像数据。通过投影器15对与辅助图像数据对应的辅助图像31进行投影，而如图10的(c)所示，将面积比初始显示下的辅助图像31大的辅助图像31投影到图标30a的下方。

此外，图像生成部201也可以将上述的辅助图像31的大小的变更和第1实施方式中说明的辅助图像31的显示位置的移动组合来生成显示用图像数据。

在第1实施方式的变形例1中，图像生成部201基于图标30a的大小来变更辅助图像31的大小。由此，用户12识别为图标30a与辅助图像31之间存在关联，能够将辅助图像31作为头绪而感知图标30a的位置。

＜2.调节辅助图像31的明亮度＞

图像生成部201可以以基于图标30a的y方向上的显示位置而使辅助图像31的明亮度不同的方式生成辅助图像数据。通常，实物与其影子所出现的面之间的铅垂方向上的距离越大则影子越淡，越近则影子越浓。图像生成部201通过控制影子区域的浓度即明亮度而在空中成像30与辅助图像31之间再现该现象。

图11的(a)是表示初始显示的图标30a和辅助图像31的图。将该情况下的图标30a与载台14之间的y方向上的距离设为hy1。该情况下，图像生成部201将影子区域的亮度相对于影子区域以外的区域的亮度设定为例如50％，并变更清晰度，由此生成辅助图像数据。图11的(b)示出图标30a的显示位置与初始显示的情况相比向y方向-侧发生了变更的情况。将该情况下的图标30a与载台14之间的y方向上的距离设为hy2(＜hy1)。图像生成部201通过基于相对于初始显示的情况下的图标30a与载台14的距离hy1的差值(hy1-hy2)，将影子区域的亮度设定成比初始显示的情况下的亮度低的值而变更清晰度来生成辅助图像数据。由此，通过投影器15将比初始显示的情况暗的辅助图像31投影到图标30a的下方。此外，在图11的(b)中，为了便于图示，通过将对辅助图像31赋予的点阵描绘得比图11的(a)的情况密，来表示将辅助图像31的亮度设定为低的值。

图11的(c)示出图标30a的显示位置与初始显示的情况相比向y方向+侧发生了变更的情况。将该情况下的图标30a与载台14之间的y方向上的距离设为hy3(＞hy1)。图像生成部201基于相对于初始显示的情况下的图标30a与载台14的距离hy1的差值(hy3-hy1)，将影子区域的亮度设定成比初始显示的情况下的亮度高的值来生成辅助图像数据。由此，通过投影器15将比初始显示的情况明亮的辅助图像31投影到图标30a的下方。此外，在图11的(b)中，为了便于图示，通过将对辅助图像31赋予的点阵描绘得比图11的(a)的情况粗，来表示将辅助图像31的亮度设定为低的值。

此外，在以上的说明中，说明了图像生成部201变更辅助图像31的明亮度的例子。图像生成部201也可以将辅助图像31的明亮度的变更、上述的辅助图像31的大小的变更和第1实施方式中说明的相对于辅助图像31的显示位置的移动适当组合来生成显示用图像数据。

在第1实施方式的变形例1中，图像生成部201基于图标30a的显示位置，对辅助图像31控制显示形态。例如，图像生成部201基于图标30a的y方向上的位置，来控制辅助图像31的显示形态。由此，用户12能够识别图标30a与辅助图像31之间的关联性。

另外，在第1实施方式的变形例1中，图像生成部201在图标30a的位置被变更了的情况下控制辅助图像31的亮度。即，使用辅助图像31将实际存在的物体与由该物体形成的影子之间的关系再现，因此，用户12能够识别图标30a与辅助图像31之间的关联性。

另外，在第1实施方式的变形例1中，图像生成部201在图标30a与辅助图像31之间的距离被变更为更长的距离的情况下，使辅助图像31明亮地显示。即，使用辅助图像31将实际存在的物体与影子所形成的面之间的距离越远则影子越变淡的现象再现，因此，用户12能够识别图标30a与辅助图像31之间的关联性。

＜3.辅助图像31追随空中成像30的显示位置的移动而移动＞

在图标30a的显示位置移动的情况下，图像生成部201可以以追随图标30a的移动而使辅助图像31也在载台14上移动的方式生成辅助图像数据。该情况下，显示装置1在用户12进行了规定手势的情况下，遵照该手势使空中成像30(图标30a)移动。该情况下，显示装置1具有图12的主要部分结构的框图所示的结构。即，显示装置1具有控制部20、由控制部20控制的摄像装置18、显示器11、成像光学系统9、操作检测器13和投影仪15。摄像装置18能够适用与在后详细说明的第1实施方式的变形例8的显示装置1所具备的摄像装置相同的结构。控制部20除了图2所示的第1实施方式的显示装置1的控制部20所具有的结构以外，还具备检测部212和决定部213。检测部212使用由摄像装置18生成的多个摄像数据，来检测由用户12做出的手势。决定部213基于检测到的手势，来决定空中成像30的移动方向和/或移动量。

正在视觉辨认由显示装置1形成的空中成像30的用户12在想要使空中成像30的位置移动的情况下，做出预先确定的特定手势。作为预先确定的特定手势，例如，在用户12想要使正在视觉辨认的空中成像30的位置向右侧(例如x方向+侧)移动的情况下，具有用户12将手或手腕向右方向(例如x方向+侧)摆动的动作、用户12向显示装置1的方向按压手指或手之后以向一定方向(x方向+侧)拨动的方式移动的滑动动作、将手指或手以向一定方向(x方向+侧)描画的方式移动的轻扫动作等。另外，在用户12想要使正在视觉辨认的空中成像30向近前侧(例如z方向+侧)移动的情况下，具有用户12将向前突出的手腕拉回到近前的动作、招手的动作等。

检测部212使用由摄像装置18拍摄得到的摄像数据，在摄像数据上检测用户12是否做出了上述手势。若通过检测部212检测到做出了手势，则决定部213决定使空中成像30移动的方向和移动量。该情况下，决定部213在用户12做出了将手或手腕向右方向(x方向+侧)摆动的手势的情况下，将用户12的手或手腕移动的x方向+侧决定为使空中成像30移动的方向。决定部213遵照做出手势时手或手腕的移动量来决定空中成像30的移动量。即，决定部213在用户12摆动手或手腕时的手或手腕的移动量小的情况下使空中成像30的移动量小，在手或手腕的移动量大的情况下使空中成像30的移动量大。或者，决定部213也可以从形成有空中成像30的位置移动到分开了预先确定的移动量的位置。即，无论用户12做出的手势的大小如何，空中成像30均以固定的移动量移动。该情况下，在空中成像30尚未移动到用户12所期望的位置的情况下，用户12反复进行同样的手势直至空中成像30移动到所期望的位置。

图像生成部201基于由决定部213决定出的空中成像30的移动方向和移动量，生成显示用图像数据，并且基于上述的移动方向和移动量来变更影子区域的位置，生成辅助图像数据。其结果为，空中成像30基于用户12做出的手势而在xy平面上移动，辅助图像31伴随空中成像30的移动，以在空中成像30的下方的载台14上移动的方式而被投影仪15投影。即，作为辅助图像31的影子图像追随空中成像30的移动而在空中成像30的下方在载台14上移动。

此外，在以上的说明中，说明了图像生成部201使辅助图像31追随空中成像30的移动而移动的例子。图像生成部201除了辅助图像31的移动以外，也可以将上述的辅助图像31的明亮度的变更、上述的辅助图像31的大小的变更、第1实施方式中说明的相对于辅助图像31的显示位置的移动适当组合来生成显示用图像数据。

在第1实施方式的变形例1中，图像生成部201在图标30a的位置发生了变更的情况下，追随图标30a的位置而变更辅助图像31的位置。由此，即使在图标30a发生了移动的情况下，用户12也能够感知图标30a的z方向上的位置。

＜4.基于空中成像30的沿着y方向的移动来变更辅助图像31的形状＞

图像生成部201可以以基于图标30a的y方向上的显示位置而使辅助图像31的大小和/或形状不同的方式生成辅助图像数据。通常，实物与其影子所出现的面之间的铅垂方向上的距离越大则影子越大、边缘越模糊(形状变化)，铅垂方向上的距离越小则影子越小、边缘越清楚(形状变化)。图像生成部201通过控制影子区域的大小和模糊量而在空中成像30与辅助图像31之间再现该现象。

图13的(a)与上述图11的(a)同样地，是表示初始显示的图标30a和辅助图像31的图，将图标30a与载台14之间的y方向上的距离设为hy1。该情况下，图像生成部201基于距离hy1将影子区域的大小放大，生成将影子区域的边缘部附近的模糊量设定为规定初始值的辅助图像数据。

图13的(b)示出图标30a的显示位置与初始显示的情况相比向y方向-侧发生了变更的情况。将该情况下的图标30a与载台14之间的y方向上的距离设为hy2(＜hy1)。图像生成部201基于相对于初始显示的情况下的图标30a与载台14的距离hy1的差值(hy1-hy2)，将影子区域的大小与初始显示的情况下的大小相比缩小，将模糊量设定为比初始值低的值而生成辅助图像数据。由此，通过投影器15将比初始显示的情况小、且边缘清楚的辅助图像31投影到图标30a的下方。此外，在图13的(b)中，以虚线示出初始显示时的辅助图像31，但实际上该辅助图像31既可以不被投影，也可以被以低亮度投影。

图13的(c)示出图标30a的显示位置与初始显示的情况相比向y方向+侧发生了变更的情况。将该情况下的图标30a与载台14之间的y方向上的距离设为hy3(＞hy1)。图像生成部201基于相对于初始显示的情况下的图标30a与载台14的距离hy1的差值(hy3-hy1)，将影子区域的大小与初始显示的情况下的大小相比放大，将模糊量设定为比初始值高的值(变更清晰度)而生成辅助图像数据。由此，通过投影器15将比初始显示的情况大且边缘模糊的辅助图像31投影到图标30a的下方。此外，在图13的(c)中，以虚线示出初始显示时的辅助图像31，但实际上该辅助图像31既可以不会被投影，也可以被以低亮度投影。

此外，在上述的说明中，图像生成部201基于图标30a的y方向上的位置来变更影子区域的大小和边缘部的模糊量，但也可以变更影子区域的大小和边缘部的模糊量中的某一方。

另外，图像生成部201在变更影子区域的大小和边缘部的模糊量时，可以将上述的辅助图像31的移动、上述的辅助图像31的明亮度的变更、上述的辅助图像31的大小的变更和第1实施方式中说明的相对于辅助图像31的显示位置的移动适当组合来生成显示用图像数据。

在第1实施方式的变形例1中，图像生成部201在图标30a的位置的变更为y方向的情况下，控制辅助图像31的大小或形状。由此，使用辅助图像31再现了实际物体与影子的关系性，用户12容易掌握图标30a与辅助图像31的关系。

另外，在第1实施方式的变形例1中，图标30a与辅助图像31之间的距离越远，则图像生成部201使辅助图像31的大小越大。即，使用辅助图像31将实际存在的物体与影子所形成的面之间的距离越远则影子越变大的现象再现，因此，用户12能够识别图标30a与辅助图像31之间的关联性。

此外，图像生成部201也可以如上述那样基于图标30a的y方向上的显示位置来控制辅助图像31的大小或形状，从而使用户12感知为好似图标30a的位置进行了移动。

该情况下，显示装置1具有后述的第3实施方式和其变形例(参照图33～图35)及第4实施方式(参照图36、图38)所示那样的显示器11和成像光学系统9。

检测基准控制部204在载台14的上方(y方向+侧)的操作检测器13的检测范围13a内将检测基准40设定为与zx平面平行。该情况下，用户12进行使手指从y方向+侧向-侧移动的按下操作，然后再次以向y方向+侧返回的方式移动。即，操作检测器13检测用户12对空中成像30进行的按下操作的在成像光学系统9的光轴方向上的到达位置。投影仪15与第1实施方式同样地将辅助图像31投影到配置于空中成像30的图标下方(y方向-侧)的载台14上。此外，根据来自投影仪15的投影光，调整投影方向，以使得用户12进行操作的手指等不会作为影子映于载台14上。

图14的(a)～(c)示意地示出该情况下显示的空中成像30和辅助图像31。图14的(a)示出初始显示了图标30a和辅助图像31的情况。该情况下，图像生成部201基于距离hy1将辅助图像31的大小相对于图标30a的大小放大，以使辅助图像31的模糊量成为规定的初始状态的方式生成辅助图像数据。

说明感知为从图14的(a)所示的初始显示的状态将图标30a相对于成像光学系统9的光轴方向向远离用户12的方向进行了移动的情况。用户12按下手指的操作的到达位置与检测基准40相比靠上方(y方向+侧)的情况下，图像生成部201变更辅助图像31的显示形态。如图14的(b)所示，图像生成部201以辅助图像31的大小变得比虚线所示的初始显示的辅助图像31小、且成为相当于浓度浓的影子的图像的方式，生成辅助图像数据。该情况下，用户12视觉辨认辅助图像31的显示形态，感知为犹如图标30a向y方向-侧进行了移动。由此，可期待用户12进行操作的到达位置、指定位置更靠y方向-侧。

说明感知为从图14的(a)所示的初始显示的状态将图标30a相对于成像光学系统9的光轴方向向接近用户12的方向进行了移动的情况。在用户12按下手指的操作的到达位置比检测基准40靠下方(y方向-侧)的情况下，图像生成部201变更辅助图像31的显示形态。如图14的(c)所示，图像生成部201以辅助图像31的大小变得比虚线所示的初始显示的辅助图像31大、且成为相当于浓度淡的影子的图像的方式，生成辅助图像数据。该情况下，用户12视觉辨认辅助图像31的显示形态，感知为犹如图标30a向y方向+侧进行了移动。由此，可期待用户12进行操作的到达位置、指定位置更靠y方向+侧。

＜5.与空中成像30的俯仰(pitch)方向上的移动相应的变更＞

说明在空中成像30不显示于与xy平面平行的面内的情况下、即在空中成像30相对于zx平面以规定的倾斜角度θ0(＜90°)倾斜而显示的情况下、即在相对于垂直方向(y方向)倾斜地显示的情况下的作为图标30a的影子图像的辅助图像31。

图15中示意地示出该情况下的图标30a和辅助图像31。图15的(a)示出初始显示，图15的(b)示出图标30a远离用户12的情况下的显示，图15的(c)示出图标30a接近用户12的情况下的显示。

在这样的空中成像30中，图像生成部201以使用户12感知为犹如使图标30a沿着与相对于zx平面具有规定斜率的平面正交的方向、即箭头ar1移动的方式生成辅助图像数据。此外，箭头ar1的方向不限定于与相对于zx平面具有规定斜率的平面正交的方向，只要是与相对于zx平面具有规定斜率的平面相交的方向即可。

如上述那样，通常，实物与其影子所形成的面之间的铅垂方向上的距离越大则影子越大、边缘越模糊，距离越近则影子越小、边缘越清楚。另外，在实物的移动不是沿铅垂方向的情况下，形成的影子的形状会歪斜，铅垂方向上的距离越大则歪斜程度越大。

在图15所示的例子中，图像生成部201用辅助图像31表示上述现象。在图15所示的例子中，从图标30a的下边(y方向-侧的边)到载台14为止的距离比从图标30a的上边(y方向+侧的边)到载台14为止的距离短。即，图标30a的下边的影子比图标30a的上边的影子短。因此，在图15所示的例子中，图标30a形成于载台14上的影子的形状、即由图像生成部201生成的影子区域的形状成为下底比上底短的梯形形状。

说明感知为从图15的(a)所示的初始显示的状态使图标30a以远离用户12的方式沿着箭头ar1进行了移动的情况。该情况下，如图15的(b)所示，图像生成部201生成使影子区域的大小比虚线所示的初始显示的辅助图像小、且使形状从初始显示的梯形形状歪斜的辅助图像数据。说明感知为从图15的(a)所示的初始显示的状态使图标30a以接近用户12的方式进行了移动的情况。该情况下，如图15的(c)所示，图像生成部201生成使影子区域的大小比虚线所示的初始显示的辅助图像大、且形状从初始显示的梯形形状歪斜的辅助图像数据。

另外，图像生成部201在使影子区域的形状歪斜时，也可以进行上述的影子区域的亮度的变更。

另外，在以上的说明中，图像生成部201在使影子区域的形状歪斜的情况下，可以将上述的辅助图像31的追随空中成像30的移动、辅助图像31的明亮度的变更、上述的辅助图像31的大小的变更、第1实施方式中说明的相对于辅助图像31的显示位置的移动适当组合来生成显示用图像数据。

在第1实施方式的变形例1中，图像生成部201在图标30a相对于垂直方向(y方向)更倾斜地显示的情况下，控制辅助图像31的形状。由此，使用辅助图像31再现了实际物体与影子的关系性，用户12容易掌握图标30a与辅助图像31的关系。

此外，图像生成部201在第1实施方式中使辅助图像31显示时，也可以单独地附加上述的变形例1的各种显示形态的变更，还可以将多个显示形态的变更组合附加。

另外，在上述第1实施方式和变形例1的各例中，作为辅助图像31而举出影子图像为例，但作为辅助图像31也能够适用影子图像以外的图像。例如，图像生成部201可以如图16的(a)所示，生成使图标30a的下方的辅助图像31明亮、使其他区域暗这样的辅助图像数据。

该情况下，图像生成部201可以生成图标30a犹如从下方被照明这样的显示用图像数据。例如，可以使图像生成部201再现在暗的场所照明具有指向性的光的情况下观察到如同光线(光芒)那样的现象。

图16的(b)中示意地示出该情况下的空中成像30和辅助图像31。图像生成部201将白色等与包含图标30a在内的沿y方向延伸的区域r重叠来生成显示用图像数据。由此，使用户12视觉辨认为在空中成像30中，犹如从载台14对图标30a进行照明的光朝向y方向+侧延伸的光线。

此外，在图16所示的例子中，也可以将投影仪15配置在载台14的下部(y方向-侧)，并朝向y方向+侧对投影光进行投影。该情况下，载台14只要使用透明材料制造即可。

(第1实施方式的变形例2)

上述第1实施方式和其变形例1的显示装置1在用户12的指尖为了对图标的显示位置进行操作而朝向里侧(z方向-侧)进行操作后以规定距离向近前(z方向+侧)移动了的情况下，将移动到最里侧的位置设为到达位置。然后，显示装置1基于到达位置与检测基准之间的距离，变更辅助图像的显示位置。与之相对，变形例2的显示装置1可以基于操作检测器13的检测输出，计算出用户12的指尖f的速度或加速度，并基于计算出的速度或加速度来预测指尖f的到达位置。然后，显示装置1也可以基于该预测到达位置与检测基准之间的距离来变更辅助图像的显示位置。图17是表示本变形例3的显示装置1的结构中、控制部20和由控制部20控制的显示器11及操作检测器13的框图。

上述第1实施方式和其变形例1的显示装置1在用户12的指尖为了对图标的显示位置进行操作而朝向里侧(z方向-侧)进行操作后以规定距离向近前(z方向+侧)移动了的情况下，将移动到最里侧的位置设为到达位置。然后，显示装置1基于到达位置与检测基准之间的距离，变更辅助图像的显示位置。与之相对，变形例2的显示装置1可以基于操作检测器13的检测输出，计算出用户12的指尖f的速度或加速度，并基于计算出的速度或加速度来预测指尖f的到达位置。然后，显示装置1也可以基于该预测到达位置与检测基准之间的距离来变更辅助图像的显示位置。图17是表示本变形例3的显示装置1的结构中、控制部20和由控制部20控制的显示器11及操作检测器13的框图。

接下来，参照图18及图19说明基于变形例2的显示装置1进行的第1校准处理模式。在图19的流程图中，步骤s104至步骤s107以外的步骤与图7的流程图相同，因此省略说明。如图18的(a)所示，当指尖f进入到操作检测器13的规定的检测范围13a内时，在步骤s104中操作检测器13将指尖f的移动检测为静电容值的变化。在步骤s105中，速度和加速度检测部206基于操作检测器13的检测输出计算出指尖f的移动速度或加速度。在步骤s106中，到达位置预测部207基于速度和加速度检测部206计算出的移动速度或加速度来计算指尖f的到达位置。在图18的(b)中，以点线60表示到达位置预测部207计算出的即预测出的手指的到达位置。在步骤s107中，当图像生成部201如图18的(b)所示那样基于预测到达位置60变更辅助图像31的显示位置时，图像生成部201将表示辅助图像31的显示位置的移动量的数据存储到存储部205。在之后的步骤s110中，基于该存储的数据，图像生成部201生成将辅助图像31的显示位置变更后的显示用图像数据，投影仪15将其作为空中成像操作模式的辅助图像31进行投影。此外，为了预测手指的到达位置，既可以使用手指的移动速度和加速度这两方，也可以使用其中某一方。

此外，在上述说明中，速度和加速度检测部206按每规定时间读出由操作检测器13检测的静电容值，根据平均规定时间的静电容值的变化计算出手指的移动速度，并且根据计算出的速度来计算手指的移动加速度。但是并不限于该方法，作为速度和加速度检测部206也可以使用摄像装置。另外，在上述的说明中，速度和加速度检测部206计算出用户12的手指的移动速度或加速度，但除此以外，也可以是用户12的脚或肘、用户12所持的触控笔。

此外，基于计算出的用户12的手指的移动速度或加速度，到达位置预测部207计算出用户12的手指的预测到达位置60，图像生成部201基于用户12的手指的预测到达位置60变更辅助图像31的显示位置。但是，到达位置预测部207无需对每次操作均决定用户12的手指的预测到达位置60。在用户12进行操作前非意图性地动作了的情况下，若基于该动作而使到达位置预测部207计算出预测到达位置60，则会频繁变更辅助图像31的显示位置等而难以将用户12的指尖f引导到恰当的位置。为了防止上述那样的情况，可以是仅在速度和加速度检测部206检测到规定阈值以上的用户12的手指的移动速度及加速度的情况下，使到达位置预测部207计算出预测到达位置60，图像生成部201基于预测到达位置60来变更辅助图像31的显示形态。

在变形例2中，基于手指的移动的速度、加速度来预测手指的到达位置50。由此，能够迅速地进行校准处理。

如上所述，关于本变形例中的校准处理，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式。该情况下，在以第1实施方式说明的图9所示的流程图中，在步骤s24之后，进行图19所示的流程图的步骤s105～步骤s106。然后，不进行图9的步骤s27及步骤s29，在步骤s28及步骤s32中，基于计算出的预测到达位置60，变更辅助图像31的位置。

在将本变形例3适用于第2校准处理模式的情况下，能够在空中成像操作过程中、用户12的指尖f到达检测基准40之前事先预测指尖f的到达位置，并基于预测出的到达位置来变更空中成像30的显示形态。因此，能够将用户12的指尖f未到达检测基准40而没有产生图标显示切换等的误操作防止于未然，能够使用户12进行舒适的操作。

(第1实施方式的变形例3)

第1实施方式及变形例1、2的显示装置1在一次校准处理中检测或预测到达位置，图像生成部201基于该到达位置50与检测基准40之间的距离来变更辅助图像31的显示位置。取而代之，变形例3的显示装置1中，基于在多次校准处理中分别检测出到达位置与检测基准之间的距离，图像生成部201变更空中成像操作模式中的辅助图像31的显示位置。

在第一次的校准处理中，检测基准控制部204基于操作检测器13的检测输出来判定手指的到达位置50。图像生成部201基于该到达位置50，计算出辅助图像31的显示位置的移动量。图像生成部201将表示该计算出的移动量的数据存储到存储部205。接着进行第2次的校准处理，并同样地将表示移动量的数据存储到存储部205。进一步地，可以接着进行第三次的校准处理。根据通过这样连续进行的多次校准处理而存储于存储部205的表示多个移动量的数据，图像生成部201决定空中成像操作模式中的辅助图像31的一个移动量。

对于使用这些表示多个移动量的数据来决定一个辅助图像31的显示位置，考虑各种步骤。例如，图像生成部201既可以将辅助图像31的移动量取算术平均，对辅助图像31用计算出一个移动量，也可以将辅助图像31的移动量取几何平均而计算出一个移动量。另外，图像生成部201还可以对多个移动量分别适当加权来决定新的移动量。例如，图像生成部201可以对从第n次操作求出的移动量hn和从n+1次操作求出的移动量hn+1以3：7的比例加权来计算出辅助图像31用的移动量。具体地说，图像生成部201使用hn和hn+1进行(hn×3+hn+1×7)/10这一计算，基于其结果来计算出辅助图像31用的移动量。加权不限于3：7，另外，操作次数也不限于两次。当然，不是在每次校准处理中都基于手指的到达位置计算出移动量并分别存储到存储部205，可以将每多次校准处理中检测到的手指的到达位置分别存储到存储部205，并基于该存储的多个到达位置，计算出辅助图像31用的一个移动量。

另外，校准处理在到达位置50与检测基准40的间隔为规定值以下的情况下，即，在到达位置50为检测基准40附近的情况下，图像生成部201可以不进行辅助图像31的显示位置的变更。

而且，在校准处理中，图像生成部201可以不在每次校准处理中均进行辅助图像31的显示位置的变更。在多次校准处理中，根据判定了到达位置50的次数和判定了到达位置50实际到达检测基准40的次数，控制部20计算出对图标的显示位置的操作失败的次数。可以在判定为失败了规定次数以上时，图像生成部201变更辅助图像31的显示位置。

如上所述，关于本变形例中的校准处理，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述各变形例1、2。

在变形例3中，在上述校准处理中，控制部20检测用户12对空中成像30的图标30a的显示位置进行操作时通常进行的自然操作动作，来判定到达位置50。即控制部20检测用手指将图标向里侧压入后将指向返回近前的方向移动的动作、当手指与图标接触时将其向里侧压入并短时间停止的动作等来判定到达位置50。由此，用户12不会注意在校准处理中进行了到达位置50的检测和判定，因此用户12能够无意识地执行校准处理。

(第1实施方式的变形例4)

在第1实施方式中，操作检测器13检测用户12的手指对空中成像30的显示位置的操作来判定到达位置50，图像生成部201基于到达位置50进行辅助图像31的显示位置的变更。但是，也可以是，用户12对感到操作了空中成像的图标的显示位置的手指位置进行指定，检测基准控制部204判定该指定位置，图像生成部201基于指定位置来变更辅助图像31的显示位置。以下，说明用户12将对空中成像30的显示位置进行操作的位置指定为指定位置的变形例。此外，以下的说明中，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～4。

以下说明变形例4的显示装置。当显示装置1被起动、用户12对校准处理模式选择用的操作按键进行操作而选择了第1校准处理模式后，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，显示器11基于该显示用图像数据而显示校准用的显示图像。图20示出该校准用的显示图像的空中成像300。空中成像300包括校准用图标300b，该校准用图标300b重叠显示有消息“进行校准。请用手指指示该图标的位置并在该状态下使手指沿横向移动”。另外，如图21的(a)所示，检测基准控制部204将检测基准40设定于空中成像300附近的初始位置。

在图21的(a)中，用户12为了遵照重叠显示于图标300b的消息来操作图标300b的显示位置，而使指尖f朝向图标300b、向z方向-侧压入的方向移动，当指尖f到达图2的操作检测器13的静电容检测范围13a时，操作检测器13将该用户12的手指f向图标300b的接近移动、即向z方向-侧的移动检测为静电容的变化。

用户12在进一步使手指f向压入z方向-侧的方向移动而感到指尖f到达了空中成像300的图标300b的显示位置时，使手指f沿着空中成像300的显示面在横向即xy平面上移动。操作检测器13检测该手指f向压入方向的移动及横向上的移动。检测基准控制部204判定出检测到手指向压入方向的移动的操作检测器13检测到手指f的横向上的移动这样情况，将从向压入方向的移动变化为横向移动时的手指f的在z方向上的位置判定为指定位置50a。图像生成部201基于该指定位置50a，变更辅助图像31的显示位置、即计算出辅助图像31的显示位置的移动量。将表示该变更的移动量的数据存储到存储部205。此外，指定位置50a在图21的(b)中被例示为空中成像300的z方向上的位置，但由于指定位置50a是用户12感到指尖f到达了空中成像300的图标300b时的位置，所以有时被指定为与空中成像300一致的位置，或者，有时也被指定为比空中成像300靠z方向-侧的位置。

此外，检测基准控制部204在以上说明中将手指f从向压入方向的移动变化为横向移动时的手指的z方向上的位置判定为指定位置50a，但不限于此。检测基准控制部204也可以将例如手指f从向压入方向的移动变化为横向移动且该横向移动结束时的手指f在z方向上的位置判定为指定位置50a。另外，检测基准控制部204还可以将从手指f的横向移动开始到横向移动结束为止的、手指f在z方向上的位置的平均值或中央值等设为指定位置50a。像这样，通过检测基准控制部204来检测作为操作被检测出的位置的指定位置50a。

参照图22所示的流程图来说明上述说明的变形例4的校准处理。此外，图22的流程图示出步骤s121～步骤s129，并省略了其以后的步骤。步骤s129以后的处理与图19所示的流程图的步骤s109以后的处理相同。

步骤s121～步骤s124的各处理与图7所示的流程图中的步骤s1～步骤s4的各处理相同。在步骤s126中，操作检测器13检测用户12的手指的横向移动。在步骤s127中，检测基准控制部204基于操作检测器13的检测输出，判定出手指f从向压入方向的移动变化为横向移动，将该变化时的手指f的位置判定为指定位置50a。图像生成部201基于指定位置50a，变更辅助图像31的显示位置，并将表示显示位置的移动量的数据存储到存储部205，然后进入步骤s128。在步骤s128中，结束第1校准处理模式，然后进入步骤s129。在步骤s129中，开始空中成像操作模式。在该空中成像操作模式中，图像生成部201基于从存储部205读出的表示移动量的数据，变更辅助图像31的显示位置。

此外，在以上的说明中说明了第1校准处理模式中的处理，但在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤s24中检测用户12对图标30a的操作，检测基准控制部204在检测到手指f从向压入方向移动变化为横向移动的情况下，在步骤s27及步骤s29中取代判定到达位置而判定指定位置50a。在步骤s29中判定出指定位置50a的情况下，在步骤s29中检测基准控制部204判定指定位置50a是否与检测基准40一致。

在变形例4中，用户12根据使手指f从向压入方向移动变化为横向移动这一情况来指定在校准处理中感到手指f对空中成像300的显示位置进行了操作的位置。像这样，通过由用户12将感知为对图标300b的显示位置进行了操作的位置指定为指定位置，而显示装置1进行校准处理，因此能够准确地进行校准处理。另外，关于根据手指f从向压入方向移动变化为横向移动来对指定位置进行指定，操作性好，能够迅速地进行校准处理。

(第1实施方式的变形例5)

在变形例4的显示装置1中，用户12将认为用指尖对图标的显示位置进行了操作的位置设为指定位置，根据使手指从向压入z方向-侧的方向移动变化为向横向移动这一情况进行指定。变形例5的显示装置1中，用户12通过操作其他图标来指定认为用指尖对图标的显示位置进行了操作的位置。接下来说明该校准处理。此外，关于说明，对适用于第1实施方式中的第1校准处理模式的情况进行说明，但也能够适用于第2校准处理模式和上述变形例1～5。

当显示装置1被起动、用户12对校准处理模式选择用的操作按键进行操作而选择第1校准处理模式后，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，显示器11基于该显示用图像数据而显示校准用的显示图像。该情况下，空中成像300包含第1实施方式的变形例4的图20所示的校准用图标300b和显示于图标300b附近(例如x方向-侧)的其他图标。在校准用图标300b上，取代图20所示的消息而重叠显示例如“进行校准。请用右手手指指示该图标的位置。请在用右手手指指示的状态下用左手手指触摸左侧的图标”。

用户12为了遵照重叠显示于图标300b的消息而对图标300b的显示位置进行操作，而使右手的指尖f向图标300b的方向移动。当用户12的指尖到达操作检测器13的静电容检测范围13a时，操作检测器13将用户12的手指向该图标300b的显示位置的接近移动、即向z方向-侧的移动检测为静电容的变化。用户12进一步使手指向z方向-侧移动，在感到指尖f对空中成像300的图标300b的显示位置进行了操作的时间点，想要遵照消息用左手的指尖f对其他图标的显示位置进行操作，而使左手的指尖向其他图标的方向移动。操作检测器13检测朝向其他图标的指尖f的移动。检测基准控制部204根据操作检测器13检测到用户12的手指位于其他图标之上这一情况，将该时间点的右手的指尖f的位置判定为指定位置50a。与第1实施方式的情况同样地，图像生成部201基于指定位置50a而计算出辅助图像31的显示位置的移动量。图像生成部201将表示计算出的辅助图像31的显示位置的移动量的数据存储到存储部205。

此外，由于将感到进行了该操作时的位置判定为指定位置，所以无需将对图标300b的显示位置进行操作的右手的手指向接近空中成像300的z方向-侧移动。但是，对左侧的其他图标的显示位置进行操作的左侧的手指只要是将手指定位于其他图标的z方向+侧或-侧即可，因此，用户12并非必须使左手的手指向z方向-侧移动。左手的手指可以在与例如空中成像300的平面平行的方向即横向上移动直至横向移动到其他图标的z方向+侧或-侧的位置。

另外，用户12并非必须使用左手的手指和右手的手指，只要以能够在校准用空中成像300的图标300b和其他图标这两方上检测到上述动作的方式进行操作即可。例如，用户12可以使用一只手的两根手指。另外，在该变形例5中，还能够取代用户12对其他图标的显示位置进行操作，而构成为按压设于显示装置1的未图示的决定按键。

而且，检测基准控制部204还可以取代将用户12对其他图标的显示位置进行操作或对未图示的决定按键进行按压的时间点的右手的指尖的位置判定为指定位置，而是将检测到用户12用例如左手进行了规定手势这一情况时的右手的指尖位置判定为指定位置。该情况下，显示装置1具备后述的变形例8的摄像装置18(参照图24、25)，使用由该摄像装置18获取的图像来检测用户12的手势(例如将手从石头变为布)。

关于上述说明的校准处理，参照第1实施方式的变形例4的图22所示的流程图进行说明。以下仅说明主要变更，对于进行相同处理的步骤省略说明。该情况下，在图22的步骤s123中，显示图标300b和其他图标，在步骤s124中，操作检测器13开始检测用户12的右手的指尖向z方向-侧的移动。在用户12使手指进一步向z方向-侧移动并感到指尖对空中成像300的图标300b的显示位置进行着操作的时间点，用左手的指尖对其他图标的显示位置进行操作。在步骤s127中，将左手对其他图标的显示位置进行操作的时间点下的右手的指尖位置设为指定位置50a，图像生成部201基于指定位置50a，变更辅助图像31的显示位置，并将该变更后的辅助图像31的移动量的数据存储到存储部205。

此外，在以上的说明中说明了第1校准处理模式下的处理，但在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤s24中，设为在检测基准控制部204正在检测基于用户12的右手对图标30a的操作的状态下，检测基准控制部204检测到基于左手对其他图标的显示位置的操作。该情况下，检测基准控制部204取代在步骤s27及步骤s29中判定到达位置，而将用户12的右手的指尖位置判定为指定位置50a。在步骤s30中，判定在步骤s29中判定出的指定位置50a是否与检测基准40一致。

在变形例5中，用户12通过对其他图标或显示装置1的决定按键进行操作来指定指定位置，该指定位置指定在校准处理中手指对图标进行操作的位置。像这样由于使用户12指定用户12感知图标300b的位置，所以显示装置1能够准确地进行校准处理。另外，关于通过其他图标或显示装置的按键操作来指定这样的指定位置，能够迅速地进行校准处理。

(第1实施方式的变形例6)

变形例6的显示装置根据在用户12认为用指尖对图标的显示位置进行了操作后，用户12使手指停止规定时间这一情况来指定指定位置。此外，本变形例说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～5。

该情况下，在校准用的空中成像所包含的图标上重叠显示有消息“进行校准。请指示该图标的位置。请暂时保持指示状态。”。若用户12感到对图标的显示位置进行了操作并在短期间内停止手指的移动，则操作检测器13检测到手指的下降移动停止了规定时间这一情况。检测基准控制部204基于此时的操作检测器13的检测输出，将手指的停止位置判定为指定位置。

该指定位置的判定如以下那样进行。即，根据正在朝向z方向-侧移动的指尖f停止并在z方向上的较小的规定停止范围内滞留了规定时间以上这一情况，判定为对图标300a的显示位置进行了操作。像这样，根据指尖f在规定停止范围内停留规定时间以上这一情况而判定为指尖f对图标300a的显示位置进行了操作的理由如下。即，由于用户12的操作是对空中成像300的图标300a的显示位置的操作，所以与对触摸面板的操作不同，存在指尖f在图标300a的显示位置不会完全停止的可能性。此外，用于判定指定位置的规定停止范围被设定成与操作检测器13的静电容的检测范围13a相比充分小的值例如5mm，另外，规定时间被设定为例如2秒左右。

在变形例6中，用户12通过使指尖f停止来指定指定位置，该指定位置在校准处理中指定手指对图标进行操作的位置。像这样由于使用户12指定用户12感知图标300a的位置，所以显示装置1能够准确地进行校准处理。

(第1实施方式的变形例7)

变形例7的显示装置通过发出声音来指定用户12认为用指尖对图标的显示位置进行了操作的指定位置。此外，该变形例说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～6。

图23是表示本变形例的显示装置1的结构中的控制部20和由控制部20控制的显示器11及操作检测器13的框图。在该显示装置1中包含集音器19，在控制部20中具备语音检测部208。集音器19对显示装置1的周围的声音进行收集，并作为语音数据输出到语音检测部208。作为集音器19能够使用市场销售的麦克风。语音检测部208对来自集音器19的语音数据进行识别，判断该语音数据是否相当于“是(ハイ)”。

在图23中，当校准部203起动第1校准处理模式后，图像生成部201生成显示用图像数据，基于该显示用图像数据，显示器11显示校准用的显示图像。该情况下，空中成像300包含第1实施方式的变形例4的图20所示的校准用图标300b。在该校准用图标300b上，取代图20所示的消息，而重叠显示有“进行校准。在触摸了该图标时请发出“是”的声音”。

用户12为了遵照重叠显示于图标300b的消息对图标300b的显示位置进行操作，而将指尖朝向图标300b的方向移动。用户12在认为指尖触摸了图标300b时，遵照消息发出“是”的声音。操作检测器13检测指尖向z方向-侧的移动。集音器19对该声音进行收集，并作为语音数据输出到语音检测部208。若语音检测部208判定语音数据与“是”对应，则检测基准控制部204将该时间点下由操作检测器13检测出的指尖位置判定为指定位置50a。图像生成部201基于判定出的指定位置50a，与第1实施方式的情况同样地，计算出辅助图像31的显示位置的移动量，变更显示位置。图像生成部201将表示计算出的移动量的数据存储到存储部205。

关于上述说明的校准处理，参照第1实施方式的变形例4的图22所示的流程图进行说明。变更点为图22的步骤s126，因此重点说明图22的步骤s126，省略其他步骤的说明。在图22的步骤s126中，语音检测部208基于集音器19的输出，判定用户12是否发出“是”。在步骤s126中进行了肯定判定的情况下，即在判定为用户12认为对图标300b进行了触摸并发出“是”的声音的情况下，检测基准控制部204将语音检测部208判定出语音“是”的时间点下的指尖位置决定即判定为指定位置50a。

此外，在以上的说明中说明了第1校准处理模式中的处理，在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤s24中检测用户12对图标30a的操作，在语音检测部208判定出语音“是”的情况下，检测基准控制部204取代在步骤s27及步骤s29装置判定到达位置，而判定为指定位置50a。在步骤s30中，判定在步骤s29中判定出的指定位置50a是否与检测基准40一致。

在变形例7中，用户12通过发出声音来指定认为对图标的显示位置进行了操作的手指位置、即指定位置。通过由用户12发出声音来指定到达位置，显示装置1能够迅速地进行校准处理。

此外，也可以是，显示装置1不具备集音器19，利用有线方式或无线方式输入由外部集音装置获取的语音数据，语音检测部208使用从外部集音装置输入的语音数据进行语音检测。

(第1实施方式的变形例8)

在上述说明中，通过由静电容面板构成的操作检测器13来检测用户12的指尖向下方的移动，但也可以利用摄像装置来检测用户12的指尖位置。变形例8的显示装置1如图24的(a)所示，作为操作检测器而具备摄像装置(例如数码相机)18，该摄像装置18配置于显示装置1的上表面。图24的(b)中示出这样的显示装置1的框图。

图24的(b)中示出框图的显示装置1在控制部20中具备图像解析部209。摄像装置18对位于显示器11上方的物体、即用户12的手指进行拍摄，拍摄得到的拍摄图像被输入到图像解析部209。图像解析部209对从摄像装置18输入的拍摄图像进行解析而求出用户12的指尖位置。即，图像解析部209根据拍摄图像内的手指的像的位置，判定用户12的指尖正在对多个图标中的哪个图标进行操作。而且，图像解析部209通过将拍摄图像内的手指的像的大小与基准的手指的大小、具体地说事前拍摄到的规定高度位置处的手指的大小进行比较，来判定手指的高度位置、即手指的下降位置。由此，求出用户12的指尖在三维空间的位置。通过这样的结构，变形例8的显示装置1能够根据对摄像装置18的拍摄图像的解析而得到与由使用静电容面板的操作检测器13求出的关于指尖位置的信息相同的信息。因此，变形例8的显示装置能够取代在上述第1实施方式及各种变形例1～7中说明的静电容面板而使用摄像装置18，来进行与上述实施方式及变形例相同的处理。

变形例8的显示装置1中，图像解析部209根据拍摄图像中的手指的大小而计算出手指的高度位置，也能够取而代之，摄像装置18通过搭载于数码相机的相位差式焦点检测装置和图像识别装置，来检测手指的高度位置。具体地说，能够由图像识别装置识别手指，由相位差式焦点检测装置对由图像识别装置识别出的手指检测散焦量，并根据该散焦量计算出手指的高度位置。另外，即使取代相位差式焦点检测装置而使用搭载于数码相机的对比度检测式焦点检测装置，也能够同样地检测手指的高度位置。

作为摄像装置18，能够取代相位差式焦点检测装置和对比度检测式焦点检测装置，而适当使用搭载了tof(timeofflight：飞行时间)装置的相机。tof相机从相机主体射出红外线，接收被对象物反射而入射到tof相机的红外线，根据射出光与接收光的相位变化，计算出从tof相机到对象物的距离。因此，通过将测定对象物设为用户12的指尖，从tof相机朝向用户12的指尖射出红外光，并接收来自指尖的反射光，能够求出从tof相机到用户12的指尖的距离。此外，作为摄像装置18的摄像镜头，为了覆盖空中成像30整体而优选采用广角镜头，但也可以采用鱼眼镜头。另外，还可以搭载多个(例如两个)的摄像装置并利用它们的拍摄图像来进一步检测用户12的指尖位置。

图25中示出显示装置1中装备了tof相机的例子。图25仅示出显示装置1的内部结构，省略了显示装置的主体。在图25中，在主体10的表面设有用于配置tof相机118’的空间，在该空间配置tof相机118’。tof相机118’通过在规定范围内扫描红外线，对用户12的指尖照射红外线，根据其反射光的相位变化，来测定从tof相机118’到用户12的指尖的距离。基于该距离和红外线的射出方向，能够求出用户12的指尖相对于tof相机118’在三维空间的位置。即，求出指尖位置相当于空中成像面内的哪一位置，另外，求出指尖位置从显示装置1的表面分离多远。由此，能够根据基于tof相机118’得到的测距结果获得与基于静电容面板得到的指尖位置的检测信息相同的信息。此外，作为上述说明，说明了在显示装置1的表面上设有用于配置tof相机118’的空间且在该空间配置tof相机118’这样的结构，但不限于此，也可以是将tof相机118’设置于显示器11外部这样的结构。

如图25所示，在变形例8的显示装置1中，空中成像30也形成于从显示装置1的载台14的z方向-侧的端部14z离开距离h1的位置，检测基准40被设定于从载台14的z方向-侧的端部14z离开距离h2(h1＜h2)的位置。tof相机118’在载台14的上方(y方向+侧)，在z方向具有用于检测用户12的指尖位置的检测范围13a。在图25中，以虚线13a示出tof相机118’在z方向+侧能够拍摄的范围的界限，该检测界限13a与载台14的端部14z的间隔被示为检测范围13a。在变形例8中也与上述第1实施方式和变形例1～8的情况同样地，设定为空中成像30和检测基准40位于检测范围13a内。此外，检测基准40在图25中被设定为与空中成像30相比靠z方向+侧，但只要在检测范围13a内即可，也可以比空中成像30靠z方向-侧，或与空中成像30的位置一致。另外，在变形例8中也同样，检测范围13a内的被设定为检测基准40的区域以外的范围为检测基准外范围41。此外，检测范围13a并不限定被设为tof相机118’能够拍摄的范围的界限，也能够设定为能够拍摄的范围中的除去一部分范围(例如图25中的左右方向的端部的规定范围)后的范围。

在上述说明中，本变形例8的显示装置1取代作为操作检测器13的静电容面板而具备摄像装置18。但是，显示装置1也可以一并具备操作检测器13和摄像装置18。该情况下，例如，将图3的(c)所示的操作检测器13的检测范围13a以z方向+侧和-侧分为两个部分，形成z方向-侧的检测范围(接近载台14的端部14z的检测范围)和z方向+侧的检测范围(远离载台14的端部14z的检测范围)。能够将z方向-侧的检测范围设为静电容面板的检测范围，将z方向+侧的检测范围设为摄像装置18的检测范围。根据这样的结构，在用户12为了对显示位置进行操作而使手指从z方向+侧进行了移动时，摄像装置18检测该手指的移动的前半部分，静电容面板检测该手指的移动的后半部分。通常，静电容面板能够高精度地检测载台14的端部14z的附近范围，相反地，存在摄像装置18难以对载台14的端部14z的附近范围进行拍摄的情况。因此，优选如上述那样分担静电容面板的检测范围和摄像装置18的检测范围。此外，对检测范围13a分成两部分不限于将检测范围13a沿z方向二等分的情况，可以不均等得划分。另外，操作检测器13不限于静电容面板和摄像装置18，能够使用其他接近传感器等。因此，在将检测范围13a划分的情况下，能够由各种操作检测器13分担划分后的检测范围。

图17所示的速度和加速度检测部206也能够基于图25的tof相机118’的拍摄图像计算出手指的移动速度、加速度。因此，在将检测范围13a划分的情况，也能够按上方及下方的检测范围，计算出手指的移动速度、加速度，到达位置预测部207预测手指的到达位置。

另外，也可以取代在第1实施方式和其变形例1～8中说明的成像光学系统9，而由半透半反镜和逆反射部件构成。逆反射部件由配置例如多个直角三角锥体的立体棱镜并将入射的光再次朝向同一光路反射的反射材料制造。在使用这样的结构的情况下，来自显示器11的光在半透半反镜被反射(或透过半透半反镜)，入射到逆反射部件，并被朝向同一光路反射。来自逆反射部件的光一边在同一光路上前进一边成像。来自逆反射部件的光再次入射到半透半反镜，透过半透半反镜(或被半透半反镜反射)，在与显示器11共轭的位置成像，由此形成空中成像。

此外，在上述第1实施方式和其变形例1～8中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。可以为了得到上述第1实施方式或变形例1～8中记载的各效果，而从上述结构根据需要适当追加结构。另外，也可以将上述控制装置嵌入到适用于第1实施方式和其变形例的各种电子设备。

另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，可以为了得到上述第1实施方式或变形例1～8中记载的各效果，而从上述结构根据需要适当追加结构。

-第2实施方式-

参照附图，说明第2实施方式的显示装置1。在第2实施方式中，将本实施方式的显示装置1被嵌入于操作面板的情况列举为一例进行说明。此外，本实施方式的显示装置1不限于操作面板，能够嵌入到上述第1实施方式和其变形例中说明的各电子设备。

上述第1实施方式和其变形例的显示装置1进行用于使用户12感知作为第1显示的图标的在z方向上的位置的第2显示。第2实施方式的显示装置为了使用户12感知图标的z方向上的位置，而使用实际物体。以下，详细进行说明。

图26的(a)是第2实施方式的显示装置1的外观立体图，图26的(b)是说明显示装置1的主要部分结构的框图。显示装置1在第1实施方式的显示装置1所具有的结构的基础上，作为实际物体还具备框101、和用于使框101沿着z方向驱动的驱动装置17。控制部20在图2所示的第1实施方式的结构的基础上，还具有控制驱动装置17的动作的驱动控制部210。但是，可以不具备投影器15及投影器控制部200。

此外，也可以如图24、图25所示的第1实施方式的变形例8的显示装置1那样，具备摄像装置18。另外，能够将在第1实施方式和第1实施方式的各变形例中说明的各种方法应用于第2实施方式的显示装置1进行的到达位置或指定位置的检测。

框101在载台14上与xy平面平行地设置，且以能够沿着z方向在载台14上移动的方式配置。框101在中央部具有开口部101op，在该开口部101op显示空中成像30。驱动装置17具有用于供框101驱动的沿着z方向设置的导轨、和使框101沿着导轨驱动的马达或致动机构等。

此外，在图26的(a)所示的例子中，框101示为包围空中成像30的外周整个区域的形状，但不限定于此，只要是将空中成像30的外周的一部分(例如x方向+侧、x方向-侧、y方向+侧及y方向-侧中的至少一部分)包围的形状即可。即，将空中成像30包围的框的形状可以在框101的形状的一部分中具有间隙。

此外，显示装置1作为实物不限于具备框101。显示装置1例如作为实物可以具有能够沿z方向移动的书案、椅子、台架等。在作为实物而使用书案、椅子、台架等的情况下，在书案、椅子或台架等的上表面显示空中成像30。此外，作为实物使用的物体优选与显示的空中成像30具有关联。例如，在显示装置1作为空中成像30而显示图画的情况下，能够使用画框作为实物。另外，例如在显示装置1作为空中成像30而显示饮料水的瓶等的情况下，能够使用书案作为实物。另外，例如在显示装置1作为空中成像30而显示乐谱的情况下，可以使用乐谱台作为实物，在作为空中成像30而显示闹钟的情况下，能够使用床作为实物。

在以下的说明中，作为校准处理而举出第1校准处理模式的情况为例，但在第2校准处理模式的情况下也能够应用。此外，在以下的说明中，将用户12的操作被检测到的位置作为第1实施方式中说明的到达位置50为例进行说明，但能够应用第1实施方式和其变形例中说明的到达位置或指定位置。

图27是示意地表示由第2实施方式的显示装置1显示的空中成像300的图。空中成像300与第1实施方式(参照图4的(a))的情况同样地，包含校准用图标300a。图27的(a)示出图标300a被初始显示的情况。用户12根据与框101的在z方向上的位置关系来感知图标300a在z方向上的显示位置。

在基于用户12对初始显示的图标300a的操作而产生的到达位置50为检测基准40的近前(z方向+侧)的情况(图5的(b)所示的情况)下，控制部20使用户12感知为与初始显示的情况相比图标300a位于深度侧、即z方向-侧。该情况下，驱动控制部210基于到达位置50与检测基准40之间的z方向上的距离，计算出框101的向z方向-侧的驱动量δz1，并作为驱动信号向驱动装置17输出。驱动装置17当输入驱动信号后，使框101向z方向-侧驱动。

图27的(b)是示意地表示如上述那样框101被向z方向-侧驱动的情况下的、图标300a与框101的位置关系的图。由于框101被以移动量δz1向里侧、即z方向-侧驱动，所以将框101作为基准而感知了空中成像30在z方向上的显示位置的用户12感知为空中成像30显示于z方向-侧。由此，可期待更靠z方向-侧进行用户12对空中成像30的操作。

在用户12对初始显示的图标300a进行操作且基于用户12的操作产生的到达位置50为检测基准40的里侧(z方向-侧)的情况(图5的(d)所示的情况)下，控制部20使用户12感知为与初始显示的情况相比图标300a位于近前侧、即z方向+侧。该情况下，驱动控制部210基于到达位置50与检测基准40之间的z方向上的距离，计算出框101的向z方向+侧的驱动量δz2，并作为驱动信号向驱动装置17输出。驱动装置17当输入驱动信号后，使框101向z方向+侧驱动。

图27的(c)是示意地表示如上述那样框101被向z方向+侧驱动的情况下的、图标300a与框101的位置关系的图。由于框101被向用户12侧、即z方向+侧驱动，所以将框101作为基准而感知了空中成像30的z方向上的显示位置的用户12感知为空中成像30显示于z方向+侧。由此，可期待更靠z方向+侧进行用户12对空中成像30的操作。

此外，到达位置50与检测基准40之间的z方向上的距离和框101的z方向上的驱动量及驱动方向基于试验等的结果，作为预先建立了关联的关联数据而被存储于存储部205。驱动控制部210参照该关联数据，计算出框101的驱动量。

参照图28的流程图，说明第2实施方式的显示装置1的第1校准处理模式中的处理。

步骤s801～步骤s805的各处理与在第1实施方式中图7所示的流程图的步骤s1～s6的各处理相同。在步骤s806中，驱动控制部210基于到达位置或指定位置与检测基准40之间的距离，计算出框101的驱动量和驱动方向，然后进入步骤s807。步骤s807～步骤s813的各处理与在第1实施方式中图7所示的流程图的步骤s7～步骤s13的各处理相同。但是，在步骤s809中，显示空中成像30的同时，驱动控制部210控制驱动装置17，使框101以在步骤s807中计算出的驱动量和驱动方向驱动。

此外，在第2校准处理模式的情况下，进行第1实施方式中所示的图9的流程图的处理。但是，取代图9中的步骤s28及步骤s32的处理，而与图28中的步骤s806同样地计算出框101的驱动量和驱动方向，并与步骤s809地同样使框101按照计算出的驱动量驱动方向驱动。

在第2实施方式中，驱动控制部210控制物体来变更空中成像300的位置与位于不同位置的实际物体(框101)的位置关系。由此，使用户12感知为空中成像30处于物体的位置，能够在检测基准40检测到用户12的操作。

另外，在第2实施方式中，驱动控制部210基于用户12的操作的到达位置50是否到达了检测基准40，来决定框101的移动方向。由此，能够通过校准处理使用户12的操作的到达位置50到达检测基准40。

另外，在第2实施方式中，驱动控制部210使框101在基于用户12的操作产生的方向或与基于用户12的操作产生的方向相反的方向上移动。因此，使用户12变更沿着z方向进行操作的位置，能够在检测基准40检测到用户操作。

另外，在第2实施方式中，驱动控制部210在用户12的操作没有到达检测基准40的情况下(参照图5的(b))，使框101的位置在基于用户12的操作产生的方向上移动。即，用户12感知为犹如图标300a的位置向远离用户12的方向发生了变更。由此，用户12能够进一步向z方向负向进行操作而到达检测基准40。

另外，在第2实施方式中，驱动控制部210在用户12的操作到达检测基准的情况下(参照图5的(d))，使框101的位置在与基于用户12的操作产生的方向相反的方向上移动。即，用户12感知为犹如图标300a的位置向接近用户12的方向发生了变更。由此，使用户12在更接近用户12侧的位置进行操作，能够使用户12的操作位于检测基准40。

另外，在第2实施方式中，驱动控制部210控制作为物体的框101的位置来变更检测基准40与框101的位置关系。由此，使用户12感知为空中成像300处于作为物体的框101的位置，能够在检测基准40检测到用户12的操作。

另外，在第2实施方式中，驱动控制部210控制驱动装置17来移动框101的位置。由此，用户12根据框101的位置移动，感知为空中成像300也进行了移动，能够将进行操作的位置变更为检测基准40。

(第2实施方式的变形例1)

在第2实施方式中，举出作为实物的框101沿着z方向移动的情况为例进行了说明，但框101的移动不限定于该例。图29是示意地表示该情况下的空中成像300与框101的位置关系的图。框101以框101的下边101a配置于载台14上，能够以该下边101a为轴转动地设置。驱动装置17是用于使框101以下边101a为轴转动的致动机构。即，框101沿着图29的箭头ar2转动。

图29的(a)示出空中成像300被进行了初始显示的情况。该情况下，框101通过驱动装置17被驱动到相对于zx平面的倾角为90°的位置。在校准处理的结果为到达位置或指定位置与检测基准40相比靠用户12侧(z方向+侧)的情况下(参照图5的(b))，驱动装置17使框101驱动到框101相对于zx平面的倾角成为从x方向+侧观察时逆时针比90°小的θ1的位置。该情况下，驱动控制部210根据基于用户12的操作产生的到达位置或指定位置与检测基准40之间的距离，来计算出倾角θ1。

图29的(b)是示意地表示倾角变更为θ1的情况下的、空中成像300与框101的位置关系的图。由于倾角变更为θ1(＜90°)，所以框101向远离用户这一侧转动。由此，用户12在框101的位置感知了空中成像300的显示位置，因此，根据框101的位置位于z方向-侧这一情况，而感知为空中成像300的显示位置向z方向-侧进行了移动。

在校准处理的结果为到达位置或指定位置与检测基准40相比靠里侧(z方向-侧)的情况下(参照图5的(d))，驱动装置17使框101驱动到框101与zx平面的倾角成为比90°大的θ2的位置。该情况下，驱动控制部210根据基于用户12的操作产生的到达位置或指定位置与检测基准40之间的距离，来计算出倾角θ2。

图29的(c)是示意地表示倾角变更为θ2的情况的、空中成像300与框101的位置关系的图。由于倾角从x方向+侧观察时逆时针转动而变更为θ2(＞90°)，所以框101向接近用户的方向转动。由此，用户12在框101的位置感知了空中成像300的显示位置，因此，根据框101的位置位于z方向+侧，而感知为空中成像300的显示位置向z方向+侧进行了移动。

此外，到达位置50与检测基准40之间的z方向上的距离、和框101与xy平面所成的倾角基于试验等的结果，作为预先建立了关联的关联数据而被存储于存储部205。驱动控制部210参照该关联数据，计算出框101的倾角。

关于第2实施方式的变形例1的显示装置1的校准处理，以第1校准处理模式为例进行说明。该情况下，在图28所示的第2实施方式的流程图中的步骤s806的处理时，驱动控制部210取代计算出框101的驱动量和驱动方向，而计算出倾角。

此外，在第2校准处理模式的情况下，进行在第1实施方式中示出的图9的流程图的处理。但是，取代图9中的步骤s28及步骤s32的处理，驱动控制部210计算出框101的倾角，并基于计算出的倾角，使框101驱动。

在第2实施方式的变形例1中，驱动装置17使框101绕轴旋转来使框101的位置移动。由此，即使在空中成像30相对于zx平面具有规定角度而显示的情况下，用户12也能够感知空中成像30在空中的位置。

另外，驱动装置17仅使框101绕轴转动，因此能够以简单的结构制造装置。

(第2实施方式的变形例2)

在上述第2实施方式和其变形例1中，通过使实物相对于空中成像移动，而使用户12感知为空中成像在空中的位置相对地在z方向上产生了变更。在本变形例2中，多个led沿着z方向配置，使用户12感知为多个led中的正在点亮的led在z方向上的位置为空中成像在z方向上的位置。并且，通过变更正在点亮的led在z方向上的位置，而使用户12所感知的空中成像在z方向上的位置变更，从而能够使用户12在恰当的位置进行操作。以下详细进行说明。

图30的(a)是变形例2中的显示装置1的外观立体图，图30的(b)是表示变形例3中的显示装置1的主要部分结构的框图。如图30的(a)所示，在载台14的x方向-侧，沿着z方向配置有五个led103a～103e(在总称的情况下使用附图标记103)。此外，led103的个数不限于上述五个。另外，led103也可以载置在载台14的x方向+侧。另外，led103还可以在载台14上沿着z方向配置，并从下方(y方向-侧)朝向空中成像30点亮。

图30的(b)示出控制部20和由控制部20控制的显示器11、操作检测器13和led103。控制部20具备控制led103的点亮的点亮控制部211。点亮控制部211决定使多个led103中的哪个led103点亮，并将决定出的led103点亮。关于控制部20的其他结构，能够适用第1实施方式和其变形例、第2实施方式和其变形例中的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205。

图31是示意地表示通过第2实施方式的变形例2的显示装置1显示的空中成像300的图。此外，在图31中，对正在点亮的led103赋予点阵表示。空中成像300与第1实施方式(参照图4的(a))的情况同样地，包含校准用图标300a。图31的(a)示出图标300a被进行初始显示的情况。点亮控制部211使led103c点亮。用户12根据与正在点亮的led103c之间的在z方向上的位置关系来感知图标300a的在z方向上的显示位置。

在基于用户12对初始显示的图标300a的操作的到达位置50在检测基准40的近前(z方向+侧)的情况(图5的(b)所示的情况)下，控制部20使用户12感知为与初始显示的情况相比图标300a位于深度侧、即z方向-侧。该情况下，点亮控制部211从与点亮中的led103c相比配置于z方向-侧的led103a、103b中，基于到达位置50与检测基准40之间的z方向上的距离，选择某一个。即，在到达位置50与检测基准40之间的距离超过规定值的情况下，点亮控制部211选择led103a，在到达位置50与检测基准40之间的距离为规定值以下的情况下，点亮控制部211选择led103b。

在图31的(b)所示的例子中，示出点亮控制部211选择了led103b的情况。通过使点亮的led103从用户12侧的led103c变更为led103b，以点亮过的led103c为基准而感知着图标300a的z方向上的显示位置的用户12将图标300a感知为显示于z方向-侧。由此，可期待更靠z方向-侧进行用户12对空中成像300的操作。

在基于用户12对初始显示的图标300a的操作产生的到达位置50在检测基准40的里侧(z方向-侧)的情况(图5的(d)所示的情况)下，控制部20使用户12感知为与初始显示的情况相比图标300a位于近前侧、即z方向+侧。该情况下，点亮控制部211从与点亮中的led103c相比配置于z方向+侧的led103d、103e中，基于到达位置50与检测基准40之间的z方向上的距离来选择某一个。即，在到达位置50与检测基准40之间的距离超过规定值的情况下，点亮控制部211选择led103e，在到达位置50与检测基准40之间的距离为规定值以下的情况下，点亮控制部211选择led103d。

在图31的(c)所示的例子中，示出点亮控制部211选择了led103d的情况。通过使点亮的led103从led103c变更为用户12侧的led103d，以点亮过的led103c为基准而感知着图标300a的z方向上的显示位置的用户12将图标300a感知为显示于z方向+侧。由此，可期待更靠z方向+侧进行用户12对空中成像30的操作。

关于第2实施方式的变形例2的显示装置1的校准处理，以第1校准处理模式为例进行说明。该情况下，在图28所示的第2实施方式的流程图中的步骤s806的处理时，点亮控制部211选择点亮的led。在步骤s809的处理时，点亮控制部211使在步骤s806中选择出的led103点亮。

此外，在第2校准处理模式的情况下，进行第1实施方式中示出的图9的流程图的处理。但是，取代图9中的步骤s28及步骤s32的处理，点亮控制部211选择led103并使选择出的led103点亮。

此外，也可以将用户12能够明确识别led103正在点亮这一情况的显示添加于空中成像300。例如，图像生成部201生成使用图16所示那样的光线(光芒)表示由led103从x方向-侧射出的光的显示用图像数据。

图32是示意地表示将这样的显示用图像数据显示为空中成像300的情况的图。图32的(a)是光线310沿着x方向在图标300a的前面横穿而前进的空中成像300。该情况下，用户12也能够感知为图标300a与led103c相比稍位于后方(z方向-侧)。图32的(b)是光线310在图标300a的后方沿着x方向前进的空中成像300。该情况下，用户12也能够感知为图标300a与led103c相比稍位于前方(z方向+侧)。

在第2实施方式的变形例2中，点亮控制部211控制多个led103中的要点亮的led103，并控制检测基准40与点亮了的led103的位置关系。由此，用户12以点亮中的led103为基准，感知空中成像300的z方向上的位置，能够在检测基准40检测到用户12的操作。

另外，在第2实施方式的变形例2中，图像生成部201对空中成像300进行表示点亮了的led103的光线的显示。由此，用户12能够视觉辨认led103的点亮。由此，用户12以点亮中的led103为基准，感知空中成像300的z方向上的位置，能够使用户12在检测基准40进行操作。

此外，在上述第2实施方式和其变形例1～4中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。可以为了得到在上述第2实施方式或变形例1～4中记载的各效果而从上述结构根据需要适当追加结构。另外，也能够将上述控制装置嵌入应用于第2实施方式和其变形例的各种电子设备。

另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，可以为了得到在上述第2实施方式或变形例1～4中记载的各效果而从上述结构根据需要适当追加结构。

-第3实施方式-

参照附图，对第3实施方式的显示装置1进行说明。在第3实施方式中，将本实施方式的显示装置1被嵌入于操作面板的情况列举为一例进行说明。此外，本实施方式的显示装置1不限于操作面板，能够嵌入于上述第1实施方式和其变形例及第2实施方式和其变形例中说明的各电子设备。

第3实施方式的显示装置1与第1实施方式的显示装置1同样地，在图标的空中成像的下方显示影子图像，但显示装置1的装置结构与第1实施方式的显示装置1不同。因此，可以取代第1实施方式的显示装置1而将第3实施方式的显示装置1提供给第1实施方式。以下详细进行说明。

图33的(a)中示意地示出第3实施方式的显示装置1的基于yz平面得到的截面。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13和控制部20。成像光学系统9和操作检测器13应用上述第1实施方式和其变形例、第2实施方式和其变形例的结构。此外，也可以如图24、25所示的第1实施方式的变形例8的显示装置1那样，具备摄像装置18。

在第3实施方式中，对显示器11可以应用国际公开公报2011/158911中记载的技术。即，显示器11具有能够进行显示三维立体像的光场显示的结构，通过在显示器11上显示二维显示用的图像，而在沿着z方向的不同位置形成空中成像30。

图33的(b)是示意地表示第3实施方式的显示装置1的显示器11和成像光学系统9的、yz平面上的剖视图。如图所示，在显示器11的显示面上配置有由排列成二维状的多个微透镜111构成的微透镜阵列112。按显示器11的每多个显示像素p设置一个微透镜111。显示器11和微透镜阵列112以相对于zx平面具有规定的倾斜角-θ的方式配置。此外，在图33的(b)所示的例子中，为了便于图示，示出了对5×5的显示像素p设置一个微透镜111的例子，但描绘得比实际显示像素p的个数少。微透镜阵列112配置在从显示器11的显示面沿着光轴方向离开微透镜111的焦点距离f的位置。各微透镜111基于显示的图像将来自显示像素p的光投影于规定像面。此外，也可以取代微透镜111而配置柱状透镜。

成像光学系统9在微透镜阵列112的上方，相对于微透镜阵列112设定规定的间隔且与zx平面平行地配置。成像光学系统9在第1实施方式中适用图1的(c)所示的构造。配置在成像光学系统9内的多个镜元件90分别反射从显示像素p射出的光，将其收束并成像出与zx平面成角度θ的实像(参照图33的(a))。该实像的倍率为等倍，即大小与显示像素p相同。即，多个镜元件90反射从显示器11射出的光，并使其在载台14上的空中的成像位置成像。

在该显示器11中，为了使构成空中成像30的各光点lp形成于空中，而将形成各个光点lp的光从被不同的多个微透镜111分别覆盖的一部分的显示像素p射出。此外，光点lp是通过显示器11和微透镜111而显示于空中的像，因此是空中成像。在图33的(b)所示的例子中，从标注斜线示出的显示像素p射出的光被微透镜111投影而形成光点lp。该情况下，被一个微透镜111覆盖的显示像素p的个数(在图33的(b)的例子中为5×5个)被分散地分配于不同的多个微透镜111。基于该分配方法，能够使形成于空中的光点lp的、相对于微透镜111的光轴方向的位置不同。空中成像30通过将这样形成的光点p由成像光学系统9成像于y方向而形成。以上，空中成像30的相对于y方向的位置根据显示于显示器11的图像的变更而变更。

图33的(c)是表示第3实施方式的显示装置1的主要部分结构的框图。图33的(c)示出控制部20、由控制部20控制的显示器11、和操作检测器13。作为控制部20所具备的结构，能够适用与图2所示的第1实施方式的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205相同的结构。另外，能够将第1实施方式及第1实施方式的各变形例中说明的各种方法适用于第3实施方式的显示装置1进行的到达位置、指定位置的检测、辅助图像31的显示形态。

在第3实施方式中，图像生成部201生成用于显示作为影子图像的辅助图像31的辅助图像数据，显示控制部202使生成的辅助图像数据显示于显示器11。由此，作为影子图像的辅助图像31、即成为第2显示的基础的第2图像显示于显示器11，辅助图像31通过显示器11作为第4显示而显示于图33的(a)的区域r1。区域r1的第4显示通过成像光学系统9，作为第2显示即辅助图像31而显示于空中。此外，图像生成部201可以生成与在第1实施方式的变形例1中示出的各种形态的影子图像(图10、图11、图13、图14、图15)对应的辅助图像数据。

辅助图像31由于表示作为第1显示的图标30a的影子，所以可以显示于图标30a的下方(y方向-侧)。因此，显示控制部202以辅助图像数据在图33的区域r1形成光点的方式，使显示器11的显示像素p显示辅助图像数据。即，显示控制部202以区域r1形成于成像光学系统9的下部(y方向-侧)附近的方式，将辅助图像数据分配给显示像素p。在区域r1成像的光通过成像光学系统9，如图33的(a)所示，在成像光学系统9的上部(y方向+侧)附近的位置、即显示器11与图标30a之间显示为辅助图像31。

显示控制部202使像素p显示用于显示图标30a的显示用图像数据、即成为第1显示的基础的第1图像。图标30a可以显示在辅助图像31的上方(y方向+侧)。因此，显示控制部202以显示用图像数据在比区域r1靠下方(y方向-侧)、即接近显示器11侧的区域r2形成光点的方式，将显示用图像数据分配给显示像素p。

但是，在应显示辅助图像数据的显示像素p和应显示显示用图像数据的显示像素p为相同的显示像素p的情况下，无法同时显示辅助图像数据和显示用图像数据。因此，在通过显示器11进行图标30a和辅助图像31的显示的情况下，显示控制部202按规定周期切换进行基于显示像素p对辅助图像数据的显示和基于显示像素p对显示用图像数据的显示。由此，用户12能够将图标30a和其下方的辅助图像31视觉辨认为空中成像。

在进行校准处理的情况下，如在第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更辅助图像31的显示位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地，生成辅助图像数据，显示控制部202使显示像素p显示辅助图像数据。即，在第1实施方式中，在图7的流程图中的步骤s9、图9的流程图中的步骤s28和s32中，显示控制部202使显示像素p显示辅助图像数据。

此外，第3实施方式的显示装置1可以不执行校准处理。即，第3实施方式的显示装置1不基于用户12的操作进行规定动作，而仅是用于显示某个图像的空中成像30和作为其影子的辅助图像31的装置。

另外，在上述的说明中，列举了作为辅助图像31而显示影子图像的情况为例，但也可以如图16所示的第1实施方式的变形例1那样，辅助图像31是照明光源那样的明亮图像。

另外，作为辅助图像31，也可以如第1实施方式那样，显示示出空中成像30的位置、且载置物体这样的台架、桌子、书案等。另外，还可以通过显示装置1显示立体的辅助图像31。即，可以使作为辅助图像31显示的台架、桌子、书案等所载置的物体以立体方式显示。另外，在使辅助图像31以立体方式显示的情况下，可以显示支承空中成像30这样的杆。可以以使杆的顶端部分与空中成像30连接的方式进行显示，并显示为空中成像30被犹如辅助图像31的杆支承。此外，可以如在第1实施方式和后述的第4实施方式中记载那样，辅助图像31显示与空中成像30的相关性深的图像。

另外，第3实施方式的显示装置1也可以不具备成像光学系统9。该情况下，可以在图33的(a)的剖视图中配置有成像光学系统9的位置，设置能够供光透过的透光片。显示装置1使辅助图像31在该透光片的附近显示为空中成像，使图标30a显示的光从透光片通过，使图标30a显示于辅助图像31的上方(y方向+侧)的空中。由此，辅助图像31显示于作为实物的显示装置1的主体10的表面附近，因此，用户12能够借助辅助图像31并以主体10为基准感知空中成像30的位置。

在第3实施方式中，显示器11显示辅助图像数据，成像光学系统9将辅助图像数据显示为辅助图像31。由此，能够使辅助图像31显示为空中成像并使用户12感知图标30a的位置，能够在检测基准40进行操作。

另外，在第3实施方式中，成像光学系统9使辅助图像31显示于与空中成像30不同的位置。由此，用户12能够感知与辅助图像31的相对位置关系或图标30a的位置。

另外，在第3实施方式中，显示器11交替地显示空中成像30的显示用图像数据和辅助图像数据。由此，能够通过单一的显示器11显示空中成像30和辅助图像31。

另外，能够将显示装置1的装置小型化。

另外，在第3实施方式中，成像光学系统9将空中成像30显示于与辅助图像31相比距显示器11的距离远的位置。由此，用户12能够以显示于空中成像30的下方的辅助图像31为基准感知空中成像30的图标30a的位置。

另外，由于成像光学系统9将空中成像30显示于与辅助图像31相比距显示器11的距离远的位置，所以来自显示器11的光难以直接进入用户12的眼睛，从而容易看到空中成像30。在来自显示器11的光进入到用户12的眼睛的情况下，用户12的眼睛的焦点会对上显示器11，存在空中成像30丧失浮游感的情况，根据上述那样的结构，能够减轻这样的问题。

此外，显示控制部202不限定于如上述那样按规定周期切换辅助图像数据的基于显示像素p的显示和显示用图像数据的基于显示像素p的显示。显示控制部202可以同时进行辅助图像数据的基于显示像素p的显示和显示用图像数据的基于显示像素p的显示。该情况下，在显示辅助图像数据的显示像素p和显示显示用图像数据的显示像素p不为相同的显示像素p的情况下，显示控制部202同时进行辅助图像数据的显示和显示用图像数据的显示。

在应显示辅助图像数据的显示像素p和应显示显示用图像数据的显示像素p成为相同的显示像素p(以下，称为同一显示像素p)的情况下，显示控制部202使同一显示像素p显示辅助图像数据和显示用图像数据中的某一方。为了应对这样的情况，设于显示器11的多个显示像素p被分类为使辅助图像数据的显示优先进行的显示像素p1(以后称为第1显示像素)和使显示用图像数据的显示优先进行的显示像素p2(以后称为第2显示像素)。第1显示像素p1和第2显示像素p2在显示器11的表面配置成例如错列状。

显示控制部202在同一显示图像p为第1显示像素p1的情况下，使该同一显示像素p显示辅助图像数据。显示控制部202在同一显示图像p为第2显示像素p2的情况下，使该同一显示像素p显示显示用图像数据。由此，不用按规定周期切换基于显示像素p的辅助图像数据和显示用图像数据，就能够显示图标30a和辅助图像31。

显示器11同时显示显示用图像数据和辅助图像数据。由此，能够降低用于显示显示用图像数据和辅助图像数据的控制的处理负荷。

在上述的说明中，说明了显示装置1通过单一的显示器11和成像光学系统9来显示空中成像30和辅助图像31的例子，但不限定于此。例如，显示装置1也可以是分体具备用于显示空中成像30的显示器及成像光学系统、和用于显示辅助图像31的显示器及成像光学系统的显示系统。即，能够对用于显示显示用图像数据的显示器和成像光学系统适用配置在第1实施方式和其变形例中说明的结构。

(第3实施方式的变形例1)

第3实施方式的变形例1的显示装置1具有与第3实施方式的显示装置1不同的结构，以与空中成像不同的方法显示辅助图像31。在本变形例1的显示装置1中，使用液晶显示器来显示辅助图像31。以下详细进行说明。

图34的(a)是示意地表示本变形例1的显示装置1的基于yz平面得到的截面的图。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13、控制部20和第2显示器91。显示器11、成像光学系统9和操作检测器13适用与第1实施方式相同的结构，与图33的(a)所示的情况同样地配置在主体10内。第2显示器91为液晶监控器，与zx平面平行地配置。在图34的(a)所示的例子中，第2显示器91相对于成像光学系统9配置在z方向+侧，且配置在成像光学系统9的旁边。此外，第2显示器91也可以相对于成像光学系统9配置在z方向-侧。另外，第2显示器91不限定于配置在成像光学系统9的旁边。例如，也可以设置将成像光学系统9中的一部分切掉的区域，在该切掉的区域内配置第2显示器91。

另外，第2显示器91也可以是液晶监控器以外的显示器，可以是例如有机el显示器。

图34的(b)是表示变形例1中的显示装置1的主要部分结构的框图。图34的(b)示出控制部20、由控制部20控制的显示器11、操作检测器13和第2显示器91。作为控制部20所具备的结构，能够适用与图33的(c)所示的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205相同的结构。但是，显示控制部202除显示器11以外，还控制第2显示器91的显示。此外，在第2显示器91具备控制部的情况下，也可以是，基于来自显示控制部202的控制信号，第2显示器91的控制部控制第2显示器91的显示。

显示控制部202使显示器11显示图像生成部201所生成的显示用图像数据，使第2显示器91显示辅助图像数据。即，第2显示器91是用于显示作为影子图像的辅助图像31的专用显示器。此外，图像生成部201也可以生成与第1实施方式的变形例1所示的各种形式的影子图像(图10、图11、图13、图14、图15)对应的辅助图像数据。由此，在显示于空中的图标30a的下方(y方向-侧)，通过第2显示器91显示作为影子图像的辅助图像31。此外，在第2显示器91具备生成图像的生成部的情况下，第2显示器91的生成部可以与上述图像生成部201同样地生成辅助图像数据，并使辅助图像31显示于第2显示器91。

此外，成像光学系统9与第2显示器91的配置位置关系不限定于图34的(a)所示的例子，例如可以以如下位置关系配置。

图34的(c)中示意地示出其他例子的显示装置1的在与yz平面平行面处的截面。第2显示器91配置在成像光学系统9的上方(y方向+侧)。该情况下，只要以使第2显示器91的下表面和成像光学系统9的上表面接触的方式进行配置即可，也可以隔开间隔地配置。第2显示器91是使用能够透过光的可透光材料制造出的液晶监控器。

在如图34的(c)所示那样配置成像光学系统9和第2显示器91的情况下，当在第2显示器91上作为影子图像而显示辅助图像31时，来自显示器11的光的通过被显示有辅助图像31的区域妨碍，空中成像30的视觉辨认性降低。为了防止这样的事态，显示控制部202为了实现基于显示器11对显示用图像的显示、即使空中成像30在空中显示，而按规定周期切换进行用于使来自显示器11的光通过的显示(第3显示)和基于第2显示器91对辅助图像31的显示。因此，在显示器11上显示着显示图像时，辅助图像不会在第2显示器91上显示，因此来自显示器11的光从第2显示器91通过而形成空中成像30。即，在显示器11上显示着显示图像的情况下，第2显示器91成为与显示着辅助图像时相比来自显示器11的光的通过量大的状态。

此外，并不限定于显示控制部202按规定周期切换进行显示器11的显示和第2显示器91的显示。也可以是例如，第2显示器91所具有的多个像素被分类为用于显示辅助图像31的像素(以下称为第1像素)和用于使来自显示器11的光通过的像素、即不显示辅助图像31的像素(以下称为第2像素)。第1像素和第2像素在显示器11的表面配置成例如错列状。或者，配置有第1像素的像素行和配置有第2像素的像素行交替地或按每规定多行交错配置。

在进行校准处理的情况下，如第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更辅助图像31的显示位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地生成显示图像用数据和辅助图像数据，显示控制部202使显示用图像数据的显示用图像显示于显示器11，使辅助图像数据的辅助图像31显示于第2显示器91。即，在第1实施方式中，在图7的流程图中的步骤s9和图9的流程图中的步骤s28和s32中，显示控制部202使显示用图像显示于显示器11，使辅助图像31显示于第2显示器。

在第3实施方式的变形例1中，第2显示器91显示辅助图像31，并配置在空中成像30的显示的下方。由此，由于辅助图像31显示在空中成像30的下方，所以用户12能够基于辅助图像31的显示而感知空中成像30的位置。

另外，在第3实施方式的变形例1中，第2显示器91配置在与显示空中成像30的成像光学系统9不同的位置。由此，能够使辅助图像31相对于空中成像30显示在恰当的位置。

另外，在第3实施方式的变形例1中，显示器11交替地显示空中成像30的显示用图像数据和辅助图像数据。由此，能够通过单一的显示器11来显示空中成像30和辅助图像31。

另外，能够实现显示装置1的小型化。

(第3实施方式的变形例2)

第3实施方式的变形例2的显示装置1具有与第3实施方式和其变形例1的显示装置1不同的结构，以与空中成像不同的方法显示辅助图像31。在本变形例2的显示装置1中，使用投影器将辅助图像31投影到漫射片等上。以下详细进行说明。

图35的(a)是示意地表示本变形例2的显示装置1的基于yz平面得到的截面的图。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13、投影器15、控制部20和漫射片92。显示器11、成像光学系统9、操作检测器13和投影器15适用与第1实施方式相同的结构。显示器11、成像光学系统9和操作检测器13与图33的(a)所示的情况同样地配置在主体10内。投影器15与图1的(b)所示的第1实施方式同样地配置在主体10的上方，从y方向+侧向漫射片92投影投影光。另外，在第3实施方式的变形例2的显示装置1中，控制部20能够适用与图2所示的第1实施方式的显示装置1相同的结构。

漫射片92是例如磨砂玻璃等，在图35的(a)所示的例子中，相对于成像光学系统9配置在z方向+侧且配置在成像光学系统9的侧边。此外，漫射片92也可以相对于成像光学系统9配置在z方向-侧。投影仪15与第1实施方式的情况同样地，基于由图像生成部201生成的辅助图像数据，投影辅助图像31。在本变形例2中，投影仪15以从上方(y方向+侧)朝向漫射片92投影辅助图像31的方式被确定其投影方向地来配置。从投影仪15投影的辅助图像31通过漫射片92被漫射，从而被用户12视觉辨认。由此，在空中成像30的图标30a的下方(y方向-侧)投影有作为影子图像的辅助图像31。此外，图像生成部201也可以生成与第1实施方式的变形例1所示的各种形态的影子图像(图10、图11、图13、图14、图15)对应的辅助图像数据。

另外，如图35的(b)所示，也可以将漫射片92配置在成像光学系统9的上方(y方向+侧)。该情况下，在漫射片92上以例如错列状配置使来自投影仪15的投影光漫射的第1区域和使来自显示器11的光通过的第2区域。来自显示器11的光从第2区域通过并显示空中成像30，来自投影仪15的投影光在第1区域漫射，被用户12视觉辨认为辅助图像31。此外，还可以在漫射片92的上方(y方向+侧)配置成像光学系统9。该情况下，投影仪15配置在显示器11的附近，以将投影光从漫射片92的下方朝向漫射片92投影的方式，确定其投影方向。即，投影仪15设置在漫射片92与显示器11之间，投影仪15朝向处于y方向+侧的漫射片92投影投影光。该情况下，作为投影仪15，能够适用例如将图像投影到近距离的超短焦点投影仪。

根据上述结构，用户12能够在空中成像30的图标30a的下方(y方向-侧)视觉辨认作为影子图像的辅助图像31。

在进行校准处理的情况下，如在第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更辅助图像31的显示位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地生成显示图像用数据和辅助图像数据。显示控制部202使显示用图像数据的显示用图像显示于显示器11，投影器控制部200使投影器15将与辅助图像数据对应的投影光投影到漫射片92，使辅助图像31投影。即，在第1实施方式中，进行与图7的流程图中的各处理、图9的流程图中的各处理相同的处理。

在第3实施方式的变形例2中，投影器15对辅助图像31进行投影。由此，用户12能够基于被投影的辅助图像31的显示而感知空中成像30的位置。

另外，在第3实施方式的变形例2中，漫射片92配置在与成像光学系统9不同的位置，通过漫射片92使从投影仪15射出的光漫射。由此，用户12能够在空中成像30的下方视觉辨认辅助图像31，而感知空中成像30的位置。

此外，显示装置1可以取代上述的漫射片92，而将全息图配置在显示器11的上方。在该全息图中预先存储有漫射片92的影像。投影仪15朝向该全息图投影与存储时的参照光相同的光。由于全息图中存储有漫射片92的影像，所以来自投影仪15的投影光的被全息图衍射的光以犹如通过漫射片92漫射的方式进行漫射。投影仪15向这样的全息图投影与辅助图像数据对应的投影光，由此辅助图像31可被用户12视觉辨认。

该情况下，使投影仪15的投影光的各颜色成分(r成分、g成分、b成分)的频带与显示器11射出的光的各颜色成分(r’成分、g’成分、b’成分)的频带不同。由此，来自显示器11的光不会被全息图衍射而是透过，从而形成空中成像30。由此，用户12能够在空中成像30的下方视觉辨认辅助图像31。

此外，并不限定于使投影仪15的投影光的各颜色成分(r成分、g成分、b成分)的频带与显示器11射出的光的各颜色成分(r’成分、g’成分、b’成分)的频带不同。例如，也可以以使来自投影仪15的投影光向全息图入射时的入射角与来自显示器11的光向全息图入射时的入射角不同的方式，配置投影仪15及显示器11。该情况下，可以以使来自显示器11的光向全息图入射的角度成为与存储到全息图时的参照光的入射角不同的入射角的方式进行配置。由此，来自显示器11的光被全息图衍射的效率降低，显示器11的光能够从全息图通过而形成空中成像30。因此，仅来自投影仪15的投影光被全息图衍射，来自显示器11的光不被全息图衍射，能够良好地显示空中成像30。

此外，在上述第3实施方式和其变形例1～2中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。也可以为了得到上述第3实施方式或变形例1～2中记载的各效果而从上述结构根据需要适当追加结构。另外，还可以将上述控制装置组入到适用于第3实施方式和其变形例的各种电子设备。

另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，可以为了得到上述第3实施方式或变形例1～2中记载的各效果而从上述结构根据需要适当追加结构。

-第4实施方式-

参照附图，说明第4实施方式的显示装置1。在第4实施方式中，举出将本实施方式的显示装置1嵌入操作面板的情况作为一例进行说明。此外，本实施方式的显示装置1不限于操作面板，能够嵌入到上述第1实施方式和其变形例中说明的各电子设备。

在第1实施方式和其变形例及第3实施方式中，显示装置1通过作为第1显示的空中成像30和作为第2显示的辅助图像31，使用户12感知空中成像30的z方向上的显示位置。即，辅助图像31的位置被用作表示空中成像30的显示位置的位置。在第4实施方式中，显示装置1不使空中成像中的成为用户12的操作对象的空中成像的第1部分在z方向上的显示位置变更，而使不为用户12的操作对象的空中成像的第2部分在z方向上的显示位置变更，由此使用户12感知空中成像30的第1部分的z方向上的位置。以下详细进行说明。

图36的(a)是示意地表示第4实施方式的显示装置1的外观立体图，图36的(b)是示意地表示显示装置1的内部结构的剖视图，图36的(c)是表示显示装置1的主要部分结构的框图。第4实施方式的显示装置1具有第1实施方式的显示装置1所具有的成像光学系统9、操作检测器13和控制部20。显示器11具有与第3实施方式的图33的(b)所示的显示器11相同的结构。即，在第4实施方式中，与第3实施方式的情况同样地，显示器11具有能够进行显示三维立体像的光场显示的结构。

如图36的(c)所示，第4实施方式的控制部20适用具备图2所示的第1实施方式的控制部20所具有的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205的结构。

此外，第4实施方式的显示装置1也可以具备第1实施方式的变形例8所示的摄像装置18(参照图24、25)。

图37示意地示出通过第4实施方式的显示装置1进行校准处理时显示的空中成像300。在图37中，空中成像300包含作为第1显示的第1图标300a1和作为第2显示的第2图标300a2。即，第1图标300a1是空中成像300的第1部分，第2图标300a2是空中成像300的第2部分。第1图标300a1是在校准处理时用于供用户12操作的图标。第2图标300a2是用于使用户12感知第1图标300a1的z方向上的显示位置的图像。

图37的(a)示出初始显示中的第1图标300a1和第2图标300a2的显示的例子。在初始显示中，使第1图标300a1和第2图标300a2在z方向上显示于同一坐标、即距操作检测器13向z方向+侧的距离h1的位置。

说明对该初始显示的空中成像300进行的用户12的操作的到达位置50为第1图标300a1的近前(z方向+侧)的情况，即图5的(b)所示的状态的情况。该情况下，显示控制部202使用户12感知为第1图标300a1与图37的(a)所示的情况相比显示于z方向-侧。在本实施方式中，显示控制部202基于到达位置50与检测基准40之间的距离，以使第2图标300a2位于z方向+侧的方式控制显示器11。即，显示控制部202通过控制第2图标300a2的显示位置，变更第1图标300a1的显示位置与显示于不同的显示位置的第2图标300a2之间的位置关系。显示控制部202变更使与第2图标300a2对应的显示用图像数据显示的显示像素p。其结果为，如图37的(b)所示，第2图标300a2基于到达位置50与检测基准40之间的距离以距离δz1显示于z方向+侧。即，显示控制部202控制检测基准40和作为第2显示的第2图标300a2的位置。对该空中成像300进行视觉辨认的用户12感知为以第2图标300a2为基准而第1图标300a1相对地位于z方向-侧。

说明对图37的(a)所示的初始显示的第1图标300a1进行的用户12的操作的到达位置50比第1图标300a1靠内(z方向-侧)的情况、即图5的(d)所示的情况。该情况下，显示控制部202使用户12感知为第1图标300a1与图37的(a)所示的情况相比显示于z方向+侧。在本实施方式中，显示控制部202基于到达位置50与检测基准40之间的距离，以使第2图标300a2位于z方向-侧的方式控制显示器11。显示控制部202变更对与第2图标300a2对应的显示用图像数据进行分配的显示像素p。其结果为，如图37的(c)所示，第2图标300a2基于到达位置50与检测基准40之间的距离而以距离δz2显示于z方向-侧。即，显示控制部202控制检测基准40和作为第2显示的第2图标300a2的位置。对该空中成像300进行视觉辨认的用户12感知为以第2图标300a2为基准而第1图标300a1好似相对地位于z方向+侧。

关于本实施方式的显示装置1的校准处理，举出第1校准处理模式为例进行说明。但也可以适用于第2校准处理模式。该情况下，只要在第1实施方式的图7的流程图中，在步骤s6中，使显示控制部202基于到达位置50与检测基准40之间的距离，变更显示与第2图标300a2对应的显示用图像数据的显示像素p即可。另外，在适用于第2校准处理模式的情况下，只要在第1实施方式的图9所示的流程图中，在步骤s28及步骤s32中，使显示控制部202基于到达位置50与检测基准40之间的距离，变更显示与第2图标对应的显示用图像数据的显示像素p即可。

此外，在上述第4实施方式中，举出显示装置1进行光场显示的情况为例，但不限定于该例。例如也可以是，显示装置1具有能够显示视差图像的结构，以使第2图标300a2的显示位置相对于第1图标300a1向z方向移动的方式控制视差量。另外，例如显示装置1取代图36的(b)所示的能够进行光场显示的显示器11，而具备多个第1实施方式中说明的显示器11，并使各个显示器11沿着y方向驱动，由此使图标的显示位置在z方向不同。例如显示器11如图38的(a)所示由3行×3列的9个显示器11-1～11-9构成。

图38的(b)是表示本变形例2中的显示装置1的主要部分结构的框图。显示装置1除了第1实施方式的显示装置1所具有的结构以外，还具备用于使图38的(a)的各显示器11-1～11-9驱动的显示器驱动装置16。控制部20具有控制显示器驱动装置16的动作的显示器驱动控制部214。关于其他结构，能够适用图36所示的第4实施方式的结构。

显示器11-1～11-9与zx平面平行地设置，且能够沿着y方向移动地配置。显示器驱动装置16针对各显示器11-1～11-9的每一个设置，具有为了使显示器11-1～11-9驱动而沿着y方向设置的导轨、使显示器11-1～11-9沿着导轨驱动的马达或致动机构等。显示器驱动控制部214对显示器11-1～11-9决定y方向上的位置，控制显示器驱动装置16，使显示器11-1～11-9向y方向上的已决定的位置驱动。当通过显示器驱动控制部214和显示器驱动装置16变更了显示器11-1～11-9的y方向上的位置、即变更了成像光学系统9与显示器11-1～11-9之间的距离时，空中成像30的显示位置在z方向上变化。

在如图37所示那样将第1图标300a1和第2图标300a2显示为空中成像300的情况下，显示控制部202例如使显示器11-4显示与第1图标300a1对应的显示用图像数据，使显示器11-6显示与第2图标300a2对应的显示用图像数据。

在进行图37的(a)所示的初始显示的情况下，显示器驱动装置16将显示器11-4和显示器11-6沿着y方向向同一位置驱动、即向用于将第1图标300a1和第2图标300a2显示于距操作检测器13向z方向+侧的距离h1的位置的位置驱动。说明如下的情况，即，在校准处理中，在用户12对初始显示的第1图标300a1的操作的到达位置50为第1图标300a1的近前(z方向+侧)，即图5的(b)所示的状态。该情况下，显示器驱动控制部214为了使第2图标300a2如图37的(b)那样显示，而决定显示器11-5的y方向上的位置。显示器驱动控制部214基于到达位置50与检测基准40之间的距离，计算出显示器11-5的向y方向-侧的移动量。显示器驱动控制部214将该移动量作为驱动信号输出到显示器驱动装置16，显示器驱动装置16按照该移动量，使显示器11-5向y方向-侧驱动。即，显示器驱动控制部214控制检测基准40和作为第2显示的第2图标300a2的位置。由此，对该空中成像300进行视觉辨认的用户12以第2图标300a2为基准感知为第1图标300a1相对位于z方向-侧。

说明如下的情况，即，在校准处理中，用户12对初始显示的第1图标300a1的操作的到达位置50在第1图标300a1里(z方向-侧)的、即图5的(d)所示的状态。该情况下，显示器驱动控制部214为了使第2图标300a2如图37的(b)那样显示，而决定显示器11-5的y方向上的位置。显示器驱动控制部214基于到达位置50与检测基准40之间的距离，计算出显示器11-5的向y方向+侧的移动量。显示器驱动控制部214将该移动量作为驱动信号输出到显示器驱动装置16，显示器驱动装置16按照该移动量，使显示器11-5向y方向+侧驱动。即，显示器驱动控制部214控制检测基准40和作为第2显示的第2图标300a2的位置。由此，对该空中成像300进行视觉辨认的用户12以第2图标300a2为基准而感知为第1图标300a1位于z方向-侧。

此外，到达位置50与检测基准40之间的z方向上的距离、显示器11-1～11-9的y方向上的移动量和移动方向基于试验等的结果，作为预先建立了关联的关联数据而被存储到存储部205。显示器驱动控制部214参照该关联数据，计算出显示器11-1～11-9的移动量。

关于第4实施方式的显示装置1的校准处理，举出第1校准处理模式为例进行说明。该情况下，在第1实施方式的图7所示的流程图中，在步骤s6中，显示器驱动控制部214只要基于到达位置50与检测基准40之间的距离，计算出显示第2图标300a2的显示器11-5的y方向上的移动量即可。

此外，第4实施方式的显示装置1的校准处理也能够适应于第2校准处理模式。该情况下，在第1实施方式的图9所示的流程图中，只要在步骤s28及步骤s32中，显示器驱动控制部214基于到达位置50与检测基准40之间的距离，计算出表示第2图标的显示器的y方向上的移动量并使显示器移动即可。

在第4实施方式中，显示控制部202、显示器驱动控制部214控制检测基准40与显示于空中的作为第2显示的第2图标300a2之间的位置。由此，用户12能够基于第2显示的位置而感知空中成像在z方向上的位置。

另外，在第4实施方式中，显示控制部202、显示器驱动控制部214控制第2图标300a2来变更检测基准40与不同于用户12操作的第1图标300a1的第2图标300a2之间的位置关系。由此，用户12能够根据相对于第2图标300a2的相对位置关系感知第1图标300a1的位置，在检测基准40进行操作。

另外，在第4实施方式中，显示控制部202、显示器驱动控制部214控制第2图标300a2的显示位置，来变更与位于不同于第1图标300a1的显示位置的显示位置的第2图标300a2之间的位置关系。由此，用户12能够以第2图标300a2为基准感知第1图标300a1的显示位置。

此外，在上述说明中，举出了图像生成部201作为第2显示而显示第2图标300a2的情况为例，但并不限定于将第2显示显示为图标。例如，如图39所示，图像生成部201也可以作为第2显示而显示例如表示将空中成像300包围的框的空中成像301。图39的(a)示出初始显示，图39的(b)示出空中成像301与初始显示的情况相比位于z方向+侧的例子，图39的(c)示出空中成像301与初始显示的情况相比位于z方向-侧的例子。通过如图39的(b)所示那样显示空中成像300，用户12感知为第1图标300a1以空中成像301为基准相对位于z方向-侧。另外，通过如图39的(c)所示那样显示空中成像300，用户12感知为第1图标300a1以空中成像301为基准相对位于z方向+侧。变更空中成像301的显示位置的方法可以使用光场方式，也可以在多个显示器11的一部分显示器11(参照图38)上显示与空中成像301对应的显示用图像数据。

此外，在上述第4实施方式中，通过使不为用户12的操作对象的空中成像的第2显示的在z方向上的显示位置变更而使用户12感知为空中成像300的第1显示的z方向上的位置与第2显示的移动方向相反地移动。但是，根据用户12的不同，存在将作为第2显示而显示的空中成像301的位置感知为第1显示的第1图标300a1的位置的情况、用户12没有感知为第1显示的z方向上的位置与第2显示的移动方向相反地进行了移动的情况。是否感知为第2显示的空中成像301的位置处于第1图标300a1的位置依存于用户12，但在作为第2显示的空中成像301与第1图标300a1之间的关联性高的情况下，用户12容易将空中成像301的位置感知为第1图标300a1的位置。在此，作为第2显示的空中成像301与第1图标300a1之间的关联性高是指，作为第1显示、第2显示而显示的对象彼此在现实世界相处较近、相接触地设置、对象彼此成为一体地构成等。

若举出不限于上述说明的图标的一个例子，则存在显示装置1作为第1显示而显示图画、作为第2显示而显示画框的情况。由于实物的图画收纳于画框，所以一般在实物的情况下，画框的位置和图画的位置存在于相同位置。因此，即使空中成像中显示的、第1显示的图画与第2显示的画框之间的位置在z方向上偏移，有时用户12也会感到第1显示的图画位于作为空中成像显示的第2显示的画框的位置。同样地，第1实施方式和第2实施方式等中说明的、在作为辅助图像的第2显示上显示第1显示的影子的例子，也是第1显示与第2显示的关联性深的例子。相反地，在第1显示与第2显示之间的关联性低的情况下，这样的现象则难以发生。例如，在第2显示为音乐图标的空中成像、第1显示为表示塑料瓶的空中成像的情况下，用户12难以如上述那样感知为第1显示处于第2显示的位置。这是因为，作为第1显示的塑料瓶与作为第2显示的音乐图标的关联性低，在现实世界中塑料瓶与音乐图标的相处较近的情况少，另外音乐图标与塑料瓶一体地构成情况也几乎没有。

图39所示的例子作为第2显示而显示了框的空中成像301。在现实世界中，大多在框的位置显示第1图标300a1那样的图像，因此在图39所示的例子中，用户12容易感知为第1显示处于第2显示的位置。再换言之，通过作为第1图标300a1而显示图画那样的图像，并将第2显示的框设为适于所显示的图画的画框，用户12更容易感知为第1显示处于第2显示的位置。

在上述说明的、用户12感知为第1显示处于第2显示的位置的情况下，用户12感知为第1显示在与上述第4实施方式中说明的方向不同的方向进行了移动。具体地说，若如图39的(b)所示那样空中成像301向z方向+侧移动，则根据用户12的不同，存在感知为第1图标300a1也向z方向+侧进行了移动的可能性。另外，若如图39的(c)所示那样空中成像301向z方向-侧移动，则根据用户12的不同，存在感知为第1图标300a1也向z方向-侧进行了移动的可能性。也就是说，用户12感知的第1显示的移动方向成为与上述第1实施方式相同的方向。像这样，根据用户12是否感知为第1显示处于第2显示的位置，而用户12感知为第1显示移动了的方向不同。

此外，以下举出其他关联性高的具体例。存在显示装置1作为第1显示而显示饮料水的瓶等、作为第2显示而显示书案的情况。另外，存在显示装置1作为第1显示而显示乐谱、作为第2显示而显示乐谱台的情况等。这样的情况下，用户12容易感知第1显示处于第2显示的位置。

此外，在上述第2实施方式和其变形例中，说明了用户12将实际物体的位置感知为空中成像30的位置。但是，根据实际物体(例如框101)与空中成像30之间的关联性，如第2实施方式中说明那样，根据用户12的不同，也存在以框101的位置为基准将相对位置感知为空中成像30的位置的可能性。即，根据用户12的不同，存在在框101向z方向-侧进行了移动的情况下，感知为空中成像30向z方向+侧进行了移动，在框101向z方向+侧进行了移动的情况下，感知为空中成像30向z方向-侧进行了移动的可能性。

(第4实施方式的变形例1)

第4实施方式的显示装置1不对空中成像中的成为用户12的操作对象的空中成像的第1部分变更z方向上的显示位置，而对不为用户12的操作对象的空中成像的第2部分变更z方向上的显示位置，由此能够使用户12感知空中成像30的第1部分的z方向上的位置。

如上述那样，空中成像具有透视性，因此，即使是同一用户12有时也会感到空中成像的显示位置不同。因此，存在用户12无法准确地感知空中成像的位置、无法利用检测基准检测到用户12的操作的隐患。即，存在用户12将空中成像的位置感知为不稳定位置的隐患。

第4实施方式的变形例1的显示装置1为了降低上述的空中成像的位置的不稳定性，使得用户12能够以实际物体为基准准确地感知作为空中成像的图标的显示位置，图像生成部201以使与作为第1显示的图标不同的作为第2显示的空中成像重叠于(连接于)实际物体的方式进行显示。即，用户12通过借助作为第2显示的空中成像并以实际物体为基准，能够感知图标的显示位置。以下详细进行说明。

图40中示意地示出在该情况下通过显示装置1显示的空中成像30和载台14。设为在载台14的表面(y方向+侧的面)上附有条纹图案。在图40的(a)中，包含作为空中成像30的第1部分的第1空中成像30-1、和作为第2部分的第2空中成像30-2。在图40的(a)中，示出作为第1显示的第1空中成像30-1由四个图标30a构成的例子。此外，图标30a的个数为一例，不限定于四个。作为第2显示的第2空中成像30-2是模拟配置有图标30a的面板的图像。图像生成部201生成第2空中成像30-2被载置于载台14之上这样的显示用图像数据。即，图像生成部201生成第2空中成像30-2与作为实际物体的载台14重叠这样的显示用图像数据。由于显示装置1上的载台14的位置稳定，所以用户12能够借助以载置于作为实际物体的载台14之上的方式显示的第2空中成像30-2稳定地视觉辨认图标30a的位置。

即使在如上述那样以第2空中成像30-2载置于载台14的方式显示空中成像30的情况下，根据用户12不同，也具有感知为第2空中成像30-2与载台14乖离的隐患。即，存在用户12感知为第2空中成像30-2没有载置于载台14之上的可能性。为了避免发生这样的事态，图像生成部201可以以在如图40的(a)那样显示的第2空中成像30-2与载台14重叠的部分上进一步显示第3空中成像的方式生成显示用图像数据。图40的(b)中示出该情况下的空中成像30。第1空中成像30-1和第2空中成像30-2与图40的(a)所示的例子相同。第3空中成像30-3与例如第2空中成像30-2的下部附近处的表示载台14的表面的图像对应。该情况下，图像生成部201使用载台14的表面中的、例如由摄像装置等拍摄图案等得到的拍摄数据，生成与第3空中成像30-3对应的显示用图像数据。由此，用户12能够感知为第2空中成像30-2载置于载台14，能够借助第2空中成像30-2及第3空中成像30-3并以载台14为基准更稳定地感知图标30a的z方向上的位置。

此外，图像生成部201也可以生成在如上述那样第2空中成像30-2经由第3空中成像30-3与载台14重叠的状态下，进一步地第2空中成像30-2与第1空中成像30-1的至少一部分重叠这样的显示用图像数据。该情况下，图像生成部201显示为第1空中成像30-1与第2空中成像30-2之间没有间隙等而相互接触。例如，在第1空中成像30-1是瓶或塑料瓶、第2空中成像30-2是书案的情况下，图像生成部201生成表示瓶或塑料瓶载置于书案之上的状态的显示用图像数据。由此，第1空中成像30-1与相对于作为实际物体的载台14被稳定地视觉辨认的第2空中成像30-2重叠，所以用户12能够更稳定地视觉辨认第1空中成像30-1。

在第4实施方式的变形例1中，图像生成部201在第1空中成像30-1与配置于第1空中成像30-1的下方(y方向-侧)的实物(载台14)之间显示第2空中成像30-2。由此，用户12易于以载台14为基准，借助第2空中成像30-2来感知第1空中成像30-1在空中的位置。

另外，在第4实施方式的变形例1中，图像生成部201以使第2空中成像30-2与载台14的一部分重叠的方式进行显示。由此，用户12能够借助以载置于载台14之上的方式进行显示的第2空中成像30-2来视觉辨认图标30a，因此能够将图标30a与载台14的位置关系感知为稳定的关系。

另外，在第4实施方式的变形例1中，图像生成部201在第2空中成像30-2中的与载台14重叠的部分，显示与载台14对应的第3空中成像30-3。由此，用户12能感知为第2空中成像30-2载置于载台14，能够借助第2空中成像30-2及第3空中成像30-3并以载台14为基准感知图标30a的z方向上的位置。

另外，在第4实施方式的变形例1中，图像生成部201使第2空中成像30-2与第1空中成像30-1的一部分重叠地进行显示。由此，用户12能够感知为第1空中成像30-1与第2空中成像30-2在z方向上处于相同位置，因此能够借助第2空中成像30-2及第3空中成像30-3并以载台14为基准感知图标30a的z方向上的位置。

此外，在上述第4实施方式中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。也可以为了得到上述第4实施方式和其变形例1中记载的各效果而从上述结构根据需要适当追加结构。另外，还可以将上述控制装置组入到适用于第4实施方式和其变形例的各种电子设备。

另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，也可以为了得到在上述第4实施方式中记载的各效果而从上述结构根据需要适当追加结构。

作为以上说明的全部实施方式和全部变形例的显示装置1生成空中成像的方法，可以是将激光会聚于空中并将构成空气的分子等离子化而在空中发光、从而在空中形成像的方法。该情况下，通过在三维空间中自由地控制激光的会聚位置而在空中作为实像生成三维图像。另外，作为生成空中成像的方法，也可以使用在投影仪功能的基础上具有在空气中产生雾的功能的显示装置，使空气中产生而形成屏幕，将图像投影到基于该雾形成的屏幕上(雾屏)，由此在空中生成像。

可以事先将显示装置1为了使空中成像30的位置移动而执行的各种处理的程序记录到计算机可读的记录介质，并将该程序读入计算机系统来执行校准。此外，在此所说的“计算机系统”可以包含os(operatingsystem：操作系统)和外围设备等硬件。

此外，上述“计算机系统”也包含利用www系统的主页提供环境(或显示环境)。另外，上述“计算机可读的记录介质”是指软盘、光磁盘、rom、闪存等能够写入的非易失性存储器、cd-rom等可移动介质、内置于计算机系统的硬盘等存储装置。而且上述计算机可读的记录介质”也包括像经由因特网等网络或电话回线等通信回线发送程序的情况下的成为服务器或客户端的计算机系统的内部的易失性存储器(例如dram(dynamicrandomaccessmemory：动态随机存储器))那样以一定时间保存程序的介质。

关于上述“程序”，可以从将该程序保存于存储装置等的计算机系统经由传输介质或利用传输介质中的传输波而传输到其他计算机系统。在此，传输程序的“传输介质”是指像因特网等网路(通信网)、电话回线等通信回线(通信线)那样具有传输信息的功能的介质。另外，上述程序也可以是用于实现上述功能的一部分功能的程序。而且，也可以是与已经记录于计算机系统的程序组合来实现上述功能的、所谓差分文件(差分程序)。

只要无损本发明的特征，则本发明不限定于上述实施方式，关于在本发明的技术思想的范围内想到的其他方式，也包含于本发明的范围内。

以下优先权基础申请的公开内容作为引用文被引入于此。

日本国专利申请2016年第128210号(2016年6月28日提出申请)

附图标记说明

1…显示装置，9…成像光学系统，11…显示器，13…操作检测器，15…投影器，16…显示器驱动装置，17…驱动装置，18…摄像装置，19…集音器，20…控制部，91…第2显示器，92…漫射片，103…led，200…投影器控制部，201…图像生成部，202…显示控制部，203…校准部，204…检测基准控制部，206…速度和加速度检测部，207…到达位置预测部，208…语音检测部，209…图像解析部，210…驱动控制部，211…点亮控制部，212…检测部，213…决定部，214…显示器驱动控制部。