显示装置和控制方法
【技术领域】
[0001]本发明涉及显示装置和控制方法。
【背景技术】
[0002]在包括显示部的显示装置中，存在可以立体显示图像等的装置(例如，参考专利文献I)。利用双眼的视差实现立体显示。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本专利公开公报“特开2011-95547”
【发明内容】
[0006]发明所要解决的技术问题
[0007]尽管对于使用者，立体显示是易于接受的显示形式，但是在现有的显示装置中，立体显示只用于视听目的，而不用于提高操作的便利性。本发明的目的在于提供:可以向使用者提供便利性高的操作方法的显示装置和控制方法。
[0008]解决问题所需手段
[0009]一种方式的显示装置，其特征在于，包括:显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示对象；检测部，检测操作所述对象的真实物体；以及控制部，根据所述真实物体的动作，使所述对象变化，并且进行用于订购与所述对象对应的商品的订购处理。
[0010]一种方式的控制方法，其特征在于，包括:通过显示与用户两只眼睛各自对应的图像来以三维方式显示对象；检测操作所述对象的真实物体；根据所述真实物体的动作，使所述对象变化；以及根据所述真实物体的动作，进行用于订购与所述对象对应的商品的订购处理。
[0011]发明效果
[0012]本发明起到可以向使用者提供便利性高的操作方法的效果。
[0013]附图简要说明
[0014]图1是第一实施例的显示装置的立体图。
[0015]图2是从正面观看由使用者佩戴的显示装置的图。
[0016]图3是示出显示装置的变形例的图。
[0017]图4是示出显示装置的其他变形例的图。
[0018]图5是示出显示装置的其他变形例的图。
[0019]图6是第一实施例的显示装置的框图。
[0020]图7是示出根据控制程序提供的功能进行控制的实施例的图。
[0021]图8是示出与位置变化联动地使三维对象变化的实施例的图。
[0022]图9是概念性示出配置在使用者周围的操作画面的图。
[0023]图10是示出与方向变化联动地使三维对象变化的实施例的图。
[0024]图11是示出与位置变化和方向变化联动地使三维对象变化的控制的处理顺序的流程图。
[0025]图12是示出存储在对象数据中的信息的一个实施例的图。
[0026]图13是示出存储在作用数据中的信息的一个实施例的图。
[0027]图14是示出存储在作用数据中的信息的一个实施例的图。
[0028]图15是示出存储在作用数据中的信息的一个实施例的图。
[0029]图16是示出存储在作用数据中的信息的一个实施例的图。
[0030]图17是示出存储在作用数据中的信息的一个实施例的图。
[0031]图18是示出存储在作用数据中的信息的一个实施例的图。
[0032]图19是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。
[0033]图20是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。
[0034]图21是示出第一实施例中的接触检测处理的处理顺序的流程图。
[0035]图22是示出第一实施例中的操作检测处理的处理顺序的流程图。
[0036]图23是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第二实施例的图。
[0037]图24是示出第二实施例中的操作检测处理的处理顺序的流程图。
[0038]图25是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。
[0039]图26是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。
[0040]图27是示出第三实施例中的操作检测处理的处理顺序的流程图。
[0041]图28是用于说明检测抓住三维对象进行的操作的第一实施例的图。
[0042]图29是示出第一实施例中的选择检测处理的处理顺序的流程图。
[0043]图30是示出第一实施例中的操作检测处理的处理顺序的流程图。
[0044]图31是用于说明检测抓住三维对象进行的操作的第一实施例的变形例的图。
[0045]图32是用于说明检测抓住三维对象进行的操作的第二实施例的图。
[0046]图33是示出第二实施例中的选择检测处理的处理顺序的流程图。
[0047]图34是用于说明检测抓住三维对象进行的操作的第二实施例的变形例的图。
[0048]图35是用于说明检测抓住三维对象进行的操作的第三实施例的图。
[0049]图36是用于说明检测抓住三维对象进行的操作的第三实施例的图。
[0050]图37是示出第三实施例中的选择检测处理的处理顺序的流程图。
[0051]图38是示出第三实施例中的操作检测处理的处理顺序的流程图。
[0052]图39是用于说明检测抓住三维对象进行的操作的第三实施例的变形例的图。
[0053]图40是用于说明开始比萨的订购处理的图。
[0054]图41是用于说明决定饼底的尺寸和厚度的工序的图。
[0055]图42是用于说明放上材料的工序的图。
[0056]图43是用于说明订购比萨的工序的图。
[0057]图44是配送比萨的实施例的图。
[0058]图45是示出订购处理的处理顺序的流程图。
【具体实施方式】
[0059]以下，参考附图详细说明本发明。另外，本发明不限于下文的说明。而且，在下文的说明中的构成要素中包括本领域的技术人员可以容易想到的内容、实质上等同的内容和所谓的均等范围的内容。
[0060]实施例1
[0061]首先，参考图1和图2说明第一实施例的显示装置I的整体结构。图1是显示装置I的立体图。图2是从正面观看由使用者佩戴的显示装置I的图。如图1和图2所示，显示装置I是佩戴在使用者头部的头戴式装置。
[0062]显示装置I具有前面部la、侧面部Ib和侧面部lc。当佩戴时，前面部Ia被配置在使用者的正面以覆盖使用者的双眼。侧面部Ib与前面部Ia —侧的端部连接，侧面部Ic与前面部Ia另一侧的端部连接。当佩戴时，侧面部Ib和侧面部Ic像眼镜腿一样由使用者的耳朵支撑，使显示装置I稳定。当佩戴时，侧面部Ib和侧面部Ic也可以在使用者的头部背面连接。
[0063]前面部Ia在当佩戴时与使用者的眼睛相对的面上具有显示部32a和显示部32b。显示部32a被配置在当佩戴时与使用者的右眼相对的位置，显示部32b被配置在当佩戴时与使用者的左眼相对的位置。显示部32a显示右眼用的图像，显示部32b显示左眼用的图像。这样，通过具有当佩戴时显示与使用者的两只眼睛各自对应的图像的显示部32a和显示部32b，使得显示装置I可以实现利用双眼视差的三维显示。
[0064]如果可以向使用者的右眼和左眼单独提供不同的图像，则显示部32a和显示部32b也可以由一个显示设备构成。例如，也可以通过快速转换遮蔽板以使得只有一只眼睛能看到显示的图像，从而构成为一个显示设备向使用者的右眼和左眼单独提供不同的图像。前面部Ia也可以覆盖使用者的眼睛以使得当佩戴时外部光线不进入使用者的眼睛。
[0065]前面部Ia在与设置有显示部32a和显示部32b的面相反侧的面上具有摄影部40和摄影部42。摄影部40被设置在前面部Ia—侧的端部(佩戴时的右眼侧)附近，摄影部42被设置在前面部Ia另一侧的端部(佩戴时的左眼侧)附近。摄影部40获得相当于使用者右眼视野的范围的图像。摄影部42获得相当于使用者左眼视野的范围的图像。这里的视野是指例如使用者看正面时的视野。
[0066]显示装置I将由摄影部40拍摄的图像作为右眼用图像在显示部32a中显示，将由摄影部42拍摄的图像作为左眼用图像在显示部32b中显示。因此，即使被前面部Ia遮挡视野，显示装置I也能向佩戴中的使用者提供与未佩戴显示装置I时相同的情景。
[0067]显示装置I具有如上述向使用者提供实际情景的功能，还具有以三维方式显示假想信息，使得使用者可以操作假想信息的功能。通过显示装置1，假想信息如实际存在一样与真实的情景重叠显示。而且，使用者可以例如好像用手实际触摸假想信息那样操作，对假想信息进行移动、旋转、变形等的变化。这样，显示装置I可以关于假想信息提供直观且便利性高的操作方法。在下文的说明中，有时将由显示装置I以三维方式显示的假想信息称为“三维对象”。
[0068]显示装置I向使用者提供与未佩戴显示装置I时同样广阔的视野。而且，显示装置I可以在该广阔的视野中的任意位置以任意大小配置三维对象。这样，显示装置I不受显示设备的大小限制，可以在广阔空间的各种位置显示各种大小的三维对象。而且，可以将可看到三维对象的人限定为显示装置I的使用者，从而确保高度的安全性。
[0069]在图1和图2中，示出了显示装置I具有类似于眼镜(护目镜)形状的实施例，但是显示装置I的形状不限于此。例如，显示装置I也可以如图3示出的显示装置2那样，具有覆盖使用者头部的大致上半部分的头盔型的形状。或者，显示装置I也可以如图4示出的显示装置3那样，具有覆盖使用者大致整个脸的面具型的形状。显示装置I也可以如图5示出的显示装置4那样，构成为与信息处理装置、电池装置等外部装置4d有线或无线连接。
[0070]接着，参考图6说明显示装置I的功能结构。图6是显示装置I的框图。如图6所示，显示装置I具有操作部13、控制部22、存储部24、通信部16、显示部32a和显示部32b、摄影部40和摄影部42、检测部44、测距部46和动作传感器48。操作部13接收显示装置I的启动、停止、动作模式的变更等基本操作。
[0071]通信部16进行在其他装置之间的通信。通信部16可以支持无线LAN或Bluetooth(注册商标)那样在比较狭小的范围内进行无线通信的通信方式，也可以支持面向电信运营商的3G通信方式或4G通信方式那样在比较广阔的范围内进行无线通信的通信方式。通信部16也可以支持以太网(注册商标)那样通过有线进行的通信方式。通信部16也可以支持多个通信方式。
[0072]显示部32a和显示部32b具有液晶显示器(Liquid Crystal Display)、有机EL (Organic Electro-Luminescence)面板等的显示设备，根据从控制部22输入的控制信号显示各种信息。显示部32a和显示部32b也可以是使用激光光线等光源在使用者的视网膜上投影图像的投影装置。
[0073]摄影部40 和摄影部 42 使用 CO) (Charge Coupled Device Image Sensor)、CMOS (Complementary Metal Oxide Semiconductor)等的图像传感器以电子方式拍摄图像。而且，摄影部40和摄影部42将拍摄的图像转换为信号向控制部22输出。
[0074]检测部44检测存在于摄影部40和摄影部42的拍摄范围中的真实物体。检测部44例如在存在于拍摄范围的真实物体中检测与预先登记的形状(例如，人手的形状)匹配的物体。检测部44也可以构成为，即使对于未事先登记的物体，也可以根据像素的明亮度、色彩度、色调的边缘等检测图像中的真实物体的范围(形状和大小)。
[0075]测距部46测量距存在于摄影部40和摄影部42的拍摄范围中的真实物体的距离。以佩戴显示装置I的使用者的每只眼睛的位置为基准测量每只眼睛距真实物体的距离。因此，当测距部46测量距离的基准位置与每只眼睛的位置偏离时，以根据该偏离量表示距眼睛位置的距离的方式补正测量部46的测定值。
[0076]在本实施例中，摄影部40和摄影部42兼作检测部44和测距部46。S卩，在本实施例中，通过解析由摄影部40和摄影部42拍摄的图像，检测拍摄范围中的物体。而且，通过比较包括在由摄影部40拍摄的图像中的物体和包括在由摄影部42拍摄的图像中的物体，测量(计算)与物体的距离。
[0077]显示装置I也可以具有与摄影部40和摄影部42不同的检测部44。检测部44也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测存在于拍摄范围中的真实物体的传感器。显示装置I也可以具有与摄影部40和摄影部42不同的测距部46。测距部46也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测距存在于拍摄范围中的真实物体的距离的传感器。显示装置I也可以具有如使用TOF(Time-0f-Flight，飞行时间)法的传感器那样可以兼作检测部44和测距部46的传感器。
[0078]动作传感器48检测显示装置I的位置变化以及方向(姿势)变化。位置变化和方向变化以三维方式进行检测。也就是说，动作传感器48不仅检测水平方向中的位置变化和方向变化，还检测垂直方向中的位置变化和方向变化。为了检测显示装置I的位置变化和方向变化，动作传感器48例如可包括三轴加速度传感器。为了检测显示装置I的位置变化，动作传感器48也可包括GPS (Global Posit1ning System)接收器或气压传感器。为了检测显示装置I的位置变化，动作传感器48还可利用测距部46所测量的距离测量结果。动作传感器48还可以使用多种方式的组合来检测显示装置I的位置变化。为了检测显示装置I的方向变化，动作传感器48还可以包括陀螺仪传感器或方位传感器。动作传感器48还可以使用多种方式的组合来检测显示装置I的方向变化。
[0079]控制部22具有作为运算装置的CPU (Central Processing Unit)和作为存储装置的存储器，通过使用这些硬件资源执行程序来实现各种功能。具体地，控制部22读取存储部24中存储的程序和数据且加载至存储器，使CPU执行包括在加载至存储器的程序中的命令。而且，控制部22根据由CPU执行的命令的执行结果，对存储器和存储部24进行数据的读写、或控制显示部32a等的动作。当CPU执行命令时，加载至存储器的数据和通过检测部44检测的操作作为参数或判断条件的一部分所使用。
[0080]存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24a。存储部24中存储的数据包括对象数据24b、作用数据24c和假想空间数据24d。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以存储在存储介质中。另外，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以通过由通信部16进行的通信从服务器装置等的其他装置获得。
[0081]控制程序24a提供与用于使显示装置I运转的各种控制相关的功能。在控制程序24a提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。
[0082]控制程序24a包括检测处理部25、显示对象控制部26、视点控制部27和图像合成部28。检测处理部25提供用于检测存在于摄影部40和摄影部42的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。
[0083]显示对象控制部26提供用于管理在假想空间中配置什么样的三维对象，各个三维对象处于什么样的状态的功