显示装置、控制方法和控制程序的制作方法
【技术领域】
[0001]本发明涉及显示装置、控制方法和控制程序。
【背景技术】
[0002]在包括显示部的显示装置中，存在可以立体显示图像等的装置(例如，参照专利文献I)。利用双眼的视差实现立体显示。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本专利公开公报“特开2011-95547”
【发明内容】
[0006]发明所要解决的技术问题
[0007]尽管对于使用者，立体显示是易于接受的显示形式，但是在现有的显示装置中，立体显示只用于视听目的，而不用于提高操作的便利性。本发明的目的在于提供可以向使用者提供便利性高的操作方法的显示装置、控制方法和控制程序。
[0008]解决问题所需手段
[0009]一种显示装置，其特征在于，包括:显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，将用于执行与表格计算有关的处理的平面状对象进行三维显示；存储部，存储使对所述对象的操作和包含在所述处理中的处理项目建立对应的规则；检测部，检测所述操作；以及控制部，基于所述规则，根据所述检测部检测的所述操作确定应该执行的所述处理项目。
[0010]一种通过显示装置执行的控制方法，所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，将用于执行与表格计算相关的处理的对象进行三维显示，其特征在于，所述控制方法包括:将平面状的所述对象三维显示于显示装置；检测对所述对象的操作；以及，参照存储有将所述操作和包含在所述处理中的处理项目建立对应的规则的存储部，根据检测到的所述操作确定应该执行的所述处理项目。
[0011]一种控制程序，其特征在于，使显示装置执行如下步骤，所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，将用于执行与表格计算有关的处理的对象进行三维显示，所述步骤包括:将平面状的所述对象三维显示于显示装置；检测对所述对象的操作；以及，参照存储有将所述操作和包含在所述处理中的处理项目建立对应的规则的存储部，根据检测到的所述操作确定应该进行的所述处理项目。
[0012]附图简要说明
[0013]图1是第一实施例的显示装置的立体图。
[0014]图2是从正面观看由使用者佩戴的显示装置的图。
[0015]图3是示出显示装置的变形例的图。
[0016]图4是示出显示装置的其他变形例的图。
[0017]图5是示出显示装置的其他变形例的图。
[0018]图6是第一实施例的显示装置的框图。
[0019]图7是示出根据控制程序提供的功能进行控制的实施例的图。
[0020]图8是示出存储在对象数据中的信息的一个实施例的图。
[0021]图9是示出存储在作用数据中的信息的一个实施例的图。
[0022]图10是示出存储在作用数据中的信息的一个实施例的图。
[0023]图11是示出存储在作用数据中的信息的一个实施例的图。
[0024]图12是示出存储在对象数据中的信息的一个实施例的图。
[0025]图13是示出存储在作用数据中的信息的一个实施例的图。
[0026]图14是示出存储在作用数据中的信息的一个实施例的图。
[0027]图15是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。
[0028]图16是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。
[0029]图17是示出第一实施例中的接触检测处理的处理顺序的流程图。
[0030]图18是示出第一实施例中的操作检测处理的处理顺序的流程图。
[0031]图19是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第二实施例的图。
[0032]图20是示出第二实施例中的操作检测处理的处理顺序的流程图。
[0033]图21是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。
[0034]图22是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。
[0035]图23是示出第三实施例中的操作检测处理的处理顺序的流程图。
[0036]图24是用于说明检测抓住三维对象进行的操作的第一实施例的图。
[0037]图25是示出第一实施例中的选择检测处理的处理顺序的流程图。
[0038]图26是示出第一实施例中的操作检测处理的处理顺序的流程图。
[0039]图27是用于说明检测抓住三维对象进行的操作的第一实施例的变形例的图。
[0040]图28是用于说明检测抓住三维对象进行的操作的第二实施例的图。
[0041]图29是示出第二实施例中的选择检测处理的处理顺序的流程图。
[0042]图30是用于说明检测抓住三维对象进行的操作的第二实施例的变形例的图。
[0043]图31是用于说明检测抓住三维对象进行的操作的第三实施例的图。
[0044]图32是用于说明检测抓住三维对象进行的操作的第三实施例的图。
[0045]图33是示出第三实施例中的选择检测处理的处理顺序的流程图。
[0046]图34是示出第三实施例中的操作检测处理的处理顺序的流程图。
[0047]图35是用于说明检测抓住三维对象进行的操作的第三实施例的变形例的图。
[0048]图36是第二实施例的显示装置的框图。
[0049]图37是示出使用者观看时的显示空间中显示的工作表的状态的图。
[0050]图38是用于说明在显示空间中显示的工作表的立体位置关系的图。
[0051]图39是示出预先将对工作表检测到的操作和包含在与表计算表格计算有关的处理中的处理项目建立对应的处理项目决定规则的实施例。
[0052]图40是用于说明第二实施例的图像合成的图。
[0053]图41是示出使用者的手指和工作表的位置关系的图。
[0054]图42是示出与图41中的步骤S92所对应的工作表的显示例的图。
[0055]图43是用于说明工作表的消失的图。
[0056]图44是示出在多个工作表间进行的单元格拷贝的实施例的图。
[0057]图45是用于说明切换工作表中显示的数据的图。
[0058]图46是用于说明切换工作表中显示的数据的图。
[0059]图47是用于说明切换工作表中显示的数据的图。
[0060]图48是用于说明切换工作表中显示的数据的图。
[0061]图49是用于说明切换工作表中显示的数据的图。
[0062]图50是示出在工作表间进行的运算的图。
[0063]图51是用于说明工作表的实施例的图。
[0064]图52是用于说明删除单元格的图。
[0065]图53是用于说明拷贝单元格的图。
[0066]图54是用于说明工作表的翻页显示的图。
[0067]图55是第二实施例的处理顺序的流程图。
[0068]图56是示出工作表的其他显示例的图。
[0069]图57是示出工作表的显示位置的整理例的图。
[0070]图58是第三实施例的显示装置的框图。
[0071]图59是示出使用者观看时的显示空间中显示的立体状对象的状态的图。
[0072]图60是立体状对象的展开图。
[0073]图61是示出预先将对方块或工作表检测到的操作和包含在与表格计算有关的处理中的处理项目建立对应的处理项目决定规则的实施例。
[0074]图62是示出对方块进行的操作的实施例的图。
[0075]图63是示出方块的显示方式的实施例的图。
[0076]图64是示出对方块进行的操作的实施例的图。
[0077]图65是示出在方块上执行与表格计算相关的处理之处的实施例的图。
[0078]图66是示出工作表的构成例的图。
[0079]图67是示出立体单元格的实施例的图。
[0080]图68是示出在方块内显示图表的实施例的图。
[0081]图69是示出旋转方块的列或行的概念的图。
[0082]图70是示出分割方块的概念的图。
[0083]图71是示出构成方块的工作表上的方块单元的选择的概念的图。
[0084]图72是示出压坏方块的概念的图。
[0085]图73是示出使方块的I列消失的概念的图。
[0086]图74是示出从方块分离方块单元的概念的图。
[0087]图75是示出第三实施例中的处理顺序的流程图。
【具体实施方式】
[0088]以下，参考附图详细说明本发明。另外，本发明不限于下文的说明。而且，在下文的说明中的构成要素中包括本领域的技术人员可以容易想到的内容、实质上等同的内容和所谓的均等范围的内容。
[0089]实施例1
[0090]首先，参考图1和图2说明第一实施例的显示装置I的整体结构。图1是显示装置I的立体图。图2是从正面观看由使用者佩戴的显示装置I的图。如图1和图2所示，显示装置I是佩戴在使用者头部的头戴式装置。
[0091]显示装置I具有前面部la、侧面部Ib和侧面部lc。当佩戴时，前面部Ia被配置在使用者的正面以覆盖使用者的双眼。侧面部Ib与前面部Ia —侧的端部连接，侧面部Ic与前面部Ia另一侧的端部连接。当佩戴时，侧面部Ib和侧面部Ic像眼镜腿一样由使用者的耳朵支撑，使显示装置I稳定。当佩戴时，侧面部Ib和侧面部Ic也可以在使用者的头部背面连接。
[0092]前面部Ia在当佩戴时与使用者的眼睛相对的面上具有显示部32a和显示部32b。显示部32a被配置在当佩戴时与使用者的右眼相对的位置，显示部32b被配置在当佩戴时与使用者的左眼相对的位置。显示部32a显示右眼用的图像，显示部32b显示左眼用的图像。这样，通过具有当佩戴时显示分别与使用者的两只眼睛各自对应的图像的显示部32a和显示部32b，使得显示装置I可以实现利用双眼视差的三维显示。
[0093]如果可以向使用者的右眼和左眼单独提供不同的图像，则显示部32a和显示部32b也可以由一个显示设备构成。例如，也可以通过快速转换遮蔽板以使得只有一只眼睛能看到显示的图像，从而构成为一个显示设备向使用者的右眼和左眼单独提供不同的图像。前面部Ia也可以覆盖使用者的眼睛以使得当佩戴时外部光线不进入使用者的眼睛。
[0094]前面部Ia在与设置有显示部32a和显示部32b的面相反侧的面上具有摄影部40和摄影部42。摄影部40被设置在前面部Ia—侧的端部(佩戴时的右眼侧)附近，摄影部42被设置在前面部Ia另一侧的端部(佩戴时的左眼侧)附近。摄影部40获得相当于使用者右眼视野的范围的图像。摄影部42获得相当于使用者左眼视野的范围的图像。这里的视野是指例如使用者看正面时的视野。
[0095]显示装置I将由摄影部40拍摄的图像作为右眼用图像在显示部32a中显示，将由摄影部42拍摄的图像作为左眼用图像在显示部32b中显示。因此，即使被前面部Ia遮挡视野，显示装置I也能向佩戴中的使用者提供与未佩戴显示装置I时相同的情景。
[0096]显示装置I具有如上述向使用者提供实际情景的功能，还具有以三维方式显示假想信息，使得使用者可以操作假想信息的功能。通过显示装置1，假想信息如实际存在一样与真实的情景重叠显示。而且，使用者可以例如好像用手实际触摸假想信息那样操作，对假想信息进行移动、旋转、变形等的变化。这样，显示装置I可以关于假想信息提供直观且便利性高的操作方法。在下文的说明中，有时将由显示装置I以三维方式显示的假想信息称为“三维对象”。
[0097]显示装置I向使用者提供与未佩戴显示装置I时同样广阔的视野。而且，显示装置I可以在该广阔的视野中的任意位置以任意大小配置三维对象。这样，显示装置I不受显示设备的大小限制，可以在广阔空间的各种位置显示各种大小的三维对象。
[0098]在图1和图2中，示出了显示装置I具有类似于眼镜(护目镜)形状的实施例，但是显示装置I的形状不限于此。例如，显示装置I也可以如图3示出的显示装置2那样，具有覆盖使用者头部的大致上半部分的头盔型的形状。或者，显示装置I也可以如图4示出的显示装置3那样，具有覆盖使用者大致整个脸的面具型的形状。显示装置I也可以如图5示出的显示装置4那样，构成为与信息处理装置、电池装置等外部装置4d有线或无线连接。
[0099]接着，参考图6说明显示装置I的功能结构。图6是第一实施例的显示装置I的框图。如图6所示，显示装置I具有操作部13、控制部22、存储部24、显示部32a和显示部32b、摄影部40和摄影部42、检测部44、测距部46。操作部13接收显示装置I的启动、停止、动作模式的变更等基本操作。
[0100]显示部32a和显示部32b具有液晶显示器(Liquid Crystal Display)、有机EL (Organic Electro-Luminescence)面板等的显示设备，根据从控制部22输入的控制信号显示各种信息。显示部32a和显示部32b也可以是使用激光光线等光源在使用者的视网膜上投影图像的投影装置。
[0101]摄影部40 和摄影部 42 使用 CO) (Charge Coupled Device Image Sensor)、CMOS (Complementary Metal Oxide Semiconductor)等的图像传感器以电子方式拍摄图像。而且，摄影部40和摄影部42将拍摄的图像转换为信号向控制部22输出。
[0102]检测部44检测存在于摄影部40和摄影部42的拍摄范围中的真实物体。检测部44例如在存在于拍摄范围的真实物体中检测与预先登记的形状(例如，人手的形状)匹配的物体。检测部44也可以构成为，即使对于未事先登记的物体，也可以根据像素的明亮度、色彩度、色调的边缘等检测图像中的真实物体的范围(形状和大小)。
[0103]测距部46测量距存在于摄影部40和摄影部42的拍摄范围中的真实物体的距离。以佩戴显示装置I的使用者的每只眼睛的位置为基准测量每只眼睛距真实物体的距离。因此，当测距部46测量距离的基准位置与每只眼睛的位置偏离时，以根据该偏离量表示距眼睛位置的距离的方式补正测量部46的测定值。
[0104]在本实施例中，摄影部40和摄影部42兼作检测部44和测距部46。S卩，在本实施例中，通过解析由摄影部40和摄影部42拍摄的图像，检测拍摄范围中的物体。而且，通过比较包括在由摄影部40拍摄的图像中的物体和包括在由摄影部42拍摄的图像中的物体，测量(计算)与物体的距离。
[0105]显示装置I除了摄影部40和摄影部42之外，还可以具有检测部44。检测部44也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测存在于拍摄范围中的真实物体的传感器。显示装置I除了摄影部40和摄影部42之外，还可以具有测距部46。测距部46也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测距存在于拍摄范围中的真实物体的距离的传感器。显示装置I也可以具有如使用TOF(Time-0f-Flight，飞行时间)法的传感器那样可以兼作检测部44和测距部46的传感器。
[0106]控制部22具有作为运算装置的CPU (Central Processing Unit)和作为存储装置的存储器，通过使用这些硬件资源执行程序来实现各种功能。具体地，控制部22读取存储部24中存储的程序和数据且加载至存储器，使CPU执行包括在加载至存储器的程序中的命令。而且，控制部22根据由CPU执行的命令的执行结果，对存储器和存储部24进行数据的读写、或控制显示部32a等的动作。当CPU执行命令时，加载至存储器的数据和通过检测部44检测的操作作为参数或判断条件的一部分所使用。
[0107]存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24a。存储部24中存储的数据包括对象数据24b、作用数据24c和假想空间数据24d。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以存储在存储介质中。另外，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以通过无线通信或有线通信从服务器装置等的其他装置获得。
[0108]控制程序24a提供与用于使显示装置I运转的各种控制相关的功能。在控制程序24a提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。
[0109]控制程序24a包括检测处理部25、显示对象控制部26和图像合成部27。检测处理部25提供用于检测存在于摄影部40和摄影部42的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。
[0110]显示对象控制部26提供用于管理在假想空间中配置什么样的三维对象，各个三维对象处于什么样的状态的功能。显示对象控制部26提供的功能中包括根据通过检测处理部25的功能所检测的真实物体的动作检测对三维对象的操作，并根据检测到的操作使三维对象变化的功能。
[0111]图像合成部27提供用于通过合成真实空间的图像和假想空间的图像生成在显示部32a中显示的图像和在显示部32b中显示的图像。在图像合成部27提供的功能中包括根据通过检测处理部25的功能测量的距真实物体的距离和从在假想空间中的视点到三维对象的距离，判断真实物体和三维对象的前后关系，调整重叠的功能。
[0112]对象数据24b包括关于三维对象的形状和性质的信息。对象数据24b用于显示三维对象。作用数据24c包括关于对显示的三维对象的操作如何作用于三维对象的信息。当检测到对显示的三维对象的操作时，作用数据24c用于判断使三维对象如何变化。这里所说的变化包括移动、旋转、变形、消失、置换等。假想空间数据24d保持与配置在假想空间中的三维对象的状态相关的信息。三维对象的状态包括例如位置、姿势、变形等状况。另外，所谓置换是指将一个对象置换为其他对象。
[0113]接着，参考图7，说明根据控制程序24a提供的功能进行控制的实施例。图像Pla是由摄影部40获得的图像，S卩，相当于用右眼看真实空间的情景的图像。图像Pla中映现出桌子Tl和使用者的手Hl。显示装置I还获得通过摄影部42拍摄相同场景的图像，即，相当于用左眼看真实空间的情景的图像。
[0114]图像P2a是根据假想空间数据24d和对象数据24b生成的右眼用的图像。在本实施例中，假想空间数据24d保持与存在于假想空间中的块状三维对象BLl的状态相关的信息，对象数据24b保持与三维对象BLl的形状和性质相关的信息。显示装置I根据这些信息再现假想空间，生成以右眼的视点看再现的假想空间的图像P2a。根据预定规则确定在假想空间中的右眼(视点)的位置。同样地，显示装置I也生成以左眼的视点看再现的假想空间的图像。也就是说，显示装置I还通过与图像P2a结合生成以三维方式显示三维对象BLl的图像。
[0115]显示装置I在图7示出的步骤SI中合成图像Pla和图像P2a，生成图像P3a。图像P3a是作为右眼用的图像在显示部32a中显示的图像。此时，显示装置I以使用者右眼的位置为基准，判断位于摄影部40的拍摄范围中的真实物体和存在于假想空间中的三维对象BLl的前后关系。而且，当真实物体与三维对象BLl重叠时，调整重叠以使得能够在前面看到离使用者的右眼更近的物体。
[0116]按真实物体与三维对象重叠的图像上的区域中每个预定大小的范围(例如，每一个像素)进行上述重叠的调整。因此，按图像上的每个预定大小的范围测量从在真实空间中的视点到真实物体的距离。而且，考虑三维对象的位置、形状、姿态等，按图像上的每个预定大小的范围计算从在假想空间中的视点到三维对象的距离。
[0117]在图7示出的步骤SI的场景中，三维对象BLl在假想空间中被配置在相当于桌子Tl在真实空间存在的位置的正上方的位置。而且，在图7示出的步骤SI的场景中，使用者的手Hl与三维对象BLl以使用者的右眼位置为基准在大致相同的方向存在于大致相同的距离处。因此，通过按每个预定大小的范围调整重叠，使得在合成后的图像P3a中，在手Hl和三维对象BLl重叠的区域之中，在相当于手Hl的大拇指的部分处手Hl露在前面，在其他部分处三维对象BLl露在前面。而且，在桌子Tl和三维对象BLl重叠的区域处，三维对象BLl露在前面。
[0118]通过上述的重叠调整，在图7示出的步骤SI中，获得好像三维对象BLl被置于桌子Tl上并且使用者用手Hl抓住三维对象BLl的图像P3a。显示装置I通过相同的处理合成由摄影部42拍摄的图像与从左眼的视点看假想空间的图像，生成在显示部32b中显示的图像以作为左眼用图像。当生成左眼用的图像时，以使用者的左眼位置为基准调整真实物体和三维对象的重叠。
[0119]显示