显示控制装置和显示控制方法与流程

本发明涉及显示控制装置和显示控制方法。

背景技术：

以往，有通过相机对用户的运动进行检测并对应于检测到的运动来对显示在画面上的操作对象进行操作的显示系统。在这样的显示系统中，作为对用户的操作辅助，例如，在专利文献1中，公开了对应于用户的手的形状而实现各种各样的操作的显示系统，并且公开了将与操作对应的手的形状作为操作导引而显示在画面上的技术。(例如特开2013－210723号公报)

但是，专利文献1中，在画面上显示了可能的全部操作的操作导引。因此存在的问题是，在画面上显示了大量的菜单等的可操作的项目的情况下画面变得复杂，用户访问希望显示的项目会耗费时间。

技术实现要素：

本发明是鉴于上述情况而做出的，目的在于提供能够使用户容易地访问希望显示的项目的显示控制装置等。

为了达成上述目的，本发明的显示控制装置，具备：距离取得部，取得对项目进行显示的显示面与对上述项目进行操作的操作部之间的距离；以及显示控制部，从将多个项目层级化后得到的项目群中，将属于与上述距离取得部所取得的距离对应的层级的项目显示在上述显示面上。

附图说明

图1是表示实施方式的显示控制系统的外观结构的图。

图2是表示显示装置所显示的内容的一例的图。

图3是示意地表示项目的数据结构的图。

图4是表示显示控制装置的结构的概略图。

图5是用于说明项目的显示方法的一例的图。

图6a是表示显示面上显示的项目的一例的图。

图6b是表示显示面上显示的项目的一例的图。

图7是表示显示控制处理的流程图的一例的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示本发明的实施方式的显示控制系统1的外观结构的图。显示控制系统1是控制被设置于店面或公共设施等、对作为视听者的用户显示引导及广告等内容的数字显示板(所谓的电子显示板)的系统。

如图1所示，显示控制系统1由运动传感器100、显示装置200和显示控制装置300构成。显示控制系统1中，为了对显示装置200上显示的操作对象进行操作，采用所谓的手势界面(gestureinterface)。这里，所谓手势界面，是指通过手、手指的运动(手势)进行从用户向计算机的信息传递的用户界面。即，显示控制系统1中，显示控制装置300通过运动传感器100来检测在本实施方式中作为操作部发挥功能的用户的手2的运动，与该运动对应地执行对显示装置200所显示的操作对象的处理。并且，显示控制装置300将其执行结果显示在显示装置200上。

运动传感器100例如由利用了红外线或激光的距离图像传感器构成。运动传感器100设置在用户的前方或用户的手2的下方等以使用户的手2进入到其视角内，取得距离图像数据。距离图像数据包含表示测定对象物的形状、到该测定对象物的距离、以及测定对象物的位置的数据。运动传感器100将取得的距离图像数据向显示控制装置300发送。

作为上述那样的距离图像数据的取得方法，例如，运动传感器100具备两台摄像装置。该情况下，能够通过通常的立体图像处理技术，根据两台摄像装置分别拍摄到的图像的视差来取得距离图像数据。

显示装置200是对显示控制装置300输出的内容进行显示的装置，例如，由lcd(liquidcrystaldisplay)、el(electroluminescence)显示器等构成。本实施方式中，显示装置200在显示面201上显示包含操作对象的内容。图2表示显示装置200所显示的内容的一例。图2所示的例子中，在显示面201上显示了作为操作对象的项目i1～i5、和用于显示与项目i1～i5关联的项目的显示区域a。

这里，对本实施方式的显示控制系统1中显示的项目的数据结构进行说明。图3是示意地表示本实施方式的项目的数据结构的图。如图3所示，本实施方式的项目的数据结构由将多个项目层级化后得到的项目群g1～g5构成。

多个项目包括“项目1”～“项目5”以及“详细项目1－1”～“详细项目1－5”、“详细项目2－1”～“详细项目2－2”、“详细项目3－1”～“详细项目3－4”、“详细项目4－1”～“详细项目4－3”、“详细项目5－1”～“详细项目5－3”。“详细项目1－1”～“详细项目1－5”是与“项目1”关联的项目，例如是表示“项目1”的详细内容的项目。“详细项目2－1”～“详细项目2－2”是与“项目2”关联的项目，例如是表示“项目2”的详细内容的项目。“详细项目3－1”～“详细项目3－4”是与“项目3”关联的项目，例如是表示“项目3”的详细内容的项目。“详细项目4－1”～“详细项目4－3”是与“项目4”关联的项目，例如是表示“项目4”的详细内容的项目。“详细项目5－1”～“详细项目5－3”是与“项目5”关联的项目，例如是表示“项目5”的详细内容的项目。

此外，项目群g1～g5分别由以项目为节点的树结构表示。在以下的说明中，“上一级的项目”相当于树结构中的母节点。例如，图3中，“详细项目1－1”的上一级的项目是“项目1”。此外，“下一级的项目”相当于树结构中的子节点。例如，图3中，“项目1”的下一级的项目是“详细项目1－1”～“详细项目1－5”。

此外，多个项目分别属于与树结构中的位置对应的层级。本实施方式中，“项目1”～“项目5”属于第1层级。此外，“详细项目1－1”～“详细项目1－5”、“详细项目2－1”～“详细项目2－2”、“详细项目3－1”～“详细项目3－4”、“详细项目4－1”～“详细项目4－3”、“详细项目5－1”～“详细项目5－3”属于第2层级。在以下的说明中，“层级深”表示层级的号码大。

返回图1，显示控制装置300基于从运动传感器100取得的距离图像数据，将属于与显示面201到用户的手2的距离相对应的层级的项目显示在显示装置200的显示面201上。

接着，对显示控制装置300的结构详细说明。

图4是表示显示控制装置300的结构的概略图。如图4所示，显示控制装置300由控制部301、存储部302、通信部303和输入部304构成，各部通过总线305连接。

控制部301由cpu(centralprocessingunit)、rom(readonlymemory)、ram(randomaccessmemory)构成。控制部301通过执行在rom中存储的程序(例如，后述的显示控制处理的程序)，实现后述的距离取得部311、位置取得部312、显示控制部313的功能。

存储部302是hdd(harddiskdrive)等非易失性存储器。存储部302存储向显示装置200输出的各种各样的内容。此外，存储部302存储以具有图3所示那样的数据结构的方式将构成项目群g1～g5的多个项目相互建立关联地保存的项目数据库(db)321。

通信部303由用于将显示控制装置300与运动传感器100及显示装置200可通信地连接的通信接口构成。

输入部304由按钮、键盘、触摸面板等输入装置构成。输入部304受理来自显示控制装置300的用户的操作输入，将与受理的操作输入对应的信号向控制部301输出。

接着，对显示控制装置300的控制部301的功能结构进行说明。如图4所示，控制部301作为距离取得部311、位置取得部312、显示控制部313发挥功能。

距离取得部311取得显示面201与用户的手2之间的距离。本实施方式中，距离取得部311从运动传感器100取得距离图像数据。并且，距离取得部311例如根据取得的距离图像数据，取得现实空间中的用户的手2与显示面201之间的距离。另外，所谓用户的手2的位置，例如可以设为用户的手2伸展的指尖的位置，也可以设为用户的手2的最接近显示面201的部分的位置。

位置取得部312根据由运动传感器100取得的距离图像数据，取得显示面201中的用户的手2的位置。例如，基于从运动传感器100具备的两台摄像装置分别拍摄的图像得到的视差，能够取得显示面201中的用户的手2的位置。本实施方式中，由运动传感器100取得的距离图像数据上的位置与显示装置200的显示面201上的位置被预先建立了对应。位置取得部312取得在取得的距离图像数据上确定的用户的手2的位置所对应的显示面201上的位置，作为显示面201中用户的手2的位置。

显示控制部313从项目db321中保存的项目群g1～g5中，将属于与距离取得部311取得的距离对应的层级的项目显示在显示面201上。本实施方式中，由距离取得部311取得的距离越短、即用户的手2与显示面201之间的距离越近，则显示控制部313在显示面201上显示属于越深的层级的项目。

这里，对显示控制部313的项目的显示方法的一例进行说明。该例中，当距离取得部311取得的距离低于规定的阈值时，显示控制部313将显示面201的、与位置取得部312取得的位置对应的项目的下一级的项目显示在显示面201上。此外，当距离取得部311取得的距离超过规定的阈值时，显示控制部313将显示面201上显示的项目的上一级的项目显示在显示面201上。

以下，利用图5详细说明上述的例子。图5是从与显示面201正交的方向看到的图，设显示面201的位置为d＝0，从显示面201朝向显示方向(前方)而规定了距离d。并且，预先设定了作为d＝d1的第一阈值(规定的阈值)与作为d＝d2的第二阈值。

如图5所示，当用户的手2位于点p0时，距离取得部311取得距离d＝d0。该情况下，由于取得的距离d0大于第二阈值d2，所以显示控制部313维持如图2所示那样在显示面201上显示了属于第1层级的项目i1～i5(“项目1”～“项目5”)的状态。

此外，当用户的手2位于点pk时，距离取得部311取得距离d＝dk。进而，位置取得部312如图6a所示那样取得显示面201中的用户的手2的位置pd＿k。该情况下，对于显示控制部313而言，所取得的距离dk小于第二阈值d2且大于第一阈值d1。此时，如图6a所示，使在位置取得部312所取得的位置pd＿k处显示的项目i1的轮廓相比于其他项目i2～i5较粗，从而进行强调来显示。

此外，当用户的手2从点pk移动到点pk+1时，距离取得部311取得距离d＝dk+1。进而，位置取得部312如图6a以及图6b所示那样，取得显示面201中的用户的手2的位置pd＿k+1。该情况下，由于取得的距离dk+1小于第一阈值d1并且之前刚刚取得的距离dk大于第一阈值d1，所以显示控制部313判断为由距离取得部311取得的距离低于第一阈值d1。并且，显示控制部313参照项目db321来确定在位置取得部312所取得的位置pd＿k+1处显示的项目i1的下一级的项目。该情况下，如图3所示，项目i1(“项目1”)的下一级的项目是“详细项目1－1”～“详细项目1－5”。因而，显示控制部313如图6b所示，将项目i11～i15(“详细项目1－1”～“详细项目1～5”)显示在显示区域a上。此外，显示控制部313将属于与“项目1”相同的层级即第1层级的其他项目“项目2”～“项目5”所对应的项目i2～i5从显示面201上消除。

此外，当从用户的手2位于点pm而如图6b所示那样在显示面201上显示有项目i1(“项目1”)的下一级的项目即项目i11～i15(“详细项目1－1”～“详细项目1－5”)的状态移动到了点pm+1时，距离取得部311取得距离d＝dm+1。该情况下，由于取得的距离dm+1大于第一阈值d1且之前刚刚取得的点pm的距离dm小于第一阈值d1，所以显示控制部313判断为由距离取得部311取得的距离超过了第一阈值d1。于是，显示控制部313将显示面201上显示的项目i11～i15(“详细项目1－1”～“详细项目1－5”)的上一级的项目即项目i1(“项目1”)、和属于与该项目i1(“项目1”)相同的层级即第1层级的其他项目i2～i5(“项目2”～“项目5”)如图6a所示那样显示在显示面201上。

接着，对本实施方式的显示控制装置300的控制部301执行的显示控制处理进行说明。图7是本实施方式的显示控制处理的流程图的一例。该显示控制处理例如以显示控制装置300的电源被接通为契机而开始。此外，为了容易理解，以运动传感器100测定的用户的数量是1人为前提进行说明。

首先，距离取得部311开始从运动传感器100取得距离图像数据(步骤s101)。然后，距离取得部311隔开规定的时间间隔来取得距离图像数据，将取得的距离图像数据记录到ram等中。并且，距离取得部311每当取得距离图像数据，则确定距离图像数据上的用户的手2的位置，根据确定出的用户的手2的位置，取得现实空间中的用户的手2与显示装置200的显示面201之间的距离。并且，距离取得部311将取得的距离记录到ram等中。

接着，显示控制部313参照项目db321，如图2所示那样将属于第1层级的项目i1～i5(“项目1”～“项目5”)显示在显示装置200的显示面201上(步骤s102)。

接着，显示控制部313判断由距离取得部311取得的最新的距离d是否小于第二阈值d2(步骤s103)。在判断为距离d不小于第二阈值d2的情况下(步骤s103：否)，返回步骤s102，继续属于第1层级的项目i1～i5的显示，直到判断为距离d小于第二阈值d2。

在判断为距离d小于第二阈值d2的情况下(步骤s103：是)，位置取得部312根据取得的最新的距离图像数据，确定该距离图像数据上的用户的手2的位置。并且，位置取得部312取得与确定出的距离图像数据上的用户的手2的位置相对应的、显示面201上的用户的手2的位置(步骤s104)。

接着，显示控制部313将在步骤s104中取得的显示面201上的用户的手2的位置上显示的项目进行强调，将属于第1层级的项目显示在显示面201上(步骤s105)。

接着，显示控制部313判断由距离取得部311取得的最新的距离d是否小于第一阈值d1(步骤s106)。在判断为距离d不小于第一阈值d1的情况下(步骤s106：否)，返回步骤s103，将在显示面201上的用户的手2的位置上显示的项目进行强调，并继续属于第1层级的项目的显示。

在判断为距离d小于第一阈值d1的情况下(步骤s106：是)，位置取得部312根据所取得的最新的距离图像数据，确定该距离图像数据上的用户的手2的位置。并且，位置取得部312取得与确定出的距离图像数据上的用户的手2的位置对应的、显示面201上的用户的手2的位置(步骤s107)。

并且，显示控制部313参照项目db321，确定与在步骤s107中取得的显示面201上的用户的手2的位置对应的项目的下一级的项目，将确定出的项目显示在显示面201的显示区域a上(步骤s108)。此外，显示控制部313将属于与所取得的显示面201上的用户的手2的位置所对应的项目相同的第1层级的、该项目以外的项目从显示面201上消除。

接着，显示控制部313判断由距离取得部311取得的最新的距离d是否小于第一阈值d1(步骤s109)。在判断为距离d小于第一阈值d1的情况下(步骤s109：是)，继续显示区域a上的属于第2层级的项目的显示。此外，在判断为距离d不小于第一阈值d1的情况下(步骤s109：否)，结束显示区域a上的属于第2层级的项目的显示，返回步骤s104，进行属于第1层级的项目的显示。

以上的处理被反复执行，直到例如显示控制装置300的电源断开、或经由输入部304从用户受理了表示显示控制处理的结束的操作输入。

如以上说明的那样，本实施方式的显示控制装置300，取得对项目进行显示的显示面201与对项目进行操作的用户的手2之间的距离，将属于与该取得的距离对应的层级的项目显示在显示面201上。因而，用户通过一边观察位于前方的显示面201上显示的项目一边使手2沿前后方向运动，能够容易地访问属于任意层级的项目。

此外，本实施方式的显示控制装置300中，所取得的距离越短、即用户的手2与显示面201之间的距离越近，则将属于越深的层级的项目显示在显示面201上。因此，用户能够直觉性地访问自身所希望的项目所属于的层级。

此外，本实施方式的显示控制装置300中，当所取得的距离低于规定的阈值时、即当用户的手2与显示面201之间的距离比规定的距离近时，将与显示面201上的用户的手2的位置对应的项目的下一级的项目显示在显示面201上。因而，用户能够从显示面201上显示的多个项目之中，容易地选择希望显示下一级的项目(详细项目)的项目，来显示详细项目。

以上结束了实施方式的说明，但上述实施方式是一例，显示控制装置300的具体结构及显示控制处理的内容等不限于上述实施方式中说明的内容，以下那样的变形也是可能的。

上述的实施方式的显示控制系统1中，说明了通过运动传感器100取得距离图像数据、并通过所取得的距离图像数据来取得显示面201与用户的手2之间的距离的例子。但是，取得显示面201与用户的手2之间的距离的方法不限于此。例如，能够采用以下两个方法中的任一个。一个被称为图案照射方式(lightcoding方式)，预先将已知的光学图案向视角内照射，根据其反射图案的失真，取得位于视角内的测定对象物的距离图像数据。此外，作为其他方法的tof(timeofflight)方式中，通过按每个像素测定到照射的光在测定对象物处反射而返回为止的时间，取得测定对象物的距离图像数据。

此外，上述的实施方式中，对显示装置200由lcd、el显示器等构成的例子进行了说明，但本发明的显示装置200不限于此。例如，显示装置200也可以是将图像或影像进行投影的投影仪。该情况下，显示面201例如是图像或影像所投影的屏幕。

此外，上述的实施方式中，说明了通过使项目i1～i5的轮廓线较粗、而将与显示面201上的用户的手2的位置对应的项目进行强调的例子。但是，项目的强调方法不限于此，且强调的有无是任意的。例如，也可以通过使项目闪烁、或变更项目的颜色来强调显示。此外，在项目用文本显示的情况下，也可以通过变更该文本的字体(font)、或设为粗体字来强调显示。此外，也可以代替将显示面201上的用户的手2的位置上显示的项目进行强调，而将与显示面201上的用户的手2的位置对应的指示体(pointer)显示在显示面201上。

此外，上述的实施方式中，说明了用户的手2作为对项目进行操作的操作部发挥功能的例子。但是，操作部不限于用户的手2，也可以是用户的身体的其他部分，只要能够对操作对象进行操作则能够任意地应用。例如，也可以是由用户的手把持的遥控器。

此外，上述的实施方式中，项目db321中保存的项目的数据结构由两个层级构成。但是，本发明的显示控制装置300能够控制项目的显示的数据结构不限于此。项目的数据结构也可以由更多的层级构成。该情况下，通过对应于层级的数量来设定规定的阈值的数量，能够在显示面201上显示属于与显示面201到用户的手2的距离对应的层级的项目，因此能够得到与本实施方式同样的效果。

此外，上述的实施方式中，说明了当显示与显示面201上的用户的手2的位置对应的项目的下一级的项目时、显示控制部313不在显示面201上显示属于与对应于用户的手2的位置的项目相同的层级的其他项目的例子。但是，当显示下一级的项目时，其他项目也可以显示在显示面201上。此外，其他项目的显示形态是任意的，例如，也可以通过将半透明的层与其他项目重叠来显示，从而将与用户的手2的位置对应的项目及其下一级的项目相比于其他项目更鲜明地显示。

此外，上述的实施方式中，显示控制部313显示与显示面201上的用户的手2的位置对应的项目的下一级的项目。但是，与用户的手2的位置对应的项目不存在的情况下，即在用户的手2的位置上没有显示着项目的情况下，也可以显示与用户的手2的位置最近的位置的项目的下一级的项目。此外，该情况下，也可以不显示层级不同的项目。

此外，本发明的显示控制装置300不基于专用的装置，能够使用通常的计算机来实现。例如，可以通过由计算机执行程序来实现显示控制装置300。用于实现显示控制装置300的功能的程序可以存储在usb(universalserialbus)存储器、cd－rom(compactdiscreadonlymemory)、dvd(digitalversatiledisc)、hdd等计算机可读取的记录介质中，也可以经由网络下载到计算机中。

以上，对本发明的优选实施方式进行了说明，但本发明不限于该特定的实施方式，本发明包括权利要求所记载的发明及其等同的范围。