图像投影设备、图像投影系统及控制方法
【专利摘要】本发明提供了图像投影设备、图像投影系统及控制方法。用于将图像投影到投影目标上的图像投影设备包括：检测单元、识别单元和输出单元；其中，检测单元被配置为检测存在于目标空间内的检测目标，其中目标空间与图像投影设备所投影的图像相对应；识别单元被配置为基于检测单元对检测目标的检测来识别用户的指令动作；输出单元被配置为从指令动作和图像投影设备所投影的图像，生成与由识别单元在目标空间内所识别的指令动作相对应的输出。
【专利说明】图像投影设备、图像投影系统及控制方法
【技术领域】
[0001]本发明涉及一种图像投影设备、一种图像投影系统和控制方法。
【背景技术】
[0002]已知的以更直观的方式操作投影仪或连接到投影仪上的设备的技术是直接触摸由投影仪所投影的视频图像就像视频图像是触摸屏一样，或通过向投影仪做手势(例如手的姿态的动作)。
[0003]例如，为了让投影仪的操作者以更直观的方式操作投影仪，日本专利公开N0.2012-003521公开了一种配置，通过用摄像机捕获投影表面的图像来检测用户的动作，允许像使用触摸屏一样地使用投影仪的投影表面(将图像投影到其上的表面)。
[0004]例如，为了防止将操作者的影子投影到投影表面上，日本专利公开N0.2008-287142公开了一种配置，其中用于识别手势的设备被附着在不同于投影方向的方向上，来识别手势。
[0005]然而，在日本专利公开N0.2012-003512中公开的技术，其问题在于，当投影仪放置在投影表面之前并且操作者触摸投影表面来操作投影仪时，由于操作者的影子被投影到投影表面上，使得视频图像的可视性变差。
[0006]使用在日本专利公开N0.2008-287142中公开的技术，操作者的影子不会被投影到投影表面上。然而，该技术的问题在于，由于操作者操作投影仪时面对着不同于投影方向的方向，不易识别出操作者的操作和投影表面之间的对应性，致使可操作性降低。
[0007]因此，有必要提供一种图像投影设备，既能够确保所投影的视频图像的可视性，也可提供直观和容易的操作。
【发明内容】
[0008]本发明的目的是至少部分地解决上述现有技术中的问题。
[0009]根据实施例，提供一种图像投影设备，用于将图像投影到投影目标上，所述图像投影设备包括:检测单元，配置为检测存在于目标空间内的检测目标，其中目标空间与所述图像投影设备所投影的所述图像相对应；识别单元，配置为基于所述检测单元对检测目标的检测来识别用户的指令动作；以及输出单元，配置为从所述指令动作和所述图像投影设备所投影的图像生成与由所述识别单元在所述目标空间内所识别的所述指令动作相对应的输出。
[0010]根据实施例，提供一种图像投影系统，包括:图像投影设备，配置成将图像投影到投影目标上；以及信息处理设备，连接到所述图像投影设备，其中所述信息处理设备包括:检测单元，配置为检测存在于目标空间内的检测目标，其中目标空间与所述图像投影设备所投影的所述图像相对应；识别单元，配置为基于所述检测单元对所述检测目标的检测，识别用户的指令动作；以及输出单元，配置为从所述指令动作和所述图像投影设备所投影的图像生成与由所述识别单元在所述目标空间内所识别的所述指令动作相对应的输出。[0011]根据另一实施例，提供一种控制方法，包括:检测存在于目标空间内的检测目标，其中所述目标空间与图像投影设备所投影的图像相对应；基于在所述检测中对所述检测目标的检测，识别用户的指令动作；以及从所述指令动作和所述图像投影设备所投影的图像中生成与由所述识别在所述目标空间内所识别的所述指令动作相对应的输出。
[0012]当与附图结合起来考虑时，通过阅读本发明的下述优选实施例的【具体实施方式】，将更好地理解本发明上述和其他目的、特性、优点及技术和工业显著性。
【专利附图】
【附图说明】
[0013]图1是用于示出整体视图的示意图。
[0014]图2是整体外观的示意性侧视图。
[0015]图3是示出了根据实施例的投影仪的示例配置的框图。
[0016]图4是投影仪的俯视图。
[0017]图5是示出了由图像传感器所捕获的图像的示意图。
[0018]图6是示出了计算投影区域的尺寸的方法的图。
[0019]图7是显示了当投影仪I启动直到决定了指令区域的投影仪I的操作的示例的流程图。
[0020]图8是显示了第一模式中的图像投影设备的操作示例的流程图。
[0021]图9是示出了确定检测目标是否存在于指令区域内的方法的图。
[0022]图10是显示了第二模式中的图像投影设备的操作示例的流程图。
[0023]图11是示出了生成Π图像的示例的图。
[0024]图12是示出了生成Π图像的示例的图。
[0025]图13是示出了生成Π图像的示例的图。
[0026]图14是示出了生成代表拖动操作的UI图像的另一个示例的图。
[0027]图15是根据实施例当根据用户的指令操作投影仪生成Π图像并将所生成的图像呈现给用户时，投影仪的操作示例的流程图。
[0028]图16是示出了根据实施例的投影仪的示例硬件配置的图。
[0029]图17是示出了根据变形例的图像投影系统的示例配置的图。
【具体实施方式】
[0030]下面将参考附图，详细描述根据本发明的图像投影设备、图像投影系统、控制方法和程序的实施例。在下文的描述中，将以超短焦距投影仪作为应用了本发明的图像投影设备的例证，但这并非限制性的。例如，短焦距投影仪或长焦距投影仪也可以作为应用了本发明的图像投影设备。
[0031]这里所用的术语“焦距”与投影距离同义，投影距离代表了投影表面到光源位置之间的距离(例如，从投射投影光的投影端口到用于将图像投影到其上的投影目标之间的距离)。超短焦距投影仪的投影距离小于短焦距投影仪的投影距离，并且短焦距投影仪的投影距离小于长焦距投影仪的投影距离。例如，超短焦距投影仪的投影距离可以被设置为“11.7到24.9cm”，短焦距投影仪的投影距离可以被设置为“0.7到14.6m”，而长焦距投影仪的投影距离可以被设置为“1.3m到32.4m”。[0032]图1是示出了整体视图的示意图。图2是整体外观的示意性侧视图。如图1和图2所示，根据本实施例的投影仪I被配置为靠近其上投影图像的投影目标2 (本例中为墙表面)。图像传感器100和投影端口 5被配置在投影仪I的上部的不同位置上，其中投影光线从投影端口 5投影。图像传感器100是用于捕获目标空间的图像的设备，目标空间代表与投影仪I所投影的图像对应的空间。本例中，目标空间是位于投影仪I的上方的空间，并且至少包括代表了图像被投影到其上的投影目标2的区域的投影区域3的上边缘。在本实施例中，图像传感器100包括摄像机，但这点并非限制。例如，诸如红外线摄像机或立体摄像机的设备也可用做图像传感器100。也就是说，图像传感器100可以是能够捕获目标空间的图像、并且能够测量目标空间中指令区域4内的目标的距离的任意设备，其中用户在目标空间中做出指令动作。
[0033]在本实施例中，如下文所述，将目标空间中不会与从投影仪I投影出的投影光线相干涉并且面向投影区域3的区域决定为指令区域4，在指令区域4中可以执行与待实施的行动对应的指令动作。面对投影区域3的指令区域4的表面的尺寸可以与投影区域3的尺寸相同，或者可以与投影区域3的尺寸不同。例如，指令区域4的尺寸可以设置为根据显示的内容而变化。
[0034]图3是示出了根据实施例的投影仪I的示例配置的框图。如图3所示，投影仪I包括图像传感器100、控制单元200和图像投影单元300。
[0035]控制单元200包括检测单元201、识别单元202、第一计算单元203、第二计算单元204、决定单元205、确定单元206、设备设置单元207、操作输出单元208、UI生成单元209、视频输入单元210以及组合单元211。例如,可以通过在例如CPU (Central ProcessingUnit,中央处理单元)的处理单元上通过例如软件、例如IC (Integrated Circuit,集成电路)的硬件、或通过软件与硬件的组合执行程序来实现检测单元201、识别单元202、第一计算单元203、第二计算单元204、决定单元205、确定单元206、设备设置单元207、操作输出单元208、UI生成单元209、视频输入单元210以及组合单元211中的每一个。
[0036]检测单元201检测在目标空间内存在的检测目标(例如，用户的手)。在实施例中，检测单元201获取图像传感器100捕获的图像的数据，并基于所获取的图像数据检测检测目标。
[0037]识别单元202基于检测单元201的检测目标的检测来识别用户的指令动作(例如，诸如手势的动作)。各种已知技术的任一个都可用做识别诸如手势的动作的方法。识别单元202将关于所识别的指令动作的信息(指令动作信息)发送给下文所述的确定单元206。指令动作信息可以包括检测目标的三维坐标等。
[0038]第一计算单元203使用图像传感器100所捕获的图像的数据来计算投影仪I与投影目标2之间的距离。下面将描述第一计算单元203计算距离的方法。图4是投影仪I的俯视图。在图4的例子中，将投影端口 5配置在投影仪I的右侧，并且将图像传感器100配置在投影仪I的左侧。图5是示出了由图像传感器100 (本例中为摄像机)所捕获的图像的数据的示意图。在实施例中，将布置在投影仪I的上部的投影端口 5和图像传感器100彼此水平分开。因此，例如，当投影仪I更进一步隔开远离投影目标2时，图像数据中的投影区域转移到摄像机视场的左侧，如图5中所示。可以通过移动的量(转移量)来计算投影仪I与投影目标2之间的距离。从另一方面看，可以理解第一计算单元203使用由图像传感器100所捕获的图像的数据中的投影区域的位置来计算投影仪I与投影目标2之间的距离。
[0039]回到图3，继续进行描述。第二计算单元204利用第一计算单元203所计算出的距离来计算投影区域的尺寸。下面将描述第二计算单元204计算投影区域尺寸的方法。图6是示出了计算投影区域尺寸的方法的图。图6是当从侧面观察投影仪I时的示意图。如从图6中所理解的，可由下面的等式I来表达投影区域的高度h:
[0040]h=DX (a2Xal)+b2Xbl (等式 I)
[0041]在以上等式I中，D代表投影仪I与投影区域2之间的距离。a2代表投影光线入射到投影区域上边缘的斜率，并且al代表投影光线入射到投影区域下边缘的斜率。bl代表从面对投影目标2并且平行于投影目标2的投影仪I的端面向上延伸的线k的截距，该截距对应于线k与代表从投影端口 5所投影的并入射到投影区域下边缘的投影光线的线的交叉。b2代表图6中的线k的截距，其对应于线k与代表从投影端口 5所投影的并入射到投影区域上边缘的投影光线的线的交叉。根据投影仪I中所用的镜子6的特性等预先设置al、a2、bl 和 b2 的值。
[0042]可以从屏幕的长宽比计算出投影区域的宽度。如上所述，第二计算单元204计算投影区域的高度和宽度，并且由此可以计算出投影区域的尺寸(=高度X宽度)。
[0043]再次回到图3，继续进行描述。决定单元205将目标空间内不会与投影仪I发出的投影光线相干涉并且面向投影区域的区域决定为指令区域，在指令区域中执行与待实施的行动相对应的指令动作。在实施例中，决定单元205将占据了在垂直于投影目标2的方向上延伸的某区域的立方形区域作为指令区域4。如图1和图2所示，该立方形区域位于投影仪I的上方，不与投影光线干涉，并且面对投影区域3。然而，指令区域4的形状不限于这种立方形状，并且可以自由改变。例如，为了让用户识别出指令区域的大概位置，可在投影仪I的上表面或在地板上放置标记(能够通知用户指令区域的大概位置的任何信息)。
[0044]基于来自识别单元202的指令动作信息，确定单元206确定由识别单元202所识别的指令动作是否在由决定单元205所决定的指令区域内执行了。将关于确定单元206的决定的信息(信息可以包括例如指令动作信息)发送给设备设置单元207或操作输出单元
208。
[0045]在该实施例中的投影仪I具有第一模式和第二模式作为其操作模式。第一模式中，当确定单元206确定在指令区域内已经执行了指令信息时，根据呈现给用户的指令信息来生成Π图像，并且根据指令动作(例如，设置屏幕的亮度)来设置设备(投影仪I)。在第二模式中，当确定单元206确定在指令区域内已经执行了指令动作时，将与所识别出的指令动作像对应的关于操作的信息发送给外部设备(例如，连接到投影仪I的个人计算机或服务器设备)。然后，外部设备执行与投影仪I所接收的信息相对应的处理。在此例中，由被授权改变设置的管理员将一个模式切换到另一个模式(第一模式_>第二模式或第二模式_>第一模式)，但这一点并不受限。例如，投影仪I可以具有根据未授权用户的输入来切换模式的功能。
[0046]在第一模式中，当确定单元206确定在指令区域中已经执行了指令动作时，图3中所示的设备设置单元207执行控制，使得利用决定信息(来自确定单元206的信息)来生成与所识别的指令动作对应的UI图像并将其呈现给用户。此外，设备设置单元207根据与所识别的指令动作(例如，按下按钮的UI图像的行动)相对应的操作，改变实际设备的设置。[0047]在第二模式中，当确定单元206确定在指令区域内已经执行了指令动作时，操作输出单兀208基于决定信息,将关于与所识别的指令动作相对应的操作的信息输出(发送)给外部设备。为了立即通知用户已经适当地识别出指令动作，操作输出单元208可以执行控制，使得能够根据所识别的指令动作来生成Π图像，并将其呈现给用户。在第二模式中，当用户做出指令动作时，例如，在指令区域内向右移动手(手指)，则操作输出单元208将关于与指令动作相对应的操作的信息输出给外部设备，操作输出单元208也可以执行控制，使得生成代表了指令动作的UI图像(UI图像可以是代表了动作的图像或文本图像)并将其呈现给用户。
[0048]根据指令区域内的指令动作，在设备设置单元207或操作输出单元208的控制下，UI生成单元209生成待呈现给用户的UI图像。在此例中，可理解的是UI生成单元209对应于权利要求中的“生成单元”。也可理解的是，例如，Π生成单元209与设备设置单元207或操作输出单元208的组合对应于权利要求中的“生成单元”。视频输入单元210从外部获取输入视频图像。组合单元211将由视频输入单元210所获取的输入视频图像和由Π生成单元209所生成的UI图像组合(综合)，并将组合(合成)的图像提供给图像投影单元300。图像投影单元300将从组合单元211提供的图像投影到投影目标2上。
[0049]在这种情况下，可理解的是投影仪I包括生成输出的输出单元，该输出对应于在目标空间内(更具体地指指令区域内)被识别单元202基于投影仪I所投影的图像而识别出的指令动作。在此例中，可理解的是设备设置单元207、操作输出单元208、UI生成单元
209、视频输入单元210、组合单元211以及图像投影单元300对应于权利要求中的“输出单元”。然而，这一点并非限制。例如，在其中未提供操作输出单元208的实施例(未提供第二模式)中，可理解的是设备设置单元207、UI生成单元209、视频输入单元210、组合单元211以及图像投影单元300对应于权利要求中的“输出单元”。
[0050]接下来，将详细描述从启动到决定指令区域的投影仪I的操作示例。图7是显示出从启动到决定指令区域的投影仪I的操作示例的流程图。如图7中所示，首先，第一计算单元203利用由检测单元201所获取的图像数据来计算投影仪I与投影目标2之间的距离(步骤SI)。然后，第二计算单元204利用在步骤SI中计算出的距离来计算投影区域的尺寸(步骤S2)。随后，决定单元205利用在步骤S2中计算出的投影区域的尺寸来决定指令区域的尺寸(步骤S3)并且随后决定指令区域。直到关闭电源或关闭手势功能，识别单元202一直处于指令动作识别待机模式中的待机状态(步骤S4)。如上所述，由于投影区域的尺寸变化取决于投影仪I与投影目标2之间的距离，所以指令区域的尺寸变化也取决于投影仪I与投影目标2之间的距离。例如，在用于检测投影仪I的移动的传感器被安装在投影仪I上的配置中，当传感器检测到投影仪I的移动时，将重复上述在步骤SI到S3中的处理。
[0051]接下来，将对于第一模式和第二模式分别描述当投影仪I进入指令动作识别待机模式后，投影仪I的操作示例。图8是显示了第一模式中的操作示例的流程图。如图8中所示，首先，如果识别单元202识别出用户的指令动作(步骤SlO:是)，确定单元206基于来自识别单元202的指令动作信息，来确定检测目标(例如，用户的手)的坐标是否存在于由决定单元205所决定的指令区域内(步骤S11)。从另一方面来看,可理解确定单元206确定指令区域内是否已经执行了由识别单元202所识别的指令动作。在此实施例中，在指令动作识别待机模式中，当摄像机所捕获的图像数据包括了检测目标的数据并且检测单元201检测到检测目标时，识别单元202识别出用户的指令动作，并且将表示识别的指令动作的指令动作信息发送给确定单元206。如上所述，指令动作信息可以包括检测目标的三维坐标和其他息。
[0052]图9是示出了确定指令区域内是否存在检测目标的方法的示意图。使用摄像机(图像传感器100)，可以测量位于摄像机垂直上方的检测目标的位置(角度)和到检测目标的距离。当两者已知时，可以利用第二计算单元204所计算出的投影区域的位置以及由决定单元205所决定的指令区域的深度(其在垂直于投影目标的方向上的尺寸)来确定指令区域内是否存在检测目标。在此例中，来自识别单元202的指令动作信息包含表示了位于摄像机垂直上方的检测目标的位置(角度)和到检测目标的距离的信息。确定单元206从第二计算单元204接收表示投影区域的位置的信息，并从决定单元205接收表示指令区域的深度的信息。随后，基于以上信息，确定单元206确定指令区域内是否存在检测目标。
[0053]返回到图8继续描述。如果在上述步骤Sll中做出了指令区域内存在检测目标的坐标的决定(步骤Sll:是)，则设备设置单元207执行控制使得根据所识别出的指令动作生成Π图像并将其呈现给用户，并且随后根据与所识别出的指令动作相对应的操作来改变设备的设置(步骤S12)。
[0054]图10是显示了第二模式中的操作示例的流程图。图10中的步骤S20和S21中的详细过程与图8中的步骤SlO和Sll中的相同，因此省略其详细描述。在步骤S22中，操作输出单元208将表示了与所识别出的指令动作相对应的操作的信息输出给外部设备，并执行控制使得根据所识别出的指令动作来生成UI图像并将其呈现给用户。
[0055]接下来，将描述在此实施例中生成Π图像的示例。在以下描述中，将以第一模式为例进行描述。根据检测目标与投影区域之间的位置关系，在设备设置单元207的控制下，UI生成单元209生成UI图像。
[0056]更具体地，如图11中所示，当在与检测目标相对应的投影区域内的位置上显示按钮的图像时，Π生成单元209生成Π图像，使得Π图像显示为随着检测目标靠近投影区域按钮被逐渐按下。当检测目标与投影区域之间的距离等于或小于阈值时，UI生成单元209生成Π图像，使得Π图像显示操作结束。在下面的描述中，将指令区域内的到投影区域的距离(在垂直于投影目标2的方向上的距离)大于阈值的区域表示为第一区域220，并且将距离等于或小于阈值的区域表示为第二区域230。在图11中的示例中，当用户的手(即检测目标)存在于第一区域220内时，生成Π图像，使得Π图像显示为随着用户的手靠近投影区域按钮被逐渐按下，并且图像被呈现(反馈)给用户。更具体地，根据用户的手进入到第一区域220的量，来改变按钮的Π图像。当用户的手到达第二区域230时，生成Π图像，使得UI图像显示为按钮暂时缩回并且随后返回到初始位置并呈现给用户，以便通知用户操作结束。
[0057]如图12所示，当在与检测目标相对应的投影区域内的位置上显示具有分层结构的重叠的菜单的图像时，Π生成单元209生成Π图像，使得Π图像显示为随着检测目标靠近投影区域，下层的菜单逐渐展开。当检测目标与投影区域之间的距离等于或小于阈值时，UI生成单元209生成Π图像，使得Π图像显示为分层结构的菜单被安排在单一平面上并且操作结束。在图12中的示例中，当用户的手(即检测目标)存在于第一区域220内时，生成Π图像使得Π图像显示为随着用户的手靠近投影区域时，下层菜单(图12的示例中的菜单1-1到1-3)被展开并被呈现给用户。当用户的手到达第二区域230时，生成Π图像使得Π图像显示所有菜单都被完全展开(安排在单一平面中)并呈现给用户。如图11中的示例所示，当用户的手进入到第二区域230时，可以生成用于通知用户操作结束的Π图像并将其呈现给用户。
[0058]如图13中所示，当在与检测目标相对应的投影区域内的位置上显示可拖动目标时，UI图像生成单元209生成Π图像，使得Π图像显示为随着检测目标靠近投影区域，目标逐渐朝向用户突出。当检测目标与投影区域之间的距离等于或小于阈值时，Π生成单元209生成Π图像，使得Π图像显示为目标移动以便跟随检测目标的移动，该检测目标在指令区域内的到投影区域的距离等于或小于阈值的区域内移动。随后，当检测目标与投影区域之间的距离大于阈值时，Π生成单元209生成Π图像，使得Π图像显示为目标停止跟随检测目标的移动。图13中的示例中，当用户的手(即检测目标)存在于第一区域220内时，生成Π图像使得Π图像显示为随着用户的手靠近投影区域，与用户的手相对应的投影区域内的位置中显示的目标逐渐朝向用户突出并且将Π图像呈现给用户。当用户的手到达第二区域230时，目标可以被拖动，并且生成Π图像使得Π图像显示为目标移动以便跟随第二区域230中的用户的手的移动，并将Π图像呈现给用户。当用户的手返回到第一区域220时，生成Π图像使得Π图像显示为目标停止跟随用户的手的移动并将Π图像呈现给用户。
[0059]例如，Π生成单元209能够以图14中所示的方式生成Π图像。具体地，当在与检测目标相对应的投影区域内的位置中显示目标并且检测目标与投影区域之间的距离等于或小于阈值时，生成Π图像使得Π图像显示为目标朝向用户突出。随后生成Π图像使得UI图像显示为目标移动以跟随检测目标的移动，该检测目标在指令区域内的到投影区域的距离大于阈值的区域中移动。当检测目标与投影区域之间的距离再次等于或小于阈值时，生成Π图像使得Π图像显示为目标停止跟随检测目标的移动并且返回到非突出状态。在图14的示例中，当在与用户的手相对应的投影区域内的位置上显示目标并且用户的手存在于第二区域230内(可理解为执行了按下目标的动作)时，生成Π图像使得Π图像显示为目标朝向用户突出并且将Π图像显示给用户。随后，当用户的手返回到第一区域220时，生成Π图像使得Π图像显示为允许被拖动的目标移动以跟随在第一区域220中移动的用户的手的移动，并将Π图像呈现给用户。随后，当用户的手再次到达第二区域230时(当再次执行按下目标的动作时)，生成UI图像使得UI图像显示为目标停止跟随用户的手的移动并且返回到非突出状态并将Π图像呈现给用户。
[0060]图15是显示出根据本实施例的投影仪I根据用户的指令动作生成Π图像并将所生成的Π图像呈现给用户时的操作示例的流程图(在图11到图13中的操作流程)。如图15中所示，首先，投影仪I确定在第一区域220中是否存在检测目标(步骤S30)。如果确定在第一区域220中存在检测目标(步骤S30:是)，则投影仪I确定在与检测目标(此示例中为用户的手)相对应的投影区域内的位置中是否显示了按钮的图像(步骤S31)。
[0061]在以上的步骤S31中，如果确定在与检测目标相对应的投影区域内的位置中显示了按钮图像(步骤S31:是)，则投影仪I生成Π图像使得根据检测目标进入到第一区域220中的量来改变按钮的显示(步骤S32)，并且在投影目标上投影并显示通过组合生成的Π图像和输入视频图像而获得的图像。接下来，投影仪I确定检测目标是否到达第二区域230(步骤S33)。如果确定检测目标已经到达第二区域230 (步骤S33:是)，则生成代表指示操作结束的按钮动画的Π图像(步骤S34)，并且通过组合生成的Π图像和输入视频图像而获得的图像被投影并显示在投影目标上。随后重复在步骤S30及后续步骤中的处理。
[0062]如果在以上的步骤S31中确定在与检测目标相对应的投影区域内的位置中没有显示按钮图像(步骤S31:否)，则确定在与检测目标相对应的投影区域内的位置中是否显示具有分层结构的菜单(步骤S40)。
[0063]如果在以上的步骤S40中确定在与检测目标相对应的投影区域内的位置中显示了具有分层结构的菜单(步骤S40:是)，则生成Π图像使得根据检测目标进入到第一区域220中的量来改变菜单的显示(步骤S41)，并且通过组合生成的Π图像和输入视频图像而获得的图像被投影并显示在投影目标上。接下来，投影仪I确定检测目标是否已经到达第二区域230 (步骤S42)。如果确定检测目标已经到达第二区域230 (步骤S42:是)，则生成代表指示操作结束的动画按钮的Π图像(步骤S43)，并且通过组合生成的Π图像和输入视频图像而获得的图像被投影并显示在投影目标上。随后重复在步骤S30及后续步骤中的处理。
[0064]如果在以上的步骤S40中确定在与检测目标相对应的投影区域内的位置中没有显示具有分层结构的菜单(步骤S40:否)，则确定在与检测目标相对应的投影区域内的位置中是否显示了可拖动目标(步骤S50)。如果确定在与检测目标相对应的投影区域内的位置中显示了可拖动目标(步骤S50:是)，则生成Π图像使得根据检测目标进入到第一区域220中的量来改变目标的显示(步骤S51)，并且通过组合生成的Π图像和输入视频图像而获得的图像被投影并显示在投影目标上。
[0065]接下来，投影仪I确定检测目标是否已经到达第二区域230 (步骤S52)。如果确定检测目标已经到达第二区域230 (步骤S52:是)，则生成Π图像使得Π图像显示为目标移动以跟随在第二区域230中移动的检测目标的移动(步骤S53)。接下来，投影仪I确定检测目标是否再次移动到第一区域220 (步骤S54)。如果确定检测目标已经再次移动到第一区域220 (步骤S54:是)，则生成UI图像使得根据检测目标进入到第一区域220中的量来改变目标的显示，该目标已经停止跟随检测目标的移动(步骤S55)，并且通过组合生成的UI图像和输入视频图像而获得的图像被投影并显示在投影目标上。
[0066]接下来，投影仪I确定检测目标是否已经离开第一区域220(步骤S56)。如果确定检测目标还未离开第一区域220 (步骤S56:否)，则重复在步骤S52及后续步骤中的处理。如果确定检测目标已经离开第一区域220 (步骤S56:是)，则重复在步骤S53及后续步骤中的处理。
[0067]接下来，将描述根据本实施例的投影仪I的硬件配置。图16是示出了投影仪I的示例硬件配置的框图。如图16中所示，投影仪I包括CPU10、存储器控制器20、主存储器30和主机PCI桥40。存储器控制器20通过主机总线110连接到CPU10、主存储器30和主机PCI桥40上。
[0068]CPUlO控制整个投影仪I。存储器控制器20控制主存储器30的读、写和其他操作。主存储器30是系统存储器，用作存储程序和数据的存储器、扩展程序和数据的存储器以及图形存储器。
[0069]主机PCI桥40是用于连接外围设备和PCI (Peripheral ComponentInterconnect，外部设备互联总线)设备50的桥。主机PCI桥40通过HDD I/F120连接到存储器卡60。主机PCI桥40也通过PCI总线130连接到PCI设备50。主机PCI桥40还通过PCI总线130和PCI槽140连接到通信卡70、无线通信卡80、视频卡90等。
[0070]存储器卡60用做OS的启动设备。通信卡70和无线通信卡80用于与例如LAN和通信线路的网络连接。视频卡90用于投影图像以及将视频信号输出给显示器。在此实施例中的投影仪I中所执行的控制程序，以预安装在主存储器30中的例如存储器中的程序的方式来提供。
[0071]如上所述，在此实施例中，目标空间位于投影仪I的上方，并且将目标空间内的、不与从投影仪I发出的投影光线相干涉，而且面对投影区域的区域确定为指令区域，在该区域中执行与待实施的行动相对应的指令动作。因此，操作者的影子不会投影到投影的图像上，并且操作者是面对着被投影到投影目标上的图像的区域内作出指令动作，从而操作者能够直观地理解操作者的操作与所投影的图像之间的对应关系。因此，此实施例的特有效果在于:在确保投影图像的可视性的同时，提供了直观和容易的操作。
[0072]接下来，将描述此实施例的对比示例。假定对比示例具有这样的配置(例如，在日本专利公开N0.2012-003521中的配置):其中，利用例如摄像机的图像传感器来捕获投影区域的图像来检测用户的动作，使得如同使用触摸屏一样使用投影区域。例如，使用具有水平视角=60°并且垂直视角=50°的摄像机作为图像传感器来捕获投影区域的图像，并且将从视觉操作平面到摄像机的水平距离设置为85cm。然后，视觉操作平面的水平宽度X垂直宽度为IOOcmX 100cm。由于该尺寸包括了投影屏幕的尺寸(对48英寸屏幕来说，为IOOcmX60cm),因此可使用经济的摄像机。然而，在例如超短焦距投影仪的情况下，其投影距离为如上所述的“I1.7到24.9cm”。因此，安装于超短焦距投影仪上的摄像机与视觉操作平面(在对比示例中可以假定为投影区域)之间的距离显著短于以上情况，使得摄像机捕获图像的视觉操作平面的尺寸比投影屏幕的尺寸要大。因此，当将对比示例的技术应用到例如超短焦距投影仪的其投影距离短于规定的参考值(例如，85cm)的投影仪中时，必须使用具有广角(更大视角)摄像机，而这导致了成本增加的问题。
[0073]然而，在以上实施例中，安装在投影仪I中的图像传感器100所需提供的唯一功能是捕获指令区域内的图像的功能，该指令区域位于投影仪I的上方的目标空间内，并且是不会与从投影仪I发出的投影光发生干涉并且面对投影区域的区域，(也就是说，不需要如对比示例中那样，捕获整个投影区域的图像)。这一点的优势在于:即使使用了超短焦距投影仪，也可以使用经济的摄像机作为安装在投影仪中的图像传感器100，并且也可以实现上述特有效果。因此，当发明被应用到其投影距离短于规定的参考值的投影仪(例如超短焦距投影仪)中时，本发明尤其有效。然而，这一点并非限制，并且本发明能够被应用到其投影距离等于或大于规定的参考值的投影仪中。可理解的是，即使在这种情况下，仍然可实现上述特有效果。
[0074]例如，在上述实施例中，作为示例，描述了投影仪I中包括图像传感器100的配置(该配置中，投影仪I与图像传感器100是集成到一起的)。然而，这一点并非限制。例如，可与投影仪I分开地(独立地)提供图像传感器100。
[0075]例如，可以将本发明应用到图像投影系统中，该系统包括:用于将图像投影到投影目标上的图像投影设备；以及连接到图像投影设备上的信息处理设备。图17是示出了应用了本发明的图像投影系统1000的示例配置的图。如图17中所示，图像投影系统1000包括图像传感器100、信息处理设备400以及图像投影设备500。信息处理设备400包括上述检测单元201、识别单元202、第一计算单元203、第二计算单元204、决定单元205、确定单元206、UI生成单元209以及组合单元211，还包括图像输出单元250。包括在信息处理设备400中的组件(检测单元201、识别单元202、第一计算单元203、第二计算单元204、决定单元205、确定单元206、UI生成单元209、组合单元211以及图像输出单元250)的功能可以通过在例如CPU (Central Processing Unit,中央处理单元)的处理单元上执行程序来实现，即，通过软件，通过例如IC(Integrated Circuit,集成电路)的硬件,或软件与硬件的组合。
[0076]在图17的示例中，没有提供设备设置单元207和操作输出单元208，并且Π生成单元209根据用户的指令动作，利用来自确定单元206的信息生成Π图像。组合单元211将由Π生成单元209所生成的Π图像与存储在信息处理设备400 (存储在例如未示出的存储器内的图像数据)中的视频图像组合起来。图像输出单元250将组合单元211所组合的图像输出给图像投影设备500。图像投影设备500将由信息处理设备400提供的图像投影并显示在投影目标上。在此例中，可理解的是在信息处理设备400中的Π生成单元209、组合单元211以及图像输出单元250对应于权利要求10中的“输出单元”。
[0077]在投影仪I或信息处理设备400中执行的程序，可以以被记录在例如⑶-ROM、软盘(FD)XD-R或DVD (Digital Video Disk,数字化视频光盘)的计算机可读的记录介质中的、以可安装格式或可执行格式的文件形式提供。
[0078]在投影仪I或信息处理设备400中执行的程序可以存储在可连接到例如因特网(Internet)的网络上的计算机中，并且通过网络下载的方式提供。在投影仪I或信息处理设备400中执行的程序可以通过例如因特网的网络进行提供或分发。
[0079]根据此实施例，可以提供有益的效果在于:确保了所投影的视频图像的可视性并且提供了直观和容易的操作。
[0080]尽管为了完整而清晰的描述关于特定实施例描述了本发明，但所附权利要求并不由此受限，而是可以构建为体现本领域普通技术人员能够进行的所有变形和替代构造，均落入本发明的基本教义中。
【权利要求】
1.一种图像投影设备，用于将图像投影到投影目标上，所述图像投影设备包括: 检测单元，配置为检测存在于目标空间内的检测目标，其中目标空间与所述图像投影设备所投影的所述图像相对应； 识别单元，配置为基于所述检测单元对检测目标的检测来识别用户的指令动作；以及 输出单元，配置为从所述指令动作和所述图像投影设备所投影的图像生成与由所述识别单元在所述目标空间内所识别的所述指令动作相对应的输出。
2.根据权利要求1所述的图像投影设备，还包括决定单元，配置为将所述目标空间内的区域决定为其中执行用户的所述指令动作的指令区域，其中 所述区域不会与从所述图像投影设备投影的投影光线相干涉，并且所述区域面向投影区域，其中所述投影区域表示在所述投影目标内所述图像被投影到其上的区域。
3.根据权利要求2所述的图像投影设备，还包括: 图像传感器，配置为捕获目标空间的图像，其中所述目标空间包括所述投影区域的上边缘；所述图像传感器被布置在不同于发射所述投影光线的所述图像投影设备的投影端口的位置； 第一计算单元，配置为利用由所述图像传感器所捕获的图像的数据中的所述投影区域的位置，计算所述图像投影设备和所述投影目标之间的距离；以及 第二计算单元，配置为利用所述第一计算单元所计算出的所述距离，计算所述投影区域的尺寸，其中 所述检测单元被配置为利用由所述图像传感器所捕获的图像的数据来检测所述检测目标，并且 所述决定单元被配置为利用由所述第二计算单元所计算的所述投影区域的尺寸来决定所述指令区域的尺寸。
4.根据权利要求2或3所述的图像投影设备，其中 所述输出单元包括: 生成单元，配置为根据所述指令区域内执行的指令动作，生成要被呈现给用户的UI图像； 组合单元，配置为将输入视频图像和由所述生成单元生成的所述Π图像组合来生成复合图像；以及 投影单元，配置为将由所述组合单元所生成的复合图像投影到所述投影目标上。
5.根据权利要求4所述的图像投影设备，其中所述生成单元被配置为根据所述检测目标和所述投影区域之间的位置关系生成所述Π图像。
6.根据权利要求5所述的图像投影设备，其中 所述生成单元被配置为生成所述Π图像，使得当按钮的图像被显示在所述投影区域内与所述检测目标相对应的位置时，随着所述检测目标接近所述投影区域，所述UI图像显示按钮被逐渐按下，并且 所述生成单元被配置为生成所述Π图像，使得当所述检测目标和所述投影区域之间的距离变得等于或小于阈值时，所述UI图像显示操作结束。
7.根据权利要求5所述的图像投影设备，其中 所述生成单元被配置为生成所述Π图像，使得当在所述投影区域内的与所述检测目标相对应的位置中显示与分层结构重叠的菜单图像时，随着所述检测目标接近所述投影区域，所述Π图像显示较下层的菜单被逐渐展开，以及 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得等于或小于阈值时，所述Π图像显示具有分层结构的所有菜单被安排在单一平面上并且操作结束。
8.根据权利要求5所述的图像投影设备，其中 所述生成单元被配置为改变所述Π图像，使得随着所述检测目标接近所述投影区域，所述Π图像显示在所述投影区域内与所述检测目标相对应的位置上显示的目标逐渐朝向用户突出， 所述生成单元被配置为改变所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得等于或小于阈值时，目标移动以跟随所述检测目标的移动，所述检测目标在其中所述检测目标与所述投影区域之间的距离等于或小于所述阈值的所述指令区域中的区域内移动，以及 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得大于所述阈值时，所述Π图像显示已经停止跟随所述检测目标的移动的所述目标。
9.根据权利要求5所述的图像投影设备，其中 所述生成单元被配置为生成所述Π图像，使得当目标被显示在所述投影区域内与所述检测目标相对应的位置并且所述检测目标与所述投影区域之间的距离等于或小于阈值时，所述Π图像显示目标朝向用户突出， 所述生成单元被配置为随后生成所述Π图像，使得所述Π图像显示所述目标移动以跟随所述检测目标的移动，所述检测目标在其中所述检测目标与所述投影区域之间的距离大于所述阈值的所述指令区域内的区域中移动，并且 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离再次变得等于或小于所述阈值时，所述Π图像显示所述目标停止跟随所述检测目标的移动并返回到非突出状态。
10.根据权利要求1所述的图像投影设备，其中投影距离被设置为小于规定的参考值的值，所述投影距离代表所述投影端口与所述投影目标之间的距离，其中从所述图像投影设备的所述投影端口发射投影光线。
11.一种图像投影系统，包括: 图像投影设备，配置成将图像投影到投影目标上；以及 信息处理设备，连接到所述图像投影设备，其中 所述信息处理设备包括: 检测单元，配置为检测存在于目标空间内的检测目标，其中目标空间与所述图像投影设备所投影的所述图像相对应； 识别单元，配置为基于所述检测单元对所述检测目标的检测，识别用户的指令动作；以及 输出单元，配置为从所述指令动作和所述图像投影设备所投影的图像生成与由所述识别单元在所述目标空间内所识别的所述指令动作相对应的输出。
12.根据权利要求11所述的图像投影系统，其中所述信息处理设备还包括决定单元，配置为将所述目标空间内的区域决定为其中执行用户的所述指令动作的指令区域，其中 所述区域不会与从所述图像投影设备投影的投影光线相干涉，并且所述区域面对投影区域，其中所述投影区域表示在所述投影目标内所述图像被投影到其上的区域。
13.根据权利要求12所述的图像投影系统，其中所述信息处理设备还包括: 图像传感器，配置为捕获目标空间的图像，其中所述目标空间包括所述投影区域的上边缘；所述图像传感器被布置在不同于发射出所述投影光线的所述图像投影设备的投影端口的位置； 第一计算单元，配置为利用所述图像传感器所捕获的图像的数据中的所述投影区域的位置，计算所述图像投影设备和所述投影目标之间的距离；以及 第二计算单元，配 置为利用所述第一计算单元所计算出的所述距离，计算所述投影区域的尺寸，其中 所述检测单元被配置为利用所述图像传感器所捕获的图像的数据来检测所述检测目标，并且 所述决定单元被配置为利用所述第二计算单元所计算的所述投影区域的尺寸来决定所述指令区域的尺寸。
14.根据权利要求12或13所述的图像投影系统，其中 所述输出单元包括: 生成单元，配置为根据在所述指令区域内执行的所述指令动作，生成要被呈现给用户的Π图像； 组合单元，配置为将输入视频图像和由所述生成单元生成的Π图像组合来生成复合图像；以及 投影单元，配置为将由所述组合单元所生成的复合图像投影到所述投影目标上。
15.根据权利要求14所述的图像投影系统，其中所述生成单元被配置为根据所述检测目标与所述投影区域之间的位置关系来生成所述Π图像。
16.根据权利要求15所述的图像投影系统，其中 所述生成单元被配置为生成Π图像，使得当按钮的图像被显示在所述投影区域内与所述检测目标相对应的位置中时，随着检测目标接近所述投影区域，所述UI图像显示按钮被逐渐按下，并且 所述生成单元被配置为生成所述Π图像，使得当所述检测目标和所述投影区域之间的距离变得等于或小于阈值时，所述UI图像显示操作结束。
17.根据权利要求15所述的图像投影系统，其中 所述生成单元被配置为生成所述Π图像，使得当在所述投影区域内的与所述检测目标相对应的位置中显示与分层结构重叠的菜单图像时，随着所述检测目标接近所述投影区域，所述Π图像显示较下层的菜单被逐渐展开，以及 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得等于或小于阈值时，所述Π图像显示具有分层结构的所有菜单被安排在单一平面上并且操作结束。
18.根据权利要求15所述的图像投影系统，其中所述生成单元被配置为改变所述UI图像，使得随着所述检测目标接近所述投影区域，所述Π图像显示在所述投影区域内与所述检测目标相对应的位置上显示的目标逐渐朝向用户突出， 所述生成单元被配置为改变所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得等于或小于阈值时，目标移动以跟随所述检测目标的移动，所述检测目标在其中所述检测目标与所述投影区域之间的距离等于或小于所述阈值的所述指令区域中的区域内移动，以及 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离变得大于所述阈值时，所述Π图像显示已经停止跟随所述检测目标的移动的所述目标。
19.根据权利要求15所述的图像投影系统，其中 所述生成单元被配置为生成所述Π图像，使得当目标被显示在所述投影区域内与所述检测目标相对应的位置并且所述检测目标与所述投影区域之间的距离等于或小于所述阈值时，所述Π图像显示目标朝向用户突出， 所述生成单元被配置为随后生成所述Π图像，使得所述Π图像显示所述目标移动以跟随所述检测目标的移动，所述检测目标在其中所述检测目标与所述投影区域之间的距离大于所述阈值的所述指令区域内的区域中移动，以及 所述生成单元被配置为生成所述Π图像，使得当所述检测目标与所述投影区域之间的距离再次变得等于或小于所述阈值时，所述UI图像显示所述目标停止跟随所述检测目标的移动并返回到非突出状态。
20.—种控制方法,包括: 检测存在于目标空间内的检测目标，其中所述目标空间与图像投影设备所投影的图像相对应； 基于在所述检测中对所述检测目标的检测，识别用户的指令动作；以及 从所述指令动作和所述图像投影设备所投影的图像中生成与由所述识别在所述目标空间内所识别的所述指令动作相对应的输出。
【文档编号】G06F3/01GK103929603SQ201410016345
【公开日】2014年7月16日 申请日期:2014年1月14日 优先权日:2013年1月16日
【发明者】高泽和宽 申请人:株式会社理光