输入设备、交互系统和输入方法
【专利摘要】本发明公开了一种采用全景图像捕获模块的输入设备。所述输入设备包括全景图像捕获模块，用于在输入设备移动期间捕获输入设备周围的图像。其中，全景图像捕获模块包括全景光学模块、成像透镜和图像传感器，能够接收成像透镜的视角范围外的入射光，并成像。还公开了包括输入设备和显示设备的交互系统，以及输入方法。通过设置全景光学模块，能够接收到成像透镜的视角范围外的入射光，所以与现有的输入设备相比，扩展了能够捕获的图像的范围，因此，根据本发明的输入设备和交互系统能够精确地进行输入，且不对用户的使用进行限制，改善用户体验。
【专利说明】输入设备、交互系统和输入方法
【技术领域】
[0001]本发明涉及一种输入设备、交互系统和输入方法。更具体地，本发明涉及使用全景图像捕获模块的输入设备、交互系统和输入方法。
【背景技术】
[0002]当前，主要有两种交互系统，用于实现输入和控制。一种是触摸板，另一种是无线鼠标。触摸板式的交互系统需要用户靠近白板(例如，交互式电子白板IWB)，而无线鼠标式的交互系统需要用户在桌面上进行操作鼠标。这些限制给人们在使用交互系统中带来不便。
[0003]任天堂Wii游戏控制器具有远程定点功能。该控制器具有红外接收机，用于接收并分析来自主机的红外光，从而实现定位功能。但是，如果Wii游戏控制器并没有面向主机，或者太靠近主机，则其定位功能不起作用。因此，该游戏控制器所使用的方法并不适用于交互系统。
[0004]在专利文献I中，公开了一种系统，其能够使用便携式网络设备的摄像机，从便携式网络设备向外部接口设备进行远程鼠标输入。
[0005]专利文献I公开的方法使用便携式网络设备的摄像机来检测作为远程鼠标的自身的移动。然而，通常使用的数字摄像机具有有限的视角。对视角的这种限制会在便携式网络设备或摄像机面对大屏幕或墙面时导致定位精度和灵敏度不高。如果大屏幕显示单色的动画或视频，或者摄像机面对单色墙面，这种问题会变得严重。
[0006]因此，需要一种远距离的更加灵活的输入设备和方法。
[0007]专利文献:
[0008](I)美国专利公开 20110074679A1，2011 年 3 月 31 日。
【发明内容】
[0009]如上所述，现有的交互系统存在一些问题，难以提供良好的用户体验。
[0010]本发明是为了解决上述问题而提出的，其目的在于提供一种输入设备和相应的交互系统以及输入方法，能够精确地进行输入，且不对用户的使用进行限制。
[0011]根据本发明的第一方面，提供了一种输入设备。该无线输入设备包括全景图像捕获模块，用于在输入设备移动期间捕获输入设备周围的图像。所述图像是在所述输入设备移动期间捕获的，因此包含能够表示所述输入设备的移动信息的内容。该输入设备还包括发送模块，用于将所捕获的图像发送给显示设备。其中，所述全景图像捕获模块包括全景光学模块、成像透镜和图像传感器，所述全景光学模块能够接收成像透镜的视角范围外的入射光，并且将所接收的入射光传送到成像透镜；所述入射光经过所述成像透镜，在所述图像传感器上成像；所述图像传感器将所成像的图像转换为电信号。
[0012]通过在全景图像捕获模块中采用全景光学模块，该全景光学模块能够接收到成像透镜的视角范围外的入射光，因此根据本发明的输入设备可以能够捕获成像透镜视角外的图像，与现有的输入设备相比，扩展了能够捕获的图像的范围。根据本发明的输入设备可以以输入设备周围宽视角内的物体作为参考，来确定移动信息。所以，即使在面对大屏幕时，通过采用大屏幕之外的物体作为参考，例如以屏幕侧面的墙壁作为参考，可以精确地确定输入设备的移动信息。而且，根据本发明的输入设备在工作时不需要面对显示设备。
[0013]根据本发明的第二方面，提供了一种交互系统，包括根据本发明的输入设备和显示设备。显示设备包括:接收模块，用于接收从输入设备发送的图像和/或控制信息；图像处理模块，用于分析所述图像，产生所述输入设备的移动信息；以及显示和控制模块，用于显示内容和光标，并根据移动信息来控制光标的移动和/或根据控制信息对显示的内容进行操作。
[0014]根据本发明的第三方面，提供了一种交互系统。根据本发明第三方面的交互系统与根据第二方面的交互系统的不同在于图像处理模块被包括在输入设备中。因而，从输入设备向显示设备发送的信息是输入设备的移动信息，而不是捕获的图像本身。
[0015]根据本发明的第四方面，提供了一种利用输入设备向显示设备进行输入的方法。该方法包括首先使输入设备移动。所述输入设备包括全景图像捕获模块，所述全景图像捕获模块被配置为在所述输入设备移动期间捕获输入设备周围的图像。该方法还包括根据所捕获的图像来产生输入设备的移动信息。最后，根据移动信息，使光标在显示设备上移动。其中，所述全景图像捕获模块包括全景光学模块和成像透镜，所述全景光学模块能够接收成像透镜的视角范围外的入射光，并且将所接收的入射光传送到成像透镜以便产生捕获的图像。
[0016]根据本发明的交互系统和输入方法扩展了所捕获的图像的范围，能够精确地进行输入，且对用户的使用没有什么限制。
【专利附图】
【附图说明】
[0017]根据下文的描述，本发明的附加目标、特征和优点将会更加清楚。而且，根据参照附图的下述解释，本发明的优点将会是明显的，附图中:
[0018]图1是示出了根据本发明第一实施例的交互系统的应用示意图。
[0019]图2是示出了根据本发明第一实施例的交互系统的方框图；
[0020]图3是示出了根据本发明第二实施例的交互系统的方框图；
[0021]图4示出了根据本发明第三实施例的无线输入设备的结构图；
[0022]图5示出了根据本发明第四实施例的无线输入设备的结构图；
[0023]图6是示出了根据本发明第五实施例的交互系统的应用示意图；
[0024]图7示出了可用在本发明中的全景光学模块的示例；以及
[0025]图8示出了根据本发明实施例的无线输入方法的流程图。
【具体实施方式】
[0026]现在将通过示例性例子并参照附图来描述本发明的优选实施例。在整个说明书和附图中，相同的附图标记表示相同的组件。
[0027]图1是示出了根据本发明第一实施例的交互系统100的应用示意图。如图1所示，交互系统100包括布置在一面墙壁上的显示设备110和用于在显示设备110上进行输入的远程的无线输入设备120。
[0028]图2是示出了根据本发明第一实施例的交互系统100的方框图。如图2所示，根据本发明的交互系统100包括显示设备110和无线输入设备120。显示设备110包括接收模块111、以及显示和控制模块112。无线输入设备120包括全景图像捕获模块121、图像处理模块122、无线发送模块123以及控制模块124。
[0029]全景图像捕获模块121用于捕获显示设备110周围的图像。图像处理模块122接收全景图像捕获模块121所捕获的图像，并分析图像。具体地，图像处理模块122将所捕获的图像与之前捕获的图像进行比较，以确定无线输入设备120的移动信息。根据图像中特征点的偏移方向可以确定无线输入设备120的移动方向，而根据图像中特征点的偏移距离可以确定无线输入设备120的移动速度。因此，全景图像捕获模块121连续地、或者至少频繁地捕获图像，以便连续图像之间存在相同部分，从而图像处理模块122能够确定移动信肩、O
[0030]无线发送模块123接收图像处理模块122所确定的移动信息，并向显示设备110发送该移动信息，以由显示设备110的接收模块111接收。
[0031]控制模块124用于产生控制信息。无线发送模块123同样将控制模块124所产生的控制信息发送到显示设备110以由接收模块111接收。
[0032]显示设备110的显示和控制模块112对接收模块111接收到的信息进行处理，以相应地控制显示设备110的显示内容。具体地，根据接收到的无线输入设备的移动信息，移动显示设备110上显示的光标至新的位置。如果还接收到控制信息，则对显示内容进行相应的控制。
[0033]全景图像捕获模块包括全景光学模块、成像透镜和图像传感器。全景光学模块能够接收成像透镜的视角范围外的入射光，并将所接收的入射光传送到成像透镜。入射光经过成像透镜，在图像传感器上成像。图像传感器继而将所成像的图像转换为电信号。因此，全景图像捕获模块所捕获的显示设备110周围的图像包括单独使用成像透镜时所不能够看到/捕获的图像。因此，与现有的输入设备相比，扩展了所能够捕获的图像的范围。
[0034]尽管在此输入设备120被示出为无线地向显示设备110进行输入，但是本领域技术人员应该认识到，输入设备经由有线电缆与显示设备或显示设备的主机相连以进行输入也是可行的。
[0035]图3是示出了根据本发明第二实施例的交互系统200的方框图。根据本发明第二实施例的交互系统与根据第一实施例的交互系统的不同之处在于图像处理模块设置在显示设备内而不是输入设备内。根据本发明第二实施例的接收模块211、显示和控制模块212、全景图像捕获模块221、无线发送模块223以及控制模块224与图2所示的根据第一实施例的接收模块111、显示和控制模块112、全景图像捕获模块121、无线发送模块123以及控制模块124在功能上是相同的。
[0036]全景图像捕获模块221在输入设备移动期间捕获图像。由于图像是在输入设备移动期间捕获的，因此，所捕获的图像包含表示输入设备的移动信息的内容。无线发送模块223直接将所捕获的图像发送给显示设备。显示设备的接收模块211接收到图像并传送给图像处理模块213。图像处理模块213对图像进行分析，产生输入设备的移动信息，并将产生的移动信息发送给显示和控制模块212。具体地，图像处理模块213将当前图像与之前的图像进行比较，以确定输入设备的移动信息。根据图像中特征点的偏移方向可以确定输入设备的移动方向，而根据图像中特征点的偏移距离可以确定输入设备的移动速度。显示和控制模块212对接收到的信息进行处理，以相应地控制显示设备210的显示内容。
[0037]图4示出了根据本发明第三实施例的无线输入设备300的结构图，左图示出了展开图，而右图示出了组合图。
[0038]如图所示，根据本发明实施例的无线输入设备300形成为笔的形状，包括透明外壳301 ;全景光学模块302 ;成像透镜303 ;图像传感器304 ;图像处理模块305 ;控制按钮306 ;无线发送模块307和电源开关308。
[0039]透明外壳301用于容纳和固定各个模块，以形成整个无线输入设备，而不会对各个模块，尤其是全景光学模块造成影响。具体地，透明外壳不会阻挡全景光学模块的视角。
[0040]全景光学模块302、成像透镜303和图像传感器304可以捕获无线输入设备周围、成像透镜自身的视角范围之外的视角内的图像。图4的右图中的灰色部分示出了无线输入设备300所能够看到/捕获的视角，其中带箭头的线表示入射光如何进入输入设备300内。全景光学模块302接收所示视角内的入射光，并将光反射经过成像透镜303，在图像传感器304上成像。
[0041]图像传感器304将所捕获的图像转换为电信号，并传送到图像处理模块305以进行分析和处理。图像处理模块305将其与之前捕获的图像进行比较，以获得X轴和y轴上的移动信息，包括移动方向和移动速度。
[0042]控制按钮306包括两个按钮I和2，可以分别实现鼠标的点击左键和点击右键功能。无线发送模块307将图像处理模块305所确定的X轴和y轴的移动信息以及控制按钮的命令发送给显示设备(例如，图1和2的显示设备110)。按照这种方式，可以实现显示设备上的光标的移动和操作控制。
[0043]虽然图4仅示出了两个按钮，当然，可以设置其他的控制按钮。例如，可以设置一个“home”按钮。当按下该按钮时，显示设备所显示的内容回到主页。
[0044]电源开关308形成为一个按钮，用于开启或关闭整个设备。用户可以在不需要的时候关闭该设备以避免错误操作。
[0045]无线输入设备300还可包括存储器(未示出)，用于存储所捕获的图像，以便在需要时由图像处理模块使用。当然，根据需要，该存储器可以设置在图像处理模块内，从而减少图像处理模块与其他模块之间的交互时间。
[0046]根据本发明第三实施例的无线输入设备300不需要面对显示设备才能够进行输入。从图4的右图可见，所捕获的图像在成像透镜自身视角的范围外，是无线输入设备侧面的图像。因此，在如图1所示的场景中，无论无线输入设备是否面对显示设备，也可以通过捕获周围的例如墙壁、地板等的图像来确定无线输入设备的移动信息。
[0047]图5示出了根据本发明第四实施例的无线输入设备400的结构图，左图示出了展开图，而右图示出了组合图。
[0048]如图所示，根据本发明实施例的无线输入设备400包括透明外壳401 ;全景光学模块402 ;成像透镜403 ;图像传感器404 ;图像处理模块405 ;控制按钮406 ;无线发送模块407和电源开关408。
[0049]根据本发明第四实施例的无线输入设备400与根据本发明第三实施例的无线输入设备300的不同之处仅在于全景光学模块402。在此省略对其他模块的详细说明。
[0050]全景光学模块402在底部存在一个圆孔。通过位于全景光学模块底部的孔，全景光学模块还能够接收无线输入设备所朝向的方向上的入射光，从而无线输入设备400能够捕获所朝向的方向上的图像。图5的右图中的灰色部分示出了无线输入设备400所能够看至IJ/捕获的视角。如图所示，通过设置具有孔的全景光学模块，无线输入设备400的视角大于成像透镜自身的视角。
[0051]与第三实施例的无线输入设备300相比，根据该实施例的无线输入设备400可以捕获更大的视角，包括前视图，从而进一步改善了定位精度。
[0052]图6是示出了根据本发明第五实施例的交互系统500的应用示意图。如图所示，交互系统500包括显示屏幕510和无线输入设备520。在显示屏幕510上显示有两个图标，即“是”图标和“否”图标。当前，光标处于“否”图标上(如虚箭头所示)。
[0053]如图6所示，无线输入设备520并不正对显示屏幕510。当无线输入设备520向右移动时，其中的全景图像捕获模块能够捕获其周围的图像，并根据所捕获的图像产生无线输入设备向右移动的移动信息。位于显示屏幕右下角的信号接收模块511接收移动信息，根据移动信息使光标向右移动，到达“是”图标。
[0054]在无线输入设备520移动而使得光标从“否”图标移动到“是”图标时(如实箭头所示)，用户可以通过按压无线输入设备520上的控制按钮(例如，第三实施例中的按钮I)来“点击” “是”图标以进行“确认”。
[0055]与传统的无线光学鼠标和显示设备相比，这种全景式的无线输入设备可以帮助用户自由地控制输入。用户不需要靠近大屏幕，也不需要在桌面上操作鼠标。此外，利用全景光学模块，可以极大地提高输入设备的灵敏度、精确度和抗干扰性。
[0056]图7示出了可用在本发明中的全景光学模块的示例。可用在本发明中的全景光学模块可以是以下之一:(a)四棱锥反射镜、(b)曲面锥体反射镜、(C)球面反射镜、(d)锥形反射镜、(e)双曲面反射镜或(f)抛物面反射镜。
[0057]当然，其他形状的全景光学模块也是适用的。
[0058]图8示出了根据本发明实施例的无线输入方法的流程图。如图8所示，首先，在步骤S701，将无线输入设备上的电源开关打开，以启动无线输入设备。然后，在步骤S702，无线输入设备移动。在无线输入设备移动期间，无线输入设备中的全景图像捕获模块捕获无线输入设备周围的图像。在步骤S703，通过分析所捕获的图像，产生无线输入设备的移动信息。然后，向显示设备发送所确定的移动信息。在步骤S704，显示设备根据接收到的移动信息，控制光标的移动。在该方法中使用的无线输入设备中的全景图像捕获模块包括全景光学模块、成像透镜和图像传感器，所述全景光学模块能够接收成像透镜的视角范围外的入射光，并且将所接收的入射光经过成像透镜在图像传感器上成像，以便产生捕获的图像。
[0059]此外，如果用户在步骤S705中按下无线输入设备上的控制按钮，则向显示设备发送相应的控制信息。在步骤S706中，显示设备根据控制信息，进行控制操作。
[0060]当然，上述步骤之间的顺序并不一定限制为如图所示。而且，根据本发明的方法也不局限于上述步骤。例如，步骤S703中，可以将所捕获的图像发送到显示设备，然后由显示设备对捕获的图像进行分析以产生输入设备的移动信息。再例如，步骤S705和S706并不一定要在步骤S702-S704之后执行。[0061]在本发明中，由于利用全景光学模块，与传统的无线光学鼠标和显示设备相比，这种无线输入方法使得用户可以自由地进行输入。用户不需要靠近大屏幕，而且不需要在桌面上操作鼠标。此外，利用全景光学模块，可以极大地提高输入的灵敏度、精确度和抗干扰性。
[0062]虽然已经展示并描述了本发明的特定实施例和应用，应当理解，本发明不限于在此公开的精确配置和元件。在不偏离本发明的精髓和保护范围的前提下，可以在在此公开的本发明的方法和系统的配置、操作和细节上进行对本领域技术人员来说非常明显的各种修改、变形和变化。
【权利要求】
1.一种输入设备，包括: 全景图像捕获模块，用于在输入设备移动期间捕获输入设备周围的图像，所述图像包含表不所述输入设备的移动信息的内容；以及发送模块，用于发送所捕获的图像， 其中，所述全景图像捕获模块包括: 全景光学模块、成像透镜和图像传感器，其中，所述全景光学模块能够接收成像透镜的视角范围外的入射光，并且将所接收的入射光传送到成像透镜；所述入射光经过所述成像透镜，在所述图像传感器上成像；所述图像传感器将所成像的图像转换为电信号。
2.根据权利要求1所述的输入设备，其中，所述全景光学模块是以下之一:四棱锥反射镜、曲面锥体反射镜、球面反射镜、锥形反射镜、双曲面反射镜或抛物面反射镜。
3.根据权利要求2所述的输入设备，其中，所述全景光学模块在底部具有孔，从而还能够接收所述输入设备所朝向的方向上的入射光。
4.根据权利要求3所述的输入设备，还包括: 透明外壳，用于容纳所述全景光学模块，且不阻挡入射光。
5.根据权利要求1所述的输入设备，还包括: 控制模块，用于产生控制信息， 其中，所述发送模块还发送所产生的控制信息。
6.根据权利要求5所述的输入设备，其中，所述控制模块包括两个按钮，分别用于产生鼠标的“点击左键”和“点击右键”的控制信息。
7.根据权利要求1所述的输入设备，还包括: 电源开关，用于开启或关闭所述输入设备。
8.根据权利要求1所述的输入设备，还包括: 图像处理模块，用于分析所捕获的图像，产生所述输入设备的移动信息，其中，代替所捕获的图像，所述发送模块发送所产生的所述输入设备的移动信息。
9.根据权利要求8所述的输入设备，其中，所述图像处理模块被配置为:将当前捕获的图像与之前捕获的图像进行比较，根据图像中特征点的偏移方向来确定输入设备的移动方向，并根据所述特征点的偏移距离来确定输入设备的移动速度。
10.一种交互系统,包括: 根据权利要求1-7之一所述的输入设备，以及 显示设备，包括: 接收模块，用于接收从输入设备发送的图像和/或控制信息， 图像处理模块，用于分析所述图像，产生所述输入设备的移动信息；以及显示和控制模块，用于显示内容和光标，并根据所述输入设备的移动信息来控制光标的移动和/或根据控制信息对显示的内容进行操作。
11.根据权利要求10所述的交互系统，其中所述图像处理模块被配置为:将当前图像与之前的图像进行比较，根据图像中特征点的偏移方向来确定输入设备的移动方向，并根据所述特征点的偏移距离 来确定输入设备的移动速度。
12.—种交互系统,包括: 根据权利要求8-9之一所述的输入设备，以及显示设备，包括: 接收模块，用于接收从输入设备发送的所述输入设备的移动信息和/或控制信息， 显示和控制模块，用于在显示内容和光标，并根据表示所述输入设备的移动信息来控制光标的移动和/或根据控制信息对显示的内容进行操作。
13.一种利用输入设备向显示设备进行输入的方法，包括以下步骤: 输入设备移动，所述输入设备包括全景图像捕获模块，所述全景图像捕获模块被配置为在所述输入设备移动期间捕获输入设备周围的图像； 根据所捕获的图像，产生输入设备的移动信息；以及 根据所述移动信息，使光标在所述显示设备上移动， 其中，所述全景图像捕获模块包括全景光学模块、成像透镜和图像传感器，其中，所述全景光学模块能够接收成像透镜的视角范围外的入射光，并且将所接收的入射光传送到成像透镜；所述入射光经过所述成像透镜，在所述图像传感器上成像；所述图像传感器将所成像的图像转换为电信号。
14.根据权利要求13所述的输入方法，其中，所述全景光学模块是以下之一:四棱锥反射镜、曲面锥体反射镜、球面反射镜、锥形反射镜、双曲面反射镜或抛物面反射镜。
15.根据权利要求14所述的输入方法，其中，所述全景光学模块在底部具有孔，从而还能够接收所述输入设备所朝向的方向上的入射光。
16.根据权利要求13所述的输入方法，还包括: 从所述输入设备向所述显示设备发送控制信息；以及 根据所述控制消息，在显示设备上进行操作。
17.根据权利要求13所述的输入方法，其中，根据所捕获的图像，产生输入设备的移动信息的步骤还包括: 将当前捕获的图像与之前捕获的图像进行比较，根据图像中特征点的偏移方向来确定输入设备的移动方向，并根据所述特征点的偏移距离来确定输入设备的移动速度。
【文档编号】G06F3/033GK103902028SQ201210574615
【公开日】2014年7月2日 申请日期:2012年12月26日 优先权日:2012年12月26日
【发明者】张彤, 刘宇 申请人:夏普株式会社