经由传感器融合的扩展交互式输入的制作方法
【技术领域】
[0001]本发明通常涉及在用户设备界面上的交互式输入。
【背景技术】
[0002]当前，具备例如触摸屏或手势辨识等交互式输入能力的用户设备(例如，智能电话、平板电脑、笔记本等等)通常具有小尺寸屏幕。
[0003]通常可在小尺寸屏幕上执行交互式输入，如触摸输入和手势(大多通过手)。然而，小尺寸屏幕会限制交互式输入区域，致使交互式输入较为基础，并且阻碍例如平滑的滑动、滚动、平移、缩放等交互。在某些情况下，当前的交互式输入，例如手势，可以在屏幕旁完成，例如通过用笔标记；然而，这可能导致输入和界面响应之间的断开。
[0004]此外，交互式输入，例如触摸输入和手势，通常可能遮蔽用户设备的小尺寸屏幕。例如，当前的触摸输入受限于用户设备的屏幕，这可能使得难以看到受影响的内容。同样地，交互式输入可能需要用户执行重复的动作以执行任务，例如，多重滑动缩放、选择或滚动运动。
[0005]相应地，本领域需要改善用户设备上的交互式输入。
【发明内容】
[0006]根据本发明的一或多个实施例，提供了用于通过从一个传感器到另一个传感器无缝过渡从而扩展交互式输入的方法和系统。
[0007]根据一个实施例，一种方法包括:用第一传感器检测由控制物件进行的输入的至少一部分。所述方法还包括:确定控制物件定位于过渡区域中。所述方法还包括:至少部分地基于所述控制物件定位于所述过渡区域的确定，确定是否用第二传感器检测所述输入的后续部分。
[0008]根据另一个实施例，一种方法包括:用与电子设备相连的第一传感器检测由控制物件进行的输入的至少一部分。所述方法还包括:检测所述控制物件进入过渡区域或在所述过渡区域内的移动。并且，所述方法还包括:至少部分地基于所述控制物件的被检测到的移动，确定是否用与所述电子设备相连的第二传感器检测所述输入的后续部分。
[0009]在一个实施例中，所述方法还包括:确定所述控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括:基于活动应用，确定所述控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括:基于所述移动的速度，确定控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括:基于从与所述控制物件相关联的用户先前输入获得的信息，确定控制物件的位置是否可能超出第一传感器的检测范围。
[0010]在另一个实施例中，所述方法还包括:确定与使用第一传感器相比、使用第二传感器能够以更高的置信度检测到所述控制物件的移动。
[0011]在另一个实施例中，所述方法还包括:至少部分地基于所述控制物件的被检测到的移动，确定是否用第三传感器检测所述输入的后续部分。
[0012]在另一个实施例中，所述过渡区域包括第一过渡区域，并且，所述方法还包括:检测控制物件进入第二过渡区域或在第二过渡区域内的移动，所述第二过渡区域至少部分地与所述第一过渡区域重叠。
[0013]在另一个实施例中，第一传感器包括与装置的屏幕基本对齐的电容式触摸传感器，且第二传感器包括在装置边缘上的广角相机或能够感测超声频率的麦克风。在另一个实施例中，第一传感器包括经配置以在至少部分地与装置的屏幕对齐的视野内捕捉图像的第一相机，且第二传感器包括经配置以在至少部分地偏离装置的屏幕的视野内捕捉图像的相机。在另一个实施例中，第一传感器包括在装置边缘上的广角相机或能够感测超声频率的麦克风，且第二传感器包括与装置的屏幕基本对齐的电容式触摸传感器。在另一个实施例中，第一传感器包括经配置以在至少部分地与装置的边缘对齐的视野内捕捉图像的第一相机，且第二传感器包括经配置以在至少部分地与装置的屏幕对齐的视野内捕捉图像的第二相机。
[0014]在另一个实施例中，所述方法还包括从多个附接到电子装置的传感器中选择第二传感器。在一个实施例中，所述电子装置包括移动装置。在另一个实施例中，所述电子装置包括电视机。
[0015]在另一个实施例中，第一传感器和第二传感器中的一个包括设置在所述电子装置的表面上的能够感测超声频率的第一麦克风，且第一传感器和第二传感器中的另一个包括设置在所述电子装置的边缘上的能够感测超声频率的第二麦克风。
[0016]在另一个实施例中，所述方法还包括:用第二传感器检测所述输入的后续部分，并基于输入和输入的后续部分影响电子装置上的应用的操作。在一实施例中，所述方法还包括:对来自第一传感器和第二传感器的数据进行时间同步，使得当用第一传感器检测时与当用第二传感器检测时相比，控制物件的移动对操作的影响基本相同。在一实施例中，所述操作包括缩放操作，其中所述移动包括:在装置的显示器之上或与装置的显示器接触的第一区域、以及与第一区域偏离的第二区域之间的控制物件过渡。在另一个实施例中，所述操作包括滚动或平移操作，其中所述移动包括在装置的显示器之上或与装置的显示器接触的第一区域、以及与第一区域偏离的第二区域之间的控制物件过渡。
[0017]在另一个实施例中，所述方法还包括:检测脱离输入，并基于所检测到的脱离输入，停止对应用的操作的影响。在一实施例中，所述控制物件的移动基本上在平面内，且所述脱离输入包括控制物件在所述平面之外的运动。在另一个实施例中，所述控制物件包括手，且所述脱离输入包括手的闭合。
【附图说明】
[0018]图1是示出了根据本发明的实施例的从屏上到屏外的手势延伸的图。
[0019]图2是示出了根据本发明的实施例的从屏外到屏上的手势延伸的图。
[0020]图3是示出了根据本发明的实施例的具有配合使用以跟踪物件的一组传感器的装置的图。
[0021]图4是示出了根据本发明的实施例的用于跟踪控制物件的方法的流程图。
[0022]图5是示出了根据本发明的实施例的超出用户装置的屏幕而继续触摸动作的图。
[0023]图6是示出了根据本发明的实施例的超出用户装置的屏幕而继续触摸动作的图。
[0024]图7是示出了根据本发明的另一实施例的超出用户装置的屏幕而继续触摸动作的图。
[0025]图8是示出了根据本发明的实施例的用于跟踪控制物件的移动的方法的流程图。
[0026]图9是示出了根据本发明的实施例的用于实现装置的系统的框图。
[0027]图10是示出了根据本发明的实施例的用于延伸交互式输入的方法的流程图。
【具体实施方式】
[0028]提供了根据本发明的一或多个实施例的系统和方法，其例如经由多模传感器融合来用于无缝地延伸交互式输入(例如，触摸和手势辨识)。
[0029]经配置以检测非触摸输入的传感器或技术可以被包括在用户装置或系统内、和/或定位于用户装置的各个表面，例如定位于用户装置的顶部、底部、左侧、右侧和/或背部，以使得例如手势之类的非触摸数据在用户装置前方(屏上)以及用户装置屏幕的直接视线之外(屏外)被执行时可以被捕捉。通常，屏外非触摸输入在下文中也可以被称为“屏外手势”，其中“屏外手势”可以指代例如手、手指、笔等的控制物件的位置或运动数据，其中所述控制物件不接触用户装置，但是靠近用户装置。这些“屏外”非触摸手势不仅可以是从用户装置的屏幕中移除，而且它们可以包括控制物件相对于装置的屏幕或显示器向一旁偏离所述装置的部分。例如，可以想象这样的容体，其沿着大致垂直于所述装置的显示器或屏幕的平面的方向延伸离开所述显示器或屏幕。“屏外”手势可以包括执行手势的控制物件的至少一部分定位于所述容体之外的手势。在一些实施例中，“屏上”手势和/或输入可以至少部分地定位于所述容体内，并且可以包括触摸输入和/或手势、或非触摸输入和/或手势。
[0030]在一或多个实施例中，屏上(或屏幕上方)手势辨识可以与屏外(或超出屏幕)手势辨识组合和同步，以提供具有连续精确解析的无缝用户输入。
[0031]在一个实例中，影响在用户装置上显示的内容的动作，例如滚动列表、网页等，可以基于用户输入，例如，基于检测到的手势(其包含例如手、笔、手指等的控制物件的运动)的速度，以对于手势运动来说同样的相对内容速度继续进行。也就是说，当用户移动其手的时候，例如向上运动的时候，如果用户的移动速度是一致的，那么例如列表、网页等等的内容继续以恒定的速度滚动。任选地，用户可能有更为一致的体验，其中动作的速度，例如滚屏的速度，并不总是相同。例如，滚屏速度可以选择性地基于检测到的手势而增加，检测到的手势包括控制物件(例如，手、笔、手指，等等)的运动，从而，如果控制物件移动地比滚屏速度更快，则滚屏速度可以增加。因而，在用户装置上执行的动作的速度与例如滚屏的装置响应之间可存在相关性。因而，在一些实施例中，无论手势的任何给定部分被限定于何处(例如，不管用户正在接触装置的显示器还是手指已经滑到显示器外)，装置对于用户移动的反应是一致的。
[00