用于使用传感器识别接近运动的设备和方法

用于使用传感器识别接近运动的设备和方法
【专利摘要】提供了一种用于使用传感器识别接近运动的设备和方法。所述设备包括：第一传感器，用于对第一输入区域进行感测；第二传感器，用于对与第一输入区域不同的第二输入区域进行感测；信息移交控制器，用于在第一传感器和第二传感器之间移交与过渡相关的信息。
【专利说明】用于使用传感器识别接近运动的设备和方法
[0001]本申请要求于2013年2月22日提交到韩国知识产权局的第10-2013-0018961号韩国专利申请和于2013年11月12日提交到韩国知识产权局的第10-2013-0137168号韩国专利申请的优先权利益，所述申请的公开通过引用全部合并于此。
【技术领域】
[0002]以下描述涉及一种用于使用传感器识别接近运动的设备和方法。
【背景技术】
[0003]在二维(2D)平面上执行的触摸输入方案被用于各种便携式装置，例如，诸如智能电话、平板计算机和膝上计算机。具体地，触摸输入方案已经从接收单个触摸输入的单点识别技术发展到了同时接收多个触摸输入的多点识别技术。
[0004]相对于通过触摸屏技术提供用户输入，接近运动识别技术可减少输入显示屏上的指纹污迹，并且提供用于用户输入的三维界面。然而，接近运动识别也会降低用户输入的准确性。

【发明内容】

[0005]因此，接近运动设备可使用具有近范围的第一传感器和具有远范围的第二传感器来检测针对输入显示屏幕的用户输入，并且管理对每个传感器的供电。针对输入显示屏幕的用户界面可适应于与在近范围中检测到的运动相应，使得用户可更加准确地提供用户输入。例如，用户界面可随着运动被检测到接近输入显示屏幕而放大。随着检测到接近运动，可将用户界面从二维界面切换到三维界面，反之亦然。图标可适应于在输入显示屏幕上的移动位置，以防图标被接近运动遮挡。输入显示屏幕的这些适应对于用户而言可以是直观的，并且模仿用户的自然运动。
[0006]通过提供一种用于使用传感器识别接近运动的设备来实现前述和/或其它方面，所述设备包括:第一传感器，用于对距参考表面的距离比预定距离近的第一输入空间进行感测，以识别接近运动；第二传感器，用于对距参考表面的距离比预定距离远的第二输入空间进行感测；信息移交控制器，用于当在第一输入空间和第二输入空间之间发生过渡时，在第一传感器和第二传感器之间移交与输入对象的过渡相关的信息。
[0007]所述设备还可包括:接近度测量器，用于测量输入对象和参考表面之间的接近度；传感器控制器，用于基于测量出的接近度来选择性地激活第一传感器和第二传感器。
[0008]所述设备还可包括:显示器，用于显示接近运动界面；界面控制器，用于当在第一输入空间中输入第一输入对象时，控制接近运动界面以使由第一输入对象指示的区域的大小基于第一输入对象和参考表面之间的接近度而改变。
[0009]所述设备还可包括:界面控制器，用于当在第二输入空间中输入第二输入对象时，控制接近运动界面以使至少一个预定的图标被沿着由第二输入对象指示的点的周边布置；信号处理器，用于当在第一输入空间中输入第一输入对象时，基于第一传感器的输出信号来提取第一输入对象的轴和端点。在此，当在第一输入空间中输入第一输入对象时，界面控制器可使用第一输入对象的轴和端点来控制接近运动界面，以使所述至少一个预定的图标沿着被第一输入对象遮挡的显示器的区域的周边布置。
[0010]所述设备还可包括:多个输入感测单元，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来确定是否感测到多个输入对象；输入选择器，用于当所述多个输入感测单元确定感测到多个输入对象时，基于预定的模式而选择所述多个输入对象中的至少一个。
[0011]所述设备还可包括:输入图案识别器，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来识别输入图案；功能执行器，用于执行与输入图案相应的功能。
[0012]所述设备还可包括:显示器，用于提供二维(2D)界面和三维(3D)界面；计算器，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的位置、速度和角速度中的至少一个；显示器控制器，用于基于计算结果来控制显示器的操作模式。
[0013]通过提供一种使用传感器识别接近运动的方法来实现前述和/或其它方面，所述方法包括:当距参考表面的距离比预定距离近的第一输入空间中存在输入对象时，使用第一传感器对第一输入空间进行感测，以识别接近运动；当距参考表面的距离比预定距离远的第二输入空间中存在输入对象时，使用第二传感器对第二输入空间进行感测；并且当在第一输入空间和第二输入空间之间发生过渡时，在第一传感器和第二传感器之间移交与输入对象的过渡相关的信息。
[0014]通过提供一种控制用户界面的方法来实现前述和/或其它方面，所述方法包括:在靠近用户界面的第一区域中感测输入；在第一区域外部的第二区域中感测输入；并且基于在第一区域和第二区域内感测到的输入的位置和运动中的至少一个来选择性地按照第一方式和第二方式控制用户界面。
[0015]实施例的另外的方面部分将在下面的描述中被阐述，部分将从所述描述中变得清楚，或者可通过本公开的实践而被获知。
【专利附图】

【附图说明】
[0016]通过以下结合附图的对实施例的描述，这些和/或其它方面将变得清楚并且更容易理解，其中:
[0017]图1示出根据示例实施例的用于使用传感器识别接近运动的设备；
[0018]图2不出根据不例实施例的第一传感器的输出信号和第二传感器的输出信号；
[0019]图3示出根据示例实施例的用于识别接近运动的设备的省电模式；
[0020]图4示出根据示例实施例的由用于识别接近运动的设备提供的接近运动界面；
[0021]图5示出根据示例实施例的用于识别接近运动的设备的操作；
[0022]图6A、图6B和图7示出根据示例实施例的通过用于识别接近运动的设备来自动地布置图标的操作；
[0023]图8A和图SB示出根据示例实施例的用于通过用于识别接近运动的设备来自动地布置图标的操作的信号处理方法；[0024]图9A、图9B、图9C和图10示出根据示例实施例的当感测到多个输入对象时用于识别接近运动的设备的操作；
[0025]图11示出根据示例实施例的可识别输入图案的用于识别接近运动的设备；
[0026]图12A和图12B示出根据示例实施例的通过用于识别接近运动的设备在二维(2D)界面和三维(3D)界面之间进行切换的操作。
【具体实施方式】
[0027]现在将详细参照在附图中示出其示例的实施例，在附图中，相似的标号始终表示相似的元素。以下通过参照附图来对实施例进行描述以解释本公开。
[0028]在下文中，用于识别接近运动的设备可简称为设备。
[0029]图1示出根据示例实施例的用于使用传感器识别接近运动的设备100。
[0030]参照图1，设备100可包括第一传感器110、第二传感器120和信息移交控制器130。
[0031 ] 在此，用于识别接近运动的技术可指示用于将触摸输入方案从二维(2D )方案发展到三维(3D)方案的技术。设备100可指示可从用户接收接近运动的输入并且识别输入的接近运动的设备，并且可以以各种形式实现，例如，诸如固定装置和便携式装置。第一传感器可以是第一类型的传感器，并且第二传感器可以是第二类型的传感器。然而，本公开不局限于此。例如，传感器可以是类型相同但是被配置为感测不同的距离范围内的输入的传感器。
[0032]第一传感器110可对距基准面140的距离比第一预定距离141近的第一输入空间或区域进行感测，以用于识别接近运动。
[0033]虽然未在附图中示出，但是设备100还可包括显示器，并且参考表面140可被布置在显示器上。
[0034]在该实例中，可通过各种方案来实现第一传感器110。例如，可使用安装在显示器的边缘上的红外传感器或超声波传感器来实现第一传感器110，或者可使用图像传感器、深度传感器或触摸传感器面板来实现第一传感器。
[0035]此外，第二传感器120可对距参考表面140的距离比第一预定距离141远且比第二预定距离142近的第二输入空间进行感测。在此，第二预定距离142的值可大于第一预定距离141的值。
[0036]当输入对象150是处于与第一预定距离141对应的位置上的输入时，设备100可基于预定设置使用第一传感器110或第二传感器120感测输入对象150。
[0037]在该实例中，可通过各种方案来实现第二传感器120。例如，可使用安装在显示器的边缘上的红外传感器或超声波传感器来实现第二传感器120，或者可使用图像传感器、深度传感器或触摸传感器面板来实现第二传感器120。
[0038]在此，可分别基于第一传感器110的特性和第二传感器120的特性来预定第一预定距离141和第二预定距离142。
[0039]设备100可使用至少两个不同的传感器来处理在与参考表面140最为接近的空间中感测到的输入和在距参考表面140相对远的空间中感测到的输入。
[0040]因此，设备100可提供可结合不同的传感器的优点(例如，对相对宽的输入空间进行感测的图像传感器的优点和快速且准确地感测输入对象的触摸传感器面板的优点)的技术。
[0041]此外，当与触摸屏输入方案相比较时，设备100可提供用于避免由输入后留下的产生的手印的技术。此外，设备100可提供用于减少针对将要直接触摸的屏幕的提供输入的输入负载的技术，以及用于通过利用3D空间接收各种输入(例如，直观和自然的手势输入，诸如翻页的动作、提起对象的动作等)的技术。
[0042]在下文中，为了便于描述，第一传感器110可与被配置为对距参考表面140的距离小于5厘米(cm)的空间进行感测的电容式触摸传感器相应，并且第二传感器120可与被配置为对距参考表面140的距离大于或等于5cm的空间进行感测的视觉传感器。然而，本公开的范围不局限于此。
[0043]在此，视觉传感器可通过感测针对目标对象的光随着时间的推移的改变(例如,光的时间导数值)来识别目标对象的空间信息。当目标对象移动时，视觉传感器可通过将所述移动与背景进行区分来选择性地感测所述移动。例如，视觉传感器可包括被配置为仅感测每个像素中的光密度的改变的动态视觉传感器(DVS)。
[0044]此外，当在第一输入空间和第二输入空间之间发生输入对象150的过渡时，信息移交控制器130可在第一传感器110和第二传感器120之间移交与过渡有关的信息。
[0045]例如，当输入对象150从距参考表面140远的位置缓慢地接近时，可发生输入对象150从第二输入空间到第一输入空间的过渡。
[0046]在该实例中，当在第二输入空间中输入输入对象150时，设备100可使用第二传感器120感测输入对象150。相反地，当在第一输入空间中输入输入对象150时，设备100可使用第一传感器110感测输入对象150。因此，当发生输入对象150从第二输入空间到第一输入空间的过渡时，设备100可将使用的传感器从第二传感器120切换到第一传感器110。
[0047]在此，信息移交控制器130可将与过渡有关的信息移交到第一传感器110或用于控制传感器的控制器。在此，可基于第二传感器120的输出信号来产生与过渡有关的信息。第一传感器110可基于接收到的与过渡有关的信息来感测在第一输入空间输入的输入对象 150。
[0048]因此，设备100可提供用于在传感器之间进行无缝切换的技术。例如，与过渡相关的信息可包括与由第二传感器120感测到的输入对象150的位置相关的信息。第一传感器110可将包括在与过渡有关的信息中的输入对象150的位置用作初始输入位置。在这样做时，虽然用于感测输入对象150的传感器改变，但是设备100可连续地且无缝地感测输入对象 150。
[0049]与以上提供的相同的描述可被应用于输入对象150从第一输入空间到第二输入空间的过渡的情况，并且因此将为了简明和便于描述而被省略。
[0050]图2不出根据不例实施例的第一传感器的输出信号和第二传感器的输出信号。
[0051]参照图2，第一传感器可输出在第一输入空间230中感测到的输入对象250的x坐标、y坐标和z坐标。第二传感器可输出在第二输入空间240中感测到的输入对象250的x坐标和y坐标。
[0052]在此，X坐标、y坐标和z坐标可基于存在于参考表面220上的原点，分别在x轴方向211、y轴方向212和z轴方向213上指示感测到的输入对象250的位置。例如，原点可与参考表面220的左上边的点相应。
[0053]根据本实施例的用于识别接近运动的设备可使用3D坐标来处理在距参考表面220最近的第一输入空间230中感测到的输入，并且使用2D坐标来处理在距参考表面220相对远的第二输入空间240中感测到的输入。
[0054]在本实例中，当在第一输入空间230和第二输入空间240之间发生过渡时由信息移交控制器移交的与输入对象250的过渡相关的信息可包括在相应的输入空间中感测到的输入对象250的X坐标和y坐标。
[0055]第一传感器或第二传感器可接收被移交的X坐标和I坐标作为输入对象250的初始位置，以便实现传感器之间的无缝切换。
[0056]图3示出根据示例实施例的用于识别接近运动的设备的省电模式。
[0057]参照图3，设备可基于输入对象310和参考表面320之间的接近度来选择性地激活
第一传感器和第二传感器。
[0058]虽然未在附图中示出，但是设备还可包括接近度测量器和传感器控制器。
[0059]接近度测量器可测量输入对象310和参考表面320之间的接近度。在此，接近度表示指示输入对象310和参考表面320之间的接近的程度的测量，并且可包括例如输入对象310和参考表面320之间的最短距尚等。
[0060]在该实例中，可使用与第一传感器和第二传感器不同的第三传感器来实现接近度测量器。例如，可使用红外(IR)传感器来实现接近度测量器，或者可以与第一传感器和第二传感器类型相同。根据不例实施例，可使用第一传感器的输出信号和第二传感器的输出信号来实现接近度测量器。
[0061]传感器控制器可基于测量出的接近度来选择性地激活第一传感器和第二传感器。
[0062]例如，当在第一输入空间330中感测到输入对象310时，传感器控制器可激活第一传感器并停用第二传感器。此外，当在第二输入空间350中感测到输入对象310时，传感器控制器可激活第二传感器并停用第一传感器。
[0063]因此，设备可在停用传感器之中当前不使用的传感器，以便提供用于降低功耗的技术。
[0064]此外，当在第一输入空间330和第二输入空间350之间的过渡空间340中感测到输入对象310时,在第一传感器被激活的情况下,传感器控制器可操作处于待机模式的第
二传感器。
[0065]根据示例实施例，当在过渡空间340中感测到输入对象310时，在第二传感器被激活的情况下，传感器控制器可操作处于待机模式的第一传感器。
[0066]在此，待机模式指示与停用模式不同的操作模式，并且可包括例如传感器可能需要较短时间来激活的低功率操作模式等。
[0067]因此，设备可同时提供用于降低功耗的技术和用于增加感测响应速率的技术。
[0068]传感器控制器可包括:接近度比较器，用于将接近度与预定距离进行比较；操作模式控制器，用于基于比较来控制第一传感器的操作模式和第二传感器的操作模式。
[0069]图4示出根据示例实施例的由用于识别接近运动的设备提供的接近运动界面。
[0070]参照图4，设备还可包括被配置为提供接近运动界面的显示器。在此，参考表面440可被布置在显示器上。[0071]具体地，设备可基于输入对象与参考表面440的接近度来控制接近运动界面以使由输入对象指示的区域的大小改变。
[0072]例如，当在第二输入空间460中输入输入对象410时，设备可使用第二传感器获得输入对象410的X坐标和y坐标。设备可使用获得的X坐标和I坐标来按照预定大小显示由输入对象410指示的区域415。
[0073]此外，当在第一输入空间450中输入输入对象420时,设备可使用第一传感器获得输入对象420的X坐标、y坐标和z坐标。在该实例中，设备可使用获得的X坐标和y坐标来改变由输入对象420指示的区域425的大小。
[0074]在该实例中，设备可基于获得的z坐标来控制区域425的大小的改变。例如，设备可基于获得的z坐标来提取输入对象420和参考表面440之间的接近度，并且控制接近运动界面以使区域425的大小随着输入对象420与参考表面440之间的接近度增加而增加。
[0075]因此，设备可随着输入对象和参考表面之间的距离减小而扩展由输入对象指示的区域，以便提供用于接收更细微的指向(pointing)运动的输入的技术。
[0076]此外，设备可确定输入对象430是否与参考表面440相接触。在该实例中，可在第一输入空间450中输入输入对象430,并且设备可使用第一传感器获得输入对象430的x坐标、I坐标和z坐标。设备可基于输入对象430的z坐标来确定输入对象430是否与参考表面440相接触。
[0077]当确定输入对象430与参考表面440相接触时，设备可控制接近运动界面以使由输入对象430指示的区域435被选择。
[0078]在该实例中，接近运动界面可包括至少一个图标。设备可控制接近运动界面以使由输入对象指示的图标的大小随着输入对象和参考表面之间的接近度的增加而增加。此夕卜，当输入对象与参考表面相接触时，设备可控制接近运动界面以使由输入对象指示的图标被选择。
[0079]此外，设备可执行与所选择的图标相应的功能。例如，当输入对象与参考表面相接触时，在由输入对象指示的图标与呼叫图标相应的情况下，设备可执行呼叫功能。
[0080]根据本实施例，设备可提供用于便于在接近于参考表面的空间中的输入运动的用户界面(UI)技术。
[0081]根据示例实施例，除了被配置为对第一输入空间进行感测的第一传感器和对第二输入空间进行感测的第二传感器之外，设备还可包括被配置为感测被提供在参考表面440上的触摸输入的通常的触摸传感器。在该实例中，当确定输入对象430与参考表面440相接触时，设备可激活触摸传感器。
[0082]图5示出根据示例实施例的用于识别接近运动的设备的操作。
[0083]参照图5，在操作510，设备可初始化第一传感器和第二传感器。在此，设备可基于预定的初始化设置将第一传感器和第二传感器的操作模式初始化为激活模式。
[0084]在操作520，设备可确定在接近距离是否存在输入对象。例如，设备可确定是否在第二距离内感测到输入对象，其中，可由第二传感器来感测第二距离内的输入对象。
[0085]当在操作520确定在接近距离存在输入对象时，在操作530，设备可确定是否在预定的接近距离内存在输入对象。例如，当在第二距离内感测到输入对象时，设备可确定是否在第一距离内感测到输入对象，其中，可由第一传感器来感测第一距离内的输入对象。[0086]在该示例中，当在第二距离和第一距离两者内感测到输入对象时，在操作540，设备可保持第一传感器的激活模式并且将第二传感器的操作模式切换到待机模式。
[0087]在该实例中，可在第一输入空间中感测到输入对象，并且在操作550，设备可控制界面(例如，UI),以使用感测到的输入对象的X坐标和y坐标来执行指向操作，并且使用感测到的输入对象的z坐标来执行放大操作。
[0088]相反地，当在第二距离内感测到输入对象却未在第一距离内感测到输入对象时，在操作560，设备可保持第二传感器的激活模式，并且将第一传感器的操作模式切换到待机模式。
[0089]在该实例中，可在第二输入空间内感测到输入对象，并且设备可控制界面，以使用感测到的输入对象的X坐标和I坐标来执行指向操作。
[0090]与参照图4提供的相同的描述可被应用于操作550和操作570，因此，将为了简明而省略重复的描述。
[0091]此外，在操作580，设备可执行与接收到的输入相应的应用UI。例如，设备可激活所选择的图标，或者可执行在2D界面与3D界面之间进行切换的操作。
[0092]图6A、图6B和图7示出根据示例实施例的通过用于识别接近运动的设备来自动地布置图标的操作。
[0093]参照图6A，设备可控制接近运动界面以使至少一个预定的图标沿着由输入对象指示的点的周边布置。
[0094]具体地，当在第二输入空间中输入输入对象620时，设备可基于第二传感器的输出信号获得由输入对象620指示的点621。在此，第二输入空间可以在距参考表面610大于或等于预定距离622的距离上。在该实例中，设备可提供多个图标623被沿着由输入对象620指示的点621的周边布置的界面。
[0095]此外，当在第一输入空间中输入输入对象630时,设备可基于第一传感器的输出信号提取输入对象630的轴和端点。例如，参照图7，设备可从第二输入对象720的图像730提取轴750和端点740。在此，轴750和端点740可被布置在参考表面710上。
[0096]在该实例中，设备可提供多个图标633被沿着由输入对象630遮挡的显示器的区域的周边布置的界面。例如，参照图7，设备可控制接近运动界面以使多个图标被按照从端点740开始指向与轴750相反的方向的扇区760的形式布置。
[0097]此外，当在第一输入空间中输入输入对象630时，设备可控制接近运动界面以使至少一个预定图标的大小基于输入对象630和参考表面610的接近度632而改变。与参照图4提供的相同的描述可被应用于以上操作，因此将为了简明而省略重复的描述。
[0098]参照图6B，当输入与图6A的输入对象具有镜像对称的输入对象时，可按照相同的方式来操作设备。
[0099]具体地，当在第二输入空间中输入输入对象640时，设备可基于第二传感器的输出信号获得由输入对象640指示的点641。在该实例中，设备可提供多个图标642被沿着由输入对象640指示的点641的周边布置的界面。
[0100]此外，当在第一输入空间中输入输入对象650时,设备可基于第一传感器的输出信号提取输入对象650的轴和端点。在该实例中，设备可提供多个图标651被沿着由输入对象650遮挡的显示器的区域的周边布置的界面。[0101]因此，当输入对象被布置为距参考表面610的距离大于或等于预定距离时，因为显示器可能并不被输入对象所遮挡，因此在不考虑输入对象的轴方向的情况下，设备可沿着由对象指示的点的周边布置多个图标。
[0102]相反地，当输入对象被布置为接近参考表面时，由于显示器被输入对象所遮挡的可能性会高，因此设备可沿着显示器被遮挡(视线沿着输入对象的轴方向)的区域的周边布置多个图标。
[0103]图8A和图SB示出根据示例实施例的用于通过用于识别接近运动的设备来自动地布置图标的操作的信号处理方法。
[0104]参照图8A，在操作811，设备可感测输入对象。在操作812，设备可执行用于提取感测到的输入对象的轴和端点的信号处理。在操作813，设备可基于信号处理的结果来提取输入对象的轴和端点。还将参照图8B来详细描述操作811至操作813。在操作814，设备可基于输入对象和参考表面之间的接近距离、提取出的轴和提取出的端点来布置至少一个预定图标。
[0105]参照图8B，设备可在操作820执行输入对象的图像感测，在操作830执行用于去除不包括输入对象的背景的减除，在操作840执行用于指示输入对象的轮廓的高通滤波，在操作850执行用于界定所述轮廓的放大(amplification),在操作860执行用于去除不包括输入对象的其它部分(outlier)的阈值处理，在操作870执行用于搜索与指尖相应的点的针对区域顶点的搜索，并且在操作880执行结果的输出，以便提取输入对象的轴和端点。
[0106]具体地，设备可通过在操作820执行的图像感测来获得输入图像。例如，设备可获得输入对象的深度图像作为输入图像。设备可通过在操作830执行的减除从输入图像提取对象831。例如，设备可在深度图像中的对象和背景之间进行区分，并且从深度图像提取与对象相应的部分。可使用各种方法来实现在深度图像的对象和背景之间进行区分的方法。例如，设备可使用在对象和背景之间进行区分的阈值深度。设备可将具有小于或等于阈值深度的深度的像素划分为对象，并且将具有大于阈值深度的深度的像素划分为背景。
[0107]设备可通过在操作840执行的高通滤波来获得输入对象的轮廓841。例如，设备可提取至少预定量的其深度与相邻像素的深度不同的像素。通过高通滤波提取的轮廓841可包括拇指和四个手指的轮廓。设备可通过在操作850执行的放大来界定输入对象的轮廓841。例如，设备可放大包括在输入对象的轮廓841内部的像素的值。当输入图像与深度图像相应时，深度图像中的像素的深度可被增大。在下文中，使用相对亮的色彩表示的像素的深度可小于使用相对暗的色彩表示的像素的深度。例如，使用相对亮的色彩表示的包括在区域851中的像素的深度可小于使用相对暗的色彩表示的包括在区域852中的像素的深度。
[0108]设备可通过在操作860中执行的阈值处理来去除不包括输入对象的其它部分。例如，设备可从所提供的深度图像的像素之中去除具有大于阈值深度的深度的像素。设备可通过在操作870执行的针对区域顶点的搜索来识别与指尖相应的点。设备可针对拇指和四个手指中的每一个产生围绕着手指的矩形模型871。矩形模型871可具有高度h和宽度W。
[0109]设备可在矩形模型871的一端区域中搜索具有最小的顶点(例如，最小的深度)的像素。设备可在位于矩形模型871的一端并且四边的长度都是h的矩形区域872中搜索具有最小的深度的像素873。被找到的像素873可与输入对象的端点相应。此外，基于端点在矩形模型871的宽度方向延伸的线段可与输入对象的轴相应。设备可通过在操作880执行的结果输出来输出输入对象的至少一对端点和轴。例如，设备可针对拇指和四个手指中的每一个来输出一对端点和轴。
[0110]图9A至图10示出根据示例实施例的当感测到多个输入对象时用于识别接近运动的设备的操作。
[0111]虽然未在附图中示出，但是设备还可包括多个输入感测单元和输入选择器。
[0112]多个感测单元可基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来确定是否感测到多个输入对象。
[0113]此外，当多个输入感测单元确定感测到多个输入对象时，输入选择器可基于预定的模式而选择多个输入对象中的至少一个。
[0114]例如，参照图9A，设备可在接收到多个输入的模式下操作。在该实例中，设备可处理由第一输入对象920和第二输入对象930提供的多个输入。
[0115]具体地，设备可沿着由距参考表面910的距离大于或等于预定距离的第一输入对象920指示的点921的周边布置第一图标922。同时，设备可沿着被第二输入对象930遮挡的区域的周边布置第二图标932，而不是沿着由接近于参考表面910的第二输入对象930指示的点931的周边布置第二图标932。
[0116]参照图9B，根据示例实施例，设备可在与参考表面最为接近的输入对象被选择的模式下操作。在该实例中，设备可不沿着由距参考表面910的距离相对远的第一输入对象940指示的点941的周边布置图标。设备可选择与参考表面910最为接近的第二输入对象950，并且沿着被第二输入对象950遮挡的区域的周边布置预定的图标952。
[0117]视情况而定，与参考表面910最为接近的第二输入对象950距参考表面910的距离可大于或等于预定距离。在该实例中，设备可沿着由第二输入对象950指示的点951的周边布置预定图标952。
[0118]参照图9C，根据示例实施例，设备可在当由输入对象指示的位置与参考表面上的预定位置最为接近时输入对象被选择的模式下操作。
[0119]例如，设备可选择指示与参考表面910的中心980最为接近的位置的输入对象。第一输入对象960可指示距参考表面910的中心980距离962的位置961，并且第二输入对象970可指示距参考表面910的中心980的距离972的位置971。在该实例中，设备可选择指示与参考表面910的中心980更为接近的位置971的第二输入对象970。
[0120]设备可基于所选择的第二输入对象970和参考表面910之间的接近度来布置至少一个确定的图标973。
[0121]参照图10，在操作1010，设备可感测多个输入对象。在操作1020，设备可基于预定的模式而选择至少一个输入对象。在操作1030，设备可执行用于提取所选择的输入对象的轴和端点的信号处理。在操作1040，设备可基于信号处理的结果来提取所选择的输入对象的轴和端点。在操作1050，设备可基于例如所提取出的轴、所提取出的端点、所选择的输入对象和参考表面之间的距离和所选择的输入对象和参考表面上的预定位置之间的距离中的至少一个来布置至少一个预定图标。
[0122]与参照图1至图9C提供的相同的描述可被应用于图10的模块，并且因此将为了简明而省略重复的描述。[0123]图11示出根据示例实施例的可识别输入图案的用于识别接近运动的设备1100。
[0124]参照图11，设备1100可包括传感器1110、输入图案识别器1120、功能执行器1130和显示器1140。
[0125]传感器1110可包括第一传感器和第二传感器。输入图案识别器1120可基于第一传感器和输出信号和第二传感器的输出信号中的至少一个来识别输入图案。
[0126]在此，输入图案识别器1120可追踪输入对象的运动，从而感测例如接近运动点的数量、接近运动的方向中的至少一个的改变和接近坐标的改变。
[0127]功能执行器1130可执行与由输入图案识别器1120识别出的输入图案相应的功能。在此，功能执行器1130可基于当前正执行的应用的类型来不同地确定与输入图案相应的功能。例如，虽然输入相同的输入图案，但是设备可基于当前正执行的应用的类型来执行不同的功能。
[0128]输入图案识别器1120可基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的速度和角速度中的至少一个。
[0129]例如，输入图案识别器1120可基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来追踪输入对象的位置的改变。在该实例中，输入图案识别器1120可使用输入对象的位置的改变的值来计算输入对象的速度或角速度。
[0130]此外，功能执行器1130可基于由输入图案识别器1120计算出的输入对象的速度和角速度来检测与输入图案相应的功能。
[0131]例如，功能执行器1130可利用由输入图案识别器1120计算出的输入对象的速度或角速度作为各个UI所需的信息，例如，诸如洗牌的速度和轮盘的转速。
[0132]此外，设备1100可使用显示器1140输出功能执行器1130的执行结果。
[0133]图12A和图12B示出根据示例实施例的通过用于识别接近运动的设备在2D界面和3D界面之间进行切换的操作。
[0134]虽然未在附图中示出，但是设备还可包括显示器、计算器和显示控制器。
[0135]显示器可提供2D界面和3D界面。计算器可基于第一传感器的输出信号和第二传感器的输出信号来计算输入对象的位置、速度和角速度之中的至少一个。显示控制器可基于计算来控制显示器的操作模式。
[0136]例如，参照图12A，设备可感测在距参考表面1210预定距离的空间中输入的输入对象。当在相应的空间中感测到的输入对象离开时，设备可使用2D界面显示多个图标1220。
[0137]当在相应的空间中感测到输入对象1240时，设备可从2D界面切换到3D界面。在该实例中，设备可使用3D界面显示多个图标1230。
[0138]参照图12B，根据示例实施例，当在距参考表面1250预定距离的空间中感测到输入对象时,设备可使用3D界面显示多个图标1260。
[0139]当在相应的空间中感测到输入对象1280时，设备可从3D界面切换到2D界面。在该实例中，设备可使用2D界面显示多个图标1270。
[0140]根据上述示例实施例的方法可被记录在非暂时性计算机可读介质中，其中，所述非暂时性计算机可读介质包括用于执行由计算机实施的各种操作的程序指令。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。被记录在所述介质上的程序指令可以是针对实施例的目的而专门设计并构建的那些程序指令，或者它们可以是计算机软件领域的技术人员众所周知和可用的种类的程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读介质还可以是分布式网络，以便按照分布式方式来存储和执行程序指令。程序指令可由一个或更多个处理器执行。计算机可读介质还可被实施为执行(像处理器那样处理)程序指令的专用集成电路(ASIC)或现场可编程门阵列(FPGA)中的至少一个。程序指令的示例包括(诸如由编译器产生的)机器代码和包含可由计算机使用编译器执行的更高级代码的文件两者。所述硬件装置可被配置为充当一个或更多个软件模块，以便执行上述实施例的操作，或者反之亦然。
[0141]虽然已经示出并描述了实施例，但是本领域技术人员将清楚的是，在不脱离本公开的原理和精神的情况下，可在这些实施例中做出改变，本公开的范围由权利要求及其等同物限定。
【权利要求】
1.一种用于使用传感器识别接近运动的设备，所述设备包括: 第一传感器，用于对距参考表面的距离比预定距离近的第一输入区域进行感测，以识别接近运动； 第二传感器，用于对距参考表面的距离比预定距离远的第二输入区域进行感测； 信息移交控制器，用于当在第一输入区域和第二输入区域之间发生过渡时，在第一传感器和第二传感器之间移交与输入对象的过渡相关的信息。
2.如权利要求1所述的设备，还包括: 接近度测量器，用于测量输入对象和参考表面之间的接近度； 传感器控制器，用于基于测量出的接近度来选择性地激活第一传感器和第二传感器。
3.如权利要求2所述的设备，其中，传感器控制器包括: 接近度比较器，用于将接近度与预定距离进行比较； 操作模式控制器，用于基于比较来控制第一传感器的操作模式和第二传感器的操作模式， 其中，操作模式包括激活模式、停用模式和待机模式中的至少一个。
4.如权利要求1所述的设备，其中，与过渡相关的信息包括在第一输入区域和第二输入区域中的至少一个中感测到的输入对象的X坐标和I坐标。
5.如权利要求1所述的设备，其中: 第一传感器输出在第一输入区域中感测到的输入对象的X坐标、y坐标和z坐标， 第二传感器输出在第二输入区域中感测到的输入对象的X坐标和I坐标。
6.如权利要求1所述的设备，其中: 第一传感器包括触摸传感器， 第二传感器包括视觉传感器。
7.如权利要求1所述的设备，还包括: 显示器，用于显示接近运动界面； 界面控制器，用于当在第一输入区域中输入第一输入对象时，控制接近运动界面以使由第一输入对象指示的区域的大小基于第一输入对象和参考表面之间的接近度而改变。
8.如权利要求7所述的设备，其中: 接近运动界面包括至少一个图标， 界面控制器控制接近运动界面以使由第一输入对象指示的图标的大小随着第一输入对象和参考表面之间的接近度的增加而增加，并且当第一输入对象与参考表面相接触时，控制接近运动界面以使由第一输入对象指示的图标被选择。
9.如权利要求1所述的设备，还包括: 显示器，用于显示接近运动界面； 界面控制器，用于当在第二输入区域中输入第二输入对象时，控制接近运动界面以使至少一个预定的图标沿着由第二输入对象指示的点的周边布置。
10.如权利要求9所述的设备，还包括: 信号处理器，用于当在第一输入区域中输入第一输入对象时，基于第一传感器的输出信号来提取第一输入对象的轴和端点， 其中，当在第一输入区域中输入第一输入对象时，界面控制器使用第一输入对象的轴和端点来控制接近运动界面，以使所述至少一个预定的图标沿着被第一输入对象遮挡的显示器的区域的周边布置。
11.如权利要求10所述的设备，其中，界面控制器控制接近运动界面以使所述至少一个预定图标的大小基于第一输入对象和参考表面之间的接近度而改变。
12.如权利要求1所述的设备，还包括: 多个输入感测单元，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来确定是否感测到多个输入对象； 输入选择器，用于当所述多个输入感测单元确定感测到多个输入对象时，基于预定的模式而选择所述多个输入对象中的至少一个。
13.如权利要求12所述的设备，其中，预定的模式包括:接收到多个输入的模式、与参考表面最为接近的输入对象被选择的模式以及当由输入对象指示的位置与参考表面上的预定位置最为接近时输入对象被选择的模式。
14.如权利要求12所述的设备，还包括: 显示器，用于显示接近运动界面； 信号处理器，用于当在第一输入区域中感测到至少一个输入对象时，基于第一传感器的输出信号来提取所述至少一个输入对象的轴和端点； 界面控制器，用于当在第二输入区域中感测到至少一个输入对象时，控制接近运动界面以使至少一个预定的图标沿着由所述至少一个输入对象指示的点的周边布置，并且用于当在第一输入区域中感测到至少一个输入对象时，使用所述至少一个输入对象的轴和端点来控制接近运动界面，以使所述至少一个预定的图标沿着被所述至少一个输入对象遮挡的显示器的区域的周边布置。
15.如权利要求12所述的设备，其中，界面控制器控制接近运动界面以使至少一个预定坐标的大小基于至少一个输入对象和参考表面之间的接近度而改变。
16.如权利要求1所述的设备，还包括: 输入图案识别器，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来识别输入图案； 功能执行器，用于执行与输入图案相应的功能。
17.如权利要求16所述的设备，其中: 输入图案识别器包括: 计算器，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的速度和角速度中的至少一个， 功能执行器包括: 检测器，用于基于计算结果来检测与输入图案相应的功能。
18.如权利要求1所述的设备，还包括: 显示器，用于提供二维2D界面和三维3D界面； 计算器，用于基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的位置、速度和角速度中的至少一个； 显示器控制器，用于基于计算结果来控制显示器的操作模式。
19.一种使用传感器识别接近运动的方法，所述方法包括:当距参考表面的距离比预定距离近的第一输入区域中存在输入对象时，使用第一传感器对第一输入区域进行感测，以识别接近运动； 当距参考表面的距离比预定距离远的第二输入区域中存在输入对象时，使用第二传感器对第二输入区域进行感测； 当在第一输入区域和第二输入区域之间发生过渡时，在第一传感器和第二传感器之间移交与输入对象的过渡相关的信息。
20.如权利要求19所述的方法，还包括: 测量输入对象和参考表面之间的接近度； 基于测量出的接近度来选择性地激活第一传感器和第二传感器。
21.如权利要求19所述的方法，其中，与过渡相关的信息包括在第一输入区域和第二输入区域中的至少一个中感测到的输入对象的X坐标和I坐标。
22.如权利要求19所述的方法，其中: 第一传感器输出在第一输入区域中感测到的输入对象的X坐标、y坐标和z坐标， 第二传感器输出在第二输入区域中感测到的输入对象的X坐标和I坐标。
23.如权利要求19所述的方法，其中: 第一传感器包括触摸传 感器， 第二传感器包括视觉传感器。
24.如权利要求19所述的方法，还包括: 当在第一输入区域中输入第一输入对象时，控制接近运动界面以使由第一输入对象指示的区域的大小基于第一输入对象和参考表面之间的接近度而改变； 显示接近运动界面。
25.如权利要求24所述的方法，其中: 接近运动界面包括至少一个图标， 控制步骤包括: 控制接近运动界面以使由第一输入对象指示的图标的大小随着第一输入对象和参考表面之间的接近度的增加而增加； 当第一输入对象与参考表面相接触时，控制接近运动界面以使由第一输入对象指示的图标被选择。
26.如权利要求19所述的方法，还包括: 当在第二输入区域中输入第二输入对象时，控制接近运动界面以使至少一个预定的图标沿着由第二输入对象指示的点的周边布置； 显示接近运动界面。
27.如权利要求26所述的方法，还包括: 当在第一输入区域中输入第一输入对象时，基于第一传感器的输出信号来提取第一输入对象的轴和端点， 其中，控制步骤包括:当在第一输入区域中输入第一输入对象时，使用第一输入对象的轴和端点来控制接近运动界面，以使所述至少一个预定的图标沿着被第一输入对象遮挡的显示器的区域的周边布置。
28.如权利要求19所述的方法，还包括:基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来确定是否感测到多个输入对象； 当所述多个输入感测单元确定感测到多个输入对象时，基于预定的模式而选择所述多个输入对象中的至少一个。
29.如权利要求28所述的方法，其中，预定的模式包括:接收到多个输入的模式、与参考表面最为接近的输入对象被选择的模式以及当由输入对象指示的位置与参考表面上的预定位置最为接近时输入对象被选择的模式。
30.如权利要求19所述的方法，还包括: 基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的速度和角速度中的至少一个， 基于计算来执行与输入图案相应的功能。
31.如权利要求19所述的方法，还包括: 基于第一传感器的输出信号和第二传感器的输出信号中的至少一个来计算输入对象的位置、速度和角速度中的至少一个； 基于计算来使显示器的操作模式在二维2D界面和三维3D界面之间进行切换。
32.—种控制用户界面的方法，所述方法包括: 在靠近用户界面的第一区域中感测输入； 在第一区域外部的第二区域中感测输入； 基于在第一区域和第二区域内感测到的输入的位置和运动中的至少一个来选择性地按照第一方式和第二方式控制用户界面。
【文档编号】G06F3/01GK104007814SQ201410056423
【公开日】2014年8月27日 申请日期:2014年2月19日 优先权日:2013年2月22日
【发明者】韩承周, 朴浚我, 柳贤锡, 朴斗植, 李起明 申请人:三星电子株式会社