通过指向手势识别激活设备间交互的制作方法

通过指向手势识别激活设备间交互
1.相关申请交叉引用
2.这是针对本发明提交的第一份申请。
技术领域
3.本发明涉及与电子设备远程交互，尤其涉及用于识别用户的手势，以及应用这些手势与电子设备远程交互的方法和装置。


背景技术：

4.随着更多的智能设备进入消费者市场，越来越多消费者要求可以远程控制这些智能设备。
5.随着手持电子设备(蜂窝电话)越来越受欢迎和强大，对使用消费者的手持电子设备远程控制智能设备的需求越来越多。然而，目前旨在满足这一需求的产品通常不会选择用户想要控制的智能设备。因此，需要通过选择用户每次都希望远程控制的智能设备来改善用户体验的产品。
6.提供该背景信息是为了揭示申请人认为可能与本发明相关的信息。任何前述信息不允许或不应解释为构成与本发明相冲突的现有技术。


技术实现要素：

7.本发明的实施例提供了一种用于实现指向手势识别系统(pointing gesture recognition system，pgrs)的系统。实施例还提供了实现架构的方法，以提供pgrs，该pgrs使用户能够通过识别用户的手势远程控制一个或多个第二设备。
8.根据本发明的实施例，提供了一种手持电子设备与第二设备远程交互的方法。所述方法包括根据所述手持电子设备的一个或多个运动传感器生成的信号，感测所述手持设备的运动。所述方法还包括识别所述感测到的运动是基于运动的手势，所述基于运动的手势包括移动所述手持电子设备。所述方法还包括根据所述信号和其它信号中的一个或两个，识别所述第二设备。所述其它信号来自：所述一个或多个运动传感器；所述手持设备的一个或多个其它组件；或其组合。设备方向(可以根据运动传感器信号、其它信号或两者确定)和这些其它信号表示所述手持电子设备指向基于运动的手势的末端的方向。在满足预定条件并识别出所述第二设备之后，所述方法将启动用于与所述第二设备远程交互的用户交互，其中，当识别出的基于运动的手势是用于与所述第二设备交互的预定基于运动的手势时，至少部分满足所述预定条件。
9.这些实施例的技术优点是，只有在执行预定基于运动的手势后，才启动用户交互。这样禁止手持电子设备错误地识别用户希望与第二设备交互，例如，将对用户体验产生负面影响，并不必要地消耗电池或处理资源。此外，基于运动的手势与第二设备的识别结合在一起，因为第二设备是基于指向来识别的，该指向可以与基于运动的手势集成。这种组合可以把识别基于运动的手势和第二设备识别集成在一起。
10.在一些实施例中，所述预定条件还包括识别来自所述用户的确认输入。这些实施例的技术优点是，只有在执行预定基于运动的手势和确认输入后，才启动用户交互。这样进一步禁止手持电子设备感觉与预定基于运动的手势相对应的运动的虚假识别错误地识别用户希望与第二设备交互。
11.在其它实施例中，识别所述确认输入包括使用所述一个或多个运动传感器识别所述手持电子设备在所述预定基于运动的手势之后保持在位，而在预定时间内不进一步运动。本实施例的技术优点是，通过指向设备自动执行确认输入，而无需与手持设备进行进一步的用户交互，这提高了用户体验。
12.在一些其它实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括识别所述一个或多个运动传感器生成的信号，所述信号表示所述手持电子设备以向上的弧线运动从第一位置移动到第二位置。所述第一位置对应于所述手持电子设备靠近所述用户的臀部并指向下方，所述第二位置对应于所述手持电子设备保持在直臂的端部并指向所述第二设备。
13.在其它实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括识别所述一个或多个运动传感器生成的信号，所述信号表示所述手持电子设备以线性运动从第一位置移动到第二位置。在这些实施例中，所述第一位置对应于所述手持电子设备被所述用户以曲臂保持在所述用户的身体前面，所述第二位置对应于所述手持电子设备保持在直臂的端部并指向所述第二设备。
14.在一些实施例中，在确定所述手持设备的感测到的运动已经停止之后，识别所述第二设备。本实施例的技术优点是，可以更可靠地识别所述第二设备，并且禁止在基于运动的手势期间无意中指向的其它设备识别为所述第二设备。
15.在一些实施例中，所述一个或多个运动传感器包括以下中的一个或多个：加速度计、磁力计、接近传感器、陀螺仪、环境光传感器、摄像头、麦克风、射频接收器、近场通信设备、温度传感器。这些实施例的技术优点是，基于运动的手势可以由直接响应运动的传感器、直接响应与运动或位置间接相关的参数(例如身体接近度、射频信号、声音或温度)的传感器，或其组合进行识别。提供了各种输入，可以处理这些输入以获得基于运动或位置的信息。
16.在一些实施例中，所述手持设备的所述一个或多个其它组件用于：至少部分根据所述一个或多个其它电子设备中的每个电子设备发射的信号的到达角测量，检测所述一个或多个其它电子设备的位置。本实施例的技术优点是，可以使用射频信号等信号来定位所述第二设备。因此，例如，可以利用天线阵列系统来执行物理定位。
17.在一些实施例中，在满足预定条件并识别所述第二设备之后，表示所述第二设备的图标显示在所述手持电子设备上。根据以下之一或两者改变所述图标在所述显示器上的位置：所述手持电子设备的指向方向与所述第二设备相对于所述手持电子设备的方向之间的角度，以及所述手持设备指向所述第二设备的可能性的测量。本实施例的技术优点是，提供了用户动作和设备响应之间的视觉相关性，该相关性可以用于用户涉及的反馈环路，以促进第二设备选择过程。
18.根据其它实施例，提供了一种手持电子设备，用于执行与上述方法相称的操作。所述设备可以包括：一个或多个运动传感器，所述运动传感器用于生成表示所述手持设备运
动的信号；处理电子元件，所述处理电子元件用于实现这些操作。
19.上面结合本发明的方面描述了实施例，这些实施例可以在其上实现。本领域技术人员将理解，实施例可以结合描述它们的方面来实现，但也可以与该方面的其它实施例一起实现。当实施例相互排斥或彼此不兼容时，本领域技术人员将是显而易见的。一些实施例可以结合一个方面进行描述，但也可以适用于其它方面，这对本领域技术人员来说是显而易见的。
附图说明
20.进一步地，通过阅读以下结合附图所作的详细描述将容易了解本发明的特征和优势，其中：
21.图1示出了本发明实施例提供的方法；
22.图2示出了本发明实施例提供的选择几个电子设备中的一个；
23.图3a示出了本发明实施例提供的来自可选择第二电子设备的信号的到达角；
24.图3b示出了本发明实施例提供的指向方向；
25.图4示出了本发明实施例提供的示例性到达角测量操作；
26.图5示出了本发明实施例提供的用户可以用于与电子设备远程交互的可能手势。
27.图6示出了本发明实施例提供的基于规则的指向手势识别操作。
28.图7示出了本发明实施例提供的基于学习的指向手势识别操作；
29.图8示出了本发明实施例提供的基于学习的相似性指向手势识别操作；
30.图9示出了本发明实施例提供的手持设备中可以包括的传感器；
31.图10示出了本发明实施例提供的手持电子设备。
32.需要注意的是，在所有附图中，相同的特征由相同的元件符号标识。
具体实施方式
33.本发明的实施例涉及提供用于指向手势识别(pointing gesture recognition，pgr)的方法、手持电子设备和系统。手持电子设备用于与第二电子设备远程交互。手持电子设备的非限制性示例可以包括智能手机、手持遥控器、智能戒指、智能手环和智能手表。第二电子设备的非限制性示例可以包括智能电视、平板电脑、智能眼镜、智能手表、智能手机、个人计算机、智能led、机器人吸尘器等机器人、扬声器和其它家用电器。
34.根据本发明的实施例，手持电子设备的用户持有手持电子设备(或将手持电子设备佩戴在手腕上或手指上)可以通过以一个或多个预定义的基于运动的手势移动手持电子设备来与第二电子设备远程交互。这些预定义的基于运动的手势可以包括用户将持有手持电子设备的手从靠近他们胸部的位置或低于他们腰部的位置举到手持电子设备指向用户想要控制的第二电子设备的位置。当用户移动手持电子设备时，手持电子设备可以根据从手持设备的一个或多个运动传感器接收的信号来感测手持电子设备的运动。手持电子设备还可以根据感测到的运动识别基于运动的手势，并在识别出的基于运动的手势对应于预定义基于运动的手势时生成预定条件。手持电子设备还可以在满足预定条件后根据来自手持电子设备的射频传感器的信号识别第二电子设备。手持电子设备还可以包括使用本文描述的方法处理这些预定条件的处理器，以便用户可以使用手持电子设备控制第二电子设备。
手持电子设备的用户识别预定义基于运动的手势的性能，触发手持电子设备启动与第二电子设备的交互，以使用户能够使用手持电子设备控制第二电子设备。
35.交互涉及手持电子设备和第二设备之间的无线通信。交互可以包括手持电子设备传输包括第二设备响应的命令或查询的消息。命令可以使得第二设备执行它适合的操作，例如更改音量级别或光线级别、执行硬件或软件操作等。查询可以使得第二设备将响应发回手持电子设备，例如包括由第二设备持有并在查询中请求的信息的响应。交互可以在用户输入或不输入的情况下执行。
36.图1在一个实施例中示出了手持电子设备用于与第二设备远程交互的方法100。方法100以及本文描述的其它方法可以由手持电子设备210的指向手势识别系统(pointing gesture recognition system，pgrs)200的例程和子例程执行。pgrs 200可以包括软件(例如，计算机程序)，其包括可由手持电子设备210的处理器910(见图9)执行的机器可读指令。pgrs可以另外或替代地包括专用电子元件，在一些实施例中可以包括硬件相关固件。考虑到本发明，pgrs 200的编码完全在本领域普通技术人员的范围内。方法100可以包括比所示和所描述的操作更多或更少的操作，并且可以按不同的顺序执行。由手持电子设备210的处理器910执行的pgrs 200的计算机可读指令可以存储在非瞬时性计算机可读介质中。
37.方法100从操作110开始。在操作110中，所述方法包括根据所述手持电子设备110的一个或多个运动传感器生成的信号，感测所述手持设备的运动。方法100然后进入操作120。
38.在操作120中，方法100识别感测到的运动是根据在手持电子设备120的运动期间从手持电子设备110的一个或多个运动传感器接收的信号的基于运动的手势。方法100然后进入操作130。
39.在操作130中，方法110根据其它信号识别第二设备，所述其它信号来自：所述一个或多个运动传感器；所述手持设备的一个或多个其它组件；或其组合。这些其它信号表示手持电子设备指向基于运动的手势的末端的方向。因此，基于运动的手势充当启动与第二电子设备交互的触发器，并且还提供了用户可以指向第二设备的手段，从而可以识别第二设备，并且可以启动用于与第二设备交互的适当应用程序。操作130可以使用图4所示的到达角测量来执行。方法100然后进入操作140。
40.在操作140中，方法110在满足预定条件并识别出所述第二设备之后，启动用于与所述第二设备远程交互的用户交互，其中，当识别出的基于运动的手势是用于与所述第二设备140交互的预定基于运动的手势时，至少部分满足所述预定条件。
41.虽然在方法100中，操作110、120、130和140是依次执行的，但识别第二设备的操作可以部分或全部与识别基于运动的手势并确定满足预定条件的操作并行地执行。以所示顺序执行操作允许尤其在基于运动的手势的结束处识别设备，可以允许用户使用相同的手势来识别第二设备并指示需要与第二设备进行交互。
42.图2示出了本发明实施例提供的手持电子设备210和几个可能的第二设备的示例以及它们所扮演的角色。如图5所示，手持设备210的用户可以控制多个第二设备(例如，通过选择一次一个)，包括智能电视220、平板电脑230、智能眼镜240、智能手表250和个人计算机260。手持设备210和第二设备是操作环境205的一部分。如图2所示，手持设备200的用户可以通过执行预定义的基于运动的手势来控制智能电视220，该手势以用户将手持电子设
备210指向智能电视220结束。将手持电子设备210指向智能电视220可使得手持设备210的pgrs 200向智能电视220投射(真实、虚拟或概念)射线270，并且pgrs 200将智能电视220识别为第二设备。射线270是射线跟踪领域的技术人员已知的指向方向。
43.图3a示出了当由手持电子设备210投射的射线270不终止于智能电视220时识别智能电视220的手持电子设备210的示例。在一些实施例中，手持设备210的pgrs 200根据设备到设备的到达角测量执行基于指向的选择。使用基于指向的选择的到达角测量，手持设备210的pgrs 200能够识别手持电子设备210不直接指向的第二设备。如图3a所示，手持设备210的pgrs 200根据使用设备到设备到达角320的基于指向的选择来识别智能电视220。到达角320是射线270和第二射线310之间的角度。射线270沿着手持电子设备210的长轴投影，并从手持电子设备210的中心延伸。射线310从手持电子设备210的中心投射到第二设备的中心。手持设备210包括射频(radio frequency，rf)传感器920(见图9)，该射频传感器包括rf发射器、rf接收器和一个或多个rf天线。类似地，第二电子设备包括rf传感器，该rf传感器包括rf发射器、rf接收器和一个或多个rf天线。第二电子设备的rf传感器920和rf传感器可以是根据几个已知技术标准之一的任何rf传感器，包括ieee802.11(本领域技术人员已知为)、低能耗(本领域技术人员已知为ble)，超宽带(本领域技术人员已知为uwb)，和超声波指定所需的到达角值。在本发明的一些实施例中，到达角320符合uwb、ble和超声波要求。
44.设备到设备的到达角320可以使用几种方法测量。一种方法包括测量入射到rf传感器天线上的射频波的传播方向。第二种方法是测量入射到rf传感器的多个天线阵列元件上的射频波的相位。在第二种方法中，可以通过计算入射射频波的测量相位之间的差来确定到达角。
45.在一些实施例中，为了便于到达角测量，手持电子设备可以向第二设备发送请求，以发送适当的rf信号。然后，可以例如使用手持电子设备的天线阵列接收rf信号，并由手持电子设备处理以确定到达角320。此外或可替换地，手持电子设备可以向第二设备发送rf信号以及对到达角测量的请求。然后，第二设备可以例如使用第二设备的天线阵列从手持电子设备接收rf信号，并处理rf信号以从第二设备的角度确定手持电子设备的到达角。结果可以传输回手持电子设备，并由此使用。
46.在一些实施例中，uwb、wifi、ble和超声波技术标准要求第二射线310投射到第二设备的中心。然而，如果第二设备很大，则用于测量到达角的第二设备330的检测器可以距离第二设备的中心有很大的距离。这个很大的距离可以使并且实际上将第二光线310移动到光线340。射线340具有关联的角度350。角度350将偏移与到达角320相加。射线340和偏移角350的结果是pgrs 200能够检测未投射到第二设备中心的指向方向。
47.图3b分别示出了平板电脑365、智能手表375、智能手环385、手持电子设备210和智能眼镜395的指向方向的示例，在此也称为设备方向。为了说明的目的，每个设备的方向由沿着其各自设备的长轴投影的射线360、370、380、387和390定义。在每种情况下，光线从设备的中心延伸或穿过设备的中心。然而，在其它实施例中，射线可以不同地定向。为了本讨论的目的，指向方向或设备方向可以等效于射线的方向。根据各种实施例，可以根据手持电子设备的设备方向(指向方向)来选择第二电子设备。此方向可以根据来自设备组件的信号确定。例如，如上所述的到达角测量可用于确定设备方向(指向方向)。在一些实施例中，陀
螺仪和磁力计等组件可用于确定绝对装置方向(指向方向)。加速度计和测距处理也可用于确定或支持确定设备方向(指向方向)。
48.图4示出了由手持电子设备执行的用于识别第二电子设备的操作的示例性流程图。图4的操作可以是由手持设备210执行的方法100的操作130的子操作。方法400根据到达角使用基于指向的选择来识别第二设备，其中，手持电子设备210向所有第二设备410发送到达角测量请求。第二设备使用射线270和第二射线310(或在一些实施例中为第二射线340)确定这些第二设备的到达角。然后，手持电子设备从所有第二设备420接收每个到达角响应。需要注意的是，在这里和其它地方，处理操作可能会卸载到云计算设备等其它设备，这些设备及时将结果返回到手持电子设备以供使用。在手持电子设备210可以与多个第二设备通信的情况下，手持电子设备使用从所有第二设备接收的到达角来识别450哪个第二设备可以与手持电子设备210通信。该识别450可以通过两个动作，即430和440来完成。第一动作430是从每个第二设备接收的到达角的比较。最大到达角是预定义的参数，该参数可以根据设备不同而不同。到达角度也可以根据所使用的无线技术确定，例如，由支持的技术标准指定，该标准可以包括wifi、ble、uwb和超声波标准。最大到达角可以表示指向误差容限。第二动作440是确定哪个第二设备具有最小的到达角。
49.在一些实施例中，所述预定条件还包括识别来自所述用户的确认输入。为了提高pgrs200的性能，使得pgrs 200选择用户打算选择的第二设备，一旦pgrs 200识别了第二设备，手持电子设备210可以振动以向用户提供反馈。这种振动可以提示用户按下手持电子设备210的键或按钮，以确认所识别出的第二设备是用户打算选择的第二设备。
50.在一些实施例中，识别确认输入包括识别移动手持电子设备210的第二预定基于运动的手势。在预定基于运动的手势已经被手持设备210识别之后，根据手持电子设备的感测运动来识别第二预定基于运动的手势。
51.在一些实施例中，识别确认输入包括根据从一个或多个运动传感器接收的信号识别手持电子设备旋转就位。作为非限制性示例，当手持电子设备210提示确认选择了正确的第二设备时，用户可以扭转他们持有手持电子设备210的手的手腕。
52.在一些实施例中，识别所述确认输入包括：根据从所述一个或多个运动传感器接收的信号，识别所述手持电子设备在所述预定基于运动的手势之后保持在位，而在预定时间内不进一步运动。该确认的非限制性示例是将手持电子设备210指向用户希望控制一秒钟的第二设备。应当理解，保持电子设备210作为确认是本领域技术人员已知的“悬停”。
53.在一些实施例中，识别所述确认输入包括检测信号存在，所述信号表示按下所述手持电子设备的物理按钮或显示在所述手持电子设备的触摸屏上的虚拟按钮。该确认的非限制性示例是按下手持电子设备210的电源按钮。该确认的另一个非限制性示例是按下手持电子设备210的键盘的软键。
54.在一些实施例中，所述方法还包括，在识别所述基于运动的手势为预定基于运动的手势之后，在识别出所述第二设备之后且在检测到所述确认输入之前，提示用户提供所述确认输入以确认与所述第二设备交互的意图。
55.在一些实施例中，所述预定条件还包括检测信号存在，所述信号表示按下所述手持电子设备的物理按钮或显示在所述手持电子设备的触摸屏上的虚拟按钮。
56.在一些实施例中，所述预定条件包括检测所述信号的存在，所述信号表示在所述
基于运动的手势开始时按下所述物理按钮或所述虚拟按钮。
57.在一些实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括识别所述一个或多个运动传感器生成的信号，所述信号表示所述手持电子设备210以向上的弧线运动从第一位置移动到第二位置。所述第一位置对应于所述手持电子设备靠近所述用户的臀部并指向下方，所述第二位置对应于所述手持电子设备210保持在直臂的端部并指向所述第二设备。
58.在一些实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括识别所述一个或多个运动传感器生成的信号，所述信号表示所述手持电子设备以线性运动从第一位置移动到第二位置。所述第一位置对应于所述手持电子设备被所述用户以曲臂保持在所述用户的身体前面，所述第二位置对应于所述手持电子设备保持在直臂的端部并指向所述第二设备。
59.图5示出了用户510持有手持电子设备210并根据用户可用以与第二设备远程交互的三个特定的基于运动的手势移动所述设备。这三个基于运动的手势包括在可由手持设备210的pgrs 200识别的预定基于运动的手势中。还应理解，由手持设备210的一个或多个运动传感器生成的信号可以由手持设备210的pgrs 200处理，并且可以使用可以包括人体模型和机器学习模型的模型进行分析。
60.使用人体模型的分析可以由pgrs 200执行，如下所示。这些信号可以使用根据人体通常能够执行的运动类型对来自运动传感器的信号进行分类的操作来处理。因此，来自一个或多个传感器的信号可以映射到人体执行的运动，以促进pgrs 200的手势识别。这些信号可以是运动传感器的瞬时读数，也可以是在时间间隔内从运动传感器采集的样本。
61.使用机器学习模型的分析可以由pgrs 200执行，如下所示。通过指示用户执行预定义基于运动的手势并监控来自一个或多个运动传感器的结果信号，可以在训练阶段学习用于识别基于运动的手势的机器学习模型。生成的信号可用于生成标记数据集。然后，训练后的模型可以部署在prgs 200中，以根据从一个或多个运动传感器接收的新信号识别基于运动的手势的其它实例。然后，机器学习模型可以处理其它信号，以确定何时执行手势，并且机器学习模型可以输出相同的指示。
62.当用户510通过移动臂520将由手530保持的手持电子设备210从位置540提升到位置550时，用户510执行基于运动的手势560。应当理解，当用户510针对基于运动的手势560移动手持设备210时，手持电子设备210保持靠近用户510的身体。基于运动的手势560可以由手持设备210感测，手持设备210在用户执行包括感测手持电子设备210的位移、旋转和加速度的基于运动的手势560时感测手持设备210的运动。
63.当用户510使用臂520将手持电子设备210从位置550延伸到位置570时，发生基于运动的手势580。应当理解，手持电子设备210在位置550时靠近用户510的身体，并且随着手持电子设备210延伸到用于手势580的位置570，与用户510的身体的这种接近度减小。也可以通过感测运动来感测基于运动的手势580，该运动包括当所述设备指向第二设备时感测手持电子设备210的位移、旋转和加速度。
64.当用户510旋转臂520以将手持电子设备210直接从位置540移动到位置570时，发生基于运动的手势590。应当理解，手持电子设备210在位置540时靠近用户510的身体，并且随着手持电子设备210延伸到用于手势590的位置570，与用户510的身体的这种接近度减
小。
65.在一些实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括：对所述一个或多个运动传感器生成的信号执行模式识别。
66.pgrs 200的实施例可以使用基于规则的操作和基于学习的操作或其组合识别基于运动的手势。这些操作可以分析由手持电子设备210的一个或多个运动传感器生成的信号。pgrs 200可以使用加速度图案、旋转图案或磁场幅度图案来识别基于运动的手势是预定义基于运动的手势。pgrs 200可以使用各种计算方法中的一个或多个来识别基于运动的手势是预定义基于运动的手势。计算方法可以包括执行可包括欧几里德距离、余弦距离的相似性测量，以及使用可包括支持向量机(support vector machine，svm)、动态时间扭曲(dynamic time warping，dtw)、可包括自动编码器的深度学习、长短期记忆(long-short term memory，lstm)和卷积神经网络(convolutional neural network，cnn)。
67.在一些实施例中，手持电子设备210包括手势识别器，用于根据从手持设备210的运动传感器接收的信号识别由持有手持电子设备210(或佩戴手持电子设备210)的用户执行的基于运动的手势。手势识别组件可以由执行存储在存储器中的指令的处理器实现。在非限制性实施例中，手势识别组件根据来自运动传感器的信号实现用于识别基于运动的手势的规则。在非限制性实施例中，手势识别组件实现机器学习模型从运动传感器接收信号，并根据来自运动传感器的信号输出预测的基于运动的手势。在非限制性实施例中，手势识别组件实现用于根据来自运动传感器的信号识别基于运动的手势的模板，如下文进一步详细描述。机器学习模型可以使用监督学习算法(如深度神经网络、支持向量机(support vector machine，svm)、相似性学习等进行学习。
68.作为非限制性示例，当用户向前移动手持电子设备210并执行基于运动的手势560和580或590时，基于规则的操作可以处理用户测量的电磁场，并确定用户正在向前指向手持电子设备210，并根据用户测量的电磁场的强度变化执行基于运动的手势560和580或590。基于规则的处理的另一个非限制性示例是，当根据手持电子设备210的处理加速度和/或旋转执行基于运动的手势580时，确定用户已经向第二设备延伸他们的手臂。基于运动的手势580可以包括测量手持电子设备210的线性运动、手持电子设备210的加速度，用户的手臂没有旋转。基于运动的手势580可以替代地或另外仅包括用户肩膀的旋转。
69.图6示出了由手持电子设备210的prgs 200执行的手势识别方法600的非限制性示例实施例。手势识别方法600从操作610开始。在手持电子设备210的运动期间，手持电子设备210的一个或多个运动传感器根据手持电子设备210的运动生成信号。一个或多个运动传感器可以包括加速度计、陀螺仪、磁力计和气压计。在操作610中，根据从手持电子设备210的一个或多个运动传感器接收的信号确定传感器测量。确定传感器测量可以包括接收信号、作为数值的初始解释、初始滤波等，或其组合。方法600然后进入操作620。
70.在操作620中，执行规则检查，例如磁、运动和加速度规则检查操作。磁规则检查操作可以处理磁力计生成的信号。运动规则检查操作可以处理加速度计或其它表示运动的传感器生成的信号。加速度规则检查操作还可以处理加速度计生成的信号。规则的检查包括处理传感器测量，以确定它们是否表示预定的基于运动的手势。这可以包括检查是否满足规则，其中规则检查(测试)传感器测量是否显示出表示预定基于运动的手势已被识别的预定特征。如果所有规则都被遵循(满足)630，则pgrs 200识别由持有手持电子设备201(或佩
戴手持电子设备210)的用户执行的基于运动的手势是预定基于运动的手势。换句话说，pgrs200确定手持电子设备210正在指向操作中使用640。或者，如果至少一个规则被违反650，则pgrs 200确定预定基于运动的手势尚未被识别，并且手持电子设备210在指向操作中没有被使用660。
71.图7示出了由手持电子设备210的prgs 200执行的手势识别方法700的另一个非限制性示例实施例。在该示例性实施例中，当用户通过移动手持电子设备210来执行基于运动的手势时，手持电子设备210的一个或多个运动传感器生成信号，如图5所示。然后，在720中，由这些运动传感器生成的信号由预训练模型接收，所述经过预训练的模型用于根据接收的信号推断由预训练模型识别的基于运动的手势集合中的每种类型的基于运动的手势的概率。一个或多个运动传感器可以包括加速度计、陀螺仪、磁力计和气压计。经过预训练的模型可以由svm、cnn和lstm实现。经过预训练的模型720输出在基于运动的手势集合中具有最高概率的基于运动的手势类型的标识符(即标签)作为识别出的基于运动的手势。然后，pgrs 200确定识别出的基于运动的手势的标签是否对应于预定基于运动的手势。
72.基于学习的处理可用于分析在基于运动的手势期间将手持电子设备210向前指向的用户。这种基于学习的处理可以包括基于分类和基于相似性的处理方法。基于分类的处理方法可以包括生成二进制标签，表示用户在执行基于运动的手势时正在向前指向手持电子设备210。基于分类的处理方法可以使用svm、cnn或lstm执行。基于相似性的处理方法可以包括使用预构建的指向手势传感器测量模板。
73.图8示出了由手持电子设备210的prgs 200执行的手势识别方法800的另一个非限制性示例实施例。手势识别方法开始于操作810，其中，接收810对应于预定义基于运动的手势的传感器测量的模板。
74.在一些实施例中，识别所述基于运动的手势是所述预定基于运动的手势包括：使用人体模型处理所述一个或多个运动传感器生成的信号。当手持电子设备210的用户执行指向手势时，手持电子设备210的一个或多个运动传感器根据手持电子设备210的运动生成信号。在操作820中，处理从一个或多个运动传感器接收的信号，以生成用于一个或多个运动传感器的传感器测量820。在操作830中，使用在操作810中接收的模板和使用在820中生成的传感器测量来执行信号相似性处理830。在操作840中，pgrs 200确定相似性大于阈值θ。在操作850中，pgrs 200确定传感器测量不对应于预定基于运动的手势。在操作860中，pgrs 200确定相似性小于或等于阈值θ860，并进入操作870，其中，pgrs 200确定传感器测量对应于预定基于运动的手势。
75.在一些实施例中，在确定手持电子设备210的感测到的运动已经停止之后，识别所述第二设备。
76.在一些实施例中，启动所述用户交互包括在所述手持电子设备210上启动用于与所述第二设备交互的应用程序。
77.在一些实施例中，该方法还包括，在启动应用之后，根据由一个或多个运动传感器生成的其它信号感测手持电子设备的其它运动。
78.在一些实施例中，所述方法还包括识别感测到的其它运动是预定基于取消选择运动的手势包括：移动电子设备210并停止与所述第二设备交互.
79.在一些实施例中，所述方法还包括：在识别感测到的其它运动是所述预定基于取
消选择运动的手势之后，关闭所述应用程序。图5中的基于取消选择运动的手势的非限制性示例是先前描述的手势590的反向运动。可以是基于取消选择运动的手势的手势590的反向运动可以是手持电子设备210从位置570移动到位置540。作为非限制性示例，可以通过射频运动传感器检测用户的电磁场强度随着手持电子设备210的接近度的增大而增大来识别感测反向手势590的基于取消选择运动的手势。
80.在一些实施例中，所述一个或多个运动传感器包括以下中的一个或多个：加速度计、磁力计、接近传感器、陀螺仪、环境光传感器、摄像头、麦克风、射频接收器、近场通信设备、温度传感器。
81.图9示出了几个运动传感器，这些运动传感器可以包括在手持电子设备210中，以在用户移动手持电子设备210时生成与用户的基于运动的手势相对应的信号。手持电子设备210的处理器910处理由射频(radio-frequency，rf)传感器920、摄像机930、麦克风940、温度传感器950、近场传感器960、光传感器970、加速度计980和陀螺仪990。处理器910可能需要处理由多个这些组件生成的信号，以便确定预定义的手势。或者，处理器910可能需要处理由单个运动传感器生成的信号以确定基于运动的手势。可以使用各种传感器，其中，这些传感器输出直接响应于运动或与运动相关的信号。加速度计响应基于运动的加速度。陀螺仪和磁力计对运动做出反应，因为它们对方向的变化做出反应。磁力计也会对使它们朝向或远离人体的磁场等磁场的运动做出反应。其它传感器对可以是运动结果的条件变化做出反应。可能地，来自多个传感器的信号可以用于通过处理这些信号以识别通常由执行的预定基于运动的手势产生的特定值范围、签名、波形、波形组合等，检测预定基于运动的手势。
82.在一些实施例中，所述一个或多个运动传感器用于检测以下中的一个或多个：位移运动、旋转运动、用户接近度。
83.确定位移运动的非限制性示例是根据由手持电子设备210的加速度计980生成的预定条件确定位移。当用户根据基于运动的手势移动手持电子设备210时，由加速度计980生成的信号可以对应于手持电子设备210的加速和/或减速。应当理解，位移运动可以包括通过加速度计980感测手持电子设备210与用户身体的接近度。
84.手持电子设备210的旋转运动的非限制性示例可以使用手持电子设备210的陀螺仪990确定。当用户根据基于运动的手势移动手持电子设备210时，陀螺仪990可以生成与手持电子设备210的旋转相对应的信号。
85.确定手持设备210与用户身体的接近度的非限制性示例是使用rf检测器920检测用户身体产生的电磁场的强度。电磁场强度可以表示手持电子设备210接近用户的身体或射频源。例如，当手持电子设备210朝向用户的身体移动时，rf检测器920可以检测用户的逐渐更强的电磁场。作为另一个示例，当手持电子设备210远离用户的身体时，rf检测器920可以检测用户的逐渐弱的电磁场。
86.根据一些实施例，手持电子设备210可以包括(例如，除了图9的处理器910之外)人工智能(artificial intelligence，ai)处理器915。ai处理器可以包括图形处理单元(graphics processing unit，gpu)、张量处理单元(tensor processing unit，tpu)、现场可编程门阵列(field programmable gate array，fpga)和专用集成电路(application specific integrated circuit，asic)中的一个或多个。ai处理器可用于执行机器学习模
型的计算(即，机器学习操作)。模型本身可以部署并存储在手持电子设备的存储器中。
87.在一些实施例中，所述手持设备的所述一个或多个其它组件包括以下中的一个或多个：磁力计、接近传感器、摄像头、麦克风、射频接收器、近场通信设备。
88.在一些实施例中，所述手持设备的所述一个或多个其它组件用于检测包括所述第二设备的一个或多个其它电子设备的位置。
89.在一些实施例中，所述手持设备的所述一个或多个其它组件用于：至少部分根据所述一个或多个其它电子设备中的每个电子设备发射的信号的到达角测量，检测所述一个或多个其它电子设备的位置。
90.在一些实施例中，所述方法还包括：在满足所述预定条件并识别出所述第二设备之后，在所述手持电子设备的显示器上显示表示所述第二设备的图标，并根据以下之一或两者改变所述图标在所述显示器上的位置：所述手持电子设备的指向方向与所述第二设备相对于所述手持电子设备的方向之间的角度，以及所述手持设备指向所述第二设备的可能性的测量。
91.在一些实施例中，手持电子设备包括：一个或多个运动传感器，用于生成表示所述手持设备的运动的信号。
92.在一些实施例中，手持电子设备还包括：处理电子元件，所述处理电子元件用于根据一个或多个运动传感器生成的信号来感测手持设备的运动。所述设备还用于：识别所述感测到的运动是基于运动的手势，所述基于运动的手势包括移动所述手持电子设备。所述设备还用于根据其它信号识别第二设备，所述其它信号来自：所述一个或多个运动传感器；所述手持设备的一个或多个其它组件；或其组合。所述其它信号表示手持电子设备指向基于运动的手势的末端的方向。所述设备还用于在满足预定条件并识别出所述第二设备之后，启动与所述第二设备远程交互的用户交互。当识别出的基于运动的手势是用于与第二设备交互的预定基于运动的手势时，至少部分满足预定条件。
93.应当理解，手持电子设备的实施例可以用于执行本文所述的方法。
94.图10示出了具有功能模块的手持电子设备210的非限制性示例，所述功能模块可以使用处理电子元件1015的组件提供。处理电子元件可以包括执行存储在存储器1030中的程序指令的计算机处理器。如前所述，设备210可以包括运动传感器1020、其它组件1035、用户界面1025以及发送器和接收器1040。用户界面1025可用于由用户指导与第二设备进行交互。发送器和接收器1040可用于与第二设备通信，并且在一些实施例中，还可用于例如使用到达角测量和处理来定位第二设备。
95.如图10所示的设备210包括指向手势识别模块1045。指向手势识别模块可以执行本文其它地方描述的pgrs的各种操作。设备210可以包括第二设备识别模块1055，用于识别设备210在预定手势的结束时所指向的第二设备。设备210可以包括用户交互模块1050，所述用户交互模块1050可以启动和执行用于与第二设备的用户定向交互的适当应用程序。设备210可以包括确认模块1060，所述确认模块1060监控如本文其它地方所述的确认输入，并且其还可以向用户提示确认输入，例如通过使设备210振动、发出声音，或者在设备210的显示器上生成提示。
96.尽管已经参考本发明的特定特征和实施例描述了本发明，但是明显在不脱离本发明的情况下可以制定本发明的各种修改和组合。说明书和附图仅被视为所附权利要求书所
定义的本发明的说明并且考虑落于本说明书的范围内的任何和所有修改、变体、组合或均等物。