用于利用身体动作输入设备来控制设备的控制服务的制作方法

本技术领域涉及用于利用身体动作输入设备来控制设备的控制服务。

背景技术：

用于利用身体动作输入设备来控制不同类型的设备的现有解决方案要求必须在输入设备中安装多个特定于设备的应用，以针对不同类型的受控设备中的每个受控设备来变换传感器信号。这种布置不仅消耗输入设备中的大量cpu、内存和电池电源，而且该布置也不允许偶尔更新多个特定于设备的应用。

技术实现要素：

方法、装置和计算机程序产品的示例实施例提供了用于利用身体动作输入设备控制设备的控制服务。一种示例方法包括：通过控制服务订阅来自所选的身体动作输入设备的一个或多个传感器信号，该传感器信号包括原始传感器数据，该原始传感器数据对应于利用所选的输入设备的一个或多个身体动作。控制服务使用所选的组件控制服务来分析原始传感器数据以标识身体动作输入，该身体动作输入对应于利用所选的输入设备的身体动作。控制服务使用所选的组件控制服务将所标识的身体动作输入转换成一个或多个控制信号以控制所选受控设备，该所选受控设备对应于利用所选的输入设备的身体动作。控制服务然后响应于利用所选的输入设备的身体动作来提供控制信号，以控制所选受控设备。

在示例实施例中，控制服务接收从多个可用的身体动作输入设备中选择的所选的身体动作输入设备的标识信息。控制服务接收从多个可用的受控设备中选择的所选受控设备的标识信息。控制服务基于所选的身体动作输入设备的标识信息和所选受控设备的标识信息，从控制服务的多个组件控制服务中选择组件控制服务，每个组件控制服务对应于多个可用的身体动作输入设备中的一个身体动作输入设备以及多个可用的受控设备中的一个受控设备。通过这种方式，身体动作输入设备不需要存储多个特定于设备的应用就能够控制不同类型的受控设备。而且，不同类型的身体动作输入设备可以控制相同类型的受控设备，而无需存储用于受控设备的特定于设备的应用。而且，该示例实施例允许频繁更新特定于设备的应用，而无需访问每个身体动作输入设备来执行更新。

附图说明

现在将参照附图描述一些示例实施例。

图1a示出了用于利用身体动作输入设备控制设备的示例控制服务的示例实施例的示例架构图。

图1b示出了另一示例实施例的示例架构图，其中身体动作输入设备的示例是姿势感测设备，并且受控设备的示例是无人机。

图1c示出了另一示例实施例的示例架构图，示出了图1b的示例姿势感测设备的一些细节。

图1d示出了另一示例实施例的示例架构图，示出了图1b的示例姿势感测设备与示例受控设备之间的示例通信网络的一些细节。

图1e示出了另一示例实施例的示例架构图，示出了示例无人机控制系统的示例软件或电路系统以及处理来自姿势感测设备的姿势信号以控制图1b的示例受控无人机设备的示例。

图1f示出了另一示例实施例的示例架构图，示出了基于图1b的所选的身体动作输入设备的标识和/或所选受控设备的标识来选择设备控制系统的示例控制服务中的示例库索引逻辑的示例软件或电路系统。

图2a示出了用于利用身体动作输入设备控制设备的示例控制服务的操作的序列图的示例实施例，其中身体动作输入设备的示例是姿势感测设备，并且受控设备的示例是图1b的无人机。

图2b示出了用于控制图2a的设备的示例控制服务的操作的序列图的示例实施例，其中请求可用的可控设备的身份。

图2c示出了用于控制图2a的设备的示例控制服务的操作的序列图的示例实施例，其中省略了用户和可控设备注册管理操作。

图2d示出了用于控制图1b的设备的示例控制服务的操作的序列图的示例实施例，其中控制服务响应于其他输入数据将触发消息反馈给身体动作输入设备。

图2e示出了用于控制图1b的设备的示例控制服务的操作的序列图的示例实施例，其中受控设备将传感器输入信号或其他数据反馈回套筒传感器设备和套筒网关应用。

图2f示出了用于控制图1b的设备的示例控制服务的操作的序列图的示例实施例，其中受控设备将视频流或者一个或多个地图图块反馈回套筒传感器设备和套筒网关应用100。

图3图示了用于利用图1a的身体动作输入设备控制设备的示例控制服务的示例实施例中的操作步骤的示例流程图。

图4图示了示例实施例，其中示出了可移动存储介质的示例。

具体实施方式

示例实施例提供了用于利用身体动作输入设备控制设备的控制服务，该身体动作输入设备不需要存储多个特定于设备的应用就能够控制不同类型的受控设备。该示例实施例允许频繁更新特定于设备的应用，而无需访问每个身体动作输入设备来执行更新。

图1a示出了用于利用可以被附接到任何身体部位的一个或多个身体动作输入设备100a至100d来控制一个或多个设备114a至114d的示例控制服务108的示例实施例的示例架构图。示例控制服务108可以包括软件或电路系统。示例控制服务108的主要功能性可以被实现在远离身体动作输入设备100和可控设备114的一个或多个云服务器90中。一个或多个云服务器90使用被托管在互联网上的一个或多个远程服务器的网络，以存储、管理并处理数据。在其他示例实施例中，示例控制服务108的主要功能性可以被实现为远离身体动作输入设备100和可控设备114定位的软件或电路系统。这使系统能具有灵活性和可缩放性，并且增加了可以在系统中连接的可控设备和输入设备的数目。无论示例控制服务108的主要功能性是被实现为软件或电路系统还是在一个或多个云服务器90中实现，都示出了与示例控制服务108相关联的示例处理器109，以执行被存储在一个或多个存储器125、127中的计算机代码指令，该一个或多个存储器125、127在由一个或多个中央处理单元(cpu)和/或电路系统121、123执行时执行示例控制服务108的示例实施例的一个或多个功能。通过这种方式，发布/订阅服务器102、后端服务器104以及用户和设备注册单元106可以具有与示例控制服务108类似的架构设计。如在本申请中使用的，术语“电路系统”可以指以下中的一个或多个或者全部：

(a)仅硬件电路实现(诸如，仅以模拟和/或数字电路系统的实现)；以及

(b)硬件电路和软件的组合，诸如(如果适用的话)：

(i)(多个)模拟和/或数字硬件电路与软件/固件的组合，以及

(ii)具有软件(包括(多个)数字信号处理器)、软件和(多个)存储器的(多个)硬件处理器的任何部分，这些部分共同工作以使诸如移动电话或服务器等装置执行各种功能)以及

(c)需要软件(例如，固件)以用于操作的(多个)硬件电路和/或(多个)处理器，诸如，(多个)微处理器或(多个)微处理器的一部分，但在不需要操作时可能不存在该软件。

电路系统的这种定义适用于本申请中该术语的所有使用，包括在任何权利要求中。作为又一示例，如在本申请中所使用的，术语电路系统也将覆盖仅硬件电路或处理器(或多个处理器)或者硬件电路或处理器的一部分及其(或它们的)伴随的软件和/或固件的实施方式。例如并且如果适用于特定权利要求元件的话，则术语电路系统还将覆盖用于服务器、蜂窝网络设备或者其他计算或网络设备中的移动设备或类似的集成电路的基带集成电路或处理器集成电路。

示例控制服务108至少包括一个或多个组件控制服务108a、108b、108c和108d、一个或多个后端服务器104以及用户和设备注册单元106。身体动作输入设备100a、100b、100c和100d中的一个或多个身体动作输入设备被共同示出为100。用户选择的身体动作输入设备100a输出一个或多个传感器信号，该一个或多个传感器信号包括原始传感器数据，该原始传感器信号对应于利用所选的输入设备100a的用户的身体动作中的一个或多个用户的身体动作。身体动作输入设备100a在107'中将原始传感器数据发布到一个或多个发布/订阅服务器102处的一个或多个中间消息收发代理(broker)，以在公共平台上与后端服务器104一起被缓冲，直到它们在107中被后端服务器104订阅为止。通过这种方式，身体动作输入设备不需要管理传感器数据流。

多个受控设备114a、114b、114c和114d共同被示出为114。例如，基于所选的身体动作输入设备100a的标识和/或所选的受控设备114a的标识，控制服务108从控制服务108的多个组件控制服务108a、108b、108c和108d中选择组件控制服务108a，其中每个组件控制服务对应于多个可用的身体动作输入设备100a、100b、100c和100d中的示例输入设备100，并且其中每个可控设备对应于多个可用的受控设备114a、114b、114c和114d中的示例可控设备114。稍后本文结合图1f描述用于控制服务108基于所选的身体动作输入设备的标识和/或所选的受控设备的标识来选择设备控制系统的示例软件或电路系统。

控制服务108使用所选的组件控制服务108a来分析原始传感器数据，以在110，在与所选的身体动作输入设备100a交互时标识对应于用户的一个或多个身体动作的身体动作输入。如稍后本文结合图1e所描述的，用于在110中标识身体动作输入的示例软件或电路系统可以借助于模式识别。控制服务108使用所选的组件控制服务108a将在111标识的身体动作输入转换成去往设备适配器112的一个或多个控制信号，以在与所选的身体动作输入设备100a交互时，控制对应于用户的一个或多个身体动作的所选的受控设备114a。用以将在111标识的身体动作输入转换成去往设备适配器112的一个或多个控制信号的示例软件或电路系统可以通过表格进行查找，如稍后本文结合图1e所描述的。控制服务108然后提供一个或多个控制信号，以在与所选的身体动作输入设备100a交互时响应于用户的一个或多个身体动作来控制所选的受控设备114a。作为响应，受控设备114a可以执行受控动作，并且可以向控制服务108提供反馈信息。

在一个示例性实施例中，设备适配器112将一个或多个控制信号发布到中间消息收发代理，该中间消息收发代理可以是设备适配器112的一部分(类似于发布/订阅服务器102的发布/订阅服务器)，以在公共平台上与受控设备114一起被缓冲，直到受控设备114在115订阅了控制信号。以这种方式，受控设备114不需要管理控制信号数据流。受控设备114将任何反馈信号发布回中间消息收发代理(设备适配器112中的发布/订阅服务器)，以在公共平台上与设备适配器112一起被缓冲，直到设备适配器112在117中订阅了反馈信号。以这种方式，设备适配器112不需要管理反馈信号数据流。在另一示例性实施例中，当一个或多个控制信号准备好时，设备适配器112将一个或多个控制信号传输到受控设备114。附加地，受控设备114可以将一个或多个反馈信号(例如，来自受控设备114中的一个或多个传感器的原始传感器数据)传输回设备适配器112。

在一个示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108位于由一个服务提供商管理的一个服务系统下的一个或多个云服务器90中。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108位于一个或多个云服务器90中，但是作为与许多服务提供商和单独的设备/服务器被分别管理的服务。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108可以是单独的设备/服务器。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108可以是一个单一的设备/服务器。

在另一示例实施例中，一个或多个后端服务器104和示例控制服务108可以是一个单一的设备/服务器。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108可以以设备/服务器的任何组合或数目被布置，其可以由一个或多个服务提供商管理。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108以及其组合可以位于家庭网络中、家庭路由器和/或网关的任何组合中、特定的家庭网络接入点中、家庭物联网(iot)网络上、家庭iot网关中、家庭网络接入点、家庭服务器计算机中等。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108(单独地或以它们的任何组合来获取)可以位于任何局域网中，诸如工业网络或办公网络。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108(单独地或以它们的任何组合来获取)可以位于无线电信网络中，例如作为云边缘或移动边缘计算(mec)实现。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108(单独地或以它们的任何组合来获取)可以被实现为一个或多个实体，该一个或多个实体具有被连接到至少一个存储器的至少一个cpu和至少一个计算机程序代码。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108(单独地或以它们的任何组合来获取)可以被实现为具有至少一个电路系统的一个或多个实体。

在另一示例实施例中，发布/订阅服务器102、一个或多个后端服务器104、用户和设备注册单元106以及示例控制服务108可以经由任何类型的无线通信链路或有线连接(诸如，光纤连接)或任何组合彼此连接。

在另一示例实施例中，所有无线通信协议/技术可以在身体动作输入设备100和后端服务器104之间的无线链路107和107'中以任何组合中被使用，例如，无线iot通信协议(诸如，sigfox、lorawan、nb-iot等)和无线电信协议(诸如，2g、lte、4g、5g、任何未来的g等)以及短程无线通信协议(诸如，蓝牙、低能耗蓝牙、wlan、zigbee、nfc、ant、ant+等)。

所选的身体动作输入设备100a可以是以下中的至少一项：响应于用户的手势而提供传感器信号的手势输入设备、响应于用户的身体动作而提供传感器信号的可穿戴身体动作输入设备、响应于用户的心跳而提供传感器信号的心跳输入设备或者响应于用户的眼部运动而提供传感器信号的眼部运动跟踪输入设备。所选的受控设备114可以是通过无线通信链路控制的无人机、无人驾驶飞行器(uav)、无人陆地载具和无人地面载具(ugv)、物理设备、家用器具或工业器具中的至少一项。

图1b示出了另一示例实施例的示例架构图，其中身体动作输入设备100的示例是姿势感测设备，并且受控设备114的示例是无人机。所选的身体动作输入设备100包括将由用户穿戴的姿势感测套筒(gesturesensingsleeve)101，其包括一个或多个短程无线通信收发器、电路系统和/或接口113，例如，低能耗蓝牙(ble)、蓝牙(bl)、无线局域网(wlan)、接口。示例姿势感测设备101可以包括输入设备，诸如，触摸盘、加速度计、陀螺仪和/或用于检测用户的生理状况的设备，以向控制服务108发送信号。示例姿势感测设备101可以包括诸如扬声器、显示器和/或触觉设备等信号器设备，以从受控设备114接收反馈信号。所选的身体动作输入设备100还包括接近用户或由用户携带的单独的移动通信设备、调制解调器或电路系统103，其包括低能耗蓝牙接口113以从姿势感测套筒101接收原始传感器数据。移动通信设备103还包括套筒网关应用103a，以通过无线电信链路107'和107将原始传感器数据传递到控制服务108，该控制服务包括后端服务器104，该后端服务器104被配置为经由移动通信设备103中的网关应用103a订阅来自身体动作输入设备100的原始传感器数据。身体动作输入设备100在107'中将原始传感器数据发布到中间消息收发代理(发布/订阅服务器102)，以在公共平台上与后端服务器104一起进行缓冲，直到后端服务器104在107中订阅了原始传感器数据。以这种方式，身体动作输入设备100不需要管理传感器数据流。

移动通信设备103中的套筒网关应用103a基于原始传感器数据来检测姿势。在一个示例性选项中，原始传感器数据与身体动作输入设备100的标识和时间戳一起被发送到发布/订阅服务器102。在另一示例性选项中，以每秒预定数目的消息的发布速率将数据批量收集、缓存并发送到发布/订阅服务器102。可以基于无线电信链路107’的能力或无线电信链路107’的延时状态来确定发布速率。同一批中可能有若干相同类型的数据点(例如，原始数据)，这是可接受的，因为数据点在被生成时将包含时间戳，使得姿势控制服务可以正确处理它们。

示例控制服务108被示出为具有可配置系统资源的池，该可配置系统资源池包括多个组件控制服务108a、108b、108c和108d，每个组件控制服务被配置为标识针对特定所选的身体动作输入设备的身体动作输入，并针对特定所选的受控设备114a、114b、114c和114d将所标识的身体动作输入转换成一个或多个控制信号。示例无人机控制系统/软件(sw)或电路系统108a被设计为使用来自姿势套筒101的姿势信号来向无人机114a提供控制信号。示例汽车控制系统/软件(sw)或电路系统108b被设计为使用来自姿势套筒101的姿势信号来向载具或汽车114b提供控制信号。示例鼠标控制系统/软件(sw)或电路系统108c被设计为使用来自姿势套筒101的姿势信号来向鼠标114c提供控制信号。而且，示例物联网(iot)控制系统/软件(sw)或电路系统108d被设计为使用来自姿势套筒101的姿势信号来向iot设备114d提供控制信号，其中iot设备可以是例如家用器具或工业器具。

在一个示例实施例中，姿势套筒101、移动设备103和套筒网关应用103a被嵌入在单个设备中，诸如姿势套筒输入设备101、智能手表、虚拟现实(vr)耳机、增强现实(ar)耳机/眼镜等。

在另一示例实施例中，姿势套筒101是与移动通信设备103分离的设备。

在另一示例实施例中，所有无线通信协议/技术可以在姿势套筒101与移动设备103之间的无线链路113中以任何组合被使用，例如，短程无线通信协议(诸如，蓝牙、低能耗蓝牙、wlan、zigbee、nfc、ant、ant+等)以及更长距离的示例协议(例如，无线iot通信协议，诸如，sigfox、lorawan、nb-iot等)和无线电信协议(诸如，2g、lte、4g、5g、任何未来的g等)。

在另一示例实施例中，所有无线通信协议/技术可以在移动设备103和后端服务器104之间的无线链路107和107'中以任何组合中被使用，例如，无线iot通信协议(诸如，sigfox、lorawan、nb-iot等)和无线电信协议(诸如，2g、lte、4g、5g、任何未来的g等)以及短程无线通信协议(诸如，蓝牙、低能耗蓝牙、wlan、zigbee、nfc、ant、ant+等)。

图1c示出了示例架构图，其示出了图1b的示例姿势感测设备101的一些细节。所选的身体动作输入设备100包括将由用户穿戴的姿势感测套筒101，其包括短程无线通信收发器、电路系统和/或接口113，例如低能耗蓝牙接口。所选的身体动作输入设备100进一步包括接近用户或由用户携带的单独的移动通信设备103，其包括短程无线通信收发器、电路系统和/或接口113，例如低能耗蓝牙接口，以从姿势感测套筒101接收原始传感器数据。移动通信设备103进一步包括套筒网关应用103a，其包括用于通过lte(长期演进)、5g(第5代)或通过链路107'和107的任何下一代无线电信技术将原始传感器数据传递到控制服务108的后端服务器104的无线通信收发器、电路系统和/或接口。

示例姿势感测设备101被示出为包括一个或多个触觉设备和接口101a，以用于经由移动设备103从后端服务器104接收反馈信号。示例姿势感测设备101被示出为包括一个或多个触摸板设备和接口101b，以用于经由移动设备103向后端服务器104发送触摸按钮信号。示例姿势感测设备101被示出为包括一个或多个加速度计/陀螺仪/imu(惯性测量单元)传感器和接口101c，以用于经由移动设备103将运动信号发送到后端服务器104。示例姿势感测设备101被示出为包括一个或多个ppg(光电容积描记法)传感器和接口101d，以用于经由移动设备103向后端服务器104发送一个或多个心跳信号。示例姿势感测设备101被示出为包括一个或多个血压传感器和接口(未在附图上示出)，以用于经由移动设备103将血压信号发送到后端服务器104。移动通信设备103被示出为包括用于解释这些信号和/或向或从后端服务器104传送这些信号的应用。后端服务器104被示出为包括用于处理这些信号或事件和/或向或从控制服务108传送这些信号或事件的应用。显示器105被示出为从移动通信设备103的显示器网关接收显示器命令，该显示器命令和/或反馈从后端服务器104被接收。

图1d示出了示例架构图，其示出了图1b的示例姿势感测设备101与示例受控设备114之间的示例通信网络的一些细节。姿势感测套筒101包括短程无线通信收发器、电路系统和/或接口，诸如低能耗蓝牙接口，并且移动通信设备103包括短程无线通信收发器、电路系统和/或接口113，诸如低能耗蓝牙接口，以从姿势感测套筒101接收原始传感器数据。姿势套筒101与移动设备103之间的无线链路113可以是例如短程无线通信协议，诸如蓝牙、低能耗蓝牙、wlan、zigbee、nfc、ant、ant+等。移动通信设备103进一步包括套筒网关应用103a，以通过无线电信收发器、电路系统和/或链路107'和107将原始传感器数据传递到控制服务108的后端服务器104。链路107和107'可以是例如无线iot通信协议(诸如，sigfox、lorawan、nb-iot等)以及无线电信协议(诸如，2g、lte、4g、5g、任何未来的g等)。示例控制服务108被示出为包括组件控制服务108a、108b和108c以分别向无人机114a、汽车114b或鼠标114c提供控制信号。控制信号是通过无线电信收发器、电路系统和/或链路119从控制服务108向一个或多个受控设备114传递的，诸如无线iot通信协议(诸如，sigfox、lorawan、nb-iot等)以及无线电信协议(诸如，2g、lte、4g、5g、任何未来的g等)。

图1e示出了另一示例实施例的示例架构图，示出了示例无人机控制系统108a的示例软件或电路系统以及处理来自姿势感测设备100a的姿势信号以控制图1b的示例受控无人机设备114a的示例。

用以在110标识身体动作输入的示例软件或电路系统可以借助于模式识别。在所示的示例中，在手臂上穿戴示例姿势套筒100a的用户在向上方向上举起手臂，并在顺时针方向上旋转手臂以接触前额，这些运动的组合类似于军事风格敬礼。用户旨在控制示例无人机无人航空设备114a以在飞行时向右倾斜。示例姿势套筒100a包括示例加速度计和示例陀螺仪，它们感测用户手臂的向上运动和顺时针旋转。示例姿势套筒100a在107'中将来自加速度计和陀螺仪的原始传感器数据发布到示例中间消息收发代理发布/订阅服务器102，以进行缓冲，直到它们在107中被示例后端服务器104订阅。

然后，来自加速度计和陀螺仪的原始传感器数据被传输到无人机控制系统108a的示例标识姿势输入逻辑110，其中它在示例接收缓冲区软件或硬件302中被接收。承载表示向上运动和顺时针旋转的信号的原始传感器数据被传输到示例模式识别软件或电路系统304，其中向上运动指示和顺时针旋转指示的组合被确定为具有军事风格敬礼的模式。然后将指示所标识的姿势是军事风格敬礼的信息传输到示例转换成控制信号逻辑111。

示例转换成控制信号逻辑111包括姿势与控制信号软件或电路系统的示例表306。示例表306将指示所标识的姿势是军事风格敬礼的信息转换成一个或多个控制信号，该一个或多个控制信号表示向右倾斜控制指示。示例表306将向右倾斜控制指示作为一个或多个控制信号传输到示例设备适配器112，以控制示例无人机设备114a。示例控制服务108然后提供一个或多个控制信号，以在与示例姿势套筒设备100a交互时响应于用户的一个或多个身体动作来控制示例无人机设备114a。

图1f示出了另一示例实施例的示例架构图，示出了示例控制服务108中的示例库索引逻辑256的示例软件或电路系统，以基于图1b的作为所选的身体动作输入设备的姿势套筒的标识和作为所选受控设备的无人机的标识来选择设备控制系统108a1。例如，用户选择姿势套筒作为输入到输入缓冲区252的所选的身体动作输入设备。例如，用户或系统选择无人机作为输入到输入缓冲区252的所选的受控设备。所选的姿势套筒和所选的无人机的信息被输入到库索引逻辑软件或电路系统256，该库索引逻辑软件或电路系统256确定设备控制系统108a1的库260中的地址或者不在库260内的另一站点处的设备控制系统108a1的位置。例如，库索引逻辑软件或电路系统256从可以由姿势套筒控制的多个组件控制服务108a1、108b1、108c1和108d1以及可以由眼部跟踪器输入设备控制的多个组件控制服务108a2、108b2、108c2和108d2中选择组件控制服务108a1。组件控制服务108a1的选择基于所选的身体动作输入设备(姿势套筒100a)的标识以及所选的受控设备(无人机114a)的标识。

图2a示出了用于利用一个或多个身体动作输入设备100来控制一个或多个设备114的示例控制服务108的操作的序列图的示例实施例，其中身体动作输入设备100的示例是姿势感测设备，并且受控设备114的示例是图1b的无人机。

包括所选的姿势套筒100输入设备的标识(id)信息的信号202由被连接至控制服务108的注册管理单元106接收，并在130被注册，提供由用户从多个可用的身体动作输入设备中选择的所选的姿势套筒100输入设备的标识信息。在132，可用的一个或多个无人机用它们相应的无人机id来注册。可以从诸如系统操作员等用户接收一个或多个无人机id，该用户可以将一个或多个无人机id输入到控制服务108。

在134，作为在132的注册的备选方式或除了在132的注册之外，包括所选的无人机标识(id)的指示的信号204由控制服务108的用户和设备注册管理单元106接收，并在136中被注册，提供所选的无人机id的标识信息，该信息进一步指示由用户(诸如，系统操作员)从在被连接至控制服务108的用户界面上显示的多个可用受控设备中选择的相关受控设备114。

信号206由控制服务108的套筒后端服务器104传输到中间消息收发代理102，以从在中间消息收发代理102处可用的一个或多个或所有已连接的姿势套筒输入设备100订阅一个或多个传感器信号，一个或多个传感器信号包括在与姿势套筒输入设备100交互时对应于用户的一个或多个身体动作的原始传感器数据。

控制系统108在139存储所选的无人机id，并且在142中存储所选的套筒id。控制系统108从多个组件控制服务中选择或创建相应的组件控制服务，例如无人机控制系统108a，每个组件控制服务对应于多个可用的身体动作输入设备中的一个身体动作输入设备和多个可用的受控设备中的一个受控设备。对无人机控制系统108a的选择或创建基于的是所选的姿势套筒输入设备100的标识信息和所选的无人机114a受控设备的标识信息。在备选示例中，控制系统108中的无人机适配器112还在139处存储所选的无人机id，并且姿势输入功能110在142中请求所注册的套筒id并存储套筒id。然后，控制系统108基于所选的姿势套筒输入设备100的id和所选的无人机114a受控设备的id从多个组件控制服务中选择或创建组件控制服务(无人机控制系统108a)，每个组件控制服务对应于多个可用的身体动作输入设备之一和多个可用的受控设备之一。仍然在另一备选示例中，姿势输入功能110的选择基于的是所选的套筒输入设备110，并且无人机适配器112的选择基于所选的无人机114a。姿势输入功能110和无人机适配器112然后由控制系统108连接以创建新的组件控制服务，例如无人机控制系统108a。仍然在另一备选示例中，可以通过以所有可能的组合将它们配对和/或彼此连接基于一个或多个注册的套筒id和无人机id在用户和设备注册管理单元106中完成一个或多个无人机控制系统的选择或创建。

在140处接收原始传感器数据，并且标识和/或创建姿势输入，并将其与信号208一起发送给控制服务108的无人机控制系统。组件控制服务108a的无人机控制系统可以还在144处通过考虑其他输入数据(包括例如地理围栏数据、生物传感器数据、延时或下采样中的至少一个)来分析其他输入数据以调整所标识和/或创建的姿势输入。然后在无人机适配器处将调整后的姿势输入发送到146。在备选示例中，在140的订阅之后，在后端服务器104处接收原始传感器数据，并且从原始传感器数据标识和/或创建姿势输入。然后在208中，控制服务108的无人机控制系统订阅来自后端服务器104的姿势输入。组件控制服务108a的无人机控制系统在144中通过考虑其他输入数据(包括例如地理围栏数据、生物传感器数据、延时或下采样中的至少一个)分析其他输入数据，以调整所标识和/或创建的姿势输入。然后将调整后的姿势输入发送到146。

组件控制服务108a的无人机控制系统在146将所标识的姿势输入转换成一个或多个控制信号，以在与所选的姿势套筒输入设备100交互时控制对应于用户的一个或多个身体动作的所选的无人机受控设备114。

信号210在148提供一个或多个控制信号，以在与所选的姿势套筒输入设备100交互时响应于用户的一个或多个姿势来控制所选的无人机受控设备114。控制信号由无人机受控设备114订阅，使得受控设备114不需要管理控制信号数据流。在备选示例中，信号被传输到所选的无人机受控设备114。

图2b示出了用于控制图2a的设备114的示例控制服务108的操作的示例序列图，其中用户和设备注册管理单元106在133a从套筒输入设备100接收针对一个或多个可用的可控设备114的身份信息的请求，其中该身份可以包括例如设备标识(id)、设备名称、设备类型、设备的描述或设备的技术要求。用户和设备注册管理单元106在133b中选择所请求的身份信息并将其发送回套筒输入设备100。在134，在用户界面上向用户显示接收到的信息。在控制服务器108的注册管理单元106处接收具有所选无人机的身份信息的信号204'，并在136中对其进行存储。在137a中，姿势输入110从用户和设备注册管理单元106请求并接收所注册的套筒id，并在142中对其进行存储。在137b中，无人机适配器112从用户和设备注册管理单元106请求并接收所选的无人机id，并在139中对其进行存储。图2b中的剩余操作序列与图2a所示的相同。

图2c示出了用于控制图2a的设备114的示例控制服务108的操作的示例序列图，其中，省略了用户和可控设备注册管理操作。无人机114被示出为将具有其无人机id的信号204发送到组件控制服务108a的无人机控制系统108a。进一步地，无人机控制系统108a在202中从套筒传感器设备100接收套筒id以进行注册。进一步地，所注册的套筒id被发送到姿势输入110，并且所注册的无人机id被发送到无人机适配器112。

图2d示出了用于控制图1b的设备114的示例控制服务108的操作的示例序列图，其中响应于144处的对其他输入数据(包括地理围栏数据、生物传感器数据、延时或下采样中的至少一个)的确定，控制服务108将一个或多个触发消息信号212反馈回姿势套筒输入设备100。

例如，后端服务器104可以测量到姿势套筒输入设备100的无线通信链路107/107'的质量，并且将测量结果发送到无人机控制系统108。响应于测量结果，当链路质量处于降低的水平时，无人机控制系统108可以在144将触发消息212发送到姿势套筒设备101以降低对原始传感器数据的数据采样。在备选示例中，后端服务器104可以测量到姿势套筒输入设备100的无线通信链路107/107'的质量，诸如延时。响应于该测量，后端服务器104可以将通信链路的质量信息与信号208一起发送到姿势输入110，以在144中进行进一步考虑和分析。例如，当链路质量降低到阈值水平以上时，该分析可以触发到姿势套筒设备101的信号212和214，以降低原始传感器数据的数据采样。

以类似的方式，移动设备103中的姿势套筒101与套筒网关应用103a之间的蓝牙le(ble)链路113以及套筒网关应用103a和后端服务器104之间的lte(或wifi)链路107/107'可能会变得拥塞或受到干扰，使得系统无法以完全期望的速率发送数据。套筒网关应用103a可以测量ble传输或丢失的数据分组，并指示姿势套筒101降低其采样率。另一选项是将一些传感器的采样改变为较低的速率(下采样)，而将其他传感器的采样保留为较高的速率。另外，如果需要的话，可以将多个数据样本分批，并且在一个数据分组中从姿势套筒设备101发送到移动设备103中的套筒网关应用，减少分组开销。

作为另一示例，后端服务器104可以测量到姿势套筒输入设备100的无线通信链路107/107'的信号延迟，以确定该链路的延时。可以将数据分组从后端服务器104发送到移动设备103中的网关，并且可以针对被除以2的往返来测量从网关到后端的回复，以确定延时。另一选项是在每个数据分组中具有时间戳，并确定差异的方差(接收到的ts–发送ts)，如果该方差增加，则指示应该发送较少的数据。响应于该测量，当链路的延时较高时，后端服务器104可以降低来自输入设备100的对原始传感器数据的数据采样。后端服务器104可以在144向姿势输入设备100发送触发信号214，以降低正发送的原始传感器数据的数据速率。仍然在另一示例中，无人机适配器112可以测量无人机适配器112与无人机114之间的无线通信链路的信号延迟，以确定链路的延时。可以将数据分组从无人机适配器112发送到无人机114，并且可以针对被除以2的往返时间(roundtrip)来测量从无人机114到无人机适配器112的回复，以确定延时。另一选项是检测每个数据分组中的时间戳，并确定差异的方差(接收到的ts–发送ts)，如果增加，则指示应该发送较少的数据。响应于该测量，当链路的延时较高时，无人机适配器112可以降低其对转换后的姿势输入的数据采样。

图2e示出了用于控制图1b的设备114的示例控制服务108的操作的序列图的示例实施例，其中响应于其他输入数据，受控设备114将传感器输入反馈402(例如，位置/gps、高度、imu、音频、视频)、状态消息(例如，电池电量、天气)或指令消息(中断、错误)或其他数据反馈回套筒传感器设备和套筒网关应用100。反馈管理器400在404分析接收到的传感器输入信号402、指令和/或其他数据，并且还考虑其他输入数据(例如，地理围栏、延时、下采样、生物传感器数据等)，并创建/触发反馈或输入消息406，其被发送到套筒后端服务器(套筒api)104。如果需要的话，则基于套筒传感器设备id信息，套筒后端服务器(套筒api)104在408中将反馈或输入消息转换为合适的触觉反馈和/或适用于套筒传感器设备100的视觉或音频反馈。套筒后端服务器(套筒api)104然后将转换后的反馈或输入消息410发送到套筒传感器设备和套筒网关应用100，其中接收到的转换反馈或输入消息410被绘制和/或触发触觉反馈。

图2f示出了用于控制图1b的设备114的示例控制服务108的操作的序列图的示例实施例，其中受控设备114将视频流或者一个或多个地图图块反馈回套筒传感器设备和套筒网关应用100。受控设备114是在452执行实时视频记录并在454执行位置检测的无人机。在一个实施例中，在456，可以从外部实体接收位置数据，该外部实体监测并检测无人机在特定环境中的位置(例如，通过雷达信号、激光器波束或精确位置追踪(ppt)系统)。无人机114将实时视频和位置数据发送到无人机适配器112。例如，如果不需要进一步的调整或覆盖数据或者它不可用，则实时视频流可以在460中直接流式传输到套筒传感器设备100。如果需要的话，无人机适配器112在458中基于无人机相机类型调整视频流，然后将实时视频流发送到视频流管理/地图和位置管理450，其中视频流在462中与其他数据(例如，位置数据、传感器数据、poi、地图图块、地理围栏等)组合/混合/覆盖，并发送到套筒后端服务器(套筒api)104。如果需要的话，套筒后端服务器(套筒api)104将在466中使具有覆盖数据的实时视频流适应适用于套筒传感器设备100的格式(例如，适应屏幕容量、分辨率、大小等)，并且基于套筒传感器设备id信息可选地创建合适的触觉和/或视觉或音频反馈。然后，套筒后端服务器(套筒api)104将适应后的实时视频流流式传输到套筒传感器设备和套筒网关应用100，其具有覆盖数据并可选地具有触觉、音频和/或视觉反馈，其中它在470中显示具有覆盖数据的实时视频流和/或可选地触发触觉、音频和/或视觉反馈。

还如图2f所示，视频流管理/地图和位置管理450可以在464确定与所接收的位置数据(例如，gps)有关的一个或多个地图图块，例如，地图图块覆盖了位置数据周围的特定区域。视频流管理/地图和位置管理450将所确定的具有位置数据(例如，gps)的一个或多个地图图块发送到套筒后端服务器(套筒api)104，其中如果需要，则它在468使一个或多个地图图块适应适配于套筒传感器设备100的格式，然后将具有位置数据(例如，gps)的经适配的一个或多个地图图块发送到套筒传感器设备和套筒网关应用100，其中在472中显示具有位置数据的经适配的一个或多个地图图块，和/或可选地触发触觉、音频和/或视觉反馈。

图3图示了用于利用图1a的身体动作输入设备100控制设备的示例控制服务108的示例实施例中的操作步骤的示例流程图500。流程图的步骤表示被存储在控制服务装置的一个或多个设备中的一个或多个ram和/或rom存储器中的一个或多个计算机代码指令，当由控制服务装置的一个或多个设备的一个或多个中央处理单元(cpu)执行时，这些指令被配置为使装置至少执行示例实施例的功能。备选地，流程图的步骤表示被存储在控制服务装置的一个或多个设备中的一个或多个电路系统中的一个或多个计算机代码指令，当由控制服务装置的一个或多个设备的一个或多个电路系统执行时，这些指令被配置为使装置至少执行示例实施例的功能。这些步骤可以以不同于所示顺序的另一顺序执行，并且各个步骤可以组合或分离为组成步骤。在一些实施例中，一个或多个步骤可以是可选的。该流程图具有以下步骤：

步骤502：通过控制服务，接收由用户从多个可用的身体动作输入设备中选择的所选的身体动作输入设备的标识信息；

步骤504：通过控制服务，接收由用户从多个可用的受控设备中选择的所选的受控设备的标识信息；

步骤506：通过控制服务订阅来自所选的身体动作输入设备的一个或多个传感器信号，在与所选的身体动作输入设备交互时，该一个或多个传感器信号包括原始传感器数据，该原始传感器数据对应于用户的一个或多个身体动作；

步骤508：通过控制服务基于所选的身体动作输入设备的标识信息和所选的受控设备的标识信息，从控制服务的多个组件控制服务中选择组件控制服务，每个组件控制服务对应于多个可用的身体动作输入设备中的一个身体动作输入设备以及多个可用的受控设备中的一个受控设备；

步骤510：通过控制服务，使用所选的组件控制服务来分析原始传感器数据，以在与所选的身体动作输入设备交互时标识身体动作输入，该身体动作输入对应于用户的一个或多个身体动作；

步骤512：通过控制服务，使用所选的组件控制服务将所标识的身体动作输入转换成一个或多个控制信号，以在与所选的身体动作输入设备交互时控制与用户的一个或多个身体动作相对应的所选受控设备；以及

步骤514：通过控制服务，提供一个或多个控制信号以在与所选的身体动作输入设备交互时响应于用户的一个或多个身体动作来控制所选的受控设备。

图4图示了示例实施例，其中，示出了根据示例实施例的基于磁性、电子和/或光学技术(诸如，磁盘、光盘、半导体存储器电路设备和微型sd存储卡(sd是指安全数字标准))的可移动存储介质125/127的示例，以存储数据和/或计算机程序代码作为示例计算机程序产品。

示例实施例的一些优点包括以下内容：

无论示例控制服务108的主要功能性被实现为软件或电路系统还是在云服务器中被实现，都易于部署具有附加功能性或改进处理的新版本。可以每天发行新版本，并将其部署到控制服务108，以向所有用户提供新的功能性。最终用户不需要使姿势套筒设备100闪存(flash)或安装新的套筒网关应用。

姿势服务器100与后端服务器104之间的控制距离不是问题。

实施例支持在多设备可缩放系统中进行多无人机(iot)设备管理。

实施例使多个套筒能控制一个设备。

实施例使具有两个套筒设备的人能控制一个无人机。

实施例使具有所拥有的的套筒设备的两个人能够控制一个无人机和无人机上的相机。

实施例使数据流能适配于通过网络的可靠递送。

实施例支持套筒设备简化，因为大多数智能是在控制服务器中被实现的。

实施例使逻辑元件和功能能在任何网络(例如，家庭网络)中被实现。

无人机的控制服务还可以考虑与无人机的飞行控制不直接相关的其他标准，以调整无人机的姿势输入，诸如系统的延时。

尽管已经公开了特定示例实施例，但是本领域技术人员将理解，可以对特定示例实施例进行改变。