基于手势的控制方法、系统、装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，具体涉及一种基于手势的控制方法、系统、装置、电子设备和存储介质。


背景技术：

2.随着智能终端技术的发展，越来越智能化的电视可以为用户提供更加的应用的功能。但因受限于电视的远场使用场景，用户难以采用手机所适用的触控方式对电视进行便捷的控制。与手机相比，若需在电视上从海量的应用中找到特定的应用，并在特定的应用中定位到特定的界面，需要用户进行繁琐的操作并耗费较多时间。


技术实现要素：

3.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
4.第一方面，根据本公开的一个或多个实施例，提供了一种基于手势的控制方法，用于第一终端，所述方法包括：
5.检测用户的手势并确定所述手势是否为关联手势；
6.响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；
7.若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
8.第二方面，根据本公开的一个或多个实施例，提供了一种基于手势的控制方法，用于第一终端，所述第二终端能够与第一终端通信连接；所述方法包括：
9.当第一预设条件满足时，确定关联手势；
10.当第二预设条件满足时，获取关联项目；
11.将所述关联手势与所述关联项目进行关联；
12.向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
13.第三方面，根据本公开的一个或多个实施例，提供了一种手势控制装置，包括：
14.第一手势识别单元，用于检测用户的手势并确定所述手势是否为关联手势；
15.第一项目确定单元，响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；
16.第一执行单元，用于若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
17.第四方面，根据本公开的一个或多个实施例，提供了一种手势控制装置，包括：
是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。术语“响应于”以及有关的术语是指一个信号或事件被另一个信号或事件影响到某个程度，但不一定是完全地或直接地受到影响。如果事件x“响应于”事件y而发生，则x可以直接或间接地响应于y。例如，y的出现最终可能导致x的出现，但可能存在其它中间事件和/或条件。在其它情形中，y可能不一定导致x的出现，并且即使y尚未发生，x也可能发生。此外，术语“响应于”还可以意味着“至少部分地响应于”。
37.术语“确定”广泛涵盖各种各样的动作，可包括获取、演算、计算、处理、推导、调研、查找(例如，在表、数据库或其他数据结构中查找)、探明、和类似动作，还可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)和类似动作，以及解析、选择、选取、建立和类似动作等等。其他术语的相关定义将在下文描述中给出。其他术语的相关定义将在下文描述中给出。
38.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
39.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
40.为了本公开的目的，短语“a和/或b”意为(a)、(b)或(a和b)。
41.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
42.图1示出了本公开一实施例提供的基于手势的控制方法100的流程图，方法100包括：
43.步骤s120：检测用户的手势并确定所述手势是否为关联手势。
44.其中，关联手势是用于与特定项目关联的手势。示例性地，可以通过第一终端内置或外接的摄像装置捕获的图像，对图像中的用户手势进行检测和识别。
45.示例性地，第一终端可以将检测的手势与第一终端预先存储的关联手势进行比较，以确定所检测的手势所对应的关联手势，例如，当检测的用户手势与关联手势a的相似度超过预设阈值时，则确定该用户手势为关联手势a。
46.步骤s140：响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目。
47.其中，关联项目是用于与特定手势关联的项目，包括所述第一终端的图形用户界面和/或用于控制其他设备的控制指令；第一终端的图形用户界面包括但不限于第一终端上装载或配置的应用、组件、插件、控件等的显示界面或视图。以观看视频的应用场景为例，项目可以包括某个视频应用程序提供的某档节目所在的应用界面。以智能家居应用场景为例，项目可以包括控制电灯、空调、扫地机器人等家用电器工作状态的控制指令。
48.步骤s160：若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
49.示例性地，当第一终端识别到与图形用户界面关联的手势后，第一终端可以执行与该界面对应的功能，例如打开第一终端装载的某一个应用界面；当第一终端识别到与控制指令关联的手势后，第一终端可以基于所述控制指令发出对应的指令，以使其他设备执
行与所述控制指令对应的功能。示例性地，第一终端可以发送请求至与云端服务器，以使服务器发送相应的指令，控制其他设备执行对应的功能。例如，对于接入了物联网(internet of things,iot)的第一终端，用户可以向第一终端发出用于指示开启扫地机的手势，第一终端向物联网服务器基于与该手势关联的控制指令发送对应的指令，以开启扫地机。
50.示例性地，用户可以将某视频应用所提供的某视频节目所在的应用界面a的与特定的手势a进行关联，当用户对第一终端做出手势a时，第一终端可以基于打开与手势a关联的应用界面a。
51.这样，根据本公开一个或多个实施例，用户可以通过做出特定的手势来控制第一终端执行自身包含的图形用户界面对应的功能，也可以将第一终端作为指令的接收、识别和分发平台来控制其他设备，从而可以提高了交互效率、扩展了第一终端的功能。
52.在一些实施例中，方法100还包括：步骤s110，预先将关联手势与关联项目进行关联，其中，步骤s110具体包括：
53.步骤s101：当第一预设条件满足时，确定关联手势；
54.示例性地，可以通过第一终端向用户提供至少一个预设手势供用户选择，并响应于用户对预设手势的触发操作，确定关联手势；或者，可以在接收到其他设备发送的手势信息后，基于该手势信息确定带关联手势。需要说明的是，第一预设条件还可以包括本领域已知的其他触发条件，本公开在此不做限制。
55.步骤s102：当第二预设条件满足时，确定关联项目，其中，所述关联项目包括所述第一终端的图形用户界面和/或用于控制其他设备的控制指令。
56.示例性地，可以响应于接收到用户对特定的项目的触发操作，确定关联项目。需要说明的是，第二预设条件还可以包括本领域已知的其他触发条件，本公开在此不做限制。
57.步骤s103：将所述关联手势与所述关联项目进行关联，以使所述关联手势能够被指定用于触发所述关联项目对应的功能。
58.在一些实施例中，可以获取所述关联项目的目标信息，并将所述关联手势与所述关联项目的目标信息进行关联。其中，目标信息可以包括但不限于应用信息、组件信息、执行文件信息、控制指令等用于触发特定功能的信息。以关联项目为应用程序的界面为例，目标信息可以包括应用程序的应用信息，例如应用包名，以及与该界面对应的组件信息，例如activity组件。在本实施例中，可以将关联手势和关联项目的目标信息进行关联，并存储该关联关系。
59.需要说明的是，步骤s160中的关联手势和关联项目可以包括由第一终端基于步骤s101
‑
s103所确定和关联的手势和项目，也可以包括由其他方式或其他终端所确定和关联的手势和项目，具体可以参见下述其他实施例，本公开在此不做限制。
60.进一步地，在一些实施例中，步骤s110还包括：
61.步骤a1：接收第二终端发送的关联手势和与所述关联手势关联的控制指令。
62.在本实施例中，通过使第一终端接收第二终端发送的关联手势和与所述关联手势关联的控制指令，可以使第一终端识别到与该关联手势时，可以基于该关联手势执行对应的控制指令，例如向云端服务器发出对应的请求以控制其他终端执行对应的功能。
63.在一些实施例中，步骤s101包括：接收来自第二终端发出手势信息；基于所述手势信息确定关联手势。示例性地，用户可以通过第二终端选择对应的关联手势并通过第二终
端向第一终端发送对应的手势信息，以使第一终端基于所述手势信息确定关联手势，从而实现通过第二终端与第一终端进行远程控制来确定关联手势。
64.在一些实施例中，步骤s101包括：
65.步骤b11：接收来自第二终端发出的预设指令，接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联手势。
66.在一些实施例中，步骤s102包括：
67.步骤b12：接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联项目。
68.示例性地，第二终端可以显示预设的控件，用户触发该控件后，第二终端可以向第一终端发送预设的指令，使第一终端向用户提供一个或多个项目供用户选择，第一终端基于用户的选择确定关联项目。例如，第二终端可以显示用于关联第一终端的项目的控件，用户点击该控件后，第二终端向第一终端发送预设的指令；第一终端接收到该预设的指令后，可以显示用于提示该用户在第一终端上选择待关联的图形用户界面的提示信息；用户操作第一终端以在第一终端上选择关联项目。
69.进一步地，在一些实施例中，步骤s110还包括：
70.步骤b20：向所述第二终端发送用于表征所述关联项目的信息。
71.示例性地，用于表征所述关联项目的信息可以包括关联项目的截图。例如，当用户操作第一终端确定关联项目后，可以对被选中的关联项目进行截图，并将第一终端发送至第二终端。在本实施例中，通过将用于表征所述关联项目的信息发送至第二终端，可以在第二终端同步显示被确定的关联项目。
72.在一些实施例中，步骤s110还包括：在确定关联手势之前，显示所述至少一个预设的手势；步骤s101包括：响应于识别出用户做出所述预设的手势，将所述预设的手势确定为所述关联手势。
73.在本实施例中，第一终端可以显示其预先能够识别的至少一个预设的手势，用户可以模仿其中一个预设的手势做出手势，以使第一终端将被用户所模仿的预设的手势作为关联手势。作为一种实现方式，第一终端可以获取用户所做出的手势，并将该手势与所述至少一个预设的手势进行比对，并将与用户所做手势相似度最高的预设的手势确定为关联手势。
74.在一些实施例中，第一终端预先能够识别至少一个预设的手势，所述关联手势为所述至少一个预设的手势中的一个手势。手势识别需要耗费大量的计算资和时间来训练识别模型。对此，本实施例通过使第一终端预先能够识别至少一个预设的手势，再让用户从所述终端能够识别的手势中选择关联手势，从而使得用户所确定的关联手势在后续的实际使用中能够被终端快速和准确的识别，相比使第一终端识别用户临时做出的手势，准确率更高。
75.在一些实施例中，步骤s102包括：响应于识别到用户做出预设的手势，将所述第一终端当前显示的界面作为所述关联项目。在本实施例中，通过响应于识别到用户做出预设的手势，将所述第一终端当前显示的界面作为所述关联项目，而无需对项目设置额外的用于确定关联项目的菜单选项或其他交互策略，从而实现关联项目的快捷确定。
76.在一些实施例中，所述第一预设条件和所述第二预设条件包括相同的条件在本实
例中，通过将第一预设条件和所述第二预设条件包括相同的条件，可以同时确定关联手势和关联项目，从而提高确定关联手势和关联项目的效率。
77.示例性地，用户可以在第一终端的设置功能中触发用于开始关联手势和项目的控件，该控件被触发后，第一终端开始监控用户的手势；用户可以在通过常规方式找到并打开拟作为关联项目的图形用户界面后，做出预设的手势；当第一终端识别到用户做出的预设的手势超过预设的时间阈值，或者在预设的时段内该预设的手势出现的时间或帧数的占比超过预设的阈值，则第一终端可以将该预设的手势确定为关联手势，并将所述第一终端当前显示的界面确定为所述关联项目。
78.在一些实施例中，步骤s102包括：获取两个以上关联项目；步骤s103包括：将所述关联手势与所述两个以上关联项目关联。在本实施例中，通过将一个关联手势与多个关联项目进行关联，可以使用户使用一个手势同时触发多个项目，例如，用户可以通过一个手势同时打开视频应用界面和游戏应用界面进行多屏显示。
79.在一些实施方式中，用户可以先后在不同的图形用户界面做出同一个预设的手势并使该手势满足预设的条件，则第一终端可以将该同一个预设的手势与不同的图形用户界面进行关联。
80.图2示出了本公开一实施例提供的基于手势的控制方法200的流程图，方法200包括：
81.步骤s201：响应于用户的操作，显示第一终端能够识别的至少一个预设的手势。
82.步骤s202：当识别到用户做出预设的手势且该手势满足预设的条件时，将用户所做出的预设的手势确定为关联手势，并将所述第一终端当前显示的应用界面作为所述关联项目；
83.步骤s203：获取所述应用界面对应的应用信息和组件信息；
84.步骤s204：将所述关联手势与所述应用信息和组件信息进行关联并存储所述关联关系；
85.步骤s205：检测用户的手势并确定所述手势是否为关联手势，并响应于识别出用户做出所述关联手势，确定所述关联手势对应的关联项目。
86.步骤s206：若所述关联项目包括所述应用界面，则基于所述应用信息和关联组件信息打开所述应用界面。
87.在一些实施例中，可以重复执行步骤s202
‑
s204，并且在每次执行步骤s202时，用户所做出的预设的手势均相同，但当前终端显示的应用界面不同，这样，可以将同一个关联手势与多个不同的关联项目进行关联。
88.图3示出了本公开一实施例提供的基于手势的控制方法300的流程图，方法300用于第二终端，所述第二终端能够与第一终端通信连接；方法300包括：
89.步骤s301：当第一预设条件满足时，确定关联手势；
90.在一些实施例中，可以在第二终端显示至少一个预设的手势供用户选择，并基于用户的选择操作从至少一个预设的手势中确定所述关联手势。
91.进一步地，在一些实施例中，所述第一终端预先能够识别所述至少一个预设的手势。手势识别需要耗费大量的计算资和时间来训练识别模型。对此，本实施例通过使第二终端显示第一终端能够预先识别的多个预设的手势，供用户从中选择关联手势，从而使得用
户所确定的关联手势在后续的实际使用中能够被第一终端快速和准确的识别，从而提高识别准确率和效率。
92.步骤s302：当第二预设条件满足时，获取关联项目。
93.示例性地，可以在第二终端显示至少一个项目供用户选择，并响应于用户的选择确定所述关联项目。
94.步骤s303：将所述关联手势与所述关联项目进行关联。
95.步骤s304：向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
96.示例性地，关联项目的信息可以包括但不限于应用信息、组件信息、执行文件信息、控制指令信息等。以关联项目为应用程序的界面为例，目标信息可以包括应用程序的应用信息，例如应用包名，以及与该界面对应的界面组件信息，例如activity组件。
97.根据本公开的一个或多个实施例提供的方法，通过借助第二终端确定、绑定关联手势和关联项目，并将绑定的关联手势和关联项目发送给第一终端，使第一终端能够响应于确定所述手势为关联手势，执行关联项目对应的功能，可以提高关联手势和关联项目的关联效率，并且可以实现跨平台关联手势和项目。
98.在一些实施例中，所述关联项目包括用于控制其他设备的控制指令。在本实施例中，通过将产生于第二终端的控制指令与手势进行关联并发送给第一终端，从而使第一终端能够识别出该手势后基于该控制指令发出相应的指令，从而可以将第一终端作为指令的接收、识别和分发平台，扩展了第一终端的用途和功能。
99.在一些实施例中，可以控制第二终端向所述第一终端发送表征所述关联手势的手势信息，以使所述第一终端基于该手势信息确定关联手势。
100.在一些实施例中，方法300还包括：
101.响应于用户对所述第一终端的操作，向第一终端发出的预设指令，以使第一终端基于用户对所述第一终端的操作确定关联项目。
102.在本实施例中，既通过第一终端确定关联项目，又通过第二终端确定关联项目，可以实现使同一手势关联不同平台的项目。
103.在一些实施例中，方法300还包括：
104.接收所述第一终端发送的用于表征所述关联项目的信息。
105.示例性地，用于表征所述关联项目的信息可以包括关联项目的截图。例如，当用户操作第一终端确定关联项目后，可以对被选中的关联项目进行截图，并将第一终端发送至第二终端。在本实施例中，通过将用于表征所述关联项目的信息发送至第二终端，可以在第二终端同步显示被确定的关联项目。
106.针对上述信息显示方法，图4a示出了本公开一实施例提供的系统的示意图，包括第一终端410和第二终端420，第一终端410包括但不限于诸如数字tv、台式计算机等固定终端，终端420包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)等移动终端。第一终端410通过蓝牙、局域网、广域网或者互联网与第二终端420直接连接或经由其他中间服务器或装置间接连接。
107.图4b示出了根据本公开实施例提供的系统中第一终端410和第二终端420的信号
流图。
108.在步骤s401中，第二终端响应于用户的操作，显示至少一个第一终端能够预先识别的预设的手势。
109.在步骤s402中，第二终端基于用户的选择确定关联手势。
110.在步骤s403中，第二终端基于用户的操作确定至少一个关联项目。
111.在步骤s404中，第二终端将所述关联手势与所述至少一个关联项目进行关联。
112.在步骤s405中，第二终端发送用于表征所述关联手势的信息和所述关联项目的信息。
113.在步骤s406中，第二终端响应于用户的操作，向第一终端发出的预设指令。
114.在步骤s407中，第一终端响应于所述预设指令，基于用户对所述第一终端的操作确定关联手势。
115.在步骤s408中，第一终端基于用户对所述第一终端的操作确定至少一个关联项目。
116.在步骤s409中，第一终端将所述关联手势与所述至少一个关联项目关联。
117.在步骤s410中，第一终端检测用户的手势并确定所述手势是否为关联手势，并响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目。
118.在步骤s411中，第一终端执行所述关联手势所关联的关联项目对应的功能，包括：若所述关联项目包括图形用户界面，则打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
119.示例性地，手机端可以在设置选项内显示“设置捷径手势”控件，该控件被触发后，手机端可以显示“注册手机端事件”和“注册电视端界面”控件；若“注册手机端事件”被用户触发后，手机端可以显示多个电视端预先即能够识别的手势；手机端响应于用户对其中手势a的选中操作，确定手势a为关联手势；手机端还可以显示多个控制选项供用户选择，响应于用户对其中“开启扫地机”选项的选中操作，手机端可以将手势a和“开启扫地机”对应的控制指令进行关联并发送给电视端；用户还可以继续选中“注册电视端界面”控件，使手机端可以通过蓝牙等无线传输方式向电视端发出预设的指令；电视端收到预设指令后，可以显示提示用户选择关联手势和关联项目的提示信息；随后用户可以控制电视端进入到应用界面a下，作出手势a并维持超过预设的时间阈值；电视端可以将手势a确定为关联手势，将应用界面a确定为关联界面，并将二者进行关联。在此情况下，手势a同时与事件“开启扫地机”和事件“打开应用界面a”进行了关联。当关联完成后，电视再次识别到用户作出手势a时，电视可以自动打开应用界面a，并发出用于开启扫地机的控制指令，以使开启扫地机。
120.相应地，如图5所示，根据本公开的一实施例提供了一种手势控制装置500，包括：
121.第一手势识别单元501，用于检测用户的手势并确定所述手势是否为关联手势；
122.第一项目确定单元502，用于响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；
123.第一执行单元503，用于若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
124.在一些实施例中，装置500还包括：
125.关联单元，用于预先将关联手势与关联项目进行关联；所述关联单元具体包括：
126.手势确定子单元，用于当第一预设条件满足时，确定关联手势；
127.项目确定子单元，用于当第二预设条件满足时，确定关联项目；以及
128.关联子单元，用于将所述关联手势与所述关联项目进行关联，以使所述关联手势能够被指定用于触发所述关联项目对应的功能。
129.在一些实施例中，所述关联单元还包括：
130.关联接收子单元，用于接收第二终端发送的关联手势和与所述关联手势关联的关联项目。
131.在一些实施例中，所述手势确定子单元包括：
132.手势接收子单元，用于接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联手势。
133.在一些实施例中，所述项目确定子单元包括：
134.项目接收子单元，用于接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联项目。
135.在一些实施例中，装置500还包括：
136.项目发送单元，用于向所述第二终端发送用于表征所述关联项目的信息。
137.在一些实施例中，所述关联子单元具体用于获取所述关联项目的目标信息；以及将所述关联手势与所述关联项目的目标信息进行关联。
138.在一些实施例中，所述关联单元还包括：预设手势显示子单元，用于显示所述至少一个预设的手势；所述手势确定子单元用于响应于识别出用户做出所述预设的手势，将所述预设的手势确定为所述关联手势。
139.进一步地，在一些实施例中，所述项目确定子单元用于响应于识别到用户做出预设的手势，将所述第一终端当前显示的界面作为所述关联项目。
140.在一些实施例中，所述项目确定子单元可以用于获取两个以上关联项目；所述关联子单元，用于将所述关联手势与所述两个以上关联项目关联。
141.相应地，如图6所示，根据本公开的一实施例提供了一种手势控制装置600，包括：
142.第二手势确定单元601，当第一预设条件满足时，确定关联手势；
143.第二项目确定单元602，当第二预设条件满足时，获取关联项目；
144.第二关联单元603，将所述关联手势与所述关联项目进行关联；
145.第二发送单元604，用于向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
146.在一些实施例中，装置600还包括：
147.指令发送单元，用于响应于用户对所述第一终端的操作，向第一终端发出的预设指令，以使第一终端基于用户对所述第一终端的操作确定关联项目。
148.在一些实施例中，方法300还包括：
149.同步单元，用于接收所述第一终端发送的用于表征所述关联项目的信息。
150.对于装置的实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法
实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
151.相应地，根据本公开的一个或多个实施例，提供了一种电子设备，包括：
152.至少一个存储器和至少一个处理器；
153.其中，存储器用于存储程序代码，处理器用于调用存储器所存储的程序代码以使所述电子设备执行根据本公开一个或多个实施例提供的基于手势的控制方法。
154.相应地，根据本公开的一个或多个实施例，提供了一种非暂态计算机存储介质，非暂态计算机存储介质存储有程序代码，程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开一个或多个实施例提供的基于手势的控制方法。
155.图7示出了用来实现本公开实施例的电子设备800的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、数字tv、台式计算机等终端设备或服务器设备。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
156.如图7所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
157.通常，以下装置可以连接至i/o接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。示例性地，存储装置808可以存储第一数据库和第二数据库，其中，第一数据库存储有第一程序的至少一个第一子程序标识；第二数据库存储有第一程序的至少一个第二子程序标识。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
158.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的装置的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从rom 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的装置中限定的上述功能。
159.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的信息处理系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电
连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行信息处理系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行信息处理系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
160.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
161.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
162.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：检测用户的手势并确定所述手势是否为关联手势；响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
163.或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：当第一预设条件满足时，确定关联手势；当第二预设条件满足时，获取关联项目；将所述关联手势与所述关联项目进行关联；向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
164.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
165.附图中的流程图和框图，图示了按照本公开各种实施例的系统、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代
表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
166.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一手势识别单元可以被描述为“用于当第一预设条件满足时，确定关联手势的单元”。
167.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
168.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
169.根据本公开的一个或多个实施例，提供了一种基于手势的控制方法，用于第一终端，包括：检测用户的手势并确定所述手势是否为关联手势；响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
170.根据本公开的一个或多个实施例提供的基于手势的控制方法，还包括：预先将关联手势与关联项目进行关联，包括：当第一预设条件满足时，确定关联手势；当第二预设条件满足时，确定关联项目；以及将所述关联手势与所述关联项目进行关联，以使所述关联手势能够被指定用于触发所述关联项目对应的功能。
171.根据本公开的一个或多个实施例，所述预先将关联手势与关联项目进行关联，还包括：接收第二终端发送的关联手势和与所述关联手势关联的关联项目。
172.根据本公开的一个或多个实施例，所述当第一预设条件满足时，确定关联手势，包括：接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联手势。
173.根据本公开的一个或多个实施例，所述当第二预设条件满足时，确定关联项目，包括：接收来自第二终端发出的预设指令，基于用户对所述第一终端的操作确定关联项目。
174.根据本公开的一个或多个实施例，所述预先将关联手势与关联项目进行关联包括：向所述第二终端发送用于表征所述关联项目的信息。
175.根据本公开的一个或多个实施例，所述将所述关联手势与所述关联项目进行关联，包括：获取所述关联项目的目标信息；将所述关联手势与所述关联项目的目标信息进行关联。
176.根据本公开的一个或多个实施例，当所述关联项目包括应用界面时，所述关联项目的目标信息包括所述应用界面对应的应用信息和组件信息。
177.根据本公开的一个或多个实施例，所述第一终端预先能够识别至少一个预设的手势，所述关联手势为所述至少一个预设的手势中的一个手势。
178.根据本公开的一个或多个实施例，所述预先将关联手势与关联项目进行关联，还包括：在确定关联手势之前，显示所述至少一个预设的手势；所述当第一预设条件满足时，确定关联手势，包括：响应于识别出用户做出所述预设的手势，将所述预设的手势确定为所述关联手势。
179.根据本公开的一个或多个实施例，所述当第二预设条件满足时，确定关联项目，包括：响应于识别到用户做出预设的手势，将所述第一终端当前显示的界面作为所述关联项目。
180.根据本公开的一个或多个实施例，所述第一预设条件和所述第二预设条件包括相同的条件。
181.根据本公开的一个或多个实施例，所述当第二预设条件满足时，确定关联项目，包括：获取两个以上关联项目；所述将所述关联手势与所述关联项目进行关联，包括：将所述关联手势与所述两个以上关联项目关联。
182.根据本公开的一个或多个实施例，所述第一终端为移动终端，所述第二终端为固定终端。
183.根据本公开的一个或多个实施例，提供了一种基于手势的控制方法，用于第二终端，所述第二终端能够与第一终端通信连接；所述方法包括：当第一预设条件满足时，确定关联手势；当第二预设条件满足时，获取关联项目；将所述关联手势与所述关联项目进行关联；向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
184.根据本公开的一个或多个实施例，提供了一种手势控制装置，包括：第一手势识别单元，用于检测用户的手势并确定所述手势是否为关联手势；第一项目确定单元，响应于确定所述手势为关联手势，确定所述关联手势对应的关联项目；第一执行单元，用于若所述关联项目包括图形用户界面，则控制所述第一终端打开所述图形用户界面；和/或，若所述关联项目包括控制指令，则控制所述第一终端基于所述控制指令发出对应的指令，以使其他设备执行与所述控制指令对应的功能。
185.根据本公开的一个或多个实施例，提供了一种基于手势的控制装置，包括：第二手势确定单元，当第一预设条件满足时，确定关联手势；第二项目确定单元，当第二预设条件满足时，获取关联项目；第二关联单元，将所述关联手势与所述关联项目进行关联；第二发送单元，用于向所述第一终端发送用于表征所述关联手势的信息和所述关联项目的信息，以使所述第一终端能够响应于识别出用户做出所述关联手势，执行所述关联项目对应的功能。
186.根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个存储器和
至少一个处理器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行根据本公开的一个或多个实施例提供的方法。
187.根据本公开的一个或多个实施例，提供了一种非暂态计算机存储介质，所述非暂态计算机存储介质存储有程序代码，所述程序代码被计算机设备执行时，使得所述计算机设备执行根据本公开的一个或多个实施例提供的方法。
188.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
189.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
190.尽管已经采用特定于结构特征和/或装置逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。