电子设备的控制方法、装置及电子设备与流程

文档序号:29119179发布日期:2022-03-04 20:37阅读:159来源:国知局
电子设备的控制方法、装置及电子设备与流程

1.本公开实施例涉及互动技术领域,更具体地,涉及电子设备的控制方法、电子设备的控制装置、电子设备及计算机可读存储介质。


背景技术:

2.随着近年来互动技术领域的蓬勃发展,人机交互的方式已经逐渐从接触式的鼠标、按钮等操作向着减少接触、增加交互便捷性和交互效率的方向演变,目前比较流行的操控方式为通过电子设备指定的设定手势,对电子设备进行无接触式操控。对于该种无接触式操控,现有技术中,电子设备是基于对手部手势状态的识别进行相应的响应,而不会对实施手势的个体加以区分,这在多人同时进行操控的场景下,将会造成响应混乱,而无法对特定个体的操控进行响应,因此,有必要提供一种关于电子设备控制的新的技术方案,以提高电子设备在响应手势操控时的准确性。


技术实现要素:

3.本公开实施例的一个目的是提供一种关于电子设备控制的新的技术方案。
4.根据本公开的第一方面,提供了一种电子设备的控制方法的一个实施例,该电子设备具有摄像装置,所述控制方法包括:
5.获取所述摄像装置拍摄到的第一图像;
6.在所述第一图像中检测特定的一当前响应个体;
7.在检测到所述当前响应个体的情况下,根据所述第一图像获得所述当前响应个体的手势状态;
8.根据所述手势状态,获得所述当前响应个体向所述电子设备发出的操控指令,作为有效的操控指令。
9.可选地,在所述在所述图像中检测特定的一当前响应个体之前,该方法还包括:
10.获取所述摄像装置拍摄到的第二图像,其中,所述第二图像的拍摄时间早于所述第一图像的拍摄时间;
11.在所述第二图像中检测已授权个体;
12.在检测到已授权个体的情况下,在所述已授权个体中选出具有最高操控优先级的个体作为所述当前响应个体。
13.可选地,所述在所述第二图像中检测已授权个体,包括:
14.检测所述第二图像中存在的个体,获得每一个体对应的人体区域图像;
15.根据所述人体区域图像,获得对应个体的脸部区域图像;
16.根据所述脸部区域图像,检测对应个体是否为已授权个体。
17.可选地,所述检测所述第二图像中存在的个体,获得每一个体对应的人体区域图像,包括:
18.将所述第二图像输入至预置的人形检测模型中,获得所述第二图像中对应每一个
体的人体区域;
19.根据所述人体区域,获得对应的人体区域图像;和/或,
20.所述根据所述人体区域图像,获得对应个体的脸部区域图像,包括:
21.将所述人体区域图像输入至预置的人脸检测模型中,获得所述人体区域图像中的脸部区域;
22.根据所述脸部区域,获得对应的脸部区域图像。
23.可选地,在所述在所述图像中检测特定的一当前响应个体的步骤之前,所述方法还包括:
24.获取拾取到的声音信号;
25.根据所述声音信号,检测所存在的已授权个体;
26.在检测到已授权个体的情况下,在检测到的已授权个体中选出具有最高操控优先级的个体作为所述当前响应个体。
27.可选地,确定已授权个体的当前的操控优先级的步骤,包括:
28.根据预先设置的触发优先级变更的至少一个事件,检测是否发生其中一事件;
29.在检测到一事件的情况下,获取对应于该事件的优先级设置方案;
30.根据获取到的优先级设置方案,确定已授权个体的当前的操控优先级。
31.可选地,所述触发优先级变更的至少一个事件包括所述电子设备处于指定应用场景的事件、所述电子设备接收到特定语音内容的事件、所述电子设备感应到特定动作的事件中的至少一项。
32.可选地,所述根据所述手势状态,获得所述当前响应个体向所述电子设备发出的操控指令,包括:
33.在所述手势状态属于设定手势的情况下,获取对应于所述设定手势的操控指令,作为所述当前响应个体向所述电子设备发出的操控指令。
34.可选地,所述根据所述第一图像获得所述当前响应个体的手势状态,包括:
35.根据所述第一图像的对应于所述当前响应个体的人体区域,获得对应于所述当前响应个体的人体区域图像;
36.根据所述人体区域图像,获得所述当前响应个体的手势状态。
37.可选地,所述根据所述人体区域图像,获得所述当前响应个体的手势状态,包括:
38.根据所述人体区域图像,获得对应于所述当前响应个体的上半身的局部图像;
39.根据所述局部图像,获得所述当前响应个体的手势状态。
40.可选地,所述根据所述局部图像,获得所述当前响应个体的手势状态,包括:
41.提取所述局部图像中对应人手特征的人手区域,获得人手区域图像;
42.根据所述人手区域图像,确定所述当前响应个体的手势状态。
43.可选地,所述根据所述人手区域图像,确定所述当前响应个体的手势状态,包括:
44.将所述人手区域图像输入至预置的分类模型,其中,所述分类模型反映人手图像与关于手势的分类结果间的映射关系;
45.根据所述分类模型输出的分类结果,获得所述当前响应个体的手势状态。
46.可选地,获得所述分类模型的步骤,包括:
47.获取人手图像样本,其中,所述人手图像样本具有关于所对应的手势状态的标签;
48.通过所述人手图像样本训练选定模型的模型参数;
49.根据训练得到的模型参数配置所述选定模型,获得所述分类模型。
50.可选地,所述在所述第一图像中检测特定的一当前响应个体,包括:
51.获取所述第一图像与前序图像间的光流信息,其中,所述前序图像为拍摄时间早于所述第一图像,且检测到所述当前响应个体的图像;
52.根据所述当前响应个体在所述前序图像中的位置坐标及所述光流信息,在所述第一图像中检测所述当前响应个体。
53.可选地,所述在所述第一图像中检测特定的一当前响应个体,包括:
54.提取所述当前响应个体在所述摄像装置拍摄到的前序图像中的像素特征,其中,所述前序图像为拍摄时间早于所述第一图像,且检测到所述当前响应个体的图像;
55.根据所述像素特征,在所述第一图像中检测所述当前响应个体。
56.根据本说明书的第二方面,还提供了另一种电子设备的控制方法的一个实施例,该电子设备包括摄像装置,所述控制方法包括:
57.在所述摄像装置拍摄到的一段图像序列中,跟踪检测特定的一当前响应个体的手势状态,其中,所述当前响应个体为在所述图像序列的首帧图像中具有最高操控优先级的个体;
58.根据所述手势状态,获得所述当前响应个体向所述电子设备发出的操控指令;
59.根据所述操控指令,控制所述电子设备进行响应。
60.可选地,在所述在所述摄像装置拍摄到的一段图像序列中,跟踪检测特定的一当前响应个体的手势状态之前,所述方法还包括:
61.在所述摄像装置拍摄到的一图像中,检测已授权个体;
62.在检测到已授权个体的情况下,在所述已授权个体中选出具有最高操控优先级的个体作为所述当前响应个体,并将所述一图像作为所述首帧图像。
63.可选地,所述方法还包括:
64.在后序图像中没有检测到所述当前响应个体的情况下,将所述后序图像作为所述一图像,执行所述在所述摄像装置拍摄到的一图像中,检测已授权个体的步骤;
65.其中,所述后序图像的拍摄时间晚于所述图像序列中的首帧图像的拍摄时间。
66.根据本说明书的第三方面,还提供了一种电子设备的控制装置的一个实施例,包括:
67.图像获取模块,用于获取所述摄像装置拍摄到的第一图像;
68.跟踪检测模块,用于在所述第一图像中检测特定的一当前响应个体;
69.手势识别模块,用于在检测到所述当前响应个体的情况下,根据所述第一图像获得所述当前响应个体的手势状态;以及,
70.操控执行模块,用于根据所述手势状态,获得所述当前响应个体向所述电子设备发出的操控指令,作为有效的操控指令。
71.根据本说明书的第四方面,还提供了电子设备的一个实施例,包括如本说明书第三方面所述的电子设备的控制装置,或者,所述电子设备包括:
72.存储器,用于存储可执行命令;
73.处理器,用于在所述可执行命令的控制下,执行如本说明书第一方面或者第二方
面所述的电子设备的控制方法。
74.其中,所述摄像装置与所述处理器连接,以将拍摄到的图像输出至所述处理器。
75.可选地,所述电子设备还包括显示装置,所述显示装置的屏幕大于或者等于50寸。
76.根据本说明书的第五方面,还提供了计算机可读存储介质的一个实施例,其存储有可执行指令,所述可执行指令被处理器执行时,执行如本说明书的第一方面或者第二方面所述的电子设备的控制方法。
77.在本公开的一个实施例中,电子设备在根据摄像装置拍摄到的图像识别手势状态之前,会确定一特定个体作为当前响应个体,并在摄像装置拍摄到的图像中跟踪检测该当前响应个体,以获得该当前响应个体的手势状态,并将该手势状态对应的操控指令作为有效的操控指令,以根据该操控指令控制电子设备进行响应。这可以有效避免多人同时操控时可能造成的响应混乱问题。
78.通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
79.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
80.图1示意了根据一个实施例的应用场景示意图;
81.图2是可用于实现一个实施例的控制方法的电子设备的硬件配置结构图;
82.图3是根据一个实施例的电子设备的的控制方法的流程示意图;
83.图4是根据另一个实施例的电子设备的的控制方法的流程示意图;
84.图5是根据一个例子的电子设备的控制方法的流程示意图;
85.图6是根据一个实施例的电子设备的控制装置的原理框图;
86.图7是根据一个实施例的电子设备的结构示意图。
具体实施方式
87.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
88.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
89.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
90.在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
91.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
92.在用户通过电子设备指定的设定手势操控电子设备的应用场景中,电子设备可以通过摄像装置拍摄前方图像,并根据拍摄到的图像获得用户的手势状态,在获得的手势状
态属于设定手势的情况下,便根据该手势状态对应的操控指令控制该电子设备进行响应。
93.在一个实施方式中,电子设备可以直接在摄像装置拍摄到的图像中检测所存在的手部特征,以获得手部特征对应的手势状态,这在该图像中存在多个手部特征,且多个手部特征各自对应的手势状态均属于设定的手势状态的情况下,电子设备将可能出现响应混乱的问题。
94.为了解决该问题,本公开实施例提出了一种追踪已确定的当前响应个体,并根据该当前响应个体的手势状态控制电子设备进行响应的技术方案,进而避免电子设备出现响应混乱的问题,同时,实现基于特定的一当前响应个体的操控需求控制电子设备进行响应的效果,以提高响应的靶向性和准确性。
95.图1示出了本公开实施例的一个应用场景。该应用场景中,电子设备1000在摄像装置1500拍摄到的视频流中追踪当前响应个体,以根据当前响应个体的手势状态控制电子设备1000进行响应,其中,该视频流可以理解为是按照拍摄时间的先后顺序排列的图像序列。该电子设备1000可以是具有摄像装置1500的任意设备,例如,可以是手机、电视、投影仪或者音箱等,在此不做限定。
96.该电子设备1000在开机后会启动摄像装置1500按照设置的拍摄频率拍摄图像,并根据摄像装置1500拍摄到的图像,进行关于当前响应个体及该当前响应个体的手势状态的检测。电子设备1000在启动摄像装置1500进行拍摄时,摄像装置1500会按照设定的频率连续采集多帧图像,进而获得该图像序列,电子设备1000可以根据图像序列中个体的变化情况,确定当前响应个体,并追踪该当前响应个体,以对该当前响应个体进行持续响应。
97.以图1为例,该图像序列的第i帧图像出现了个体1和个体2,其中,个体1和个体2均为已授权个体,且个体1的操控优先级高于个体2的操控优先级,电子设备1000根据该第i帧图像,可以确定个体1为当前需要进行响应的当前响应个体,电子设备1000将在之后的图像中持续追踪该个体1,例如,在之后的第(i+1)帧、第(i+2)帧图像中都能够追踪到该个体1,直至根据第j帧图像没有追踪到该个体1为止,结束将该个体1作为当前响应个体的响应阶段,其中,j为大于(i+2)的整数,在该响应阶段,电子设备1000会根据该个体1的手势状态控制电子设备1000进行响应。电子设备1000根据第j帧图像,可以重新确定个体2为当前需要进行响应的当前响应个体,并在之后的图像中持续追踪该个体2,以根据个体2的手势状态控制电子设备1000进行响应,直至在之后的某一帧图像中无法追踪到个体2为止,结束将个体2作为当前响应个体的响应阶段,以此类推。
98.由此可见,通过本公开实施例的控制方法,不仅可以选择特定个体进行追踪响应,而且还可以在多人同时操作时避免出现响应混乱的问题。
99.《硬件配置》
100.图2为可以应用本公开实施例的控制方法的电子设备1000的组成结构示意图。
101.如图2所示,电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、摄像装置1500、显示装置1600,等等。其中,处理器1100用于执行计算机程序,该计算机程序可以采用比如x86、arm、risc、mips、sse等架构的指令集。存储器1200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括usb接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,远程或者短距离通信。摄像装置1500包括至少一个摄像头,用于拍摄图像。显示装置1600用于显示所要播
放的内容。
102.该电子设备1000可以是智能音箱、智能电视、投影仪等终端设备。该电子设备1000可以是具有较大显示屏幕的终端设备,例如,电子设备1000的显示装置1600的屏幕大于或者等于50寸等,在此不做限定。
103.在本实施例中,电子设备1000的存储器1200用于存储计算机程序,该计算机程序用于控制所述处理器1100进行操作以实施根据任意实施例的控制方法。技术人员可以根据本说明书所公开方案设计计算机程序。该计算机程序如何控制处理器1100进行操作,这是本领域公知,故在此不再详细描述。
104.本领域技术人员应当理解,尽管在图2中示出了电子设备1000的多个装置,但是,本公开实施例的电子设备1000可以仅涉及其中的部分装置,也可以还包含其他装置,在此不做限定。
105.《方法实施例一》
106.图3示出了根据一个实施例的电子设备的控制方法,该控制方法例如可以由如图2所示的电子设备1000实施。
107.本实施例的电子设备1000具有摄像装置1500,如图3所示,电子设备1000的控制方法可以包括以下步骤s3100~s3400:
108.步骤s3100,获取摄像装置1500拍摄到的第一图像。
109.该步骤s3100中,第一图像可以是摄像装置1500在电子设备1000开机后拍摄到的一帧图像。
110.步骤s3200,在第一图像中检测一当前响应个体。
111.本步骤s3200中,该当前响应个体为电子设备当前响应的个体。
112.本实施例中,电子设备1000在执行步骤s3200之前已确定该当前响应个体。
113.该当前响应个体可以由用户在本次使用电子设备1000的过程中指定,其中,用户在本次使用电子设备的过程中可以更改所指定的当前响应个体。
114.例如,电子设备在执行步骤s3200之前,还可以执行如下步骤:根据选择当前响应个体的操作,启动摄像装置拍摄并保存所选择个体的图像,以供电子设备确定该当前响应个体。
115.该当前响应个体也可以由电子设备根据保存的授权信息确定,例如,根据授权信息中的已授权个体的脸部图像及对应的操控优先级确定当前响应个体等,在此不做限定。
116.在一个实施例中,电子设备1000可以根据在第一图像之前拍摄到的第二图像,结合授权信息等确定当前响应个体,并在第一图像中跟踪检测所确定的当前响应个体,其中,该第一图像例如是图1中的第(i+1)帧图像或者第(i+2)帧图像等,第二图像例如是图1中的第i帧图像。
117.在一个实施例中,该步骤s3200中在第一图像中检测特定的一当前响应个体,可以包括如下步骤s3211~s3212:
118.步骤s3211,获取第一图像与前序图像间的光流信息,其中,前序图像为拍摄时间早于第一图像,且检测到
119.步骤s3211中,该前序图像可以是第一图像的前一帧图像,也可以是存在该当前响应个体的一段图像序列中的其他帧图像,例如是该段图像序列中的首帧图像等,其中,该第
一图像属于该段图像序列。例如,该第一图像为图1中的第(i+1)帧图像,该前序图像为图1中的第i帧图像。又例如,该第一图像为图1中的第(i+2)帧图像,该前序图像为图1中的第i帧图像和/或第(i+1)帧图像等。光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。在此,可以根据任意的光流算法,获得第一图像与前序图像间的光流信息以供步骤s3211获取。
120.光流算法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间目标对象的运动信息的一种方法。在该步骤s3211中,目标对象也即为该当前响应个体。
121.步骤s3212,根据当前响应个体在前序图像中的位置坐标及光流信息,在第一图像中检测该当前响应个体。
122.根据以上步骤s3211~s3212可知,该实施例中,由于光流信息反映当前响应个体在第一图像与前序图像间的的运动信息,因此,根据光流信息能够获得当前响应个体在第一图像中的图像位置坐标与在前序图像中的图像位置坐标间的位置关系,这样,根据该光流信息与当前响应个体在前序图像中的图像位置坐标,便能够获得该当前响应个体在第一图像中的图像位置坐标,进而实现在第一图像中检测该当前响应个体的目的。
123.根据以上步骤s3211~s3212可知,通过光流信息在第一图像中追踪检测当前响应个体,将无需通过人形检测模型等对第一图像进行人形检测、人脸检测,以通过脸部图像比对实现对当前响应个体的检测,这将提高检测速度,进而提高对于手势操控的响应速度。
124.在一个实施例中,在步骤s3200中在第一图像中检测特定的一当前响应个体,也可以包括如下步骤s3021~s3022:
125.步骤s3021,提取当前响应个体在摄像装置拍摄到的前序图像中的像素特征,其中,前序图像为拍摄时间早于第一图像,且检测到当前响应个体的图像。
126.该前序图像可以是第一图像的前一帧图像,也可以是存在该当前响应个体的一段图像序列中的其他帧图像,例如是该段图像序列中的首张图像等,其中,该第一图像属于该段图像序列。
127.该步骤s3021中提取的像素特征例如可以包括当前响应个体的轮廓特征等,在此不做限定。
128.步骤s3022,根据提取到的像素特征,在第一图像中检测该当前响应个体。
129.该步骤s3022中,可以通过检测第一图像中是否存在提取到的像素特征,来确定第一图像是否存在该当前响应个体,以提高检测速度。
130.在另外的实施例中,也可以结合以上光流信息和像素特征,在第一图像中检测该当前响应个体,在此不做限定。
131.步骤s3300,在检测到当前响应个体的情况下,根据第一图像获得当前响应个体的手势状态。
132.本实施例中,电子设备会已确定当前响应个体的情况下,将在第一图像中追踪该当前响应个体,并在追踪到该当前响应个体的情况下,根据第一图像获得该当前响应个体的手势状态,以根据该手势状态获得当前响应个体的操控需求。在根据第一图像获得当前响应个体的手势状态时,如果当前响应个体与摄像装置1500间的距离较远,例如,当前响应个体与摄像装置1500间的距离为3~5米远,则当前响应个体在第一图像中将具有较小的占
比,而当前响应个体的手部在第一图像中将具有更小的占比,这将增加根据第一图像准确识别该当前响应个体的手势状态的难度,降低识别结果的准确性。为了解决远距离识别的问题,在一个实施例中,该步骤s3300中根据第一图像获得当前响应个体的手势状态,可以包括如下步骤s3310~s3320:
133.步骤s3310,根据第一图像的对应于当前响应个体的人体区域,获得对应于当前响应个体的人体区域图像。
134.该实施例中,该第一图像的对应于当前响应个体的人体区域可以是该当前响应个体所在的方形区域,该方形区域可以是长方形或者正方形。该人体区域可以在以上的“在第一图像中检测特定的一当前响应个体”的步骤s3200中获得,即,通过步骤s3200在第一图像中检测到该当前响应个体的情况下,即可同时获得该当前响应个体在第一图像中的位置区域,即获得该第一图像的对应于该当前响应个体的人体区域。
135.步骤s3320,根据该人体区域图像,获得该当前响应个体的手势状态。
136.该步骤s3320中,由于当前响应个体在人体区域图像具有较大的占比,因此,根据该人体区域图像获得该当前响应个体的手势状态,将能够提高对于手势状态的识别结果的准确性。
137.在一个实施例中,为了进一步提高对于当前响应个体的手势状态的识别结果的准确性,该步骤s3320中根据该人体区域图像,获得该当前响应个体的手势状态可以包括如下步骤s3321~s3322:
138.步骤s3321,根据人体区域图像,获得对应于该当前响应个体的上半身的局部图像。
139.该步骤s3321中,可以根据人体区域图像中人体坐标位置和人脸坐标位置间的关系,在人体区域图像中确定当前响应个体的上半身所在的区域,该区域例如是一个方形区域,该上半身应该包括当前响应个体的手部。
140.该步骤s3321中,通过在人体区域图像中裁切出该当前响应个体的上半身所在的区域,便能够获得该局部图像。
141.步骤s3322,根据局部图像,获得该当前响应个体的手势状态。
142.该步骤s3322中,相对于人体区域图像,由于当前响应个体的手部在局部图像中将具有更大的占比,因此,根据局部图像获得该当前响应个体的手势状态将有利于提高识别结果的准确性。
143.在一个实施例中,该步骤s3322中根据局部图像,获得该当前响应个体的手势状态,可以包括:将局部图像输入至预置的分类模型中,通过该分类模型可以在局部图像中检测到手部所在的区域,并根据该区域体现的手部特征输出对应的手势状态。
144.在一个实施例中,为了进一步提高对于当前响应个体的手势状态的识别结果的准确性,该步骤s3322中根据局部图像获得该当前响应个体的手势状态,可以包括如下步骤s3322-1~s3322-2:
145.步骤s3322-1,提取局部图像中对应人手特征的人手区域,获得人手区域图像。
146.在一个实施例中,可以将局部图像输入至预置的人手检测模型,该人手检测模型可以在局部图像中检测到对应人手特征的人手区域,进而通过在局部图像中裁切出该人手区域,可以获得该人手区域图像。
147.该实施例中,获得该人手检测模型的步骤可以包括:获取关于人手图像的正样本和负样本;根据这些样本训练一选定模型的模型参数;以及,根据训练得到的模型参数配置该选定模型,即获得该人手检测模型。
148.该选定模型可以是适于进行图像检测的任意结构的模型,例如可以是一种神经网络模型等,在此不做限定。
149.步骤s3322-2,根据人手区域图像,确定该当前响应个体的手势状态。
150.该步骤s3322-2中,相对于局部图像,由于当前响应个体的手部在人手区域图像中将具有更大的占比,因此,根据人手区域图像获得该当前响应个体的手势状态将有利于提高识别结果的准确性。
151.该步骤s3322-2中根据人手区域图像,确定该当前响应个体的手势状态,可以包括如下步骤:将人手区域图像输入至预置的分类模型,其中,分类模型反映人手图像与关于手势的分类结果间的映射关系;以及,根据分类模型输出的分类结果,获得该当前响应个体的手势状态。
152.该分类模型可以预先训练得到,其中,获得该分类模型的步骤可以包括:获取人手图像样本,其中,该人手图像样本具有关于所对应的手势状态的标签;通过人手图像样本训练选定模型的模型参数;以及,根据训练得到的模型参数配置所述选定模型,获得该分类模型。
153.该实施例中,该选定模型可以是适于进行图像分类的任意结构的模型,例如,可以是任意结构的多分类模型等,在此不做限定。
154.该实施例中,对于不同的模型,可以基于不同的选定模型训练得到。例如,人手检测模型和分类模型分别通过不同的选定模型训练得到。
155.步骤s3400,根据通过步骤s3300获得的手势状态,获得当前响应个体向电子设备1000发出的操控指令,作为有效的操控指令。
156.本实施例中,电子设备1000识别手势状态,并将手势状态转化为对应的操控指令,以执行该操控指令。
157.本实施例中,电子设备1000将当前响应个体发出的操作指令作为有效的操控指令,进而执行该操控指令。
158.在一个实施例中,该步骤s3400中,根据手势状态,获得当前响应个体向电子设备1000发出的操控指令,可以包括:在手势状态属于设定手势的情况下,获取对应于设定手势的操控指令,作为当前响应个体向电子设备1000发出的操控指令。
159.该实施例中,设定手势对应的操控指令可以在电子设备1000出厂前即设置完成,用户可以根据电子设备1000配备的说明书中提供的各操控指令所对应的设定手势,进行电子设备的操控。
160.本实施例中,电子设备也可以支持用户根据自身的操作习惯自定义各操控指令对应的设定手势等。
161.在手势状态不属于设定手势的情况下,则结束对于当前的第一图像的处理,并回到步骤s3100获取新的第一图像,并进一步执行以上步骤s3200~s3400,以实现对当前响应个体的手势状态的追踪响应。
162.本实施例将摄像装置1500拍摄到的一图像作为第一图像为例,说明该控制方法,
电子设备1000在将其他图像作为第一图像实施该控制方法时可参照以上步骤s3100~s3400实施,在此不再赘述。
163.本实施例中,在第一图像中没有检测到当前响应个体的情况下,将结束追踪该当前响应个体,并可以根据该第一图像确定新的当前响应个体。在该第一图像不存在新的当前响应个体的情况下,将根据摄像装置1500拍摄到的后序图像锁定新的当前响应个体,并在锁定到新的当前响应个体之后,根据步骤s3100~s3400对新的当前响应个体的手势状态进行追踪响应。根据以上步骤s3100~s3400可知,电子设备1000在根据第一图像进行手势识别时,会预先确定当前响应的个体,即确定当前响应个体,并在该第一图像中跟踪检测该当前响应个体,以获得该当前响应个体的手势状态,并将该手势状态对应的操控指令作为有效的操控指令,以根据该操控指令控制电子设备进行响应。这可以有效避免多人同时操控时可能造成的响应混乱问题。
164.在一个实施例中,该方法在以上的在第一图像中检测特定的一当前响应个体的步骤s3200之前,还可以包括如下步骤s3011~s3013:
165.步骤s3011,获取摄像装置1500拍摄到的第二图像,其中,该第二图像的拍摄时间早于第一图像的拍摄时间。
166.该第二图像可以是需要确定当前响应个体的一帧图像。该第二图像可以是电子设备在开机后用于首次确定当前响应个体的图像,也可以是重新确定当前响应个体的图像,在此不做限定。例如,该第二图像是图1中的第i帧图像。
167.步骤s3012,在第二图像中检测已授权个体。
168.该已授权个体为具有操控电子设备的权限的个体。用户可以通过电子设备支持的授权操作,向电子设备输入授权信息,该授权信息包括允许操控电子设备的的个体的图像及对应个体的操控优先级等,以供电子设备执行在第二图像中检测已授权个体的步骤s3012。
169.在第二图像中检测已授权个体时,如果位于电子设备1000前方的各个体与摄像装置1500间的距离较远,例如,该个体与摄像装置1500间的距离为3~5米,则该个体在第二图像中将具有较小的占比,而该个体的脸部在第二图像中将具有更小的占比,这将增加根据第二图像检测已授权个体的难度,进而降低检测结果的准确性。为了解决该问题,在一个实施例中,该步骤s3012中在第二图像中检测已授权个体,可以包括如下步骤s3012a~s3012c:
170.步骤s3012a,检测第二图像中存在的个体,获得每一个体对应的人体区域图像。
171.该步骤s3012a中,电子设备1000将检测第二图像中存在的所有个体,以获得每一个体对应的人体区域图像。这可以是通过检测第二图像中存在的个体,获得该个体所在的矩形区域,在第二图像上裁切下该方形区域,即得到该个体对应的人体区域图像。
172.在一个实施例中,该步骤s3012a中检测第二图像中存在的个体,获得每一个体对应的人体区域图像,可以包括如下步骤s3012-1~s3012-2:
173.步骤s3012-1,将第二图像输入至预置的人形检测模型中,获得第二图像中对应每一个体的人体区域。
174.该人形检测模型可以预先训练得到,并保存在电子设备1000中,以供实施步骤s3012-1。
175.该实施例中,人形检测模型可以检测并标记出第二图像中存在的人体区域,例如,可以在第二图像上标记出对应人体区域的方形框。
176.在一个实施例中,获得该人形检测模型的步骤可以包括:获取人形图像的正样本和负样本,其中,这些样本具有关于是否为人形形态的标签;通过所述人形图像样本训练一选定模型的模型参数;以及,根据训练得到的模型参数配置该选定模型,获得该人形检测模型。
177.该实施例中,可以选用任意的适于进行人形检测的模型结构,作为该选定模型,该模型结构可以是卷积神经网络结构,例如resnet网络结构、vgg网络结构,densenet网络结构等等,在此不做限定。
178.在一个实施例中,可以按照设定比例,将人形图像的正样本和负样本分为训练样本和测试样本,并通过训练样本训练训练选定模型的模型参数,及通过测试样本验证训练得到的人形检测模型的性能,在模型性能不能达到设定要求的情况下,将通过训练样本重新或者继续训练该选定模型的模型参数,直至训练得到的人形检测模型的模型性能达到设定要求为止。
179.步骤s3012-2,根据人体区域,获得对应的人体区域图像。
180.该步骤s3012-2中,在第二图像上裁切出人体区域所在的部分,便得到人体区域图像。对于获得的任意人体区域图像,对应个体在该人体区域图像中的占比将远大于在第二图像中的占比,因此,根据人体区域图像检测对应个体是否为已授权个体将具有更高的准确性。
181.步骤s3012b,根据该人体区域图像,获得对应个体的脸部区域图像。
182.该步骤s3012b中根据人体区域图像,获得对应个体的脸部区域图像,可以包括如下步骤:将人体区域图像输入至预置的人脸检测模型中,获得人体区域图像中的脸部区域;以及,根据脸部区域,获得对应的脸部区域图像。
183.该实施例中,人脸检测模型可以检测并标记出人体区域图像中的脸部区域所在的位置,例如,可以在人体区域图像上标记出对应脸部区域的矩形框。这样,通过在该人体区域图像中裁切出该脸部区域对应的部分,便可获得该脸部区域图像。
184.根据该步骤s3012b,对于获得的任意脸部区域图像,对应个体的脸部在该脸部区域图像中的占比将远大于在第二图像和人体区域图像中的占比,因此,根据脸部区域图像检测对应个体是否为已授权个体将具有更高的准确性。
185.该实施例中,获得人脸检测模型的步骤可参照上述的获得人形检测模型的步骤实施,在此不做赘述。
186.步骤s3012c,根据脸部区域图像,检测对应个体是否为已授权个体。
187.该实施例中,例如可以将已授权个体的人脸图像保存在人脸图库中,并建立已授权个体与人脸图像间的对应关系,已授权个体可以为一个或多个,当具有多个已授权个体时,可以为不同已授权个体设置不同的操控优先级。
188.该用户录入的人脸图像可以是用户在进行授权操作时上传或者启动摄像装置1500采集的人脸图像,在此不做限定。
189.该步骤s3012c中,对于获得的任意脸部区域图像,可以在人脸图库中匹配该脸部区域图像,在匹配到该脸部区域图像的情况下,确定对应个体当前响应个体为已授权个体,
在没有匹配到该脸部区域图像的情况下,确定对应个体为非授权个体。
190.步骤s3013,在检测到已授权个体的情况下,在已授权个体中选出具有最高操控优先级的个体作为当前响应个体。
191.该步骤s3013中,在检测到一位已授权个体的情况下,该已授权个体即为具有最高操控优先级的个体。在检测到至少两位已授权个体的情况下,可以通过比较至少两位已授权个体的当前的操控优先级,选出具有最高操控优先级的个体作为该当前响应个体。
192.电子设备1000在根据第二图像检测到当前响应个体的情况下,可以参照以上步骤s3300和步骤s3400,获得当前响应个体在第二图像中的手势状态,并根据该手势状态获得该当前响应个体向电子设备发出的操控指令。
193.进一步地,电子设备1000在根据第二图像检测到当前响应个体的情况下,会将在第二图像后拍摄到的各帧图像分别作为以上第一图像,执行以上步骤s3100~s3400,直至在第二图像后拍摄到的某一图像中检测不到该当前响应个体为止,结束对该当前响应个体的追踪响应。
194.该方法也可以根据通过电子设备拾取到的声音信号,确定所要跟踪的当前响应个体,以供执行以上步骤s3200。该实施例中,该方法在以上的在第一图像中检测特定的一当前响应个体的步骤s3200之前,还可以包括如下步骤s3021~s3023:
195.步骤s3021,获取拾取到的声音信号。
196.该实施例中,电子设备可以设置麦克风,电子设备可以通过麦克风拾取外部的声音信号。
197.步骤s3021中拾取到的声音信号可能包括来自一位用户的声音信号,也可能包括来自至少两位用户的声音信号。
198.步骤s3022,根据该声音信号,检测所存在的已授权个体。
199.该实施例中,用户可以在进行授权操作时,向电子设备录入被授权个体的授权语音及被授权个体的人脸图像,以形成授权信息,该授权信息在授权语音与人脸图像之间建立映射关系。电子设备在接收到对于该授权信息的确认信号的情况下,该被授权个体即成为一位已授权个体。
200.在步骤s3022中,根据获取到的声音信号的声音特征,可以确定该声音信号所涉及的个体及所涉及个体的声音特征。这样,将每一个体的声音特征与授权信息中的授权语音对应的声音特征相匹配,便可以实现对于所涉及的个体中是否存在已授权个体的检测。
201.步骤s3023,在检测到已授权个体的情况下,在检测到的已授权个体中选出具有最高操控优先级的个体作为当前响应个体。
202.该步骤s3023中,在检测到一位已授权个体的情况下,该已授权个体即为具有最高操控优先级的个体。在检测到至少两位已授权个体的情况下,可以通过比较至少两位已授权个体的当前的操控优先级,选出具有最高操控优先级的个体作为该当前响应个体。
203.该实施例中,在通过步骤s3023选出具有最高操控优先级的个体的情况下,可以根据该个体的授权信息,获得该个体的人脸图像,进而可以基于该人脸图像在第一图像中识别出该当前响应个体,并进而实现对该当前响应个体的追踪响应。
204.在一个实施例中,在一个实施例中,已授权个体的操控优先级可以是由用户预先设置,该设置可以是为已授权个体设置固定的操控优先级,在该种情况下,用户如需调整已
授权个体的操控优先级,则需要手动修改。
205.为了提高变更操控优先级的便捷性,在一个实施例中,也可以设置电子设备允许用户设置触发优先级变更的事件及对应于每一事件的优先级设置方案,这样,电子设备便可以根据该事件及对应的优先级设置方案,自适应地变更已授权个体的当前的操控优先级。
206.该实施例中,确定已授权个体的当前的操控优先级的步骤,可以包括如下步骤s3031~s3032:
207.步骤s3031,根据预先设置的触发优先级变更的至少一个事件,检测是否发生其中一事件。
208.该至少一个事件可以包括电子设备处于指定应用场景的事件、所述电子设备接收到特定语音内容的事件、所述电子设备感应到特定动作的事件中的至少一项。
209.该指定应用场景例如包括播放动画频道的场景、游戏场景、播放影视频道的场景等中的至少一项。例如,在播放动画频道的场景下,对应的优先级设置方案为孩子具有最高的操控优先级。又例如,在游戏场景下,对应的优先级设置方案为父亲或者母亲具有最高的操控优先级等。
210.该特定语音内容例如包括“关于制定特定个体具有最高优先级的语音内容”等。
211.该特定动作可以是预先设定的任意动作,只要与用于操控电子设备的手势相区分即可,在此不做限定。
212.步骤s3032,在检测到一事件的情况下,获取对应于该事件的优先级设置方案。
213.在检测到两个以上事件的情况下,可以根据这些事件的更新优先级,获取对应最高优先级事件的优先级设置方案。例如,特定语音内容或者特定动作在所有事件中具有最高的更新优先级等。
214.步骤s3032,根据获取到的优先级设置方案,确定已授权个体的当前的操控优先级。
215.在确定了已授权个体的当前的操控优先级之后,便可以在执行以上步骤s3013或者s3023中,选出具有最高操控优先级的个体作为当前响应个体。
216.《方法实施例二》
217.图4示出了根据一个实施例的电子设备1000的控制方法,该控制方法可以电子设备实施,例如由图2所示的电子设备1000实施。
218.本实施例的电子设备1000具有摄像装置1500,如图4所示,电子设备1000的控制方法可以包括以下步骤s4100~s4300:
219.步骤s4100,在摄像装置1500拍摄到的一段图像序列中,跟踪检测特定的一当前响应个体的手势状态,其中,当前响应个体为在图像序列的首帧图像中具有最高操控优先级的个体。
220.该实施例中,电子设备1000在该首帧图像中检测到已授权个体,并将具有最高操控优先级的已授权个体作为该当前响应个体,并在以该首帧图像起始的一段图像序列中,追踪检测该当前响应个体的手势状态,以执行该当前响应个体通过手势发出的操控指令。该首帧图像例如是图1中的第i帧图像。
221.该首帧图像也即为以上第二图像,而该段图像序列中的首帧图像后的每一帧图像
则为以上第一图像。该段图像序列中的每一帧图像均具有该当前响应个体,且该段图像序列的下一帧图像不具有该当前响应个体。
222.该步骤s4100中,可以参照以上步骤s3300,按照拍摄时间顺序,针对该图像序列的各帧图像,获得当前响应个体的手势状态。
223.步骤s4200,根据手势状态,获得当前响应个体向电子设备1000发出的操控指令。
224.步骤s4300,根据操控指令,控制电子设备1000进行响应。
225.在该实施例中,电子设备1000根据手势状态匹配系统中的操控指令,匹配成功的情况下,电子设备1000进行响应。
226.在该实施例中,匹配失败的情况下,将结束对于当前一帧图像的处理。
227.根据以上步骤s4100~s4300可知,电子设备在根据拍摄装置采集到的图像进行手势识别时,一旦根据第二图像,例如图1中的第i帧图像,确定了当前响应个体,便在以该第i帧图像为首帧图像的一段图像序列中,追踪检测该当前响应个体,以获得该当前响应个体的手势状态,直至第j帧图像中检测不到该当前响应个体为止,标志着该段图像序列结束于第(j-1)帧图像,例如,第二图像后的连续50帧图像均能够检测到该当前响应个体,而在第二图像后的第51帧图像中检测不到该当前响应个体,则该段图像序列的长度为51帧图像。进一步地,电子设备1000从图1中的第j帧图像开始,将确定新的当前响应个体,并在根据某一帧图像确定出新的当前响应个体的情况下,从该某一帧图像开始执行步骤s4100~s4300,以此循环,直至电子设备1000关机。
228.在一个实施例中,在以上的在摄像装置1500拍摄到的一段图像序列中,跟踪检测特定的特定的一当前响应个体的手势状态之前,该方法还可以包括如下步骤s4010~s4020:
229.步骤s4010,在摄像装置1500拍摄到的一图像中,检测已授权个体。
230.步骤s4020,在检测到已授权个体的情况下,在已授权个体中选出具有最高操控优先级的个体作为当前响应个体,并将该图像作为步骤s4100中的首帧图像。
231.在一个实施例中,该方法还可以包括如下步骤:在后序图像中没有检测到该当前响应个体的情况下,将后序图像作为以上步骤s4010中的一图像,执行在摄像装置1500拍摄到的一图像中,检测已授权个体的步骤s4010。
232.该实施例中,该后序图像的拍摄时间晚于该图像序列中的首帧图像的拍摄时间。
233.该实施例中,在跟踪检测的当前当前响应个体丢失的情况下,则重新执行步骤s4010,以更新当前当前响应个体,并开始追踪更新后的当前响应个体当前响应个体。
234.《例子》
235.以图2中的电子设备1000为例,电子设备1000响应基于用户通过手势向电视发出的操控指令,并根据操控指令执行相应的操作。电子设备1000具有摄像装置1500,该摄像装置1500例如可以设置在电视上边缘的中间位置等,在此不做限定。图5给出了由电子设备1000实施的根据一个例子的控制方法的流程示意图。
236.步骤s5100,进行系统初始化。
237.电子设备1000可以在该步骤s5100进行初始设置。例如,该初始设置可以包括设置摄像装置的分辨率,在此可以设置摄像装置的分辨率至少为1080*720,该例子中可以采用默认设置的分辨率,也可以为用户提供多个可供选择的分辨率,以根据用户的选择确定摄
像装置的分辨率。又例如,该初始设置也可以包括设置摄像装置拍摄图像的拍摄频率等。
238.该初始设置还可以包括对允许操控电子设备的个体进行授权登记。在授权登记时,电子设备1000可以根据用户的授权操作,提供授权登记界面,其中,该授权登记界面可以包括用于上传图像的接口和用于设置操控优先级的接口等;电子设备获取用户通过该授权登记界面输入的授权信息,该授权信息包括允许操控电子设备的个体的脸部图像及该个体的操控优先级,并记录该授权信息,以完成授权登记,此时,该个体成为已授权个体。
239.用户可以通过以上操作对多个个体进行授权登记。例如,一个家庭有4口人(爸爸、妈妈、两个小孩),如果只允许电子设备1000对“爸爸”的操控进行响应,则可以仅针对“爸爸”执行以上授权登记。如果需要支持多人操控,则可以分别针对爸爸和妈妈等进行以上授权登记。
240.在仅允许一个个体对电子设备进行操控的情况下,在授权登记时也可以不输入操控优先级,在该种情况下,该个体即为具有最高操控优先级的个体。
241.步骤s5200,获取摄像装置1500拍摄到的图像,检测该图像中存在的个体,并获得每一个体对应的人体区域图像,之后执行步骤s5300。
242.该步骤s5200中,可以通过预先训练得到的人形检测模型对该图像进行人形检测,以获得该图像中存在的各个体及每一个体在该图像中的图像位置坐标,这样,根据各个体在图像中的图像位置坐标,便可以获得每一个体对应的人体区域图像。
243.该步骤s5200中,在该图像中不存在任何个体的情况下,电子设备将继续执行步骤s5200,以获取继续拍摄到的图像进行人形检测。
244.步骤s5300,对人体区域图像进行人脸检测,获得对应个体的脸部区域图像,之后执行步骤s5400。
245.在获得人体区域图像之后,可以通过预先训练得到的人脸检测模型对该人体区域图像进行人脸检测,以获得脸部在人体区域图像上的图像位置坐标,进而获得对应个体的脸部区域图像。
246.在获得脸部区域图像之后,继续执行步骤s5400,进行身份验证。
247.步骤s5400,进行身份验证,以确定当前响应个体,并在确定了当前响应个体的情况下,执行步骤s5500。
248.该步骤s5400中,可以将步骤s5300获得的各脸部区域图像分别与在步骤s5100初始设置时输入的脸部图像进行匹配,确定各脸部区域图像对应的个体是否为已授权个体。在存在一位已授权个体的情况下,该个体即为作为具有最高操控优先级的个体,可确定该个体为当前响应个体,在存在两位以上(包括两位)已授权个体的情况下,根据这些已授权个体的授权信息,筛选出具有最高操控优先级的个体,作为当前响应个体。
249.该步骤s5400中,在通过步骤s5300获得的各脸部区域图像对应的个体均不是已授权个体的情况下,回到步骤s5200,以获取继续拍摄到的图像进行人形检测。
250.步骤s5500,从步骤s5200的图像开始,在摄像装置1500拍摄到的图像序列中跟踪检测当前响应个体。对于该图像序列中的任一帧图像,判断是否检测到当前响应个体,即判断是否跟踪成功,在跟踪成功的情况下,执行步骤s5600,以获得对应于该当前响应个体的上半身的局部图像,若跟踪失败,则回到步骤步骤s5200,以获取继续拍摄到的图像进行人形检测。
251.步骤s5600,根据当前响应个体在图像序列中图像的图像位置坐标,获得该个体的上半身所在的区域,进而获得对应该个体的上半身的局部图像。
252.该个体的上半身所在的区域也即为手势计算区域。
253.步骤s5700,对步骤s5600获得的局部图像进行人手检测,获得对应人手区域的人手区域图像。
254.该步骤s5700中,可以通过预先训练得到的人手检测模型提取局部图像中的对应人手特征的人手区域,进而获得人手区域图像。
255.该步骤s5700中,若检测到人手,执行步骤s5800,进行人手分类;若没有检测到人手,则回到步骤s5500,继续进行个体跟踪。
256.步骤s5800,对获得的人手区域图像进行人手分类,以获得当前响应个体的手势状态。
257.基于步骤s5700获得的人手区域图像判断当前响应个体的手势状态,在分类得到的手势状态为预设手势的情况下,执行步骤s5900,进行操控响应;在分类得到的手势状态不是预设手势的情况下,则回到步骤s5500,继续进行个体跟踪。
258.步骤s5900,根据步骤s5800获得的手势状态对应的操控指令,控制电子设备进行响应。
259.例如,手势状态为“ok”代表“播放”。又例如,手势状态为“掌心朝向电子设备”代表“暂停”等。
260.根据步骤s5800获取的手势状态,电子设备进行响应,例如:电子设备1000处于暂停播放视频的状态,电子设备跟踪到当前响应个体做出“ok”手势的情况下,电子设备将做出继续播放该视频的响应。
261.根据以上例子可知,电子设备在对个体的手势操控进行响应时,加入了身份验证步骤,以根据授权信息确定当前响应个体,并在确定当前响应个体后,对该个体进行持续追踪,以仅对该个体的手势状态进行响应,直至追踪不到该个体为止,再重新确定当前响应个体,因此,该例子的方法可实现对特定个体进行响应的目的,而且,这样也可以避免出现多人同时操作可能造成的响应混乱问题。
262.根据以上例子可知,运用个体跟踪技术,在通过步骤s5400确定了当前响应个体之后,只需要执行s5500-s5900步骤进行个体追踪即可,省去了s5200-s5400步骤,从而省去了身份验证等步骤,提高了响应速度。
263.另外,根据以上例子可知,通过“人体检测-脸部检测-手部检测”这样一个渐进式机制,由大到小的去跟踪检测手部的手势状态,与现有技术相比,可以在同样距离情况下识别更加准确,从而达到更远距离的手势识别及操控。
264.《装置实施例》
265.本实施例提供一种电子设备的控制装置,如图6所示,该电子设备的控制装置6000可以包括图像获取模块6100、跟踪检测模块6200、手势识别模块6300及操控执行模块6400。
266.该图像获取模块6100用于获取摄像装置1500拍摄到的第一图像。
267.该跟踪检测模块6200用于在第一图像中检测特定的一当前响应个体。
268.该手势识别模块6300用于在检测到当前响应个体的情况下,根据第一图像获得当前响应个体的手势状态;以及,
269.该操控执行模块6400用于根据手势状态,获得当前响应个体向电子设备1000发出的操控指令,作为有效的操控指令。
270.在一个实施例中,该图像获取模块6100还用于获取所述摄像装置1500拍摄到的第二图像,其中,所述第二图像的拍摄时间早于所述第一图像的拍摄时间。该实施例中,该控制装置6000还包括个体确定模块,该个体确定模块用于在所述第二图像中检测已授权个体;以及,在检测到已授权个体的情况下,在所述已授权个体中选出具有最高操控优先级的个体作为所述当前响应个体。
271.在一个实施例中,该个体确定模块在第二图像中检测已授权个体时,可以用于:检测所述第二图像中存在的个体,获得每一个体对应的人体区域图像;根据所述人体区域图像,获得对应个体的脸部区域图像;以及,根据所述脸部区域图像,检测对应个体是否为已授权个体。
272.在一个实施例中,该个体确定模块在检测所述第二图像中存在的个体,获得每一个体对应的人体区域图像时,可以用于:将所述第二图像输入至预置的人形检测模型中,获得所述第二图像中对应每一个体的人体区域;以及,根据所述人体区域,获得对应的人体区域图像。
273.在一个实施例中,该个体确定模块在根据所述人体区域图像,获得对应个体的脸部区域图像时,可以用于:将所述人体区域图像输入至预置的人脸检测模型中,获得所述人体区域图像中的脸部区域;以及,根据所述脸部区域,获得对应的脸部区域图像。
274.在一个实施例中,该个体确定模块可以用于:在跟踪检测模块6200在图像中检测特定的一当前响应个体之前,获取拾取到的声音信号;根据所述声音信号,检测所存在的已授权个体;以及,在检测到已授权个体的情况下,在检测到的已授权个体中选出具有最高操控优先级的个体作为所述当前响应个体。
275.在一个实施例中,该控制装置6000还可以包括优先级确定模块,该优先级确定模块用于确定已授权个体的当前的操控优先级。该优先级确定模块在确定已授权个体的当前的操控优先级时,可以用于:根据预先设置的触发优先级变更的至少一个事件,检测是否发生其中一事件;在检测到一事件的情况下,获取对应于该事件的优先级设置方案;以及,根据获取到的优先级设置方案,确定已授权个体的当前的操控优先级。
276.在一个实施例中,手势识别模块6300在根据所述手势状态,获得所述当前响应个体向所述电子设备发出的操控指令时,可以用于:在所述手势状态属于设定手势的情况下,获取对应于所述设定手势的操控指令,作为所述当前响应个体向所述电子设备1000发出的操控指令。
277.在一个实施例中,手势识别模块6300在根据所述第一图像获得所述当前响应个体的手势状态时,可以用于:根据所述第一图像的对应于所述当前响应个体的人体区域,获得对应于所述当前响应个体的人体区域图像;以及,根据所述人体区域图像,获得所述当前响应个体的手势状态。
278.在一个实施例中,手势识别模块6300在根据所述人体区域图像,获得所述当前响应个体的手势状态时,可以用于:根据所述人体区域图像,获得对应于所述当前响应个体的上半身的局部图像;以及,根据所述局部图像,获得所述当前响应个体的手势状态。
279.在一个实施例中,手势识别模块6300在根据所述局部图像,获得所述当前响应个
体的手势状态时,可以用于包括:提取所述局部图像中对应人手特征的人手区域,获得人手区域图像;以及,根据所述人手区域图像,确定所述当前响应个体的手势状态。
280.在一个实施例中,手势识别模块6300在根据所述人手区域图像,确定所述当前响应个体的手势状态时,可以用于:将所述人手区域图像输入至预置的分类模型,其中,所述分类模型反映人手图像与关于手势的分类结果间的映射关系;以及,根据所述分类模型输出的分类结果,获得所述当前响应个体的手势状态。
281.在一个实施例中,该控制装置6000还可以包括分类模型生成模块,该分类模型生成模块用于获得所述分类模型。该分类模型生成模块在获得分类模型时,可以用于:获取人手图像样本,其中,所述人手图像样本具有关于所对应的手势状态的标签;通过所述人手图像样本训练选定模型的模型参数;根据训练得到的模型参数配置所述选定模型,获得所述分类模型。
282.在一个实施例中,该跟踪检测模块6200在所述第一图像中检测特定的一当前响应个体时,可以用于:获取所述第一图像与前序图像间的光流信息,其中,所述前序图像为拍摄时间早于所述第一图像,且检测到所述当前响应个体的图像;以及,根据所述当前响应个体在所述前序图像中的位置坐标及所述光流信息,在所述第一图像中检测所述当前响应个体。
283.在一个实施例中,该跟踪检测模块6200在所述第一图像中检测特定的一当前响应个体时,可以用于:提取所述当前响应个体在所述摄像装置1500拍摄到的前序图像中的像素特征,其中,所述前序图像为拍摄时间早于所述第一图像,且检测到所述当前响应个体的图像;以及,根据所述像素特征,在所述第一图像中检测所述当前响应个体。
284.《设备实施例》
285.图7是根据一个实施例的电子设备的硬件结构示意图。如图7所示,该电子设备7000包括存储器7200、处理器7100和摄像装置7500。存储器7200用于存储可执行的指令。处理器7100用于根据所述可执行的计算机程序的控制,执行根据本公开方法实施例一或者本公开方法实施例二的控制方法。
286.摄像装置7500与处理器7100连接,以将拍摄到的图像输出至所处理器7100。
287.该电子设备7000可以是电视、投影仪、音箱等任意类型的设备。
288.如图7所示,该电子设备7000还可以包括显示装置7600。
289.由于该电子设备7000可以很好地适配远距离手势操控,因此,该显示装置7600可以具有较大尺寸的的屏幕,例如该屏幕可以大于或者等于50寸等。
290.该电子设备7000可以是如图2所示的电子设备1000,也可以是具备其他硬件结构的设备,在此不做限定。
291.在另外的实施例中,该电子设备7000可以包括以上控制装置6000。
292.在一个实施例中,以上控制装置6000的各模块可以通过处理器7100运行存储器7200中存储的计算机指令实现。
293.《介质实施例》
294.在本实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质存储有可被计算机读取并运行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行如本发明以上任意方法实施例一或者方法实施例二的控制方法。
295.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器1100实现本发明的各个方面的计算机可读程序指令。
296.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
297.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
298.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
299.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
300.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器1100,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器1100执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储
有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
301.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
302.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
303.以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1