一种设备控制方法、装置、系统和存储介质与流程

文档序号:15927858发布日期:2018-11-14 01:19阅读:116来源:国知局

本发明涉及通信技术领域,具体涉及一种设备控制方法、装置、系统和存储介质。



背景技术:

随着计算机技术的发展,人工智能也越发得到重视,各种人工智能相关的设备,比如自动驾驶的汽车、无人机、以及一些其他类型的机器人等,在人们生活中的应用也越来越为广泛。在现有技术中,这些设备一般会通过既定的程序或人工控制来进行运动,比如,以无人机为例,一般可以由操控人员通过控制器来控制其升降、进退、以及快慢等,或者,也可以由操控人员预先设定好其速度以及运动轨迹,然后,由无人机的控制器根据该设定的速度和运动轨迹进行运动,等等。

在对现有技术的研究和实践过程中,本发明的发明人发现,现有的控制方案需要较多的人工干预,操作较为复杂,灵活性较差,而且,不管是人工操控还是按照既定轨迹进行运动,一般很难进行精准的控制,导致控制效果较差。



技术实现要素:

本发明实施例提供一种设备控制方法、装置、系统和存储介质,不仅操作简单,而且,可以提高灵活性和控制的精准性,改善控制效果。

本发明实施例提供一种设备控制方法,包括:

获取被控设备的环境图像信息;

在确定所述环境图像信息中存在人脸信息时,对所述人脸信息进行身份识别;

若识别结果指示所述人脸信息的身份为设定目标,则对所述人脸信息和环境图像信息进行分析;

根据分析结果对所述被控设备进行控制。

相应的,本发明实施例还提供一种设备控制装置,包括:

获取单元,用于获取被控设备的环境图像信息;

识别单元,用于在确定所述环境图像信息中存在人脸信息时,对所述人脸信息进行身份识别;

分析单元,用于若识别结果指示所述人脸信息的身份为设定目标,则对所述人脸信息和环境图像信息进行分析;

控制单元,用于根据分析结果对所述被控设备进行控制。

此外,本发明实施例还提供一种设备控制系统,包括被控设备、以及本发明实施例所提供的任一种设备控制装置;

所述被控设备,用于在所述设备控制装置的控制下进行操作。

另外,本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种设备控制方法中的步骤。

本发明实施例可以获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,并在确定该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析,然后,根据分析结果对该被控设备进行控制;由于该方案可以通过人脸识别,以及对人脸信息和环境图像信息的分析来自动地对被控设备进行控制,而无需人工进行过多地干预,因此,相对于现有只能通过人工来进行控制以及只能按照既定轨迹进行移动的方案而言,不仅操作简单,而且,可以大大提高灵活性和控制的精准性,有利于改善控制效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的设备控制方法的场景示意图;

图1b是本发明实施例提供的设备控制方法的流程图;

图2a是本发明实施例提供的设备控制系统的框架示例图;

图2b是本发明实施例提供的设备控制方法的另一流程图;

图2c是本发明实施例提供的设备控制方法中画面的示例图;

图3a是本发明实施例提供的设备控制装置的结构示意图;

图3b是本发明实施例提供的设备控制装置的另一结构示意图;

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种设备控制方法、装置、系统和存储介质。

其中,该设备控制系统可以包括被控设备和本发明实施例所提供的任一种设备控制装置,该设备控制装置可以集成在各种网络设备,比如终端或服务器等设备中,为了描述方便,在本发明实施例中,将该网络设备称为控制设备。

例如,参见图1a,控制设备可以获取被控设备的环境图像信息,比如,可以在被控设备上安置摄像头,通过摄像头获取环境图像信息,然后,将该环境图像信息传送给控制设备,由控制设备对环境图像信息进行检测,以确定是否存在人脸信息,若存在,则对该人脸信息进行身份识别,并在确定该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析,然后,根据分析结果对该被控设备进行控制,比如,可以控制该被控设备上升、下降、前进、后退、和/或转向,等等;可选的,若确定不存在人脸信息,或者确定该人脸信息的身份不是设定目标,则可以按照预设策略对该被控设备进行控制,比如,可以控制该被控设备原地打转,等等。

以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。

实施例一、

在本实施例中,将从设备控制装置的角度进行描述,该设备控制装置具体可以集成在各种网络设备,比如终端或服务器等设备中。该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)等。为了描述方便,在本发明实施例中,将该网络设备称为控制设备。

一种设备控制方法,包括:获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则对该人脸信息和环境图像信息进行分析,根据分析结果对该被控设备进行控制。

如图1b所示,该设备控制方法的具体流程可以如下:

101、获取被控设备的环境图像信息。

例如,具体可以通过摄像部件来获取该环境图像信息,或者,接收其他设备,如被控设备发送的环境图像信息,等等。

其中,该环境图像信息可以是拍摄得到的数据信息,或者,也可以由拍摄得到的图像转化得到,比如,具体可以通过内置或外置的摄像部件对该被控设备当前所处的环境进行拍摄,然后,将拍摄得到的画像转化为数据信息,等等。其中,为了描述方便,在本发明实施例中,将该数据信息称为环境图像信息。

需说明的是,若该摄像部件为外置部件,则该摄像部件可以作为一个独立的实体存在,比如,具体为摄像头、摄像机、和/或照相机等等,或者,也可以集成在其他设备,比如集成在其他终端中,又或者,还可以集成在被控设备中、或安置在被控设备上,等等,在此不再赘述。

102、在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则执行步骤103。

其中,确定该环境图像信息中是否存在人脸信息的方式可以有多种,比如,可以通过人脸识别技术对该环境图像信息进行图像识别,或者,也可以采用预设人物模型对该环境图像信息进行检测,等等,即可选的,在步骤“在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别”之前,该设备控制方法还可以包括:

采用预设人物模型对该环境图像信息进行检测。

则此时,步骤“在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别”可以包括:若检测结果指示该环境图像信息中存在人脸信息,则对该人脸信息进行身份识别。

其中,该预设的人物模型可以由运维人员预先进行设置,或者,也可以由该设备控制装置自行通过深度学习技术训练而成,即可选的,在步骤“采用预设人物模型对该环境图像信息进行检测”之前,该设备控制方法还可以包括如下步骤:

获取人脸样本信息,从该人脸样本信息中提取人脸特征信息,采用该人脸特征信息对预设原始模型进行训练,得到人物模型。

在得到该人物模型后,可以保存该人物模型,比如保存在本地(即该设备控制装置中或该设备控制装置所在的网络设备中)或其他的存储设备中,这样,在需要使用时,设备控制装置便可以从相应的保存位置中获取到该人物模型,并利用该预设人物模型对该环境图像信息进行检测,以确定该环境图像信息中是否存在人脸信息,然后,在确定存在人脸信息时,对该人脸信息进行身份识别。

需说明的是,若检测结果指示该环境图像信息中不存在人脸信息,则可以不对该被控设备进行控制,或者,也可以采用预设第一策略对该被控设备进行控制。

同理,若身份识别的识别结果指示该人脸信息的身份不是设定目标,则可以不对该被控设备进行控制,或者,也可以采用预设第二策略对该被控设备进行控制。

其中,该第一策略和第二策略可以根据实际应用的需求进行设置,该第一策略和第二策略可以采用相同的策略,也可以采用不同的策略,比如,第一策略和第二策略均可以设置为“原地旋转”或“匀速前进”等,或者,也可以将第一策略设置为“原地旋转”,而将第二策略设置为“匀速前进”,等等,在此不再赘述。

103、在识别结果指示该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析。

例如,具体可以根据该人脸信息和环境图像信息获取人脸在画面中的坐标信息,根据该坐标信息确定人脸在画面中的位置和大小,等等。

104、根据分析结果对该被控设备进行控制,例如,具体可以如下:

(1)根据人脸在画面中的位置确定纵向偏移值和横向偏移值。

例如,可以根据该人脸在画面中的位置与预设位置之间的高度关系来确定该纵向偏移值,比如,若该人脸在画面中的位置的高度高于该预设位置的高度,则需要增大该被控设备的高度;反之,若该人脸在画面中的位置的高度低于该预设位置的高度,则需要减少该被控设备的高度。其中,该被控设备的高度的具体调整幅度,称为纵向偏移值的大小,该纵向偏移值的大小根据“该人脸在画面中的位置的高度与预设位置高度的差值的绝对值”计算得到;而纵向偏移值的“正负”则取决于调整的方向,比如,若需要增大该被控设备的高度,则该纵向偏移值为正数;若需要减少该被控设备的高度,则该纵向偏移值为负数;而若无需调整该被控设备的高度,譬如该人脸在画面中的位置与该预设位置的高度一致,则可以确定该纵向偏移值为零,等等。当然,也可以设置当需要增大该被控设备的高度时,该纵向偏移值为负数,而当需要减少该被控设备的高度时,该纵向偏移值为正数,具体可根据实际应用的需求而定,在此不再赘述。

同理,可以根据该人脸在画面中的位置与预设位置之间在水平方向的距离关系来确定该横向偏移值,比如,若该人脸在画面中的位置位于预设位置的左边,则需要将被控设备沿水平方向向左移动(或转动);反之,若该人脸在画面中的位置位于预设位置的右边,则需要将被控设备沿水平方向向右移动(或转动)。其中,该被控设备在水平方向的具体移动(或转动)幅度,称为横向偏移值的大小,该横向偏移值的大小可以根据“该人脸在画面中的位置与预设位置在水平方向上的距离的绝对值”计算得到;而横向偏移值的“正负”则取决于调整的方向,比如,若需要将被控设备沿水平方向向左移动(或转动),则可以设置该横向偏移值为负数,若需要将被控设备沿水平方向向右移动(或转动),则可以设置该横向偏移值为正数,而若无需在水平方向对该被控设备进行调整,比如该人脸在画面中的位置与该预设位置的在水平方向上的距离为零,则可以确定该横向偏移值为零,等等。当然,也可以设置当需要将被控设备沿水平方向向右移动(或转动)时,该横向偏移值为负数,当需要将被控设备沿水平方向向左移动(或转动)时,该横向偏移值为正数,具体可根据实际应用的需求而定,在此不再赘述。

需说明的是,若该人脸在画面中的位置就在预设位置,则无需对该被控设备的高度和方向进行调整,即可以确定该纵向偏移值和横向偏移值均为零。

其中,预设位置可以根据实际应用的需求进行设定,在此不再赘述。

(2)根据人脸在画面中的大小确定距离调整值。

例如,若该人脸在画面中的大小小于预设阈值,则需要调小该被控设备与该人脸的距离;若该脸在画面中的大小大于预设阈值,则需要增大该被控设备与该人脸的距离;而若该脸在画面中的大小等于预设阈值,则无需对该被控设备与人脸之间的距离进行调整,即可以确定该距离调整值为零,等等。

其中,距离调整值的大小可以通过逐渐增大或减小被控设备与该人脸的距离来确定,或者,也可以根据该人脸在画面中的大小和预设阈值,按照预设策略计算得到,在此不再赘述。

需说明的是,距离调整值的“正负”取决于调整的方向,比如,可以设置在增大距离时,距离调整值为正数,在调小距离时,距离调整值为负数,或者,也可以设置在在增大距离时,距离调整值为负数,在调小距离时,距离调整值为正数,等等。

其中,预设阈值可以根据实际应用的需求进行设定,在此不再赘述。

(3)根据该纵向偏移值、横向偏移值和距离调整值生成控制指令。例如,可以如下:

若纵向偏移值为H,则此时,可以生成指示将被控设备的高度调整H的控制指令;

若横向偏移值为R,则此时,可以生成指示将被控设备在水平方向上移动(或转动)R的控制指令;

若距离调整值为S,则此时,可以生成指示将被控设备与该人脸(即该人脸在现实场景中的位置)的距离调整S的控制指令。

可选的,为了提高控制的精准性,在生成控制指令之前,还可以根据环境信息分别对纵向偏移值、横向偏移值和距离调整值作进一步调整,即在步骤“根据该纵向偏移值、横向偏移值和距离调整值生成控制指令”之前,该设备控制方法还可以包括:

获取该被控设备当前的环境信息,根据该环境信息分别对该纵向偏移值、横向偏移值和距离调整值进行修正。

则此时,步骤“根据该纵向偏移值、横向偏移值和距离调整值生成控制指令”可以包括:根据修正后的纵向偏移值、修正后的横向偏移值、以及修正后的距离调整值生成控制指令。

其中,该环境信息可以包括地理位置信息和天气信息等信息,比如,若该环境信息指示前进1米处存在一电线杆,而距离调整值也是前进1米,那么,此时可以将该距离调整值适当进行调整,比如调整为0.9米,以避免该被控设备与该电线杆发生碰撞,以此类推,等等。

(4)根据该控制指令对该被控设备进行控制。

例如,具体可以直接根据该控制指令调整被控设备在纵向方向上的移动、横向方向上的移动、以及与该人脸(该画面中人脸所对应的人的脸部)的距离。或者,也可以将该控制指令发送给该被控设备,由该被控设备根据该控制指令对自身在纵向方向上的移动、横向方向上的移动、以及与所述人脸的距离进行调整,等等。

需说明的是,在本发明实施例中,对被控设备在纵向方向上的移动、横向方向上的移动、以及与所述人脸的距离进行调整,可以包括对被控设备整体机身的调整,也可以包括对被控设备的某一或多个部件,比如对被控设备中用于采集图像的部件进行调整,等等,具体可根据该被控设备的结构而定,在此不再赘述。

由上可知,本实施例可以获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,并在确定该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析,然后,根据分析结果对该被控设备进行控制;由于该方案可以通过人脸识别,以及对人脸信息和环境图像信息的分析来自动地对被控设备进行控制,而无需人工进行过多地干预,因此,相对于现有只能通过人工来进行控制以及只能按照既定轨迹进行移动的方案而言,不仅操作简单,而且,可以大大提高灵活性和控制的精准性,有利于改善控制效果。

实施例二、

根据实施例一所描述的方法,以下将举例作进一步详细说明。

在本实施例中,将以该设备控制装置具体集成在控制设备中为例进行说明。

如图2a所示,设备控制系统可以包括控制设备和被控设备,控制设备用于通过获取环境图像信息来对被控设备进行控制,而被控设备用于接受控制设备的控制。其中,该控制设备可以包括图像采集模块、识别分析模块、数据管理模块、以及行为控制模块。其中,各个模块的具体功能可以如下:

(1)图像采集模块;

图像采集模块,用于获取被控设备的环境图像信息,并将环境图像信息传递给识别分析模块。

比如,该图像采集模块,具体可以拍摄被控设备当前环境的画面,然后,将画面转化为环境图像信息,并将该环境图像信息传递给识别分析模块。

其中,该图像采集模块具体可以为具有摄像功能的部件或设备,比如摄像头、摄像机、或照相机,等等。该图像采集模块可以集成在控制设备中,也可以集成或放置在其他设备,比如被控设备中,若该图像采集模块放置在其他设备,比如被控设备中,则在取得环境图像信息后,具体可以通过有线网络、无线网络、或蓝牙等方式将该环境图像信息发送给控制设备,在此不再赘述。

(2)识别分析模块;

识别分析模块,用于接收图像采集模块传递过来的环境图像信息,从数据管理模块中获取预设的人物模型,然后,采用该人物模型对该环境图像信息进行检测,以确定该环境图像信息中是否存在人脸信息,若不存在人脸信息,则生成指示不存在人脸信息的检测结果;否则,若存在人脸信息,则生成指示存在人脸信息的检测结果,并对该人脸信息进行身份识别,以确定其身份是否为设定目标,若不是设定目标,则生成指示该人脸信息不是设定目标的识别结果;若为设定目标,则生成指示该人脸信息为设定目标的识别结果,并对该人脸信息和环境图像信息进行分析,最后,将检测结果、识别结果、以及分析结果传递给行为控制模块。

其中,该设定目标的具体信息可以存储在该识别分析模块中,或者,也可以由数据管理模块提供给该识别分析模块,比如,可以保存在数据库中,由数据管理模块从数据库中获取,并传递给该识别分析模块,等等。

(3)数据管理模块;

数据管理模块,用于管理数据库中的各项数据,并为识别分析模块提供数据支持,比如,可以将预设的人物模型发送给识别分析模块,等等。

其中,该预设的人物模型可以由运维人员预先进行设置,或者,也可以由该数据管理模块自行通过深度学习技术训练而成,比如,数据管理模块可以从数据库中获取多个人脸样本信息,然后,从获取到的人脸样本信息中提取人脸特征信息,采用该人脸特征信息对预设原始模型进行训练,得到人物模型,等等,此不再赘述。

需说明的是,其中,数据库可以与该数据管理模块集成在同一设备中,也可以与该数据管理模块集成在不同设备中,比如,可以将数据库安置在其他的存储设备或云端设备中。如果该数据库没有与该数据管理模块位于同一设备中,则该数据管理模块具体可以通过通信网络与该数据库进行数据传输。

(4)行为控制模块;

行为控制模块,用于接收识别分析模块发送的检测结果、识别结果、以及分析结果等信息,然后,根据这些信息生成相应的控制指令,根据该控制指令对该被控设备进行控制。

基于上述设备控制系统的结构,以下将举例进行详细说明。

如图2b所示,一种设备控制方法,具体流程可以如下:

201、图像采集模块对当前所处的环境进行采集,并将采集得到的画像转化为数据信息,得到环境图像信息。

例如,图像采集模块对该被控设备当前所处的环境进行拍摄,然后,通过预设算法将拍摄得到的画像转化为数据信息,得到环境图像信息。

202、图像采集模块将该环境图像信息发送给识别分析模块。

例如,以该图像采集模块具体放置在被控设备中为例,则此时,该图像采集模块可以通过无线网络或蓝牙等方式将该环境图像信息发送给识别分析模块,等等。

需说明的是,为了描述方便,在本实施例中,将均已该图像采集模块具体放置在被控设备中为例进行说明。

203、识别分析模块在接收到该环境图像信息后,采用预设人物模型对该环境图像信息进行检测,以确定该环境图像信息中是否存在人脸信息,若存在,则执行步骤204,可选的,还可以生成指示存在人脸信息的检测结果,并将该指示存在人脸信息的检测结果发送给行为控制模块;否则,若不存在,则可以不执行任何操作,返回执行步骤201,或者,也可以生成指示不存在人脸信息的检测结果,并将该指示不存在人脸信息的检测结果发送给行为控制模块。

例如,识别分析模块可以从数据管理模块中获取预设的人物模型,然后,利用该人物模型对该环境图像信息进行检测。其中,数据管理模块中所保存的人物模型可以由运维人员预先进行设置,或者,也可以由数据管理模块自行通过深度学习技术训练而成,比如,数据管理模块可以从数据库中获取多个人脸样本信息,然后,从获取到的人脸样本信息中提取人脸特征信息,并采用该人脸特征信息对预设原始模型进行训练,得到人物模型,等等。其中,数据库中的人脸样本信息可以通过采集多个人脸信息并进行筛选而得到。

204、识别分析模块在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若确定该人脸信息的身份为设定目标,则执行步骤205;否则,若确定该人脸信息的身份不是设定目标,则可以不执行任何操作,返回执行步骤201,或者,也可以生成指示该人脸信息不是设定目标的识别结果,并将该指示该人脸信息不是设定目标的识别结果发送给行为控制模块。

可选的,在确定该人脸信息的身份为设定目标时,还可以生成指示该人脸信息为设定目标的识别结果,并将该指示该人脸信息为设定目标的识别结果发送给行为控制模块,在此不再赘述。

205、识别分析模块根据该人脸信息和环境图像信息获取人脸在画面中的坐标信息。

206、识别分析模块根据该坐标信息确定人脸在画面中的位置和大小,得到分析结果,将该分析结果发送给行为控制模块。

其中,人脸在画面中的大小可以根据该人脸在画面中的坐标信息计算相应的面积来得到。

207、行为控制模块在接收到识别分析模块发送的检测结果、识别结果和/或分析结果等信息后,根据这些信息对该被控设备进行控制,此后,可以返回执行步骤201。例如,具体可以如下:

(一)第一种情况;

若行为控制模块接收到指示不存在人脸信息的检测结果,则行为控制模块可以对该被控设备进行控制,或者,也可以采用预设第一策略对该被控设备进行控制,此后,可以返回执行步骤201。

其中,该第一策略可以根据实际应用的需求进行设置,比如,可以设置为“原地旋转”或“匀速前进”等。

例如,以第一策略具体为“原地旋转”为例,则此时,行为控制模块可以生成指示“原地旋转”的控制指令,然后,根据该指示“原地旋转”的控制指令控制被控设备在原地进行旋转,或者,也可以将该指示“原地旋转”的控制指令发送给被控设备,由被控设备根据该指示“原地旋转”的控制指令在原地进行旋转,等等。

(二)第二种情况;

若行为控制模块接收到指示该人脸信息不是设定目标的识别结果,则行为控制模块可以对该被控设备进行控制,或者,也可以采用预设第一策略对该被控设备进行控制,此后,可以返回执行步骤201。

其中,该第二策略可以根据实际应用的需求进行设置,比如,可以设置为“原地旋转”或“匀速前进”等。

例如,以第二策略具体为“匀速前进”为例,则此时,行为控制模块可以生成指示“匀速前进”的控制指令,然后,根据该指示“匀速前进”的控制指令控制被控设备匀速向前移动,或者,也可以将该指示“匀速前进”的控制指令发送给被控设备,由被控设备根据该指示“匀速前进”的控制指令匀速向前移动,等等。

(三)第三种情况;

若行为控制模块接收到识别分析模块发送的分析结果,则行为控制模块根据该分析结果获取人脸在画面中的位置和大小,根据人脸在画面中的位置确定纵向偏移值和横向偏移值,以及根据人脸在画面中的大小确定距离调整值,然后,根据该纵向偏移值、横向偏移值和距离调整值生成控制指令,并根据该生成的控制指令对该被控设备进行控制,例如,具体可以如下:

(1)确定纵向偏移值和横向偏移值。

例如,具体可以根据该人脸在画面中的位置与预设位置之间的高度关系来确定该纵向偏移值,以及根据该人脸在画面中的位置与预设位置之间在水平方向的距离关系来确定该横向偏移值。

比如,以纵向偏移值为H,且需要增大该被控设备的高度时,该纵向偏移值H的值为正数,需要减少该被控设备的高度时,该纵向偏移值H的值为负数为例,则具体可以计算人脸在画面中的位置的高度与预设位置高度的差值的绝对值“h”,根据该绝对值“h”,按照预设第一算法计算纵向偏移值的大小“h'”,然后,确定该人脸在画面中的位置的高度是否高于预设位置,若高于预设位置,则纵向偏移值H的值为“-h'”,若低于预设位置,则纵向偏移值H的值为“h'”,等等。

譬如,参见图2c,由于该人脸在画面中的位置的高度低于该预设位置的高度,因此,此时可以将该被控设备的高度减少“h'”,即将被控设备下降“h'”,这样,便可以使得该人脸在画面中的位置可以上升“h”,以达到与预设位置相同的高度。

又比如,以横向偏移量为“R”,且需要将被控设备沿水平方向向左移动时,该横向偏移值为负数,需要将被控设备沿水平方向向右移动时,该横向偏移值为正数为例,则具体可以确定该人脸在画面中的位置与预设位置在水平方向上的距离的绝对值“r”,根据该绝对值“r”,按照预设第二算法计算横向偏移值的大小“r'”,然后,确定该人脸在画面中的位置与预设位置在水平方向上的方位关系,若该人脸在画面中的位置位于预设位置的左边,则横向偏移量的值为“-r'”,若该人脸在画面中的位置位于预设位置的右边,则横向偏移量的值为“r'”,等等。

譬如,参见图2c,由于该人脸在画面中的位置位于预设位置的左边,因此,此时可以将被控设备的摄像部件的镜头朝向该人脸在现实场景的位置,然后沿水平方向向左移动“r'”,这样,便可以使得该人脸在画面中的位置可以向右移动“r”,以达到与预设位置位于同一垂直线上。

其中,该预设位置、第一算法和第二算法可以根据实际应用的需求进行设置,在此不再赘述。

(2)确定距离调整值。

例如,若该人脸在画面中的大小小于预设阈值,则需要调小该被控设备与该人脸的距离;若该脸在画面中的大小大于预设阈值,则需要增大该被控设备与该人脸的距离;而若该脸在画面中的大小等于预设阈值,则无需对该被控设备与人脸之间的距离进行调整,即可以确定该距离调整值为零,等等。

比如,以距离调整值为“S”,且需要增大距离时,距离调整值为正数,需要调小距离时,距离调整值为负数为例,则具体可以根据该人脸在画面中的大小和预设阈值,利用预设第三算法进行计算,得到“s'”,然后,确定该人脸在画面中的大小是否大于预设阈值,若是,则可以确定该距离调整值S的值为“s'”,若否,则可以确定该距离调整值S的值为“-s'”,等等。

譬如,如图2c所示,由于该人脸在画面中的大小小于预设阈值(比如该预设阈值为预设位置的面积大小),所以,此时可以确定该距离调整值S的值为“-s'”,即可以将该被控设备向该人脸在现实场景的位置拉近“s'”的距离,这样,该人脸在画面中的大小便可以与预设阈值一致。

其中,该预设阈值和第三算法可以根据实际应用的需求进行设置,在此不再赘述。

(3)生成控制指令。

例如,若纵向偏移值为H,则此时,可以生成指示将被控设备的高度调整H的控制指令。比如,以图2c的场景为例,则此时,可以生成指示将被控设备的高度调整“h”的控制指令。

若横向偏移值为R,则此时,可以生成指示将被控设备在水平方向上移动R的控制指令。比如,以图2c的场景为例,则此时,可以生成指示将被控设备在水平方向上移动“-r'”的控制指令。

若距离调整值为S,则此时,可以生成指示将被控设备与该人脸在现实场景中的位置的距离调整S的控制指令。比如,以图2c的场景为例,则此时,可以生成指示将被控设备与该人脸在现实场景中的位置的距离调整“-s'”的控制指令。

可选的,为了提高控制的精准性,在生成控制指令之前,还可以根据环境信息分别对纵向偏移值、横向偏移值和距离调整值进行修正,然后,再根据修正后的纵向偏移值、修正后的横向偏移值、以及修正后的距离调整值生成控制指令。

其中,该环境信息可以包括地理位置信息和天气信息等信息,比如,若该环境信息指示前进1米处存在一电线杆,而距离调整值也是前进1米,那么,此时可以将该距离调整值适当进行调整,比如调整为0.9米,以避免该被控设备与该电线杆发生碰撞,以此类推,等等。

(4)对该被控设备进行控制。

例如,具体可以直接根据该控制指令调整被控设备在纵向方向上的移动、横向方向上的移动、以及与该人脸(该画面中人脸所对应的人的脸部)的距离。或者,也可以将该控制指令发送给该被控设备,由该被控设备根据该控制指令对自身在纵向方向上的移动、横向方向上的移动、以及与所述人脸的距离进行调整,等等。

其中,将该控制指令发送给该被控设备的方式可以有多种,比如,可以通过无线信号、或者蓝牙等方式将该控制指令发送给该被控设备,在此不再赘述。

比如,还是以图2c为例,则此时,可以根据“指示将被控设备的高度调整‘h’的控制指令”,将被控设备的高度增加“h”,以及根据“指示将被控设备在水平方向上移动‘-r'’的控制指令”,将被控设备的摄像部件的镜头朝向该人脸在现实场景的位置,然后沿水平方向向左移动“r'”,以及根据“指示将被控设备与该人脸在现实场景中的位置的距离调整‘-s'’的控制指令”,将该被控设备向该人脸在现实场景的位置拉近“s'”的距离,最终得到如图2c中的下图,即使得该人脸在画面中为位置和大小与预设位置一致。

可选的,行为控制模块还可以接收识别分析模块发送的指示存在人脸信息的检测结果、和/或指示该人脸信息是设定目标的识别结果等。需说明的是,若行为控制模块只接收到识别分析模块发送的指示存在人脸信息的检测结果、和/或指示该人脸信息是设定目标的识别结果,而没有接收到识别分析模块发送的分析结果的话,则此时,可以返回触发识别分析模块执行步骤205和206(即触发识别分析模块对该人脸信息和环境图像信息进行分析),或者,也可以直接按照上述第一种情况或第二种情况进行处理,或者,还可以执行返回执行步骤201。而若行为控制模块已经接收到识别分析模块发送的分析结果,则不管是否接收到识别分析模块发送的指示存在人脸信息的检测结果、和/或指示该人脸信息是设定目标的识别结果,均按照上述第三种情况来进行处理,在此不再赘述。

需说明的是,在本发明实施中,所谓“使得该人脸在画面中的位置达到与预设位置相同的高度”、“使得该人脸在画面中的位置与预设位置位于同一垂直线上”、以及“使得该人脸在画面中的大小与预设阈值一致”等中的“相同”、“同一”、以及“一致”等指的是在一定误差范围内大致相同,即允许存在一定的误差,该误差大小可以根据实际应用的需求而定,在此不再赘述。

此外,还需说明的是,本发明实施例的“距离”指的是两个比较目标的中心点的“距离”,同理,“高度差”指的是两个比较目标的中心点的“高度差”,在此不再赘述。

由上可知,本实施例的控制设备可以获取被控设备的环境图像信息,基于该环境图像信息检测是否存在人脸信息,在确定存在人脸信息时,对该人脸信息进行身份识别,以进一步确定该人脸信息的身份是否为设定目标,并在确定为设定目标时,对该人脸信息和环境图像信息进行分析,然后,根据分析结果对该被控设备进行控制;由于该方案可以通过人脸识别,以及对人脸信息和环境图像信息的分析来自动地对被控设备进行控制,而无需人工进行过多地干预,因此,相对于现有只能通过人工来进行控制以及只能按照既定轨迹进行移动的方案而言,不仅操作简单,而且,可以大大提高灵活性和控制的精准性,有利于改善控制效果。

此外,由于该方案无需人工过多干预,且控制精准性较高,因此,相对于现有方案而言,其应用可以更为广泛,适用性也可以得到一定提高,比如,可以适用于会场观众面孔采集等需要与特定目标进行交互,但目标又不方便或不愿意离开其所在位置的服务场合,等等,此外,还可以适用于其他的导航领域,比如自动寻路或自动驾驶等。

比如,以会议场景为例,可以将安装有摄像头的无人机作为被控设备,且将该无人机上的摄像头也作为控制设备的图像采集模块,然后,在需要对某些与会人员,比如某领导“张三”进行拍照时,该图像采集模块便可以拍摄无人机当前环境的画面,然后,将画面转化为环境图像信息,并将该环境图像信息传递给识别分析模块;识别分析模块接收到该环境图像信息后,从数据管理模块中获取预设的人物模型,然后,采用该人物模型对该环境图像信息进行检测,以确定该环境图像信息中是否存在人脸信息,若不存在人脸信息,则生成指示不存在人脸信息的检测结果;否则,若存在人脸信息,则生成指示存在人脸信息的检测结果,并对该人脸信息进行身份识别,以确定其身份是否为“张三”,若不是“张三”,则生成指示该人脸信息不是“张三”的识别结果;若为“张三”,则生成指示该人脸信息为“张三”的识别结果,并对该人脸信息和环境图像信息进行分析,最后,将检测结果、识别结果、以及分析结果传递给行为控制模块,以便行为控制模块根据这些信息生成相应的控制指令,并根据该控制指令对该无人机进行控制,比如,行为控制模块可以根据该分析结果获取“张三”的脸在画面中的位置和大小,然后,根据该位置确定纵向偏移值和横向偏移值,以及根据人脸在画面中的大小确定距离调整值,然后,根据该纵向偏移值、横向偏移值和距离调整值生成控制指令,并根据该生成的控制指令对该被控设备进行控制。譬如,若“张三”的脸在画面中的位置的高度低于该预设位置的高度,则将该无人机的高度相对减少该纵向偏移值的绝对值;若“张三”的脸在画面中的位置的高度高于该预设位置的高度,则将该无人机的高度相对升高该纵向偏移值的绝对值;若“张三”的脸在画面中的位置位于预设位置的左边,则将该无人机的摄像部件的镜头朝向该人脸在现实场景的位置,然后沿水平方向向左移动,同理,若“张三”的脸在画面中的位置位于预设位置的右边,则向右移动,以使得“张三”的脸在画面中的位置可以与预设位置位于同一垂直线上;类似的,无人机与“张三”的脸的距离则可以通过人脸在画面中的大小来进行调整,详见前面的描述。可见,通过上述方式对该无人机的位置进行控制,最终可以使得“张三”的脸在在画面中的位置与预设位置大致重合(允许存在一定误差,该误差范围具体可根据实际应用的需求而定),当“张三”的脸在在画面中的位置与预设位置大致重合时,便可以通过控制该无人机上的摄像头对“张三”进行拍照。

与会议场景类似的,还可以应用到远程通信、门禁或人机交互等其他的场景。比如,当设定目标如“张三”的脸发生移动(如张三走动)时,可以通过上述方式控制无人机移动,以保持“张三”的脸在在画面中的位置与预设位置大致重合,从而使得“张三”即便在移动时,无人机也可以与张三保持一定的距离和高度,进而可以进行更为灵活清晰的视频会议、视频聊天、以及门禁中的人脸信息捕捉,等等;此外,还可以在无人机上携带其他的物品,比如平板电脑或食物等,以供“张三”随时随地进行使用,加强人机交互的灵活性,在此不再列举。

实施例三、

为了更好地实施以上方法,本发明实施例还提供一种设备控制装置,该设备控制装置具体可以集成在各种网络设备(本发明实施例称为控制设备),比如终端或服务器等设备中。该终端可以包括手机、平板电脑、笔记本电脑、以及PC等。

例如,如图3a所示,该设备控制装置可以包括获取单元301、识别单元302、分析单元303、以及控制单元304,如下:

(1)获取单元301;

获取单元301,用于获取被控设备的环境图像信息。

例如,获取单元301,具体可以用于通过摄像部件来获取该环境图像信息,或者,接收其他设备如被控设备发送的环境图像信息,等等。

其中,该环境图像信息可以是拍摄得到的数据信息,或者,也可以由拍摄得到的图像转化得到,比如,具体可以通过内置或外置的摄像部件对该被控设备当前所处的环境进行拍摄,然后,将拍摄得到的画像转化为环境图像信息。

(2)识别单元302;

识别单元302,用于在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别。

(3)分析单元303;

分析单元303,用于在识别单元302所得到的识别结果指示该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析。

例如,该分析单元303,具体可以用于根据该人脸信息和环境图像信息获取人脸在画面中的坐标信息,根据该坐标信息确定人脸在画面中的位置和大小。

其中,该人脸在画面中的位置和大小即为分析结果。

(4)控制单元304;

控制单元304,用于根据分析结果对该被控设备进行控制。

例如,该控制单元304可以包括确定子单元、生成子单元和控制子单元,如下:

该确定子单元,可以用于根据人脸在画面中的位置确定纵向偏移值和横向偏移值,以及根据人脸在画面中的大小确定距离调整值。

比如,确定子单元,具体可以用于根据该人脸在画面中的位置与预设位置之间的高度关系来确定该纵向偏移值,以及根据该人脸在画面中的位置与预设位置之间在水平方向的距离关系来确定该横向偏移值,等等,具体可参见前面的方法实施例,在此不再赘述。

该生成子单元,可以用于根据该纵向偏移值、横向偏移值和距离调整值生成控制指令,例如,可以如下:

若纵向偏移值为H,则此时,可以生成指示将被控设备的高度调整H的控制指令;

若横向偏移值为R,则此时,可以生成指示将被控设备在水平方向上移动R的控制指令;

若距离调整值为S,则此时,可以生成指示将被控设备与该人脸(即该人脸在现实场景中的位置)的距离调整S的控制指令,等等。

该控制子单元,可以用于根据该控制指令对该被控设备进行控制。例如,具体可以如下:

该控制子单元,具体可以用于将该控制指令发送给该被控设备,以便该被控设备根据该控制指令对自身在纵向方向上的移动、横向方向上的移动、以及与该人脸的距离进行调整。

或者,该控制子单元,具体可以用于根据该控制指令调整被控设备在纵向方向上的移动、横向方向上的移动、以及与该人脸的距离。

可选的,为了提高控制的精准性,在生成控制指令之前,还可以根据环境信息分别对纵向偏移值、横向偏移值和距离调整值作进一步调整,即如图3b所示,该设备控制装置还可以包括修正单元305,如下:

修正单元305,可以用于获取该被控设备当前的环境信息,根据该环境信息分别对该纵向偏移值、横向偏移值和距离调整值进行修正。

则此时,该生成子单元,具体可以用于根据修正后的纵向偏移值、修正后的横向偏移值、以及修正后的距离调整值生成控制指令。

其中,该环境信息可以包括地理位置信息和天气信息等信息。

可选的,确定环境图像信息中是否存在人脸信息的方式可以有多种,比如,可以通过人脸识别技术对该环境图像信息进行图像识别,或者,也可以采用预设人物模型对该环境图像信息进行检测,等等,即如图3b所示,该设备控制装置还可以包括检测单元306,如下:

该检测单元306,可以用于采用预设人物模型对该环境图像信息进行检测;

则此时,该控制单元304,还可以用于在检测单元306所得到的检测结果指示该环境图像信息中不存在人脸信息时,采用预设第一策略对该被控设备进行控制。

该识别单元302,具体可以用于在检测单元306所得到的检测结果指示该环境图像信息中存在人脸信息,则对该人脸信息进行身份识别。

可选的,该控制单元304,还可以用于在识别单元302得到的识别结果指示该人脸信息的身份不是设定目标,则采用预设第二策略对该被控设备进行控制。

其中,该第一策略和第二策略可以根据实际应用的需求进行设置,该第一策略和第二策略可以采用相同的策略,也可以采用不同的策略,比如,第一策略和第二策略均可以设置为“原地旋转”或“匀速前进”等,或者,也可以将第一策略设置为“原地旋转”,而将第二策略设置为“匀速前进”,等等,在此不再赘述。

其中,该预设的人物模型可以由运维人员预先进行设置,或者,也可以由该设备控制装置自行通过深度学习技术训练而成,即可选的,如图3b所示,该设备控制装置还可以包括建模单元307,如下:

该建模单元307,还可以用于获取人脸样本信息,从该人脸样本信息中提取人脸特征信息,采用该人脸特征信息对预设原始模型进行训练,得到人物模型。

在得到该人物模型后,建模单元307可以保存该人物模型,比如保存在本地(即该设备控制装置中或该设备控制装置所在的网络设备中)或其他的存储设备中,这样,在需要使用时,检测单元306便可以从相应的保存位置中获取到该人物模型,并利用该预设人物模型对该环境图像信息进行检测,以确定该环境图像信息中是否存在人脸信息,然后,在确定存在人脸信息时,由识别单元302对该人脸信息进行身份识别。

需说明的是,具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,比如,获取单元301可以通过实施例二中的图像采集模块来实现,识别单元302和分析单元303可以通过实施例二中的识别分析模块和数据管理模块等来实现,控制单元304可以通过实施例二中的行为控制模块来实现,等等,应当理解的是,还存在其他的划分方式,在此不再列举。还需说明的是,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。

由上可知,本实施例的设备控制装置的获取单元301可以获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,由识别单元302对该人脸信息进行身份识别,并在确定该人脸信息的身份为设定目标时,由分析单元303对该人脸信息和环境图像信息进行分析,然后,由控制单元304根据分析结果对该被控设备进行控制;由于该方案可以通过人脸识别,以及对人脸信息和环境图像信息的分析来自动地对被控设备进行控制,而无需人工进行过多地干预,因此,相对于现有只能通过人工来进行控制以及只能按照既定轨迹进行移动的方案而言,不仅操作简单,而且,可以大大提高灵活性和控制的精准性,有利于改善控制效果。

实施例四、

相应的,本发明实施例还提供一种设备控制系统,可以包括被控设备、以及本发明实施例所提供的任一种设备控制装置,其中,该设备控制装置具体可参见前面的实施例,例如,以该设备控制装置具体集成在控制设备中为例,则具体可以如下:

控制设备,用于获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则对该人脸信息和环境图像信息进行分析,根据分析结果对该被控设备进行控制。

被控设备,用于在该设备控制装置的控制下进行操作。

例如,该控制设备,具体可以采用预设人物模型对该环境图像信息进行检测,若检测结果指示该环境图像信息中存在人脸信息,则对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则根据该人脸信息和环境图像信息获取人脸在画面中的坐标信息,根据该坐标信息确定人脸在画面中的位置和大小,得到分析结果。

以上各个设备的具体实施可参见前面的实施例,在此不再赘述。

由于该设备控制系统可以包括本发明实施例所提供的任一种设备控制装置,因此,可以实现本发明实施例所提供的任一种设备控制装置所能实现的有益效果,详见前面的实施例,在此不再赘述。

实施例五、

本发明实施例还提供一种网络设备,如图4所示,其示出了本发明实施例所涉及的网络设备的结构示意图,具体来讲:

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器401是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:

获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则对该人脸信息和环境图像信息进行分析,根据分析结果对该被控设备进行控制。

例如,具体可以采用预设人物模型对该环境图像信息进行检测,若检测结果指示该环境图像信息中存在人脸信息,则对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则根据该人脸信息和环境图像信息获取人脸在画面中的坐标信息,根据该坐标信息确定人脸在画面中的位置和大小,得到分析结果。

其中,该预设的人物模型可以由运维人员预先进行设置,或者,也可以由该设备控制装置自行通过深度学习技术训练而成,即可选的,该处理器401还可以运行存储在存储器402中的应用程序,从而实现如下功能:

获取人脸样本信息,从该人脸样本信息中提取人脸特征信息,采用该人脸特征信息对预设原始模型进行训练,得到人物模型

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

由上可知,本实施例的网络设备可以获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,并在确定该人脸信息的身份为设定目标时,对该人脸信息和环境图像信息进行分析,然后,根据分析结果对该被控设备进行控制;由于该方案可以通过人脸识别,以及对人脸信息和环境图像信息的分析来自动地对被控设备进行控制,而无需人工进行过多地干预,因此,相对于现有只能通过人工来进行控制以及只能按照既定轨迹进行移动的方案而言,不仅操作简单,而且,可以大大提高灵活性和控制的精准性,有利于改善控制效果。

实施例六、

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种设备控制方法中的步骤。例如,该指令可以如下步骤:

获取被控设备的环境图像信息,在确定该环境图像信息中存在人脸信息时,对该人脸信息进行身份识别,若识别结果指示该人脸信息的身份为设定目标,则对该人脸信息和环境图像信息进行分析,根据分析结果对该被控设备进行控制。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种设备控制方法中的步骤,因此,可以实现本发明实施例所提供的任一种设备控制方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的一种设备控制方法、装置、系统和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1