运动控制方法、装置、计算机设备和服务机器人与流程

文档序号:12906416阅读:249来源:国知局
运动控制方法、装置、计算机设备和服务机器人与流程

本发明涉及计算机技术领域,特别是涉及一种运动控制方法、装置、计算机设备和服务机器人。



背景技术:

随着计算机技术的发展和人们生活水平的提高,人们越来越依赖于可移动的计算机设备来帮助人们完成各种任务。在传统的通过可移动的计算机设备在执行任务时,可移动的计算机设备的运动控制是基于传感器的定位方式来实现的。

然而,基于传统的这种通过传感器的定位方式来控制计算机设备的运动时,在定位过程中传感信号容易受到周围环境的影响,会严重影响定位的准确度,从而导致在控制计算机设备的运动时准确率降低。



技术实现要素:

基于此,有必要针对传统的运动控制方式导致在控制计算机设备的运动时准确度低下的问题,提供一种运动控制方法、装置、计算机设备和服务机器人。

一种运动控制方法,所述方法包括:

获取图像帧;

当对所述图像帧进行人脸检测得到所述图像帧包括人脸图像时,确定所述人脸图像在地图中相应的目标节点;

从所述地图中挑选与所述图像帧匹配的起始节点;其中,所述图像帧的特征与所述起始节点对应的节点图像的特征相匹配;

根据所述起始节点和所述目标节点,在所述地图包括的路径中选取趋向目标运动路径;

按照选取的所述趋向目标运动路径运动。

一种运动控制装置,所述装置包括:

获取模块,用于获取图像帧;

确定模块,用于当对所述图像帧进行人脸检测得到所述图像帧包括人脸图像时,确定所述人脸图像在地图中相应的目标节点;

挑选模块,用于从所述地图中挑选与所述图像帧匹配的起始节点;其中,所述图像帧的特征与所述起始节点对应的节点图像的特征相匹配;

选取模块,用于根据所述起始节点和所述目标节点,在所述地图包括的路径中选取趋向目标运动路径;

运动模块,用于按照选取的所述趋向目标运动路径运动。

在一个实施例中,所述装置还包括:

检测模块,用于将所述图像帧输入卷积神经网络模型;获取所述卷积神经网络模型包括的多个网络层输出的特征图;将各所述特征图依次输入记忆神经网络模型;获取所述记忆神经网络模型输出的所述图像帧是否包括人脸图像的结果。

在一个实施例中,所述地图构建模块还用于提取获取的所述节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的所述特征与提取的所述特征之间的变化矩阵;根据所述节点与所述变化矩阵,确定获取的所述节点图像在地图中相应的节点。

在一个实施例中,所述地图构建模块还用于计算地图中已有的节点对应的节点图像的特征,与获取的所述节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的所述节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的所述节点图像相应的节点,在所述地图中生成包括所述已有的节点的环形路径。

在一个实施例中,所述运动模块还用于提取所述图像帧的特征;获取所述起始节点所对应的节点图像的特征;确定所述图像帧的特征和所述节点图像的特征之间的空间状态差异量;根据所述空间状态差异量进行运动。

在一个实施例中,所述运动模块还用于依次获取所述趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的所述空间状态差异量进行运动。

一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行运动控制方法的步骤。

一种服务机器人,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行运动控制方法的步骤

上述运动控制方法、装置、计算机设备和服务机器人,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

附图说明

图1为一个实施例中运动控制方法的应用环境图;

图2为一个实施例中用于实现运动控制方法的计算机设备的内部结构图;

图3为一个实施例中运动控制方法的流程示意图;

图4为一个实施例中人脸检测的步骤的流程示意图;

图5为一个实施例中对人脸图像进行人脸识别的示意图;

图6为一个实施例中构建地图的步骤的流程示意图;

图7为一个实施例中地图创建过程的流程示意图;

图8为一个实施例中创建完成的地图的示意图;

图9为一个实施例中在地图中选取趋向目标运动路径的示意图;

图10为另一个实施例中运动控制方法的流程示意图;

图11为一个实施例中运动控制装置的结构框图;

图12为另一个实施例中运动控制装置的结构框图;

图13为又一个实施例中运动控制装置的结构框图;

图14为再一个实施例中运动控制装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

图1为一个实施例中运动控制方法的应用环境图。如图1所示,该运动控制方法应用于运动控制系统。该运动控制系统应用于室内场景。运动控制系统包括计算机设备110和目标120。计算机设备110可通过执行运动控制方法,向目标120运动。本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案相关的部分场景,并不构成对本申请方案应用环境的限定,该运动控制系统还可应用于室外开阔场景中等。

图2为一个实施例中计算机设备的内部结构示意图。如图2所示,该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、摄像头、声音采集装置、扬声器、显示屏、输入装置和运动装置。其中,计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器实现一种运动控制方法。该处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中也可储存有计算机可读指令,该计算机可读指令被所述处理器执行时,可使得所述处理器执行一种运动控制方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备是可移动的电子设备,具体可以是服务机器人等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

如图3所示,在一个实施例中,提供了一种运动控制方法。本实施例主要以该方法应用于上述图2中的计算机设备来举例说明。参照图3,该运动控制方法具体包括如下步骤:

s302,获取图像帧。

在一个实施例中,计算机设备可通过摄像头,在摄像头当前的视野下采集图像帧,获取采集得到的图像帧。其中,摄像头的视野可因计算机设备的姿态和位置的变化而变化。

在一个实施例中,计算机设备具体可按照固定或动态的帧率采集图像帧,获取采集得到的图像帧。其中,固定或动态的帧率能够使图像帧按照该固定或动态的帧率播放时形成连续的动态画面,以使计算机设备可追踪连续的动态画面中的特定目标。

在一个实施例中,计算机设备可调用摄像头开启摄像扫描模式,实时扫描当前的视野下的特定目标,并按照一定的帧率实时地生成图像帧,获取生成的图像帧。

其中,计算机设备是可移动的电子设备,具体可以是机器人等。摄像头可以是计算机设备内置的摄像头,或者外置的与计算机设备关联的摄像头。摄像头可以是单目摄像头、双目摄像头或者rgb-d(red-green-blue-deep)摄像头等。

s304,当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点。

其中,地图是计算机设备根据从自然空间中采集的图像帧构建的特征分布图。计算机设备可基于slam(simultaneouslocalizationandmapping定位与地图构建)对自然空间构建相应的地图。计算机设备基于slam构建的地图具体可以是三维点图。节点是计算机设备将从自然空间中采集图像帧的位置投影至地图空间中的位置。目标节点是目标在自然空间中的位置投影至地图的节点。比如,目标在自然空间的坐标为a(x1,y1,z1),将a投影至地图空间后坐标为b(x2,y2,z2),那么b即为目标在地图中的节点。

在一个实施例中,计算机设备可在获取到图像帧后,提取该图像帧中包括的图像数据,并检测该图像数据是否包含人脸特征数据。若计算机设备检测到该图像数据中包含人脸特征数据,则判定该图像帧中包括人脸图像。计算机设备也可在获取到图像帧后,将该图像帧发送至服务器,由服务器完成对图像帧的人脸检测过程,再向计算机设备返回图像帧中是否包括人脸图像的检测结果。其中,检测结果可包括图像帧中存在人脸图像的概率和人脸图像的坐标区域。

在一个实施例中,地图中可包括若干节点,各节点均存在一一对应的节点图像。地图还可包括从节点图像中提取出的特征点。包括特征点和节点的地图是对自然空间中场景的三维重建。具体地,自然空间中的三维场景中的三维点通过投影矩阵的投影变换,得到计算机设备摄像头摄像平面的二维图像帧中的像素点,二维图像帧中的像素点再经过投影矩阵的投影反变换,得到地图中的三维重建场景中的三维特征点。

计算机设备可在检测到该图像帧中包括人脸图像时,计算该人脸图像在地图中的位置。具体地,计算机设备可确定人脸图像在该图像帧中的坐标位置,根据与计算机设备的摄像头适配的投影矩阵,计算该人脸图像在地图中的位置,在地图中包括的节点中查找与计算得到的位置相应的节点,得到目标节点。

在一个实施例中,计算机设备可在检测到该图像帧中包括人脸图像时,提取该图像帧中背景图像的背景特征点,将提取的背景特征点与地图中包括的特征点进行匹配,获取地图中与提取的背景特征点匹配的特征点的位置,从而在地图中选取与该位置的距离最近的节点,得到目标节点。

在一个实施例中,计算机设备获取的图像帧可以是两帧或者两帧以上的图像帧。计算机设备在检测得到获取的图像中存在人脸图像时,可计算任意两帧图像帧之间的相似矩阵,再从用于计算相似矩阵的图像帧中包括的人脸图像上选取匹配的人脸特征点,并确定该人脸特征点在图像帧上的位置。计算机设备可再根据计算得到的任意两帧图像帧之间的相似矩阵以及选取的人脸特征点在这两帧图像上的位置,按照三角测距算法确定该人脸特征点在自然空间中的位置。计算机设备可再根据该人脸特征点在自然空间中的位置确定该人脸特征点在地图中的位置,从而在地图中选取与该位置的距离最近的节点,得到目标节点。

s306,从地图中挑选与图像帧匹配的起始节点;其中,图像帧的特征与起始节点对应的节点图像的特征相匹配。

其中,节点图像是计算机设备在与地图中的节点存在投影关系的自然空间中的位置处采集的图像。图像的特征可以是颜色特征、纹理特征和形状特征中的一种或几种的组合。计算机设备可在构建地图时,对地图中节点对应的节点图像提取特征,将提取的节点图像的特征相对于相应的节点存储在数据库或者缓存中。

在一个实施例中,计算机设备可遍历地图中各节点对应的节点图像的特征,判断遍历至的节点图像的特征与图像帧的特征是否匹配。计算机设备可在判定遍历至的节点图像的特征与图像帧的特征匹配时,获取遍历至的节点图像的特征所对应的节点为起始节点。

在一个实施例中,计算机设备在判断遍历至的节点图像的特征与图像帧的特征是否匹配时,具体可先计算遍历至的节点图像的特征与图像帧的特征之间的相似度,进而判断该相似度是否大于等于预设相似度;若是,则匹配;若否,则不匹配。其中,相似度可采用余弦相似度或者图像间各自感知哈希值的汉明距离。

在一个实施例中,计算机设备具体可根据节点图像中各像素点的像素值,选取极值点作为特征点。其中,计算机可基于fast(featuresfromacceleratedsegmenttest快速特征点检测)或者harris角点检测算法等算法选取极值点,得到节点图像的特征点,再将得到的特征点通过二进制编码表示。计算机设备可再用一维图像特征向量表示节点图像包括的特征点,得到与地图的节点一一对应的一维图像特征向量。

计算机设备可按照表征节点图像的特征的方式,生成表征获取的图像帧的特征的一维图像特征向量。计算机设备可再计算生成的一维图像特征向量与地图的各节点对应的一维图像特征向量之间的向量相似度,进而判断该向量相似度是否大于等于预设向量相似度;若是,则匹配;若否,则不匹配。

s308,根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径。

具体地,地图中可包括通过地图中的节点形成的路径。计算机设备可以起始节点作为起点,目标节点为终点,在地图中通过节点形成的路径中选取路径得到趋向目标运动路径。

在一个实施例中,地图以起始节点作为起点,目标节点为终点的路径可以是一条或者多条。当以起始节点作为起点,目标节点为终点的路径唯一时,计算机设备可直接获取该路径为趋向目标运动路径。当以起始节点作为起点,目标节点为终点的路径不唯一时,计算机设备可随机选取一条路径作为趋向目标运动路径,也可获取包括的节点数最少的路径作为趋向目标运动路径。

s310,按照选取的趋向目标运动路径运动。

具体地,计算机设备在选取趋向目标运动路径运动后,获取该路径所包括的各节点对应的节点图像的特征,按照各节点对应的节点图像的特征之间的变化关系确定计算机设备当前运动的方向和距离,按照确定的方向和距离向目标运动。

上述运动控制方法,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

在一个实施例中,步骤s302之后,该运动控制方法还包括人脸检测的步骤,人脸检测的步骤具体包括:

s402,将图像帧输入卷积神经网络模型。

其中,卷积神经网络模型是由多层互相连接而形成的复杂网络模型。神经网络模型可包括多层特征转换层,每层特征转换层都有对应的非线性变化算子,每层的非线性变化算子可以是多个,每层特征转换层中一个非线性变化算子对输入的图像进行非线性变化,得到特征图(featuremap)作为运算结果。

具体地,卷积神经网络模型是以包括人脸图像的图像作为训练数据,进行学习训练得到的用于提取人脸特征的模型。计算机设备在获取到图像帧后,将图像帧输入卷积神经网络模型,利用卷积神经网络模型对图像帧进行人脸特征提取。其中,人脸特征可以是用于反映出人的性别、人脸的轮廓、发型、眼镜、鼻子、嘴以及各个脸部器官之间的距离等其中的一种或多种特征。

在一个实施例中,卷积神经网络模型是以图像作为训练数据,进行学习训练得到的用于提取图像特征的模型。计算机设备在获取到图像帧后,将图像帧输入卷积神经网络模型,利用卷积神经网络模型对图像帧进行图像特征提取。

s404,获取卷积神经网络模型包括的多个网络层输出的特征图。

具体地,计算机设备可获取卷积神经网络模型包括的多个网络层输出的特征图。特征图是由非线性变化算子对输入的图像进行处理得到的响应值构成的。不同的网络层提取的特征不同。计算机设备可利用提取人脸特征的卷积神经网络输出的特征图确定输入的图像相应的人脸特征数据。计算机设备可利用提取图像特征的卷积神经网络输出的特征图确定输入的图像相应的图像特征数据,进而判断该图像特征数据中是否包括人脸特征数据。

举例说明,计算机设备可采用52层深度残差网络模型进行图像处理,提取该深度残差网络模型中包括的4层全连接层输出的特征图,作为后续输入。

s406,将各特征图依次输入记忆神经网络模型。

其中,记忆神经网络模型是可对序列输入进行综合处理的神经网络模型。记忆神经网络模型是递归神经网络模型。记忆神经网络模型具体可以是lstm(longshort-termmemory长短时记忆神经网络)。具体地,计算机设备可将获取的各特征图依次输入记忆神经网络模型,进行人脸特征检测。

s408,获取记忆神经网络模型输出的图像帧是否包括人脸图像的结果。

具体地,计算机设备可获取记忆神经网络模型根据输入的各特征图综合处理得到的人脸检测结果。人脸检测结果包括存在人脸图像的概率和人脸图像在图像帧中的坐标区域。

在一个实施例中,计算机设备还可在提取得到人脸检测结果后,根据人脸检测结果中包括的人脸图像在图像帧中的坐标区域,过滤掉重叠区域超过预设重叠阈值的人脸检测结果,根据过滤后保留的人脸检测结果得到人脸图像在图像帧中的坐标区域。

在一个实施例中,记忆神经网络模型可使用一个矩形窗口,按照预设方向和预设步长在输入的特征图中移动,从而进行窗口扫描,在扫描时提取扫描至的窗口图像中人脸特征数据,根据提取的人脸特征图像,得到扫描至的窗口图像中存在人脸图像的概率。将计算得到的概率排序靠前的窗口图像在图像帧中的坐标区域进行存储,并继续对后续输入的特征图进行处理。

图5示出了一个实施例中对人脸图像进行人脸识别的示意图。参考图5,计算机设备采用的记忆神经网络模型对输入的特征图按照矩形窗口扫描分析,得到与矩形窗口a对应的存在人脸图像的概率pa,矩形窗口b对应的存在人脸图像的概率pb,矩形窗口c对应的存在人脸图像的概率pc。此时,pc>pa>pb,记忆神经网络模型可将pc对应的矩形窗口c进行记录,继续对后续输入的特征图按照矩形窗口扫描分析,并综合多次分析得到矩形窗口以及相应的存在人脸图像的概率,输出计算机设备获取的图像帧中存在人脸图像的概率以及该人脸图像在图像帧中的坐标区域。

在本实施例中,通过卷积神经网络模型的包括的多个网络层充分提取图像特征,再将多层网络层提取的特征输入记忆神经网络模型综合处理,使得人脸检测更准确。

在一个实施例中,步骤s304之后,该运动控制方法还包括人脸识别的步骤,人脸识别的步骤具体包括:提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。在步骤s310之后,该运动控制方法还包括:提供与服务类型相应的服务触发入口。

其中,目标身份识别结果是用于反映目标身份的数据。目标身份可以是目标的名字、社会地位或者职位信息等。

在一个实施例中,计算机设备上设置有预设人脸图像库,预设人脸图像库中包括若干预设人脸图像。计算机设备可在检测到图像帧中包括人脸图像时,将图像帧中的人脸图像与预设人脸图像库中包括的预设人脸图像比较,检测图像帧中的人脸图像和预设人脸图像之间是否匹配。计算机设备可在图像帧中的人脸图像和预设人脸图像之间匹配时,判定该图像帧包括的人脸图像与预设人脸图像为相同的人物图像,获取该预设人脸图像对应的目标身份信息作为目标身份识别结果。

其中,预设人脸图像可以是用于反映对应目标的真实人脸图像。可从目标所上传的个人资料、历史发表的图片信息中,由对应目标自定义选取的图像,或由系统自动地分析选取的一张图片,作为相应的预设人脸图像。

在一个实施例中,计算机设备在检测图像帧中的人脸图像和预设人脸图像之间是否匹配,具体可计算图像帧中的人脸图像和预设人脸图像之间的相似度。计算机设备可先提取图像帧中的人脸图像和预设人脸图像各自的特征,从而计算两特征之间的差异,特征之间的差异越大则相似度越低,特征之间的差异越小则相似度越高。其中,计算机设备计算图像帧中的人脸图像和预设人脸图像之间的相似度时,可以采用适于图像处理器的加速算法,提高运算速率。

在一个实施例中,计算机设备可在判定该图像帧中包括人脸图像后从该图像数据中提取人脸特征数据,再将提取的人脸特征数据与预设人脸图像库中各预设人脸图像相对应的人脸特征数据比较,得到目标身份识别结果。

在一个实施例中,计算机设备对图像帧进行检测得到的该图像帧包括的人脸图像可以是一个或者多个。计算机设备可确定图像帧中包括的人脸图像占图像帧的占比,提取占比超过预设比例的人脸图像的人脸特征数据;和/或,确定图像帧中包括的人脸图像的清晰度,提取清晰度超过清晰度阈值的人脸图像的人脸特征数据。计算机设备再对提取了人脸特征数据的人脸图像进行识别。

进一步地,计算机设备在识别得到目标身份识别结果后,可查找与目标身份识别结果相关联的服务类型。其中,服务类型是向目标提供的服务所属的类型。服务类型比如餐厅点餐服务或者酒店接待服务等。服务类型可以是统一设置的类型,也可以是与目标身份相关的类型,还可以是与目标属性相关的类型。

在一个实施例中,计算机设备可事先设置服务类型,并将服务类型与目标标识关联,再将设置的服务类型存储在数据库或者文件中,在需要时从数据库或者文件中读取。计算机设备在识别得到目标身份识别结果后,可拉取该目标身份识别结果对应的目标标识所关联的服务类型。

更进一步地,计算机设备在确定与目标身份识别结果相关联的服务类型后,可在运动至目标后,向目标提供与确定的服务类型相应的服务触发入口。具体地,计算机设备可通过显示屏提供服务触发入口,也可通过扬声器和声音采集器与目标提供语音服务入口。

在一个实施例中,计算机设备在运动至目标节点处后,可采集图像帧确定当前所在位置,并为目标提供服务触发入口,通过显示屏或声音采集器接收输入的服务参数,计算机设备从而确定当前服务的对象、当前服务的位置以及当前服务的内容。

上述实施例中,在对获取的图像检测到存在人脸时,对存在的人脸进行识别,在识别得到目标的身份并运动至目标后即可向该目标提供与该目标相关联的服务入口,极大地提高了服务提供的效率。

上述实施例中,由计算机设备处理的人脸识别步骤和确定与目标身份识别结果相关联的服务类型均可由服务器处理。计算机设备可将获取的图像帧发送至服务器,服务器在对图像帧完成人脸检测、人脸识别以及确定与目标身份识别结果相关联的服务类型后,将目标身份识别结果与相关联的服务类型发送至计算机设备。

在一个实施例中,步骤s402之前,该运动控制方法还包括构建地图的步骤,该步骤具体包括:

s602,从按时序采集的图像帧中选取图像帧。

其中,选取的图像帧,可以是采集的图像帧中的关键帧。

在一个实施例中,计算机设备可接收用户选择指令,根据该用户选择指令,从采集的图像帧中选取图像帧。

在一个实施例中,计算机设备可按照预设间隔帧数从采集的图像帧中选取图像帧。比如,每隔20帧图像帧后选取图像帧。

s604,判断选取的图像帧的特征是否符合预设的节点图像的特征。

具体地,预设的节点图像的特征是预设的用于选择节点图像的特征。符合预设的节点图像的特征可以是图像中包括的特征点与已有节点图像包括的特征点中相匹配的特征点的数量超过预设数量,也可以是包括的特征点与已有节点图像包括的特征点中相匹配特征点占已有节点图像包括的特征点的比例低于预设比例。

举例说明,假设最近添加的节点图像包括的特征点数量为100,当前选取的图像帧包括的特征点数量为120。预设数量为50,预设比例为90%。其中,若当前选取的图像帧包括的特征点与最近添加的节点图像包括的特征点中相匹配的特征点的数量为70。那么,当前图像帧中包括的特征点与已有节点图像包括的特征点匹配的数量超过预设数量,可判定当前选取的图像帧的特征符合预设的节点图像的特征。

s606,当选取的图像帧的特征符合节点图像的特征时,获取选取的图像帧为节点图像。

在一个实施例中,计算机设备在获取构建地图的指令后,可按照固定或动态的帧率采集图像帧,选取采集的图像帧包括的特征点的数量大于预设数量阈值的图像帧为初始的节点图像,确定该节点图像在地图中相应的节点,以及该节点图像包括的特征点在地图中相应的位置,构建局部地图。计算机设备再从按时序采集的图像帧中选取图像帧,将选取符合预设的节点图像的特征的图像帧作为后续的节点图像,直至得到全局地图。

具体地,计算机设备可以初始的节点图像为参考节点图像,追踪参考节点图像中的特征点。当选取的图像帧包括的特征点与参考节点图像包括的特征点的匹配数量低于第一预设数量且高于第二预设数量时,将选取的图像帧作为节点图像。当选取的图像帧包括的特征点与参考节点图像包括的特征点的匹配数量低于第二预设数量时,将最近获取的节点图像为参考节点图像,继续进行图像追踪,以选取节点图像。

s608,确定获取的节点图像在地图中相应的节点。

具体地,计算机设备可确定在自然空间中采集该获取的节点图像投影于地图空间中的节点。计算机设备可提取在获取的节点图像时序靠前的节点图像的特征,计算时序靠前的节点图像的特征与获取的节点图像的变化矩阵,根据该变化矩阵得到采集时序靠前的节点图像时的位置到采集获取的节点图像时的位置的变化量,再根据该变化量确定获取的节点图像在地图中相应的节点。

在一个实施例中,步骤s608包括:提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点。

其中,变化矩阵是二维图像的特征到二维图像的特征之间的相似变化关系。具体地,计算机设备可提取获取的节点图像的特征,地图中已有的节点对应的节点图像的特征进行匹配,获取匹配成功的特征分别在获取的节点图像和已有的节点图像中的位置。获取的节点图像为在后采集的图像帧,已有的节点图像为在后采集的图像帧。计算机设备即可根据得到的匹配的特征在先后采集的两帧图像帧上的位置确定先后采集的两帧图像帧之间的变化矩阵,从而得到计算机设备采集这两帧图像帧时的位置变化和姿态变化,再根据在前采集的图像的位置和姿态,即可得到在后采集的图像的位置和姿态。

在一个实施例中,地图中已有的节点对应的节点图像可以是一帧或者多帧。计算机设备也可将获取的节点图像的特征与多个已有的节点对应的节点图像的特征比较,得到在采集后的图像帧与多个在先采集的图像帧的变化矩阵,再根据多个变化矩阵综合得到在后采集的图像的位置和姿态。比如,对计算得到的多个位置变化和姿态变化加权求平均等。

在本实施例中,通过节点图像的特征之间的变化矩阵,得到当前获取的节点图像与在前已有的节点图像的转化关系,从而实现由在前的图像帧在地图中的位置推测当前图像帧的在地图中的位置,实现实时定位。

s610,对应于确定的节点存储获取的节点图像的特征。

具体地,计算机设备可提取节点图像的特征,将节点图像的特征对应于节点图像相应的节点存储,可在需要进行图像特征比较时,直接根据节点查找对应的节点图像的特征,以节省存储空间提高查找效率。

在本实施例中,通过自身采集图像帧,再对采集的图像帧进行处理即可自动进行地图构建,避免了需要大量具备专业绘图能力的工作人员人工对环境进行测绘,对工作人员能力要求高且劳动量大的问题,提高地图构建的效率。

在一个实施例中,步骤s608之后,该运动控制方法还包括:计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

具体地,计算机设备获取节点图像时,可将新增的该节点图像的特征与地图中已有的节点对应的节点图像的特征进行比较,计算新增的节点图像的特征与地图中已有的节点对应的节点图像的特征之间的相似度。当地图中已有的节点对应的节点图像的特征,与新增的节点图像的特征之间的相似度超过预设相似度阈值时,计算机设备可判定新增的节点图像在自然空间中的采集位置与已有的节点对应的节点图像在自然空间中的采集位置一致。

计算机设备可通过获取的节点图像相应的节点,在地图中生成自该已有的节点起,经过该已有的节点后添加的节点,至自该已有的节点的环形路径。计算机设备可再自该已有的节点起依次顺序获取环形路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的变化矩阵;根据依次确定的变化矩阵逆序调整环形路径包括的各节点所对应的节点图像的特征。

举例说明,计算机设备从第一帧节点图像起,依次添加节点图像构建局部地图。在检测到当前第四帧节点图像的特征与第一帧节点图像的特征之间的相似度超过预设相似度阈值时,判定第四帧节点图像在自然空间中的采集位置与第一帧节点图像在自然空间中的采集位置一致,生成第一帧节点图像-第二帧节点图像-第三帧节点图像-第一帧节点图像的环形路径。

其中,第一帧节点图像的特征与第二帧节点图像的特征之间的变化矩阵为h1,第二帧节点图像的特征与第三帧节点图像的特征之间的变化矩阵为h2,第三帧节点图像的特征与第四帧节点图像的特征之间的变化矩阵为h4。计算机设备可将第一帧节点图像的特征按照h4变化,根据得到的图像的特征优化第三帧节点图像,再将优化后的第三帧节点图像按照h3变化,根据得到的图像的特征优化第二帧节点图像。

在本实施例中,以新增的节点图像的特征与已有的节点图像的特征的相似度作为依据进行闭环检测,在检测到有闭环时,在地图中生成环形路径,以进行后续的闭环优化,提高构建地图的准确性。

图7示出了一个实施例中地图创建过程的流程示意图。参考图7,该地图创建过程包括追踪、建图和闭环检测三个部分。计算机设备在获取构建地图的指令后,可按照固定或动态的帧率采集图像帧。在采集到图像帧后,提取该图像帧的特征点,将提取的特征点与地图中新增的节点对应的节点图像的特征点匹配。当提取的特征点与地图中新增的节点对应的节点图像的特征点匹配失败时,计算机设备可重新获取采集的图像帧进行重定位。

当提取的特征点与地图中新增的节点对应的节点图像的特征点匹配成功时,根据地图中新增的节点预估采集的该图像帧对应与地图中的节点。计算机设备可再追踪地图中与采集的该图像相匹配的特征点,根据相匹配的特征优化该图像帧对应与地图中的节点。在对采集的该图像优化完成后,判断该图像帧的特征点是否符合预设的节点图像的特征点,若否,计算机设备可重新获取采集的图像帧进行特征点匹配。

若该图像帧的特征点符合预设的节点图像的特征点,计算机设备可获取该图像帧为新增的节点图像。计算机设备可提取该新增的节点图像的特征点,按照预设的统一的格式表示提取的特征点,再按照三角测距算法确定新增的节点图像的特征点在地图中的位置,从而更新局部地图,再进行局部集束调整,去除相似度高于预设相似度阈值的节点图像对应的冗余的节点。

计算机设备在获取该图像帧为新增的节点图像后,可异步进行闭环检测。将新增的节点图像的特征与已有的节点对应的节点图像的特征进行对比,当新增的节点图像的特征与已有的节点对应的节点图像的特征之间的相似度高于预设相似度阈值,计算机设备可判定新增的节点图像在自然空间中的采集位置与已有的节点对应的节点图像在自然空间中的采集位置一致,即存在闭环。计算机设备可再根据新增的节点图像相应的节点,在地图中生成包括位置一致的节点的环形路径,并进行闭环优化和闭环融合。最终得到包括特征点、节点和路径的全局地图

图8示出了一个实施例中创建完成的地图的示意图。参考图8,该地图是基于稀疏特征建立的特征分布示意图。该示意图包括特征点801、节点802以及节点间形成的路径803。其中,特征点801是自然空间中物体的特征点在自然空间中的位置在地图空间中的投影位置。节点802是计算机设备在自然空间中采集图像帧时的自然空间位置在地图空间的投影位置。节点间形成的路径803是计算机设备在自然空间中运动的路径在地图空间中的投影。

在一个实施例中,步骤s306包括:提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

具体地,计算机设备在将计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征比较时,可计算两图像特征之间的差异,特征之间的差异越大则相似度越低,特征之间的差异越小则相似度越高。相似度可采用余弦相似度或者图像间各自感知哈希值的汉明距离。计算机设备在计算得到地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度后,选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

在本实施例中,通过当前图像帧与地图包括的节点所对应的节点图像的特征相似匹配来定位当前在地图中的位置,使得自身定位结果更加准确。

在一个实施例中,步骤s310之前,该运动控制方法还包括:提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

其中,空间状态差异量是计算机设备在采集不同的图像帧时空间状态的变化量。空间状态差异量包括空间位置差异量和空间角度差异量。空间位置差异量是计算机设备在物理位置上的移动。比如,计算机设备在采集第一帧图像帧时至采集第二帧图像帧时水平向前平移0.5m。空间角度差异量是计算机设备在物理方位上的旋转,比如,计算机设备在采集第一帧图像帧时至采集第二帧图像帧时逆时针旋转15度。

具体地,计算机设备可计算图像帧的特征与起始节点所对应的节点图像的特征之间的变化矩阵,根据计算得到的变化矩阵恢复计算机设备的运动位置,从变化矩阵中分解得到旋转矩阵和位移矩阵,根据旋转矩阵得到图像帧的特征和节点图像的特征之间的空间角度差异量,根据位移矩阵得到图像帧的特征和节点图像的特征之间的空间位置差异量。计算机设备可再根据空间角度差异量确定当前运动的方向,根据空间位置差异量确定当前运动的距离,从而按照确定的方向移动确定的距离。

在本实施例中,通过当前获取到的图像帧与确定的初始节点对应的节点图像之间的空间状态差异量,以运动至地图中的初始节点处,从而按照选取的趋向目标运动路径向目标运动,保证了运动的准确性。

在一个实施例中,步骤s310包括:依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

具体地,计算机设备可获取趋向目标运动路径包括的与初始节点相邻的第二节点所对应的节点图像的特征,计算初始节点对应的节点图像的特征与第二节点对应的节点图像的特征之间的变化矩阵。计算机设备再对该变化矩阵进行分解得到旋转矩阵和位移矩阵,根据旋转矩阵得到图像帧的特征和节点图像的特征之间的空间角度差异量,根据位移矩阵得到图像帧的特征和节点图像的特征之间的空间位置差异量。计算机设备可再根据空间角度差异量确定当前运动的方向,根据空间位置差异量确定当前运动的距离,从而按照确定的方向移动确定的距离,运动至地图中的第二节点处。计算机设备可再按照相同的处理方式确定当前运动的距离和方向,依次从地图中的第二节点处按照趋向目标运动路径上运动,直至到达目标节点处。

在本实施例中,通过趋向目标运动路径包括的相邻节点所对应的节点图像的特征的空间状态差异量,逐步按照趋向目标运动路径在地图上从起始节点运动至目标节点,避免了在运动过程中发生偏差无法确定当前位置的问题,保证了运动的准确性。

图9示出了一个实施例中在地图中选取趋向目标运动路径的示意图。参考图9,该示意图包括目标节点901、起始节点902以及趋向目标运动路径903。计算机设备在确定目标节点901即目标所在的位置以及起始节点902即本机所在位置后,以起始节点902为起点,以目标节点901为终点,在地图中选取目标运动路径903。

如图10所示,在一个具体的实施例中,运动控制方法包括以下步骤:

s1002,从按时序采集的图像帧中选取图像帧。

s1004,判断选取的图像帧的特征是否符合预设的节点图像的特征;若是,则跳转到步骤s1006;若否,则返回步骤s1002。

s1006,获取选取的图像帧为节点图像。

s1008,提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点,对应于确定的节点存储获取的节点图像的特征。

s1010,计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

s1012,获取图像帧。

s1014,将图像帧输入卷积神经网络模型;获取卷积神经网络模型包括的多个网络层输出的特征图;将各特征图依次输入记忆神经网络模型,获取记忆神经网络模型输出的人脸检测结果。

s1016,判断人脸检测结果是否表示图像帧包括人脸图像;若是,则跳转到步骤s1018;若否,则返回步骤s1012。

s1018,提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。

s1020,确定人脸图像在地图中相应的目标节点。

s1022,提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

s1024,根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径。

s1026,提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

s1028,依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

s1030,提供与服务类型相应的服务触发入口。

在本实施例中,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

如图11所示,在一个实施例中,提供了一种运动控制装置1100,包括:获取模块1101、确定模块1102、挑选模块1103、选取模块1104和运动模块1105。

获取模块1101,用于获取图像帧。

确定模块1102,用于当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点。

挑选模块1103,用于从地图中挑选与图像帧匹配的起始节点;其中,图像帧的特征与起始节点对应的节点图像的特征相匹配。

选取模块1104,用于根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径。

运动模块1105,用于按照选取的趋向目标运动路径运动。

上述运动控制装置1100,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

如图12所示,在一个实施例中,运动控制装置1100还包括:检测模块1106。

检测模块1106,用于将图像帧输入卷积神经网络模型;获取卷积神经网络模型包括的多个网络层输出的特征图;将各特征图依次输入记忆神经网络模型;获取记忆神经网络模型输出的图像帧是否包括人脸图像的结果。

在本实施例中,通过卷积神经网络模型的包括的多个网络层充分提取图像特征,再将多层网络层提取的特征输入记忆神经网络模型综合处理,使得人脸检测更准确。

如图13所示,在一个实施例中,运动控制装置1100还包括:识别模块1107和服务模块1108。

识别模块1107,用于提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。

服务模块1108,用于提供与服务类型相应的服务触发入口。

在本实施例中,在对获取的图像检测到存在人脸时,对存在的人脸进行识别,在识别得到目标的身份并运动至目标后即可向该目标提供与该目标相关联的服务入口,极大地提高了服务提供的效率。

如图14所示,在一个实施例中,运动控制装置1100还包括:地图构建模块1109。

地图构建模块1109,用于从按时序采集的图像帧中选取图像帧;判断选取的图像帧的特征是否符合预设的节点图像的特征;当选取的图像帧的特征符合节点图像的特征时,获取选取的图像帧为节点图像;确定获取的节点图像在地图中相应的节点;对应于确定的节点存储获取的节点图像的特征。

在本实施例中,通过自身采集图像帧,再对采集的图像帧进行处理即可自动进行地图构建,避免了需要大量具备专业绘图能力的工作人员人工对环境进行测绘,对工作人员能力要求高且劳动量大的问题,提高地图构建的效率。

在一个实施例中,地图构建模块1109还用于提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点。

在本实施例中,通过节点图像的特征之间的变化矩阵,得到当前获取的节点图像与在前已有的节点图像的转化关系,从而实现由在前的图像帧在地图中的位置推测当前图像帧的在地图中的位置,实现实时定位。

在一个实施例中,地图构建模块1109还用于计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

在本实施例中,以新增的节点图像的特征与已有的节点图像的特征的相似度作为依据进行闭环检测,在检测到有闭环时,在地图中生成环形路径,以进行后续的闭环优化,提高构建地图的准确性。

在一个实施例中,挑选模块1103还用于提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

在一个实施例中,运动模块1105还用于提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

在本实施例中,通过当前图像帧与地图包括的节点所对应的节点图像的特征相似匹配来定位当前在地图中的位置,使得自身定位结果更加准确。

在一个实施例中,运动模块1105还用于依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

在本实施例中,通过当前获取到的图像帧与确定的初始节点对应的节点图像之间的空间状态差异量,以运动至地图中的初始节点处,从而按照选取的趋向目标运动路径向目标运动,保证了运动的准确性。

一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被处理器执行时实现以下步骤:获取图像帧;当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点;从地图中挑选与图像帧匹配的起始节点;其中,图像帧的特征与起始节点对应的节点图像的特征相匹配;根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径;按照选取的趋向目标运动路径运动。

上述计算机可读存储介质上存储的计算机可读指令在被执行时,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之后,还执行以下步骤:将图像帧输入卷积神经网络模型;获取卷积神经网络模型包括的多个网络层输出的特征图;将各特征图依次输入记忆神经网络模型;获取记忆神经网络模型输出的图像帧是否包括人脸图像的结果。

在一个实施例中,计算机可读指令使得处理器在执行当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点之后,还执行以下步骤:提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之后,还执行以下步骤:提供与服务类型相应的服务触发入口。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之前,还执行以下步骤:从按时序采集的图像帧中选取图像帧;判断选取的图像帧的特征是否符合预设的节点图像的特征;当选取的图像帧的特征符合节点图像的特征时,获取选取的图像帧为节点图像;确定获取的节点图像在地图中相应的节点;对应于确定的节点存储获取的节点图像的特征。

在一个实施例中,确定获取的节点图像在地图中相应的节点,包括:提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点。

在一个实施例中,计算机可读指令使得处理器在执行确定获取的节点图像在地图中相应的节点之后,还执行以下步骤:计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

在一个实施例中,从地图中挑选与图像帧匹配的起始节点,包括:提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

在一个实施例中,计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之前,还执行以下步骤:提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

在一个实施例中,按照选取的趋向目标运动路径运动,包括:依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

一种计算机设备,包括存储器和处理器,存储器中储存有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行以下步骤:获取图像帧;当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点;从地图中挑选与图像帧匹配的起始节点;其中,图像帧的特征与起始节点对应的节点图像的特征相匹配;根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径;按照选取的趋向目标运动路径运动。

上述计算机设备,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之后,还执行以下步骤:将图像帧输入卷积神经网络模型;获取卷积神经网络模型包括的多个网络层输出的特征图;将各特征图依次输入记忆神经网络模型;获取记忆神经网络模型输出的图像帧是否包括人脸图像的结果。

在一个实施例中,计算机可读指令使得处理器在执行当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点之后,还执行以下步骤:提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之后,还执行以下步骤:提供与服务类型相应的服务触发入口。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之前,还执行以下步骤:从按时序采集的图像帧中选取图像帧;判断选取的图像帧的特征是否符合预设的节点图像的特征;当选取的图像帧的特征符合节点图像的特征时,获取选取的图像帧为节点图像;确定获取的节点图像在地图中相应的节点;对应于确定的节点存储获取的节点图像的特征。

在一个实施例中,确定获取的节点图像在地图中相应的节点,包括:提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点。

在一个实施例中,计算机可读指令使得处理器在执行确定获取的节点图像在地图中相应的节点之后,还执行以下步骤:计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

在一个实施例中,从地图中挑选与图像帧匹配的起始节点,包括:提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

在一个实施例中,计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之前,还执行以下步骤:提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

在一个实施例中,按照选取的趋向目标运动路径运动,包括:依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

一种服务机器人,包括存储器和处理器,存储器中储存有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行以下步骤:获取图像帧;当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点;从地图中挑选与图像帧匹配的起始节点;其中,图像帧的特征与起始节点对应的节点图像的特征相匹配;根据起始节点和目标节点,在地图包括的路径中选取趋向目标运动路径;按照选取的趋向目标运动路径运动。

上述服务机器人,在获取到图像帧后,就可以自动地在检测到该图像帧包括人脸图像时,在地图中确定该人脸图像相应的目标节点,定位目标在地图中的位置,然后以该图像帧的特征与地图中各节点对应的节点图像的特征的匹配关系为依据,即可从地图中挑选与该图像帧匹配的起始节点,定位本机当前在地图中的位置,再根据当前节点和目标节点便可在地图包括的路径中选取趋向目标运动路径来运动。这样通过图像之间的特征匹配即可完成在地图中的定位,避免了通过传感信号定位引起的环境影响,提高了运动控制的准确性。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之后,还执行以下步骤:将图像帧输入卷积神经网络模型;获取卷积神经网络模型包括的多个网络层输出的特征图;将各特征图依次输入记忆神经网络模型;获取记忆神经网络模型输出的图像帧是否包括人脸图像的结果。

在一个实施例中,计算机可读指令使得处理器在执行当对图像帧进行人脸检测得到图像帧包括人脸图像时,确定人脸图像在地图中相应的目标节点之后,还执行以下步骤:提取人脸图像的人脸特征数据;根据人脸特征数据查询与人脸图像相匹配的预设人脸图像;根据预设人脸图像得到目标身份识别结果;确定与目标身份识别结果相关联的服务类型。计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之后,还执行以下步骤:提供与服务类型相应的服务触发入口。

在一个实施例中,计算机可读指令使得处理器在执行获取图像帧之前,还执行以下步骤:从按时序采集的图像帧中选取图像帧;判断选取的图像帧的特征是否符合预设的节点图像的特征;当选取的图像帧的特征符合节点图像的特征时,获取选取的图像帧为节点图像;确定获取的节点图像在地图中相应的节点;对应于确定的节点存储获取的节点图像的特征。

在一个实施例中,确定获取的节点图像在地图中相应的节点,包括:提取获取的节点图像的特征;获取地图中已有的节点对应的节点图像的特征;确定获取的特征与提取的特征之间的变化矩阵;根据节点与变化矩阵,确定获取的节点图像在地图中相应的节点。

在一个实施例中,计算机可读指令使得处理器在执行确定获取的节点图像在地图中相应的节点之后,还执行以下步骤:计算地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度;当地图中已有的节点对应的节点图像的特征,与获取的节点图像的特征之间的相似度超过预设相似度阈值时,则根据获取的节点图像相应的节点,在地图中生成包括已有的节点的环形路径。

在一个实施例中,从地图中挑选与图像帧匹配的起始节点,包括:提取图像帧的特征;获取地图包括的节点所对应的节点图像的特征;确定图像帧的特征与节点图像的特征之间的相似度;选取对应相似度最高的节点图像的特征所对应的节点,得到与图像帧相匹配的起始节点。

在一个实施例中,计算机可读指令使得处理器在执行按照选取的趋向目标运动路径运动之前,还执行以下步骤:提取图像帧的特征;获取起始节点所对应的节点图像的特征;确定图像帧的特征和节点图像的特征之间的空间状态差异量;根据空间状态差异量进行运动。

在一个实施例中,按照选取的趋向目标运动路径运动,包括:依次获取趋向目标运动路径包括的各节点所对应的节点图像的特征;依次确定获取的对应相邻节点的节点图像的特征之间的空间状态差异量;根据依次确定的空间状态差异量进行运动。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1