智能设备的处理方法、装置、智能设备及介质与流程

文档序号:15399343发布日期:2018-09-11 17:06阅读:135来源:国知局

本申请涉及互联网技术,尤其是一种智能设备的处理方法、装置、智能设备及介质。



背景技术:

随着通信时代与社会的发展,购买并使用越来越多的智能设备已经渐渐成为了人们生活中必不可少的一项选择。

其中,很多的智能设备都已经可以识别用户的语音,并根据用户语音去执行对应的指令。以智能音箱为例,智能音箱是音箱升级的产物,其主要通过语音与用户进行交互,可以实现与用户的日常交流,达到智能的状态。现有技术中,智能音箱是用户通过语音进行播放音乐等信息或者控制家电的一个工具,比如智能音箱可以实现点播歌曲等、上网购物,或是了解天气预报,它也可以对智能家居设备进行控制,比如打开窗帘、设置冰箱温度、提前让热水器升温等。

通常,在用户通过语音与智能设备进行交互的过程中,首先需要唤醒智能设备,这样才能启动智能设备。目前,都是使用唤醒指令来唤醒智能设备,其中,唤醒指令是在智能设备的感应范围内说出指定的口令,当智能设备检测到该口令后,即被唤醒。

然而,针对上述情况,当用户处在一个不便开口说话的场景中(安静的公共场所,嗓子有恙无法发声,口中含着东西),或是处在一个声音嘈杂的环境中以致智能设备无法检测到该口令,又或是用户忘记唤醒智能设备的具体指令时,均会导致智能设备无法被唤醒。进而出现用户无法使用智能设备的情况,从而降低用户体验。



技术实现要素:

本申请实施例所要解决的一个技术问题是:提供一种智能设备的处理方法、装置、智能设备及介质,可以解决如何快速唤醒智能设备的问题。

根据本申请实施例的第一方面,提供一种智能设备的处理方法,所述方法应用于智能设备,所述方法包括:

获取目标用户的人体关键点特征,所述人体关键点特征为用于开启所述智能设备的服务操作的特征;

监测所述人体关键点特征的操作行为;

当所述操作行为符合预设条件行为时,开启服务操作。

可选地,作为另一种实施方式,所述获取目标用户的人体关键点特征,包括:

通过神经网络图像语义分割模型,获取目标用户的人体关键点特征。

可选地,作为另一种实施方式,在所述通过神经网络图像语义分割模型,获取目标用户的人体关键点特征之前,还包括:

获取样本图像,其中,所述样本图像包括至少一个标注的人体关键点特征;

利用所述包括至少一个标注的人体关键点特征的样本图像对预设的神经网络图像语义分割模型进行训练,得到所述神经网络图像语义分割模型。

可选地,作为另一种实施方式,所述人体关键点特征包括所述目标用户的头部特征和/或所述目标用户的手势特征。

可选地,作为另一种实施方式,所述人体关键点特征为所述目标用户的头部特征,所述头部特征为脸部特征和/或五官特征,所述监测所述人体关键点特征的操作行为;当所述操作行为符合预设条件行为时,开启所述服务操作,包括:

监测所述目标用户的脸部特征的脸部朝向方位与第一参照物的第一夹角角度;当监测到所述第一夹角角度达到第一预设阈值时,开启所述服务操作;

和/或,

监测所述目标用户的五官特征的五官朝向方位与第二参照物的第二夹角角度;当监测到所述第二夹角角度达到第二预设阈值时,开启所述服务操作。

可选地,作为另一种实施方式,所述人体关键点特征为所述目标用户的手势特征,所述手势特征为手指特征和/或手掌特征,所述监测所述人体关键点特征的操作行为;当所述操作行为符合预设条件行为时,开启所述服务操作,包括:

监测所述目标用户的手指特征的手指朝向方位与第三参照物的第三夹角角度;当监测到所述第三夹角角度达到第三预设阈值时,开启所述服务操作;

和/或,

监测所述目标用户的手掌特征的手掌方位与第四参照物的距离,当监测到所述距离小于预设距离时,开启所述服务操作。

可选地,作为另一种实施方式,所述监测所述人体关键点特征的操作行为;当所述操作行为符合预设条件行为时,开启所述服务操作,包括:

监测所述目标用户的手指特征的手指滑动轨迹,当监测到所述目标用户的手指滑动起始点与所述目标用户的手指滑动终止点之间的第一直线距离达到第一直线预设距离时,开启所述服务操作;

和/或,

监测所述目标用户的手掌特征的手掌滑动轨迹,当监测到所述目标用户的手掌滑动起始点与所述目标用户的手掌滑动终止点之间的第二直线距离达到第二直线预设距离时,开启所述服务操作。

可选地,作为另一种实施方式,所述当所述操作行为符合预设条件行为时,开启所述服务操作,包括:

当监测到所述操作行为持续预设时间后时,开启所述服务操作。

可选地,作为另一种实施方式,在所述当所述操作行为符合预设条件行为时,开启所述服务操作之后,还包括:

播放已开启所述服务操作的通知语音。

根据本申请实施例的第二方面,提供一种智能设备的处理装置,所述装置应用于智能设备,所述装置包括:

获取模块,用于获取目标用户的人体关键点特征,所述人体关键点特征为用于开启所述智能设备的服务操作的特征;

监测模块,用于监测所述人体关键点特征的操作行为;

执行模块,用于当所述操作行为符合预设条件行为时,开启服务操作。

可选地,作为另一种实施方式,所述获取模块,还用于通过神经网络图像语义分割模型,获取目标用户的人体关键点特征。

可选地,作为另一种实施方式,所述装置还包括:训练模块;

所述获取模块,还用于获取样本图像,其中,所述样本图像包括至少一个标注的人体关键点特征;

所述训练模块,用于利用所述包括至少一个标注的人体关键点特征的样本图像对预设的神经网络图像语义分割模型进行训练,得到所述神经网络图像语义分割模型。

可选地,作为另一种实施方式,所述人体关键点特征包括所述目标用户的头部特征和/或所述目标用户的手势特征。

可选地,作为另一种实施方式,所述人体关键点特征为所述目标用户的头部特征,所述头部特征为脸部特征和/或五官特征,

所述监测模块,还用于监测所述目标用户的脸部特征的脸部朝向方位与第一参照物的第一夹角角度,得到第一监测结果;

所述执行模块,还用于当所述第一监测结果为所述第一夹角角度达到第一预设阈值时,开启所述服务操作;

所述监测模块,还用于监测所述目标用户的五官特征的五官朝向方位与第二参照物的第二夹角角度,得到第二监测结果;

所述执行模块,还用于当所述第二监测结果为所述第二夹角角度达到第二预设阈值时,开启所述服务操作。

可选地,作为另一种实施方式,所述人体关键点特征为所述目标用户的手势特征,所述手势特征为手指特征和/或手掌特征,

所述监测模块,还用于监测所述目标用户的手指特征的手指朝向方位与第三参照物的第三夹角角度,得到第三监测结果;

所述执行模块,还用于当所述第三监测结果为所述第三夹角角度达到第三预设阈值时,开启所述服务操作;

所述监测模块,还用于监测所述目标用户的手掌特征的手掌方位与第四参照物的距离,得到第四监测结果;

所述执行模块,还用于当所述第四监测结果为所述距离小于预设距离时,开启所述服务操作。

可选地,作为另一种实施方式,所述监测模块,还用于监测所述目标用户的手指特征的手指滑动轨迹,得到第五监测结果;

所述执行模块,还用于当所述第五监测结果为所述目标用户的手指滑动起始点与所述目标用户的手指滑动终止点之间的第一直线距离达到第一直线预设距离时,开启所述服务操作;

所述监测模块,还用于监测所述目标用户的手掌特征的手掌滑动轨迹,得到第六监测结果;

所述执行模块,还用于当所述第六监测结果为所述目标用户的手掌滑动起始点与所述目标用户的手掌滑动终止点之间的第二直线距离达到第二直线预设距离时,开启所述服务操作。

可选地,作为另一种实施方式,所述监测模块,还用于对所述操作行为的行为时间进行监测,得到第七监测结果;

所述执行模块,还用于当所述第七监测结果为所述操作行为持续预设时间后时,开启所述服务操作。

可选地,作为另一种实施方式,所述装置还包括:播放模块;

所述播放模块,用于播放已开启所述服务操作的通知语音。

根据本申请实施例的第三方面,提供一种智能设备,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成上述描述的所述智能设备的处理方法的操作。

根据本申请实施例的第四方面,提供一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行上述描述的所述智能设备的处理方法的操作。

根据本申请实施例的第五方面,提供一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行上述描述的所述智能设备的处理方法的操作。

本申请实施例提供的一种智能设备的处理方法、装置、智能设备及介质,通过获取目标用户的人体关键点特征的操作行为,并在监测到人体关键点特征的操作行为符合预设条件行为时,执行开启服务的操作,从而可以使用户在忘记智能设备唤醒语音指令的情况下依然可以开启智能设备,或者快速便捷简单的唤醒智能设备,从而极大提高了用户的使用体验。

下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。

参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:

图1为本申请智能设备的处理方法一个实施例的流程图。

图2为本申请智能设备的处理方法另一个实施例的流程图。

图3为本申请智能设备的处理装置一个实施例的逻辑结构示意图。

图4为本申请智能设备的处理装置另一个实施例的逻辑结构示意图。

图5为本申请智能设备的处理装置又一个实施例的逻辑结构示意图。

图6为本申请智能设备的处理装置再一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于终端设备、计算机系统、服务器等电子设备(智能设备),其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

下面结合图1至图2来描述根据本申请示例性实施方式的用于进行智能设备的处理方法。需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。本申请应用于集群用户设备,如后台服务器,推荐服务器等。

图1示意性地示出了根据本申请实施方式的一种智能设备的处理方法的流程示意图。如图1所示,该方法应用于智能设备,包括:

s101,获取目标用户的人体关键点特征,人体关键点特征为用于开启智能设备服务操作的特征。

其中,本申请中不对智能设备做具体限制。即智能设备可以是智能手表,智能音箱,智能家电,智能汽车等等。智能设备的具体变化并不会影响本申请的保护范围。另外需要说明的是,智能设备获取目标用户的人体关键点特征的方式可以为通过自身携带的摄像头所获取,也可以为通过自身携带的感应装置所获取。本申请对智能设备获取目标用户的人体关键点特征的方式同样不做限定。进一步的,本申请中的人体关键点特征为用于开启智能设备服务操作的特征。以智能设备为智能音箱举例,当智能音箱处于关闭状态时,本申请中的人体关键点特征用于唤醒智能音箱并使其准备工作。

s102,监测人体关键点特征的操作行为。

可选的,本申请中智能设备监测人体关键点特征的操作行为的方式同样可以通过自身携带的摄像头或是自身携带的感应装置所实现。需要说明的是,本申请不对人体关键点特征的操作行为做具体限定。即人体关键点特征的操作行为可以为人体关键点特征的操作持续时间,也可以为人体关键点特征的操作轨迹,还可以为人体关键点特征的停留方位。人体关键点特征的操作行为的具体变化并不会影响本申请的保护范围。

s103,当操作行为符合预设条件行为时,开启服务操作。

本申请实施例提供的一种智能设备的处理方法,通过获取目标用户的人体关键点特征的操作行为,并在监测到人体关键点特征的操作行为符合预设条件行为时,执行开启服务的操作。可以使用户在忘记智能设备唤醒语音指令的情况下依然可以开启智能设备,或者快速便捷简单的唤醒智能设备,从而极大提高了用户的使用体验。

作为本申请的其中一种实施方式,目标用户的人体关键点特征可以为以下两种情况的任意一种或多种:

第一种情况:目标用户的人体关键点特征为目标用户的头部特征。

第二种情况:目标用户的人体关键点特征为目标用户的手势特征。

本申请中,监测人体关键点特征的操作行为,当操作行为符合预设条件行为时,开启服务操作的具体操作方式可以针对于上述两种情况分别进行不同的操作:

针对上述第一种情况:当目标用户的人体关键点特征为目标用户的头部特征时,本申请中目标用户的头部特征具体可以为以下两种特征的任意一种或多种:

第一种特征:目标用户的头部特征为目标用户的脸部特征。

当目标用户的头部特征为目标用户的脸部特征时,监测目标用户的脸部特征的脸部朝向方位与第一参照物的第一夹角角度是否达到第一预设阈值,当达到时,开启服务操作。

进一步的,当目标用户的头部特征为目标用户的脸部特征时,首先获取目标用户的脸部位置,进而根据目标用户的脸部位置判断其脸部所面向的方位。例如,当用户站在智能设备前,且脸部朝向自身右侧的时候,判断用户右侧的方位,如用户右侧方位为正东向。则认为此时目标用户的脸部朝向方位为东。更进一步的,当判断出目标用户的脸部朝向方位时,监测目标用户的脸部朝向方位与第一参照物的第一夹角角度。如该第一夹角角度达到第一预设阈值时,判定目标用户的脸部特征符合预设条件行为,进而开启服务操作。

需要注意的是,本申请中不对第一参照物做具体限定。例如第一参照物可以是智能设备的摄像头,第一参照物也可以是智能设备的音响装置。当第一参照物为智能设备的摄像头时,智能设备监测目标用户的脸部朝向方位与智能设备的摄像头朝向方位之间的第一夹角角度。当第一参照物为智能设备的音响装置时,智能设备监测目标用户的脸部朝向方位与智能设备的音响装置朝向方位之间的第一夹角角度。还需要说明的是,本申请中不对第一预设阈值做具体限定,即第一预设阈值可以是90度,第一预设阈值也可以是180度。

在本申请提出的一种具体实施方式中,以第一参照物为智能设备的摄像头,第一预设阈值为180度为例:当目标用户的脸部正朝向智能设备的摄像头时,智能设备监测到此时目标用户的脸部朝向方位与智能设备的摄像头朝向方位的夹角角度为180度,则智能设备判定目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

第二种特征:目标用户的头部特征为目标用户的五官特征。

当目标用户的头部特征为目标用户的五官特征时,监测目标用户的五官特征的五官朝向方位与第二参照物的第二夹角角度是否达到第二预设阈值。当达到时,开启服务操作。

进一步的,当目标用户的头部特征为目标用户的五官特征时,首先获取目标用户的头部位置,进而根据目标用户的头部位置判断其五官所面向的方位。其中,本申请不对目标用户五官的种类做具体限制。即本申请中提及的目标用户的五官特征可以为用户五官的任意一个器官特征(眉眼口鼻耳)。以目标用户的五官特征为目标用户的耳朵为例:当用户站在智能设备前,且脸部面向北方的时候,则认为此时目标用户的右耳朝向方位为东,目标用户的左耳朝向方位为西。更进一步的,当判断出目标用户的耳朵朝向方位时,监测目标用户的耳朵朝向方位与第二参照物的第二夹角角度。如该第二夹角角度达到第二预设阈值时,则判定此时目标用户的五官特征符合预设条件行为,进而开启服务操作。

需要注意的是,本申请中不对第二参照物做具体限定。例如第二参照物可以是智能设备的摄像头,第二参照物也可以是智能设备的音响装置。当第二参照物为智能设备的摄像头时,智能设备监测目标用户的五官朝向方位与智能设备的摄像头朝向方位之间的第二夹角角度。当第二参照物为智能设备的音响装置时,智能设备监测目标用户的五官朝向方位与智能设备的音响装置朝向方位之间的第二夹角角度。还需要说明的是,本申请中不对第二预设阈值做具体限定,即第二预设阈值可以是90度,第二预设阈值也可以是180度。

在本申请提出的一种具体实施方式中,以目标用户的五官特征为用户的耳朵特征,第二参照物为智能设备的摄像头,第二预设阈值为90度为例:当目标用户的脸部正朝向智能设备的摄像头时,智能设备监测到此时目标用户的耳朵朝向方位与智能设备的摄像头朝向方位的夹角角度为90度,则智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

另外还值得说明的是,当智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为时,还可以进一步监测目标用户的人体关键点特征的操作行为符合预设条件行为的持续时间,并在监测到目标用户的人体关键点特征的操作行为符合预设条件行为持续预设时间后,进而开启自身的服务操作。需要注意的是,本申请不对预设时间做具体限定,即预设时间可以为5s,预设时间也可以为10s。

需要注意的是,本申请中的上述两种目标用户的头部特征情况可以单独分开实施,也可以二者同步实施。具体的实施方式可以依据智能设备以及用户的情况而定,本申请在此不做具体限定。

针对上述第二种情况:当目标用户的人体关键点特征为目标用户的手势特征时,本申请中目标用户的手势特征具体可以为以下两种特征的任意一种或多种:

第一种特征:目标用户的手势特征为目标用户的手指特征。

当目标用户的手势特征为目标用户的手指特征时,监测目标用户的手指特征的手指朝向方位与第三参照物的第三夹角角度是否达到第三预设阈值。当达到时,开启服务操作。

进一步的,当目标用户的手势特征为目标用户的手指特征时,首先获取目标用户的手部位置,进而根据目标用户的手部位置判断其手指所面向的方位。其中,本申请不对目标用户手指的种类做具体限制。即本申请中提及的目标用户的手指特征可以为用户五个手指中的任意一个手指特征。以目标用户的手指特征为目标用户的食指为例:当用户站在智能设备前,且脸部面向北方的时候,用户抬起手臂并将食指指向正前方,则智能设备认为此时用户的手指朝向方位为北方。更进一步的,当判断出目标用户的手指朝向方位时,监测目标用户的手指朝向方位与第三参照物的第三夹角角度。如该第三夹角角度达到第三预设阈值时,则判定此时目标用户的手指特征符合预设条件行为,进而开启服务操作。

需要注意的是,本申请中不对第三参照物做具体限定。例如第三参照物可以是智能设备的摄像头,第三参照物也可以是智能设备的音响装置。当第三参照物为智能设备的摄像头时,智能设备监测目标用户的手指朝向方位与智能设备的摄像头朝向方位之间的第三夹角角度。当第三参照物为智能设备的音响装置时,智能设备监测目标用户的手指朝向方位与智能设备的音响装置朝向方位之间的第三夹角角度。还需要说明的是,本申请中不对第三预设阈值做具体限定,即第三预设阈值可以是90度,第二预设阈值也可以是180度。

在本申请提出的一种具体实施方式中,以第三参照物为智能设备的摄像头,第三预设阈值为180度为例:当目标用户的手指正指向智能设备的摄像头时,智能设备监测到此时目标用户的手指朝向方位与智能设备的摄像头朝向方位的夹角角度为180度,则智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

可选的,智能设备还可以监测目标用户的手指特征的手指滑动轨迹,并在当监测到目标用户的手指滑动起始点与目标用户的手指滑动终止点之间的第一直线距离达到第一直线预设距离时,开启服务操作。

进一步可选的,智能设备可以首先获取目标用户的手指起始点位置,进而通过目标用户的手指滑动轨迹确定手指起始点以及手指终止点的直线距离。其中,本申请同样不对目标用户手指的种类做具体限制。即本申请中提及的目标用户的手指特征可以为用户五个手指中的任意一个手指特征。需要注意的是,本申请中不对第一直线预设距离做具体限定,即第一直线预设距离可以是10cm,第一直线预设距离也可以是50cm。

在本申请提出的另外一种具体实施方式中,以第一直线预设距离为10cm为例:当目标用户的手指从正指向智能设备的摄像头持续滑动到身体右侧时,智能设备监测到此时目标用户的手指滑动起始点与手指滑动终止点之间的直线距离为25cm,则智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

值得注意的是,本申请中智能设备监测用户手指起始点与手指终止点之间的直线距离可以为监测手指滑动轨迹中用户手指的第一指节中心点之间的直线距离。

第二种特征:目标用户的手势特征为目标用户的手掌特征。

当目标用户的手势特征为目标用户的手掌特征时,监测目标用户的手势特征的手掌方位与第四参照物的距离是否小于预设距离,当小于时,开启服务操作。

进一步的,当目标用户的手势特征为目标用户的手掌特征时,首先可以获取目标用户的手臂位置,进而根据目标用户的手臂位置获取其手掌方位。更进一步的,当判断出目标用户的手掌方位时,监测目标用户的手掌方位与第四参照物的距离。如该距离小于预设距离时,判定目标用户的手势特征符合预设条件行为,进而开启服务操作。

需要注意的是,本申请中同样不对第四参照物做具体限定。例如第四参照物可以是智能设备的摄像头,第四参照物也可以是目标用户的一个器官。其中,本申请同样不对目标用户的肢体器官做具体限制。例如本申请中提及的目标用户的一个器官可以为用户五官中的其中一个器官。进一步的,当第四参照物为智能设备的摄像头时,智能设备监测目标用户的手掌方位与智能设备的摄像头之间的第一直线距离。当第四参照物为目标用户的一个器官时,智能设备监测目标用户的手掌方位与目标用户的器官之间的距离。还需要说明的是,本申请中不对预设距离做具体限定,即预设距离可以是5cm,预设距离也可以是10cm。

在本申请提出的一种具体实施方式中,以第四参照物为用户的耳朵,第一预设距离为5cm为例:当目标用户将手掌放置在可以捂住自身耳朵的方位时,智能设备监测到此时目标用户的手掌方位与目标用户的耳朵之间的第一直线距离为0cm,即第一直线距离小于第一预设距离。则智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

可选的,智能设备还可以监测目标用户的手指特征的手掌滑动轨迹,并在当监测到目标用户的手掌滑动起始点与目标用户的手掌滑动终止点之间的第二直线距离达到第二直线预设距离时,开启服务操作。

进一步可选的,智能设备可以首先获取目标用户的手掌起始点位置,进而通过目标用户的手掌滑动轨迹确定手掌起始点以及手掌终止点的直线距离。需要注意的是,本申请中不对第二直线预设距离做具体限定,即第二直线预设距离可以是10cm,第二直线预设距离也可以是50cm。

在本申请提出的另外一种具体实施方式中,以第二直线预设距离为20cm为例:当目标用户的手掌从正朝向智能设备的摄像头持续滑动到身体左侧时,智能设备监测到此时目标用户的手掌滑动起始点与手掌滑动终止点之间的直线距离为30cm,则智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为,进而开启自身的服务操作。

值得注意的是,本申请中智能设备监测用户手掌起始点与手掌终止点之间的直线距离可以为监测用户滑动轨迹中手掌掌心之间的直线距离。

另外还值得说明的是,当智能设备判定此时目标用户的人体关键点特征的操作行为符合预设条件行为时,还可以进一步监测目标用户的人体关键点特征的操作行为符合预设条件行为的持续时间,并在监测到目标用户的人体关键点特征的操作行为符合预设条件行为持续预设时间后,进而开启自身的服务操作。需要注意的是,本申请不对预设时间做具体限定,即预设时间可以为5s,预设时间也可以为10s。

需要注意的是,本申请中的上述两种目标用户的手势特征情况可以单独分开实施,也可以二者同步实施。具体的实施方式可以依据智能设备以及用户的情况而定,本申请在此不做具体限定。

在本申请提出的另外一种具体实施方式中,针对获取目标用户的人体关键点特征的方式有多种,在此列举两种方式。

第一种方式,通过纹理特征提取来摄像头采集到的图像帧中的人体关键点特征。

第二种方式,通过神经网络图像语义分割模型来获取摄像头采集到的图像帧中的人体关键点特征。

可选的,在本申请实施例中,通过获取样本图像,以及利用包括至少一个特征对象的样本图像对预设的神经网络图像语义分割模型进行训练,得到神经网络图像语义分割模型。

其中,样本图像包括至少一个特征对象。

可以理解的是,摄像头为智能设备中的摄像头,用户采集外界信息,本实施例中的外界信息包括人体关键点特征。

作为示例,本申请还包括一种智能设备的处理方法,如图2所示,所述方法还包括:

s201,通过神经网络图像语义分割模型,获取目标用户的人体关键点特征。

s202,监测人体关键点特征的操作行为。

s203,当操作行为符合预设条件行为时,开启服务操作。

s204,播放已开启服务操作的通知语音。

其中,此步骤为可选步骤。

本申请实施例提供的一种智能设备的开启方法,通过神经网络图像语义分割模型获取目标用户的人体关键点特征的操作行为,并在监测到人体关键点特征的操作行为符合预设条件行为时,开启自身的服务操作并语音通知给用户。本申请的技术方案可以使用户在无需对智能设备发出语音指令的情况下,通过精准获取用户的人体关键点特征来开启智能设备。进而避免了当用户处在不便开口讲话的场景中时,无法开启智能设备的弊端。

作为示例,本申请还包括一种智能设备的处理装置,如图3所示,该装置应用于智能设备,该装置包括:获取模块301,监测模块302,执行模块303。

获取模块301,用于获取目标用户的人体关键点特征,人体关键点特征为用于开启智能设备的服务操作的特征。

监测模块302,用于监测人体关键点特征的操作行为;

执行模块303,用于当操作行为符合预设条件行为时,开启服务操作。

本申请实施例提供的一种智能设备的处理装置,通过获取模块获取目标用户的人体关键点特征的操作行为,并在监测模块监测到人体关键点特征的操作行为符合预设条件行为时,执行模块执行开启服务的操作,从而可以使用户在忘记智能设备唤醒语音指令的情况下依然可以开启智能设备,或者快速便捷简单的唤醒智能设备,从而极大提高了用户的使用体验。

可选的,在本申请的另一种实施方式中,获取模块301,还用于通过神经网络图像语义分割模型,获取目标用户的人体关键点特征。

如图4所示,本申请还提供另一种智能设备的处理装置,该装置还包括:训练模块304。

首先,获取模块301,还用于获取样本图像,其中,样本图像包括至少一个标注的人体关键点特征。

然后训练模块304,用于利用包括至少一个标注的人体关键点特征的样本图像对预设的神经网络图像语义分割模型进行训练,得到神经网络图像语义分割模型。

可选的,在本申请实施例中,人体关键点特征包括目标用户的头部特征和/或目标用户的手势特征。

可选的,当人体关键点特征为目标用户的头部特征,头部特征为脸部特征和/或五官特征时,监测模块302,还用于监测目标用户的脸部特征的脸部朝向方位与第一参照物的第一夹角角度,得到第一监测结果。

执行模块303,还用于当第一监测结果为第一夹角角度达到第一预设阈值时,开启服务操作。

进一步可选的,监测模块302,还用于监测目标用户的五官特征的五官朝向方位与第二参照物的第二夹角角度,得到第二监测结果。

执行模块303,还用于当第二监测结果为第二夹角角度达到第二预设阈值时,开启服务操作。

可选的,当人体关键点特征为目标用户的手势特征,手势特征为手指特征和/或手掌特征时,监测模块302,还用于监测目标用户的手指特征的手指朝向方位与第三参照物的第三夹角角度,得到第三监测结果。

执行模块303,还用于当第三监测结果为第三夹角角度达到第三预设阈值时,开启服务操作。

以及进一步可选的,监测模块302,还用于监测目标用户的手掌特征的手掌方位与第四参照物的距离,得到第四监测结果。

执行模块303,还用于当第四监测结果为距离小于预设距离时,开启服务操作。

以及进一步可选的,监测模块302,还用于监测目标用户的手指特征的手指滑动轨迹,得到第五监测结果。

执行模块303,还用于当第五监测结果为目标用户的手指滑动起始点与目标用户的手指滑动终止点之间的第一直线距离达到第一直线预设距离时,开启服务操作。

以及,可选的,监测模块302,还用于监测目标用户的手掌特征的手掌滑动轨迹,得到第六监测结果。

执行模块303,还用于当第六监测结果为目标用户的手掌滑动起始点与目标用户的手掌滑动终止点之间的第二直线距离达到第二直线预设距离时,开启服务操作。

作为本申请的另一种实施方式,监测模块302,还用于对操作行为的行为时间进行监测,得到第七监测结果。

执行模块303,还用于当第七监测结果为操作行为持续预设时间后时,开启服务操作。

如图5所示,本申请还提供一种智能音箱的处理装置,该装置还包括:播放模块305。

其中播放模块305,用于播放已开启服务操作的通知语音。

可以看出,图5所示的装置中尚未包括训练模块,可以理解的是,在本申请的另一种实施方式中,还包括一种智能设备的处理装置,该装置包括获取模块、监测模块、执行模块、训练模块以及播放模块。为了不重复描述,各个模块的使用功能可参考上述说明,在此不一一赘述。

在介绍了本申请示例性实施方式的方法和装置之后,接下来,参考图6对本申请示例性实施方式的、用于实现上述方法实施方式中所记载的各步骤的智能设备进行说明。图6显示的计算机系统/服务器60仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示,计算机系统/服务器60以通用计算设备的形式表现。计算机系统/服务器60的组件可以包括但不限于:一个或者多个处理器或者处理单元601,系统存储器602,连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

计算机系统/服务器60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器60访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(ram)6021和/或高速缓存存储器6022。计算机系统/服务器60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,rom6023可以用于读写不可移动的、非易失性磁介质(图6中未显示,通常称为“硬盘驱动器”)。尽管未在图6中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线603相连。系统存储器602中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块6024的程序/实用工具6025,可以存储在例如系统存储器602中,且这样的程序模块6024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块6024通常执行本申请所描述的实施例中的功能和/或方法。

计算机系统/服务器60也可以与一个或多个外部设备604(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(i/o)接口605进行。并且,计算机系统/服务器60还可以通过网络适配器606与一个或者多个网络(例如局域网(lan),广域网(wan)和/或者公共网络,例如因特网)通信。如图6所示,网络适配器606通过总线603与计算机系统/服务器60的其它模块(如处理单元601等)通信。应当明白,尽管图6中未示出,可以结合计算机系统/服务器60使用其它硬件和/或软件模块。

处理单元601通过运行存储在系统存储器602中的计算机程序,从而执行各种功能应用以及数据处理,例如,执行用于实现上述方法实施例中的各步骤的指令;具体而言,处理单元601可以执行系统存储器602中存储的计算机程序,且该计算机程序被执行时,下述指令被运行:

获取目标用户的人体关键点特征,人体关键点特征为用于开启智能设备的服务操作的特征;

监测人体关键点特征的操作行为;

当操作行为符合预设条件行为时,开启服务操作。

当然,智能设备还包括的其他指令如方法侧装置侧描述的内容,在此不再一一赘述。

本申请实施例提供的一种智能设备,通过获取目标用户的人体关键点特征的操作行为,并在监测到人体关键点特征的操作行为符合预设条件行为时,执行开启服务的操作。可以使用户在忘记智能设备唤醒语音指令的情况下依然可以开启智能设备,或者快速便捷简单的唤醒智能设备,从而极大提高了用户的使用体验。

本申请实施例还提供一种计算机程序,包括计算机可读代码,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现上述图1至图2中包括的所述智能设备的处理方法的操作。所述智能设备的处理方法中描述的内容,在此不再一一赘述。

本申请实施例还提供一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述图1至图2中包括的所述智能设备的处理方法的操作。所述智能设备的处理方法中描述的内容,在此不再一一赘述。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本申请的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用,并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1