智能家居控制方法、装置和服务器与流程

文档序号:15443042发布日期:2018-09-14 23:01阅读:133来源:国知局

本发明涉及互联网领域,并具体涉及一种智能家居控制方法、装置和服务器。



背景技术:

技术的高速发展给人们的生活带来了越来越多的便利。如今,智能家居已经逐渐普及到了人们的生活中。智能家居不仅能够使得人们家中更为舒适和美观,还能实现节能环保,因此得到了越来越多的青睐。

现有技术中,可以通过人脸识别或者指纹识别装置来识别用户,并且通过无线网络对智能家居进行一定的控制。然而,现有技术的方案通常是识别用户的身份,当确定用户具有权限来控制智能家居时,对智能家居进行控制,并没有进一步识别用户的位置和/或人脸朝向,并且根据用户的位置和/或人脸朝向来控制智能家居的操作。



技术实现要素:

本发明实施例提供一种智能家居控制方法、装置和服务器,以至少解决现有技术中的一个或更多个技术问题,至少提供一种有益的选择。

第一方面,本发明实施例提供了一种智能家居控制方法,包括:获取当前用户的面部图像;

提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;其中,所述预设特征通过对多张人脸图片进行训练得到,并且所述多张人脸图片包括指示用户的位置和/或人脸朝向的多张图片;以及

根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

结合第一方面,本发明在第一方面的第一种实施方式中,在所述获取当前用户的面部图像之后,所述方法还包括:

判断当前环境的亮度是否小于第一阈值;以及

在确定当前环境的亮度小于所述第一阈值时,控制所述智能家居中的照明设备打开以重新获取所述当前用户的面部图像;以及

所述提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向,包括:

提取重新获取的面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向。

结合第一方面,本发明在第一方面的第二种实施方式中,所述根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向,包括:

将所提取的预设特征输入预设分类器中,判断所述当前用户的位置和/或人脸朝向;其中,所述预设分类器通过指示用户的位置和/或人脸朝向的多张人脸图片进行训练得到。

结合第一方面,本发明在第一方面的第三种实施方式中,所述获取当前用户的人脸图像,包括:

以预定时间间隔获取当前用户的至少一张面部图像;

所述提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向,包括:

提取所述至少一张面部图像中每张面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的行进速度和/或方向;并且

所述根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制,包括:

根据所述当前用户的行进速度和/或方向对智能家居的操作进行控制。

结合第一方面的第三种实施方式,所述根据所述当前用户的行进速度和/或方向对智能家居的操作进行控制,包括:

根据所述当前用户的行进速度和/或方向控制所述智能家居中照明设备的打开或闭合;或

根据所述当前用户的行进速度和/或方向控制所述智能家居中声音播放设备的打开、闭合、或音量调节。

第二方面,本发明实施例提供了一种智能家居控制装置,包括:

获取模块,用于获取当前用户的面部图像;

判断模块,用于提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;其中,所述预设特征通过对多张人脸图片进行训练得到,并且所述多张人脸图片包括指示用户的位置和/或人脸朝向的多张图片;以及

控制模块,用于根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

第三方面,本发明实施例提供了一种服务器,所述服务器包括:

一个或多个处理器;

存储装置,配置为存储一个或多个程序;

通信接口,配置为使所述处理器和存储装置与外部设备进行通信;

当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述第一方面中的方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储所述智能家居控制装置所用的计算机软件指令,其包括用于执行上述第一方面中的智能家居控制方法为所述智能家居控制装置所涉及的程序。

上述技术方案中的另一个技术方案具有如下优点或有益效果:本发明实施例中,通过提取用户面部图像的预设特征来对当前用户的位置和/或人脸朝向进行判断,并且预设特征通过对多张人脸图片进行训练得到,这样,能够根据用户的位置和/或人脸朝向来控制智能家居的操作,实现更为精细的控制。

上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。

图1为根据本发明一个实施例的智能家居控制方法的流程图;

图2为根据本发明另一实施例的智能家居控制方法的流程图;

图3为根据本发明另一实施例的智能家居控制方法的流程图;

图4为根据本发明另一实施例的智能家居控制装置的结构示意图;

图5为根据本发明另一实施例的智能家居控制装置的结构示意图;

图6为根据本发明另一实施例的服务器的结构示意图。

具体实施方式

在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。

图1示出了根据本发明一个实施例的智能家居控制方法100的流程图。需要说明的是,方法100可以应用于某个单独的设备,也可以嵌入某些智能家居中,例如可以嵌入智能音箱、智能空调等设备中,只要该设备具备图像获取装置,能够实现人脸识别即可。如图1所示,方法100可以包括:

s110:获取当前用户的面部图像;

s120:提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;

此处,预设特征可以通过对多张人脸图片进行训练得到,并且多张人脸图片应包括指示用户的位置和/或人脸朝向的多张图片。可以理解的是,这样得到的预设特征能更好地体现用户的位置和/或人脸朝向。

本发明实施例中提到的训练为机器学习的一种方法,通过训练从大量数据中得到模型参数。并且,对多张面部图片进行训练时,可以通过神经网络技术进行。特别地,可以通过卷积神经网络或优选地深度卷积神经网络进行训练。卷积神经网络广泛用于图像和视频识别、推荐系统以及自然语言处理。本发明实施例利用卷积神经网络对所获取的面部图像进行人脸识别。卷积神经网络主要包括:卷积层、激活函数、池化层和全连接层。其中,常用的激活函数有sigmoid、tanh和relu,可以根据实际情况选择。池化的目的是减少输入的维度,本发明实施例中,输入为面部图像,如今常用的池化技术包括max-pooling、min-pooling和average-pooling。

在具体实施中,卷积神经网络的层数可以根据需要进行选择,并不一定只包含四个层。

本发明实施例中,通过训练得到的是关于用户的面部图像的特征,可以称为人脸特征。特别地,为了更方便地控制智能家居,优选提取与用户的当前位置和/或人脸朝向相关的特征,例如人脸朝向可以用为用户面部与摄像头之间的角度来表示,也可以用用户的瞳孔角度来表示,或者可以用地理方向来表示。通常情况下,用户的瞳孔角度表示用户眼睛的朝向,表明用户视线的方向。在确定用户视线方向时,可以针对用户视线方向上的智能家居进行控制。

此处可以针对预设用户的人脸图片进行训练,预设用户可以为房屋的所有者,也可以为被房屋所有者设置为可以控制智能家居的人。可以理解的是,这样除了可以对智能家居进行控制,还可以对当前用户的身份进行识别。特别地,可以将针对当前用户的面部图像提取的特征与针对预设用户的面部图像提取的特征进行比较,确定两者之间的相似度,相似度大于某一阈值时即可确定当前用户是否为预设用户。如果当前用户不是预设用户,还可以通知预设用户或进行报警。

在本发明一个优选实施方式中,根据所提取的预设特征来判断当前用户的位置和/或人脸朝向可以包括:将所提取的预设特征输入预设分类器中,判断所述当前用户的位置和/或人脸朝向;其中,所述预设分类器通过指示用户的位置和/或人脸朝向的多张人脸图片进行训练得到。

分类器常用于数据挖掘,其输入通常是特征向量,输出通常也是数值,但是每个数值指示不同的类别。特别地,也可以利用神经网络、特别是卷积神经网络或深度卷积神经网络来生成分类器。

此处,用户的位置既可以是用户在房间中的坐标位置,此时需要建立坐标系,例如可以将东西方向作为横坐标,南北方向作为纵坐标,并且以房间的西南角为原点建立坐标系,以此来获取用户的位置;用户的位置也可以是相对于智能家居中各个电子设备的位置,在这种情况下,可以通过人脸识别判断用户与执行方法100的设备与用户的相对位置,从而得出用户与其他智能家居的相对位置。此外,可以理解的是,用户的朝向同样也是相对的,可以根据需要进行设置。

s130:根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

如今,智能家居包括多种设备,例如智能音箱、智能电视、智能空调等。特别地,还可以对传统的家居设备进行升级改造,使得可以对其进行控制。例如,可以在窗帘的导轨上设置电子设备,用来控制窗帘的拉开或闭合。智能家居中的各个设备可以通过无线网络连接,使得能够方便地进行控制。

根据当前用户的位置和/或人脸朝向对智能家居的操作进行控制,可以包括:根据用户的朝向和/或位置控制距离用户最近的照明设备的打开和/或闭合;根据用户朝向和/或位置控制智能音箱的打开、闭合、和/或音量调节等。可以理解的是,还可以通过获取用户的全身图像,识别用户的表情、动作等来对智能家居进行控制。

在某些情况下,例如光线比较暗时,很难通过人脸识别对用户的位置和/或人脸朝向进行准确判断,因此,在本发明另一实施例中,如图2所示,提供了一种智能家居控制方法200,方法200包括:

s210:获取当前用户的面部图像;

s220:判断当前环境的亮度是否小于第一阈值;

特别地,判断当前环境的亮度也可以利用人脸识别技术进行。例如,可以提取所获取的面部图像的特征,并且将所提取的特征与针对高于第一阈值亮度的图片所提取的特征进行比较,如果比较结果不匹配,则确定当前环境的亮度低于第一阈值。此处,所提取的特征是针对在高于第一阈值的亮度下拍摄的多张人脸图片通过训练得到。或者,可以利用通过训练得到的亮度分类器,将提取的特征输入亮度分类器,得到亮度的分类结果。特别地,可以将亮度分为几个等级,作为分类器的输出。在这种情况下,可以根据分类器输出的亮度等级调节照明设备的亮度。

s230:在确定当前环境的亮度小于第一阈值时,控制所述智能家居中的照明设备打开以重新获取所述当前用户的面部图像;

可以理解的是,此处所提到的照明设备,可以为距离执行方法200的设备最近的照明设备。特别地,如果执行方法200的设备为一照明设备,则可以控制该照明设备打开。

s240:提取重新获取的面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;

s250:根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

s240和s250的执行与s120和s130相似,在此不做赘述。

如今的智能家居可以应用在房屋的每个角落,客厅、卧室、厨房、卫生间等都可以安装有智能家居,在这种情况下,可以根据用户的行进速度和/或方向来对智能家居进行控制,以提升用户体验。

因此,如图3所示,在本发明一个优选实施方式中,提供了一种智能家居控制方法300,该方法300可以包括:

s310:以预定时间间隔获取当前用户的至少一张面部图像;

如果期望得到用户的行进速度和/或方向,需要对所获取的面部图像进行周期性更新,本发明实施例中,以预定时间间隔获取当前用户的面部图像。此处的预定时间间隔可根据实际需要设置,例如可以设置为一分钟,也可以设置得更长或更短。可以理解的是,如果预定时间间隔设置得比较短,那么可以更及时地检测到用户的位置和/或方向的变化,进而得到用户的行进速度和/或方向,但是会增加计算量,进而增长响应时间;而如果将预定时间间隔设置得比较长,则会减少计算量,加快响应,但是可能无法及时对用户的位置和/或方向的变化做出响应,跟不上用户的行进。可以根据需要灵活变通,而且可以随时调整。

s320:提取所述至少一张面部图像中每张面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的行进速度和/或方向;

通过对每张面部图像进行特征提取,可以判断出每张面部图像对应的用户位置和/或人脸朝向,进而可以判断出用户的行进速度和/或方向。

s330:根据所述当前用户的行进速度和/或方向对智能家居的操作进行控制。

在一个具体示例中,可以根据所确定的、当前用户的行进速度和/或方向控制智能家居中照明设备的打开或关闭;或者,控制智能家居中播放设备的打开、闭合、音量调节乃至视频切换,等。具体地,当确定用户在行进离开智能音箱时,可以关闭智能音箱。

通过执行方法300,可以更加灵活地控制智能家居的操作,增强用户体验。

图4示出了根据本发明另一实施例的智能家居控制装置400的结构示意图,如图4所示,装置400包括:

获取模块410,用于获取当前用户的面部图像;

判断模块420,用于提取所述面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;其中,所述预设特征通过对多张人脸图片进行训练得到,并且所述多张人脸图片包括指示用户的位置和/或人脸朝向的多张图片;以及

控制模块430,用于根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

在本发明另一实施例中,如图5所示,提供了一种智能家居控制装置500,该装置500可以包括:

获取模块510,用于获取当前用户的面部图像;

亮度判断模块520,用于判断当前环境的亮度是否小于第一阈值;

图像更新模块530,用于在所述亮度判断模块确定当前环境的亮度小于第一阈值时,控制所述智能家居中的照明设备打开,并且指示所述获取模块重新获取所述当前用户的面部图像;

判断模块540,用于提取重新获取的面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的位置和/或人脸朝向;其中,所述预设特征通过对多张人脸图片进行训练得到,并且所述多张人脸图片包括指示用户的位置和/或人脸朝向的多张图片;以及

控制模块550,用于根据所述当前用户的位置和/或人脸朝向对智能家居的操作进行控制。

优选地,判断模块420或540进一步用于:将所提取的预设特征输入预设位置和/或人脸朝向分类器中,判断所述当前用户的位置和/或人脸朝向;其中,所述预设位置和/或人脸朝向分类器通过指示用户的位置和/或人脸朝向的多张人脸图片进行训练得到。

在本发明一个优选实施方式中,获取模块410可以进一步用于以预定时间间隔获取所述当前用户的至少一张面部图像;

判断模块40可以进一步用于提取所述至少一张面部图像中每张面部图像的预设特征,并且根据所提取的预设特征判断所述当前用户的行进速度和/或方向;以及

控制模块430可以进一步用于根据所述当前用户的行进速度和/或方向对智能家居的操作进行控制。

在该实施方式中,优选地,控制模块430可以进一步用于:

根据所述当前用户的行进速度和/或方向控制所述智能家居中照明设备的打开或闭合;或

根据所述当前用户的行进速度和/或方向控制所述智能家居中声音播放设备的打开、闭合、或音量调节。

图6示出了根据本发明另一实施例的服务器的结构示意图。如图6所示,该设备包括:

一个或多个处理器610;

存储装置620,配置为存储一个或多个程序;

通信接口630,配置为使所述处理器610和存储装置620与外部设备进行通信;

当所述一个或多个程序被所述一个或多个处理器610执行时,使得所述一个或多个处理器610实现前述任一种智能家居控制方法。

根据本发明另一实施例,提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现前述任一种智能家居控制方法。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1