控制方法、装置、电子设备及存储介质与流程

文档序号:27684907发布日期:2021-12-01 00:59阅读:95来源:国知局
控制方法、装置、电子设备及存储介质与流程

1.本公开涉及信息处理技术领域,尤其涉及一种控制方法、装置、电子设备及存储介质。


背景技术:

2.在相关技术中,具备拍摄以及图像识别等功能的智能猫眼开始逐步被用户广泛使用。然而尤其是用户休息的夜间时间段内,由于环境的影响可能会无法及时且准确的发现出现在室外的危险人物。因此,如何通过智能猫眼有效且及时的识别存出现在用户房屋外的存在安全威胁的人,进而保证房屋内的用户的安全就成为需要解决的问题。


技术实现要素:

3.本公开提出了一种控制方法、装置、电子设备及存储介质,用以解决上述技术问题。
4.第一方面,本公开提供了一种控制方法,所述方法包括:步骤101:智能猫眼的处理器基于智能猫眼的红外传感器检测到目标人体与所述智能猫眼之间的第一距离小于第一预设距离阈值,并且基于智能猫眼的激光雷达检测到所述目标人体的脸部与所述智能猫眼之间的第二距离小于第二预设距离阈值的情况下,所述智能猫眼的处理器控制智能猫眼的主摄像头实时进行图像采集;步骤102:所述智能猫眼的处理器基于所述主摄像头实时采集的当前图像判断所述主摄像头是否处于遮挡状态,若处于遮挡状态,则执行步骤103;若不处于遮挡状态,则执行步骤105;步骤103:所述智能猫眼的处理器生成语音警示信息,通过智能猫眼的音频部件发出所述语音警示信息;其中,所述语音警示信息用于提醒所述目标人体移开遮挡物;步骤104:所述智能猫眼的处理器开启智能猫眼的辅助摄像头并获取所述辅助摄像头实时拍摄得到包含所述目标人体的图像,返回执行步骤102;其中,所述辅助摄像头与所述主摄像头在所述智能猫眼上的安装位置不同;步骤105:所述智能猫眼的处理器基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,所述智能猫眼的处理器控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述智能猫眼的主摄像头调整至目标焦距以在所述目标拍摄方向下拍摄包含所述目标人体的脸部的图像。
5.第二方面,本公开提供了一种控制装置,所述装置包括:处理器,用于基于智能猫眼的红外传感器检测到目标人体与所述智能猫眼之间的第一距离小于第一预设距离阈值,并且基于智能猫眼的激光雷达检测到所述目标人体的脸部与所述智能猫眼之间的第二距离小于第二预设距离阈值的情况下,控制主摄像头实时进行图像采集;基于所述主摄像头实时采集的当前图像判断所述主摄像头是否处于遮挡状态,若处于遮挡状态,则生成语音警示信息,通过音频部件发出所述语音警示信息,其中,所
述语音警示信息用于提醒所述目标人体移开遮挡物,开启辅助摄像头并获取所述辅助摄像头实时拍摄得到包含所述目标人体的图像,其中,所述辅助摄像头与所述主摄像头在所述智能猫眼上的安装位置不同;若不处于遮挡状态,则基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述主摄像头调整至目标焦距以在所述目标拍摄方向下拍摄包含所述目标人体的脸部的图像;红外传感器,用于检测目标人体与所述智能猫眼之间的第一距离;激光雷达,用于检测所述目标人体的脸部与所述智能猫眼之间的第二距离;主摄像头,用于实时进行图像采集;辅助摄像头,用于基于所述处理器的控制开启并拍摄包含目标人体的图像;白光灯,用于基于所述处理器的控制向所述发光方向发出白光;音频部件,用于基于发出语音警示信息。
6.第三方面,本公开提供了一种电子设备,包括:一个或多个处理器;与所述一个或多个处理器通信连接的存储器;一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,当所述一个或多个计算机程序被所述电子设备执行时,使得所述电子设备执行上述第一方面所提供的方法。
7.第四方面,本公开提供了一种计算机可读存储介质,其存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行上述第一方面所提供的方法。
8.本公开提供的技术方案至少包括以下有益效果:通过智能猫眼上的红外传感器的检测区域内存在目标人体与智能猫眼之间的距离小于第一预设距离阈值,通过激光雷达检测到目标人体的脸部与智能猫眼之间的距离小于第二预设距离阈值的情况下,通过主摄像头实时采集的当前图像可以分析出主摄像头是否被遮挡,在主摄像头被遮挡的情况下,通过语音警示信息对目标人体进行警示,并且开启辅助摄像头对目标人体进行拍摄;而在主摄像头没有被遮挡的情况下,可以控制白光灯朝向目标人体的脸部发光并控制主摄像头对其进行拍摄。可以看出,通过采用上述方案就能够及时且准确的识别并发现室外的目标人体,以在该目标人体距离智能猫眼的距离过近的行为的情况下进行警示以及震慑,从而保证了处于室内的用户的安全性。
9.根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
10.图1是本公开一实施例提供的智能猫眼的控制方法的流程示意图一;图2是本公开一个实施例提供的智能猫眼的控制方法的流程示意图二;图3是本公开另一个实施例提供的智能猫眼的控制方法的流程示意图三;图4是本公开另一个实施例提供的相机坐标系以及世界坐标系的示意图;图5是本公开另一个实施例提供的对目标人体进行移动轨迹的预测的处理流程示意图;
图6是本公开另一个实施例提供的智能猫眼的组成结构示意图;图7是用来实现本公开实施例的智能猫眼的控制方法的电子设备框图。
具体实施方式
11.下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
12.另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述,以便于凸显本公开的主旨。
13.在相关技术中,用户会安装智能猫眼以对室外出现的人或物进行观察,以确定是否让室外的人进入室内。但是,用户往往无法对可能对自身存在安全威胁的人进行实时的观察,尤其是夜间用户休息的时间段内,更是无法及时且准确的发现出现在室外的危险人物。因此,如何通过智能猫眼有效且及时的识别存在安全威胁的人,进而保证用户的安全性就成为需要解决的问题。
14.针对上述问题,本公开实施例提供了一种控制方法,实现该方法的处理逻辑可以部署在智能猫眼中。如图1所示,本公开一实施例的控制方法,包括:步骤101:智能猫眼的处理器基于智能猫眼的红外传感器检测到目标人体与所述智能猫眼之间的第一距离小于第一预设距离阈值,并且基于智能猫眼的激光雷达检测到所述目标人体的脸部与所述智能猫眼之间的第二距离小于第二预设距离阈值的情况下,智能猫眼的处理器控制智能猫眼的主摄像头实时进行图像采集;步骤102:所述智能猫眼的处理器基于所述主摄像头实时采集的当前图像判断所述主摄像头是否处于遮挡状态,若处于遮挡状态,则执行步骤103;若不处于遮挡状态,则执行步骤105;步骤103:所述智能猫眼的处理器生成语音警示信息,通过智能猫眼的音频部件发出所述语音警示信息;其中,所述语音警示信息用于提醒所述目标人体移开遮挡物;步骤104:所述智能猫眼的处理器开启智能猫眼的辅助摄像头并获取所述辅助摄像头实时拍摄得到包含所述目标人体的图像,返回执行步骤102;其中,所述辅助摄像头与所述主摄像头在所述智能猫眼上的安装位置不同;步骤105:所述智能猫眼的处理器基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,所述智能猫眼的处理器控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述智能猫眼的主摄像头调整至所述目标拍摄方向以目标焦距拍摄包含所述目标人体的脸部的图像。
15.本公开实施例提供的方法,可以尤其适用于在预设时段内使用,该预设时段可以具体指夜间,比如下午6点之后(即18:00~24:00)以及早上6点之前(即0:00~6:00);当然,该预设时段还可以根据实际情况设置,这里不对其全部可能的情况进行穷举。相应的,在执行步骤101之前,还可以包括:所述智能猫眼的处理器判断当前时刻是否处于所述预设时段内,若是,则执行步骤101,否则,持续判断当前时刻是否处于所述预设时段内。
16.在执行上述步骤101之前,所述智能猫眼的处理器还会根据其自身安装的红外传感器实时检测人体所得到的当前检测结果来确定是否检测到目标人体,以及确定目标人体与智能猫眼之间的第一距离是否小于第一预设距离阈值,具体如图2所示,可以包括:步骤201:智能猫眼的红外传感器实时进行人体检测得到当前检测结果,所述智能猫眼的处理器基于所述当前检测结果判断在所述红外传感器的检测范围内是否存在目标人体,若存在,则执行步骤202;若不存在,则继续执行步骤201;步骤202:所述智能猫眼的处理器基于所述当前检测结果确定所述目标人体与所述智能猫眼之间的第一距离,判断所述第一距离是否小于第一预设距离阈值,若小于,则通过所述智能猫眼的主摄像头采集包含所述目标人体的图像;否则,返回执行步骤201。
17.其中,步骤201中,所述智能猫眼的红外传感器实时进行人体检测得到当前检测结果,具体可以指的是:所述智能猫眼的处理器控制所述红外传感器开始进行实时检测;所述智能猫眼的红外传感器在其所覆盖的检测范围内实时进行人体检测,得到当前检测结果。
18.其中,所述智能猫眼的红外传感器所覆盖的检测范围可以与所述红外传感器本身的性能以及预设的测距参数等等配置相关,比如,所述红外传感器的检测范围可以是0

50米,又或者可以是0

100米,再或者可以是0

20米等等,这里不对其进行限定。
19.所述红外传感器可以由红外发射电路以及红外接收电路等组成。其中,红外发射电路用于发出红外光(比如可以是频率为40khz的红外光),红外接收电路用于接收红外光的反射波信号,并将其转换为电信号。还需要理解的是,红外发射电路发出红外光可以是周期性的,比如可以每0.1秒发射一次红外光,当然其周期可以更大或更小,这里不对其进行限定。
20.所述当前检测结果可以包括:检测到目标人体以及该目标人体与智能猫眼之间的第一距离;或者,未检测到目标人体。
21.上述目标人体可以指的是位于所述红外传感器的检测范围内的任意一个人体;另外,在所述红外传感器的检测范围内可以检测到一个或多个人体,本实施例中将红外传感器所检测到的一个或多个人体中任意一个称为目标人体进行后续说明,需要指出,当前红外传感器所检测到多个人体的情况下,可以针对每一个人体依次作为目标人体分别多次执行本实施例后续处理。
22.在步骤202中,所述智能猫眼的处理器基于所述当前检测结果确定所述目标人体与所述智能猫眼之间的第一距离,可以指的是:所述智能猫眼的处理器从所述当前检测结果中获取所述目标人体与所述智能猫眼之间的第一距离。
23.前述已经说明,所述当前检测结果中可以包含检测到目标人体以及该目标人体与智能猫眼之间的第一距离,也就是说,在检测到目标人体的情况下,可以直接获取到该目标人体与智能猫眼的第一距离。
24.进一步地,前述介绍的红外传感器中的红外接收电路可以用于接收红外光的反射波信号,并将其转换为电信号,相应的,可以通过计算红外发射电路发出红外线与红外接收电路接收到反射波的时间差t,来计算得到目标人体与智能猫眼的第一距离s1,比如,可以通过s1=(c
×
t)/2来计算所述第一距离;其中,s1表示目标人体与智能猫眼的第一距离,t表示红外发射电路发出红外线与红外接收电路接收到反射波的时间差,c表示光速度,c通常取值为3
×
108m/s。
25.其中,所述第一预设距离阈值可以根据实际情况设置,需要理解的是,所述第一预设距离阈值小于所述红外传感器的可检测范围的最大距离。举例来说,所述红外传感器的可检测范围的最大距离为100米,所述第一预设距离阈值小于100米,可以为50米或10米等等,这里不对其进行限定。
26.步骤202中所述通过所述智能猫眼的主摄像头实时采集包含所述目标人体的图像,具体可以为:所述智能猫眼的处理器控制启动所述智能猫眼自身的主摄像头,以控制所述智能猫眼的主摄像头开始实时采集包含所述目标人体的图像。
27.这里,需要指出的是,本实施例尤其适用于夜间,相应的,在控制所述智能猫眼的主摄像头开始采集包含所述目标人体的图像的同时,还可以控制所述智能猫眼的红外补光灯开启,以在所述红外补光灯开启的情况下使得所述智能猫眼的主摄像头采集到清晰的包含目标人体的图像;又或者,可以在步骤201中控制所述智能猫眼的红外补光灯开启,执行步骤202的处理时,在所述红外补光灯开启的情况下使得所述智能猫眼的主摄像头采集到清晰的包含目标人体的图像。
28.在完成上述步骤201~步骤202的处理之后,本实施例提供的方案还可以控制开启激光雷达对目标人体进行二次测距,以基于激光雷达获取到的第二距离来确定是否触发执行前述步骤101,具体如图3所示,可以包括:步骤301:所述智能猫眼的处理器对所述智能猫眼的主摄像头采集包含的所述目标人体的当前图像中的人脸进行识别以判断所述目标人体是否为允许进入室内的身份,若不是,则执行步骤302;若是,则控制所述智能猫眼的通信部件发送提示信息以提示用户执行后续处理;步骤302:所述智能猫眼的处理器基于包含所述目标人体的当前图像确定所述目标人体的脸部的当前相对位置,基于所述目标人体的脸部的当前相对位置以及所述智能猫眼的激光雷达的位置,确定所述激光雷达的目标朝向;步骤303:所述智能猫眼的处理器控制所述激光雷达在所述目标朝向下进行距离采集,以获取所述目标人体的脸部与所述智能猫眼之间的第二距离;步骤304:所述智能猫眼的处理器判断所述第二距离是否小于所述第二预设距离阈值,若不小于,则返回执行步骤302;若小于,则执行步骤101。
29.上述步骤301中所述智能猫眼的主摄像头采集包含所述目标人体的当前图像,可以为前述步骤202处理中所述智能猫眼的主摄像头实时采集包含所述目标人体的图像中的当前时刻下所采集得到的当前图像。
30.具体来说,步骤301所述智能猫眼的处理器对所述智能猫眼的主摄像头采集的包含所述目标人体的当前图像中的人脸进行识别以判断所述目标人体是否为允许进入室内的身份,可以为:所述智能猫眼的处理器将所述智能猫眼的主摄像头采集的包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息;所述智能猫眼的处理器基于所述人脸区域的位置信息从包含所述目标人体的当前图像中提取得到人脸图像;所述智能猫眼的处理器将所述人脸图像输入到人脸识别模型,以获取所述人脸图
像与参考人脸图像之间的图像相似度;其中,所述人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;所述参考人脸图像为所述人脸图像识别模块中预设的允许进入室内的人的脸部图像;所述智能猫眼的处理器判断所述人脸图像与参考人脸图像之间的图像相似度是否大于预设相似度门限值,若大于,则确定目标人体为允许进入室内的身份;否则,确定所述目标人体为不允许进入室内的身份。
31.上述人脸检测模型用于从输入的图像中检测是否包含人脸或是否包含人脸区域,该人脸检测模型输出的结果可以为输入的图像中包含人脸区域的概率值,并且,只有在该概率值大于预设概率门限值的情况下,在所述人脸检测模型输出的结果中还会包含人脸的人脸区域的位置信息。
32.也就是说,人脸检测模型用于检测输入的图像中包含人脸(或人脸区域)的概率值,在该概率值高于预设概率门限值的情况下,人脸检测模型还会输出图像中包含人脸的人脸区域的位置信息。
33.其中,所述位置信息可以包含人脸区域的左下位置坐标、右上位置坐标;或者,所述位置信息可以包含人脸区域的中心点位置坐标,以及长、宽信息等等。
34.所述预设概率门限值可以根据实际情况设置,比如可以是80%,或者可以是90%,或更高或更低,这里不对其进行穷举。
35.上述人脸识别模型用于对人脸图像中的人脸进行识别,得到人脸图像中的人脸是否为允许进入室内的身份的识别结果。该识别结果可以为一个二分类的结果,比如人脸识别模型输出:该人脸所对应的目标人体为允许进入室内的身份、或者该人脸所对应的目标人体为不允许进入室内的身份;又或者,该识别结果为该人脸所对应的目标人体为允许进入室内的身份的情况下,还可以包含该人脸所对应的身份信息。其中,所述身份信息可以为目标人体的人脸的姓名、标识、编号中至少一种。
36.上述相似度门限值可以根据实际情况设置,比如可以是95%,又或者可以更高或更低,这里不对其进行限定。
37.需要指出的是,上述所述智能猫眼的处理器将所述智能猫眼的主摄像头采集包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息的处理还可以包括:所述智能猫眼的处理器将所述智能猫眼的主摄像头采集的包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出结果;所述智能猫眼的处理器判断所述输出结果中是否包含人脸的人脸区域的位置信息,若包含,则得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息;若不包含,则所述智能猫眼的处理器基于包含所述目标人体的当前图像确定所述主摄像头的调整方向以及调整角度,基于所述调整方向以及调整角度对所述智能猫眼的主摄像头的拍摄角度进行调整,返回执行所述智能猫眼的处理器将所述智能猫眼的主摄像头采集包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出结果的处理。
38.其中,所述智能猫眼的处理器基于包含所述目标人体的当前图像确定所述主摄像头的调整方向以及调整角度,具体可以包括以下至少之一:基于所述包含目标人体的当前图像确定人体的相对位置为人体处于所述图像的
中间区域的上方,则确定所述主摄像头的调整方向为向上以及调整角度为预设步进角度;其中,所述预设步进角度可以根据实际情况设置,比如可以为1度或5度等等。
39.基于所述包含目标人体的当前图像确定人体的相对位置为人体处于所述图像的中间区域的下方,则确定所述主摄像头的调整方向为向下以及调整角度为预设步进角度;其中,所述预设步进角度可以根据实际情况设置,比如可以为1度或5度等等。
40.基于所述包含目标人体的当前图像确定人体的相对位置为人体处于所述图像的右侧,则确定所述主摄像头的调整方向为向右以及调整角度为预设步进角度;其中,所述预设步进角度可以根据实际情况设置,比如可以为1度或5度等等。
41.基于所述包含目标人体的当前图像确定人体的相对位置为人体处于所述图像的左侧,则确定所述主摄像头的调整方向为向左以及调整角度为预设步进角度;其中,所述预设步进角度可以根据实际情况设置,比如可以为1度或5度等等。
42.上述几种处理可以结合使用,比如,确定人体处于所述图像的右上方,则确定主摄像头的调整方向为向右并且向上,两个调整方向对应的调整角度均为预设步进角度,比如,向上调整5度并且向右也调整5度。
43.上述处理方式中,采用预设步进角度进行迭代调整,也就是说,在本次调整完成之后返回重新将所述智能猫眼的主摄像头采集包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出结果,直至所述智能猫眼的处理器能够基于包含所述目标人体的当前图像处理得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息为止,然后可以执行前述所述智能猫眼的处理器将所述人脸图像输入到人脸识别模型,以获取所述人脸图像与参考人脸图像之间的图像相似度及其后续处理。
44.在步骤301中,若确定所述目标人体为允许进入室内的人时,可以控制所述智能猫眼的通信部件发送提示信息以提示用户执行后续处理,然后返回执行步骤201进行下一次处理。
45.再进一步地,控制所述智能猫眼的通信部件发送提示信息以提示用户执行后续处理,可以包括以下任意之一:所述智能猫眼的处理器生成包含所述人脸图像的第一提示信息;控制所述智能猫眼的通信部件向用户的终端设备发送第一提示信息,以提示所述用户是否开门;所述智能猫眼的处理器基于所述人脸图像确定所述目标人体的身份信息,基于所述目标人体的身份信息生成第二提示信息;控制所述智能猫眼的通信部件向用户的终端设备发送第二提示信息,以提示所述用户是否开门;所述智能猫眼的处理器基于所述人脸图像确定所述目标人体的身份信息,基于所述目标人体的身份信息生成第三提示信息;控制所述智能猫眼的音频部件将所述第三提示信息转换为音频信息,向处于室内的用户播放所述音频信息,以提示所述用户是否开门。
46.其中,所述智能猫眼的处理器基于所述人脸图像确定所述目标人体的身份信息,可以包括:基于预设人脸资料库中包含的参考人脸及其关联的预设身份信息,确定所述人脸图像所匹配的参考人脸;基于所述参考人脸所关联的预设身份信息确定所述目标人体的身份信息。
47.完成前述步骤301之后,执行步骤302,所述智能猫眼的处理器基于包含所述目标人体的当前图像确定所述目标人体的脸部的当前相对位置,基于所述目标人体的脸部的当
前相对位置以及所述智能猫眼的激光雷达的位置,确定所述激光雷达的目标朝向。
48.具体的,所述智能猫眼的处理器可以基于所述包含目标人体的当前图像中目标人体的脸部在相机坐标系下的当前相对位置,确定所述目标人体的脸部的中心点在世界坐标系下的位置坐标;基于所述目标人体的脸部的中心点在世界坐标系下的位置坐标、以及所述激光雷达在世界坐标系下的位置坐标,确定所述激光雷达的目标朝向。
49.需要指出的是,在本实施例执行之前,可以构建所述主摄像头的相机坐标系与世界坐标系之间的转换关系,比如结合图4进行示例性说明:图4中o点为主摄像头的位置,xc、yc、zc为相机坐标系(该主摄像头的相机坐标系下的三个坐标轴),其中,zc可以为主摄像头视角中心的坐标轴;o1为相机坐标系的圆心(或称为主摄像头拍摄的某一个二维图像在相机坐标系(如图4中的xy轴所示)下的中心点)。ow为世界坐标系的中心点,xw、yw、zw则为世界坐标系(或称为世界坐标系下的三个坐标轴)。p点则为远处实际点p(xc,yc,zc)在图像(即主摄像头拍摄的一张二维图像)上的投影点。当主摄像头借助红外传感器(或激光雷达)获取p点的深度后,可以基于主摄像头的内参以及距离信息计算出p点的相机坐标系下的坐标值p(xc,yc,zc),通过转换矩阵可以得到p点在世界坐标系中的坐标(或位置坐标)p(xw,yw,zw)。其中,相机坐标系与世界坐标系之间的转换关系可以是由平移矢量(或平移矢量矩阵)以及旋转矩阵组成,示例性的上述p点在相机坐标系与世界坐标系之间的转换关系可以采用公式1来表示:公式1其中,t为3*1的平移矢量(或平移矢量矩阵),即主摄像头的位置(或位置信息)在世界坐标系所构成的矢量。其中,所述平移矢量矩阵可以为所述主摄像头的位置信息在世界坐标系下的矢量构成。
50.r为3*3的旋转矩阵,所述旋转矩阵可以根据主摄像头的姿态信息得到,比如若主摄像头的角度绕x,y,z轴旋转角度分别为ψ,φ和θ(可以是在世界坐标系下)时,则旋转矩阵r=rx(ψ),ry(φ),rz(θ)。其中,关于rx(ψ),ry(φ),rz(θ)的具体计算方式,如公式2~公式4所示:公式2公式3

公式4然后可以执行步骤303:所述智能猫眼的处理器控制所述激光雷达在所述目标朝向下进行距离采集,以获取所述目标人体的脸部与所述智能猫眼之间的第二距离。
51.具体可以包括:所述智能猫眼开启自身的激光雷达,控制所述激光雷达在所述目标朝向下进行距离采集,获取所述目标人体的脸部与所述激光雷达之间的当前距离;将所述目标人体的脸部与所述激光雷达之间的当前距离转换为水平方向的距离得到所述目标人体的脸部与智能猫眼之间的第二距离。
52.前述已经说明,本实施例预先构建了相机坐标系与世界坐标系之间的转换关系,因此,执行步骤303的处理时,所述智能猫眼的处理器可以根据包含所述目标人体的当前图像中人脸图像的当前相对位置、以及所述相机坐标系与世界坐标系之间的转换关系,确定所述目标人体的脸部的位置;其中,所述目标人体的脸部的位置为所述世界坐标系下的坐标位置。
53.再进一步地,所述目标人体的脸部的位置具体可以为:所述目标人体的脸部的中心点在世界坐标系下的坐标位置;又或者,可以为:所述目标人体的脸部的最上方的点在世界坐标系下的坐标位置以及所述目标人体的脸部的最下方的点在世界坐标系下的坐标位置。
54.上述步骤304中,所述第二预设距离阈值小于所述第一预设距离阈值,比如,所述第一预设距离阈值为10米,所述第二预设距离阈值可以为5米或3米等等,这里不进行穷举。
55.在完成前述步骤201~步骤202以及步骤301~步骤304的处理之后,若目标人体与所述智能猫眼之间的第一距离小于第一预设距离阈值,并且基于智能猫眼的激光雷达检测到所述目标人体的脸部与所述智能猫眼之间的第二距离小于第二预设距离阈值,则触发执行前述步骤101。
56.在上述步骤101中,所述智能猫眼的处理器控制智能猫眼的主摄像头实时进行图像采集的同时,还控制所述智能猫眼的红外补光灯开启,以在所述红外补光灯开启的情况下使得所述智能猫眼的主摄像头采集到清晰的包含目标人体的图像。
57.上述步骤102中,所述智能猫眼的处理器基于所述主摄像头实时采集的当前图像判断所述主摄像头是否处于遮挡状态,可以包括:所述智能猫眼的处理器对所述主摄像头采集的当前图像进行检测;若所述智能猫眼的处理器确定所述当前图像中不包含所述目标人体,则确定所述智能猫眼的主摄像头处于遮挡状态、并保存所述当前采集的图像。
58.需要理解的是,上述当前图像可以为执行步骤102的当前时刻所述主摄像头所采集的图像。
59.所述当前图像中不包含所述目标人体的确定方式可以包括以下任意之一:所述当前图像不包含任何图像,或所述当前图像中的全部像素仅为单一颜色(比如黑色或红色或其他颜色);这种情况通常由于目标人体也就是陌生人(或入侵者)故意遮挡了智能猫眼的主摄像头,比如可以是用手遮挡了智能猫眼的主摄像头,或者用其他物品
遮挡了智能猫眼的主摄像头;所述当前图像中的部分区域内包含图像且剩余部分区域不包含任何图像,或所述剩余部分区域中的全部像素仅为单一颜色;同样的,这种情况通常可能是目标人体也就是陌生人(或入侵者)故意遮挡了智能猫眼的主摄像头的一部分,比如可以是用手遮挡了智能猫眼的主摄像头的一部分,或者用其他物品遮挡了智能猫眼的主摄像头的一部分;所述当前图像中的部分区域内包含目标人体的一部分图像,且剩余部分区域不包含任何图像,或所述剩余部分区域中的全部像素仅为单一颜色;同样的,这种情况通常可能是目标人体也就是陌生人(或入侵者)故意遮挡了智能猫眼的主摄像头的一部分,比如可以是用手遮挡了智能猫眼的主摄像头的一部分,或者用其他物品遮挡了智能猫眼的主摄像头的一部分。
60.步骤103中,所述智能猫眼的处理器生成语音警示信息,通过智能猫眼的音频部件发出所述语音警示信息;其中,所述语音警示信息用于提醒所述目标人体移开遮挡物。
61.这里,所述语音警示信息可以为用户预先设置好的音频信息,语音警示信息可以采用任何声纹进行发声,这里不对其进行限定。所述语音警示信息的内容也可以为用户预先设置好的内容,比如,“已检测到您遮挡了主摄像头,请您移开遮挡物”,或者是“请不要遮挡主摄像头”等等,不做穷举。
62.步骤104中,智能猫眼的辅助摄像头与智能猫眼的主摄像头的安装位置是不同的,比如,智能猫眼的主摄像头安装在智能猫眼的朝向室外一面的中间部分,当然,根据实际情况,还可以安装在智能猫眼的朝向室外的一面的其他位置,这里不做穷举;智能猫眼的辅助摄像头可以是预先设置在智能猫眼的内部的,且所述辅助摄像头可以是固定在移动部件上,能够随着移动部件的移动而移动的,在执行步骤104时,可以由所述智能猫眼的处理器控制所述智能猫眼的辅助摄像头的移动部件,将所述智能猫眼的辅助摄像头从智能猫眼的内部移动至智能猫眼的外部,具体可以是从智能猫眼的侧面(比如智能猫眼的右侧、下方、上方或左侧)移动至智能猫眼的外部。
63.前述步骤104具体可以包括:所述智能猫眼的处理器开启智能猫眼的辅助摄像头,通过控制所述辅助摄像头的移动部件将所述辅助摄像头由所述智能猫眼的内部向所述智能猫眼的指定侧面移出至所述智能猫眼的外部;所述智能猫眼的处理器控制所述辅助摄像头进行多个角度拍摄,获得所述多个角度下各个角度的图像;所述智能猫眼的处理器根据所述各个角度的图像,确定能够拍摄到包含所述目标人体的图像的拍摄角度;所述智能猫眼的处理器控制所述辅助摄像头在所述能够拍摄到包含所述目标人体的图像的拍摄角度下实时拍摄得到包含所述目标人体的图像。
64.需要指出的是,执行步骤103以及步骤104的处理的同时,还可以包括:在确定所述智能猫眼的主摄像头处于遮挡状态的情况下,所述智能猫眼的处理器控制开启静电产生部件,以使得所述智能猫眼的主摄像头所在区域发送静电脉冲。
65.其中,所述智能猫眼的主摄像头所在区域具体指的是,所述智能猫眼的主摄像头所在区域的外表面。
66.前面已经说明,所述智能猫眼的主摄像头处于遮挡状态,可能是由于目标人体(陌生人或入侵者)恶意遮挡了主摄像头,因此,本实施例提供的方案可以在判定所述智能猫眼的主摄像头处于遮挡状态的情况下控制向智能猫眼的主摄像头所在区域的外表是发送静电脉冲,以对目标人体发起电击使其不再遮挡智能猫眼的主摄像头。从而,进一步对目标人体即陌生人或入侵者进行警示,以保证屋内人员的安全性,尤其是保证了夜间屋内人员的安全性。
67.此外,本实施例在智能猫眼中设置了静电产生部件,所述智能猫眼的处理器还可以每间隔设定时间(比如10分钟或1小时或更长或更短,这里不做穷举),控制所述静电产生部件向所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的表面发送静电脉冲,以去除所述复眼单元表面的灰尘。如此,可以避免由于灰尘遮挡了主摄像头或辅助摄像头所导致的误判的情况,提升了判断准确性。
68.也就是说,若通过前述步骤201~步骤202确定在红外传感器的检测区域内存在目标人体(或陌生人或入侵者),并且通过前述步骤301~304的处理通过激光雷达也确定了目标人体与智能猫眼之间的距离,进而处理执行步骤101,在步骤102中通过主摄像头实时采集的当前图像可以分析出主摄像头是否被目标人体(或陌生人或入侵者)恶意遮挡了,在主摄像头被遮挡的情况下,通过执行步骤103~步骤104的处理对目标人体(或陌生人或入侵者)进行警示或震慑。可以看出,通过采用上述方案,可以及时且准确的识别并发现室外的目标人体,以在该目标人体距离智能猫眼的距离过近并且可能出现遮挡智能猫眼的主摄像头的行为的情况下进行警示以及震慑,从而保证了处于室内的用户的安全性。
69.本实施例中步骤104与步骤103可以同时执行,又或者,可以先执行步骤104再执行步骤103,再或者,可以先执行步骤103再执行步骤104。
70.在完成步骤103以及步骤104之后可以返回循环执行步骤102~步骤104的处理。并且,在循环执行步骤102~步骤104的处理时,本实施例提供的方法还可以包括:在所述智能猫眼的音频部件发出所述语音警示信息的目标时长后,若所述智能猫眼的处理器基于所述智能猫眼的主摄像头当前采集的图像确定所述智能猫眼的主摄像头持续处于遮挡状态,则所述智能猫眼的处理器获取第一预设语音,控制所述智能猫眼的音频部件发出所述第一预设语音;其中,所述第一预设语音为采用家庭主人的声音所生产的用于警示所述目标人体远离房屋且警示所述目标人体其相关图像已被保存且上传至云端的语音。
71.这里,所述第一预设语音与所述语音警示信息不同,所述语音警示信息为了提示目标人体将遮挡物移开;而第一预设语音则进一步地用于提示目标人体也就是陌生人其图像已经被保存且上传云端,以警示陌生人尽快离开。另外,第一预设语音采用了家庭主人的声音(或声纹),这样也使得陌生人误认为是用户本人已经发现了他的可疑行为,对陌生人的威慑力进一步提升。
72.前述步骤102中若所述智能猫眼的处理器基于所述主摄像头实时采集的当前图像确定所述主摄像头不处于遮挡状态,则执行步骤105,所述智能猫眼的处理器基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,所述智能猫眼的处理器控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述智能猫眼的主摄像头调整至目标焦距以在所述目标拍摄方向下拍摄包含所
述目标人体的脸部的图像,这种场景下,智能猫眼的主摄像头没有被遮挡,但是仍然不能排除目标人体(陌生人或入侵者)对屋内人员存在安全侵犯的可能性,因此,本实施例通过执行步骤105的处理,以警示目标人体。
73.具体来说,所述步骤105中,所述智能猫眼的处理器基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,具体可以为:所述智能猫眼的处理器基于所述主摄像头实时采集的当前图像检测所述目标人体的脸部图像;基于所述脸部图像在所述相机坐标系下的位置,以及所述相机坐标系以及世界坐标系之间的转换关系,确定所述目标人体的脸部的中心点在世界坐标系下的坐标位置;基于所述目标人体的脸部的中心点在世界坐标系下的坐标位置以及所述智能猫眼自身的白光灯在世界坐标系下的坐标位置,确定白光灯的发光方向;以及所述智能猫眼的处理器基于所述目标人体的脸部的中心点在世界坐标系下的坐标位置、以及所述智能猫眼自身的所述主摄像头在世界坐标系下的坐标位置,所述主摄像头的目标拍摄方向和目标焦距。
74.所述智能猫眼的处理器基于所述目标人体的脸部的位置,确定白光灯的发光方向时,所述方法还包括:所述智能猫眼的处理器将所述目标人体的脸部与所述智能猫眼的白光灯之间的距离输入光场确定模型,基于所述光场确定模型的输入结果确定所述白光灯的当前光场。
75.其中,确定所述目标人体的脸部与所述智能猫眼的白光灯之间的距离的方法可以包括:所述智能猫眼的处理器基于所述目标人体的脸部在世界坐标系下的位置坐标与所述智能猫眼的白光灯在世界坐标系下的位置坐标,确定所述目标人体的脸部与所述智能猫眼的白光灯之间的距离。
76.其中,所述光场确定模型的输入信息为距离,在本实施例中具体为所述目标人体的脸部与所述智能猫眼的白光灯之间的距离;所述光场确定模型的输出信息为光场。所述光场具体指的为空间中任意一点向任意方向的光线的强度。
77.关于所述光场确定模型的训练,可以采用多个样本,每个样本可以包括有白光灯和目标体的某一种距离下最佳的白光灯的光场;其中,所述多个样本中不同样本可以包含不同的白光灯以及目标体之间的距离及其对应的不同的光场。在训练光场确定模型的处理中,可以将白光灯和目标体的某一种距离作为输入信息输入至训练中的光场确定模型,得到训练中的光场确定模型输出的结果,基于该结果与样本中的最佳的白光灯的光场计算本次损失函数,基于损失函数进行反向传导更新所述光场确定模型。在针对所述训练中的光场确定模型的迭代次数达到预设门限值,或者所述训练中的光场确定模型的迭代训练中指标(比如准确率或召回率)不再变化的时候,可以确定训练完成,最终得到的训练后的所述光场确定模型即为本技术实施例前述所述光场确定模型。
78.所述智能猫眼的处理器控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述智能猫眼的主摄像头调整至目标焦距以在所述目标拍摄方向下拍摄包含所述目标人体的脸部的图像。
79.需要指出的是,由于白光灯与主摄像头在所述智能猫眼中的安装位置可能是不同的,因此,白光灯的发光方向与所述主摄像头的当前拍摄方向可能也是不同的,所以本实施例提供的方案分别确定白光灯的发光方向以及主摄像头的拍摄方向,以使得白光灯更加准确的照向目标人体的脸部,以对该目标人体起到警示作用,以及使得主摄像头更加准确的拍摄目标人体的脸部的图像,以便后续更加准确的进行分析以及报警等处理。
80.通过采用上述方案,智能猫眼就可以通过红外传感器初次检测到其检测范围内有目标人体,就控制开启主摄像头,并且在通过采集的图像确定目标人体不是允许进入室内的身份比如陌生人的情况下,通过激光雷达再次检测目标人体的脸部与智能猫眼之间的第二距离,若该第二距离小于第二预设距离阈值,则控制调整白光灯以及主摄像头的方向,使得白光灯朝向目标人体的脸部发光以及主摄像头拍摄目标人体的脸部。如此,能够避免只要红外传感器检测到有人进入其检测范围就开启主摄像头所带来的电量浪费的问题,并且,还可以仅在目标人体不是允许进入室内的身份的情况下,控制再次检测目标人体的脸部的准确位置以及距离,并控制开启白光灯照向该目标人体的脸部,从而使得夜间陌生人出现在室外的时候,能够通过白光灯对该陌生人起到警示作用,提升了室内用户的安全性,同时控制开启主摄像头并在白光灯的配合下更加准确且清晰的拍摄目标人体的脸部,以便后续进行相关视频的查找时,能够更加清晰准确的得到目标人体的脸部特征。
81.本实施例提供的方案中,还可以包括对所述目标人体的移动轨迹进行预测的处理,具体可以如图5所示,包括:步骤401:所述智能猫眼的处理器基于包含所述目标人体的n个历史图像,确定所述目标人体的历史移动信息;其中,n为大于等于2的整数;这里,步骤401的处理可以是在步骤301中确定所述目标人体不为允许进入室内的身份之后的任意时刻开始的处理,比如,可以是在步骤301确定所述目标人体不为允许进入室内的身份之后,同时触发执行步骤302以及步骤401;又或者,可以是在步骤301确定所述目标人体不为允许进入室内的身份之后,确定当前已经保存有n个历史图像的时刻,开始执行步骤401。
82.n可以根据实际情况设置,比如可以为3,或者可以为10,或者更多或更少,这里不进行穷举。
83.另外,当所述智能猫眼的主摄像头已经采集或保存的包含目标人体的历史图像的数量大于n的情况下,可以从全部的包含目标人体的历史图像中选取n个历史图像进行处理。
84.所述智能猫眼的处理器基于包含所述目标人体的n个历史图像,确定所述目标人体的历史移动信息,具体可以包括:所述智能猫眼的处理器基于包含所述目标人体的n个历史图像及其分别对应的时间戳,得到所述包含目标人体的n个历史图像中所述目标人体的中心点在相机坐标系下的n个坐标及其分别对应的时间戳;将所述目标人体的中心点在相机坐标系下的n个坐标转换至世界坐标系下,得到所述目标人体的中心点在世界坐标系下的n个坐标;基于所述目标人体的中心点在世界坐标系下的n个坐标及其分别对应的时间戳,构建所述目标人体的历史移动信息。
85.步骤402:基于所述目标人体的历史移动信息,确定所述目标人体在当前时刻之后的预测移动轨迹;具体可以包括:将所述历史移动信息输入轨迹预测模型,得到所述轨迹预测模型输出的所述目标人体在当前时刻之后的预测移动轨迹;其中,预测移动轨迹中可以标识有至少一个时刻及其对应的目标人体在世界坐标系下的坐标点。
86.其中,所述轨迹预测模型可以为预先训练好的模型。该模型的训练样本可以是多个人物在多种场地下的移动轨迹,该移动轨迹中标注了多个世界坐标系下的坐标。
87.在训练轨迹预测模型时,可以将同一个人物的移动轨迹的划分为两个部分,比如移动轨迹有10分钟,可以将前5分钟的移动轨迹和后5分钟的移动轨迹划分为两个部分;将前一部分移动轨迹输入是训练阶段的轨迹预测模型后,得到该训练阶段的轨迹预测模型输出的预测结果;基于该预测结果与后一部分的移动轨迹进行比对,得到本次训练的损失函数,基于本次训练的损失函数反向传导更新训练阶段的轨迹预测模型。如此迭代处理,直至完成训练,得到训练后的轨迹预测模型。
88.步骤403:基于所述目标人体在当前时刻之后的预测移动轨迹,确定所述主摄像头在所述当前时刻之后的至少一个时刻下分别对应的预测拍摄方向,以及确定所述白光灯在所述当前时刻之后的预设时长之内的至少一个时刻下分别对应的预测发光方向。
89.具体可以为:基于所述目标人体在当前时刻之后的预测移动轨迹中第i个时刻其对应的目标人体在世界坐标系下的坐标点、以及所述智能猫眼自身的白光灯在世界坐标系下的坐标位置,确定白光灯在第i个时刻的预测发光方向;以及基于所述目标人体在当前时刻之后的预测移动轨迹中第i个时刻其对应的目标人体在世界坐标系下的坐标点、以及所述智能猫眼自身的所述主摄像头在世界坐标系下的坐标位置,确定所述主摄像头在第i个时刻的预测拍摄方向。
90.这样处理后,在当前时刻之后的任意一个时刻若出现所述智能猫眼的处理器无法基于所述目标人体的脸部的位置,确定白光灯的发光方向以及所述主摄像头的当前拍摄方向的情况下,比如目标人体被遮挡,或者当前主摄像头没有跟上目标人体的移动导致没有拍摄到包含目标人体的图像的情况下,可以根据预先确定的该时刻的预测拍摄方向和预测发光方向来控制所述白光灯以及主摄像头的当前所要朝向的方向,以使得主摄像头的拍摄以及白光光照的方向能够准确的包含了目标人体,尤其是包含了目标人体的脸部。
91.还需要指出,前述步骤401~步骤403的处理可以是实时执行的,也就是说,每一个当前时刻都可以执行一次步骤401~步骤403的处理,相应的,所述智能猫眼的处理器可以根据实际情况对历史时刻下得到的预测拍摄方向和预测发光方向进行删除,比如,所述智能猫眼的处理器可以仅保存当前时刻之前10秒钟之内得到的预测拍摄方向和预测发光方向,删除其他历史时刻得到的预测拍摄方向和预测发光方向;又或者,所述智能猫眼的处理器可以仅保存当前时刻之前3秒钟之内得到的预测拍摄方向和预测发光方向,删除其他历史时刻得到的预测拍摄方向和预测发光方向,这里不对其进行穷举。
92.另外,本实施例提供的方案,还可以包括:对包含所述目标人体的图像中的所述目标人体进行标签设置并保存,以及对所述包含所述目标人体的图像中包含的其他目标体进行标签设置并保存;其中,所述其他目标体为除所述目标人体之外的其他人体或其他物体,且所述其他目标体与所述目标人体在图像中的位置不同。
93.上述针对目标人体进行标签设置以及针对其他目标体进行标签设置的处理,可以是针对了智能猫眼的主摄像头实时采集的图像,又可以是针对了智能猫眼的辅助摄像头实时采集的图像进行的。还需要理解,本实施例提供的方案是针对了有目标人体出现的全部图像均进行标签设置并与对应的图像共同保存的。
94.其中,所述对包含所述目标人体的图像中的所述目标人体进行标签设置并保存,可以包括:在全部所述包含目标人体的图像中均对所述目标人体进行标签设置并保存。其设置的标签可以根据用户预先设置的内容来确定,比如,用户预先指定根据陌生人的出现时间和/或出现时长生成标签,那么在目标人体在半夜1点出现的时候,设置目标人体所对应的标签为“陌生人xx日凌晨1点”。
95.上述其他目标体可以根据用户预设设置的类型来确定是否进行标签设置,比如,用户预先设置对陌生车辆、自行车、电动车等物体进行打标。关于其他目标体的标签的内容可以包含:其他目标体的类型、编号、出现时间、出现时长等至少之一。比如,那么一旦包含目标人体的图像中还出现了陌生车辆,则可以对该陌生车辆打标,该陌生车辆的标签可以具体为“车牌号、出现时间为凌晨1点”等等,这里不对其进行穷举。
96.如此,通过上述处理尤其可以在夜间用户休息的时候,对出现在门外的陌生人、陌生物体进行拍摄的同时进行标签的设置,从而使得用户在发生需要报案或提供证据的情况下,更加快速便捷的获取关键材料,进而保证了用户的安全性。
97.最后还需要指出的是所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头均具有能够产生荷叶效应的透明层。荷叶效应通常是指荷叶(或称为莲叶)表面具有疏水、自洁等特性。这是因为,荷叶的表面有一层茸毛和一些微小的蜡质颗粒,水在这些纳米级的微小颗粒上不会向莲叶表面其他方向蔓延,而是形成一个个球体,从而形成滚动的水珠,这些滚动的水珠会带走荷叶表面的灰尘,从而清洁荷叶表面。在所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的透镜表面的能够产生荷叶效应的透明层,有利于在所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头表面形成滚动的水滴以带走透镜表面的灰尘,并且可以选择透明度高的材料,对所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的透光率影响较小,整体的拍摄效果好。此外,所述智能猫眼的其他部分的表面也可以具有能够产生荷叶效应的材料,该材料与所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的表面的材料可以相同,也可以不同。这样,从所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的表面滚落的水珠可以更快的滚落到所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头之外,有利于提高整体的清洁和防水效果。可选的,可以采用喷涂、电镀、浸渍等方式在所述智能猫眼的主摄像头以及所述智能猫眼的辅助摄像头的表面形成能够产生荷叶效应的材料。
98.本公开实施例应用在智能猫眼,该智能猫眼可以包括:红外传感器、激光雷达、主摄像头、处理器、白光灯、辅助摄像头、音频部件等;其中,所述音频部件可以包含扬声器、麦克风等。除了上述部件之外,所述智能猫眼还可以包括有:显示器、通信部件等等,这里不进行穷举。另外,本公开实施例提供的所述智能猫眼可以设置在房屋大门的上半部分,可以将所述智能猫眼划分为室内部分以及室外部分。其中,所谓室内部分可以指的是所述智能猫眼朝向房屋内部的部分,所谓室外部分可以指的是所述智能猫眼朝向房屋外部的部分。所述室内部分至少可以包括有显示器、一组音频部件(比如扬声器、麦克风等等);该智能猫眼
的室外部分至少可以包括:红外传感器、激光雷达、主摄像头、白光灯等部件,当然,所述智能猫眼的室外部分同样可以设置另一组音频部件(由扬声器和麦克风组成)。需要指出的是,所述智能猫眼的处理器只要设置在所述智能猫眼的内部即可,这里不对智能猫眼的处理器位于所述智能猫眼的室内部分还是室外部分进行限定。
99.本实施例提供的方案,通过智能猫眼上的红外传感器的检测区域内存在目标人体与智能猫眼之间的距离小于第一预设距离阈值,通过激光雷达检测到目标人体的脸部与智能猫眼之间的距离小于第二预设距离阈值的情况下,通过主摄像头实时采集的当前图像可以分析出主摄像头是否被遮挡,在主摄像头被遮挡的情况下,通过语音警示信息对目标人体进行警示,并且开启辅助摄像头对目标人体进行拍摄;而在主摄像头没有被遮挡的情况下,可以控制白光灯朝向目标人体的脸部发光并控制主摄像头对其进行拍摄。可以看出,通过采用上述方案就能够及时且准确的识别并发现室外的目标人体,以在该目标人体距离智能猫眼的距离过近的行为的情况下进行警示以及震慑,从而保证了处于室内的用户的安全性。
100.本公开第二方面实施例提供了一种智能猫眼的控制装置,如图6所示,所述装置包括:处理器61,用于基于红外传感器检测到目标人体与智能猫眼之间的第一距离小于第一预设距离阈值,并且基于激光雷达检测到所述目标人体的脸部与智能猫眼之间的第二距离小于第二预设距离阈值的情况下,控制主摄像头实时进行图像采集;基于所述主摄像头实时采集的当前图像判断所述主摄像头是否处于遮挡状态,若处于遮挡状态,则生成语音警示信息,通过音频部件发出所述语音警示信息,其中,所述语音警示信息用于提醒所述目标人体移开遮挡物,开启辅助摄像头并获取所述辅助摄像头实时拍摄得到包含所述目标人体的图像,其中,所述辅助摄像头与所述主摄像头的安装位置不同;若不处于遮挡状态,则基于所述目标人体的脸部的位置,确定白光灯的发光方向以及确定所述主摄像头的目标拍摄方向和目标焦距,控制开启白光灯以使得所述白光灯向所述发光方向发出白光,并控制所述主摄像头调整至所述目标拍摄方向以目标焦距拍摄包含所述目标人体的脸部的图像;红外传感器62,用于检测目标人体与所述智能猫眼之间的第一距离;激光雷达63,用于检测所述目标人体的脸部与所述智能猫眼之间的第二距离;主摄像头64,用于实时进行图像采集;辅助摄像头65,用于基于所述处理器的控制开启并拍摄包含目标人体的图像;白光灯66,用于基于所述处理器的控制向所述发光方向发出白光;音频部件67,用于基于发出语音警示信息。
101.所述红外传感器62,用于实时进行人体检测得到当前检测结果;所述处理器61,用于基于所述当前检测结果判断在所述红外传感器的检测范围内是否存在目标人体,若存在目标人体,则基于所述当前检测结果确定所述目标人体与所述智能猫眼之间的第一距离,判断所述第一距离是否小于第一预设距离阈值,若小于,则通过所述主摄像头实时采集包含所述目标人体的图像,否则,继续基于所述当前检测结果判断在所述红外传感器的检测范围内是否存在目标人体;若不存在目标人体,则继续基于所述当前检测结果判断在所述红外传感器的检测范围内是否存在目标人体。
102.所述装置还包括:通信部件68,用于发送提示信息;所述处理器61,用于对所述主摄像头采集的包含所述目标人体的当前图像中的人脸进行识别以判断所述目标人体是否为允许进入室内的身份,若是,则控制通信部件发送提示信息以提示用户执行后续处理;若不是,则基于包含所述目标人体的当前图像确定所述目标人体的脸部的当前相对位置,基于所述目标人体的脸部的当前相对位置以及所述激光雷达的位置,确定所述激光雷达的目标朝向;控制所述激光雷达在所述目标朝向下进行距离采集,以获取所述目标人体的脸部与所述智能猫眼之间的第二距离;判断所述第二距离是否小于所述第二预设距离阈值,若不小于,则返回执行基于包含所述目标人体的当前图像确定所述目标人体的脸部的当前相对位置,基于所述目标人体的脸部的当前相对位置以及所述激光雷达的位置,确定所述激光雷达的目标朝向的处理;若小于,则控制主摄像头实时进行图像采集。
103.所述处理器61,用于将所述主摄像头采集的包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息;基于所述人脸区域的位置信息从包含所述目标人体的当前图像中提取得到人脸图像;将所述人脸图像输入到人脸识别模型,以获取所述人脸图像与参考人脸图像之间的图像相似度;其中,所述人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;所述参考人脸图像为所述人脸图像识别模块中预设的允许进入室内的人的脸部图像;判断所述人脸图像与参考人脸图像之间的图像相似度是否大于预设相似度门限值,若大于,则确定目标人体为允许进入室内的身份;否则,确定所述目标人体为不允许进入室内的身份。
104.所述处理器61,用于将所述主摄像头采集的包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出结果;判断所述输出结果中是否包含人脸的人脸区域的位置信息,若包含,则得到所述人脸检测模型的输出的包含人脸的人脸区域的位置信息;若不包含,则基于包含所述目标人体的当前图像确定所述主摄像头的调整方向以及调整角度,基于所述调整方向以及调整角度对所述主摄像头的拍摄角度进行调整,返回执行将所述主摄像头采集包含所述目标人体的当前图像输入人脸检测模型,得到所述人脸检测模型的输出结果的处理。
105.所述处理器61,用于执行以下之一:生成包含所述人脸图像的第一提示信息;控制所述智能猫眼的通信部件向用户的终端设备发送第一提示信息,以提示所述用户是否开门;基于所述人脸图像确定所述目标人体的身份信息,基于所述目标人体的身份信息生成第二提示信息;控制所述通信部件向用户的终端设备发送第二提示信息,以提示所述用户是否开门;基于所述人脸图像确定所述目标人体的身份信息,基于所述目标人体的身份信息生成第三提示信息;控制所述音频部件将所述第三提示信息转换为音频信息,向处于室内的用户播放所述音频信息,以提示所述用户是否开门。
106.所述处理器61,用于将所述目标人体的脸部与所述白光灯之间的距离输入光场确定模型,基于所述光场确定模型的输入结果确定所述白光灯的当前光场。
107.所述处理器61,用于对所述主摄像头采集的当前图像进行检测;若确定所述当前图像中不包含所述目标人体,则确定所述主摄像头处于遮挡状态、并保存所述当前采集的图像。
108.所述装置还包括:静电产生部件69,用于基于所述处理器的控制产生静电脉冲;所述处理器61,用于在确定所述主摄像头处于遮挡状态的情况下,控制开启静电产生部件向所述主摄像头所在区域发送静电脉冲。
109.所述处理器61,用于在所述智能猫眼的音频部件发出所述语音警示信息的目标时长后,若基于所述主摄像头当前采集的图像确定所述主摄像头持续处于遮挡状态,则获取第一预设语音,控制所述音频部件发出所述第一预设语音;其中,所述第一预设语音为采用家庭主人的声音所生产的用于警示所述目标人体远离房屋且警示所述目标人体其相关图像已被保存且上传至云端的语音。
110.所述处理器61,用于基于包含所述目标人体的n个历史图像,确定所述目标人体的历史移动信息;其中,n为大于等于2的整数;基于所述目标人体的历史移动信息,确定所述目标人体在当前时刻之后的预测移动轨迹;基于所述目标人体在当前时刻之后的预测移动轨迹,确定所述主摄像头在所述当前时刻之后的至少一个时刻下分别对应的预测拍摄方向,以及确定所述白光灯在所述当前时刻之后的预设时长之内的至少一个时刻下分别对应的预测发光方向。
111.所述处理器61,用于对包含所述目标人体的图像中的所述目标人体进行标签设置并保存,以及对所述包含所述目标人体的图像中包含的其他目标体进行标签设置并保存;其中,所述其他目标体为除所述目标人体之外的其他人体或其他物体,且所述其他目标体与所述目标人体在图像中的位置不同。
112.所述主摄像头的表面以及所述辅助摄像头的表面均具有能够产生荷叶效应的透明层。
113.本实施例提供的所述控制装置可以设置与智能猫眼中。通过采用本实施例提供的方案,可以通过红外传感器的检测区域内存在目标人体与智能猫眼之间的距离小于第一预设距离阈值,通过激光雷达检测到目标人体的脸部与智能猫眼之间的距离小于第二预设距离阈值的情况下,通过主摄像头实时采集的当前图像可以分析出主摄像头是否被遮挡,在主摄像头被遮挡的情况下,通过语音警示信息对目标人体进行警示,并且开启辅助摄像头对目标人体进行拍摄;而在主摄像头没有被遮挡的情况下,可以控制白光灯朝向目标人体的脸部发光并控制主摄像头对其进行拍摄。可以看出,通过采用上述方案就能够及时且准确的识别并发现室外的目标人体,以在该目标人体距离智能猫眼的距离过近的行为的情况下进行警示以及震慑,从而保证了处于室内的用户的安全性。
114.需要说明的是,本公开实施例中对各功能单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本公开的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
115.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,
可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本公开各个实施例提供的方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
116.图7为根据本发明一实施例的电子设备的结构框图。如图7所示,该电子设备包括:存储器710和处理器720,存储器710内存储有可在处理器720上运行的计算机程序。存储器710和处理器720的数量可以为一个或多个。存储器710可以存储一个或多个计算机程序,当该一个或多个计算机程序被该电子设备执行时,使得该电子设备执行上述方法实施例提供的方法。
117.该电子设备还包括:通信接口730,用于与外界设备进行通信,进行数据交互传输。
118.如果存储器710、处理器720和通信接口730独立实现,则存储器710、处理器720和通信接口730可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(industry standard architecture,isa)总线、外部设备互连(peripheral component interconnect,pci)总线或扩展工业标准体系结构(extended industry standard architecture ,eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
119.可选的,在具体实现上,如果存储器710、处理器720及通信接口730集成在一块芯片上,则存储器710、处理器720及通信接口730可以通过内部接口完成相互间的通信。
120.本公开实施例还提供一种计算机可读存储介质,其存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行上述方法实施例提供的方法。
121.本公开实施例还提供一种计算机程序产品,所述计算机程序产品用于存储计算机程序,该计算机程序被计算机执行时,所述计算机可以实现上述方法实施例提供的方法。
122.本公开实施例还提供一种芯片,所述芯片与存储器耦合,所述芯片用于实现上述方法实施例提供的方法。
123.应理解的是,上述处理器可以是中央处理器(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processing,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced risc machines,arm)架构的处理器。
124.进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(read

only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以包括随机存取存储器(random access memory,ram),其用作外部高
速缓存。通过示例性但不是限制性说明,许多形式的ram可用。例如,静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic random access memory,dram) 、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,dr ram)。
125.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(digital subscriber line,dsl))或无线(例如:红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(digital versatile disc,dvd))或半导体介质(例如:固态硬盘(solid state disk,ssd))等。值得注意的是,本公开提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
126.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
127.在本公开实施例的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
128.在本公开实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
129.在本公开实施例的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
130.以上所述仅为本公开的示例性实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1