猫眼数据的处理方法、模组、电子设备和存储介质与流程

文档序号:26628220发布日期:2021-09-14 22:16阅读:419来源:国知局
猫眼数据的处理方法、模组、电子设备和存储介质与流程

1.本技术涉及数据处理技术领域,尤其涉及一种猫眼数据的处理方法、模组、电子设备和存储介质。


背景技术:

2.随着互联网技术的发展和智能家居的普及,越来越多的智能单品能够用移动端去控制,方便用户远程操控。智能猫眼是一种安装在门上进行可以不间断自动拍照、感应监控的智能可视猫眼,用户可以在终端上查看智能猫眼采集到的监测范围内的信息,继而从这些信息中了解到监测范围内的移动对象的行为,有利于用户了解家庭环境的安全性。
3.目前用户在终端上查看到的监测范围内的视频是一个包含所有信息的长视频,若用户想要查找视频中的某些信息数据,还需要自己从很长的视频中进行查找,方式繁琐,浪费用户时间和精力。


技术实现要素:

4.本技术实施例的目的在于提供一种猫眼数据的处理方法、模组、电子设备和存储介质,以解决数据查找困难的问题。具体技术方案如下:
5.第一方面,提供了一种猫眼数据的处理方法,所述方法包括:
6.识别智能猫眼发送的图像信息中的移动对象,其中,所述图像信息是所述智能猫眼在监测范围内检测到的信息;
7.从所述图像信息中提取与所述移动对象相关联的目标视频片段;
8.获取与所述目标视频片段相关联的所述移动对象的行为检测信息;
9.根据所述行为检测信息生成所述目标视频片段的视频标签信息;
10.建立所述视频标签信息与所述目标视频片段的对应关系,其中,一个所述视频标签信息能够对应至少一个所述目标视频片段。
11.可选地,所述获取与所述目标视频片段相关联的所述移动对象的行为检测信息包括:
12.获取所述图像信息中记录的所述移动对象的脸部特征;
13.将所述移动对象的脸部特征与数据库中预存的脸部特征进行匹配,其中,所述数据库用于保存预先录入的对象的脸部特征;
14.在所述移动对象的脸部特征与所述数据库中预存的脸部特征匹配成功的情况下,生成人脸识别信息,其中,所述人脸识别信息中记录有所述移动对象的进行人脸识别的行为;
15.将所述人脸识别信息作为所述移动对象的行为检测信息。
16.可选地,所述图像信息包括连续的视频帧,所述获取与所述目标视频片段相关联的所述移动对象的行为检测信息包括:
17.确定所述连续的视频帧中的第一视频帧,其中,所述第一视频帧为第一时刻的视
频帧,所述第一时刻为所述移动对象初次出现的时刻;
18.获取所述连续的视频帧中位于所述第一时刻与第二时刻之间的多帧第二视频帧,其中,所述第二时刻与所述第一时刻之间的时长为预设时长;
19.在确定所有所述第二视频帧中存在所述移动对象的情况下,提取所述移动对象的人员逗留信息,其中,所述人员逗留信息中记录有所述移动对象的逗留行为;
20.将所述人员逗留信息作为所述移动对象的行为检测信息。
21.可选地,所述获取与所述目标视频片段相关联的所述移动对象的行为检测信息包括:
22.接收所述智能猫眼采集的呼叫信息;
23.查找所述图像信息中包含所述移动对象的时间段对应的目标呼叫信息,其中,所述目标呼叫信息用于指示所述监测区域内存在所述移动对象的呼叫行为;
24.将所述目标呼叫信息作为所述移动对象的行为检测信息。
25.可选地,查找所述图像信息中包含所述移动对象的时间段对应的目标呼叫信息之后,所述方法还包括:
26.将所述目标呼叫信息发送至所述智能猫眼的交互装置,其中,所述交互装置用于在检测到人脸的情况下唤醒交互界面,所述交互界面用于向室内对象提供操控所述智能猫眼所在的智能门锁、与移动对象进行交互的功能;
27.接收所述交互装置发送的应答信息,其中,所述应答信息用于指示所述交互装置是否被唤醒;
28.将所述目标呼叫信息和所述应答信息作为所述移动对象的行为检测信息。
29.可选地,所述获取与所述目标视频片段相关联的所述移动对象的行为检测信息包括:
30.获取所述智能猫眼采集的按键触发信息,其中,所述按键触发信息用于指示所述智能猫眼上的按键被触发;
31.查找所述图像信息中包含所述移动对象的时间段对应的目标触发信息,其中,所述目标触发信息用于指示所述监测区域内存在所述移动对象的按键触发行为;
32.在确定所述目标触发信息中的目标触发方式是除预设触发方式以外的方式的情况下,生成猫眼触发信息,其中,服务器中预先存储有合法的预设触发方式;
33.将所述猫眼触发信息作为所述移动对象的行为检测信息。
34.可选地,所述从所述图像信息中查找与所述移动对象相关联的目标视频片段包括:
35.确定所述图像信息中所述移动对象初次出现的初始视频帧;
36.确定在所述初始视频帧之后所述移动对象连续出现的多个目标视频帧,其中,所述多个目标视频帧中所述移动对象出现的视频帧之间的帧差值小于预设阈值;
37.将包含所述初始视频帧和所述多个目标视频帧的视频帧集合作为所述目标视频片段。
38.可选地,建立所述视频标签信息与所述目标视频片段的对应关系之后,所述方法还包括:
39.确定所述目标视频片段的拍摄时刻;
40.根据所述拍摄时刻生成所述目标视频片段的行为标签信息,其中,每个所述目标视频片段对应一个所述行为标签信息。
41.第二方面,提供了一种猫眼数据的处理模组,所述模组包括:
42.识别模块,用于识别智能猫眼发送的图像信息中的移动对象,其中,所述图像信息是所述智能猫眼在监测范围内检测到的信息;
43.提取模块,用于从所述图像信息中提取与所述移动对象相关联的目标视频片段;
44.获取模块,用于获取与所述目标视频片段相关联的所述移动对象的行为检测信息;
45.生成模块,用于根据所述行为检测信息生成所述目标视频片段的视频标签信息;
46.建立模块,用于建立所述视频标签信息与所述目标视频片段的对应关系,其中,一个所述视频标签信息能够对应至少一个所述目标视频片段。
47.第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
48.存储器,用于存放计算机程序;
49.处理器,用于执行存储器上所存放的程序时,实现任一所述的猫眼数据的处理方法步骤。
50.第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一所述的猫眼数据的处理方法步骤。
51.本技术实施例有益效果:
52.在本技术中,终端识别智能猫眼发送的图像信息中的移动对象,从所述图像信息中提取与移动对象相关联的目标视频片段,然后获取与所述目标视频片段相关联的所述移动对象的行为检测信息,再根据行为检测信息生成目标视频片段的视频标签信息,最后建立所述视频标签信息与所述目标视频片段的对应关系,一个视频标签能够对应至少一个视频片段,这样可以将智能猫眼拍摄的视频按照视频标签信息划分,进而后续在用户需要查看视频时,可以使用视频标签,直接将所对应的至少一个视频片段筛选出来,因此,该方法可以将智能猫眼拍摄的视频进行分类管理和展示,无需用户自行从长视频中进行查找,提高猫眼信息查看的便捷性,提高猫眼数据查找的效率,节约用户时间和精力,提高用户体验。
53.当然,实施本技术的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
54.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
55.图1为本技术实施例提供的一种猫眼数据的处理方法硬件环境示意图;
56.图2为本技术实施例提供的一种猫眼数据的处理的方法流程图;
57.图3为本技术实施例提供的人脸识别信息的界面示意图;
58.图4为本技术实施例提供的人形侦测信息的界面示意图;
59.图5为本技术实施例提供的第二门铃记录信息的界面示意图;
60.图6为本技术实施例提供的猫眼触发信息的界面示意图;
61.图7为本技术实施例提供的包含全部信息的界面示意图;
62.图8为本技术实施例提供的一种猫眼数据的处理装置的结构示意图;
63.图9为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
64.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术的一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
65.在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本技术的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
66.为了解决背景技术中提及的问题,根据本技术实施例的一方面,提供了一种猫眼数据的处理方法,该猫眼数据的处理方法可以应用于如图1所示的由终端101、服务器103和智能猫眼105所构成的硬件环境中。如图1所示,服务器103通过网络与终端101和智能猫眼105进行连接,可用于为终端或终端上安装的客户端以及智能猫眼提供服务,上述网络包括但不限于:广域网、城域网或局域网,终端101包括但不限于pc、手机、平板电脑等。
67.本技术实施例中的一种猫眼数据的处理方法可以由服务器103来执行,可以由终端101来执行,也可以由智能猫眼105来执行。
68.下面将结合具体实施方式,以终端执行为例,对本技术实施例提供的一种猫眼数据的处理方法进行详细的说明,如图2所示,具体步骤如下:
69.步骤201:识别智能猫眼发送的图像信息中的移动对象。
70.其中,图像信息是智能猫眼在监测范围内检测到的信息。
71.在本技术实施例中,智能猫眼是一种安装在门上进行可以不间断自动拍照、感应监控的智能可视猫眼。智能猫眼可以监测到门外的监测范围内的图像信息,并将图像信息发送至终端,图像信息中可能包含有移动对象,也可能不包含移动对象,终端识别图像信息中的移动对象。具体的,终端识别移动对象可以采用机器学习算法,也可以采用人脸识别算法,本技术对识别移动对象的具体方式不作具体限定。
72.步骤202:从图像信息中提取与移动对象相关联的目标视频片段。
73.在本技术实施例中,图像信息包含多个视频帧,终端根据移动对象出现的时间顺序将图像信息划分为多个视频片段,视频片段分为两类,一类包含移动对象,另一类不包含移动对象。在包含移动对象的多个视频片段中,不同视频片段中包含的移动对象可以是相同的,也可以是不同的,终端确定图像信息中的移动对象后,从图像信息中提取与该移动对象相关联的目标视频片段,其中,目标视频片段的数量为一个。
74.示例性地,终端接收到终端发送的一段长达1小时的图像信息,该图像信息中第0分钟至第10分钟和第20分钟至第40分钟没有移动对象存在,第11分钟至第19分钟和第41分钟至第60分钟有移动对象的存在,那么终端可以按照时间顺序从图像信息中选取出第11分钟至第19分钟的目标视频片段,并对该目标视频片段执行步骤203

205的处理,然后选取出
第41分钟至第60分钟的目标视频片段,再对该目标视频片段执行步骤203

205的处理。
75.步骤203:获取与目标视频片段相关联的移动对象的行为检测信息。
76.在本技术实施例中,终端确定该目标视频片段对应的时间段,然后获取该时间段内的移动对象的行为检测信息,其中,行为检测信息可以是终端从智能猫眼发送的图像信息中获取到的,也可以是终端从智能猫眼发送的其他非图像信息中获取到的。
77.步骤204:根据行为检测信息生成目标视频片段的视频标签信息。
78.在本技术实施例中,移动对象的行为检测信息包括多种,终端获取移动对象的行为检测信息后,根据该行为检测信息生成目标视频片段的视频标签信息。
79.步骤205:建立视频标签信息与目标视频片段的对应关系。
80.其中,一个视频标签信息能够对应至少一个目标视频片段。
81.在本技术实施例中,终端建立视频标签信息与目标视频片段的对应关系,其中,一个视频标签信息可以对应多个目标视频片段,在本技术实施例中,移动对象的行为检测信息包括人脸识别信息、人员逗留信息、目标呼叫信息+呼叫应答信息和猫眼触发信息,在本技术实施例中,对应的视频标签信息依次为人脸识别信息、人形侦测信息、门铃记录信息和防盗强拆信息。
82.在本技术中,一个视频标签能够对应至少一个视频片段,这样可以将智能猫眼拍摄的视频按照视频标签信息划分,进而后续在用户需要查看视频时,可以使用视频标签,直接将所对应的至少一个视频片段筛选出来,因此,该方法可以将智能猫眼拍摄的视频进行分类管理和展示,无需用户自行从长视频中进行查找,提高猫眼信息查看的便捷性,提高猫眼数据查找的效率,节约用户时间和精力,提高用户体验。
83.作为一种可选的实施方式,建立视频标签信息与目标视频片段的对应关系之后,方法还包括:确定目标视频片段的拍摄时刻;根据拍摄时刻生成目标视频片段的行为标签信息,其中,每个目标视频片段对应一个行为标签信息。
84.每个目标视频片段的拍摄时刻不同,终端可以根据该拍摄时刻生成目标视频片段的行为标签信息,每个目标视频片段对应一个行为标签信息,行为标签信息包括目标视频片段的拍摄时刻、拍摄时长、图标样式、视频内容等信息,用户可以从视频内容清楚的了解到目标视频片段中移动对象的行为信息,无需查看视频也能清楚的了解用户生活环境的安全问题,提高用户体验感。
85.作为一种可选的实施方式,获取与目标视频片段相关联的移动对象的行为检测信息包括:获取图像信息中记录的移动对象的脸部特征;将移动对象的脸部特征与数据库中预存的脸部特征进行匹配,其中,数据库用于保存预先录入的对象的脸部特征;在移动对象的脸部特征与数据库中预存的脸部特征匹配成功的情况下,生成人脸识别信息,其中,人脸识别信息中记录有移动对象的进行人脸识别的行为;将人脸识别信息作为移动对象的行为检测信息。
86.在本技术实施例中,终端生成人脸识别信息的过程为:终端接收智能猫眼发送的图像信息,然后获取图像信息中记录的移动对象的脸部特征,数据库保存有预先录入的对象的脸部特征,数据库预先录入的对象为预设对象,预设对象可以为用户的家人、朋友等认识的人,预设对象可以由用户自由设定。终端将移动对象的脸部特征与数据库中预存的脸部特征进行匹配,若匹配失败,表示移动对象不是预设对象;若匹配成功,表示移动对象为
预设对象,则生成人脸识别信息,将人脸识别信息作为移动对象的行为检测信息,以根据人脸识别信息生成目标视频片段的视频标签信息。
87.图3为人脸识别信息的界面示意图,可以看出,图3中包括预设对象的识别时刻、预设对象的类型、包含预设对象人脸识别行为的目标视频片段和该目标视频片段的时长。其中,预设对象的类型是根据人脸识别信息得到的,若移动对象的脸部特征与数据库中预存的脸部特征匹配失败,则移动对象为非预设对象(陌生人),若移动对象的脸部特征与数据库中预存的脸部特征匹配成功,则移动对象为预设对象(认识的人)。示例性地,预设对象与用户之间的关系包括朋友、妈妈、弟弟等,该社会关系可以由用户自由设定,可以是用户从数据库预设的社会关系中选取出来得到的。
88.作为一种可选的实施方式,图像信息包括连续的视频帧,获取与目标视频片段相关联的移动对象的行为检测信息包括:确定连续的视频帧中的第一视频帧,其中,第一视频帧为第一时刻的视频帧,第一时刻为移动对象初次出现的时刻;获取连续的视频帧中位于第一时刻与第二时刻之间的多帧第二视频帧,其中,第二时刻与第一时刻之间的时长为预设时长;在确定所有第二视频帧中存在移动对象的情况下,提取移动对象的人员逗留信息,其中,人员逗留信息中记录有移动对象的逗留行为;将人员逗留信息作为移动对象的行为检测信息。
89.在本技术实施例中,终端从智能猫眼获取到的图像信息为连续的视频帧,当连续视频帧中的第一视频帧首次出现移动对象时,终端记录在第一视频帧中移动对象初次出现的第一时刻,然后确定自第一时刻开始的预设时长后的第二时刻,并获取连续的视频帧中位于第一时刻与第二时刻之间的多帧第二视频帧,若终端确定第二视频帧中均存在移动对象的情况下,表示移动对象在预设时长内均在监测区域逗留,则生成人员逗留信息,并将人员逗留信息作为移动对象的行为检测信息,以根据人员逗留信息生成目标视频片段的视频标签信息,即人形侦测信息。
90.示例性地,设定预设时长为10秒,若移动对象在监测区域第一次被智能猫眼抓取到图像,且之后连续的10秒内均被智能猫眼抓取到包含该移动对象的图像,则终端生成人员逗留信息。
91.图4为人形侦测信息的界面示意图,可以看出,图4中包括人形侦测的侦测时刻、人形侦测的类型、包含人形侦测行为的目标视频片段和门铃应答信息。人形侦测的类型包括预设对象的类型和非预设对象的类型,预设对象为用户认识或相熟的人,例如朋友、妈妈、弟弟等,非预设对象为用户不认识的人。
92.本技术实施例对于预设对象的类型和门铃应答信息均设有不同的标识。从图4中可以看出,若门铃未被应答,则图标为红色的电话图标,若门铃被应答,则图标为绿色的电话图标,若移动对象为预设对象,则图标为头像图标,若移动对象为非预设对象,则图标为人像图标。示例性地,若移动对象为妈妈,则图标为头像图标,并显示妈妈逗留,若移动对象为陌生人,则图标为人像图标,并显示有人逗留。
93.门铃应答信息包括门铃已应答信息和门铃未应答信息,本技术实施例会在下文对门铃应答进行详细描述,此次不再赘述。该目标视频片段为包含移动对象在监测区域内逗留的视频。
94.作为一种可选的实施方式,获取与目标视频片段相关联的移动对象的行为检测信
息包括:接收智能猫眼采集的呼叫信息;查找图像信息中包含移动对象的时间段对应的目标呼叫信息,其中,目标呼叫信息用于指示监测区域内存在移动对象的呼叫行为;将目标呼叫信息作为移动对象的行为检测信息。
95.在本技术实施例中,智能猫眼在监测到呼叫信息的情况下,将采集到的呼叫信息发送至终端,其中,呼叫信息可以为门铃呼叫信息,也可以为其他智能猫眼能监测到的呼叫信息。本技术不限定存在呼叫信息的情况下智能猫眼一定能够监测到移动对象,也可能存在门铃出现故障一直保持呼叫的情况。终端确定图像信息中移动对象出现的时间段,并确定该时间段对应的目标呼叫信息,那么目标呼叫信息能够指示监测区域内存在移动对象的门铃呼叫行为。终端将目标呼叫信息作为移动对象的行为检测信息,以生成目标视频片段的视频标签信息,即第一门铃记录信息。
96.作为一种可选的实施方式,检测与目标呼叫信息所对应的应答信息包括:将目标呼叫信息发送至智能终端和智能猫眼的交互装置,其中,交互装置用于在检测到人脸的情况下唤醒交互界面,交互界面用于向室内对象提供操控智能猫眼所在的智能门锁、与移动对象进行交互的功能;接收交互装置发送的应答信息,其中,应答信息用于指示交互装置是否被唤醒。
97.在本技术实施例中,智能猫眼的监测区域内有移动对象在进行门铃呼叫的时候,终端能够获取目标呼叫信息,并将目标呼叫信息发送至智能终端。持有该智能终端的室内对象可以根据智能终端上收到的目标呼叫信息,选择是否靠近位于室内的智能猫眼的交互装置,交互装置在检测到人脸的情况下会唤醒交互界面,智能猫眼的交互界面根据唤醒情况生成应答信息。终端将目标呼叫信息和应答信息作为移动对象的行为检测信息,以生成目标视频片段的视频标签信息,即第二门铃记录信息。
98.应答信息包括已应答信息和未应答信息,若交互装置的交互界面被唤醒,则生成已应答信息,若交互装置的交互界面未被唤醒,则生成未应答信息。
99.室内对象可以根据智能终端收到的目标呼叫信息查看移动对象是否认识,然后再根据实际情况确定是否唤醒交互装置的交互界面,交互界面在预设距离内检测到人脸会被唤醒。若室内对象确认唤醒交互界面,则室内对象会靠近交互装置,室内对象与交互界面的距离会小于预设距离,此时交互界面被唤醒;若室内对象确认不唤醒交互界面,则交互对象与交互装置的距离会不小于预设距离,此时交互界面不被唤醒。其中,交互界面用于向室内对象提供操控智能猫眼所在的智能门锁、与移动对象进行交互的功能,交互界面被唤醒代表室内对象打算与监测区域的移动对象通话,或为移动对象开门,或用户想要做其他动作。
100.其中,终端获取目标呼叫信息包括以下至少两种方式:方式一,智能猫眼上设有声音传感装置,当声音传感装置检测到与智能猫眼关联的门铃产生门铃按压声响的时候,声音传感器发送呼叫信息至终端,终端查看到图像信息中包含移动对象,则生成目标呼叫信息。方式二,终端获取智能猫眼发送的图像信息,当终端确定图像信息中记录有移动对象按压门铃的行为时,终端生成目标呼叫信息。本技术实施例是采用方式一进行描述。
101.图5为第二门铃记录信息的界面示意图,可以看出,图5中包括门铃呼叫的呼叫时刻、门铃已应答信息、门铃未应答信息和包含门铃呼叫行为的目标视频片段。若门铃未被应答,则图标为红色的电话图标,若门铃被应答,则图标为绿色的电话图标。
102.本技术在第二门铃记录信息中还可以记录呼叫门铃的移动对象的类型。图5中未
显示出移动对象的类型,具体可参考图4中的图标,若移动对象为预设对象,则图标为头像图标,并显示“呼叫记录,妈妈按门铃”。若移动对象为非预设对象,则图标为人像图标,并显示“呼叫记录,有人按门铃”。
103.在本技术中,室内对象可以根据智能猫眼发送至智能终端的图像信息,识别呼叫门铃的移动对象的类型,确定是陌生人按门铃还是熟人按门铃,从而确定是否要开门,给与室内对象为移动对象开门之前充分的考虑时间,提高人身安全保障。
104.作为一种可选的实施方式,获取与目标视频片段相关联的移动对象的行为检测信息包括:获取智能猫眼采集的按键触发信息,其中,按键触发信息用于指示智能猫眼上的按键被触发;查找图像信息中包含移动对象的时间段对应的目标触发信息,其中,目标触发信息用于指示监测区域内存在移动对象的按键触发行为;在确定目标触发信息中的目标触发方式是除预设触发方式以外的方式的情况下,生成猫眼触发信息,其中,终端中预先存储有合法的预设触发方式;将猫眼触发信息作为移动对象的行为检测信息。
105.智能猫眼上设有按键,当该按键被触发的情况下终端获取按键触发信息,本技术不限定存在按键触发信息的情况下智能猫眼一定能够监测到移动对象,也可能存在按键出现故障一直触发的情况。终端确定图像信息中移动对象出现的时间段,并确定该时间段对应的目标触发信息,那么目标触发信息能够指示监测区域内存在移动对象的按键触发行为。终端确定按键触发信息中包含的按键触发方式,终端中预先存储有合法的预设触发方式,该预设触发方式可以为移动对象皮肤按压按键或指纹接触按键等触发方式。
106.终端判断按键触发方式是否与预设触发方式相同。若终端判定判断按键触发方式与预设触发方式相同,表明按键是以合法且常规的方式触发,若终端判定判断按键触发方式与预设触发方式不同,表明按键是以预设触发方式以外的方式触发,预设触发方式以外的方式可以为撬动或打砸等暴力方式,终端生成猫眼触发信息。终端将猫眼触发信息作为移动对象的行为检测信息,以生成目标视频片段的视频标签信息,即防盗强拆信息。
107.为了保证用户的人身安全,终端在生成猫眼触发信息后还可以发出警报,以提示用户有人在撬动按键,用户可以在终端上查看撬动按键的图像信息,并确定是否唤醒智能猫眼的交互界面。
108.图6为猫眼触发信息的界面示意图,可以看出,图6中包括按键撬动时刻、门铃已应答信息、门铃未应答信息和包含按键撬动行为的目标视频片段。若门铃未被应答,则图标为红色的电话图标,表示用户没有唤醒交互界面,若门铃被应答,则图标为绿色的电话图标,表示用户已唤醒交互界面。
109.图7为包含全部信息的界面示意图,可以看出,界面中有供用户选取的选项,包括:全部、门铃记录、人脸识别、防盗强拆和人形侦测。用户可以根据想要查看的信息进行筛选,使终端接收到对应的查询请求,从而选取出对应提示信息。
110.作为一种可选的实施方式,从图像信息中查找与移动对象相关联的目标视频片段包括:确定图像信息中移动对象初次出现的初始视频帧;确定在初始视频帧之后移动对象连续出现的多个目标视频帧,其中,多个目标视频帧中移动对象出现的视频帧之间的帧差值小于预设阈值;将包含初始视频帧和多个目标视频帧的视频帧集合作为目标视频片段。
111.在本技术实施例中,终端划分包含移动对象的目标视频片段的过程为:终端确定图像信息中移动对象初次出现的初始视频帧,然后确定初始视频帧之后的移动对象连续出
现的多个目标视频帧,移动对象连续在多个视频帧中出现,表明该多个视频帧组成的视频片段包含移动对象的行为动作,那么终端可以将包含初始视频帧和多个目标视频帧的视频帧集合作为目标视频片段。
112.移动对象连续在多个视频帧中出现,是指移动对象出现的视频帧之间的帧差值小于预设阈值,这样可以保证移动对象即使短暂的离开监测范围内几秒钟,还可以将该移动对象记录到同一个视频片段中,避免视频片段过于零碎化。
113.其中,目标视频片段不仅可以只包含初始视频帧和多个目标视频帧,还可以包括初始视频帧之前的多个第一个视频帧,还包括目标视频帧之后的多个第二视频帧,这样目标视频片段中包含移动对象出现前后的短暂视频片段,有利于用户更清楚的观测到移动对象的行为动作,以及观测到移动对象出现前后的环境变化,提高用户的生活环境的安全性。
114.智能猫眼关联的帐号的持有者,若想要查看监测区域中的情况,可以在终端上的显示界面上输入视频标签信息,终端接收到查看指令,则从多个视频片段中选取具有该视频标签信息的多个视频片段,并展示该多个视频片段和每个片段的行为标签信息。其中,帐号的持有者在终端查看监测区域的情况,既可以是位于室外,也可以是位于室内,便于能随时查看家庭环境的安全。
115.基于相同的技术构思,本技术实施例还提供了一种猫眼数据的处理模组,如图8所示,该模组包括:
116.识别模块801,用于识别智能猫眼发送的图像信息中的移动对象,其中,图像信息是智能猫眼在监测范围内检测到的信息;
117.提取模块802,用于从图像信息中提取与移动对象相关联的目标视频片段,其中,图像信息中包含有多个视频片段;
118.获取模块803,用于获取与目标视频片段相关联的移动对象的行为检测信息;
119.第一生成模块804,用于根据行为检测信息生成目标视频片段的视频标签信息;
120.建立模块805,用于建立视频标签信息与目标视频片段的对应关系,其中,一个视频标签信息能够对应至少一个目标视频片段。
121.可选地,获取模块803包括:
122.第一获取单元,用于获取图像信息中记录的移动对象的脸部特征;
123.第一匹配单元,用于将移动对象的脸部特征与数据库中预存的脸部特征进行匹配,其中,数据库用于保存预先录入的对象的脸部特征;
124.第一生成单元,用于在移动对象的脸部特征与数据库中预存的脸部特征匹配成功的情况下,生成人脸识别信息,其中,人脸识别信息中记录有移动对象的人脸识别行为。
125.第一作为单元,用于将人脸识别信息作为移动对象的行为检测信息。
126.可选地,获取模块803包括:
127.第一确定单元,用于确定连续的视频帧中的第一视频帧,其中,第一视频帧为第一时刻的视频帧,第一时刻为移动对象初次出现的时刻;
128.第二获取单元,用于获取连续的视频帧中位于第一时刻与第二时刻之间的多帧第二视频帧,其中,第二时刻与第一时刻之间的时长为预设时长;
129.提取单元,用于在确定所有第二视频帧中存在移动对象的情况下,提取移动对象的人员逗留信息,其中,人员逗留信息中记录有移动对象的逗留行为;
130.第二作为单元,用于将人员逗留信息作为移动对象的行为检测信息。
131.可选地,获取模块803包括:
132.接收单元,用于接收智能猫眼采集的呼叫信息;
133.第一查找单元,用于查找图像信息中包含移动对象的时间段对应的目标呼叫信息,其中,目标呼叫信息用于指示监测区域内存在移动对象的呼叫行为;
134.第三作为单元,用于将目标呼叫信息作为移动对象的行为检测信息。
135.可选地,装置还包括:
136.发送模块,用于将目标呼叫信息发送至智能猫眼的交互装置,其中,交互装置用于在检测到人脸的情况下唤醒交互界面,交互界面用于向室内对象提供操控智能猫眼所在的智能门锁、与移动对象进行交互的功能;
137.接收模块,用于接收交互装置发送的应答信息,其中,应答信息用于指示交互装置是否被唤醒;
138.作为模块,用于将目标呼叫信息和应答信息作为移动对象的行为检测信息。
139.可选地,获取模块803包括:
140.第三获取单元,用于获取智能猫眼采集的按键触发信息,其中,按键触发信息用于指示智能猫眼上的按键被触发;
141.第二查找单元,用于查找图像信息中包含移动对象的时间段对应的目标触发信息,其中,目标触发信息用于指示监测区域内存在移动对象的按键触发行为;
142.第二生成单元,用于在确定目标触发信息中的目标触发方式是除预设触发方式以外的方式的情况下,生成猫眼触发信息,其中,终端中预先存储有合法的预设触发方式;
143.第四作为单元,用于将猫眼触发信息作为移动对象的行为检测信息。
144.可选地,查找模块802包括:
145.第二确定单元,用于确定图像信息中移动对象初次出现的初始视频帧;
146.第三确定单元,用于确定在初始视频帧之后移动对象连续出现的多个目标视频帧,其中,多个目标视频帧中移动对象出现的视频帧之间的帧差值小于预设阈值;
147.第五作为单元,用于将包含初始视频帧和多个目标视频帧的视频帧集合作为目标视频片段。
148.可选地,该装置还包括:
149.确定模块,用于确定目标视频片段的拍摄时刻;
150.第二生成模块,用于根据拍摄时刻生成目标视频片段的行为标签信息,其中,每个目标视频片段对应一个行为标签信息。
151.根据本技术实施例的另一方面,本技术提供了一种电子设备,如图9所示,包括存储器903、处理器901、通信接口902及通信总线904,存储器903中存储有可在处理器901上运行的计算机程序,存储器903、处理器901通过通信接口902和通信总线904进行通信,处理器901执行计算机程序时实现上述方法的步骤。
152.上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
153.存储器可以包括随机存取存储器(random access memory,简称ram),也可以包括非易失性存储器(non

volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
154.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field

programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
155.根据本技术实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
156.可选地,在本技术实施例中,计算机可读介质被设置为存储用于所述处理器执行上述方法的程序代码。
157.可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
158.本技术实施例在具体实现时,可以参阅上述各个实施例,具有相应的技术效果。
159.可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits,asic)、数字信号处理器(digital signal processing,dsp)、数字信号处理设备(dsp device,dspd)、可编程逻辑设备(programmable logic device,pld)、现场可编程门阵列(field

programmable gate array,fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
160.对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
161.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
162.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
163.在本技术所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
164.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
165.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
166.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
167.以上所述仅是本技术的具体实施方式,使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1