一种用户身份识别装置和机器人的制作方法

文档序号:13938349阅读:166来源:国知局

本申请涉及机器人制造技术领域,尤其涉及一种用户身份识别装置和机器人。



背景技术:

随着科学技术的高速发展,机器人制造技术也得以发展迅速,机器人的应用已逐步进入家庭服务行业。

物业服务机器人是一种不受环境、温度的影响,能够动态地实现对用户身份识别的机器人,该类机器人需要在用户身份识别方面有卓越的辨识能力。

然而目前传统的物业服务机器人都是利用高清摄像头捕捉用户图像信+ 息,通过对捕捉到的用户图像信息进行分析来达到识别用户身份的目的。显然,仅仅依靠高清摄像头捕捉到的用户图像信息来识别用户身份,其准确度、识别效率都非常低。



技术实现要素:

有鉴于此,本申请提供一种用户身份识别装置和机器人,以提高用户身份识别的准确度和识别效率。技术方案如下:

本申请的一方面,提供一种用户身份识别装置,包括:

处理器;

与所述处理器连接的至少一个双目摄像头;

与所述处理器连接的至少一个高清摄像头;

所述至少一个双目摄像头和至少一个高清摄像头同步工作,分别用于实时获取视频图像信息;

其中,所述处理器依据所述至少一个双目摄像头获取到的第一视频图像信息和至少一个高清摄像头获取到的第二视频图像信息,确定用户的身份信息。

优选地,所述双目摄像头包括的两个摄像头均为1080P的高清摄像头,且所述两个摄像头的间距为15厘米。

本申请的另一方面,还提供一种机器人,包括前文任一项所述的用户身份识别装置。

本申请提供的用户身份识别装置包括处理器、与所述处理器连接的至少一个双目摄像头和与所述处理器连接的至少一个高清摄像头。其中,至少一个双目摄像头和至少一个高清摄像头同步工作,分别用于实时获取视频图像信息,处理器依据所述至少一个双目摄像头获取到的第一视频图像信息和至少一个高清摄像头获取到的第二视频图像信息,确定用户的身份信息。本申请采用双目摄像头搭配高清摄像头的工作方式,相比于现有技术仅仅依靠高清摄像头捕捉到的用户图像信息来识别用户身份,本申请提供的机器人提高了用户身份识别的准确度、识别效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种用户身份识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

请参阅图1,其示出了本申请提供的一种用户身份识别装置的结构示意图,包括:至少一个双目摄像头100、至少一个高清摄像头200和分别与所述双目摄像头100、高清摄像头200连接的处理器300。本申请中关于双目摄像头 100和高清摄像头200的具体设置个数可以根据实际需求灵活设置,但需保证的是,所设置的至少一个双目摄像头100和至少一个高清摄像头200需实时同步工作,分别实时获取其各自捕捉到的视频图像信息。具体在本申请实施例中,双目摄像头100包括的两个摄像头均可以采用1080P的高清摄像头,其包括的两个摄像头间距15厘米。在本申请实际应用过程中,优选的双目摄像头 100和高清摄像头200同时同步捕捉同一方向、位置的视频图像信息。

具体在本申请中,至少存在一个双目摄像头100和一个高清摄像头200同时且实时同步工作,用于分别实时获取其各自捕捉到的视频图像信息。其中,双目摄像头100捕捉到的视频图像信息称之为第一视频图像信息,高清摄像头 200捕捉到的视频图像信息称之为第二视频图像信息。

处理器300分别与各双目摄像头100和各高清摄像头200连接,用于接收各双目摄像头100和各高清摄像头200发送的视频图像信息。进而处理器300依据所述至少一个双目摄像头100获取到的第一视频图像信息和至少一个高清摄像头200获取到的第二视频图像信息,确定用户的身份信息。

需要说明的是,关于本申请中处理器300依据视频图像信息实现用户身份信息识别的实现方法采用现有技术中的用户身份识别方法即可,在此申请人不再赘述。

而特别的,本申请中的处理器300还可以采用下述实现方法实现对用户的身份信息的识别,其中处理器300可以由下述各个模块构成,包括:

深度信息处理模块301,用于对所述至少一个双目摄像头100获取到的第一视频图像信息进行深度处理,获取深度图和彩色图。

为了便于说明,本申请以包括一个双目摄像头100和一个高清摄像头200 为例来说,处理器300接收到双目摄像头100发送的第一视频图像信息后,对该第一视频图像信息进行深度处理,获得一深度图和一彩色图(为了便于区分,这里称之为彩色图一),接收到高清摄像头200发送的第二视频图像信息后,又获得一彩色图(色图二)。

在本申请实际应用过程中,因为双目摄像头100的视场角较大,高清摄像头200的分辨率高且视场角相对较小(相同距离获取到的人脸图片大),因此彩色图一和彩色图二的内容不完全相同,但容易理解的是,对于彩色图一和彩色图二中相同的内容来说,彩色图二中的内容是放大后的彩色图一中的内容。

图片信息处理模块302,用于对所述深度图和彩色图进行处理,确定所述第一视频图像信息中的至少一名用户。

本申请中,图片信息处理模块302可以具体包括:

第一处理子模块3021,用于对所述彩色图进行Deep CNN(Deep Convolutional Neural Networks,深度卷积神经网络)的人体检测,获得所述第一视频图像信息的初步人体检测结果。

在本申请实施例中,人体检测的Deep CNN深度学习网络由卷积层网络、区域提取网络和区域分类网络构成。将获得的第一视频图像信息输入至Deep CNN中进行人体检测后,输出该第一视频图像信息中的初步人体检测结果。例如该第一视频图像信息中包括三名用户,则初步人体检测结果包括该三名用户的人体检测结果。而对于发生重叠的用户来说,则还是只会输出一个人体检测结果。

第二处理子模块3022,用于基于所述初步人体检测结果,结合所述深度图的图像信息,确定所述第一视频图像信息的最终人体检测结果。

由于通过Deep CNN的人体检测后,对于发生重叠的用户只会输出一名用户对应的一个人体检测结果,无法实现对重叠用户的分开识别,因此本申请进一步通过获取深度图,结合深度图的图像信息,对发生重叠的用户加以区分,从而分离出单个的用户个体,实现了识别重叠用户的功能,保证了用户身份识别的准确度。

用户确定子模块3023,用于根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。

例如假设,当前彩色图中一共包括5名用户,分别为用户A、用户B、用户 C、用户D和用户E,其中用户C、用户D和用户E发生重叠,那么本申请对该彩色图进行Deep CNN的人体检测后,获得的初步人体检测结果包括用户A的人体检测结果、用户B的人体检测结果和用户C’的人体检测结果,这里用户C’的人体检测结果表示的是发生重叠的用户C、用户D和用户E共同对应的人体检测结果。进一步,本申请获取深度图,结合深度图的图像信息可以获知当前用户C’存在重叠问题,因此对用户C’进行分离处理,即将用户C、用户D和用户E分离开,从而分别得到用户C、用户D和用户E的人体检测结果。最终,本申请实现了对当前彩色图中一共包括的用户A、用户B、用户C、用户D、用户E这5名用户的人体检测结果的确定,即确定出该第一视频图像信息中的5名用户。

人脸定位模块303,用于采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。

具体的,本申请实施例采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。

本申请中,在图片信息处理模块302确定出第一视频图像信息中5名用户的人体检测结果后,基于边框的人脸定位方法会根据人体的基本比例,计算出每个用户的人脸的大概位置,然后通过Haar特征及AdaBoost分类器来找到人脸的具体位置,从而实现用户人脸位置的确定。

此外在本申请实施例中,为了保证用户身份识别的准确度,本申请可以再次获取深度图,并依据所述深度图中人脸位置处的深度信息分布情况,排除错误的人脸位置。

人脸区域确定模块304,用于基于所述第一视频图像信息中各个用户的人脸位置,确定所述高清摄像头200获取的第二视频图像信息中各个用户的人脸区域。

本申请中的双目摄像头100和高清摄像头200实时同步工作,在同一时刻能够获取到同一方向、位置的视频图像信息,因此将双目摄像头100获取到的第一视频图像信息与高清摄像头200获取到的第二视频图像信息进行比对校准,由此可以基于确定的第一视频图像信息中各个用户的人脸位置,确定出第二视频图像信息中各个用户的人脸位置,进而获取该人脸位置处对应的用户的人脸区域。

人脸特征信息提取模块305,用于采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取,分别获得每个人脸区域对应的人脸特征信息。

本申请在确定出各个用户的人脸区域后,依次对每个人脸区域采用人脸特征提取方法进行特征提取,具体的,本申请可以对第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的信息提取,获得每个人脸区域对应的人脸Deep CNN特征。

在本申请实施例中,人脸区域确定模块204获得第二视频图像信息中各个用户的人脸区域后,通过人脸特征信息(如人脸特征点)的提取能够实现人脸姿态校准。本申请中的人脸Deep CNN深度学习网络具有37层,包括16个卷积层,人脸的检测结果经过校准之后归一化到224×224,输入到人脸Deep CNN深度学习网络后得到人脸Deep CNN特征。

比对模块306,用于将获得的人脸特征信息与存储的预设人脸特征信息进行比对,所述预设人脸特征信息与预设用户身份信息一一对应。

其中,本申请可以利用KNN(k-Nearest Neighbor,最临近)分类器采用 KNN最近距离算法,将获得的人脸特征信息与存储的预设人脸特征信息进行比对。

本申请包括人脸Deep CNN特征数据库,该人脸Deep CNN特征数据库是用于对研发人员采集的大量图片信息,利用人脸Deep CNN深度学习网络进行深度学习后,将得到的所有人脸Deep CNN特征进行存储。不同的用户对应不同的人脸Deep CNN特征,因此,本申请只要比对出人脸Deep CNN 特征,即可确定出用户的身份。

用户身份确定模块307,用于当所述比对模块对比所述获得的人脸特征信息与存储的预设人脸特征信息一致时,将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。

在本申请实施例中,用户身份确定模块307将获得的人脸特征信息与人脸 Deep CNN特征数据库中存储的预设人脸特征信息进行比对。如果对比一致,则说明当前人脸特征信息对应的用户即为预设人脸特征信息对应的用户,由此便可直接确定用户的身份。

此外在本申请上述实施例的基础上,本申请中的处理器300还可以用于,依据所述深度图确定所述用户的相对位置信息。

在机器人平台的视觉系统中,除了实现用户身份的识别之外,还可兼具人机互动的功能,因此本申请中处理器300除了实现对用户身份信息的确定之外,还可以实现对用户相对位置信息的确定,即用户相对于机器人的位置信息。而本申请中的双目摄像头100获取到的第一视频图像信息具有视场角度较大、包括深度信息的特点,对于人体检测及定位有着天然的优势。结合深度信息的人体定位能够给机器人的智能导航及人机互动提供可靠的位置信息。

因此应用本申请的上述技术方案,本申请利用双目摄像头100视场角较大、具有深度信息的特点,不仅能够实现人体检测和定位,且结合深度信息的人体定位功能能够给机器人的智能导航及人机互动提供可靠的位置信息。且本申请利用双目摄像头100搭配高清摄像头200同步工作,可以将在双目摄像头100中检测到的人和人脸位置映射到高清摄像头200获取的彩色图二中,不存在现有远距离自动人脸识别对人脸区域图片质量及大小要求较高的问题。本申请高清摄像头200的分辨率高而且视场角相对较小,而且能够通过程序自主控制爆光,因而可以保证包括人脸的图片的质量。另外高清摄像头200 专用于人脸识别,通过增加适度上仰角度,可以检测识别近距离人脸,如0.3 米以上的人脸,这对于机器人的人机互动功能,如自动刷脸取卡,也是非常重要。

本申请提供的用户身份识别装置可以具体用于在机器人上,尤其应用于物业服务机器人,使得该物业服务机器人不仅在用户身份识别方面有卓越的辨识能力,且增加了物业服务机器人的智能导航及人机互动功能。

以上对本申请所提供的一种用户身份识别装置和机器人进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1