一种影像识别系统及方法
【专利摘要】本发明公开了一种影像识别系统，包括：机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；光源，在所述图像采集模块采集图像时进行补光；人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。本发明在进行人脸识别时，不需要固定的人脸姿势即可进行识别，同时可基于本地或者网络的服务器数据来进行识别，提高了识别的准确性，并且能够达到提供实时服务的速度。
【专利说明】
一种影像识别系统及方法
技术领域
[0001]本发明涉及安全领域，具体涉及一种机器人系统的影像识别系统及方法。
【背景技术】
[0002]目前，随着人们对安全指数的重视，越来越多的安防系统采用了密码验证、口令验证进行识别，但是这种识别方式安全性仍然较差，很容易被他人获悉解密方式，无法满足更高层次的安全要求。因此，依据指纹、虹膜、人脸进行识别的验证模式越来越受到高安全性安保系统的青睐。人脸与人体的其它生物特征(指纹、虹膜等)一样与生倶来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较，人脸识别具有如下特点:
[0003]非强制性:用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；
[0004]非接触性:用户不需要和设备直接接触就能获取人脸图像；
[0005]并发性:在实际应用场景下可以进行多个人脸的分拣、判断及识别；
[0006]除此之外，还符合视觉特性:“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。
[0007]目前，人脸识别系统通常包括一个用于采集人脸图像的摄像头，进行光线补偿的光源，提示人脸采集位置的辅助定位装置或标记，运行人脸识别软件的计算机(可以是嵌入式计算机)，处理或显示识别结果的装置，比如提示灯、开门继电器和纪录识别结果的数据库表。
[0008]安防系统使用的人脸识别系统通常有以下难以使用在我们场景中的问题:1、对人脸采集的姿势要求很固定；2、需要通过补偿光源来固定光线条件，对光线非常敏感；3、由于计算需求是一次性的，所以对计算速度要求不高。
【发明内容】
[0009]根据现有技术中的不足，本发明提供了一种影像识别系统，其中，包括:
[0010]机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；
[0011]光源，在所述图像采集模块采集图像时进行补光；
[0012]人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；
[0013]人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
[0014]上述的影像识别系统，其中，所述图像采集模块为高清摄像头，所述高清摄像头具备静态图像和每秒至少30帧的视频采集能力；
[0015]所述高清摄像头通过MIPI或USB接口与所述机器人连接。
[0016]上述的影像识别系统，其中，所述光源包括氛围光光源以及红外光光源；
[0017]当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，通过所述红外光光源进行补光。
[0018]上述的影像识别系统，其中，所述预处理包括:
[0019]对图像中出现的人脸影像进行角度矫正处理和光线处理(包括亮度归一化和偏光修正)。
[0020]上述的影像识别系统，其中，所述数据库包括本地数据存储模块和和网络服务器数据存储模块。
[0021]上述的影像识别系统，其中，所述机器人还具有一发声装置，连接所述数据库，所述发声装置根据所述人脸识别模块的比对结果来发出不同类型的提示音。
[0022]上述的影像识别系统，其中，所述系统还包括一记录反馈装置，用于记录和/或反馈所述人脸识别模块的比对结果。
[0023]上述的影像识别系统，其中，所述人脸识别模块利用SVM算法来进行比对。
[0024]—种使用上述系统的影像识别方法，其中，包括如下步骤:
[0025]步骤S1:利用所述机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光；
[0026]步骤S2:利用所述人脸检测模块对所述图像采集模块采集得到的图像中出现的人脸影像进行定位处理；
[0027]步骤S3:利用所述人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
[0028]上述的影像识别方法，其中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行所述步骤SI?步骤S3。
【附图说明】
[0029]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、夕卜形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
[0030]图1为本发明提供的身份识别系统结构和运行案例。
【具体实施方式】
[0031]在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0032]为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
[0033]由于本发明是作为机器人视觉系统的一部分，实现人脸识别的功能，所以需要解决机器人在应用中遇到的问题。包括:1、在机器人视野中任意位置出现的各种姿势的人脸；2、各种光照条件，包括偏光或者无补偿光源的情况；3、实时识别出现在机器人视野中的人脸，对响应速度要求较高，而且在人脸身份变化时需要通过连续识别实现实时反馈。
[0034]为了解决上述问题，本实施例提供了一种影像识别系统，包括:
[0035]机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；
[0036]光源，在图像采集模块采集图像时进行补光；
[0037]人脸检测模块，根据图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位;
[0038]人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
[0039]在本发明的该实施例中，可选但非限制，机器人的图像采集模块为高清摄像头，进一步优选的，该高清摄像头应当具备静态图像和每秒至少30帧的视频采集能力，进而满足高速影像采集的需求。例如机器人的视野范围内对象移动速度过快，本发明亦可采集到清晰的图像。可选但非限制，高清摄像头通过MIPI或USB接口与机器人连接。在一些可选的实施例中，该机器人还可通过一马达对图像采集模块的取景范围及角度进行实时调整，例如当检测到可视范围内有人经过时，可通过该马达驱动图像采集模块对移动的对象进行实时跟踪拍摄，例如与移动对象同步进行移动并进行放大拍摄，以提高采集图像的清晰度。
[0040]在本发明的该实施例中，可选但非限制，上述的光源包括氛围光光源以及红外光光源。其中，氛围光光源为机器人自带的光源，优点是亮度均匀，缺点是亮度不太高，没有定向性，另外亮度可能被其他高优先级应用控制，有时甚至被关闭，所以不能满足完全的补光需求。本发明添加的一套红外发光装置由于主要用于影像补光，所以发光功率由影像识别系统有限控制，能够实现各种场景下的较稳定的补光。例如当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，则通过红外光光源进行补光，进而获得较为清晰的图像。
[0041]在本发明的该实施例中，可选但非限制，利用人脸检测模块进行定位，即在机器人采集的全视野影像中定位人脸位置，在现有的安防系统中由于位置固定，通常不需要这一步骤。之后利用人脸识别模块对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。其中，人脸识别模块可对图像中出现的人脸影像进行角度矫正处理和光线处理包括亮度归一化和偏光修正)，由于人脸采集的环境和角度变化很大，为提高识别率，本发明通过人脸识别模块对人脸检测模块采集并定位的人脸影像进行角度矫正处理，同时嵌入式的识别技术还会做影像光线的处理，进而便于比对并提高正确率。
[0042]在本发明的该实施例中，可选但非限制，上述数据库包括本地数据存储模块和和网络服务器数据存储模块。其中，本地数据存储模块是基于机器人的嵌入式系统中，采用基于特征匹配的人脸识别技术，首先构造已知身份人脸图像的特征数据库，然后对实时采集到的人脸图像提取同种类型的特征，用一种数学距离函数比较当前人脸与数据库人脸的特征距离，然后判断最可能的身份，并给出置信率。而基于网络服务器数据存储模块，由于有更多的计算资源和更灵活的应用架构，我们采用基于深度学习模型的人脸识别技术，通过深度学习技术训练用于人脸识别的多层神经网络模型，该模型会用于生成数据库中的人脸特征，用SVM算法(Support Vector Machine，支持向量机，是一种可训练的机器学习方法)或其他的标准分类器构造数据库的人脸类别，然后对实时采集的人脸影像计算模型特征，并通过分类器判断人脸影像的身份和置信率。嵌入式特征匹配的识别技术支持20?50个人的识别，在一定的光线和角度变化范围内，20人识别准确率90%以上，50人准确率80%以上；服务器上基于深度学习的识别技术支持50人以上到至少几百人的识别，识别准确率在97%以上。
[0043]在本发明的该实施例中，可选但非限制，机器人还具有一发声装置，连接上述数据库，该发声装置根据人脸识别模块的比对结果来发出不同类型的提示音。例如，如果经人脸识别模块比对正确的话，那么发声装置会调取数据库中对应当前人脸影像的提示音，比如“你好，陈先生”。而如果经过反复核对后仍然认为识别失败，这时打招呼应用仍然可以做一个不带身份信息的通用打招呼，比如通过发声装置发出简单的“你好”。在一些可选的实施例中，可将本发明与门禁系统相连接，若识别通过则允许当前人通过，若无法通过识别，则禁止当前人通过。
[0044]在本发明的该实施例中，可选但非限制，本发明所提供的影像识别系统还包括一记录反馈装置，用于记录和/或反馈人脸识别模块的比对结果。这个是可选部件，两者不一定都要有或同时工作。在某些场景下，只需要记录或只需要反馈。
[0045]同时本发明还提供了一种利用上述影像识别系统进行识别的方法，具体包括如下步骤:
[0046]步骤S1:利用机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光；
[0047]步骤S2:利用人脸检测模块对图像采集模块采集得到的图像中出现的人脸影像进行定位处理；
[0048]步骤S3:利用人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
[0049]其中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行步骤SI?步骤S3。
[0050]身份识别系统整体的运行流程如图1所示:首先可借助一机器人的打招呼应用发起一个识别请求到影像采集驱动模块，影像采集驱动模块接受请求，将摄像头传送过来的影像传送给人脸检测模块，检测软件将定位到的人脸影像截取并作预处理，之后发送给人脸识别模块，人脸识别模块将识别结果传送到结果确认模块，依据判断结果的不同，系统执行对应的操作。如果正确，结果传送到打招呼的应用，该应用根据识别到的身份使用发声装置向摄像头影像中的用户问好，如果错误，则重新向影像采集驱动发送识别请求，重新进入识别流程。识别结果确认模块判断的主要依据是人脸识别软件传送结果中的置信率。而在最坏情况下识别错误时重新发送请求的次数由打招呼应用根据一个请求超时时间来控制确认模块是否继续重发请求，如果识别超时仍未得到正确结果，则认为识别失败，这时打招呼应用仍然可以做一个不带身份信息的通用打招呼，比如简单的“你好”。
[0051]综上所述，由于本发明采用了如上技术方案，本发明在进行人脸识别时，不需要固定的人脸姿势即可进行识别，同时可基于本地或者网络的服务器数据来进行识别，提高了识别的准确性，另外，通过采用合适的摄像头、运算硬件模块和运算框架，可以使人脸识别过程满足实时性需要。
[0052]以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
【主权项】
1.一种影像识别系统，其特征在于，包括: 机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像； 光源，在所述图像采集模块采集图像时进行补光； 人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位; 人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。2.如权利要求1所述的影像识别系统，其特征在于，所述图像采集模块为高清摄像头，所述高清摄像头具备静态图像和每秒至少30帧的视频采集能力； 所述高清摄像头通过MIPI或USB接口与所述机器人连接。3.如权利要求1所述的影像识别系统，其特征在于，所述光源包括氛围光光源以及红外光光源； 当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，通过所述红外光光源进行补光。4.如权利要求1所述的影像识别系统，其特征在于，所述预处理包括: 对图像中出现的人脸影像进行角度矫正处理和光线处理。5.如权利要求1所述的影像识别系统，其特征在于，所述数据库包括本地数据存储模块和和网络服务器数据存储模块。6.如权利要求1所述的影像识别系统，其特征在于，所述机器人还具有一发声装置，连接所述数据库，所述发声装置根据所述人脸识别模块的比对结果来发出不同类型的提示■~>V.曰O7.如权利要求1所述的影像识别系统，其特征在于，所述系统还包括一记录反馈装置，用于记录和/或反馈所述人脸识别模块的比对结果。8.如权利要求1所述的影像识别系统，其特征在于，所述人脸识别模块利用SVM算法来进行比对。9.一种使用权利要求1-8任意一项所述系统的影像识别方法，其特征在于，包括如下步骤: 步骤S1:利用所述机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光； 步骤S2:利用所述人脸检测模块对所述图像采集模块采集得到的图像中出现的人脸影像进行定位处理； 步骤S3:利用所述人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。10.如权利要求9所述的影像识别方法，其特征在于，在步骤S3中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行所述步骤SI?步骤S3。
【文档编号】G06K9/00GK105844202SQ201510014262
【公开日】2016年8月10日
【申请日】2015年1月12日
【发明人】梁宁清, 陈明修, 张宏鑫
【申请人】芋头科技（杭州）有限公司