人脸检测中NPD特征提取方法、电视机及存储介质与流程

文档序号:14481164阅读:328来源:国知局
本发明涉及人脸识别
技术领域
:,尤其涉及一种人脸检测中npd特征提取方法、电视机及存储介质。
背景技术
::人脸识别技术的主要步骤可分为:人脸检测中npd特征提取、脸部检测、人脸对齐和人脸识别。人脸检测中npd特征提取是其中非常重要的一个步骤,会直接影响人脸识别效果。传统的人脸识别特征有haar、lbp、lab、sure等,其中归一化像素差值(normalizedpixeldifference,简称npd)特征是目前性能比较突出的特征,它具有旋转不变性、抗遮挡、抗光照变化、抗模糊等特性。归一化像素差值(npd)特征的定义如下:d(xi,xj)表示任意一对像素点xi和xj之间的归一化像素差值,其中i(xi)表示像素点xi的灰度值。在计算npd特征过程中会以大小为s×s的窗口作为计算单位,窗口中任意两个像素点构成一个像素对,总共有p×p个像素对(其中p=s×s),通过公式(1)计算得到的像素对npd值会构成相应的特征向量。现有技术存在的缺陷是:npd特征的计算量较大,不利于基于该特征的人脸识别算法在电视机设备上的实现。技术实现要素:本发明的主要目的在于提供一种人脸检测中npd特征提取方法,旨在解决npd特征的计算量较大,不利于基于该特征的人脸识别算法在电视机设备上的实现的技术问题。为实现上述目的,本发明提供一种人脸检测中npd特征提取方法,所述人脸检测中npd特征提取方法包括:接收需要进行npd特征提取的待识别图像,获取待识别图像中当前窗口的第一点集,确定所述第一点集和上一窗口第二点集的重叠像素点集;获取所述上一窗口的目标npd集合,从该目标npd集合中获取所述重叠像素点集的第一npd集合;计算所述第一点集中重叠像素点集以外的非重叠像素点集的第一npd集合,将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合。在一种可选的实施方式中,所述将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合的步骤之后包括:判断所述待识别图像中是否存在下一窗口;若所述待识别图像中存在下一窗口,将所述当前窗口作为新的上一窗口,将下一窗口作为新的当前窗口,执行所述获取待识别图像中当前窗口的第一点集的步骤;若所述待识别图像中不存在下一窗口,则基于已获得的所述待识别图像中所有窗口目标npd集合获取所述待识别图像的npd特征,将所述所述待识别图像的npd特征输出到分类器,以便该分类器基于所述待识别图像的npd特征进行脸部位置识别。在一种可选的实施方式中,所述获取待识别图像中当前窗口的第一点集的步骤之前包括:判断所述待识别图像中是否存在上一窗口;若所述待识别图像中存在上一窗口,则执行所述获取待识别图像中当前窗口的第一点集的步骤;若所述待识别图像中不存在上一窗口,则直接计算当前窗口的目标npd集合。在一种可选的实施方式中,所述直接计算当前窗口的目标npd集合的步骤包括:获取窗口滑动方向,基于该窗口滑动方向确定扫描存储当前窗口第一点集的目标顺序;将所述当前窗口第一点集基于所述目标顺序依次扫描存入数据向量,其中,数据向量的大小等于所述第一点集中像素点个数;基于所述数据向量中所有像素点构建当前窗口的第一特征矩阵,所述第一特征矩阵中每个坐标点由横坐标方向和纵坐标方向上的数据向量中对应坐标的像素点构成的像素对的npd值组成,所述第一特征矩阵中所有npd值组成当前窗口的目标npd集合。在一种可选的实施方式中,所述获取待识别图像中当前窗口的第一点集,确定所述第一点集和上一窗口第二点集的重叠像素点集的步骤之后包括:获取扫描存储当前窗口第一点集的目标顺序,基于所述重叠像素点集确定所述第一点集中的非重叠像素点集;将该非重叠像素点集基于所述目标顺序依次扫描存入数据向量,其中,若将预设个数的所述非重叠像素点存入数据向量,最早存入数据向量的前预设个数像素点将被删除。在一种可选的实施方式中,所述将该非重叠像素点集基于所述目标顺序依次扫描存入数据向量的步骤之后包括:基于所述数据向量中所有像素点构建当前窗口的第二特征矩阵;基于所述数据向量中重叠像素点集所处位置确定所述重叠像素点集的第一npd集合在所述第二特征矩阵中所处第一位置;所述获取所述上一窗口的目标npd集合,从该目标npd集合中获取所述重叠像素点集的第一npd集合的步骤包括:获取上一窗口的第三特征矩阵,确定所述重叠像素点集的第一npd集合在所述第三特征矩阵中所处第二位置;从所述第三特征矩阵中第二位置获取所述重叠像素点集的第一npd集合,将获得的所述重叠像素点集的第一npd集合复制到第二特征矩阵中第一位置。在一种可选的实施方式中,所述基于该窗口滑动方向确定扫描存储当前窗口第一点集的目标顺序的步骤包括:获取当前窗口中第一点集与窗口偏向滑动方向一侧边缘的距离集合,基于该距离集合确定扫描存储当前窗口第一点集的目标顺序,其中,所述距离集合中数值越大的像素点,越先扫描存储。在一种可选的实施方式中,所述确定所述第一点集和上一窗口第二点集的重叠像素点集的步骤包括:获取窗口滑动距离,基于该窗口滑动距离确定所述第一点集和上一窗口第二点集的重叠像素点集。为实现上述目的,本发明还提供一种电视机,所述电视机包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸检测中npd特征提取程序,所述人脸检测中npd特征提取程序被所述处理器执行时实现如上述人脸检测中npd特征提取方法所述的步骤。此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有人脸检测中npd特征提取程序,所述人脸检测中npd特征提取程序被处理器执行时实现如上述人脸检测中npd特征提取方法所述的步骤。本发明实施例提出的一种人脸检测中npd特征提取方法,通过获取待识别图像中当前窗口的第一点集,确定所述第一点集和上一窗口第二点集的重叠像素点集;获取所述上一窗口的目标npd集合,从该目标npd集合中获取所述重叠像素点集的第一npd集合;计算所述第一点集中重叠像素点集以外的非重叠像素点集的第一npd集合,将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合,使得在进行当前窗口人脸检测中npd特征提取时只需计算非重叠像素点集的第一npd集合,无需计算所述重叠像素点集的第一npd集合,节省了当前窗口人脸检测中npd特征提取的计算量,节约了人脸检测中npd特征提取所需计算能力,且无损其精确度,实现了算法加速,有利于基于npd特征的人脸识别算法在电视机设备上的实现,有利于基于npd特征的人脸识别算法的推广,使得更多电视机设备获得更优效果的人脸识别,提升用户体验。附图说明图1是本发明实施例方案涉及的硬件运行环境的电视机结构示意图;图2为本发明人脸检测中npd特征提取方法第一实施例的流程示意图;图3为本发明人脸检测中npd特征提取方法中滑动窗口及滑动方向一实施例示意图;图4为本发明人脸检测中npd特征提取方法中窗口像素点扫描存储顺序一实施例示意图;图5为本发明人脸检测中npd特征提取方法中窗口像素点扫描存储顺序另一实施例示意图;图6为本发明人脸检测中npd特征提取方法中滑动窗口分布一实施例示意图;图7为本发明人脸检测中npd特征提取方法中窗口像素点扫描存储顺序及数据向量一实施例示意图;图8为本发明人脸检测中npd特征提取方法中特征矩阵一实施例示意图;图9为本发明人脸检测中npd特征提取方法中重叠像素点集的第一npd集合在特征矩阵中所处位置的一实施例示意图。本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。如图1所示,图1是本发明实施例方案涉及的硬件运行环境的电视机结构示意图。请参阅图1,其为实现本发明各个实施例的一种电视机的硬件结构示意图,该电视机100可以包括:视频输入单元101、显示单元102、存储器103、处理器104等部件。本领域技术人员可以理解,图1中示出的电视机结构并不构成对电视机的限定,电视机可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。下面结合图1对电视机的各个部件进行具体的介绍:视频输入单元101用于接收视频信号,可以包括图形处理器(graphicsprocessingunit,gpu)1011,图形处理器1011对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理,如在对需要进行npd特征提取的图片或图像的清晰度、分辨率等进行调整,以便后续npd特征提取的顺利进行。经图形处理器1011处理后的图像帧可以存储在存储器103(或其它存储介质)中,在需要进行npd特征提取时,电视机可直接从存储器103中获取。显示单元102用于显示由用户输入的信息或提供给用户的信息。显示单元102可包括显示面板1021,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1021,有利于用户观察npd特征提取结果及人脸检测结果。存储器103可用于存储软件程序以及各种数据。存储器103可主要包括存储程序区和存储数据区,其中,存储程序区可存储人脸检测中npd特征提取程序操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器103可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器104是电视机的控制中心,利用各种接口和线路连接整个电视机的各个部分,通过运行或执行存储在存储器103内的软件程序和/或模块,以及调用存储在存储器103内的数据,执行电视机的各种功能和处理数据,从而对电视机进行整体监控。例如,处理器104可以调用存储器103中的人脸检测中npd特征提取程序,执行下述本发明人脸检测中npd特征提取方法各实施例的步骤。基于上述电视机硬件结构,提出本发明人脸检测中npd特征提取方法各个实施例。参照图2,在本发明人脸检测中npd特征提取方法第一实施例中,所述人脸检测中npd特征提取方法包括:步骤s10,接收需要进行npd特征提取的待识别图像,获取待识别图像中当前窗口的第一点集,确定所述第一点集和上一窗口第二点集的重叠像素点集;对待识别图像进行人脸检测时,需要确定待识别图像中各像素点特征,归一化像素差值(normalizedpixeldifference,简称npd)特征是目前性能比较突出的特征,具有旋转不变性、抗遮挡、抗光照变化、抗模糊等特性,因而其使用范围可能扩张到配置人脸识别功能的用户智能电视机,虽然当前的用户智能电视机相比过去的非智能电视机,在计算能力上有很大增强,但若是用来进行人脸检测中npd特征提取,还是比较勉强,因此npd特征的大计算量限制了基于npd特征的人脸识别算法在电视机设备上的实现。在现有的人脸检测中npd特征提取过程中,为了保证人脸检测的准确度,通常会用很多重叠的滑动窗口来计算整张待识别图像的npd特征,如图3所示,前一个窗口滑动距离d之后形成新的一个窗口(前一窗口为实线框、新窗口为虚线框)。npd特征的计算量较大,特别是大量重叠窗口的使用造成了巨大的重复计算。本发明实施例方案设计了一种相邻窗口重叠部分npd特征复用方法,极大地减少了npd人脸检测中npd特征提取过程中的大量重复计算,从而实现了算法加速。具体地,本实施例中的待识别图像,即需要进行人脸识别中人脸检测中npd特征提取(本说明书中的人脸检测中npd特征提取均指npd人脸检测中npd特征提取)步骤的图像,如上所述,一个完整待识别图像的人脸检测中npd特征提取是通过一个滑动窗口实现的,本实施例中的当前窗口即正在进行人脸检测中npd特征提取的窗口,上一窗口即上一个已完成npd人脸检测中npd特征提取的窗口,当前窗口与上一窗口为相邻窗口,若是当前窗口与上一窗口为如图3所示,且d<s(窗口大小为sⅹs),则在当前窗口与上一窗口之间有重叠区域,当前窗口中所有像素点组成当前窗口的第一点集,上一窗口中所有像素点组成上一窗口的第二点集,当前窗口与上一窗口的重叠区域中所有像素点组成第一点集和第二点集的重叠像素点集,其中,第一点集为当前窗口所有像素点组成的点的集合,第二点集为上一窗口所有像素点组成的点的集合,重叠像素点集为当前窗口与上一窗口的重叠区域中所有像素点组成的点的集合。在上一窗口npd人脸检测中npd特征提取完成后,窗口滑动预设距离(该预设距离由系统预设或者人脸识别程序配置文件存储),形成与上一窗口部分重叠的当前窗口,开始对当前窗口进行npd人脸检测中npd特征提取。依据npd的定义可知npd人脸检测中npd特征提取涉及到每个像素点,因而在对当前窗口进行npd人脸检测中npd特征提取前,需要获取当前窗口的第一点集。在一种实施方式中,可有序获取当前窗口的第一点集,即按照一定顺序依次获得第一点集。因为窗口为矩形且窗口滑动方向固定,重叠像素点集在按一定顺序获得的第一点集中的位置有一定规律,例如滑动方向为从上到下时,重叠像素点集一定是在当前窗口的上面部分,若是从上到下依次获取当前窗口的第一点集,则可确定最先获得的部分点集为重叠像素点集,这样可以更方便、快速地确定及获取重叠像素点集。这里的有序获得第一点集,可以是以像素点为单位的有序,如滑动方向为从上到下时,从当前窗口最上面一排的最左边开始获得(如图4),图4中序号即代表第一点集获取顺序;也可以是以一排/一纵像素点为单位有序获得(如图5),一次扫描获取一排/一纵像素点,获取顺序如图5中序号所示。上一窗口的第二点集在对上一窗口进行人脸检测中npd特征提取时,就已获得,可存储在特定位置,在获取当前窗口的第一点集或者确定所述第一点集和上一窗口第二点集的重叠像素点集时,随时可以获取。确定所述第一点集和上一窗口第二点集的重叠像素点集,可以根据获取第一点集的方式进行调整,获取第一点集的方法不同,获取重叠像素点集的难易程度不同。在一种实施方式中,窗口滑动方向为从上到下,第一点集的获得从当前窗口最上面一排的最左边开始(如图4),顺序如图4箭头所示,重叠像素点集一定是在当前窗口的上面部分,所以重叠像素点集是获取第一点集时最先获得的部分像素点。有关重叠像素点集的确定,具体地,可执行如下步骤:步骤s11,获取窗口滑动距离,基于该窗口滑动距离确定所述第一点集和上一窗口第二点集的重叠像素点集。如图3所示,实线框为前一窗口,虚线框为当前窗口,窗口大小为sⅹs,一个窗口像素点个数为p(p=sⅹs),滑动距离为d。则当前窗口的左侧p-dⅹs个像素点为重叠像素点集。若是有序获得第一点集,且获取顺序为从左至右,则获得的第一点集中前(p-dⅹs)个像素点为重叠像素点集。通过窗口滑动距离确定重叠像素点集,结合了窗口自身的形状特点及窗口滑动特点,可准确获得重叠像素点集,且计算简单,易于实现。在一种实施方式中,第一点集为无序获得,在获取第一点集时,需要同时获得每个像素点的位置属性信息,可以在待识别图像上建立二维坐标,结合窗口滑动距离确定窗口中各像素点的坐标,确定重叠像素点集在该二维坐标上所处区域或坐标范围,该坐标范围即像素点的位置属性信息,在无序获得第一点集后,即可根据各像素点的坐标确定重叠像素点集。步骤s20,获取所述上一窗口的目标npd集合,从该目标npd集合中获取所述重叠像素点集的第一npd集合;步骤s30,计算所述第一点集中重叠像素点集以外的非重叠像素点集的第一npd集合,将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合。目标npd集合特指为整个窗口的npd特征集合,因为所述上一窗口的第二点集中包含所述重叠像素点集,所以上一窗口的目标npd集合中包含所述重叠像素点集的第一npd集合,在计算当前窗口的目标npd集合时,可直接从上衣窗口目标npd集合中获取第一npd集合。需要说明的是,根据npd特征定义可知,一个点集的npd特征集合是该点集中任意两点npd值的集合,因而目标npd集合指窗口中任意两点npd值的集合,第一npd集合指重叠像素点集中任意两点npd值的集合,第二npd集合指(第一点集任意两点npd值的集合-第一npd集合),即(非重叠像素点集任意两点npd值的集合+非重叠像素点集与重叠像素点集之间的任意两点npd值的集合)。当第一点集中某npd值对应两点都属于重叠像素点集时,该npd值可直接从上一窗口目标npd集合中获取,若第一点集中某npd值对应两点中有一点属于非重叠像素点集,则需要对其进行人脸检测中npd特征提取。需要说明的是,上一窗口与当前窗口间不一定存在重叠部分,即不一定存在重叠像素点集,此时当前窗口的非重叠像素点集与第一点集重合,非重叠像素点集的第一npd集合即当前窗口的目标npd集合。是否存在重叠像素点集,一方面取决于窗口滑动距离,例如:窗口大小为5×5,而窗口滑动距离也为5,则当前窗口与上一窗口没有重叠部分。另一方面取决于窗口滑动方式和上一窗口的含义,例如一个待识别图像同时在不同排/列像素存在多个窗口(如图6),上一窗口含义局限在同一排/列像素的窗口时,当前窗口与上一窗口间是否有重叠部分取决于窗口滑动距离,若一个待识别图像只有一个滑动窗口,则当前窗口在一排/列像素的初始位置而上一窗口在上一排/列像素的结尾位置时,上一窗口与当前窗口间不存在重叠部分。若是不存在重叠部分,则重叠像素点集的第一npd集合为空,计算所得的第二npd集合为当前窗口的目标npd集合。本实施例通过获取待识别图像中当前窗口的第一点集,确定所述第一点集和上一窗口第二点集的重叠像素点集;获取所述上一窗口的目标npd集合,从该目标npd集合中获取所述重叠像素点集的第一npd集合;计算所述第一点集中重叠像素点集以外的非重叠像素点集的第一npd集合,将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合,使得在进行当前窗口人脸检测中npd特征提取时只需计算非重叠像素点集的第一npd集合,无需计算所述重叠像素点集的第一npd集合,节省了当前窗口人脸检测中npd特征提取的计算量,节约了人脸检测中npd特征提取所需计算能力,且无损其精确度,实现了算法加速,有利于基于npd特征的人脸识别算法在电视机设备上的实现,有利于基于npd特征的人脸识别算法的推广,使得更多电视机设备获得更优效果的人脸识别,提升用户体验。进一步地,基于上述实施例,在本发明人脸检测中npd特征提取方法第二实施例中,所述将所述第一npd集合和第二npd集合作为当前窗口的目标npd集合的步骤之后包括:步骤s40,判断所述待识别图像中是否存在下一窗口;步骤s50,若所述待识别图像中存在下一窗口,将所述当前窗口作为新的上一窗口,将下一窗口作为新的当前窗口,执行所述获取待识别图像中当前窗口的第一点集的步骤;步骤s60,若所述待识别图像中不存在下一窗口,则基于已获得的所述待识别图像中所有窗口目标npd集合获取所述待识别图像的npd特征,将所述所述待识别图像的npd特征输出到分类器,以便该分类器基于所述待识别图像的npd特征进行脸部位置识别。对待识别图像的npd人脸检测中npd特征提取是通过滑动窗口来实现的,在计算待识别图像npd特征过程中,该滑动窗口遍历整个待识别图像,在窗口滑动过程中,相邻窗口之间存在重叠。本发明实施例中的当前窗口指当前正在进行人脸检测中npd特征提取的窗口,上一窗口指当前窗口的前一窗口,下一窗口即指当前窗口的下一个窗口,或者说即将进行人脸检测中npd特征提取的窗口。如果所述待识别图像中存在下一窗口,则说明整个待识别图像还存在未遍历的区域,需要继续滑动窗口进行人脸检测中npd特征提取,在滑动到下一窗口对其进行人脸检测中npd特征提取时,下一窗口变成了新的当前窗口,原有的当前窗口变成了此时的前一窗口,继续执行所述获取待识别图像中当前窗口的第一点集的步骤,进行npd人脸检测中npd特征提取。如果所述待识别图像中不存在下一窗口,说明滑动窗口已将所述待识别图像全部遍历完成,人脸检测中npd特征提取全部完成,则可直接基于已获得的所述待识别图像中所有窗口目标npd集合获取所述待识别图像的npd特征,所述待识别图像的npd特征可以是已获得的所述待识别图像中所有窗口目标npd集合,也可以是将已获得的所述待识别图像中所有窗口目标npd集合进行去重复处理后的npd集合,在确定了所述待识别图像的npd特征后就可以将其输出到分类器,以供分类器基于所述待识别图像的npd特征确定所述待识别图像中人脸所在位置。本实施例通过判断所述待识别图像中是否存在下一窗口,以确定滑动窗口是否遍历完整个待识别图像,所述待识别图像的全部区域是否完成人脸检测中npd特征提取;若所述待识别图像中存在下一窗口,说明所述待识别图像中还有部分区域未进行人脸检测中npd特征提取,则所述当前窗口作为新的上一窗口,将下一窗口作为新的当前窗口,继续执行本发明实施例中所述获取待识别图像中当前窗口的第一点集的步骤,继续进行剩余部分的人脸检测中npd特征提取,确保所述待识别图像中所有区域都可以完全npd人脸检测中npd特征提取,保证没有遗漏,且本发明实施例相邻窗口重叠部分npd特征复用方法可应用到整个待识别图像的人脸检测中npd特征提取过程,可大大减少对整个待识别图像进行人脸检测中npd特征提取的计算量,有利于基于npd特征的人脸识别算法在电视机设备上的实现;若所述待识别图像中不存在下一窗口,则说明所述待识别图像中所有区域均已完成人脸检测中npd特征提取,则可基于已获得的所述待识别图像中所有窗口目标npd集合获取所述待识别图像的npd特征,进而完成整个待识别图像的npd人脸检测中npd特征提取。进一步地,基于上述实施例,在本发明人脸检测中npd特征提取方法第三实施例中,所述获取待识别图像中当前窗口的第一点集的步骤之前包括:步骤s70,判断所述待识别图像中是否存在上一窗口;步骤s80,若所述待识别图像中存在上一窗口,则执行所述获取待识别图像中当前窗口的第一点集的步骤;步骤s90,若所述待识别图像中不存在上一窗口,则直接计算当前窗口的目标npd集合。如图3所示的实线框窗口,为对待识别图像进行npd人脸检测中npd特征提取的第一个窗口,该第一窗口为初始窗口,在第一窗口为当前窗口开始人脸检测中npd特征提取时,并不存在上一窗口与之重叠,因而可直接对整个窗口区域进行人脸检测中npd特征提取。如果说对于当前窗口而言,所述待识别图像中不存在上一窗口,则可确定当前窗口为初始窗口,没有与上一窗口有重叠部分,则当前窗口中所有像素对都需进行npd计算,所以应当直接计算当前窗口的第一点集的目标npd集合。如果对于当前窗口而言,所述待识别图像中存在上一窗口,则当前窗口不是初始窗口,可能需要进行重叠部分npd特征的复用,所以需要执行所述获取待识别图像中当前窗口的第一点集的步骤。本实施例通过判断所述待识别图像中是否存在上一窗口,以确定当前窗口是否为待识别图像的初始图像,若所述待识别图像中不存在上一窗口,则当前窗口为初始图像,直接计算当前窗口所有像素点(第一点集)的目标npd集合;若是所述待识别图像中存在上一窗口,则当前窗口与上一窗口可能存在重叠部分,执行本实施例所述所述获取待识别图像中当前窗口的第一点集的步骤,对于重叠部分npd特征进行复用,可减少数据计算量。进一步地,步骤s90中所述直接计算当前窗口的目标npd集合的步骤包括:步骤s91,获取窗口滑动方向,基于该窗口滑动方向确定扫描存储当前窗口第一点集的目标顺序;步骤s92,将所述当前窗口第一点集基于所述目标顺序依次扫描存入数据向量,其中,数据向量的大小等于所述第一点集中像素点个数;步骤s90中当前窗口为初始窗口,该初始窗口没有上一窗口,所以也没有与上一窗口重叠的部分,也就需要将当前窗口的第一点集全部进行人脸检测中npd特征提取。为便于当前窗口的下一窗口进行重叠部分npd特征复用时能快速找到重叠部分的重叠像素集合(本实施例下文的重叠像素点集也可指当前窗口与下一窗口重叠部分的重叠像素集合),本实施例中将第一点集依据目标顺序扫描存入数据向量中,该数据向量的特点是大小等于所述第一点集中像素点个数,且数据向量遵循类似fifo(firstinputfirstoutput)(先入先出)规则,如图7中所示的数据向量,将扫描得到的像素点从右至左依次推入数据向量,新推入预设个数像素点会使得最先推入的预设个数像素点被推出删除。基于数据向量的上述特性,所述目标顺序与窗口滑动方向有关,具体地,所述基于该窗口滑动方向确定扫描存储当前窗口第一点集的目标顺序的步骤包括:步骤s911,获取当前窗口中第一点集与窗口偏向滑动方向一侧边缘的距离集合,基于该距离集合确定扫描存储当前窗口第一点集的目标顺序,其中,所述距离集合中距离越大的像素点,越先扫描存储。如图3所示,当窗口滑动方向为从左至右时,窗口偏向滑动方向一侧边缘为窗口的右侧边(图3中实线框右侧粗边),获取当前窗口中第一点集,即当前窗口中的各个像素点距该右侧边的距离,基于当前窗口中的各个像素点当该右侧边的距离,确定扫描存储当前窗口第一点集的目标顺序。当前窗口中有许多个像素点,分别求得各个像素点到右侧边的距离,所以最后获得的是多个距离组成的集合。由图3可知,距离右侧边越远,就越靠近当前窗口与前一窗口的非重叠区域,距离右侧边越近,就越靠近当前窗口与前一窗口的重叠区域。结合数据向量先入先出的特点,可确定距离右侧边越远的像素点,越先扫描存储。与右侧边距离相等的像素点,都是同一列的像素点,因为窗口滑动是从左至右的,所以同一列像素点,要么都处于非重叠区域,要么都处于重叠区域,所以同一列像素点的扫描顺序可以随意,可以同时扫描,这样扫描存储花费的时间较少,也可以如图7中s型虚线箭头表示的扫描顺序,每一列都有一个排列顺序,这样的扫描方式比较规整,便每个像素点都有一定顺序,便于进行其他运算。通过确定当前窗口中第一点集与窗口偏向滑动方向一侧边缘的距离集合,基于该距离集合确定扫描存储当前窗口第一点集的目标顺序,距离越大对应的像素点,越先扫描存储在数据向量,则可以保证当前窗口与下一窗口的重叠像素比较靠后,而非重叠像素比较靠前,重叠像素与非重叠像素泾渭分明,易于区分,易于获得,当将下一窗口(与当前窗口)的非重叠像素存入数据向量时,可以将当前窗口的非重叠像素推出数据向量(先入先出),保留当前窗口(与下一窗口)的重叠像素,则可实现将下一窗口的所有像素点都存入数据向量,以便后续继续计算,整个特征计算的像素点数据扫描顺序及存储顺序都考虑到窗口之间的切换,以及便于重叠区域特征复用时快速找到重叠区域,实现了算法加速。应当说明的是,上述是以从左至右的窗口滑动方向为例对目标顺序进行的解释说明,本领域技术人员将理解的是,除了从左至右这一窗口滑动方向外,本发明的实施方式的步骤也能够适用于其他窗口滑动方向。步骤s93,基于所述数据向量中所有像素点构建当前窗口的第一特征矩阵,所述第一特征矩阵中每个坐标点由横坐标方向和纵坐标方向上的数据向量中对应坐标的像素点构成的像素对的npd值组成,所述第一特征矩阵中所有npd值组成当前窗口的目标npd集合。基于所述数据向量中所有像素点构建如图8所示的特征矩阵,即第一特征矩阵,其中水平方向为横坐标方向,垂直于水平方向的为纵坐标方向,在横坐标方向和纵坐标方向上分别分布完整的数据向量,特征矩阵中任意一点,由该点横坐标对应数据向量中像素点和纵坐标对应数据向量中像素点的npd值组成,如图8中点d(x2,xp-1),代表着横坐标上数据向量的第2个像素点和纵坐标上数据向量的第(p-1)个像素点的npd值。建立如图8所示的特征矩阵的优势在于,只要确定了重叠像素点集在数据向量中的位置,就可以确定重叠像素点集的第一npd集合在特征矩阵中的位置,就可以方便后续窗口从当前窗口的特征矩阵中获取第二npd集合,简化了获取第二npd集合的步骤,进而简化整个人脸检测中npd特征提取算法。本实施例通过对初始窗口直接进行人脸检测中npd特征提取,实现了获得初始窗口目标npd集合的目的,且通过基于窗口滑动方向确定的目标顺序对当前窗口(即初始窗口)第一点集进行扫描,并基于所述目标顺序将第一点集依次扫描存入数据向量,使得第一点集中的重叠像素点(第一点集与下一窗口)在数据向量中有序分布,且在获取下一窗口所有像素点时,可利用数据向量的先入先出特性,免去扫描存储第一点集与下一窗口重叠像素点的步骤,节省内存资源及特种计算速度,再基于所述数据向量中所有像素点构建当前窗口的第一特征矩阵,可明确重叠像素点集的第一npd集合在特种矩阵中所处位置,以便在进行下一窗口目标npd集合计算时快速获得重叠像素点集的第一npd集合,简化了重叠像素点集的第一npd集合获取步骤,实现算法加速。进一步地,基于上述实施例,在本发明人脸检测中npd特征提取方法第四实施例中,所述步骤s10之后包括:步骤s12,获取扫描存储当前窗口第一点集的目标顺序,基于所述重叠像素点集确定所述第一点集中的非重叠像素点集;步骤s13,将该非重叠像素点集基于所述目标顺序依次扫描存入数据向量,其中,若将预设个数的所述非重叠像素点存入数据向量,最早存入数据向量的前预设个数像素点将被删除。所述目标顺序在计算初始窗口npd特征时就已确定,可基于该窗口滑动方向确定所述目标顺序,通过获取当前窗口中第一点集与窗口偏向滑动方向一侧边缘的距离集合,基于该距离集合确定扫描存储当前窗口第一点集的目标顺序,其中,所述距离集合中距离越大的像素点,越先扫描存储。当前窗口的第一点集分为非重叠像素点集和重叠像素点集两类,在确定了第一点集和重叠像素点集后,就可确定非重叠像素点集。如图3所示,虚线框为当前窗口,在确定了图3中阴影部分为重叠区域,其中的像素点为重叠像素点后,即可确定当前窗口的非阴影部分中像素点都为非重叠像素点。在将当前窗口的像素点存入数据向量之前,数据向量中存储的是前一窗口所有像素点,基于上述初始窗口人脸检测中npd特征提取时确定的目标顺序,可确定上一窗口中重叠像素点集较晚存入数据向量中,基于数据向量的先入先出特性,只需将当前窗口的非重叠像素从右至左依次推入数据向量,即可把上一个窗口中的非重叠像素点从数据向量中被依次推出删除,最后数据向量中,只留下上一窗口与当前窗口的重叠像素点集和当前窗口的非重叠像素点集,即只保留当前窗口所有像素点,这样一来,不仅可以继续将当前窗口所有像素点有序存储,以便于后续快速找到重叠像素点集的第二npd结合,也免去了创建多个数据向量或者将重叠像素点集重复扫描存储的步骤,进而节约了整个算法的步骤,提升了算法效率。进一步地,步骤s13之后包括:步骤s14,基于所述数据向量中所有像素点构建当前窗口的第二特征矩阵;步骤s15,基于所述数据向量中重叠像素点集所处位置确定所述重叠像素点集的第一npd集合在所述第二特征矩阵中所处第一位置;基于述数据向量中所有像素点构建当前窗口的第二特征矩阵的步骤与第一特征矩阵的构建大体一致,第一特征矩阵是初始窗口作为当前窗口时构建的特征矩阵,第二特征矩阵是非初始窗口作为当前窗口时构建的特征矩阵,二者只是对应不同窗口,不赘述。基于窗口滑动距离可确定所述数据向量中重叠像素点集所处位置,具体地,当窗口大小为sⅹs,像素点个数为p(p=sⅹs),滑动距离为d时,可确定重叠像素点集在数据向量的前(p-dⅹs)位置。假设(p-dⅹs)为(p-3),则可确定所述重叠像素点集的第一npd集合在所述第二特征矩阵中所处第一位置为如图9阴影部分所示位置。所述步骤s20包括:步骤s21,获取上一窗口的第三特征矩阵,确定所述重叠像素点集的第一npd集合在所述第三特征矩阵中所处第二位置;步骤s22,从所述第三特征矩阵中第二位置获取所述重叠像素点集的第一npd集合,将获得的所述重叠像素点集的第一npd集合复制到第二特征矩阵中第一位置。基于重叠像素点集在数据向量中的位置同样可以确定所述重叠像素点集的第一npd集合在所述第三特征矩阵中所处第二位置,具体方法与第一位置的获取方法一致,不赘述。从第三特征矩阵中第二位置可直接获取所述重叠像素点集的第一npd集合,直接用于当前窗口目标npd集合的获得。本实施例通过基于数据向量构建特征矩阵,基于当前窗口第一点集在数据向量的顺序构建当前窗口第一点集的npd特征集合,基于重复像素点集在数据向量中的位置确定重复像素点集的第一npd集合在当前窗口的第二特征矩阵和前一窗口的第三特征矩阵中的位置,进而实现npd特征复用,简化了重叠像素点集的第一npd集合获取步骤,实现算法加速。此外,本发明实施例还提出一种存储介质,所述存储介质上存储有人脸检测中npd特征提取程序,所述人脸检测中npd特征提取程序被处理器执行时实现如上述实施例所述的步骤,具体内容已在上文详述,此处不再赘述。所述存储介质除了可以配置在电视机上外,还可能配置在手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant,pda)、便捷式媒体播放器(portablemediaplayer,pmp)、导航装置、可穿戴设备(如带联网功能的ar/vr设备)、智能手环、智能音箱、自动驾驶汽车、台式计算机、物联网设备(如带联网功能的智能空调、智能电灯、智能电源等智能家居)等终端设备上。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台电视机执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的
技术领域
:,均同理包括在本发明的专利保护范围内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1