一种基于自主学习的广告屏用人脸识别方法与流程

本发明属于人脸识别的
技术领域：
，具体涉及一种基于自主学习的广告屏用人脸识别方法。
背景技术：
：显示屏用于展示广告，而摄像头用于拍摄在广告屏前驻足观看的人像。但是在广告展示过程中随机拍照进行人脸识别会有以下几个问题：1.背对或侧对显示屏，或者离屏幕过远，或者只是在屏幕前走过的人，他们并未真正观看广告，如果把他们算在观看人群内，会造成统计数据不准确；2.不同人观看广告的角度不同，如果人脸识别算法只能识别到一个人的正脸特征，而无法识别他的侧脸和俯仰头特征，就会造成人脸识别算法把同一个人脸的不同角度误判为不同的人，也会造成统计数据不准确。第一个问题在于正确计数，第二个问题需要提高召识别回率(即能识别为某人的图片占该人所有图片样本的比率)，解决以上2个问题构成本专利的核心。人脸识别基本算法已经在专利申请号为201810969189.3、
专利名称：为“一种无人脸数据训练的人脸识别方法和系统”中公开，所述人脸识别算法为现有技术且不是本发明的改进点，故不再赘述。目前具备人脸识别的电子广告屏普遍存在的识别精度不高，不能自主学习来提高识别率的问题。更准确的人脸识别能够提高广告商对受众的了解，使得个性化广告投放更为精准，同时为计算广告的投放效果提供更可靠的数据支撑。目前已经有一些根据对观看受众进行人脸识别来统计广告投放效果的电子广告屏相关专利，但其中描述概念的居多，落实为产品的很少，其中重要的原因就是电子广告屏在真实环境中对人脸识别的准确度不高，影响广告投放效果的评估，让广告商难以大规模投入使用。为此，我们设计了一种新的针对电子广告屏的人脸识别方法，该方法不仅可以提高人脸识别的准确率，还可以通过对样本特征值的学习不断提高识别的召回率。技术实现要素：本发明的目的在于提供一种基于自主学习的广告屏用人脸识别方法，本发明通过自主学习的方法实现精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，具有较好的实用性。本发明主要通过以下技术方案实现：一种基于自主学习的广告屏用人脸识别方法，主要包括以下步骤：步骤s1：初次分类合并；对拍摄的连续帧进行跟踪，若连续两帧间的人脸中心距离小于给定阈值，则认定两张人脸属于同一个人；对人脸影像帧进行分类标记和提取特征值；并将连续帧跟踪到的人脸特征合并到同一个人脸id下面；步骤s2：二次合并；对周期时间内积累的样本特征值进行学习，对属于同一人脸角度区间内特征值做二次筛查，将同一个人脸id的特征值进行合并；采用人脸识别算法判断人脸特征的相似度，若相似度大于设定值，则将识别的人脸特征合并到同一个人脸id下面。为了更好的实现本发明，进一步的，所述步骤s1中若图片中有符合标准的人脸，则获取人脸特征值，若获取的图片与上一帧中人脸的中心距离小于给定阈值，则沿用上一帧人脸的id，否则生成一个新的人脸id；然后获取图片中人脸的角度分类特征。为了更好的实现本发明，进一步的，若步骤s1中获取的图片中存在多人，则将图片按人脸个数分为多个区域，在每个区域中采用处理单人的方法进行处理。为了更好的实现本发明，进一步的，所述步骤s2中将同一个人脸角度分类下的特征列表取出，对列表中的元素进行两两比较，若相似度大于给定阈值，则判断两个人脸id任一个是否有虚拟父节点，若有，则标注两个人脸id的虚拟父节点，否则生成一个新的虚拟父节点。为了更好的实现本发明，进一步的，所述步骤s1中当人脸的角度处于正脸、左侧脸、右侧脸、埋头、仰头时，则对人脸影像帧进行分类标记和提取特征值；所述正脸是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(-12，6)；所述左侧脸是指人脸的水平角度区间为(-30，10)且俯仰角度区间为(-12，6)；所述右侧脸是指人脸的水平角度区间为(10，30)且俯仰角度区间为(-12，6)；所述埋头是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(6，30)；所述仰头是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(-30，-12)。为了更好的实现本发明，进一步的，还包括人脸图像计数的步骤；获取图像，若图像中无人脸或者人脸不完整或者侧脸的角度过大，则认定被拍照者没有在看显示屏；最大侧脸角度范围为：左右区间为(-10，10)，俯仰角度区间为(-12，6)，偏头角度区间为(-8，8)。为了更好的实现本发明，进一步的，以显示屏上摄像头到地面的垂心为圆心，朝向观众的方向画圆弧区域，在圆弧上以35度为间隔标记点，然后以普通人站在三个标记点上进行拍照，侧脸人脸在照片上的像素宽度，取均值得到人脸的最小宽度阈值，低于最小宽度阈值的人脸均认定被拍照者没有在看显示屏。为了更好的实现本发明，进一步的，设定人脸最大模糊度为30，若获得的人脸图像的模糊度小于30，则认定被拍照者没有在看显示屏。为解决第一个问题，首先人脸识别算法会返回我们照片中有无人脸，人脸的角度(水平-90到90区间，俯仰-90到90区间)。如果照片中没有人脸(包括背对显示屏的情况)或者人脸不完整(遮挡情况)，或者侧脸的角度过大，都视作被拍照者没有在看显示屏。这里我们接受的最大侧脸角度范围为左右(-10，10)，俯仰(-12，6)，偏头(-8，8)。其次，人脸识别算法会返回我们所捕捉的人脸的宽度(以像素大小计)。我们根据显示屏所安装摄像头到地面的垂心为圆心，以一定长度为半径朝显示屏面向观众的方向画圆弧区域(具体角度视摄像头的镜头角度而定)，在圆弧上以35度为间隔标出点(如图1所示，图中有3个点)。然后以普通人站在这3个点上用摄像头拍照，测量人脸在照片上的像素宽度。这些人脸的平均最小宽度就是我们接受人脸的最小宽度，凡是低于这个阈值的人脸均视为离显示屏过远而没有观看。表1是根据我们列举的显示屏大小和摄像头型号而给出的一组参考值。在这组参考值下我们接受人脸最小宽度为100像素。名称阈值显示屏高1800毫米显示屏宽675毫米摄像头分辨率1920*1080摄像头角度70摄像头帧率30帧/秒最大观看半径2米表1电子显示屏规格参数另外，人脸识别算法还会返回我们捕捉到的人脸的模糊度(0到100区间，值越小模糊度越高)。在给定快门速度下拍照，如果被拍摄的物体移动的速度越快，那照片就越模糊，模糊的人脸说明被拍摄者并未在屏幕前驻足，不应该记录在观看者中。这里我们给出在上述参考值下接受人脸最大模糊度为30。解决第二个问题首先必须获得同一个人在不同角度下的照片，但同一个人在不同角度下拍照的差异很大，要想通过随机拍照把不同角度下的照片和同一个人关联错误率很高。为此我们的解决方法为两个步骤：1)初次分类合并对拍摄的连续帧进行跟踪，对于连续两帧中的人脸中心距离(以像素计)在一定范围内我们视作同一个人脸。如图2所示，(这里我们以图片中只有单人为例，如果存在多人我们可以先将图片按人脸个数分为多个区域，在每个区域中用单人的方法处理)其中有5帧连续的人脸图片，框内为算法识别的人脸范围，如果连续两帧间框内的中心距小于给定阈值，就可以认为这两张人脸属于同一个人。这样我们就可以用人脸识别算法返回的人脸角度(包括水平和俯仰角度)来标记同一个人不同角度的人脸特征了。表2给出了5种不同水平和俯仰角度区间组合时的人脸分类方法。当一张人脸影像帧处于其中之一时我们会对其进行分类标记和提取特征值，并将连续帧跟踪到的人脸特征值合并到同一个人脸id下面，代表同一个人。表3是从三个时间点获取的人脸特征和它们的分类，同一行中的特征和分类已经合并到了同一个人脸id下面。这个过程的流程图见图5。水平角度区间俯仰角度区间分类参考-10，10-12，6正脸-30，-10-12，6左侧脸10，30-12，6右侧脸-10，106，30埋头-10，10-30，-12仰头表2人脸角度区间分类时间人脸id人脸特征值列表图例t1f1(人脸特征1，正脸)，(人脸特征2，左侧脸)图3t2f2(人脸特征3，左侧脸)，(人脸特征4，仰头)图4t3f3(人脸特征5，仰头)图4表32)二次合并仅仅进行初次分类并不足够，因为我们可能在某个时段获得了一个人脸某个角度的特征值，在另一个时段获得了同一个人脸另一个角度的特征值，但这两个特征值相差悬殊，我们无法知道实际上这两个特征值属于同一个人脸id。这时需要通过对一段时间积累的样本特征值进行学习，对属于同一人脸角度区间内特征值做二次筛查，将需要合并到同一个人脸id的特征值进行合并。例如表3中，如果根据人脸识别算法比对发现同为左侧脸的人脸特征2和人脸特征3的相似度判断为同一个人；同时，同为仰头的人脸特征4和人脸特征5的相似度判断为同一个人，那么我们就可以把上面3条记录里的人脸特征值合并到同一个人名下，产生一条新的虚拟人脸id：f4，作为f1，f2和f3的父节点来表示原来的3个人脸id属于同一个人，如表4：虚拟人脸id人脸id人脸特征值列表f4f1(人脸特征1，正脸)，(人脸特征2，左侧脸)f4f2(人脸特征3，左侧脸)，(人脸特征4，仰头)f4f3(人脸特征5，仰头)表4二次合并产生虚拟人脸id而之前属于f1、f2、f3的观看记录就可以合并给f4，从而对该受众的兴趣点有更加丰富的数据支撑。这个自主学习过程的流程图如图6所示，可以周期性的执行。由此可见，我们的电子显示屏使用的时间越长，其识别人脸的召回率越高。本发明的有益效果：(1)本发明通过自主学习的方法实现精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，具有较好的实用性。本发明通过自主学习提高识别率，本发明还可以通过对样本特征值的学习不断提高识别的召回率，更准确的人脸识别能够提高广告商对受众的了解，使得个性化广告投放更为精准，同时为计算广告的投放效果提供更可靠的数据支撑。(2)本发明的计数方法较为精确，更好的实现了显示屏的人性化设计，提高人脸识别的计数精确度，精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，实现具有较好的实用性。附图说明图1为人脸最小宽度阈值的测量原理图；图2为连续帧跟踪到的人脸图；图3为连续帧监测到的同一个人的正脸和右测脸图；图4为连续帧监测到的同一个人的右侧脸和仰头图；图5为初次分类合并的流程图；图6为二次合并的流程图。具体实施方式实施例1：一种基于自主学习的广告屏用人脸识别方法，主要包括以下步骤：步骤s1：初次分类合并：对拍摄的连续帧进行跟踪，若连续两帧间的人脸中心距离小于给定阈值，则认定两张人脸属于同一个人；对人脸影像帧进行分类标记和提取特征值；并将连续帧跟踪到的人脸特征合并到同一个人脸id下面；步骤s2：二次合并：对周期时间内积累的样本特征值进行学习，对属于同一人脸角度区间内特征值做二次筛查，将同一个人脸id的特征值进行合并；采用人脸识别算法判断人脸特征的相似度，若相似度大于设定值，则将识别的人脸特征合并到同一个人脸id下面。对拍摄的连续帧进行跟踪，对于连续两帧中的人脸中心距离(以像素计)在一定范围内我们视作同一个人脸。如图2所示，这里我们以图片中只有单人为例，如果存在多人我们可以先将图片按人脸个数分为多个区域，在每个区域中用单人的方法处理。图2中有5帧连续的人脸图片，框内为算法识别的人脸范围，如果连续两帧间框内的中心距小于给定阈值，就可以认为这两张人脸属于同一个人。这样我们就可以用人脸识别算法返回的人脸角度(包括水平和俯仰角度)来标记同一个人不同角度的人脸特征了。本发明通过自主学习的方法实现精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，具有较好的实用性。本发明通过自主学习提高识别率，本发明还可以通过对样本特征值的学习不断提高识别的召回率，更准确的人脸识别能够提高广告商对受众的了解，使得个性化广告投放更为精准，同时为计算广告的投放效果提供更可靠的数据支撑。实施例2：本实施例是在实施例1的基础上进行优化，如图5所示，所述步骤s1中若图片中有符合标准的人脸，则获取人脸特征值，若获取的图片与上一帧中人脸的中心距离小于给定阈值，则沿用上一帧人脸的id，否则生成一个新的人脸id；然后获取图片中人脸的角度分类特征。若步骤s1中获取的图片中存在多人，则将图片按人脸个数分为多个区域，在每个区域中采用处理单人的方法进行处理。如图6所示，所述步骤s2中将同一个人脸角度分类下的特征列表取出，对列表中的元素进行两两比较，若相似度大于给定阈值，则判断两个人脸id任一个是否有虚拟父节点，若有，则标注两个人脸id的虚拟父节点，否则生成一个新的虚拟父节点。本发明通过自主学习的方法实现精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，具有较好的实用性。本发明通过自主学习提高识别率，本发明还可以通过对样本特征值的学习不断提高识别的召回率，更准确的人脸识别能够提高广告商对受众的了解，使得个性化广告投放更为精准，同时为计算广告的投放效果提供更可靠的数据支撑。本实施例的其他部分与实施例1相同，故不再赘述。实施例3：本实施例是在实施例1或2的基础上进行优化，如图3、图4所示，所述步骤s1中当人脸的角度处于正脸、左侧脸、右侧脸、埋头、仰头时，则对人脸影像帧进行分类标记和提取特征值；所述正脸是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(-12，6)；所述左侧脸是指人脸的水平角度区间为(-30，10)且俯仰角度区间为(-12，6)；所述右侧脸是指人脸的水平角度区间为(10，30)且俯仰角度区间为(-12，6)；所述埋头是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(6，30)；所述仰头是指人脸的水平角度区间为(-10，10)且俯仰角度区间为(-30，-12)。本发明的计数方法较为精确，更好的实现了显示屏的人性化设计，提高人脸识别的计数精确度，精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，实现具有较好的实用性。本实施例的其他部分与上述实施例1或2相同，故不再赘述。实施例4：本实施例是在实施例1的基础上进行优化，还包括人脸图像计数的步骤；获取图像，若图像中无人脸或者人脸不完整或者侧脸的角度过大，则认定被拍照者没有在看显示屏；最大侧脸角度范围为：左右区间为(-10，10)，俯仰角度区间为(-12，6)，偏头角度区间为(-8，8)。本发明的计数方法较为精确，更好的实现了显示屏的人性化设计，提高人脸识别的计数精确度，精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，实现具有较好的实用性。本实施例的其他部分与上述实施例1相同，故不再赘述。实施例5：本实施例是在实施例4的基础上进行优化，如图1所示，以显示屏上摄像头到地面的垂心为圆心，朝向观众的方向画圆弧区域，在圆弧上以35度为间隔标记点，然后以普通人站在三个标记点上进行拍照，侧脸人脸在照片上的像素宽度，取均值得到人脸的最小宽度阈值，低于最小宽度阈值的人脸均认定被拍照者没有在看显示屏。设定人脸最大模糊度为30，若获得的人脸图像的模糊度小于30，则认定被拍照者没有在看显示屏。人脸识别算法还会返回我们捕捉到的人脸的模糊度(0到100区间，值越小模糊度越高)。在给定快门速度下拍照，如果被拍摄的物体移动的速度越快，那照片就越模糊，模糊的人脸说明被拍摄者并未在屏幕前驻足，不应该记录在观看者中。这里我们给出在上述参考值下接受人脸最大模糊度为30。人脸识别算法会返回我们所捕捉的人脸的宽度(以像素大小计)。我们根据显示屏所安装摄像头到地面的垂心为圆心，以一定长度为半径朝显示屏面向观众的方向画圆弧区域(具体角度视摄像头的镜头角度而定)，在圆弧上以35度为间隔标出点，如图1所示，图中有3个点。然后以普通人站在这3个点上用摄像头拍照，测量人脸在照片上的像素宽度。这些人脸的平均最小宽度就是我们接受人脸的最小宽度，凡是低于这个阈值的人脸均视为离显示屏过远而没有观看。以下是根据我们列举的显示屏大小和摄像头型号而给出的一组参考值。在这组参考值下我们接受人脸最小宽度为100像素。本发明的计数方法较为精确，更好的实现了显示屏的人性化设计，提高人脸识别的计数精确度，精确的数据统计，从而为显示屏上广告的投放提供更精确的受众分析，实现具有较好的实用性。本实施例的其他部分与上述实施例4相同，故不再赘述。以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。当前第1页12