一种基于人脸识别的智能广告推送系统的制作方法

本发明涉及一种基于人脸识别的智能广告推送系统，属于商业推广技术领域。

背景技术：

随着商业的迅速发展，各个公司和品牌之间的竞争日益激烈，如何提升品牌的知名度决定着商品的销售量以及最终获得的收益，广告作为宣传的主要手段一直是各个公司所关注的焦点。

在实际生活中，传统的广告宣传方式主要以广告牌为主，而传统的广告牌多以油印的画布为主，一方面无法重复使用，另一方面，广告投放的依据较少，主要根据销量及小范围的人工调查，即具有一定的盲目性，无法及时而有效地投放顾客感兴趣的商品广告信息，导致广告转化率偏低。近年来，随着技术的发展，电子广告屏和液晶广告屏投入使用，解决了广告牌重复使用的问题，在单纯的图片和文字的基础上增加了动态图和视频等，丰富了广告的形式，但依旧没有解决广告投放盲目这一问题，这一问题的根本原因是无法及时和有效的获取顾客的喜好并及时地给与响应。

在传统的广告宣传中，广告投入方无法准确定位某一区域的顾客的喜好，无法精准的进行广告投放，另一方面，广告投入方无法及时获取顾客的喜好变化，无法及时的对投入的广告进行调整，由于以上两方面的原因，导致了广告的盲目投放，现在较为普遍的做法是大量投入广告，争取能吸引到更多的顾客，但这种做法容易降低广告的转化率，使产出投入比降低，最终得不偿失。

技术实现要素：

针对现有技术存在的不足，本发明目的是提供一种结构简单，易于操作的基于人脸识别的智能广告推送系统，有效地避免了广告投放的盲目性，提高了广告的转化率，降低了广告的投放成本并增加了广告投放商的回报率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种基于人脸识别的智能广告推送系统，包括广告推送客户端和服务器，所述广告推送客户端包括多个广告机；

每个所述广告机包括客户端处理模块、与客户端处理模块输出端相连接且可分屏显示多个不同广告信息的广告屏和与客户端处理模块输入端相连接用于获取广告屏前图像信息的摄像头；

所述客户端处理模块用于分析所述摄像头获取的图像，从中识别出人脸信息，并将人脸信息及其状态信息发送给所述服务器，另一方面，接收所述服务器的控制信息并控制所述广告屏所显示的广告信息，所述控制信息包括应撤换广告的位置信息及接收广告所显示的位置信息；

所述服务器用于接收客户端处理模块发送过来的人脸信息及其状态信息，通过对所述状态信息进行分析，若分析出该人脸对广告屏的某块区域的广告感兴趣，则给所述客户端处理模块发控制信息及与该广告信息相关的广告，所述客户端处理模块接收到控制信息后，将所述广告屏其他区域的广告更换为该区域同类型的广告；另一方面，服务器通过对设定时间内各个区域接收的人脸信息及其状态信息进行分析，得出各个区域内人脸对广告的兴趣度，最终规划出各个区域广告屏所显示广告的推送策略，并将相应的广告信息及控制信息发送给相应的客户端处理模块。

上述服务器通过对设定时间内各个区域接收的人脸信息及其状态信息进行分析，具体方法如下：

根据人脸关注广告的时间来计算出人脸对该广告的兴趣度，I_{TIME_WATCH(i)}是基于用户对广告i的注视时间所计算出来的兴趣度，其中，Time_Watch(i)是同一阶段内广告i被注视的时间，max_w∈sTime_Watch(w)是同一阶段内所有广告S中最大的被注视时间，不同广告的复杂度不同，需要浏览细节的时间也不同，故定义广告复杂度D(i)，人脸对广告的兴趣度定义如下：

$I_{TIME\_WATCH}\left(i\right)=\frac{\frac{Time\_Watch\left(i\right)}{D\left(i\right)}}{{\max }_{w\∈S}\frac{Time\_Watch\left(w\right)}{D\left(w\right)}}$

其中，D(w)表示是同一阶段内所有商品S中最大的商品复杂度。

上述推送策略是通过广告分类和广告所对应的兴趣度两个维度来获取与该广告同类的广告进行推送，该广告为一段时间内所研究区域内兴趣度值最大的广告，其具体步骤如下：

步骤S1，首先对每个广告添加标签信息，标签信息包括适用性别和适应年龄段，然后通过基于决策树的分类算法对广告进行分类；

步骤S2，根据人脸对广告的兴趣度I_{TIME_WATCH(i)}建立一个平面直角坐标系，横坐标为广告的分类，纵坐标为广告的兴趣度值，该类型广告兴趣度和分类信息会在坐标系中确定一个不规则区域，则在广告数据库中属于该区域的广告则为可推荐的广告。

上述人脸信息包括性别、年龄、人种、微笑度、人脸倾斜的角度及五官在图片中的位置信息；

所述状态信息包括人脸所关注的广告信息以及关注广告的时间，通过对所述人脸倾斜的角度可判断出人眼所关注的广告位置，根据所述人眼所关注的广告位置即可得到人脸所关注的广告信息；通过计时可获取关注广告的时间。

对所述状态信息进行分析的方法如下：

当关注时间t<3s,则判断该人脸对该广告信息不感兴趣，若t>3s,则判断该人脸对该广告信息感兴趣。

上述客户端处理模块在无线网络畅通的情况下将人脸信息及其状态信息通过网络发送给服务器，在网络不畅通的情况下，所述客户端处理模块将获取的人脸信息及其状态信息暂时存储在数据库中，待网络畅通时再将该信息发送给服务器。

上述客户端处理模块对摄像头所获取的图像进行实时处理，处理后的图片不保存，只将获取到的人脸信息及其状态信息传输至服务器。

上述广告屏具体采用的是立式液晶广告屏；所述立式液晶广告屏分上、中、下三块显示三种不同的广告信息。

上述摄像头具体采用的是罗技Pro C920摄像头，分辨率为1280×960，摄像头以每秒20帧的速度获取广告屏前的图像。

上述广告信息包括文字、图像和视频信息。

本发明一方面通过对广告屏前所关注广告信息的人的人脸信息及其状态信息进行分析，智能的向关注广告信息的人群推送其所感兴趣的广告信息，另一方面，通过对各个区域一段时间内获取的人脸信息及其状态信息的综合分析，合理地规划出各个区域所显示广告的最优策略，通过以上两个方面，有效地避免了广告投放的盲目性，提高了广告的转化率，降低了广告的投放成本并增加了广告投放商的回报率。

附图说明

图1是本发明的基于人脸识别的智能广告推送系统原理框图；

图2是本发明的基于人脸识别的智能广告推送方法工作流程图；

图3是本发明的基于人脸识别的智能广告推送区域图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参见图1，一种基于人脸识别的智能广告推送系统，包括广告推送客户端，广告推送客户端为一个立式广告机，该广告机包括一个液晶广告屏、客户端处理模块和摄像头。

一个服务器，用于接收客户端发送过来的人脸信息及其相关的状态信息，并对大量接收的信息进行相应处理，最终规划出各客户端广告屏所显示广告的最优策略，并将相应的广告信息及控制信息发送给相应的客户端。

液晶广告屏，用于显示广告信息，一个液晶广告屏可分屏显示多个不同的广告。

摄像头，用于获取液晶广告屏前的图像。

客户端处理模块，用于分析摄像头所获取的图像，从中识别出人脸信息，并将人脸信息及相关状态信息发送给服务器，另一方面接收服务器端的控制信息并控制广告屏所显示的广告信息。

本实施例中，广告屏采用立式液晶广告屏，尺寸为42寸，可根据具体情况选择合适大小的广告机，可分上、中、下三块显示三种不同的广告信息；

本实施例中，广告信息包括文字、图像和视频信息，可根据商家需求和实际情况选择合适的广告形式。

本实施例中，摄像头用于采集液晶广告屏前的图像信息，采用罗技Pro C920摄像头，分辨率为1280×960，最大帧数为30FPS，自动对焦，在本系统中设置帧数为20帧/秒即可满足要求。

本实施例中，客户端处理模块采用face++提供的API接口对上述摄像头所采集的图像进行人脸识别处理，识别出人脸信息及相应的状态信息。该人脸信息包括性别、年龄、人种、微笑度、人脸倾斜的角度及五官在图片中的位置信息。由人脸信息可进一步分析出该人脸的状态信息，状态信息包括该人脸所关注广告的位置，即所关注的广告信息以及关注的时间，其具体实现是通过对人体头部倾斜的角度可判断出人眼所关注的广告位置，即人眼所关注的是液晶广告屏的上部、中部或下部的广告，通过计时可获取所关注的时间。广告机在无线网络畅通的情况下将人脸信息及相应的状态信息通过网络发送给服务器，在网络不畅通的情况下，广告机将获取的人脸信息及相应的状态信息暂时存储在数据库中，待网络畅通时再将该信息发送给服务器。

数据库为Mysql数据库，该数据库为关系型数据库，操作简单，使用方便。

客户端处理模块对摄像头所采集的图像进行实时处理，处理后的图片不保存，只将获取到的人脸信息及其状态信息传输至服务器，不会侵犯个人隐私。

本实施例中，服务器用于接收客户端发送过来的人脸信息及其相关的状态信息，人脸信息包括性别、年龄、人种、微笑度、人脸倾斜的角度，状态信息包括该人脸所关注的广告信息及关注该广告的时间，根据关注广告的时间可判断该人脸对该广告的感兴趣程度，感兴趣程度可分为三个等级。在本系统中，关注时间t<3s,则判断该人脸对该广告信息不感兴趣，若3s<t<8s,则判断该人脸对该广告信息较感兴趣，若t>8s,则判断该人脸对该广告信息非常感兴趣。一方面，当服务器分析出该人脸对该广告信息感兴趣，则给客户端发控制信息及与该广告信息相关的广告，客户端接收到控制信息后，将液晶屏上其余的广告替换为接收到的与该广告同类型的广告。另一方面，服务器通过对一段时间内各个客户端所传递过来的人脸信息及相关状态信息的整合与统计，分析出各个区域内人群比较感兴趣的广告类型，最终规划出各客户端广告屏所显示广告的最优策略，并将相应的广告信息及控制信息发送给相应的客户端，客户端显示相应的广告。

参见图2，本发明的一种基于人脸识别的智能广告推送系统，具体的推送方法如下：

(a)为智能广告推送系统提供电源，启动智能广告推送系统，进入工作状态；

(b)由摄像头以每秒20帧的速度获取液晶广告屏前的图像，并传输给后台进行处理；

(c)后台处理程序对接收的图像进行处理，识别出图像中的人脸信息，包括性别、年龄、人种、微笑度、人脸倾斜的角度，并分析出状态信息，包括人眼所关注的广告位置以及所关注的时间，然后将人脸信息和相应的状态信息通过网络传送给服务器；

(d)服务器接收客户端发送过来的人脸信息及其相关的状态信息，所述人脸信息包括性别、年龄、人种、微笑度，所述状态信息包括该人脸所关注的广告信息及关注该广告的时间，根据关注广告的时间可判断该人脸对该广告的感兴趣程度，当服务器分析出该人脸对该广告信息感兴趣，则给客户端发控制信息及与该广告信息相关的广告，客户端接收到控制信息后，将液晶屏上其余区域的广告替换为接收到的与该广告同类型的广告。另一方面，服务器通过对一段时间内各个客户端所传递过来的人脸信息及相关状态信息的整合与统计，分析出各个区域内人群比较感兴趣的广告类型，最终规划出各客户端广告屏所显示广告的最优策略，并将相应的广告信息及控制信息发送给相应的客户端，客户端显示相应的广告；

(e)重复上述步骤(b)、(c)、(d)

系统的工作原理如下：在正常情况下，显示屏分屏显示不同种类的广告，在本系统中显示屏分上、中、下三部分分别显示三种不同种类的广告信息，在以下的叙述中将以本系统中的分屏方式为例，当然系统可根据实际需求进行相应的分屏，摄像头以每秒20帧/秒的速度获取广告屏前的图像，并交由后台程序进行人脸检测处理，若检测出有人脸，则进一步检测出人脸信息，人脸信息包括性别、年龄、人种、微笑度、人脸倾斜的角度，根据人脸的基本信息可分析出该人脸的状态信息，该状态信息包括该人脸所关注的广告信息及关注该广告的时间，其具体原理是根据人脸倾斜的角度分析人脸所关注的广告屏的位置，即可得到人脸所关注的广告的信息，通过计时可得到人脸关注该广告的注视时长。客户端通过网络将检测到的人脸信息及该人脸的状态信息发送给服务器，服务器接收到人脸信息和状态信息后，首先对状态信息进行分析，分析过程如下，若关注时间t<3s,则判断该人脸对该广告信息不感兴趣，若3s<t<8s,则判断该人脸对该广告信息较感兴趣，若t>8s,则判断该人脸对该广告信息非常感兴趣。一旦服务器分析出该人脸对某个广告该兴趣，则发控制信息及与该广告同类的广告信息给客户端，客户端接收到控制信息后，将接收到的广告信息替换除该广告的其他广告信息，另一方面，服务器收集一段时间内各个客户端发送的信息，整合并统计，规划出各个区域的客户端应显示广告的最优策略，并将相应的广告信息及控制信息发送给相应的客户端，客户端显示相应的广告。最后，服务器将处理后的信息存储在数据库中。

本实施例中，服务器通过对设定时间内各个区域接收的人脸信息及其状态信息进行分析，具体方法如下：

根据人脸关注广告的时间来计算出人脸对该广告的兴趣度，I_{TIME_WATCH(i)}是基于用户对广告i的注视时间所计算出来的兴趣度，其中，Time_Watch(i)是同一阶段内广告i被注视的时间，max_w∈S Time_Watch(w)是同一阶段内所有广告S中最大的被注视时间，不同广告的复杂度不同，需要浏览细节的时间也不同，故定义广告复杂度D(i)，人脸对广告的兴趣度定义如下：

$I_{TIME\_WATCH}\left(i\right)=\frac{\frac{Time\_Watch\left(i\right)}{D\left(i\right)}}{{\max }_{w\&Element;S}\frac{Time\_Watch\left(w\right)}{D\left(w\right)}}$

本实施例中，推送策略是通过广告分类和广告所对应的兴趣度两个维度来获取与该广告同类的广告进行推送，该广告为一段时间内所研究区域内兴趣度值最大的广告，其具体步骤如下：

步骤S1，首先对每个广告添加标签信息，标签信息包括适用性别和适应年龄段，然后通过分类算法对广告进行分类；

步骤S2，根据人脸对广告的兴趣度I_{TIME_WATCH(i)}建立一个平面直角坐标系，横坐标为广告的分类，纵坐标为广告的兴趣度值，该类型广告兴趣度和分类信息会在坐标系中确定一个不规则区域，如图3所示(图中1为该商品对应的兴趣度范围，2为该商品对应的分类范围，3为推荐的商品区域)，则在广告数据库中属于该区域的广告则为可推荐的广告。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。