专利名称：一种面向楼宇电视广告系统的智能控制装置和方法
技术领域：
本发明涉及一种面向楼宇电视广告系统的智能控制装置和方法。
背景技术：
随着楼宇电视这种新兴媒体的日益成熟，其生动的表现形式、分众的清晰定位、强制的收视效果备受中高端广告主的青睐，成为中国十几年来新传媒市场最成功的案例。全国数十个城市数万栋商业楼宇的液晶电视联播网已经真实地存在于都市白领的生活之中， 潜移默化地影响着他们的品牌认知，挑动着他们对于各种商品的购买欲望。如果说2004年前当楼宇电视作为一个全新的媒介载体亮相时，还有许多人对其市场前景和盈利可能持有怀疑态度的话，三年后的今天楼宇电视所募集到的国际资金和广告收入的突飞猛进都给整个传媒市场带来了前所未有的冲击。楼宇广告是分众传媒最早创办的一种媒体，就是安装在高档办公楼、宾馆、酒店、 写字楼、大型商场等地方的一种楼宇液晶电视所播放的广告。它的成功可以归纳为以下几个方面。首先，相比传统户外广告而言，它是一种电视化的户外广告，是音频与视频结合的广告，它比常规户外广告更具表现力和打动力，它的价值在于不仅能提高品牌知名度，更可能以其影视的强大表现力改变受众人群的品牌认知，挑起人们对广告商品的消费欲望。另一方面，与常规广告相比，它又是一种分众化的广告，分众所打造的商业楼宇联播广告能精确锁定企业主、经理人和白领等更具消费力的阶层，能精确命中目标受众人群。另外，分众的商业楼宇联播广告还具有极高的强制性收视效果。相比户外广告而言，分众的LCD放置在强制性收视区，而且在商业楼宇中仅是唯一的频道，同时LCD底部实时新闻滚动与精彩时尚的广告相互穿插融合，有很高的广告关注度。从另一个角度看，分众的楼宇电视联播广告不仅具有视觉的强制性，更具有心理的强制性，就像是受众人群在飞机上会不自觉去看航班杂志一样，因为受众人群处于一个信息真空的地带，他们会感到无聊、无趣以及不习惯，所以在商业楼宇电梯口滞留的受众人群也有同样的处境，无奈寻求解脱，无聊寻求刺激、无趣寻求有趣，只要有一点信息，就能激活注意和兴趣，哪怕是广告。因为他们处在一个比广告更无聊的时间和空间，这是所谓“等候力经济”最大的特征。而目前的楼宇广告中，虽然其具有的生动的表现形式和强制的收视效果能够形成很好的传播效果，但是其分众的清晰定位性却仍值得进一步改善，表现得更为智能化和人性化，强化广告的传达效果。这里主要表现在对受众人群的主动观察及做出相应的广告播放调整方面，需要利用新技术对受众人群进行更为人性的分层并有针对性地播放相应广告，从而能够更为有效地进行广而告之，加强楼宇广告的分众自动定位能力。
发明内容
本发明提供一种可以实时判断广告受众人群的特质，并根据该特质选取对应的广告播放内容的面向楼宇电视广告系统的智能控制装置和方法。为了达成上述目的，本发明一种面向楼宇电视广告系统的智能控制方法，主要包括训练和识别两个阶段，其中该训练阶段包括无先后顺序之分且完全独立的年龄估计训练与性别识别训练，每次训练的权值参数自动保存在对应的神经网络芯片的寄存器中，待到识别时该神经网络芯片自动从寄存器中获取权值参数；所述的年龄估计训练按性别分成男女两部分单独进行，训练前按性别先通过数据接口输入由人脸图像组成的男性或女性人脸库和人脸库中人脸图像对应的年龄标签的两组文件；然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放的几何归一化及灰度均衡光线标准化的图像预处理；然后对预处理过的图像利用NNSC算法在DPS图像处理单元中计算出图像特征值，并把该图像特征值连同类别标签信息经数据总线传入对应的年龄估计神经网络芯片，经年龄估计神经网络芯片训练得出隐层与输出层的权值参数并自动存储至对应的寄存器中；所述的性别识别训练，先通过数据接口输入由人脸图像组成的人脸库和人脸库中人脸图像对应的性别标签的两组文件，然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放的几何归一化和使用灰度均衡的光线标准化的图像预处理；然后对预处理过的图像利用PCA算法计算出图像特征值，并把图像特征值以及类别信息经数据总线传入对应的性别识别神经网络芯片中，经性别识别神经网络芯片训练得到隐层与输出层的权值参数并自动存储至对应的寄存器中；该识别阶段具体包括以下步骤步骤1、先通过图像采集装置获取受楼宇电视众人群图像后并发送至DSP图像处理单元进行图像预处理；步骤2、在DSP图像处理单元中使用人脸检测技术来获得受众人群图像中所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该样本向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影，得到与性别和年龄相关的两组人脸特征值；步骤3、把步骤2中与性别相关的一组人脸特征值输出至性别估计神经网络芯片中，神经网络芯片从其寄存器中读取已训练好的权值数据进行性别识别，即可获得当前人脸图像的性别标签信息，根据性别标签信息，将步骤2中与年龄相关的一组人脸特征值依照性别分别输出至男性年龄估计神经网络芯片或女性年龄估计神经网络芯片中，该神经网络芯片从其对应的寄存器中读取已训练好的权值参数进行年龄识别，并将该张人脸图像的年龄估计值暂存在其计数存储器中；循环运行本步骤直至所有人脸图像完成识别后，将计数存储器中各人脸图像所对应的性别、年龄估计值发送至控制单元；步骤4、控制单元根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。所述的NNSC算法描述如下步骤1、设置迭代次数初值k = 1，PRP共轭梯度算法精度精度ζ >0.01和图像重构误差ζ≤0.02;选择基向量和系数向量Si (k)的非负初始值，并对基向量和系数向量SiGO进行归一化操作；步骤2、迭代过程
固定当前的基向量％(k)，采用PRP算法实现系数向量Si(k)的迭代；令系数分量
Si(k)中的所有负元素为零，并归一化克⑷=HsAk)然后令^ + ι)=先⑷.固定得
到的当前值Si(k+1)，采用PRP算法实现基向量％(10的迭代；令基向量中的所有负元素为零，令 (k+l) :=ai(k)；令k:=k+l ；如果算法收敛则结束共轭梯度迭代过程，否则重新开始共轭梯度迭代过程；步骤3、对更新后的基函数A和系数矩阵S，判断H|2 < C是否成立，若成立，
学习过程结束，算法收敛后得到的基函数A即为所求的NNSC基矩阵；否则重复步骤2的共轭梯度迭代过程。本发明一种面向楼宇电视广告系统的智能控制装置，主要包括图像采集装置、DSP 图像处理单元、性别估计神经网络芯片、男性年龄估计神经网络芯片、女性年龄估计神经网络芯片和控制单元；其中图像采集装置用于采集楼宇电视受众人群图像，并发送至DSP图像处理单元进行图像预处理；DSP图像处理单元使用人脸检测技术从图像采集装置传来的受众人群图像中获得所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该行向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影，得到分别与性别和年龄相关的两组人脸特征值；性别估计神经网络芯片对经过DSP图像处理单元图像预处理获得的与性别相关的人脸特征值进行性别识别，并依照性别识别结果将DSP图像处理单中与年龄相关的一组人脸特征值输出至男性年龄估计神经网络芯片或女性年龄估计神经网络芯片中；男性年龄估计神经网络芯片或女性年龄估计神经网络芯片对DSP图像处理单元中与年龄相关的一组人脸特征值进行年龄识别，并将各人脸图像对应的性别、年龄估计值发送至控制单元；控制单元根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。本发明对广告受众人群利用生物特征识别技术来进行分层，在已有的识别技术上，年龄估计和性别识别可以对广告受众人群分层形成最大的商业价值。通过性别识别可以对受众人群的性别进行辨别，获得当前受众人群的大部分同一性别特征，同时再利用年龄估计获得总体的年龄层次，从而能够有效地进行针对性别、针对年龄层次受众人群的广告，获得最佳的广告效应。
图1为本发明中一种面向楼宇电视广告系统的智能控制方法的工作流程示意图；图2为本发明中一种面向楼宇电视广告系统的智能控制装置的结构示意图；图3为本发明中反馈的NNSC神经网络模型示意图。以下结合具体实施例对本发明作进一步详述。
具体实施例方式本发明一种面向楼宇电视广告系统的智能控制方法，主要包括训练和识别两个阶段，其中该训练阶段包括无先后顺序之分且完全独立的年龄估计训练与性别识别训练，本发明设置有三块分别用于性别识别、男性人脸图像年龄估计以及女性人脸图像年龄估计的径向基神经网络芯片，每次训练的权值参数自动保存在神经网络芯片的寄存器中，待到识别时该神经网络芯片自动从寄存器中获取权值参数；本发明按性别分成男女两部分单独进行年龄估计训练，训练前按性别先通过数据接口输入由人脸图像组成的男性或女性人脸库和人脸库中人脸图像对应的年龄标签(如 1，2，30等)的两组文件；然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放等几何归一化处理、同时使用灰度均衡等进行光线标准化处理的图像预处理；然后对预处理过的图像利用NNSC算法在DPS图像处理单元中计算出图像特征值，并把该图像特征值连同类别标签信息经数据总线传入对应的年龄估计神经网络芯片(通过类别标签信息确定应选择何种神经网络芯片)，经年龄估计神经网络芯片训练得出隐层与输出层的权值参数并自动存储至对应的寄存器中(输入层与隐层的权值不需要计算，固定为1)。性别识别训练时，先通过数据接口输入由人脸图像组成的人脸库和人脸库中人脸图像对应的性别标签(如O表示男性，1表示女性)的两组文件，然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放等几何归一化处理、同时使用灰度均衡等进行光线标准化处理的图像预处理；然后对预处理过的图像利用PCA算法计算出图像特征值，并把图像特征值以及类别信息经数据总线传入对应的性别识别神经网络芯片中，经性别识别神经网络芯片训练得到隐层与输出层的权值参数并自动存储至对应的寄存器中。如图1、2所示，该识别阶段具体包括以下步骤步骤1、先通过图像采集装置1获取受楼宇电视众人群图像后并发送至DSP图像处理单元2进行图像预处理；步骤2、在DSP图像处理单元2中使用人脸检测技术来获得受众人群图像中所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该样本向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影(即样本行向量与基矩阵相乘)，得到与性别和年龄相关的两组人脸特征值；步骤3、把步骤2中与性别相关的一组人脸特征值输出至性别估计神经网络芯片 3中，性别估计神经网络芯片3从其寄存器中读取已训练好的权值数据进行性别识别，即可获得当前人脸图像的性别标签信息，根据性别标签信息，将步骤2中与年龄相关的一组人脸特征值依照性别分别输出至男性年龄估计神经网络芯片41或女性年龄估计神经网络芯片42中，该神经网络芯片41或42从其对应的寄存器中读取已训练好的权值参数进行年龄识别，并将该张人脸图像的年龄估计值暂存在其计数存储器中；循环运行本步骤直至所有人脸图像完成识别后，将计数存储器中各人脸图像所对应的性别、年龄估计值发送至控制单元5 ；步骤4、控制单元5根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。
如图2所示，本发明一种面向楼宇电视广告系统的智能控制装置，主要包括图像采集装置1、DSP图像处理单元2、性别估计神经网络芯片3、男性年龄估计神经网络芯片41、 女性年龄估计神经网络芯片42和控制单元5 其中图像采集装置1 用于采集楼宇电视受众人群图像，并发送至DSP图像处理单元2进行图像预处理；DSP图像处理单元2 使用人脸检测技术从图像采集装置1传来的受众人群图像中获得所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该行向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影，得到分别与性别和年龄相关的两组人脸特征值；性别估计神经网络芯片3 对经过DSP图像处理单元2图像预处理获得的与性别相关的人脸特征值进行性别识别，并依照性别识别结果将DSP图像处理单元2中与年龄相关的一组人脸特征值输出至男性年龄估计神经网络芯片41或女性年龄估计神经网络芯片 42中；男性年龄估计神经网络芯片41或女性年龄估计神经网络芯片42 对DSP图像处理单元2中与年龄相关的一组人脸特征值进行年龄识别，并将各人脸图像对应的性别、年龄估计值发送至控制单元5 ；控制单元5:根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。本发明在正常工作状态下，三块神经网络芯片中用于性别识别神经网络芯片3首先工作，其输出结果为0(男性)或者1 (女性)，借用简单门电路将结果输出端口与男性年龄估计神经网络芯片41和女性年龄估计神经网络芯片42分别相连接，达到自动选择芯片的目的。由于计算量比较大，NNSC基矩阵与PCA基矩阵的计算不宜在DSP图像处理单元2 中实现，因此采用离线计算的方式，并将计算好的矩阵值存储至各神经网络芯片的寄存器中。对于给定的年龄估计训练样本，事先在PC机上利用NNSC算法对训练样本进行离线训练得到基矩阵，然后把该基矩阵通过数据接口传入神经网络芯片的寄存器中。在DSP 图像处理单元2中，将经预处理过后的人脸图像拉成的行向量与该基矩阵进行相乘，即可得到与年龄相关的特征向量，这些特征向量数据再传入相应的神经网络芯片进行神经网络权值参数的训练或者直接用于识别。对于性别识别训练样本，同样事先在PC机上借助PCA算法对训练样本进行离线计算获取基矩阵，，然后把该基矩阵通过数据接口传入神经网络芯片的寄存器中。在DSP图像处理单元2中，将预处理过后的人脸图像拉成的行向量与该基矩阵相乘，即可得到与性别相关的特征向量，这些特征向量数据传入相应的神经网络芯片进行神经网络权值参数的训练或者直接用于识别。如果用户有自己的人脸库，想对装置重新训练，那么本发明将提供算法包供用户离线计算出上述两组基矩阵，用户可将结果通过数据接口传入装置，之后的识别训练步骤可根据装置外设按钮进行操作。本发明的装置外设一系列操作按钮，如“训练参数设置”，“开始训练”，“开始工作”等，其中“训练参数设置”按钮下附有“性别识别”和“年龄估计”， “年龄估计”下设有“男性”和“女性”的性别选择按钮，当需要时可以对本装置的神经网络芯片进行样本训练。本发明所采用的非负稀疏编码算法(NNSC)是一种新的子空间方法，它是NMF算法和SC算法的一种结合。它对基图像的像素点和重建系数都施加了非负性约束，使得重建图像是由基图像非减的叠加组合而成，更符合人类思维中“局部构成整体”的概念，同时和年龄变化对人脸影响表现上的局部性相吻合，具有直观的针对年龄估计的应用能力的可行性。其对人脸图像的特征提取能力正好符合了年龄估计所需的特征提取的要求，可以作为很好的年龄估计的特征提取方法。所述的基于扩展的非负稀疏编码(NNSC)算法是在Hoyer提出的非负稀疏编码 (NNSC)算法的基础上，考虑到初级视觉系统的主视皮层Vl区对侧膝体LGN层的反馈输入， 模拟视觉系统的层次结构，建立了一个有连接反馈的NNSC神经网络模型，如图3所示。其中输入层单元代表外界自然感知信息经视网膜成像后投影在LGN层的传入信号；前馈连接代表Vl区简单细胞的感受野；输出层代表Vl区的简单细胞，其活动状态对应自然感知信息的非负稀疏编码，输出层有自反馈并且对输入层存在反馈连接。参数符号含义叙述如下表示LGN到Vl区的前馈连接通路；ai表示Vl区到LGN的反馈连接通路；(Si)表示神经元响应的自抑制函数；X表示由视网膜映射到LGN的数据集合；x(k)表示像素坐标％表示基函数A的第i列向量；Si表示系数矩阵S的第i行向量，e,表示误差矩阵E = X-AS的第i 行向量。所述的扩展的NNSC目标函数定义如下
权利要求
1.一种面向楼宇电视广告系统的智能控制方法，其特征在于主要包括训练和识别两个阶段，其中该训练阶段包括无先后顺序之分且完全独立的年龄估计训练与性别识别训练，每次训练的权值参数自动保存在对应的神经网络芯片的寄存器中，待到识别时该神经网络芯片自动从寄存器中获取权值参数；所述的年龄估计训练按性别分成男女两部分单独进行，训练前按性别先通过数据接口输入由人脸图像组成的男性或女性人脸库和人脸库中人脸图像对应的年龄标签的两组文件；然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放的几何归一化及灰度均衡光线标准化的图像预处理；然后对预处理过的图像利用NNSC算法在DPS图像处理单元中计算出图像特征值，并把该图像特征值连同类别标签信息经数据总线传入对应的年龄估计神经网络芯片，经年龄估计神经网络芯片训练得出隐层与输出层的权值参数并自动存储至对应的寄存器中；所述的性别识别训练，先通过数据接口输入由人脸图像组成的人脸库和人脸库中人脸图像对应的性别标签的两组文件，然后在DSP图像处理单元中对样本完成包括人脸图像旋转、缩放的几何归一化和使用灰度均衡的光线标准化的图像预处理；然后对预处理过的图像利用PCA算法计算出图像特征值，并把图像特征值以及类别信息经数据总线传入对应的性别识别神经网络芯片中，经性别识别神经网络芯片训练得到隐层与输出层的权值参数并自动存储至对应的寄存器中；该识别阶段具体包括以下步骤步骤1、先通过图像采集装置获取受楼宇电视众人群图像后并发送至DSP图像处理单元进行图像预处理；步骤2、在DSP图像处理单元中使用人脸检测技术来获得受众人群图像中所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该样本向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影，得到与性别和年龄相关的两组人脸特征值；步骤3、，把步骤2中与性别相关的一组人脸特征值输出至性别估计神经网络芯片中， 神经网络芯片从其寄存器中读取已训练好的权值数据进行性别识别，即可获得当前人脸图像的性别标签信息，根据性别标签信息，将步骤2中与年龄相关的一组人脸特征值依照性别分别输出至男性年龄估计神经网络芯片或女性年龄估计神经网络芯片中，该神经网络芯片从其对应的寄存器中读取已训练好的权值参数进行年龄识别，并将该张人脸图像的年龄估计值暂存在其计数存储器中；循环运行本步骤直至所有人脸图像完成识别后，将计数存储器中各人脸图像所对应的性别、年龄估计值发送至控制单元；步骤4、控制单元根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。
2.根据权利要求1所述的一种面向楼宇电视广告系统的智能控制方法，其特征在于所述的NNSC算法描述如下步骤1、设置迭代次数初值k = 1，PRP共轭梯度算法精度精度ζ >0.01和图像重构误差ζ彡0.02 ；选择基向量 (k)和系数向量Si (k)的非负初始值，并对基向量 (k)和系数向量SiGO进行归一化操作； 步骤2、迭代过程固定当前的基向量^ (k)，采用PRP算法实现系数向量SiGO的迭代；令系数分量Si (k)中的所有负元素为零，并归一化1⑷=HsAk)然后令“Λ + 1) = li(k).固定得到的当前值Si(k+1)，采用PRP算法实现基向量％(10的迭代；令基向量中的所有负元素为零，令 (k+l) := (k)；令k:=k+l ；如果算法收敛则结束共轭梯度迭代过程，否则重新开始共轭梯度迭代过程；步骤3、对更新后的基函数A和系数矩阵S，判断Hl2 < C是否成立，若成立，学习过程结束，算法收敛后得到的基函数A即为所求的NNSC基矩阵；否则重复步骤2的共轭梯度迭代过程。
3. 一种面向楼宇电视广告系统的智能控制装置，其特征在于主要包括图像采集装置、DSP图像处理单元、性别估计神经网络芯片、男性年龄估计神经网络芯片、女性年龄估计神经网络芯片和控制单元；其中图像采集装置用于采集楼宇电视受众人群图像，并发送至DSP图像处理单元进行图像预处理；DSP图像处理单元使用人脸检测技术从图像采集装置传来的受众人群图像中获得所有受众人群个体的人脸图像，对检测出的每张人脸图像进行双眼坐标定位，并利用获得的双眼信息进行图像几何归一化处理，同时使用灰度均衡技术进行光线标准化的图像预处理，并将其拉成行向量形式，然后将该行向量分别向事先离线训练好的PCA与NNSC两个基矩阵做投影，得到分别与性别和年龄相关的两组人脸特征值；性别估计神经网络芯片对经过DSP图像处理单元图像预处理获得的与性别相关的人脸特征值进行性别识别，并依照性别识别结果将DSP图像处理单中与年龄相关的一组人脸特征值输出至男性年龄估计神经网络芯片或女性年龄估计神经网络芯片中；男性年龄估计神经网络芯片或女性年龄估计神经网络芯片对DSP图像处理单元中与年龄相关的一组人脸特征值进行年龄识别，并将各人脸图像对应的性别、年龄估计值发送至控制单元；控制单元根据该数据判断出当前受众人群占多数的性别年龄层，由此选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放。
全文摘要
本发明一种面向楼宇电视广告系统的智能控制装置和方法，主要包括图像采集装置、DSP图像处理单元、性别估计神经网络芯片、男性年龄估计神经网络芯片、女性年龄估计神经网络芯片和控制单元；利用神经网络芯片进行对当前受众人群进行性别年龄识别，从而选择已存有的针对该受众人群性别年龄层的广告送至楼宇电视进行播放；从而能够有效地进行针对性别、针对年龄层次受众人群的广告，获得最佳的广告效应。
文档编号G06K9/62GK102201188SQ20111013675
公开日2011年9月28日 申请日期2011年5月25日 优先权日2011年5月25日
发明者杜吉祥, 翟传敏 申请人:华侨大学