专利名称：视觉广告效果评估系统及方法
技术领域：
本发明涉及图像处理及计算机视觉技术领域，尤其涉及一种视觉广告效果评估系统及方法。
背景技术：
在商业高度发达和商业竞争日益激烈的现代社会中，厂家迫切需要了解广告投放的效果。现有的广告投放形式多样，主要分为媒体广告和非媒体广告。媒体广告指通过媒体来传播信息的广告，如电视广告、报纸杂志广告、网络广告等；而非媒体广告则指直接面对受众的广告媒介形式，如广告牌、平面招贴广告、商场中的购买点海报广告等。媒体广告的投放效果主要可通过媒体的影响力来评估，例如电视广告投放时间段的收视率、报纸杂志广告的发行量、网络广告的网页点击量等。相比于媒体广告而言，非媒体广告直接面向受众，因而难以进行投放效果的评估，更难以实现对于广告设计质量的评估并进行后续的费用支付。因此，发明设计非媒体广告效果评测方法是非常有必要的。视觉广告作为非媒体广告的重要组成部分，在经济高速发展的社会不可或缺。目前的视觉广告效果评估主要通过估计投放路段的人流量实现，其主要问题有两方面。一是目前人流量的获取主要通过目测估计，精度差且不能把握不同时段人流量的变化；二是缺乏对广告设计质量的评价。
发明内容
(一 )要解决的技术问题本发明要解决的技术问题是提供一种可以有效地实现对视觉广告效果进行评估，并能进行广告优劣的评价，且评估精度高的视觉广告效果评估系统及方法。( 二 )技术方案为解决上述问题，本发明提供了一种视觉广告效果评估系统，该系统包括采集模块，用于按照设定的采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像、以及所述设定范围内的背景图像；数据处理模块，与所述采集模块相连，用于根据计算机视觉方法及图像处理方法，对所述采集模块采集到的视频图像进行处理，获取经过所述待评估的广告牌的行人流量、行人观看比例以及行人观看时间数据，并将所述数据发送至评估模块；评估模块，与所述数据处理模块相连，用于根据所述行人流量、行人观看比例以及行人观看时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。优选地，所述数据处理模块进一步包括行人检测单元，用于根据灰度和边缘特征及区分式分类器，并结合所述背景图像，检测所述视频图像中的行人；行人跟踪单元，用于根据跟踪算法框架及输出为似然概率的行人检测器获取视频图像中的行人轨迹；流量统计单元，用于根据所述行人检测单元检测到的行人数量以及所述行人跟踪单元获取的行人轨迹，统计所述待评估广告牌所在区域的行人流量；人脸检测及姿态估计单元，用于根据基于灰度及边缘特征的树状结构多分类器，并结合背景图像，检测不同姿态的人脸，并根据检测结果以及回归算法，统计人脸朝向；统计单元，用于根据所述人脸检测及姿态估计单元的统计结果，以及所述采集频率，统计行人观看比例以及行人观看时间数据，并发送至所述评估模块。本发明还提供了一种基于上述视觉广告效果评估系统的视觉广告效果评估方法， 该方法包括步骤SI.采集模块按照设定采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像；S2.数据处理模块根据计算机视觉方法及图像处理方法，对所述采集模块采集到的视频图像进行处理，获取经过所述待评估的广告牌的行人流量、行人观看比例以及行人观看的时间数据，并将所述数据发送至评估模块；S3.评估模块根据所述行人流量、行人观看比例以及行人观看时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。优选地,步骤S2进一步包括S2. I根据结合灰度和边缘特征及区分式分类器，检测所述视频图像中的行人；S2. 2结合跟踪算法框架以及输出为似然概率的行人检测器，获取视频图像中的行人轨迹；S2. 3根据结合灰度和边缘特征的树状结构的多分类器检测不同姿态的人脸，并根据检测结果以及所述回归算法，统计人脸朝向；S2. 4根据步骤S2. 3的统计结果以及采集频率，统计行人观看比例以及行人观看的时间数据。优选地,步骤S2. I进一步包括S2. 11将行人按姿态分为正面/背面、及侧面两类，并利用行人样本图像训练基于灰度和边缘特征的区分行人/非行人的分类器；S2. 12在视频图像中搜索子窗口并利用所述区分行人/非行人的分类器判别所述子窗口是否为行人区域，并根据背景图像以及运动目标检测算法，检测所述视频图像中的行人。优选地,步骤S2. 2进一步包括S2. 21根据行人的姿态估计行人可能的运动方向来设置跟踪算法框架的运动模型；S2. 22利用所述运动模型的预测姿态的行人检测器的输出似然概率设计跟踪算法框架的观测模型；S2. 23根据度量模型获取行人轨迹，所述度量模型由所述运动模型及观测模型得到的所有结果融合得到。优选地,步骤S2. 3进一步包括S2. 31利用人脸样本图像训练结合灰度和边缘特征的树状结构的多分类器，以及以人脸朝向为输出的随机回归森林；S2. 32根据所述树状结构的多分类器检测不同姿态下的人脸；S2. 33根据步骤S2. 32的检测结果，从图像中切割出人脸区域子图像，并将其提取特征作为训练好的随机回归森林中所有回归树的输入；3/6页S2. 34平均所有回归树的估计姿态角，得到人脸朝向的统计结果。优选地，使用穷举搜索法进行步骤S2. 12中的行人的检测，以及步骤S2. 32中的人脸姿态的检测。(三)有益效果本发明的系统及方法可以有效地实现对视觉广告的投放效果进行评估，并提供评价广告优劣的评价标准和广告收费参考，解决了非媒体视觉广告效果评估难的问题。
图I为依照本发明一种实施方式的视觉广告效果评估系统的结构框图；图2为依照本发明一种实施方式的视觉广告效果评估方法的流程图；图3为级联分类器结构示意图；图4为树结构人脸检测分类器结构示意图；图5为依照本发明一种实施方式的视觉广告效果评估方法原理框图。
具体实施例方式本发明提出的视觉广告效果评估系统及方法，结合附图及实施例详细说明如下。本发明针对视觉广告提出了一种基于图像处理和计算机视觉方法的视觉广告效果评估系统。使用摄像头对广告牌前的路段进行监控，并根据采集到的视频图像对该路段的人流量以及广告对行人的吸引程度进行统计，最终获取广告效果的评估参数。本发明方法使用行人流量、驻足观看行人比例以及行人观看广告时间三个参数对视觉广告效果提供评估检测参考。本发明系统可实现如下四个方面的用途检测出经过广告牌的人数；获取观看广告牌的人的个数；提取出单个人对于广告的注意时间；定时将上述数据通过网络发送回统计中心，并进一步评价出广告牌的效果。本发明的主要思路为首先在广告牌的上方设置摄像头实时采集视频图像。通过行人检测和跟踪算法检测摄像头视角内的行人并进一步统计行人流量，以此作为广告牌安放位置是否合适的标准；对于摄像头视角内的行人，通过人脸检测定位其人脸区域并利用人脸姿态估计算法获取人脸朝向，判断行人是否被广告吸引并观看广告牌。结合图像的采集频率统计驻足行人的停留时间和观看时间，根据停留时间评价广告投放路段是否合理，根据观看时间评价广告内容是否吸引人。综合考虑以上各参数来实现对于视觉广告效果的评估。其评估结果可作为广告优劣的评价标准和广告收费的参考。如图I所示，依照本发明一种实施方式的视觉广告效果评估系统，包括采集模块，用于按照设定的采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像、以及设定范围内的背景图像，该模块优选为设置在广告牌上方的摄像头，该设定范围为摄像头的视角。数据处理模块，与采集模块相连，用于根据计算机视觉方法及图像处理方法，对采集模块采集到的视频图像进行处理，获取经过待评估的广告牌的行人流量、行人观看比例以及行人观看的时间数据，并将上述数据发送至评估模块。评估模块，优选通过网络与数据处理模块相连，用于根据行人流量、行人观看比例
6以及行人观看时间数据评估待评估广告的设置方位和适度以及内容吸引度。其中，数据处理模块进一步包括行人检测单元，用于根据结合灰度和边缘特征及区分式分类器，并结合背景图像， 检测视频图像中的行人。行人跟踪单元，由于单个行人可能在连续帧中多次出现，需要对单个行人的轨迹进行分析，因此，该模块用于根据跟踪算法框架及输出为似然概率的行人检测器获取视频图像中的行人轨迹。流量统计单元，用于在图像中设置感兴趣区域(Region Of Interest, R0I),对于单幅图像，根据行人检测单元检测到的行人数量以及行人跟踪单元获取的行人轨迹，统计待评估广告牌所在区域的行人流量。人脸检测及姿态估计单元，用于根据基于灰度和边缘特征的树状结构的多分类器，并结合背景图像，检测不同姿态的人脸，并根据检测结果以及回归算法(随机回归森林，random forest regression),统计人脸朝向。由于广告牌所在区域背景比较复杂，因此需要适合复杂背景下的人脸检测算法，由于人脸姿态变化造成人脸样本的类内方差大， 但分类器很难解决多姿态的人脸检测，因此，本发明的系统中的多姿态人脸分类器为树状结构、且结合灰度和边缘特征。对于视频图像的每一帧，根据多姿态人脸检测的结果从图像中切割出人脸区域并将其作为训练好的随机回归森林的输入，最终得到人脸朝向的统计结果。统计单元，用于根据人脸检测及姿态估计单元的统计结果，以及采集频率，统计行人观看比例以及行人观看时间数据，并发送至评估模块。如图2所示，基于上述视觉广告效果评估系统的视觉广告效果评估方法包括步骤SI.采集模块按照设定采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像；S2.数据处理模块根据计算机视觉方法及图像处理方法，对采集模块采集到的视频图像进行处理，获取经过待评估的广告牌的行人流量、行人观看比例以及行人观看的时间数据，并将上述数据发送至评估模块；S3.评估模块根据行人流量、行人观看比例以及行人观看时间数据评估待评估广告的设置方位和适度以及内容吸引度。在本发明中，要需要采集和标定以下三方面的样本，以用于行人检测、行人跟踪、 以及多姿态人脸检测以及姿态估计I、行人样本图像，包括正面/背面、侧面两类行人样本图像；2、人脸样本图像，包括各个姿态的人脸样本图像以及相对应的姿态值；3、背景图像，其中不包含行人，用于在离线训练阶段随机提取负样本图像。步骤S2进一步包括S2. I根据结合灰度和边缘特征及区分式分类器，检测视频图像中的行人；S2. 2结合跟踪算法框架以及输出为似然概率的行人检测器，获取视频图像中的行人轨迹；S2. 3根据结合灰度和边缘特征的树状结构的多分类器检测不同姿态的人脸，并根据检测结果以及回归算法(随机回归森林)，统计人脸朝向；S2. 4根据步骤S2. 3的统计结果以及采集频率，统计行人观看比例以及行人观看的时间数据。其中，步骤S2. I进一步包括S2. 11考虑到行人姿的变化对检测效果的影响，将行人按姿态分为正面/背面、及侧面两类，并利用行人样本图像离线训练基于灰度和边缘特征的分类器。分类器采用如图3 所示的级联结构，对于级联结构中的每一层，在保证检测率的条件下尽可能的降低虚警率。 仅通过前N-I层的行人/非行人样本可作为第N层分类器训练的正负样本。对于每一层， 可训练基于灰度或边缘特征的分类器，并调整分类器阈值以保证检测率要求。S2. 12在视频图像中搜索子窗口并利用两个分类器判别子窗口是否为行人区域， 并根据背景图像以及运动目标检测算法，检测视频图像中的行人。通过所有的级联分类器的即可视作行人。考虑到行人的运动变化有助于目标检测，因此在该步骤中，利用背景建模和前景检测等运动目标检测算法去除背景区域以更加有效地对运动行人进行检测。优选的行人检测方法为穷举搜索法首先按一定比例(如I. 25)对图像进行缩放， 并在缩放后的图像中对样本尺寸(行人样本图像的归一化尺寸)的窗口进行穷举搜索；对于每个窗口，利用上述分类器进行判别是否是行人区域，若是，则保存窗口参数。最终对所有尺寸下的检测结果进行聚类融合得到行人检测的结果。由于单个行人可能在连续帧中多次出现，因此需要对单个行人的轨迹进行分析。 步骤S2. 2进一步包括S2. 21根据行人的姿态估计行人可能的运动方向来设置跟踪算法框架的运动模型，该模型用于估计人的姿态变化并设置下一时刻的可能姿态；S2. 22利用运动模型的预测姿态的行人检测器的输出似然概率设计跟踪算法框架的观测模型；S2. 23根据度量模型获取行人轨迹，度量模型由运动模型及观测模型得到的所有结果融合得到。在图像中设置R0I，对于单幅图像，根据检测到的行人数量来统计人流量。考虑到在不同视频帧中行人检测的结果可能重合，为更精确地估计人流量，结合行人轨迹判断统计处广告牌所在区域来往的人流量。步骤S2. 3进一步包括S2. 31利用人脸样本图像训练结合灰度和边缘特征训练树状结构的多分类器，以及以人脸朝向为输出的随机回归森林。姿态变化造成人脸正样本类内方差大，因而难以用单个分类器高效地完成区分人脸/非人脸的任务。综合考虑各个姿态人脸之间的相似点和人脸对称性，如图4所示，各级分类器对应的人脸样本如下Level 0 :左右半边脸；Level I :右半脸及左半脸的水平镜像；Level 2 :各个角度的人脸样本，分别为正面人脸、左半侧人脸、左全侧人脸。与分类器I类似，分类器2也有三个子节点，分别为正面人脸、右半侧人脸和右全侧人脸。考虑到人脸的对称性，分类器2及其子节点分类器不需要特别训练，仅需将分类器 I及其子节点分类器做水平翻转即可。对于每个节点，训练如图3所示的级联结构分类器， 单个节点的分类器由多个级联的分类器串联而成。考虑到各姿态人脸所占的区域大小和形状并不一致，识别单个姿态的有效特征在识别其他姿态时可能无效，因此选择回归树算法；由于单棵回归树的精度不高并且不够稳定，因此使用Bagging策略组合多棵回归树，即使用回归森林估计头部姿态。在每棵回归树的非叶子节点存储一个依赖于特征的二值判定，而在叶子节点则存储姿态估计值。S2. 32根据所述树状结构的多分类器检测不同姿态下的人脸。类似于行人检测，也使用穷举方法结合多姿态人脸分类器实现人脸检测。为减少搜索范围，仅在行人区域的上半部分进行多姿态人脸检测。注意的是在树状多姿态的每个节点的样本尺寸并不相同，因此在通过I级分类器后，需要将人脸窗口进行拓展，即根据通过半脸检测器的图像子窗口的大小和位置估计整个人脸窗口位置及大小并将其送入子节点分类器进行进一步的检测。S2. 33根据步骤S2. 32的检测结果，从图像中切割出人脸区域子图像，并将其提取特征作为训练好的随机回归森林中所有回归树的输入；S2. 34平均所有回归树的估计姿态角，得到人脸朝向的统计结果。在步骤S3中，主要任务是根据前两个步骤获得的统计量对广告效果进行评估。可以给出如下两个方面的视觉广告评估参数I、广告牌设置方位的合适程度，主要通过视频中感兴趣区域的人流量统计实现；2、广告内容的吸引程度，这主要通过观看行人占所有行人的比例、行人观看时间等统计量进行评估。整个评估方法的原理框图如图5所示。本系统及方法具备以下三个方面的特点I、首次将图像处理和计算机视觉技术引入视觉广告的评价体系中。广告投放的效果对于厂家而言非常重要，而对于广告牌等非媒体广告形式而言，一直缺乏一个有效的效果评价系统。本发明方法针对平面视觉广告，通过在广告牌上方设置安装摄像头并获取分析视频图像来评估广告投放效果。2、在根据视频图像获取行人流量、行人观看时间等参数时采用了多种计算机视觉的关键技术。并结合该分类器的输出构建跟踪算法模型以实现在视频中的实时行人检测， 最后综合利用行人检测和跟踪算法实现在视频图像中检测行人。3、在检测广告效果时，并不局限于人流量的检测，还针对广告牌的吸引程度进一步提取更高层次的广告效果评测参数。当行人在感兴趣区域中时，该系统检测人脸并进行姿态和朝向估计，从而判断广告牌是否引起该行人的注意。该参数的获取可让厂家进一步对于广告设计的质量进行评估。以上实施方式仅用于说明本发明，而并非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
9
权利要求
1.一种视觉广告效果评估系统，其特征在于，该系统包括采集模块，用于按照设定的采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像、以及所述设定范围内的背景图像；数据处理模块，与所述采集模块相连，用于根据计算机视觉方法及图像处理方法，对所述采集模块采集到的视频图像进行处理，获取经过所述待评估的广告牌的行人流量、行人观看比例以及行人观看时间数据，并将所述数据发送至评估模块；评估模块，与所述数据处理模块相连，用于根据所述行人流量、行人观看比例以及行人观看时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。
2.如权利要求I所述的视觉广告效果评估系统，其特征在于，所述数据处理模块进一步包括行人检测单元，用于根据灰度和边缘特征及区分式分类器，并结合所述背景图像，检测所述视频图像中的行人；行人跟踪单元，用于根据跟踪算法框架及输出为似然概率的行人检测器获取视频图像中的行人轨迹；流量统计单元，用于根据所述行人检测单元检测到的行人数量以及所述行人跟踪单元获取的行人轨迹，统计所述待评估广告牌所在区域的行人流量；人脸检测及姿态估计单元，用于根据基于灰度及边缘特征的树状结构多分类器，并结合背景图像，检测不同姿态的人脸，并根据检测结果以及回归算法，统计人脸朝向；统计单元，用于根据所述人脸检测及姿态估计单元的统计结果，以及所述采集频率，统计行人观看比例以及行人观看时间数据，并发送至所述评估模块。
3.一种基于权利要求1-2任一项所述的视觉广告效果评估系统的视觉广告效果评估方法，其特征在于，该方法包括步骤51.采集模块按照设定采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像；52.数据处理模块根据计算机视觉方法及图像处理方法，对所述采集模块采集到的视频图像进行处理，获取经过所述待评估的广告牌的行人流量、行人观看比例以及行人观看的时间数据，并将所述数据发送至评估模块;53.评估模块根据所述行人流量、行人观看比例以及行人观看时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。
4.如权利要求3所述的视觉广告效果评估方法，其特征在于，步骤S2进一步包括S2. I根据结合灰度和边缘特征及区分式分类器，检测所述视频图像中的行人；S2. 2结合跟踪算法框架以及输出为似然概率的行人检测器，获取视频图像中的行人轨迹；S2. 3根据结合灰度和边缘特征的树状结构的多分类器检测不同姿态的人脸，并根据检测结果以及所述回归算法，统计人脸朝向；S2. 4根据步骤S2. 3的统计结果以及采集频率，统计行人观看比例以及行人观看的时间数据。
5.如权利要求4所述的视觉广告效果评估方法，其特征在于，步骤S2.I进一步包括 S2. 11将行人按姿态分为正面/背面、及侧面两类，并利用行人样本图像训练基于灰度和边缘特征的区分行人/非行人的分类器；S2. 12在视频图像中搜索子窗口并利用所述区分行人/非行人的分类器判别所述子窗口是否为行人区域，并根据背景图像以及运动目标检测算法，检测所述视频图像中的行人。
6.如权利要求5所述的视觉广告效果评估方法，其特征在于，步骤S2.2进一步包括 S2. 21根据行人的姿态估计行人可能的运动方向来设置跟踪算法框架的运动模型；S2. 22利用所述运动模型的预测姿态的行人检测器的输出似然概率设计跟踪算法框架的观测模型；S2. 23根据度量模型获取行人轨迹，所述度量模型由所述运动模型及观测模型得到的所有结果融合得到。
7.如权利要求6所述的视觉广告效果评估方法，其特征在于，步骤S2.3进一步包括 S2. 31利用人脸样本图像训练结合灰度和边缘特征的树状结构的多分类器，以及以人脸朝向为输出的随机回归森林；S2. 32根据所述树状结构的多分类器检测不同姿态下的人脸；S2. 33根据步骤S2. 32的检测结果，从图像中切割出人脸区域子图像，并将其提取特征作为训练好的随机回归森林中所有回归树的输入；S2.34平均所有回归树的估计姿态角，得到人脸朝向的统计结果。
8.如权利要求7所述的视觉广告效果评估方法，其特征在于，使用穷举搜索法进行步骤S2. 12中的行人的检测，以及步骤S2. 32中的人脸姿态的检测。
全文摘要
本发明公开了一种视觉广告效果评估系统及方法，图像处理及计算机视觉技术领域。该系统包括采集模块，用于按照设定的采集频率，实时采集设定范围内经过待评估的广告牌的行人的视频图像、以及设定范围内的背景图像；数据处理模块，用于根据计算机视觉方法及图像处理方法，对采集模块采集到的视频图像进行处理，获取经过待评估的广告牌的行人流量、行人观看比例以及行人观看时间数据，并将数据发送至评估模块；评估模块，用于根据所述行人流量、行人观看比例以及行人观看的时间数据评估所述待评估广告的设置方位和适度以及内容吸引度。可以有效地实现对视觉广告效果进行评估，并能进行广告优劣的评价，且评估精度高。
文档编号G06K9/00GK102542492SQ201210006449
公开日2012年7月4日 申请日期2012年1月10日 优先权日2012年1月10日
发明者丁晓青, 方驰, 李亚利, 王生进 申请人:清华大学