专利名称：一种具有受众特性感知与统计功能的智能广告系统的制作方法
技术领域：
本发明涉及一种智能广告系统，特别涉及一种具有受众特性感知与统计功能的智 能广告系统，属于计算机视觉技术领域。
背景技术：
广告在人们日常生活中扮演着重要角色，是宣传推广的有效手段，受到政府、企事 业单位以及个体的高度重视，随着多媒体技术与网络技术的不断进步，广告手段也逐渐趋 于多样化。但目前广告技术主要考虑广告的单向推送，没有直接考虑受众的反应，这就带 来两个方面的问题一方面对于广告的受众来说，广告内容难以满足他们由于年龄、性别、 职业、心情等方面差异所造成的个性化需求；另一方面对于广告运营商和广告主来说，缺乏 真正有效地反映广告宣传效果的统计手段，从而在选择宣传地点与内容上存在一定的盲目 性。因此，如果利用计算机视觉技术，对广告受众的行为进行分析识别，将可以提供科学有 效的广告宣传效果统计数据，同时可以针对受众的个性化需求，有选择的播放不同广告，从 而达到最好的宣传效果。目前，国际上在这一领域已开始出现一些初步研究成果，但尚不多见。下面是国际 上曾经出现在该领域的两个事例。(1)日本NEC公司开发了会“察言观色”的广告系统顾客站在广告牌前时，摄像头 会自动检测用户信息，与摄像头连接的电脑开始根据面部特征估计其性别和年龄，然后显 示屏根据这些信息播放出能够投其所好的广告。顾客对此作出的反应，比如停留时间和表 情所反映的感兴趣程度，会被记录到数据库中；(2)美国StudioIMC公司开发出一种智能广告播放系统，借助安装在广告显示屏 背后的摄像头，该系统可以判断注视广告画面的人的性别和年龄，然后以此为依据有针对 性地播放产品广告。该系统使用了人脸锁定识别技术，能够将人的嘴唇、颧骨等部位的测量 值与数据库中的数据进行比对，进而判断注视屏幕者的性别和年龄，并根据识别结果切换 广告。例如，如果该系统发现面对广告屏的是一名中年男子，便会播放剃须用品的广告；而 如果注视屏幕的是一名女性，显示画面会切换为化妆品广告。然而上述两种广告系统中存在有如下不足之处1.对于广告受众的面部特征提取速度慢；2.广告商无法根据所记录的数据判断广告牌的价值；3.忽视了受众的情感与所看广告内容之间的关系。
发明内容
本发明的目的是为了解决上述技术问题，提出一种具有受众特性感知与统计功能 的智能广告系统，通过对有效范围内的人脸进行检测及跟踪来记录广告观看者的人数、观 看时间等信息，为广告商提供评价广告牌价值大小的依据；同对当前正在观看广告的受众 的表情、性别、年龄特性进行识别，并根据识别结果对受众进行分类，再根据分类结果自动选择适合当前受众的广告，让广告的宣传效果最大化。本发明是通过以下技术方案实现的。本发明的一种具有受众特性感知与统计功能的智能广告系统，由摄像头、计算设 备和带存储器的电子广告屏组成，其中摄像头负责图像采集，并将采集到的图像信息送入 计算设备；计算设备为计算机或者嵌入式微机系统，负责将从采集设备获取的图像进行处 理、运算并按照运算结果控制电子广告屏来实现广告内容的存储、显示、播放与切换；其工 作过程包括三个步骤，分别为1)图像采集，具体包括以下三个步骤1. 1由计算设备根据不同的场景和广告牌的大小，以图像清晰度作为标准，选取合 适的范围来作为有效采集区域；1. 2由计算设备采用背景建模技术确定当前背景的模板；广告牌是一个固定在室内或室外某处的固定物，因此其静态背景几乎是不变的， 因此，为了提高人脸检测准确率和速度，本发明提出了一种基于模板的背景建模系统。该系 统应用了基于高斯混合模型(GMM)的背景建模技术，将色彩元素与静态背景物一起加入模 板。在此基础上，计算设备再对进入有效区域的人脸进行检测、跟踪及特征提取，大大提高 了检测速度及准确率；1.3摄像头完成图像的采集，并将采集到的图像信息送入计算设备；2)人脸的检测及跟踪，包括图像预处理、人脸检测和人脸跟踪三个步骤，分别为2. 1图像预处理，具体为计算设备对采集到的图像进行灰度化处理、压缩处理和灰 度直方图均衡化处理；2. 2人脸检测，即计算设备调用训练好的分类器来对步骤2. 1预处理后的图像进 行模式匹配，具体为包括以下步骤2. 2. 1将预处理后的图像进行carmy边缘处理后再进行模式匹配，得到图像匹配 块；2. 2. 2将图像匹配块进行噪声滤波，计算出该图像匹配块的相邻匹配块数量，如果 该数量超过了系统预设的阈值，就将这些图像匹配块构成的区域判定为人脸所在的区域， 然后将结果输出；若计算出的图像匹配块数量没有超过系统预设的阈值，则把该匹配块删 去；2. 2. 3将判断为人脸的图像区域用矩形框圈出，形成人脸矩形区域；2. 3人脸跟踪，包括以下步骤2. 3. 1计算设备将步骤2. 2中得到的人脸矩形区域与计算设备中存放的跟踪对象 链表中的元素进行比较，判断跟踪对象链表中是否存在与该人脸矩形区域相匹配的跟踪对 象如果存在，则选定该跟踪对象；如果不存在，则将该人脸矩形区域作为新的跟踪对象添 加入链表中并选定该新的跟踪对象；2. 3. 2计算设备将与选定的跟踪对象对应的人脸矩形区域进行直方图建立处理， 并对该人脸矩形区域进行跟踪；3)对跟踪对象的后期处理，包括统计计数和自动广告切换两个步骤，具体为3. 1由计算设备进行统计计数，其步骤为3. 1. 1对步骤2. 3. 2中跟踪的人脸进行数据统计，统计内容包括数量、观看时间及观看者人脸截取图；3. 1. 2将统计到的数据保存至计算设备中建立的数据库；3.2由计算设备控制电子广告屏实现广告的自动切换，也即由计算设备感知受众 的特性并对特性进行分类，根据分类结果来选择最适合当前受众所在群体的广告内容进行 广告切换；3. 2. 1根据受众的特性对受众进行分类，受众的特性包括表情、年龄和性别，其中 性别的分类为男、女两类，年龄的分类为少年、中青年和老年三类，表情的分类为消极和积 极两类；3. 2. 2计算设备按照受众分类结果来选择最适合当前受众所在群体的广告内容， 控制电子广告屏完成广告的自动切换；具体为所述步骤3. 2. 2中计算设备选择广告内容 的具体过程为根据选定的不同特性将被试分类，通过心理学实验对被试在不同类别下与 广告内容的关系进行调查，从而得出受众在不同类别下最适合看到的广告内容；将这一结 论输入至计算设备，系统通过对受众特性的感知，从而自动选择广告的内容进行播放；3. 3如果广告受众离开有效采集范围，计算设备从跟踪对象链表删除对应的受众 跟踪对象；上述步骤3. 2. 1中，根据受众的特性对受众进行分类的具体过程如下1)在启动智能广告系统前，建立测试图片库，由计算设备根据数据库caltechlOl 对测试图片库进行分类，生成视觉词典；由计算设备调用VLFeat开源函数库中的函数提取 测试图片的DSIFT特征，并映射到视觉词典，计算视觉词典的每一维中出现DSIFT特征的概 率，并生成记事本文档；2)在启动智能广告系统前，由计算设备对上述步骤1)中的记事本文档利用期望 最大化方法学习生成高斯混合模型，再对刚刚生成的模型进行最大-最小后验伪概率判别 学习进行迭代学习，生成最终的分类文件；3)智能广告系统启动后，由广告屏计算设备预先设定表情、年龄或者性别三者其 中之一作为分类特性，并根据该特性选择对应的视觉词典和高斯混合模型；4)智能广告系统运行过程中，计算设备对采集到的每一帧图像进行人脸区域检测 并截取人脸区域，用步骤1)提到的方法提取DSIFT特征并映射到视觉词典，生成特征文档， 用步骤幻中生成的分类文件对该图片进行分类。上述步骤3. 2. 2中，广告的自动切换遵循两个原则一是不打断正在播放的广告； 二是少数服从多数，也即按照当前占多数的受众分类结果来选择下一则待切换的广告；上述计算设备带有执行软件，软件界面由广告区、采集区、启停监控区、数据统计 区、表情分类进度条、视频调节区和储存区组成。有益效果本发明的一种具有受众特性感知与统计功能的智能广告系统，结构简单，成本低， 操作方便，具有受众特性感知功能，解决了传统广告牌不考虑当前广告受众的信息而仅进 行单向推送，给出能让广告受众记忆深刻的广告；具有的统计功能可以得出该广告牌相对 于其他广告牌而言存在的价值，为广告商提供极具参考性的数据；利用了背景建模技术，提 高了人脸检测、人脸跟踪的速度和正确率。
图1为本发明的系统架构示意图；图2为本发明的工作原理图；图3为本发明的统计计数功能流程图；图4为本发明的广告受众分类的功能流程图；图5为本发明的实施例中计算设备上的软件运行界面图。
具体实施例方式一种具有受众特性感知与统计功能的智能广告系统，如图1所示，由摄像头、计算 设备和为带存储器的电子广告屏组成，其工作原理图如图2所示，其中摄像头负责图像采 集，并将采集到的图像信息送入计算设备；计算设备为计算机或者嵌入式微机系统，负责将 从采集设备获取的图像进行处理、运算并按照运算结果控制电子广告屏来实现广告内容的 存储、显示、播放与切换；其工作过程包括三个步骤，分别为1)图像采集，具体包括以下三个步骤1. 1由计算设备根据不同的场景和广告牌的大小，以图像清晰度作为标准，选取合 适的范围来作为有效采集区域；1. 2由计算设备采用背景建模技术确定当前背景的模板；1. 3摄像头完成图像的采集，并将采集到的图像信息送入计算设备；2)人脸的检测及跟踪，包括图像预处理、人脸检测和人脸跟踪三个步骤，分别为2. 1图像预处理，具体为计算设备对采集到的图像进行灰度化处理、压缩处理和灰 度直方图均衡化处理；2. 2人脸检测，即计算设备调用训练好的分类器来对步骤2. 1预处理后的图像进 行模式匹配；2. 3人脸跟踪；3)对跟踪对象的后期处理，包括统计计数和自动广告切换两个步骤，具体为3. 1由计算设备进行统计计数3. 1. 1对步骤2. 3. 2中跟踪的人脸进行数据统计，统计内容包括数量、观看时间及 记录观看者人脸截取图，其中数量统计的流程如图3所示；3. 1. 2将统计到的数据保存至计算设备中建立的数据库；3.2由计算设备控制电子广告屏实现广告的自动切换，也即由计算设备感知受众 的特性并对特性进行分类，根据分类结果来选择最适合当前受众所在群体的广告内容进行 广告切换；3. 2. 1根据受众的特性对受众进行分类，流程如图4所示，受众的特性包括表情、 年龄和性别，其中性别的分类为男、女两类，年龄的分类为少年、中青年和老年三类，表情的 分类为消极和积极两类；3. 2. 2计算设备按照受众分类结果来选择最适合当前受众所在群体的广告内容， 控制电子广告屏完成广告的自动切换；具体为根据选定的不同特性将被试分类(特性包 括表情、年龄和性别)，通过心理学实验对被试在不同类别下与广告内容的关系进行调查， 从而得出受众在不同类别下最适合看到的广告内容。将这一结论输入至计算设备，系统通过对受众特性的感知，从而自动选择广告的内容进行播放。3. 3如果广告受众离开有效采集范围，计算设备从跟踪对象链表删除对应的受众 跟踪对象；下面结合附图和实施例对本发明做进一步说明。实施例一种具有受众特性感知与统计功能的智能广告系统，其软件运行界面如图5所 示，软件界面由广告区、采集区、启停监控区、数据统计区、表情分类进度条、视频调节区和 储存区组成。其中每个区域的作用如下广告区用来模拟显示设备，当计算设备计算出最适合播放的广告之后，通过广告 区将正在显示设备中播放的广告呈现出来；采集区对应采集设备，其作用是将采集到的图像播放出来。另外，采集区会将人脸 的区域用矩形框圈出，该矩形框会随着人脸的移动而移动。当广告受众转个身再来看广告 时，关于受众数量的统计不会增加；但当受众离开有效采集范围后再次回来观看广告时，受 众数量会加1 ；启停监控区有4个按钮，其中单帧方式是采集设备将瞬间采集到的1帧传给计算 设备，由计算设备圈出人脸的范围。该方式只能实现统计功能，不能实现广告内容的自动切 换。连续方式是正常的运行模式。当该按钮按下后，采集设备将实时地把采集到的图像传 给计算设备，从而实现统计和自动切换广告内容的功能。停止按钮是让整个正在运行的系 统停止运行，按下此按钮后再按下单帧方式或连续方式即可再次开启整个系统。退出按钮 实现退出系统的功能，当按下该按钮时，软件关闭，系统处于关闭状态；数据统计区呈现给用户的是当前正在观看广告的人数、总的观看人数及总的观看 时间。当正在观看广告的人数大于0时，总的观看时间会一直增加。另外，系统将会把每一 个受众的观看时间都记录下来，但是从软件界面应该简单明了出发，该数据并不会在软件 界面中呈现；表情分类进度条的作用为当采集区中的受众呈现积极表情时，代表积极表情的 进度条将勻速增长；当该受众由积极表情变为消极表情时，代表积极表情的进度条将停止 增长，同时代表消极表情的进度条将勻速增长。如图5中所示，当积极表情和消极表情的权 值相同(图中都为0)时，系统会根据其进度条的长短来进行下一则广告内容的选择。若图 5的下一刻要切换广告，那么系统会选择消极情绪广告进行播放；对于下方的计数栏，当播放的广告为积极情绪广告时，记录积极情绪广告播放次 数的计数器将加1 ；同理，当播放消极情绪广告时，记录消极情绪广告播放次数的计数器将 加1 ；视频调节区可以供用户对采集到的图像进行亮度、对比度、色度和饱和度的调节， 使用户可以得到他们希望看到的效果。缺省按钮的作用是恢复默认的设置；储存区为用户提供了截取图像和截取视频的功能，用户可以选择以BMP和JPG的 格式来进行图像的储存，也可以按下录像按钮将该段视频以AVI的格式进行储存。
权利要求
1. 一种具有受众特性感知与统计功能的智能广告系统，其特征在于由摄像头、计算 设备和为带存储器的电子广告屏组成，摄像头负责图像采集，并将采集到的图像信息送入 计算设备；计算设备为计算机或者嵌入式微机系统，负责将从采集设备获取的图像进行处 理、运算并按照运算结果控制电子广告屏来实现广告内容的存储、显示、播放与切换；具体 工作过程包括三个步骤，分别为1)图像采集，具体包括以下三个步骤1.1由计算设备根据不同的场景和广告牌的大小，以图像清晰度作为标准，选取合适的 范围来作为有效采集区域；1. 2由计算设备采用背景建模技术确定当前背景的模板；1.3摄像头完成图像的采集，并将采集到的图像信息送入计算设备；2)人脸的检测及跟踪，包括图像预处理、人脸检测和人脸跟踪三个步骤，分别为
2.1图像预处理，具体为计算设备对采集到的图像进行灰度化处理、压缩处理和灰度直 方图均衡化处理；2. 2人脸检测，即计算设备调用训练好的分类器来对步骤2. 1预处理后的图像进行模 式匹配，具体为包括以下步骤2. 2. 1将预处理后的图像进行carmy边缘处理后再进行模式匹配，得到图像匹配块；2. 2. 2将图像匹配块进行噪声滤波，计算出该图像匹配块的相邻匹配块数量如果该 数量超过了系统预设的阈值，就将这些图像匹配块构成的区域判定为人脸所在的区域，然 后将结果输出；若计算出的图像匹配块数量没有超过系统预设的阈值，则把该匹配块删 去；2. 2. 3将判断为人脸的图像区域用矩形框圈出，形成人脸矩形区域；2. 3人脸跟踪，包括以下步骤2. 3. 1计算设备将步骤2. 2中得到的人脸矩形区域与计算设备中存放的跟踪对象链表 中的元素进行比较，判断跟踪对象链表中是否存在与该人脸矩形区域相匹配的跟踪对象 如果存在，则选定该跟踪对象；如果不存在，则将该人脸矩形区域作为新的跟踪对象添加入 链表中并选定该新的跟踪对象；2.3. 2计算设备将与选定的跟踪对象对应的人脸矩形区域进行直方图建立处理，并对 该人脸矩形区域进行跟踪；3)对跟踪对象的后期处理，包括统计计数和自动广告切换两个步骤，具体为
3.1由计算设备进行统计计数，其步骤为3. 1. 1对步骤2. 3. 2中跟踪的人脸进行数据统计，统计内容包括数量、观看时间及观看 者人脸截取图；3. 1. 2将统计到的数据保存至计算设备中建立的数据库；3. 2由计算设备控制电子广告屏实现广告的自动切换，也即由计算设备感知受众的特 性并对特性进行分类，根据分类结果来选择最适合当前受众所在群体的广告内容进行广告 切换；3. 2. 1根据受众的特性对受众进行分类，其中受众的特性包括表情、年龄和性别，其中 根据表情的分类为消极和积极两类，根据年龄的分类为少年、中青年和老年三类，根据性别 的分类为男、女两类；.3. 2. 2计算设备按照受众分类结果来选择最适合当前受众所在群体的广告内容，控制 电子广告屏完成广告的自动切换；.3. 3如果广告受众离开有效采集范围，计算设备从跟踪对象链表删除对应的受众跟踪 对象。2.根据权利要求1所述的一种具有受众特性感知与统计功能的智能广告系统，其特征 在于所述步骤1. 2中提到的背景建模技术采用了高斯混合模型的建模方法，将色彩元素 与静态背景物一起加入模板。3.根据权利要求1所述的一种具有受众特性感知与统计功能的智能广告系统，其特征 在于所述步骤3. 2. 1中，根据受众的特性对受众进行分类的具体过程如下1)在启动智能广告系统前，建立测试图片库，由计算设备根据数据库caltechlOl对测 试图片库进行分类，生成视觉词典；由计算设备调用VLFeat开源函数库中的函数提取测试 图片的DSIFT特征，并映射到视觉词典，计算视觉词典的每一维中出现DSIFT特征的概率， 并生成记事本文档；2)在启动智能广告系统前，由计算设备对上述步骤1)中的记事本文档利用期望最大 化方法学习生成高斯混合模型，再对刚刚生成的模型进行最大-最小后验伪概率判别学习 进行迭代学习，生成最终的分类文件；3)智能广告系统启动后，由广告屏计算设备预先设定表情、年龄或者性别三者其中之 一作为分类特性，并根据该特性选择对应的视觉词典和高斯混合模型；4)智能广告系统运行过程中，计算设备对采集到的每一帧图像进行人脸区域检测并截 取人脸区域，用步骤1)提到的方法提取DSIFT特征并映射到视觉词典，生成特征文档，用步 骤2)中生成的分类文件对该图片进行分类。
4.根据权利要求1所述的一种具有受众特性感知与统计功能的智能广告系统，其特征 在于所述步骤3. 2. 2中计算设备选择广告内容的具体过程为根据选定的不同特性将被试 分类，通过心理学实验对被试在不同类别下与广告内容的关系进行调查，从而得出受众在 不同类别下最适合看到的广告内容；将这一结论输入至计算设备，系统通过对受众特性的 感知，从而自动选择广告的内容进行播放。
5.根据权利要求1所述的一种具有受众特性感知与统计功能的智能广告系统，其特征 在于所述步骤3. 2. 2中，广告的自动切换遵循两个原则一是不打断正在播放的广告；二 是少数服从多数，也即按照当前占多数的受众分类结果来选择下一则待切换的广告。
6.根据权利要求1所述的一种具有受众特性感知与统计功能的智能广告系统，其特征 在于所述计算设备带有执行软件，软件界面由广告区、采集区、启停监控区、数据统计区、 表情分类进度条、视频调节区和储存区组成。
全文摘要
本发明涉及一种具有受众特性感知与统计功能的智能广告系统，属于计算机视觉技术领域。由摄像头、计算设备和带存储器的电子广告屏组成，其中摄像头负责图像采集，并将采集到的图像信息送入计算设备；计算设备为计算机或者嵌入式微机系统，负责将从采集设备获取的图像进行处理、运算并按照运算结果控制电子广告屏来实现广告内容的存储、显示、播放与切换。本发明结构简单，成本低，操作方便，解决了传统广告牌不考虑当前广告受众的信息而仅进行单向推送的问题；具有的统计功能可以得出该广告牌相对于其他广告牌而言存在的价值，为广告商提供极具参考性的数据；利用了背景建模技术，提高了人脸检测、人脸跟踪的速度和正确率。
文档编号G06T7/20GK102129644SQ201110054459
公开日2011年7月20日 申请日期2011年3月8日 优先权日2011年3月8日
发明者刘博文, 刘峡壁, 李悦宁, 李梦源, 武艺, 蔡飞志, 郭伦昊 申请人:北京理工大学