一种智能广告系统及广告投放方法与流程

本发明属于人工智能技术领域，尤其涉及一种智能广告系统及广告投放方法。

背景技术：

现有的实体广告投放方式都是在固定或是移动的地点，按时间的设定进行滚动播放。相比在互联网上可以根据已知的客户信息来推送有针对性的广告，传统的模式无法保障广告投放的用户针对性。一般对某一特定的地点或是区域只有通过问卷调查等方式来确定经过人员的性别、年龄、职业等信息。这样获取的信息即费事又不准确。而目前采取的措施都是直接设置好广告的播放时间，之后一直在滚动播放。广告播放时无法确定有没有受众人群，甚至有时都没有路人。这样的方式低效率且不环保。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种智能广告系统及广告投放方法，能够针对受众人群播放相应的广告，本发明所采用的技术方案如下：

第一方面，提供了一种智能广告系统，包括：边缘端设备、本地处理设备、云端设备以及广告投放设备；

所述边缘端设备用于采集行人数据并对数据进行初步处理，初步处理后的数据不包括行人图像，为一些行人的图像特征和行为特征，这样即为后续的识别提供了基础也大幅降低了数据体积；

所述本地处理设备用于对边缘端设备处理后的数据进行进一步的分析处理，根据处理结果控制广告投放设备投放广告；

所述云端设备用以处理超出本地处理设备处理能力以外的数据，并将处理结果返回给本地处理设备，再通过本地处理设备对边缘端设备和广告投放设备进行控制。

进一步的，所述边缘端设备包括行人数据采集设备和用于对行人数据进行初级处理的初级处理设备，所述行人数据采集设备包括摄像头和红外传感器，摄像头设置于广告投放区域的上方中央以及广告投放区域的两侧以及各出入口处，红外传感器设置于广告投放区的上方中央位置。

第二方面，提供了一种智能广告投放方法，包括如下步骤：

采集广告投放区域内的行人数据，并对行人数据进行初步处理；

本地处理设备对收到的初步处理后的行人数据进一步处理，若本地处理设备性能满足需求则其对初步处理后的行人数据进行完全处理并根据处理结果直接控制广告投放，若其性能不满足需求则其对初步处理后的行人数据进行部分处理，处理后的数据发云端设备；在通讯不畅且本地设备无法做出完全判断时，本地设备依据现有的不完全处理结果做出判断。虽精度相比后台处理有所下降，但是能保证现场播放的不间断。

云端设备接收并处理自本地处理设备的数据（在本地处理设备能力不足时云端接收到的是未处理完全的数据，将继续处理），并将处理后的结果返回到本地处理设备，再通过本地处理设备控制广告投放设备进行广告投放。

进一步的，所述对行人信息数据进行初步处理包括根据行人数据提取行人的人像特征和行为特征，这样在传输的过程当中，因为不含图像信息，所传输的数据都是经过编码的特征信息，一方面大幅缩小了数据体积，另一方面保证了数据在传输过程中行人的隐私不会泄露。

进一步的，本地处理设备对收到的初步处理后的行人数据进一步处理具体为：通过cnn网络模型对初步处理后的行人数据逐步提取更高层次特征；这样可以进一步的缩小数据的体积，后续的数据传输更加高效，并且数据的可用性更高。

进一步的，采集广告投放区内的行人数据包括：投放区内人数，各行人在不同广告前的停留时间。通过记录行人在不同广告前停留的时间，可以后续有针对性的对不同的行人投放不同的广告。

进一步的，当监测到广告投放设备前方无行人时，本地处理设备控制广告投放设备进入休眠状态或关机；这样可以在很大程度上节省能源，减少不必要的浪费。

有益效果主要包括以下几点：

1.广告投放的针对性强。与传统方式相比广告投放的针对性大幅增强，可根据不同的人流量，灵活的投放不同广告。对混合的人群有着清晰的分类能力，可以在合适的时间有针对性的投放最合适的广告。

2.因为后台服务器可以下发指令控制本地设备的播放，所以还可以为客户提供定制化的服务内容来满足不同的需求。对比传统的播放方式更加的灵活且具有多样性，可以更好的对外推广。

3.可以为客户提供具体的投放效率数据，何时播放的，播放时有多少人，以及这些人的年龄和性别等信息。并通过摄像头进一步采集广告前行人的停留和查看等信息，搜集后反馈给后台系统。

4.当现场摄像头和传感器通过监测，判断当前为闲时本地处理设备控制广告投放设备进入休眠状态或关机。这样可以节约不必要的电费开销，也为低碳环保做出贡献。

5.当计算量不大的时候，绝大部分数据都在边缘端和中间端计算，不依赖后台服务器处理数据，可以及时得出结果，无延迟。

6.可以在传输和数据处理的过程中保障个人的隐私。在本项目中所有的信息都在本地设备中已经做过了处理，上传的只是一组压缩编码数据。即便被不法人员获取也无法从中获利。

7.同理6中由于处理过的数据包不会很大，在传输的过程中对带宽的要求没有直接的图像传输高，所以部分场景可以直接部署无线设备以减轻现场的布线难度和布线成本。

8.同理5中由于本地设备具有一定的数据处理能力，整套系统的可靠性也有所提高，不会出现无法连接后台服务器而导致现场设备无法工作的情况。

9.基于本系统的识别功能，可以与警方形成很好的联动。比如在本地设备中事先放置好照片，辅助警方锁定可疑人或是逃犯。或是现场监测到异常时向警方推送消息。

附图说明

图1为本发明的系统架构图。

具体实施方式

下面结合说明书附图，对本发明作进一步的说明。

一种智能广告系统，包括：边缘端设备、本地处理设备、云端设备以及广告投放设备；所述边缘端设备用于采集行人数据并对数据进行初步处理；所述本地处理设备用于对边缘端设备处理后的数据进行进一步的分析处理，根据处理结果控制广告投放设备投放广告；所述云端设备用以处理超出本地处理设备处理能力以外的数据，并将处理结果返回给本地处理设备，本地处理设备进行控制，再通过本地处理设备对边缘端设备和广告投放设备进行控制。

边缘端设备：边缘端设备包括数据采集设备和初级处理设备，采集设备由摄像头、红外传感器。在边缘端采集数据并通过初级处理设备作初步的处理，再向上一级，向本地处理设备发送。具体工作时边缘端首先进行原始数据采集，即行人图像的获取，将处理后的结果（如人脸框，特征数据等）发送至本地的运算能力更强的处理设备进一步的深度分析。

本地处理设备：本地处理设备可进行进一步的深度分析，利用不同架构的cnn（卷积神经）网络模型逐步提取更高层次特征，如本地设备可以满足计算需求，则直接可在本地完成数据处理（判断出当前时段区域内行人信息，有针对性的播放广告）；这里的更高层次特征指相对于之前的数据（初级处理设备处理后的数据）有着更精确的提取，过滤掉无用信息，并且相对于之前信息的杂乱性，处理后的数据将具有更高的可用性。并将结构化结果（如行人性别、年龄、运动趋势、及不同人群对不同广告的感兴趣程度等）上传后台服务器（云端），后台服务器对这些结构化结果进行备份，用于1、以备公司内部查询；2、可为周边商家提供基础数据信息；3、为保安部门提供人流量数据服务；4、为其他需投放广告的客户提供数据分析服务。这里的结构化指的是经过层层处理之后，形成了具有标准格式和标准描述方式的数据。如果本地设备不能完全满足计算需求（运算量较大，本地设备性能无法满足）则可在本地进行一部分的处理工作，（依据cnn的原理，可保证处理过程中获得的输出结果体积越来越小）并将处理后的更少量数据发送至云端，进行最终部分的复杂运算，运算结果再返回本地设备。这种做法增加了信息处理系统的灵活性、安全性，数据传输量更小也保证了通信稳定性与低成本。

云端设备（后台服务器）：本地处理设备处理不了的复杂运算向后台发送，通过后台服务器完成运算，并将结果返回给本地处理设备，由于传输的是压缩编码数据而不是图像（提取图像的特征后经过运算处理后的数据，之后压缩打包上传），所以对带宽的要求低。后台服务器所搜集的结构化结果如行人性别、年龄、运动趋势等将作为公司数据资料保存，以备今后查找。后台服务器还拥有比本地处理设备更高的优先级（能控制本地设备，设置现场参数等）。可以通过下发指令来控制本地处理设备以及现场其他设备。如发送特定的识别图片给本地处理设备，或是通过本地处理设备来控制现场摄像头的角度调节以及更新最新的程序。

广告投放设备：采用led显示屏，其与本地处理设备相连，本地处理设备可以控制广告屏所播放的广告，以及在闲时进入屏幕保护状态或是直接关机。广告的播放分以下几种情况：1.当本地处理设备可以直接做出判断时，本地设备直接做出判断，控制广告播放。2.本地设备无法做出完全判断将部分信息上传后台服务器，待后台服务器将运算结果返还，再控制广告播放。3.本地设备无法做出完全判断，但是通讯不畅。此时本地设备依据现有的不完全处理结果做出判断，保证播放的不间断。

系统在运作的时候先是通过在广告投放区域布置前后的出入口（每边两个）共四个的枪机摄像头（也可以根据实际情况设置更多的摄像头），以及区域内正上方的鱼眼摄像头及红外传感器（用来感应区域内的人数，作为辅佐数据）采集来的信息，本地处理设备来提前判断下一个时段，在广告可覆盖区域内有多少人，以及前后的进出口有多少人是正在进入，又有哪些是正要出去，判断出区域内的有效人数。以及这些人的性别、年龄、职业等信息。在一个广告播放的有效时间内，根据本地处理设备得出的结论来在屏幕上播放合适的广告，并将所播放的这些广告的时间以及有效人群等信息一并向后台发送，作为广告投放效率的依据。并通过摄像头进一步采集广告前行人的停留和查看等信息，搜集后反馈给后台系统。这些数据同时备份至统一数据库中作为数据信息。这些数据信息可以作为增值业务提供给其他想要投放广告的客户，为他们提供全面、方便、且有针对性的咨询和数据服务。

这套系统还可以与警方合作。当本地系统判断到有形迹可疑的人时，可以控制现场摄像头自动截屏，图片直接发送到相关部门并附上报警内容，通过相关部门人工核实情况后再决定是否出警。同理该系统也可以通过本地设备里事先放置好的照片，通过现场的实时比对来协助警方定位和跟踪一些逃犯和流窜犯。还有客户如果提出希望有定制化的服务，也可以通过以上方法检测到特定人员后来实现，并且客户也可以选择定时定点在屏幕上发送特定广告，或是直接通过后台控制本地设备来完成。

本地设备和云端设备对行人数据的处理主要为行人识别，识别主要采用以下几种算法：

算法1：区域行人识别算法。本算法致力于进行广告投放区域的受众数量统计，通过基于deepcnn的可扩展架构设计，满足后期进一步的驻足人群捕捉需求，算法支持终端运行或端-云协同运行。实现步骤：1、以大量部署在实地的摄像头采集图像数据为基础，采用众包的方式进行行人标签配置（对图中行人做出标记），同时结合imagenet、coco、pascalvoc等网络行人数据库，构建行人识别数据集。2、以现有yolov3网络为基础，更改cnn网络输出为1类目标（人）+位置框，同时附加2维空置向量，用于后期功能扩展。3、采用迁移学习理念，投入准备好的行人识别数据集进行cnn网络训练，优化识别参数，保证cnn网络（revisedyolov3）在行人识别数据集下的ap(averageprecison)达到0.7以上（评价指标）。4、对训练好的网络模型，做基于pocketflow的模型压缩优化，保证其参数数量减小2倍，计算速度提升2倍，同时ap维持在0.85以上，保证算法模型在终端更高效率运行。5、步骤2预留的2维空置向量，可根据后期功能要求，在数据集标签中添加标签（如：行人是否正在观看广告），通过大量数据的积累与扩展数据集制作，实现驻足行人判断等需求。

算法2：行人朝向识别算法。本算法用于判断行人的进出情况，配合算法1，实现更精准的行人数量统计。实现步骤：1、通过算法1的部署，可进行计算获取图像中行人的数量和位置信息，通过位置信息即可将每个行人从图像中分割出来。2、获取图像，分割出大量行人集合，采用众包等方式进行朝向标签标注，生成数据集。3、由于任务目标明确简便，设计浅层2分类cnn，如7层结构，每层各采用3*3卷积核，卷积核数量每层倍数递增，叠加全连接层后，输出层为2维向量，损失函数为binarycrossentropy。4、投入数据进行训练，保证准确率高于95%，存储模型参数。5、通过训练好的模型实现行人进出判别。

算法3：行人属性识别算法。基于高清图像，用于判断行人年龄、性别、职业属性等特征信息，辅助精准广告推送。实现步骤：1、与算法2类似，基于算法1与图像分割，获得行人图像集合。2、通过人工标注（性别、年龄段、衣着等信息），生成行人属性数据集。3、由于任务复杂，基于resnet+inception网络架构设计30层以上深度卷积神经网络（dcnn），将输出限定为（2+6+n）维，即（性别+年龄段+n种衣着属性），配套设计相应损失函数。4、投入数据集进行网络模型训练，保证结果准确率高于90%。5、为保证终端运行效率，必要时，可采用算法1中的模型压缩技术，缩减模型运算量。6、部署算法，系统投入使用。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。