本发明涉及大数据、人工智能、广告投放
技术领域：
：，具体涉及基于大数据强化学习的广告分析与监控方法及装置。
背景技术：
：现有技术中在对广告投放进行监测时，为取得较好的广告投放效果，通常通过人工查看相关的广告投放数据，进而仅凭经验或者直觉调整广告决策，这种方式效率较低且容易出错，难以保障广告投放效果。强化学习(reinforcementlearning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。强化学习是一个序列决策问题，它需要对一系列连续状态选择相应的行为，通过这些有序的行为获取最大的利益作为最终回报。在强化学习算法执行过程中没有任何的标签告诉它该如何继续，而是事先尝试一些行为，该行为会导致一定的结果。技术实现要素：本发明实施例的一个目的在于针对现有技术所存在的缺陷，提供一种基于大数据强化学习的广告分析与监控方法及装置，实现对广告投放以及转化全流程数据分析与监测。本发明的目的采用以下技术方案来实现：本发明实施例的第一方面基于大数据技术和强化学习算法，提供了广告分析与监控方法，该方法包括：处理设备根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库；所述处理设备被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的q值，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项；所述处理设备提取所述每个动作的q值中最大值得到反馈信息，所述反馈信息包括广告点击率，以便根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。在本发明实施例的第一方面的一种能够实现的方式中，该方法还包括：所述处理设备根据广告主标识信息，从所述数据库中提取与预设监控指标相应的广告投放数据；所述处理设备根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；所述处理设备判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，判断为是时，根据与所述实际指标值对应的告警级别进行相应告警。在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标包括广告点击率，所述对应的实际指标值包括当日广告在第一预设时间段内的广告点击率ctr0；所述对应的指标阈值包括当日之后的7天内所述广告在第二预设时间段内的预估广告点击率的均值ctri表示当日之后的第i天所述广告在第二预设时间段内的预估广告点击率；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下列判断操作：判断是否满足在本发明实施例的第一方面的一种能够实现的方式中，处理设备基于xgboost和ffm相结合的预测模型获取所述预估广告点击率，包括：对所述相应的广告投放数据进行预处理；将预处理后的广告投放数据输入到xgboost模型中进行训练，提取相应的特征项权重；将所述特征项权重与所述预处理后的广告投放数据输入到ffm模型进行训练，输出相应的广告点击率预测值；采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，输出校正后的预估广告点击率。在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标包括广告费用消耗，所述对应的实际指标值包括每个广告a在当日零时至当前时t的累计费用消耗全部广告在当日零时至当前时t的累计费用消耗所述对应的指标阈值包括预设的费用消耗上限cmax、以周期为5天的广告a的日累计费用消耗以及以周期为5天的广告a在历史零时至t时的累计费用消耗j＝1,…,5；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行以下至少一项判断操作：判断是否满足判断是否满足判断是否满足判断是否满足在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标包括广告销售提成费用(cps)，所述对应的实际指标值包括每个广告a的当日累计cpsa，所述对应的指标阈值包括预设的cps阈值、每个广告a的实际广告销售提成费用cpsr；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行以下至少一项判断操作：判断是否满足cpsa≤1.5cpso；判断是否满足cpsa>2cpso和cpsr≤cpso；判断是否满足cpsa>2cpso和cpsr∈[cpso,1.2cpso]；判断是否满足cpsa>2cpso和cpsr∈[1.2cpso,2cpso]；判断是否满足cpsa>2cpso和cpsr>2cpso。在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标包括广告转化量、点击量，所述对应的实际指标值包括当日每个广告在第三预设时间段内累计的广告转化量cvr0、点击量click0，所述对应的指标阈值包括前7天内广告在所述第三预设时间段内累计的广告转化量均值avg(cvr)、点击量均值avg(click)；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下列判断操作：判断是否满足cvr0<avg(cvr)×90％；判断是否满足click0<avg(click)×90％；判断是否满足click0>avg(click)×110％。在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标还包括广告曝光量和广告出价，所述对应的实际指标值还包括广告在当日的每小时曝光量e0、广告在当日的每小时出价p0，所述对应的指标阈值包括广告在前7天内的每小时曝光量均值avg(e)，大盘建议出价pt，判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下述判断操作：判断是否满足e0<avg(e)×90％；判断是否满足e0>avg(e)×110％；判断是否满足p0>2pt。在本发明实施例的第一方面的一种能够实现的方式中，根据与所述实际指标值对应的告警级别进行相应告警，包括：所述处理设备根据与所述实际指标值对应的告警级别发送相应的告警邮件，所述告警级别包括提醒参考级别、紧急级别；其中，基于告警级别相应设置所述告警邮件的主题，并以数据表单的形式进行配置所述告警邮件的正文，所述告警级别为提醒参考级别时，所述数据表单的项目信息包括监控告警信息；所述告警级别为紧急级别时，所述数据表单的项目信息包括广告投放调整建议信息。本发明实施例的第二方面提供了广告分析与监控装置，该装置包括：第一获取模块，用于根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库；分析模块，被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的q值；以及根据所述每个动作的q值中最大值得到反馈信息，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项，所述反馈信息包括广告点击率，以便评价模块根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。在本发明实施例的第二方面的一种能够实现的方式中，该装置还包括：提取模块，用于从所述数据库中提取与预设监控指标相应的广告投放数据；第二获取模块，用于根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；判断模块，用于判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，输出判断结果；告警模块，用于在所述判定结果满足所述相应的风控告警触发条件时，根据与所述实际指标值对应的告警级别进行相应告警。在本发明实施例的第二方面的一种能够实现的方式中，所述监控指标包括广告点击率，所述对应的实际指标值包括当日广告在第一预设时间段内的广告点击率ctr0；所述对应的指标阈值包括当日之后的7天内所述广告在第二预设时间段内的预估广告点击率的均值ctri表示当日之后的第i天所述广告在第二预设时间段内的预估广告点击率；所述判断模块包括第一判断单元，所述第一判断单元用于执行下列判断操作：判断是否满足在本发明实施例的第二方面的一种能够实现的方式中，所述第二获取模块处理设备基于xgboost和ffm相结合的预测模型获取所述预估广告点击率，包括：对所述相应的广告投放数据进行预处理；将预处理后的广告投放数据输入到xgboost模型中进行训练，提取相应的特征项权重；将所述特征项权重与所述预处理后的广告投放数据输入到ffm模型进行训练，输出相应的广告点击率预测值；采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，输出校正后的预估广告点击率。在本发明实施例的第二方面的一种能够实现的方式中，所述监控指标包括广告费用消耗，所述对应的实际指标值包括每个广告a在当日零时至当前时t的累计费用消耗全部广告在当日零时至当前时t的累计费用消耗所述对应的指标阈值包括预设的费用消耗上限cmax、以周期为5天的广告a的日累计费用消耗以及以周期为5天的广告a在历史零时至t时的累计费用消耗j＝1,…,5；所述判断模块包括第二判断单元，所述第二判断单元用于执行以下至少一项判断操作：判断是否满足判断是否满足判断是否满足判断是否满足在本发明实施例的第二方面的一种能够实现的方式中，所述监控指标包括广告销售提成费用(cps)，所述对应的实际指标值包括每个广告a的当日累计cpsa，所述对应的指标阈值包括预设的cps阈值、每个广告a的实际广告销售提成费用cpsr，所述判断模块包括第三判断单元，所述第三判断单元用于执行以下至少一项判断操作：判断是否满足cpsa≤1.5cpso；判断是否满足cpsa>2cpso和cpsr≤cpso；判断是否满足cpsa>2cpso和cpsr∈[cpso,1.2cpso]；判断是否满足cpsa>2cpso和cpsr∈[1.2cpso,2cpso]；判断是否满足cpsa>2cpso和cpsr>2cpso。在本发明实施例的第二方面的一种能够实现的方式中，所述监控指标包括广告转化量、点击量，所述对应的实际指标值包括当日每个广告在第三预设时间段内累计的广告转化量cvr0、点击量click0，所述对应的指标阈值包括前7天内广告在所述第三预设时间段内累计的广告转化量均值avg(cvr)、点击量均值avg(click)；所述判断模块包括第四判断单元，所述第四判断单元用于执行下列判断操作：判断是否满足cvr0<avg(cvr)×90％；所述判断模块还包括第五判断单元，所述第五判断单元用于执行下列判断操作：判断是否满足click0<avg(click)×90％；判断是否满足click0>avg(click)×110％。在本发明实施例的第二方面的一种能够实现的方式中，所述监控指标还包括广告曝光量和广告出价，所述对应的实际指标值还包括广告在当日的每小时曝光量e0、广告在当日的每小时出价p0，所述对应的指标阈值包括广告在前7天内的每小时曝光量均值avg(e)，大盘建议出价pt，所述判断模块还包括第六判断单元，所述第六判断单元用于执行下列判断操作：判断是否满足e0<avg(e)×90％；判断是否满足e0>avg(e)×110％；所述判断模块还包括第七判断单元，所述第七判断单元用于执行下列判断操作：判断是否满足p0>2pt。在本发明实施例的第二方面的一种能够实现的方式中，根据与所述实际指标值对应的告警级别进行相应告警，包括：根据与所述实际指标值对应的告警级别发送相应的告警邮件，所述告警级别包括提醒参考级别、紧急级别；其中，基于告警级别相应设置所述告警邮件的主题，并以数据表单的形式进行配置所述告警邮件的正文，所述告警级别为提醒参考级别时，所述数据表单的项目信息包括监控告警信息；所述告警级别为紧急级别时，所述数据表单的项目信息包括广告投放调整建议信息。本发明实施例的第三方面提供了广告分析与监控方法，该方法包括：处理设备根据广告主标识信息从数据库中提取与预设监控指标相应的广告投放数据，其中，所述数据库中存储有与广告主标识信息对应的广告投放数据；所述处理设备根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；所述处理设备判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，判断为是时，根据与所述实际指标值对应的告警级别进行相应告警。本发明上述实施例获取广告投放数据，并基于大数据技术存储广告投放数据，并创新性地被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，根据分析结果评价广告投放效果，从而能够辅助人工提供广告调整参考，避免了人为仅凭经验或直觉的操作造成的广告投放调整效率和精度不高，其中基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，相对于基于其他强化学习模型，能够有效提升对广告投放效果进行评价的精度和性能；本实施例进一步对广告投放效果关联的监控指标自动进行实时监测和异常分析，并能够对异常情况自动进行相应的告警，为监控人员提供广告干预决策参考，实现了对广告投放以及转化全流程数据分析与监测。附图说明利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本申请一个示例性实施例的广告分析与监控方法的流程图；图2是本申请一个示例性实施例的广告总消耗超出预设的费用消耗上限时发出的告警邮件示意图；图3是本申请一个示例性实施例的对广告销售提成费用(cps)进行监控后发出的告警邮件示意图；图4是本申请一个示例性实施例的广告分析与监控装置的结构示意图；图5是本申请另一个示例性实施例的广告分析与监控方法的流程图。附图标记：第一获取模块2、分析模块4、评价模块6、提取模块8、第二获取模块10、判断模块12、告警模块14。具体实施方式结合以下实施例对本发明作进一步描述。根据本申请实施例，提供了基于大数据技术强化学习的广告分析与监控方法。图1是根据本申请实施例的广告分析与监控方法的流程图，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的动作、操作或步骤。如图1所示，本实施例的广告分析与监控方法包括：s01处理设备根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库。处理设备可以为本发明实施例提供的广告分析与监控装置，还可以是用于执行本发明实施例提供的广告分析与监控方法的服务器，例如机架式服务器。其中，可通过媒体api或媒体数据爬虫进行该广告投放数据的获取。其中，基于大数据技术，采用hadoop、hbase、elasticsearch构建底层存储，从而将所述广告投放数据存储于所述底层存储对应的数据库中。所述广告主标识信息，可以基于监控需要，自动选取需要监控的广告所属广告主的标识信息，进而自动灵活地从各种来源中获取与该广告主的标识信息对应的广告投放数据。该广告投放数据的来源可以是广点通、今日头条、智汇推等多个投放系统，还可以是黑眼圈、千页、枫页等多个落地页系统。该广告投放数据包括数字营销用户数据、投放数据、媒介数据、效果数据等广告投放全流程数据。本实施例依托大数据技术实现广告投放数据的整合及存储。s02所述处理设备被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的q值，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项。所述q值表示在当前的广告投放状态下执行上述动作中的一项动作所获得的最大的未来奖励。ddqn(深度双q网络)是由传统强化学习模型中，从单q-table的模型设计，改进到ddqn＝ddnn(双神经网络)+经验池(q-table)的模型设计。单q-table模型的缺点是对多维度的调整动作(action)无法进行有效训练学习，原因在于：输出的q表太大，动作有12n次方个，环境组合有k×12n次方个，k是广告的数量。而ddqn则通过多层神经网络很好的解决多维度问题，传统的dqn普遍会过高估计action的q值，而且估计误差会随action的个数增加而增加。如果高估不是均匀的，则会导致某个次优的action高估的q值超过了最优action的q值，永远无法找到最优的策略。ddqn的具体操作是对要学习的targetq值生成方式进行修改，现有的dqn中是使用targetnet产生targetq值，即其中是targetnet的参数。在ddqn中，先用mainnet找到maxa′q(s′,a′；θi)的action(θi是mainnet的参数)，再去targetnet中找到这个action的q值以构成targetq值，这个q值在targetnet中不一定是最大的，因此可以避免选到被高估的次优action。最终要学习的lossfunction为：l(θ)＝e[(targetq-q(s,a；θi))2]除此之外，其他设置与dqn一致。实验表明，ddqn能够估计出更准确出q值。s03所述处理设备提取所述每个动作的q值中最大值得到反馈信息，所述反馈信息包括广告点击率，以便根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。本实施例能够根据历史的广告投放记录，输出当前的定向筛选，未来投放的效果是好还是坏，来达到提前预警的效果。例如，在执行上述某个动作后，得到的广告点击率明显上升，可以确定执行该动作可以提高广告投放效果，进而输出执行该动作能够提高广告投放效果的相应评价结果。所述广告投放建议包括广告投放出价建议、投放时段建议、广告定向组合建议等。本发明上述实施例获取广告投放数据，并基于大数据技术存储广告投放数据，并创新性地被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，根据分析结果评价广告投放效果，从而能够辅助人工提供广告调整参考，避免了人为仅凭经验或直觉的操作造成的广告投放调整效率和精度不高，其中基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，相对于基于其他强化学习模型，能够有效提升对广告投放效果进行评价的精度和性能。进一步地，广告分析与监控方法还包括：s04所述处理设备根据广告主标识信息，从所述数据库中提取与预设监控指标相应的广告投放数据。其中，可以预先设定多个与广告投放效果关联的监控指标，例如广告点击率、广告费用消耗、广告曝光量等等。s05所述处理设备根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值。s06所述处理设备判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，判断为是时，根据与所述实际指标值对应的告警级别进行相应告警。在一种能够实现的方式中，根据与所述实际指标值对应的告警级别进行相应告警，包括：所述处理设备根据与所述实际指标值对应的告警级别发送相应的告警邮件，所述告警级别包括提醒参考级别、紧急级别。进一步地，还可以设置告警级别包括错误级别，根据该错误级别进行告警，以便提示广告投放过程中某个监控指标出现错误。其中，基于告警级别相应设置所述告警邮件的主题，并以数据表单的形式进行配置所述告警邮件的正文，所述告警级别为提醒参考级别时，所述数据表单的项目信息包括监控告警信息；所述告警级别为紧急级别时，所述数据表单的项目信息包括广告投放调整建议信息。其中，监控告警信息可以提示相应的指标值不在正常的阈值范围，广告投放调整建议信息可以用于辅助人工提供广告干预决策参考。通过设置不同级别的告警邮件，有益于为用户提供清晰明确的广告决策参考，从而根据告警邮件内容针对性地调整广告投放计划。在一种能够实现的方式中，所述监控指标包括广告点击率，所述对应的实际指标值包括当日广告在第一预设时间段内的广告点击率ctr0；所述对应的指标阈值包括当日之后的7天内所述广告在第二预设时间段内的预估广告点击率的均值ctri表示当日之后的第i天所述广告在第二预设时间段内的预估广告点击率；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下列判断操作：判断是否满足在一种能够实现的方式中，处理设备基于xgboost和ffm相结合的预测模型获取所述预估广告点击率，包括：对所述相应的广告投放数据进行预处理；将预处理后的广告投放数据输入到xgboost模型中进行训练，提取相应的特征项权重；将所述特征项权重与所述预处理后的广告投放数据输入到ffm模型进行训练，输出相应的广告点击率预测值；采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，输出校正后的预估广告点击率。其中，xgboost实现的是一种通用的treeboosting算法，此算法的一个代表为梯度提升决策树(gradientboostingdecisiontree,gbdt)，又名mart(multipleadditiveregressiontree)。gbdt的原理是，首先使用训练集和样本真值(即标准答案)训练一棵树，然后使用这棵树预测训练集，得到每个样本的预测值，由于预测值与真值存在偏差，所以二者相减可以得到“残差”。接下来训练第二棵树，此时不再使用真值，而是使用残差作为标准答案。两棵树训练完成后，可以再次得到每个样本的残差，然后进一步训练第三棵树，以此类推。树的总棵数可以人为指定，也可以监控某些指标(例如验证集上的误差)来停止训练。xgboost算法步骤如下：(1)初始化模型为常数值f0(x)：其中，为使得取得最小值的所有自变量γ的集合；l(yi,γ)为损失函数；yi为实际样本输出值；γ是函数变量γ(x1),...,γ(xn)，向量中元素个数与训练样本个数相同。(2)迭代生成m个基学习器，其中第m代基学习器的函数为fm：1)计算伪残差rim：其中，l(yi,f(xi))为损失函数，f(x)＝fm-1(x)为目标函数，yi为实际样本输出值，i＝1,2,...,n，xi为函数自变量；2)计算参数：其中hm(x)为基学习器；3)计算最优的函数变量γm：4)更新模型：fm(x)＝fm-1(x)+γmhm(x)。fm算法(factorizationmachines)解决的是稀疏数据下的特征组合问题，本质上是在是在lr算法的基础上增加了交叉项，通过特征的两两组合大大提高模型的可解释性。ffm(field-awarefactorizationmachine)在fm算法的基础上引入field的概念。在fm模型中，每一个特征会对应一个隐变量，但在ffm模型中，认为应该将特征分为多个field，每个特征对应每个field分别有一个隐变量。特征编码时常用的one-hot编码，会导致特征非常稀疏(很多0值)。常用的特征组合方法是多项式模型，模型表达式如下：其中xi表示第i列特征，n表示特征数，w0,wi,wij为模型参数。在对模型进行训练时，采用随机梯度下降方法(sgd)。fm模型表示为：其中，vi,vj分别是第i,j维特征的隐向量。ffm模型是在fm特征组合的基础上给特征加上了field属性，于是模型表示为：其中fi表示特征i所属的field，vi,fj表示xi这个特征对应fj(j所属的field)的隐变量，同时vj,fi表示xj这个特征对应fi(i所属的field)的隐变量。在一种可能实现的方式中，采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，包括：(1)进行sigmoid变换，假设所述ffm模型输出的广告点击率预测值为f(x)，获取所有广告点击率预测值集合f＝{f(x)1,f(x)2…f(x)n}，为了得到校准之后的概率值，可以对f(x)进行变换，其中a和b为未知参数，e为自然对数：(2)利用极大似然函数求解未知参数：假设f(x)′为广告点击率的真实值，则对于训练集(f(x),f(x)′)，极大似然函数为其中为了方便计算，我们对极大似然函数取对数，求极小值，则原函数变更如下：(3)对y值进行校正，从(2)求解得到参数a，b的具体值，代入(1)中的公式，得到sigmoid变换公式，将广告点击率预测值集合f＝{f(x)1,f(x)2…f(x)n}各个元素代入变换公式中，求得最终校正结果y＝{y1,y2…yn}。根据ffm模型得到的预测结果仅有定序意义，而不能够定量。很多情况下，仅仅得到一个好的auc值是远远不够的，我们需要得到一个准确的概率值。其中，auc值指的是从一堆样本中随机抽一个，抽到正样本的概率比抽到负样本的概率大的可能性，其取值在[0,1]之间，值越大，说明该分类器越优秀。auc实际是roc曲线下的面积，auc直观反映了roc曲线表达的分类能力。其中roc曲线是以假阳性概率为横轴，真阳性为纵轴所组成的坐标图。本实施例采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，实现了对ffm模型的输出结果从定序上升为定距，使得得到的广告点击率预测值更加贴近实际情况。在一种能够实现的方式中，所述对所述相应的广告投放数据进行预处理，包括对所述相应的广告投放数据进行归一化处理、缺失值处理、无效特征处理、编码格式统一处理、数据离散化处理。在一种实施方式中，对广告投放数据进行归一化处理，主要是对广告投放数据中的数值型变量xj进行归一化处理，可把数据区间映射到[0,1]区间，加快训练速度以及消除量纲，归一化公式为：其中min(xj)为xj的最小值，max(xj)为xj的最大值。在一种实施方式中，按照数据类型对广告投放数据进行缺失值处理，处理公式为：其中，xj,nan为第j个变量的缺失值，xj为第j个变量，avg()为求平均值函数。若特征中缺失值过多，则对缺失值做删除处理。在一种实施方式中，对相应的广告投放数据进行无效特征处理，具体为：若广告投放数据中某一特征的重复数值太多，如类别型中只有0或1，其中0占比95％，那么对该特征做删除处理。其中，由于数据处理过程中可能会出现新的特征值导致原始编码值和新编码值不对应，为了尽量消除该情况，需要对广告投放数据进行编码格式统一处理。在一种实施方式中，对广告投放数据进行编码格式统一处理时，采取保存原始编码值的方式，做到线上线下编码保持一致且对新增特征值进行统一编码，以保证对广告投放数据集的统一性。在一种实施方式中，对广告投放数据进行数据离散化处理，主要是对广告投放数据中的线性特征采用等距切分进行数据离散化处理，减小极大值和极小值的影响，将相近数值作为同一区间处理。等距切分处理是在若干个等距间隔的区间中，将线性变量xi＝(xi1,...,xin)划分到对应的区间sk，其中sk＝[x′i1+(k-1)·i,x′i1+k·i]为等距切分所得的第k个区间。等距切分离散化过程可视为从特征向量xi到n个区间{s1,s2,...,sn}的映射g，记g(xij)＝k,ifxij∈sk。上述实施例实现了广告点击率(ctr)预估，ctr预估在媒体一侧指的是该用户点击该广告的概率，在用户一侧指的是该广告在周期n后的点击率。根据上述实施例，能够及时预测单个广告在周期n后的点击率或被点击的概率，并将预测点击率则跟媒体侧大盘值进行比较判定该广告的优劣，从而便于给予运营人员做下一步投放建议。在一种能够实现的方式中，所述监控指标包括广告费用消耗，所述对应的实际指标值包括每个广告a在当日零时至当前时t的累计费用消耗全部广告在当日零时至当前时t的累计费用消耗所述对应的指标阈值包括预设的费用消耗上限cmax、以周期为5天的广告a的日累计费用消耗以及以周期为5天的广告a在历史零时至t时的累计费用消耗j＝1,…,5；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行以下至少一项判断操作：判断是否满足判断是否满足判断是否满足判断是否满足其中，所述的周期5天指的是过去5天。执行“判断是否满足”的判断操作的频率为3-10分钟1次，优选是每5分钟1次。执行“判断是否满足”、“判断是否满足”的判断操作的频率为0.5-2小时1次，优选是每1小时1次。执行“判断是否满足”的判断操作的频率为5-15分钟1次，优选是每10分钟1次。上述指标值对应的告警级别皆为紧急级别，处理设备在判断为是时发送与紧急级别对应的告警邮件。例如，判断满足时，处理设备发送与紧急级别对应的告警邮件，如图2所示，告警邮件的主题为“日消耗监控中，广告主消耗高于设定上限消耗，请检查！”，告警邮件正文中的数据表单的项目信息包括消耗超限的告警信息。在一种能够实现的方式中，所述监控指标包括广告销售提成费用(cps)，所述对应的实际指标值包括每个广告a的当日累计cpsa，所述对应的指标阈值包括预设的cps阈值、每个广告a的实际广告销售提成费用cpsr；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行以下至少一项判断操作：判断是否满足cpsa≤1.5cpso；判断是否满足cpsa>2cpso和cpsr≤cpso；判断是否满足cpsa>2cpso和cpsr∈[cpso,1.2cpso]；判断是否满足cpsa>2cpso和cpsr∈[1.2cpso,2cpso]；判断是否满足cpsa>2cpso和cpsr>2cpso。上述指标值对应的告警级别皆为提醒参考级别，处理设备在判断为是时发送与提醒参考级别对应的告警邮件，且告警邮件正文的数据表单的项目信息包括广告投放调整建议信息。在另一种实施方式中，判断满足cpsa≤1.5cpso，或者满足cpsa>2cpso和cpsr≤cpso时，广告投放调整建议信息为建议继续观察；满足cpsa>2cpso和cpsr∈[cpso,1.2cpso]时，广告投放调整建议信息为建议调整时间或定向；满足cpsa>2cpso和cpsr∈[1.2cpso,2cpso]时，广告投放调整建议信息为建议调整时间或定向且降价；判断满足cpsa>2cpso和cpsr>2cpso时，广告投放调整建议信息为建议暂停投放。例如，如图3所示，对广告销售提成费用(cps)进行监控并判断相应的实际指标值后，生成的告警邮件的主题为“cps监控：存在10个广告建议暂停，10个广告建议调整的情况”，告警邮件正文中的数据表单的项目信息包括每个广告对应的广告投放调整建议信息。进一步地，判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，还可包括执行下列判断操作：判断是否满足cpsa>cpso。当满足cpsa>cpso时，相应地输出紧急级别的告警邮件。在一种实施方式中，对广告销售提成费用(cps)进行监控时，相应的数据抓取在每小时的0、15、30、45，最长2分钟抓取完成，预留2分钟同步时间，因此设定监控周期为每小时的5、20、35、50分。在另一种能够实现的方式中，所述监控指标包括广告转化量、点击量，所述对应的实际指标值包括当日每个广告在第三预设时间段内累计的广告转化量cvr0、点击量click0，所述对应的指标阈值包括前7天内广告在所述第三预设时间段内累计的广告转化量均值avg(cvr)、点击量均值avg(click)；判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下列判断操作：判断是否满足cvr0<avg(cvr)×90％；判断是否满足click0<avg(click)×90％；判断是否满足click0>avg(click)×110％。其中，执行判断操作的频率为1-5小时1次，优选是每3小时1次。广告转化量、点击量的实际指标值对应的告警级别为紧急级别。在另一种能够实现的方式中，所述监控指标还包括广告曝光量和广告出价，所述对应的实际指标值还包括广告在当日的每小时曝光量e0、广告在当日的每小时出价p0，所述对应的指标阈值包括广告在前7天内的每小时曝光量均值avg(e)，大盘建议出价pt，判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下述判断操作：判断是否满足e0<avg(e)×90％；判断是否满足e0>avg(e)×110％；判断是否满足p0>2pt。其中，对于每小时曝光量，执行判断操作的频率为1-5小时1次，优选是每3小时1次。对于每小时出价，执行判断操作的频率为0.5-1.5小时1次，优选是每1小时1次。广告曝光量和广告出价的实际指标值对应的告警级别为紧急级别。在一种可选的方式中，对于广告出价，还可判断是否存在新增广告尚未配置大盘建议出价，判断为是时，输出告警级别为提醒参考级别的告警邮件。本发明上述实施例进一步对广告投放效果关联的监控指标自动进行实时监测和异常分析，并能够对异常情况自动进行相应的告警，为监控人员提供广告干预决策参考，实现了对广告投放以及转化全流程数据分析与监测。图4是本申请一个示例性实施例的广告分析与监控装置的结构示意图。如图4所示，本发明实施例提供的广告分析与监控装置包括：第一获取模块2，用于根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库；分析模块4，被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的q值；以及根据所述每个动作的q值中最大值得到反馈信息，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项，所述反馈信息包括广告点击率，以便评价模块6根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。进一步地，该装置还包括：提取模块8，用于从所述数据库中提取与预设监控指标相应的广告投放数据；第二获取模块10，用于根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；判断模块12，用于判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，输出判断结果；告警模块14，用于在所述判定结果满足所述相应的风控告警触发条件时，根据与所述实际指标值对应的告警级别进行相应告警。在一种能够实现的方式中，所述监控指标包括广告点击率，所述对应的实际指标值包括当日广告在第一预设时间段内的广告点击率ctr0；所述对应的指标阈值包括当日之后的7天内所述广告在第二预设时间段内的预估广告点击率的均值ctri表示当日之后的第i天所述广告在第二预设时间段内的预估广告点击率；所述判断模块12包括第一判断单元，所述第一判断单元用于执行下列判断操作：判断是否满足在本另一种能够实现的方式中，所述第二获取模块10处理设备基于xgboost和ffm相结合的预测模型获取所述预估广告点击率，包括：对所述相应的广告投放数据进行预处理；将预处理后的广告投放数据输入到xgboost模型中进行训练，提取相应的特征项权重；将所述特征项权重与所述预处理后的广告投放数据输入到ffm模型进行训练，输出相应的广告点击率预测值；采用plattscaling(普拉托变换)对所述广告点击率预测值进行校正，输出校正后的预估广告点击率。在另一种能够实现的方式中，所述监控指标包括广告费用消耗，所述对应的实际指标值包括每个广告a在当日零时至当前时t的累计费用消耗全部广告在当日零时至当前时t的累计费用消耗所述对应的指标阈值包括预设的费用消耗上限cmax、以周期为5天的广告a的日累计费用消耗以及以周期为5天的广告a在历史零时至t时的累计费用消耗j＝1,…,5；所述判断模块12包括第二判断单元，所述第二判断单元用于执行以下至少一项判断操作：判断是否满足判断是否满足判断是否满足判断是否满足在另一种能够实现的方式中，所述监控指标包括广告销售提成费用(cps)，所述对应的实际指标值包括每个广告a的当日累计cpsa，所述对应的指标阈值包括预设的cps阈值、每个广告a的实际广告销售提成费用cpsr，所述判断模块12包括第三判断单元，所述第三判断单元用于执行以下至少一项判断操作：判断是否满足cpsa≤1.5cpso；判断是否满足cpsa>2cpso和cpsr≤cpso；判断是否满足cpsa>2cpso和cpsr∈[cpso,1.2cpso]；判断是否满足cpsa>2cpso和cpsr∈[1.2cpso,2cpso]；判断是否满足cpsa>2cpso和cpsr>2cpso。在另一种能够实现的方式中，所述监控指标包括广告转化量、点击量，所述对应的实际指标值包括当日每个广告在第三预设时间段内累计的广告转化量cvr0、点击量click0，所述对应的指标阈值包括前7天内广告在所述第三预设时间段内累计的广告转化量均值avg(cvr)、点击量均值avg(click)；所述判断模块12包括第四判断单元，所述第四判断单元用于执行下列判断操作：判断是否满足cvr0<avg(cvr)×90％；所述判断模块12还包括第五判断单元，所述第五判断单元用于执行下列判断操作：判断是否满足click0<avg(click)×90％；判断是否满足click0>avg(click)×110％。在另一种能够实现的方式中，所述监控指标还包括广告曝光量和广告出价，所述对应的实际指标值还包括广告在当日的每小时曝光量e0、广告在当日的每小时出价p0，所述对应的指标阈值包括广告在前7天内的每小时曝光量均值avg(e)，大盘建议出价pt，所述判断模块12还包括第六判断单元，所述第六判断单元用于执行下列判断操作：判断是否满足e0<avg(e)×90％；判断是否满足e0>avg(e)×110％；所述判断模块12还包括第七判断单元，所述第七判断单元用于执行下列判断操作：判断是否满足p0>2pt。在另一种能够实现的方式中，根据与所述实际指标值对应的告警级别进行相应告警，包括：根据与所述实际指标值对应的告警级别发送相应的告警邮件，所述告警级别包括提醒参考级别、紧急级别；其中，基于告警级别相应设置所述告警邮件的主题，并以数据表单的形式进行配置所述告警邮件的正文，所述告警级别为提醒参考级别时，所述数据表单的项目信息包括监控告警信息；所述告警级别为紧急级别时，所述数据表单的项目信息包括广告投放调整建议信息。本发明实施例还提供了另一种广告分析与监控方法，如图5所示，该方法包括：s101处理设备根据广告主标识信息从数据库中提取与预设监控指标相应的广告投放数据，其中，所述数据库中存储有与广告主标识信息对应的广告投放数据；s102所述处理设备根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；s103所述处理设备判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，判断为是时，根据与所述实际指标值对应的告警级别进行相应告警。本发明上述实施例获取广告投放数据，并基于大数据技术存储广告投放数据，并创新性地被配置成用于执行以下功能：采用基于ddqn(深度双q网络)的强化学习模型对所述广告投放数据进行分析，根据分析结果评价广告投放效果，从而能够辅助人工提供广告调整参考，避免了人为仅凭经验或直觉的操作造成的广告投放调整效率和精度不高；本实施例进一步对广告投放效果关联的监控指标自动进行实时监测和异常分析，并能够对异常情况自动进行相应的告警，为监控人员提供广告干预决策参考，实现了对广告投放以及转化全流程数据分析与监测。本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有能够被一个或者多个处理器执行的计算机程序指令，所述计算机程序指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行上述任一实施例的广告分析与监控方法中的操作。以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了关键词广告智能投放方法及设备及计算机可读存储介质的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本发明公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、光盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。需要注意的是，以上仅为本发明的较佳实施例及原理。本领域的技术人员会理解，本发明不限于这里的特定实施例。本领域的技术人员能够做出各种明显变化、调整和替代，而不脱离本发明的保护范围。当前第1页12当前第1页12