一种诱导广告素材识别方法及装置与流程

1.本技术涉及数据处理技术领域，特别的，尤其涉及一种诱导广告素材识别方法及装置。


背景技术：

2.对于媒体而言，广告可能是把“双刃剑”——做好了，广告是媒体的生命线，支撑着媒体的生存与发展；做不好，广告会影响用户体验，导致用户对媒体好感度降低、甚至流失。更为严重的会触犯《广告法》等法律法规，造成严重的广告事故和直接的经济损失。为了实现广告营收、法律法规及用户体验的平衡，广告审核过滤机制应运而生。传统的广告审核通过维护复杂的审核规则以及组建庞大的审核团队来完成，然而由于规则的复杂性、变化性以及大量素材审核的及时性要求，人工审核耗费巨大成本，因此，逐渐转向通过ai相关技术加持来解决广告审核问题。
3.目前，主要采用人脸识别技术对政治敏感性人物进行过滤；通过图像分类技术对涉黄涉暴涉赌涉毒等内容进行审核，其主要针对的是图形形式的广告素材，而对视频、语音等其他广告形式支持度不够；且主要采用图像相关技术，特征比较单一，因此，对诱导性的广告识别能力不足。


技术实现要素：

4.鉴于上述内容中由于采用图像相关技术来实现诱导性广告识别，特征比较单一，而导致诱导性广告识别能力不足的问题，本技术提供了一种诱导广告素材识别方法及装置，以提高诱导性广告识别能力，提升审核效率及准确率。
5.为了实现上述目的，本技术提供了以下技术方案：
6.一种诱导广告素材识别方法，包括：
7.获取多种形式的广告素材内容，将所述广告素材内容进行预处理，得到预处理后的广告素材内容；
8.依据预设模型组对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型；
9.根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。
10.进一步的，所述依据语音识别模型和光学字符识别模型对所述预处理后的广告素材内容进行文字信息提取，包括：
11.从所述预处理后的广告素材内容中包含的语音广告及视频中分离出语音信息，并依据所述语音识别模型对所述语音信息进行文字信息提取，将所述语音信息转换为文字信息；
12.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提
取出图像素材，并依据所述光学字符识别模型对图像素材进行文字信息提取，将所述图像素材转换为文字信息。
13.进一步的，所述依据诱导元素目标检测模型对所述预处理后的广告素材内容进行诱导元素的检测，包括：
14.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据诱导元素目标检测模型进行诱导元素检测，确定所述预处理后的广告素材内容中所包含的诱导元素。
15.进一步的，所述根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材，包括：
16.对所述待审核结构化信息中的文字信息进行去停用词及分词操作，得到待过滤文字信息；
17.根据关键词及对应的过滤规则对所述待过滤文字信息和所述待审核结构化信息中的诱导元素的检测结果进行过滤，得到包含诱导广告的素材。
18.一种诱导广告素材识别装置，包括：
19.第一处理单元，用于获取多种形式的广告素材内容，将所述广告素材内容进行预处理，得到预处理后的广告素材内容；
20.第二处理单元，用于依据预设模型组对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型；
21.第三处理单元，用于根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。
22.进一步的，所述第二处理单元具体用于：
23.从所述预处理后的广告素材内容中包含的语音广告及视频中分离出语音信息，并依据所述语音识别模型对所述语音信息进行文字信息提取，将所述语音信息转换为文字信息；
24.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据所述光学字符识别模型对图像素材进行文字信息提取，将所述图像素材转换为文字信息。
25.进一步的，所述第二处理单元具体还用于：
26.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据诱导元素目标检测模型进行诱导元素检测，确定所述预处理后的广告素材内容中所包含的诱导元素。
27.进一步的，所述第三处理单元具体用于：
28.对所述待审核结构化信息中的文字信息进行去停用词及分词操作，得到待过滤文字信息；
29.根据关键词及对应的过滤规则对所述待过滤文字信息和所述待审核结构化信息中的诱导元素的检测结果进行过滤，得到包含诱导广告的素材。
30.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述
存储介质所在的设备执行如上述所述的诱导广告素材识别方法。
31.一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的诱导广告素材识别方法。
32.本技术所述的诱导广告素材识别方法及装置，通过将获取多种形式的所述广告素材内容进行预处理，得到预处理后的广告素材内容；依据预设模型组(语音识别模型、光学字符识别模型和诱导元素目标检测模型)对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息(文字信息和诱导元素的检测结果)；根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。本技术结合光学字符识别、图像分类及检测等深度学习技术、音频识别技术，能够实现文本、图像、视频、语音等多种形式的广告素材是否包含诱导内容的识别，提高了诱导性广告识别能力，同时提升了审核效率及准确率。
附图说明
33.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本技术实施例公开的诱导类广告素材样例一的示意图；
35.图2为本技术实施例公开的诱导类广告素材样例二的示意图；
36.图3为本技术实施例公开的一种诱导广告素材识别系统的结构示意图；
37.图4为本技术实施例公开的诱导广告素材识别流程架构图；
38.图5为本技术实施例公开的一种诱导广告素材识别方法的流程示意图；
39.图6为本技术实施例公开的一种诱导广告素材识别装置的结构示意图；
40.图7为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
41.申请人在研究中发现，诱导广告(如图1
‑
图2所示)通过伪装引导用户点击，具有欺骗性和误导性，不仅违反相关法律法规，同时侵犯了消费者权益，影响用户体验。然而由于广告素材内容中诱导元素形式多样，变化多端，难以通过规则的方式来判别；同时广告素材动辄数以亿计，因此，面对复杂的规则和海量的素材，难以通过人工审核或者规则定义的方式来完成审核。
42.为此，本技术提供一种诱导广告素材识别方法及装置，应用于图3所示的诱导广告素材识别系统，该系统包括：广告素材内容处理模块31、ai模型分析模块32和规则过滤模块33，具体的，诱导广告素材识别流程架构图如图4所示。结合语音识别、光学字符识别，自然语言处理以及基于深度学习的计算机视觉技术结合业务实践，通过大规模样本训练，实现系统自动化、智能化、实时化对全渠道上传的图片、文本、视频、音频等广告内容进行高效审核，从而大幅提升业务效率并降低人工审核成本的同时，帮助公司进行更全面的广告内容把控，为用户体验和产品形象保驾护航，降低广告事故风险以及消费者广告陷阱风险。
43.本技术提供一种诱导广告素材识别方法及装置，其目的在于：提高诱导性广告识别能力，提升审核效率及准确率。
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.请参见附图5，为本技术实施例提供的一种诱导广告素材识别方法流程示意图。如图5所示，本技术实施例提供了一种诱导广告素材识别方法，该方法包括如下步骤：
46.s501：获取多种形式的广告素材内容，将所述广告素材内容进行预处理，得到预处理后的广告素材内容。
47.本技术实施例中，多种形式的广告素材包括文本、图像、视频、语音等多种形式的广告素材。在进行后续处理之前，需要将多种形式的广告素材内容进行预处理，处理成图像及文本两种内容形式。具体的，在具体实施例中，可以先针对视频内容，将视频分离出语音及视频；然后将视频拆成图像帧。
48.需要说明的是，经过综合考虑识别效率和避免审核遗漏，在具体实施例可以选择每隔10帧抽取一帧来实现图像帧的抽取。
49.在具体实施例中，根据广告素材的不同内容形式分别处理，如：文字广告内容可以直接使用；音频广告内容可以直接使用；视频广告需要进行图像与语音的分离，提取语音信息。
50.s502：依据预设模型组对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息。
51.本技术实施例中，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型。
52.需要说明的是，预先需要通过收集广告素材中的视频、音频、图片等数据，作为现有广告素材内容，根据实际需要对其进行标注，并分别根据语音识别算法、字符检测识别算法以及基于yolov5目标检测算法对语音识别模型(automatic speech recognition，asr)、光学字符识别模型(optical character recognition，ocr)和诱导元素目标检测模型(adinducedetector)进行训练。
53.进一步的，在本技术实施例中，上述所述依据语音识别模型和光学字符识别模型对所述预处理后的广告素材内容进行文字信息提取，包括：
54.从所述预处理后的广告素材内容中包含的语音广告及视频中分离出语音信息，并依据所述语音识别模型对所述语音信息进行文字信息提取，将所述语音信息转换为文字信息；
55.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据所述光学字符识别模型对图像素材进行文字信息提取，将所述图像素材转换为文字信息。
56.进一步的，在本技术实施例中，上述所述依据诱导元素目标检测模型对所述预处理后的广告素材内容进行诱导元素的检测，包括：
57.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提
取出图像素材，并依据诱导元素目标检测模型进行诱导元素检测，确定所述预处理后的广告素材内容中所包含的诱导元素。
58.本技术实施例中，上述诱导元素主要包括模拟<跳过>、<关闭>广告的按钮、<青少年模式>切换按钮、<手机内存优化>、<刷新>等常见手机卡顿操作、<领取红包>等诱导性点击元素。
59.s503：根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。
60.需要说明的是，需要动态地维护预设过滤关键词及对应的过滤规则库，从而实现关键词及对应过滤规则的维护。在进行审核过滤时，需要对待审核结构化信息中的文字信息进行去停用词及分词操作，去除系统设定的停用词和分词，减少数据处理，提升处理效率。
61.更进一步的，本技术实施例中，上述所述根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材，包括：
62.对所述待审核结构化信息中的文字信息进行去停用词及分词操作，得到待过滤文字信息；
63.根据关键词及对应的过滤规则对所述待过滤文字信息和所述待审核结构化信息中的诱导元素的检测结果进行过滤，得到包含诱导广告的素材。
64.本技术实施例提供的一种诱导广告素材识别方法，通过将获取多种形式的所述广告素材内容进行预处理，得到预处理后的广告素材内容；依据预设模型组(语音识别模型、光学字符识别模型和诱导元素目标检测模型)对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息(文字信息和诱导元素的检测结果)；根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。本技术实施例结合光学字符识别、图像分类及检测等深度学习技术、音频识别技术，能够实现文本、图像、视频、语音等多种形式的广告素材是否包含诱导内容的识别，提高了诱导性广告识别能力，同时提升了审核效率及准确率。
65.请参阅图6，基于上述实施例公开的一种诱导广告素材识别方法，本实施例对应公开了一种诱导广告素材识别装置，该装置包括：
66.第一处理单元601，用于获取多种形式的广告素材内容，将所述广告素材内容进行预处理，得到预处理后的广告素材内容。
67.本技术实施例中，多种形式的广告素材包括文本、图像、视频、语音等多种形式的广告素材。在进行后续处理之前，需要将多种形式的广告素材内容进行预处理，处理成图像及文本两种内容形式。具体的，在具体实施例中，可以先针对视频内容，将视频分离出语音及视频；然后将视频拆成图像帧。
68.需要说明的是，经过综合考虑识别效率和避免审核遗漏，在具体实施例可以选择每隔10帧抽取一帧来实现图像帧的抽取。
69.第二处理单元602，用于依据预设模型组对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型。
70.本技术实施例中，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型。
71.需要说明的是，预先需要通过收集广告素材中的视频、音频、图片等数据，作为现有广告素材内容，根据实际需要对其进行标注，并分别根据语音识别算法、字符检测识别算法以及基于yolov5目标检测算法对语音识别模型、光学字符识别模型和诱导元素目标检测模型进行训练。
72.第三处理单元603，用于根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。
73.需要说明的是，需要动态地维护预设过滤关键词及对应的过滤规则库，从而实现关键词及对应过滤规则的维护。在进行审核过滤时，需要对待审核结构化信息中的文字信息进行去停用词及分词操作，去除系统设定的停用词和分词，减少数据处理，提升处理效率。
74.进一步的，所述第二处理单元602具体用于：
75.从所述预处理后的广告素材内容中包含的语音广告及视频中分离出语音信息，并依据所述语音识别模型对所述语音信息进行文字信息提取，将所述语音信息转换为文字信息；
76.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据所述光学字符识别模型对图像素材进行文字信息提取，将所述图像素材转换为文字信息。
77.进一步的，所述第二处理单元602所述第二处理单元具体还用于：
78.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据诱导元素目标检测模型进行诱导元素检测，确定所述预处理后的广告素材内容中所包含的诱导元素。
79.进一步的，所述第三处理单元603具体用于：
80.对所述待审核结构化信息中的文字信息进行去停用词及分词操作，得到待过滤文字信息；
81.根据关键词及对应的过滤规则对所述待过滤文字信息和所述待审核结构化信息中的诱导元素的检测结果进行过滤，得到包含诱导广告的素材。
82.所述诱导广告素材识别装置包括处理器和存储器，上述第一处理单元、第二处理单元和第三处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
83.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到提高诱导性广告识别能力，提升审核效率及准确率的目的。
84.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述诱导广告素材识别方法。
85.本技术实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述诱导广告素材识别方法。
86.本技术实施例提供了一种电子设备，如图7所示，该电子设备70包括至少一个处理
器701、以及与所述处理器连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；处理器701用于调用所述存储器702中的程序指令，以执行上述的所述诱导广告素材识别方法。
87.本文中的电子设备可以是服务器、pc、pad、手机等。
88.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
89.获取多种形式的广告素材内容，将所述广告素材内容进行预处理，得到预处理后的广告素材内容；
90.依据预设模型组对所述预处理后的广告素材内容进行文字信息提取和诱导元素的检测，得到待审核结构化信息，所述待审核结构化信息包括文字信息和诱导元素的检测结果，所述预设模型组包含语音识别模型、光学字符识别模型和诱导元素目标检测模型；
91.根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材。
92.进一步的，所述依据语音识别模型和光学字符识别模型对所述预处理后的广告素材内容进行文字信息提取，包括：
93.从所述预处理后的广告素材内容中包含的语音广告及视频中分离出语音信息，并依据所述语音识别模型对所述语音信息进行文字信息提取，将所述语音信息转换为文字信息；
94.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据所述光学字符识别模型对图像素材进行文字信息提取，将所述图像素材转换为文字信息。
95.进一步的，所述依据诱导元素目标检测模型对所述预处理后的广告素材内容进行诱导元素的检测，包括：
96.从所述预处理后的广告素材内容中包含的图像广告及视频拆帧的图像素材中提取出图像素材，并依据诱导元素目标检测模型进行诱导元素检测，确定所述预处理后的广告素材内容中所包含的诱导元素。
97.进一步的，所述根据预设过滤关键词及对应的过滤规则库对所述待审核结构化信息进行审核过滤，过滤出包含诱导广告的素材，包括：
98.对所述待审核结构化信息中的文字信息进行去停用词及分词操作，得到待过滤文字信息；
99.根据关键词及对应的过滤规则对所述待过滤文字信息和所述待审核结构化信息中的诱导元素的检测结果进行过滤，得到包含诱导广告的素材。
100.本技术是根据本技术实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
101.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还
可以包括输入/输出接口、网络接口等。
102.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
103.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
104.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
105.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
106.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。