一种表情包筛选方法与流程

本发明涉及基于深度学习的图像识别技术领域，具体地说，是一种表情包筛选方法。

背景技术：

随着各种社交应用，例如微信、微博、qq等通讯软件，和新媒体技术的发展，表情包的运用越来越广泛。一开始的表情包只是简单符号和表情，由于网络文化的普及和发展，如今表情包的内容已经变得多种多样，包括并不限于流行明星、照片、影视剧照、动漫、动态图片等，且常伴有相匹配的文字或符号，以表达特定的情感。

目前用户使用的表情包多来自社交软件提供商和第三方表情包制作者，由制作者使用截图工具、绘图工具、动画工具等设计和绘制表情，由于表情包的来源和制作方法不同，判断表情包规则的复杂程度也不一致。相关方法多使用人工判断的方法对表情包进行筛选，即经过人工手动的方法对图片的内容进行判断，是表情包还是正常图片，在判断是表情包之后，再标记表情包的内容，例如表情类别、适用场景等。在社交网络上的对话和新媒体文章中，经常需要对出现的图片进行分析，提取有效信息如人物、服装、物品类型等特征以更好地理解内容。

在此类媒介中，表情包出现的频次越来越高，虽然表情包在表达情绪上发挥出重要的作用，但是对实际图片信息起到了干扰，尤其是包含真人照片的表情包会误导后续图片的信息，因此需要将表情包图片有效地筛选出来。

如果纯人工操作，就需要消耗大量的人力和时间，且标记速度远远跟不上图片的产生速度；标记过程复杂，且缺失统一标准，相同表情包由不同人标注会产生不同的结果。

也有些表情包生成方法和装置通过人脸识别的相关算法对表情包进行自动标注，收到表情包筛选申请后，先对目标图像进行人脸检测，得到包含人脸的一个或多个目标图像区域。对每个人脸图像区域进行特征提取，输入到预先训练好的分类器中，输出人脸特征信息对应的表情类别归属的概率。通过概率判断表情对应的情绪类别并加以标注。

此类方法解决了人工判断的问题，但需要人脸图片进行分析，对于人脸遮挡或无真实人脸的表情包无法加以判断。

中国专利文献cn：cn201810048279.9公开了一种图片筛选的方法、装置和移动终端，所述方法包括：当满足预设条件时，按照图片属性信息将待筛选图片划分为图片组，所述图片属性信息包括所述待筛选图片的拍摄时间和/或拍摄地点；确定所述图片组中任意两张图片之间的图片相似度值；根据所述图片相似度值从所述图片组中筛选出重复图片。本发明可以提升对重复图片的筛选效率，使用户可以直观地查找和浏览重复的图片。但是关于一种针对表情包，可以识别人脸表情以及非人脸表情包，并进行分类的筛选方法目前还未见报道。

综上所述，亟需一种表情包筛选系统，可以提高筛选效率，分辨出不同类型的表情包，并对表情包标记多维度标签

技术实现要素：

本发明的目的是针对现有技术中的不足，提供一种可以自动化运行，减少人力成本，高效识别表情包，并进行标记的方法。

为实现上述目的，本发明采取的技术方案是：

一种表情包筛选方法，所述方法包含以下流程：

流程1:对输入的目标图像进行显著区域的获取。

流程2是对显著区域进行图像算法的预处理。

流程3是提取图片特征和文字信息。

流程4是将图片特征和文字信息通过预先设计的分类器进行匹配。

流程5是通过计算匹配概率判别输入图片是否为表情包。

流程6是针对已经判别为表情包的图片进行标记。

作为一种优选技术方案，所述流程1中显著区域是图像中最能引起兴趣、最能表现图像内容的区域。计算机算法可以通过模拟人的注意力机制计算图像中的视觉特征和信息密集区域选择出较符合人主观评价的区域。

作为一种优选技术方案，所述流程2中预处理包括进行灰度变化、直方图归一化、噪声滤波和锐化等步骤对图像进行预处理。

作为一种优选技术方案，所述流程3中图片特征包括但不限于直方图、颜色、结构等模式特征，和机器学习生成的卷积层特征。文字信息包括图片中的各种语言文字内容、符号含义、文字尺寸、文字所处位置等相关信息。

作为一种优选技术方案，所述流程4中分类器可以使用各类人工经验设置的线性、非线性分类器，也可以使用关键词库等实时更新的匹配分类，还可以使用通过机器学习训练得到的多维度、多标记的分类器，匹配结果会显示各个维度中划分为某一个类的概率。

作为一种优选技术方案，所述流程6是对流程4中各分类器的输出结果进行统计，根据设置阈值和任务需要生成多维度的标签，实现自动标记。

本发明优点在于：

1、本发明一种表情包筛选方法使用多种算法进行图片信息分类，每秒钟识别图片数量远远超过人工操作，可以高效地对输入图片进行判断是否为表情包。

2、使用自动化的标记模块，可以从人工每分钟标注2～3张表情包提升至每分钟标注上千张表情包，效果提高约500倍，并且可以多维度的标记表情包，方便后续的分类使用。

3、使用人脸识别技术，机器学习技术，完全自动化操作，减少人工识别的成本，增加工作效率。

附图说明

附图1是本发明一种表情包筛选方法的流程图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

附图中涉及的附图标记和组成部分如下所示：

请参考图1，图1是本发明一种表情包筛选方法的流程图。所述流程1是在接收到对目标图像的筛选请求后，对输入的目标图像进行显著区域的获取。显著区域是图像中最能引起兴趣、最能表现图像内容的区域。计算机算法可以通过模拟人的注意力机制计算图像中的视觉特征和信息密集区域选择出较符合人主观评价的区域。

所述流程2是对显著区域进行图像算法的预处理。由于输入图像受条件限制和随机干扰，往往不能直接使用，所以需要进行灰度变化、直方图归一化、噪声滤波和锐化等步骤对图像进行预处理。

所述流程3是提取图片特征和文字信息。图片特征包括但不限于直方图、颜色、结构等模式特征，和机器学习生成的卷积层特征。文字信息包括图片中的各种语言文字内容、符号含义、文字尺寸、文字所处位置等相关信息。

所述流程4是将图片特征和文字信息通过预先设计的分类器进行匹配。分类器可以使用各类人工经验设置的线性、非线性分类器，也可以使用关键词库等实时更新的匹配分类，还可以使用通过机器学习训练得到的多维度、多标记的分类器。匹配结果会显示各个维度中划分为某一个类的概率。

所述流程5是通过计算匹配概率判别输入图片是否为表情包。

所述流程6是针对已经判别为表情包的图片进行标记，具体是对流程41中各分类器的输出结果进行统计，根据设置阈值和任务需要生成多维度的标签，实现自动标记。

本发明一种表情包筛选方法使用多种算法进行图片信息分类，每秒钟识别图片数量远远超过人工操作，可以高效地对输入图片进行判断是否为表情包。使用自动化的标记模块，可以从人工每分钟标注2～3张表情包提升至每分钟标注上千张表情包，效果提高约500倍，并且可以多维度的标记表情包，方便后续的分类使用。使用人脸识别技术，机器学习技术，完全自动化操作，减少人工识别的成本，增加工作效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。