一种消息审核方法及装置、设备、存储介质与流程

本申请涉及计算机应用领域，尤其涉及一种消息审核方法及装置、设备、存储介质。

背景技术：

1、近年来，第五代移动通信技术(5th generation mobile communicationtechnology，5g)技术的商用化日渐成熟。2020年4月，中国移动、中国联通、中国电信联合华为、小米等终端厂商联合发布了《5g消息白皮书》。5g消息的推出实现了短信的智能化，无需下载就能够收发短信、影音、表情等信息，这为日常生活的消息传递带来了更多便捷性。2022年6月，中国移动5g套餐客户数累计达到5.10943亿户，在亿级别的用户规模下，5g消息的商业市场规模有望达到千亿甚至万亿，具有极大的经济价值和社会价值。

2、随着5g消息商用的加速，其消息数量呈现不断上升的趋势，包含有害内容的信息也随之递增，严重影响了用户的体验，所以需要加强对消息的审核，现有技术在对消息进行审核时，是直接对消息中的文本信息进行审核，导致审核的准确性低。

技术实现思路

1、本申请实施例提供一种消息审核方法及装置、设备、存储介质，能够提高在对消息审核进行时的准确性。

2、本申请的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种消息审核方法，所述方法包括：

4、获取待审核消息；所述待审核消息中包括待审核文本和待审核图像；

5、分别对所述待审核文本和所述待审核图像进行数据处理，得到所述待审核文本对应的文本表征和所述待审核图像对应的图像表征；

6、对所述文本表征和所述图像表征进行融合，得到多模态表征；并将所述多模态表征输入预设审核模型中，得到所述待审核消息对应的审核结果。

7、在上述消息审核方法中，所述分别对所述待审核文本和所述待审核图像进行数据处理，得到所述待审核文本对应的文本表征和所述待审核图像对应的图像表征，包括：

8、对所述待审核文本进行向量表征，得到所述待审核文本对应的所述文本表征；

9、对所述待审核图像进行高维映射，得到所述待审核图像对应的所述图像表征。

10、在上述消息审核方法中，所述对所述文本表征和所述图像表征进行融合，得到多模态表征，包括：

11、利用预设多任务模型对所述文本表征进行特征提取，得到所述文本表征对应的实体表征和情感表征；

12、将所述实体表征、所述情感表征添加至所述文本表征中，得到文本融合表征；

13、将所述文本融合表征和所述图像表征进行融合，得到所述多模态表征。

14、在上述消息审核方法中，所述预设多任务模型包括预训练模型、条件随机场crf层和全连接层，所述利用预设多任务模型对所述文本表征进行特征提取，得到所述文本表征对应的实体表征和情感表征，包括：

15、利用所述预训练模型中的自注意力机制对所述文本表征进行加权学习，得到表征结果；

16、将所述表征结果输入所述crf层中，得到所述文本表征对应的实体；并将所述表征结果输入所述全连接层中，得到所述文本表征对应的情感倾向；

17、分别将所述实体和所述情感倾向映射为与所述文本表征同一维度的所述实体表征和所述情感表征。

18、在上述消息审核方法中，所述将所述文本融合表征和所述图像表征进行融合，得到所述多模态表征，包括：

19、将所述文本融合表征和所述图像表征输入多模态预训练模型中，得到结合图像特征的文本融合表征和结合文本特征的图像表征；

20、将所述结合图像特征的文本融合表征和所述结合文本特征的图像表征进行融合，得到所述多模态表征。

21、在上述消息审核方法中，所述将所述文本融合表征和所述图像表征输入多模态预训练模型中之前，所述方法还包括：

22、分别对所述文本融合表征和所述图像表征进行降维，得到降维后的文本融合表征和降维后的图像表征；所述降维后的文本融合表征和所述降维后的图像表征处于同一维度；

23、所述将所述文本融合表征和所述图像表征输入多模态预训练模型中，包括：

24、将所述降维后的文本融合表征和所述降维后的图像表征输入多模态预训练模型中。

25、在上述消息审核方法中，所述将所述降维后的文本融合表征和所述降维后的图像表征输入多模态预训练模型中之后，所述方法还包括：

26、利用所述多模态预训练模型中的注意力机制和所述降维后的图像表征对所述降维后的文本融合表征进行加权，得到所述结合图像特征的文本融合表征；

27、利用所述多模态预训练模型中的注意力机制和所述降维后的文本融合表征对所述降维后的图像表征进行加权，得到所述结合文本特征的图像表征。

28、第二方面，本申请实施例提供一种消息审核装置，所述装置包括：

29、获取模块，用于获取待审核消息；所述待审核消息中包括待审核文本和待审核图像；

30、数据处理模块，用于分别对所述待审核文本和所述待审核图像进行数据处理，得到所述待审核文本对应的文本表征和所述待审核图像对应的图像表征；

31、融合模块，用于对所述文本表征和所述图像表征进行融合，得到多模态表征；

32、输入模块，用于将所述多模态表征输入预设审核模型中，得到所述待审核消息对应的审核结果。

33、第三方面，本申请实施例提供一种消息审核设备，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的消息审核方法。

34、第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任一项所述的消息审核方法。

35、本申请实施例提供了一种消息审核方法及装置、设备、存储介质，该方法包括：获取待审核消息；待审核消息中包括待审核文本和待审核图像；分别对待审核文本和待审核图像进行数据处理，得到待审核文本对应的文本表征和待审核图像对应的图像表征；对文本表征和图像表征进行融合，得到多模态表征；并将多模态表征输入预设审核模型中，得到待审核消息对应的审核结果；采用上述实现方案，本申请通过将消息中的图像特征和文本特征相结合，能够在根据图像特征和文本特征对消息进行审核时充分考虑消息中图像和文本之间的关联性，进而能够提高在对消息审核进行时的准确性。

技术特征：

1.一种消息审核方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述分别对所述待审核文本和所述待审核图像进行数据处理，得到所述待审核文本对应的文本表征和所述待审核图像对应的图像表征，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述文本表征和所述图像表征进行融合，得到多模态表征，包括：

4.根据权利要求3所述的方法，其特征在于，所述预设多任务模型包括预训练模型、条件随机场crf层和全连接层，所述利用预设多任务模型对所述文本表征进行特征提取，得到所述文本表征对应的实体表征和情感表征，包括：

5.根据权利要求3所述的方法，其特征在于，所述将所述文本融合表征和所述图像表征进行融合，得到所述多模态表征，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述文本融合表征和所述图像表征输入多模态预训练模型中之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述降维后的文本融合表征和所述降维后的图像表征输入多模态预训练模型中之后，所述方法还包括：

8.一种消息审核装置，其特征在于，所述装置包括：

9.一种消息审核设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-7任一项0所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

技术总结
本申请实施例提供了一种消息审核方法及装置、设备、存储介质，该方法包括：获取待审核消息；待审核消息中包括待审核文本和待审核图像；分别对待审核文本和待审核图像进行数据处理，得到待审核文本对应的文本表征和待审核图像对应的图像表征；对文本表征和图像表征进行融合，得到多模态表征；并将多模态表征输入预设审核模型中，得到待审核消息对应的审核结果；通过上述技术方案，达到提高在对消息审核进行时的准确性的目的。

技术研发人员：冯梦菲,王惠欣
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/1/15