技术特征：
1.一种多媒体信息的播放控制方法，其特征在于，包括：确定当前多媒体信息；定位所述当前多媒体信息中的精彩事件的起止时间序列；根据所述起止时间序列剪辑出所述当前多媒体信息中包括所述精彩事件的当前精彩片段；获得与所述当前精彩片段匹配的目标自动描述信息，所述目标自动描述信息包括所述当前精彩片段的多维度标签识别结果；播放所述当前精彩片段的同时，展示所述目标自动描述信息。2.根据权利要求1所述的方法，其特征在于，定位所述当前多媒体信息中的精彩事件的起止时间序列，包括：获得所述当前多媒体信息的当前视频特征矩阵；获得所述当前多媒体信息的当前音频特征矩阵；拼接所述当前视频特征矩阵和所述当前音频特征矩阵，获得所述当前多媒体信息的当前融合特征矩阵；将所述当前融合特征矩阵输入至精彩片段时序定位模型中，确定所述当前多媒体信息中的精彩事件的起止时间序列。3.根据权利要求2所述的方法，其特征在于，获得所述当前多媒体信息的当前视频特征矩阵，包括：按视频抽帧率对所述当前多媒体信息进行抽帧，获得当前视频帧序列；将所述当前视频帧序列中的当前视频帧依次输入至视频特征编码模型中，提取各当前视频帧的视频特征向量；按照时间顺序拼接各当前视频帧的视频特征向量，获得所述当前多媒体信息的当前视频特征矩阵；其中，获得所述当前多媒体信息的当前音频特征矩阵，包括：从所述当前多媒体信息中抽取当前音频文件；按预定长度滑窗提取所述当前音频文件中的当前音频序列；将所述当前音频序列中的当前音频依次输入至音频特征编码模型中，提取各当前音频的音频特征向量；按照时间序列拼接各当前音频的音频特征向量，获得所述当前多媒体信息的当前音频特征矩阵。4.根据权利要求3所述的方法，其特征在于，还包括：获得训练视频及所述训练视频中的精彩事件的标注起止时间对；获得所述训练视频的训练视频特征矩阵；获得所述训练视频的训练音频特征矩阵；拼接所述训练视频特征矩阵和所述训练音频特征矩阵，获得所述训练视频的训练融合特征矩阵；将所述训练融合特征矩阵输入至时序定位网络模型，获得所述训练视频中的精彩事件的预测起止时间对；根据所述预测起止时间对及其标注起止时间对训练所述时序定位网络模型，获得所述
精彩片段时序定位模型。5.根据权利要求4所述的方法，其特征在于，获得所述训练视频的训练视频特征矩阵，包括：以所述视频抽帧率对所述训练视频进行抽帧，获得训练视频帧序列；根据所述训练视频帧序列中的训练视频帧是否处于所述标注起止时间对的标注时间区间内，确定各训练视频帧的标签为精彩画面或者背景画面；利用标签为所述精彩画面或所述背景画面的各训练视频帧训练卷积神经网络模型，获得精彩背景图像二分类网络模型，其中所述精彩背景图像二分类网络模型包括分类层；将训练获得的所述精彩背景图像二分类网络模型剔除所述分类层，作为所述视频特征编码模型；按照时间顺序拼接所述视频特征编码模型输出的各训练视频帧的视频特征向量，获得所述训练视频的训练视频特征矩阵。6.根据权利要求1所述的方法，其特征在于，获得与所述当前精彩片段匹配的目标自动描述信息，包括：利用多维度标签识别模型处理所述当前精彩片段，获得所述当前精彩片段的多维度标签识别结果；综合所述当前精彩片段的多维度标签识别结果，获得所述当前精彩片段的目标标签分类结果；根据所述当前精彩片段的目标标签分类结果，获得与所述当前精彩片段匹配的目标自动描述信息。7.根据权利要求6所述的方法，其特征在于，所述当前多媒体信息为虚拟游戏，所述多维度标签识别模型包括英雄识别模型、团战规模识别模型、我方敌方人数识别模型、能量识别模型、越塔识别模型、闪现识别模型、播报文字识别模型和播报框颜色识别模型，所述多维度标签识别结果包括目标英雄、目标团战规模、目标我方敌方人数、目标能量、目标越塔识别结果、目标闪现识别结果、目标播报文字识别结果和目标播报框颜色识别结果；其中，利用多维度标签识别模型处理所述当前精彩片段，获得所述当前精彩片段的多维度标签识别结果，包括：分别确定所述英雄识别模型、所述团战规模识别模型、所述我方敌方人数识别模型、所述能量识别模型、所述越塔识别模型、所述闪现识别模型、所述播报文字识别模型和所述播报框颜色识别模型的第一至第八抽帧率和第一至第八空间抠图区域；对所述当前精彩片段分别按照第一至第八抽帧率和第一至第八空间抠图区域抽帧，获得第一至第八当前图像帧序列；将第一至第八当前图像帧序列中的当前图像帧分别输入至所述英雄识别模型、所述团战规模识别模型、所述我方敌方人数识别模型、所述能量识别模型、所述越塔识别模型、所述闪现识别模型、所述播报文字识别模型和所述播报框颜色识别模型，确定所述当前精彩片段中的所述目标英雄、所述目标团战规模、所述目标我方敌方人数、所述目标能量、所述目标越塔识别结果、所述目标闪现识别结果、所述目标播报文字识别结果和所述目标播报框颜色识别结果。8.根据权利要求7所述的方法，其特征在于，还包括：
获得训练视频及所述训练视频中的精彩事件的标注起止时间对；根据所述标注起止时间对从所述训练视频中剪辑出训练精彩片段；对所述训练精彩片段分别按照第一至第八抽帧率和第一至第八空间抠图区域抽帧，获得第一至第八训练图像帧序列；分别获得第一至第八训练图像帧序列中的训练图像帧的英雄标签、团战规模标签、我方敌方人数标签、能量标签、越塔标签、闪现标签、播报文字标签和播报框颜色标签；将第一至第八训练图像帧序列中的训练图像帧分别输入至第一至第八图像分类模型，输出其预测英雄、预测团战规模、预测我方敌方人数、预测能量、预测越塔、预测闪现、预测播报文字和预测播报框颜色；根据所述英雄标签及其预测英雄训练所述第一图像分类模型，获得所述英雄识别模型；根据所述团战规模标签及其预测团战规模训练所述第二图像分类模型，获得所述团战规模识别模型；根据所述我方敌方人数标签及其预测我方敌方人数训练所述第三图像分类模型，获得所述我方敌方人数识别模型；根据所述能量标签及其预测能量训练所述第四图像分类模型，获得所述能量识别模型；根据所述越塔标签及其预测越塔训练所述第五图像分类模型，获得所述越塔识别模型；根据所述闪现标签及其预测闪现训练所述第六图像分类模型，获得所述闪现识别模型；根据所述播报文字标签及其预测播报文字训练所述第七图像分类模型，获得所述播报文字识别模型；根据所述播报框颜色标签及其预测播报框颜色训练所述第八图像分类模型，获得所述播报框颜色识别模型。9.根据权利要求7所述的方法，其特征在于，所述目标标签分类结果包括所述目标英雄、所述目标团战规模、目标击败类型、目标逃生类型和目标击败数；其中，综合所述当前精彩片段的多维度标签识别结果，获得所述当前精彩片段的目标标签分类结果，包括：根据所述当前精彩片段中的所述目标我方敌方人数、所述目标能量、所述目标越塔识别结果、所述目标闪现识别结果、所述目标播报文字识别结果和所述目标播报框颜色识别结果，确定所述当前精彩片段的所述目标击败类型、所述目标逃生类型和所述目标击败数。10.根据权利要求6所述的方法，其特征在于，所述目标描述信息包括目标自动解说；其中，根据所述当前精彩片段的目标标签分类结果，获得与所述当前精彩片段匹配的目标自动描述信息，包括：获得解说模板；根据所述解说模板和所述目标标签分类结果，确定所述目标自动解说。11.根据权利要求6或10所述的方法，其特征在于，所述目标描述信息包括目标自动弹幕；其中，根据所述当前精彩片段的目标标签分类结果，获得与所述当前精彩片段匹配的目标自动描述信息，包括：获得弹幕语料库，所述弹幕语料库包括每个标签分类结果及其对应的弹幕语料，所述标签分类结果包括所述目标标签分类结果；根据所述目标标签分类结果从所述弹幕语料库中匹配获得目标弹幕语料作为所述目标自动弹幕。12.一种多媒体信息的播放控制装置，其特征在于，包括：多媒体信息确定单元，用于确定当前多媒体信息；起止时间序列定位单元，用于定位所述当前多媒体信息中的精彩事件的起止时间序
列；当前精彩片段剪辑单元，用于根据所述起止时间序列剪辑出所述当前多媒体信息中包括所述精彩事件的当前精彩片段；自动描述信息获得单元，用于获得与所述当前精彩片段匹配的目标自动描述信息，所述目标自动描述信息包括所述当前精彩片段的多维度标签识别结果；片段描述同时播放单元，用于播放所述当前精彩片段的同时，展示所述目标自动描述信息。13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至11任一项所述的方法。14.一种电子设备，其特征在于，包括：至少一个处理器；存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1至11任一项所述的方法。
技术总结
本公开提供了一种多媒体信息的播放控制方法及相关设备，属于计算机与通信技术领域。该方法包括：确定当前多媒体信息；定位所述当前多媒体信息中的精彩事件的起止时间序列；根据所述起止时间序列剪辑出所述当前多媒体信息中包括所述精彩事件的当前精彩片段；获得与所述当前精彩片段匹配的目标自动描述信息，目标自动描述信息包括当前精彩片段的多维度标签识别结果；播放所述当前精彩片段的同时，展示所述目标自动描述信息。通过本公开实施例提供的技术方案，可以自动定位当前多媒体信息中的当前精彩片段，并给出与之匹配的目标自动描述信息，可以基于人工智能技术来实现，并可适用于虚拟游戏的视频场景。用于虚拟游戏的视频场景。用于虚拟游戏的视频场景。
技术研发人员：袁微 田思达
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.12.30
技术公布日：2022/6/30