弹幕的对齐方法、装置、设备、存储介质及程序产品与流程

本申请实施例涉及多媒体播放，特别涉及一种弹幕的对齐方法、装置、设备、存储介质及程序产品。

背景技术：

1、随着视频技术的发展，视频播放软件往往设置有弹幕功能，弹幕是指观看视频时弹出的评论性字幕。

2、同一视频在不同的播放时期会产生新的弹幕，但由于广告插播或审核的原因，同一视频在不同的播放时期会进行不同的剪辑处理，即，同一视频在不同的播放时期的播放内容可能不完全相同。相关技术提供了一种弹幕的对齐方法，通过画面匹配的方法进行弹幕的对齐，即，从新视频和旧视频中提取画面帧，将相同画面帧对应的时间段的弹幕进行替换，从而实现弹幕对齐。

3、然而，在一段视频中会出现很多静止或连续变化幅度不大的画面，相关技术中通过画面匹配的方法进行弹幕的对齐的方法很难匹配到正确的弹幕时间段，导致误差较大，无法实现弹幕的精准对齐。

技术实现思路

1、本申请提供了一种弹幕的对齐方法、装置、设备、存储介质及程序产品，能够基于音频特征进行音频时序匹配，实现弹幕的精准对齐。所述技术方案如下：

2、根据本申请的一方面，提供了一种弹幕的对齐方法，所述方法包括：

3、获取属于第一视频的第一音频信号对应的第一音频特征，以及属于第二视频的第二音频信号对应的第二音频特征；所述第一视频和所述第二视频隶属于同一个原始视频；

4、基于音频时序匹配，确定所述第一音频特征和所述第二音频特征中特征匹配的音频匹配时间段；所述音频时序匹配是指将所述第一音频特征中不同时间段的音频特征与所述第二音频特征中不同时间段的音频特征进行匹配；

5、将所述第二视频中所述音频匹配时间段对应的弹幕，设置为所述第一视频中所述音频匹配时间段对应的弹幕。

6、根据本申请的一方面，提供了一种弹幕的对齐装置，所述装置包括：

7、获取模块，用于获取属于第一视频的第一音频信号对应的第一音频特征，以及属于第二视频的第二音频信号对应的第二音频特征；所述第一视频和所述第二视频隶属于同一个原始视频；

8、匹配模块，用于基于音频时序匹配，确定所述第一音频特征和所述第二音频特征中特征匹配的音频匹配时间段；所述音频时序匹配是指将所述第一音频特征中不同时间段的音频特征与所述第二音频特征中不同时间段的音频特征进行匹配；

9、设置模块，用于将所述第二视频中所述音频匹配时间段对应的弹幕，设置为所述第一视频中所述音频匹配时间段对应的弹幕。

10、根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的弹幕的对齐方法。

11、根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的弹幕的对齐方法。

12、根据本申请的另一方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如上方面所述的弹幕的对齐方法。

13、本申请提供的技术方案带来的有益效果至少包括：

14、通过获取属于第一视频的第一音频信号对应的第一音频特征，以及属于第二视频的第二音频信号对应的第二音频特征；基于音频时序匹配，确定第一音频特征和第二音频特征中特征匹配的音频匹配时间段；将第二视频中音频匹配时间段对应的弹幕，设置为第一视频中音频匹配时间段对应的弹幕。本申请基于音频特征对第一视频和第二视频中的弹幕进行音频时序匹配，将第二视频中匹配的时间段对应的弹幕设置为第一视频中音频匹配时间段对应的弹幕，从而减小了误差，实现了弹幕的精准对齐。

技术特征：

1.一种弹幕的对齐方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于音频时序匹配，确定所述第一音频特征和所述第二音频特征中特征匹配的音频匹配时间段，包括：

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一音频特征中单个时间段的音频特征和所述第二音频特征中单个时间段的音频特征之间的相似度值，包括：

4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1至3任一所述的方法，其特征在于，所述获取属于第一视频的第一音频信号对应的第一音频特征，以及属于第二视频的第二音频信号对应的第二音频特征，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述样本音频特征、所述正样本音频特征和所述负样本音频特征，计算所述特征提取网络的训练损失，包括：

8.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述获取属于所述第一视频的第一说话人字幕信息对应的第一字幕语义特征，以及属于所述第二视频的第二说话人字幕信息对应的第二字幕语义特征，包括：

10.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

11.根据权利要求10所述的方法，其特征在于，所述响应于所述视频弹幕控件上的触发操作，在所述视频播放界面上以不同形式显示所述弹幕，包括：

12.根据权利要求10所述的方法，其特征在于，所述响应于所述视频弹幕控件上的触发操作，在所述视频播放界面上以不同形式显示所述弹幕，包括：

13.根据权利要求10所述的方法，其特征在于，所述响应于所述视频弹幕控件上的触发操作，在所述视频播放界面上以不同形式显示所述弹幕，包括：

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

15.一种弹幕的对齐装置，其特征在于，所述装置包括：

16.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条计算机程序，至少一条所述计算机程序由所述处理器加载并执行以实现如权利要求1至14中任一项所述的弹幕的对齐方法。

17.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如权利要求1至14中任一项所述的弹幕的对齐方法。

18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如权利要求1至14中任一项所述的弹幕的对齐方法。

技术总结
本申请公开了一种弹幕的对齐方法、装置、设备、存储介质及程序产品，属于多媒体播放技术领域。该方法包括：获取属于第一视频的第一音频信号对应的第一音频特征，以及属于第二视频的第二音频信号对应的第二音频特征；基于音频时序匹配，确定所述第一音频特征和所述第二音频特征中特征匹配的音频匹配时间段；将所述第二视频中所述音频匹配时间段对应的弹幕，设置为所述第一视频中所述音频匹配时间段对应的弹幕。本申请基于音频特征对第一视频和第二视频中的弹幕进行音频时序匹配，将第二视频中匹配的时间段对应的弹幕设置为第一视频中音频匹配时间段对应的弹幕，从而减小了误差，实现了弹幕的精准对齐。

技术研发人员：徐琛
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15