字幕显示方法和装置的制造方法
【技术领域】
[0001] 本发明涉及多媒体技术领域，特别是涉及一种字幕显示方法和装置。
【背景技术】
[0002] 视频作为一种重要的媒介手段在当今的生活中已经起到了越来越重要的作用，字 幕作为辅助视频表达的重要的手段，为了使观众能够更好的理解视频中人物所说的内容， 通常会在播放视频时显示对应的字幕。一般观众通过观看字幕、倾听视频中讲话者的语气 轻重以及观察讲话者的面部表情很容易理解讲话者的情感、想要表达的意思，从而确定重 要的故事情节，但是对于听力障碍的观众，并不能够听见讲话者的声音，因此只能依靠观看 字幕来理解剧情。
[0003] 因此，听力障碍的用户仅依靠观看字幕来理解剧情，对视频剧情的真正理解困难 较大，容易丢失重要的语义信息。因此，现有的字幕显示方法无法满足用户的需求，用户体 验较差。
【发明内容】
[0004] 本发明提供了一种字幕显示方法和装置，以解决现有的字幕显示方法无法满足用 户的需求，用户体验较差的问题。
[0005] 为了解决上述问题，本发明公开了一种字幕显示方法，包括：
[0006] 接收播放数据流，所述播放数据流包括视频信息、音频信息和字幕信息；
[0007] 分别将所述音频信息中的各语音帧与所述字幕信息中的文字进行匹配，确定与各 语音帧相匹配的文字组；
[0008] 解析所述音频信息，得到所述音频信息中的各语音帧对应的情感信息；
[0009] 分别将所述字幕信息中的各文字组标记为、能够描述与所述文字组相匹配的语音 帧对应的情感信息的文字组；
[0010] 在播放所述视频信息和所述音频信息时，同步显示标记后的字幕信息。
[0011] 优选地，在所述接收播放数据流的步骤之后，还包括：
[0012] 对所述音频信息进行分帧处理，得到所述音频信息中的多个分析帧；
[0013] 确定能够反映语音和噪声差别的特征参数；
[0014] 针对各分析帧，分别依据当前分析帧对应的所述特征参数，对当前分析帧进行端 点判决，确定当前分析帧是否为语音帧。
[0015] 优选地，所述分别将所述字幕信息中的各文字组标记为、能够描述与所述文字组 相匹配的语音帧对应的情感信息的文字组的步骤包括：
[0016] 分别将所述字幕信息中的各文字组的文字颜色标记为、能够描述与所述文字组相 匹配的语音帧对应的情感信息的颜色。
[0017] 优选地，所述分别将所述字幕信息中的各文字组标记为、能够描述与所述文字组 相匹配的语音帧对应的情感信息的文字组的步骤包括：
[0018] 分别在所述字幕信息中的各文字组的预设位置标记能够描述与所述文字组相匹 配的语音帧对应的情感信息的描述信息。
[0019] 优选地，所述分别将所述音频信息中的各语音帧与所述字幕信息中的文字进行匹 配，确定与各语音帧相匹配的文字组的步骤包括：
[0020] 获取所述音频信息中的各语音帧的时间戳和所述字幕信息中的文字的时间戳；
[0021] 针对各语音帧，分别将与当前语音帧的时间戳相同的时间戳对应的文字组成的文 字组确定为与当前语音帧相匹配的文字组。
[0022] 优选地，所述解析所述音频信息，得到所述音频信息中的各语音帧对应的情感信 息的步骤包括：
[0023] 计算所述音频信息中的各语音帧的短时能量；
[0024] 针对各语音帧，分别确定当前语音帧的短时能量对应的情感信息，将所述情感信 息确定为当前语音帧对应的情感信息。
[0025] 根据本发明的另一方面，还公开了一种字幕显示装置，包括：
[0026] 接收模块，用于接收播放数据流，所述播放数据流包括视频信息、音频信息和字幕 信息；
[0027] 匹配模块，用于分别将所述音频信息中的各语音帧与所述字幕信息中的文字进行 匹配，确定与各语音帧相匹配的文字组；
[0028] 解析模块，用于解析所述音频信息，得到所述音频信息中的各语音帧对应的情感 信息；
[0029] 标记模块，用于分别将所述字幕信息中的各文字组标记为、能够描述与所述文字 组相匹配的语音帧对应的情感信息的文字组；
[0030] 显示模块，用于在播放所述视频信息和所述音频信息时，同步显示标记后的字幕 信息。
[0031] 优选地，所述装置还包括：
[0032] 分帧模块，用于对所述音频信息进行分帧处理，得到所述音频信息中的多个分析 帧；
[0033] 确定模块，用于确定能够反映语音和噪声差别的特征参数；
[0034] 判决模块，用于针对各分析帧，分别依据当前分析帧对应的所述特征参数，对当前 分析帧进行端点判决，确定当前分析帧是否为语音帧。
[0035] 优选地，所述标记模块包括：
[0036] 颜色标记子模块，用于分别将所述字幕信息中的各文字组的文字颜色标记为、能 够描述与所述文字组相匹配的语音帧对应的情感信息的颜色。
[0037] 优选地，所述标记模块包括：
[0038] 信息标记子模块，用于分别在所述字幕信息中的各文字组的预设位置标记能够描 述与所述文字组相匹配的语音帧对应的情感信息的描述信息。
[0039] 优选地，所述匹配模块包括：
[0040] 时间获取子模块，用于获取所述音频信息中的各语音帧的时间戳和所述字幕信息 中的文字的时间戳；
[0041] 时间匹配子模块，用于针对各语音帧，分别将与当前语音帧的时间戳相同的时间 戳对应的文字组成的文字组确定为与当前语音帧相匹配的文字组。
[0042] 优选地，所述解析模块包括：
[0043] 能量计算子模块，用于计算所述音频信息中的各语音帧的短时能量；
[0044] 能量确定子模块，用于针对各语音帧，分别确定当前语音帧的短时能量对应的情 感信息，将所述情感信息确定为当前语音帧对应的情感信息。
[0045] 与现有技术相比，本发明包括以下优点：
[0046] 本发明中在接收播放数据流后，首先，分别将数据流包括的音频信息中的各语音 帧与数据流包括的字幕信息中的文字进行匹配，确定与各语音帧相匹配的文字组，并解析 音频信息得到音频信息中的各语音帧对应的情感信息；然后分别将字幕信息中的各文字组 标记为、能够描述与所述文字组相匹配的语音帧对应的情感信息的文字组；最后，在播放视 频信息时，同步显示标记后的字幕信息。通过上述方式，由于标记后的字幕信息能够描述与 文字相匹配的语音对应的情感信息，因此用户在观看视频时，能够根据对文字的标记获知 讲话者在讲这些文字时的情感信息，有助于用户（特别是听力障碍的用户）对视频剧情的 理解，因此能够满足用户的需求（如理解剧情的需求），用户体验较高。
【附图说明】
[0047] 图1是本发明实施例一的一种字幕显示方法的步骤流程图；
[0048] 图2是本发明实施例二的一种字幕显示方法的步骤流程图；
[0049] 图3是一种语音信号的波形示意图；
[0050] 图4是本发明实施例二的一种字幕显示的示意图；
[0051] 图5是本发明实施例三的一种字幕显示装置的结构框图；
[0052] 图6是本发明实施例四的一种字幕显示装置的结构框图。
【具体实施方式】
[0053] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。
[0054] 实施例一
[0055] 参照图1，示出了本发明实施例一的一种字幕显示方法的步骤流程图。
[0056] 本实施例的字幕显示方法可以包括以下步骤：
[0057] 步骤101，接收播放数据流，所述播放数据流包括视频信息、音频信息和字幕信息。
[0058] 本实施例的字幕显示方法可以应用于终端的视频网站播放视频时的字幕显示过 程中，也可以应用于智能电视播放视频时的字幕显示过程中，等等。其中，终端可以为台式 电脑、笔记本电脑、平板电脑、智能手机等，视频网站可以为安装于终端中的视频网站客户 端，也可以为在终端上通过浏览器访问的视频网站。本实施例对上述各内容并不加以限制。
[0059] 在播放视频时，首先接收播放数据流，该播放数据流为编码的数据流，接收到之后 对该播放数据流进行解码得到相应的信息，其中包括视频信息、音频信息和字幕信息，得到 这些信息进行相应的处理之后即可同步播放上述视频信息、音频信息和字幕信息。对于播 放数据流的编码、解码、信息的处理等视频播放中的过程，本领域技术人员根据实际经验进 行相关处理即可，本实施例在此不再详细论述。
[0060] 步骤102,分别将所述