音频信号字幕匹配方法及装置与流程

本发明主要涉及字幕匹配技术领域，具体地说，尤其涉及一种音频信号字幕匹配方法及其装置。

背景技术：

多媒体是组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，其中最常见的是视频、音频以及字幕三者的组合，三者同步传输实现显示播放。音频信号与字幕信号通过多路进行传输，然后再通过音字同步的方法进行显示。目前字幕的显示技术依赖字幕服务器的资源，需要在节目编辑的后期进行字幕制作，生成字幕资源后上传到对应的字幕服务器上。如果节目没有制作字幕资源，则在播放音频内容时是不能显示对应的字幕信息，这样就表现出了字幕与音频资源匹配的局限性。同时多媒体的内容也会涉及到不同语言的问题，不能满足观众的需求，字幕的显示智能化人性化的程度低。

技术实现要素：

本发明的主要目的在于提供一种音频信号字幕匹配方法，旨在解决现有技术字幕显示依赖于字幕服务器，不能满足用户需求的问题。

为实现上述目的，本发明提供一种音频信号字幕匹配方法，所述音频信号字幕匹配方法包括以下步骤：

当终端接收到待播放数据，获取待播放数据中的音频信号；

对获取的音频信号进行识别，以得到音频信号中的语音单元；

基于预设字幕库，将各个语音单元转换为对应的默认语言字符；

将所述默认语言字符排列组合为默认语言字幕，并将默认语言字幕与待播放数据同步显示。

优选地，所述音频信号字幕匹配方法还包括：

当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言。

优选地，所述当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言的步骤包括：

根据字幕显示时间，判断待播放数据是否播放到字幕显示时间；

在待播放数据播放到字幕显示时间时，将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。

优选地，所述将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕的步骤之后还包括：

判断待播放数据是否来源于终端的本地文件，若待播放数据来源于终端的本地文件，则将转换的目标语言字幕保存至与待播放数据对应的本地文件，若待播放数据不是来源于终端的本地文件，则输出将目标语言字幕下载至本地文件保存的下载提示信息。

优选地，所述当终端接收到待播放数据，获取待播放数据中的音频信号的步骤之前包括：

检测预设字幕库是否更新，若预设字幕库没有更新，则输出更新预设字幕库的更新提示信息。

此外，为实现上述目的，本发明还提出一种音频信号字幕匹配装置，所述音频信号字幕匹配装置包括：

获取模块，用于当终端接收到待播放数据，获取待播放数据中的音频信号；

识别模块，用于对获取的音频信号进行识别，以得到音频信号中的语音单元；

转换模块，用于基于预设字幕库，将各个语音单元转换为对应的默认语言字符；

显示模块，将所述默认语言字符排列组合为默认语言字幕，并将默认语言字幕与待播放数据同步显示。

优选地，所述音频信号字幕匹配装置还包括：

调节模块，用于当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言。

优选地，所述调节模块包括：

第一判断单元，根据字幕显示时间，判断待播放数据是否播放到字幕显示时间；

控制单元，用于在待播放数据播放到字幕显示时间时，将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。

优选地，所述调节模块还包括：

第二判断单元，用于判断待播放数据是否来源于终端的本地文件，若待播放数据来源于终端的本地文件，则将转换的目标语言字幕保存至与待播放数据对应的本地文件，若待播放数据不是来源于终端的本地文件，则输出将目标语言字幕下载至本地文件保存的下载提示信息。

优选地，所述音频信号字幕匹配装置还包括：

检测模块，用于检测预设字幕库是否更新，若预设字幕库没有更新，则输出更新预设字幕库的更新提示信息。

本发明提出的音频信号字幕匹配方法，设置有与语音单元对应的预设字幕库，通过识别待播放数据中音频信号的语音单元，将各个语言单元转换为与预设字幕库中对应的默认语言字符；并将所述默认语言字符排列组合为符合人的思维逻辑的默认语言字幕，此默认语言字幕即为与待播放数据中音频信号匹配的字幕。本发明的技术方案根据预设字幕库，将音频信号实时转换为默认语言字幕。实现了将音频信号直接转换成对应的默认语言字幕，使得音频信号与字幕的匹配不依赖字幕服务器，不需要通过字幕服务器传输字幕，节省了传输过程中的带宽，使音频信号与字幕的转换更智能化。

附图说明

图1是本发明的音频信号字幕匹配方法第一实施例的流程示意图；

图2是本发明的音频信号字幕匹配方法第二实施例的流程示意图；

图3是本发明的音频信号字幕匹配方法第三实施例的流程示意图；

图4是本发明的音频信号字幕匹配方法第四实施例的流程示意图；

图5是本发明的音频信号字幕匹配方法第五实施例的流程示意图；

图6是本发明的音频信号字幕匹配装置第一实施例的功能模块示意图；

图7是本发明的音频信号字幕匹配装置第二实施例的功能模块示意图；

图8是本发明的音频信号字幕匹配装置第三实施例的调节模块的细化功能模块示意图；

图9是本发明的音频信号字幕匹配装置第四实施例的调节模块的细化功能模块示意图；

图10是本发明的音频信号字幕匹配装置第五实施例的功能模块示意图；

图11是本发明的音频信号字幕匹配方法及装置数据传输场景示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种音频信号字幕匹配方法，请参照图1，在第一实施例中，该音频信号字幕匹配方法包括以下步骤：

步骤S10，当终端接收到待播放数据，获取待播放数据中的音频信号；

本发明的实施例中，所述终端可以是电视、家庭影院等家用电器，也可以是手机、平板等移动终端。待播放数据可以是来源于诸如优酷、爱奇艺等各个网站服务器，或央视、卫视等各个电视台的服务器以及中国移动、中国联通等各个移动运营商的多媒体数据或者音频数据；也可以是下载到手机、电视、MP3等终端的多媒体数据或者音频数据；或者是用户录入的音频数据。当待播放数据是包括视频和音频的多媒体数据时，从多媒体数据中获取音频信号。当待播放数据时音频数据时，则从音频数据中获取音频信号。

步骤S20，对获取的音频信号进行识别，以得到音频信号中的语音单元；

进一步地，在获取音频信号后，对获取的音频信号进行识别，以得到音频信号中的语音单元。具体地，对音频信号进行分析，将音频信号划分为多个帧。若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组成一个单词，此可组成一个单词的若干个音素即为一个语音单元。

步骤S30，基于预设字幕库，将各个语音单元转换为对应的默认语言字符；

本发明的方案中，设置有与语音单元对应的预设字幕库，预设字幕库可从远程服务器获取也可为存储在本地的编码，预设字幕库中包含大量的字符。且根据不同的地域，预设字幕库设置有默认语言，在中国内地，预设字幕库默认语言为汉语，中国香港则为粤语，具体可根据地域进行设置。基于此预设字幕库，将各个语音单元转换为与此语音单元对应的字符，其中此字符的语言为预设字幕库的默认语言。

步骤S40，将所述默认语言字符排列组合为默认语言字幕，并将默认语言字幕与待播放数据同步显示。

可理解地，为了适用于不同的音频信号，预设字幕库不设置一个完整的句子字幕，而是一些字符，在获取了与语言单元对应的默认语言字符之后，需要对此默认语言字符进行语句转换使默认语言字符成为符合人的思维逻辑的默认语言字幕。具体地，在预设字幕库的默认语言为汉语时，当识别出一段语音单元对应预设字幕库的字符为“天气”、“很”、“今天”以及“好”，将此字符排列组合获得“今天天气很好”的字幕，将此字幕与识别的语音单元对应的待播放数据同步显示，即完成音频信号字幕的匹配。

本发明的音频信号字幕匹配方法，通过获取终端接收的待播放数据的音频信号，并对获取的音频信号进行识别得到音频信号中的语音单元；从而基于预设字幕库，将各个语音单元转换为对应的默认语言字符，并将所述默认语言字符排列组合为符合人的思维逻辑的默认语言字幕，将此默认语言字幕与待播放数据同步显示即可实现音频信号字幕的匹配。本发明的技术方案通过预设字幕库实现音频信号直接转换成对应的默认语言字幕，使得音频信号与字幕的匹配不依赖字幕服务器，不需要通过字幕服务器传输字幕，节省了传输过程中的带宽，使音频信号与字幕的转换更智能化。

进一步地，请参照图2，在本发明音频信号字幕匹配方法第一实施例的基础上，提出音频信号字幕匹配方法的第二实施例，在第二实施例中，所述音频信号字幕匹配方法还包括

步骤S50，当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言。

本发明的音频信号字幕匹配方法，可根据用户的需求或偏好对字幕的显示参数进行调节，其中可调节的字幕显示参数包括字幕显示时间以及字幕显示语言。具体地，字幕显示时间为在待播放数据播放的某一个时间点进行字幕显示，以及显示到此某一个时间点之后的另一个时间点时不再显示的字幕显示时长，也可以为待播放数据从头到尾进行显示。字幕显示语言为待播放数据所需要显示的字幕语言，可以通过预设字幕库直接转换，识别出待播放数据中音频信号的语音单元，将各个语音单元直接转换为字幕显示语言对应的字幕，也可以通过预设字幕库实时翻译，将预设字幕库的默认语言翻译为字幕显示语言，或者在预设字幕库中设置其他国家语言的字符，且每个国家的语言字符在预设字幕库中以一一对应的形式存在，如汉语中的“您好”对应英语中的“hello”以及韩语中的此外还可以对字幕显示的字体进行调节，诸如宋体、黑体或者楷体之类。当接收到用户输入的字幕设置指令，即可对字幕的显示参数进行调节，以满足用户的不同需求。且此字幕设置指令可以在待播放数据播放中的任何时间进行设置，也可以在开启终端准备播放待播放数据时设置，以满足用户不同时间显示字幕的需求。同时也可将默认语言字幕设置为不显示，无论默认字幕显示或者不显示，在接收到字幕显示语言的设置指令时，都可以通过预设字幕库的直接转换、或者预设字幕库的翻译、或者预设字幕库中各国语言的一一对应关系，将待播放数据中的音频信号所对应的字幕转换为设置的字幕显示语言所对应的字幕。

更进一步地，请参照图3，在本发明音频信号字幕匹配方法第二实施例的基础上，提出音频信号字幕匹配方法的第三实施例，在第三实施例中，所述步骤S50当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言的步骤包括：

步骤S51，根据字幕显示时间，判断待播放数据是否播放到字幕显示时间；

步骤S52，在待播放数据播放到字幕显示时间时，将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。

具体地，用户根据需求设置字幕显示时间以及字幕显示语言，可理解的，待播放数据按照从开始到结束的时间流播放，在接收到字幕显示时间后，判断待播放数据是否播放到用户需要显示字幕的字幕显示时间。当待播放数据播放到所述字幕显示时间时，将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。在一具体实施例中，用户A需要学习英语，从网站服务器上获取了一段待播放数据，此待播放数据为有音频、视频以及默认语言字幕为英语的英语演讲，此演讲的总时长为30分钟。用户A听到20分钟时，发现理解此演讲的内容较为困难，想要显示与此演讲音频相对应的中文字幕。用户A对此音频对应的字幕进行设置，设置为在演讲播放到二十分钟的时候显示汉语字幕，显示的字体为宋体。随着此演讲的播放，当判断出播放到二十分钟时，将播放的音频对应的英语字幕转换为汉语显示。转换的方式可以通过预设字幕库直接翻译，当预设字幕库转换的默认英语字幕为“What a nice day today”时，通过预设字幕库的直接翻译，显示为汉语的目标字幕语言“今天天气真好！”。也可以通过预设字幕库中设置不同国家语言字符，且不同国家语言的字符一一对应的方式进行转换，“what”对应“感叹的语气”、“a”对应“一”、“nice”对应“好”、“day”对应“天”、“today”对应“今天”，通过对目标语言字符的一一对应获取后，再转换成符合人的思维逻辑的语句形成目标语言字幕“今天天气真好！”。

可理解地，在经过转换获得目标语言字幕后，需要对目标语言字幕和声音同步显示，以获得声音、目标语言字幕同步的最佳体验。但是目标语言字幕根据默认语言字幕转换生成，而默认语言字幕从待播放数据中的音频信号转换生成，所以如果获取音频信号的频率过快，而来不及转换成默认语言字幕以及目标语言字幕，导致显示的默认语言字幕或者目标语言字幕滞后于播放的数据，用户体验差，所以需要将获取音频信号的频率调整合适的数值，以进行默认语言字幕或者目标语言字幕和音频信号的同步。在另一实施例中，用户练习英语听力，可能需要先听音频后看字幕，以确定听到的音频是否正确，也可能需要先看字幕后听听力，以有目的的练习听力。所以可选地，此获取音频信号的频率也可以根据用户需求调节，将目标语言字幕滞后或者超前于音频信号，以满足不同用户的需求。

为辅助理解，以一具体实施例加以说明，请参照图11，用户打开诸如电视、电脑、平板等终端，终端的CPU处理模块通过Wifi、Bluetooth、Cable中的其中之一方式和远端设备交互，获取多媒体流内容，远端设备可以是电信运营商、或者电视台、或者服务器。CPU处理模块将获取多媒体流内容发送到A/V模块进行解码，解码后的音视频信号经接收终端显示处理模块的A/V播放显示处理模块播放。接收模块接收遥控设备发送的遥控信息或者鼠标触控信息，以进行字幕显示时间、字幕显示语言、字幕显示字体等个人需求或偏好字幕的显示参数调节。此操作不限定于在打开终端的时候进行，也可以在播放过程中进行。其中字幕显示时间调节相当于预约功能，即预约在多媒体流播放到多久之后进行字幕显示，也可以把字幕显示时间设置为当前，在播放多媒体流的同时显示字幕。字幕显示语言由预设字幕库中的字幕类型决定，预设字幕库中有汉语、粤语、国语、韩语等类型时，则相应的字幕显示语言可设置为汉语、粤语、国语、韩语中的一类。字幕显示字体由预设字幕库的字体类型决定，预设字幕库中有宋体、黑体、楷体等类型时，则相应的字幕显示字体类型可设置为宋体、黑体、楷体中的一类，具体选择哪一时间段及哪一类字幕显示，由用户自主决定。CPU处理模块将接收模块接收的字幕设置信息，发送到存储处理模块储存，同时CPU处理模块控制音频字幕转换模块启动，音频字幕转换模块根据储存在存储处理模块中的用户字幕设置信息和经A/V模块解码后的音频信号，对音频信号进行字幕转换。转换后的字幕发送到接收终端显示处理模块的字幕显示处理模块显示，跟A/V播放显示处理模块播放的音频信号同步。最终实现音频信号与字幕按照用户需求自动匹配，自动化程度高，用户体验好。

进一步地，请参照图4，在本发明音频信号字幕匹配方法第三实施例的基础上，提出音频信号字幕匹配方法的第三实施例，在第四实施例中，所述将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕的步骤之后还包括：

步骤S53，判断待播放数据是否来源于终端的本地文件，若待播放数据源于终端的本地文件，则将转换的目标语言字幕保存至与待播放数据对应的本地文件，若待播放数据不是来源于终端的本地文件，则输出将目标语言字幕下载至本地文件保存的下载提示信息。

本发明方案，在获取符合用户阅读习惯的目标语言字幕并进行显示后，判断待播放数据是否来源于终端保存的本地文件。如果是保存在终端的本地文件，则获取保存此待播放数据的本地路径，将目标语言字幕相应的保存至此路径。用户在下次播放此待播放数据时，打开此待播放数据即可相应的打开与此待播放数据匹配的目标语言字幕，不需要再根据此待播放数据进行字幕转换，节省系统内的资源，使用方便快捷。如果判断出待播放数据不是来源于终端保存的本地文件，则输出将目标语言字幕下载至本地文件的下载提示信息。具体地，可在目标语言字幕的显示界面弹出一个对话框，对话框中显示是否需要将目标语言字幕进行下载保存的选项，用户根据需要进行选择。如果用户选择不下载保存，则继续待播放数据的播放并显示与待播放数据匹配的目标语言字幕，如果用户选择下载保存，在接收此输入的下载信息后，执行目标语言字幕的下载操作。在另一实施例中，此目标字幕也可保存在运营商服务器，在保存至运营商服务器的同时对目标语言字幕转换前设置的字幕显示时间以及字幕显示语言进行相应保存。在用户进行其他音频信号播放时，根据此字幕显示时间以及字幕显示语言，运营商优选选择与此字幕的显示参数对应的字幕语言进行推荐，从而提高音频信号与字幕匹配的智能化程度。

进一步地，请参照图5，在本发明音频信号字幕匹配方法第四实施例的基础上，提出音频信号字幕匹配方法的第五实施例，在第五实施例中，所述当终端接收到待播放数据，获取待播放数据中的音频信号的步骤之前包括：

步骤S60，检测预设字幕库是否更新，若预设字幕库没有更新，则输出更新预设字幕库的更新提示信息。

本实施例中，在终端启动，接收待播放数据之前，检测预设字幕库是否更新，若检测出预设字幕库已经更新到最新状态，则进入终端开机后的界面。若检测出预设字幕库没有更新，则输出更新预设字幕库的更新提示信息，用户基于此更新提示信息确定更新，接收到用户输入的更新信息，更新预设字幕库。具体地，可在终端开机后的显示界面弹出一个对话框，对话框中显示是否需要更新预设字幕库的选项，用户根据需要进行选择。如果用户选择不更新，则进入终端开机后的界面，预设字幕库中的字符不进行更新。如果用户选择更新，在接收此更新指令后，执行预设字幕库更新操作。更新的内容取决于服务器对预设字幕库的更新内容，可以为对字幕语言种类的增加，也可以对预设字幕库中的字符进行完善。更新完成后，用户可选择的字幕更丰富，提高用户体验性。

本发明还提供一种音频信号字幕匹配装置，参照图6，在一实施例中，本发明提供的音频信号字幕匹配装置包括：

获取模块10，用于当终端接收到待播放数据，获取待播放数据中的音频信号；

本发明的实施例中，所述终端可以是电视、家庭影院等家用电器，也可以是手机、平板等移动终端。待播放数据可以是来源于诸如优酷、爱奇艺等各个网站服务器，或央视、卫视等各个电视台的服务器以及中国移动、中国联通等各个移动运营商的多媒体数据或者音频数据；也可以是下载到手机、电视、MP3等终端的多媒体数据或者音频数据；或者是用户录入的音频数据。当待播放数据是包括视频和音频的多媒体数据时，获取模块10从多媒体数据中获取音频信号。当待播放数据时音频数据时，则获取模块10从音频数据中获取音频信号。

识别模块20，用于对获取的音频信号进行识别，以得到音频信号中的语音单元；

进一步地，在获取音频信号后，识别模块20对获取的音频信号进行识别，以得到音频信号中的语音单元。具体地，对音频信号进行分析，将音频信号划分为多个帧。若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组成一个单词，此可组成一个单词的若干个音素即为一个语音单元。

转换模块30，用于基于预设字幕库，将各个语音单元转换为对应的默认语言字符；

本发明的方案中，设置有与语音单元对应的预设字幕库，预设字幕库可从远程服务器获取也可为存储在本地的编码，预设字幕库中包含大量的字符。且根据不同的地域，预设字幕库设置有默认语言，在中国内地，预设字幕库默认语言为汉语，中国香港则为粤语，具体可根据地域进行设置。基于此预设字幕库，转换模块30将各个语音单元转换为与此语音单元对应的字符，其中此字符的语言为预设字幕库的默认语言。

显示模块40，将所述默认语言字符排列组合为默认语言字幕，并将默认语言字幕与待播放数据同步显示。

可理解地，为了适用于不同的音频信号，预设字幕库不设置一个完整的句子字幕，而是一些字符，在获取了与语言单元对应的默认语言字符之后，需要对此默认语言字符进行语句转换使默认语言字符成为符合人的思维逻辑的默认语言字幕。具体地，在预设字幕库的默认语言为汉语时，当识别出一段语音单元对应预设字幕库的字符为“天气”、“很”、“今天”以及“好”，将此字符排列组合获得“今天天气很好”的字幕，显示模块40将此字幕与识别的语音单元对应的待播放数据同步显示，即完成音频信号字幕的匹配。

本发明的音频信号字幕匹配装置，通过获取模块10获取终端接收的待播放数据的音频信号，识别模块20对获取的音频信号进行识别得到音频信号中的语音单元；从而基于预设字幕库，转换模块30将各个语音单元转换为对应的默认语言字符；显示单元40将所述默认语言字符排列组合为符合人的思维逻辑的默认语言字幕后，将此默认语言字幕与待播放数据同步显示即可实现音频信号字幕的匹配。本发明的技术方案通过预设字幕库实现音频信号直接转换成对应的默认语言字幕，使得音频信号与字幕的匹配不依赖字幕服务器，不需要通过字幕服务器传输字幕，节省了传输过程中的带宽，使音频信号与字幕的转换更智能化。

进一步地，参照图7，基于本发明音频信号字幕匹配装置第一实施例，在本发明音频信号字幕匹配装置第二实施例中，所述音频信号字幕匹配装置还包括：

调节模块50，用于当接收到字幕设置指令时，根据字幕设置指令对字幕的显示参数进行调节，其中字幕的显示参数包括字幕显示时间和字幕显示语言。

本发明的音频信号字幕匹配方法，可根据用户的需求或偏好通过调节模块50对字幕的显示参数进行调节，其中可调节的字幕显示参数包括字幕显示时间以及字幕显示语言。具体地，字幕显示时间为在待播放数据播放的某一个时间点进行字幕显示，以及显示到此某一个时间点之后的另一个时间点时不再显示的字幕显示时长，也可以为待播放数据从头到尾进行显示。字幕显示语言为待播放数据所需要显示的字幕语言，可以通过预设字幕库直接转换，识别出待播放数据中音频信号的语音单元，将各个语音单元直接转换为字幕显示语言对应的字幕，也可以通过预设字幕库实时翻译，将预设字幕库的默认语言翻译为字幕显示语言，或者在预设字幕库中设置其他国家语言的字符，且每个国家的语言字符在预设字幕库中以一一对应的形式存在，如汉语中的“您好”对应英语中的“hello”以及韩语中的此外还可以对字幕显示的字体进行调节，诸如宋体、黑体或者楷体之类。当接收到用户输入的字幕设置指令，即可对字幕的显示参数进行调节，以满足用户的不同需求。且此字幕设置指令可以在待播放数据播放中的任何时间进行设置，也可以在开启终端准备播放待播放数据时设置，以满足用户不同时间显示字幕的需求。同时也可将默认语言字幕设置为不显示，无论默认字幕显示或者不显示，在接收到字幕显示语言的设置指令时，都可以通过预设字幕库的直接转换、或者预设字幕库的翻译、或者预设字幕库中各国语言的一一对应关系，将待播放数据中的音频信号所对应的字幕转换为设置的字幕显示语言所对应的字幕。

进一步地，参照图8，基于本发明音频信号字幕匹配装置第二实施例，在本发明音频信号字幕匹配装置第三实施例中，所述调节模块50包括：

第一判断单元51，根据字幕显示时间，判断待播放数据是否播放到字幕显示时间；

控制单元52，用于在待播放数据播放到字幕显示时间时，将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。

具体地，用户根据需求设置字幕显示时间以及字幕显示语言，可理解的，待播放数据按照从开始到结束的时间流播放，在接收到字幕显示时间后，第一判断单元51判断待播放数据是否播放到用户需要显示字幕的字幕显示时间。当待播放数据播放到所述字幕显示时间时，控制单元52将与待播放数据对应的默认语言字幕转换为字幕显示语言对应的目标语言字幕。在一具体实施例中，用户A需要学习英语，从网站服务器上获取了一段待播放数据，此待播放数据为有音频、视频以及默认语言字幕为英语的英语演讲，此演讲的总时长为30分钟。用户A听到20分钟时，发现理解此演讲的内容较为困难，想要显示与此演讲音频相对应的中文字幕。用户A对此音频对应的字幕进行设置，设置为在演讲播放到二十分钟的时候显示汉语字幕，显示的字体为宋体。随着此演讲的播放，当判断出播放到二十分钟时，将播放的音频对应的英语字幕转换为汉语显示。转换的方式可以通过预设字幕库直接翻译，当预设字幕库转换的默认英语字幕为“What a nice day today”时，通过预设字幕库的直接翻译，显示为汉语的目标字幕语言“今天天气真好！”。也可以通过预设字幕库中设置不同国家语言字符，且不同国家语言的字符一一对应的方式进行转换，“what”对应“感叹的语气”、“a”对应“一”、“nice”对应“好”、“day”对应“天”、“today”对应“今天”，通过对目标语言字符的一一对应获取后，再转换成符合人的思维逻辑的语句形成目标语言字幕“今天天气真好！”。

可理解地，在经过转换获得目标语言字幕后，需要对目标语言字幕和声音同步显示，以获得声音、目标语言字幕同步的最佳体验。但是目标语言字幕根据默认语言字幕转换生成，而默认语言字幕从待播放数据中的音频信号转换生成，所以如果获取音频信号的频率过快，而来不及转换成默认语言字幕以及目标语言字幕，导致显示的默认语言字幕或者目标语言字幕滞后于播放的数据，用户体验差，所以需要将获取音频信号的频率调整合适的数值，以进行默认语言字幕或者目标语言字幕和音频信号的同步。在另一实施例中，用户练习英语听力，可能需要先听音频后看字幕，以确定听到的音频是否正确，也可能需要先看字幕后听听力，以有目的的练习听力。所以可选地，此获取音频信号的频率也可以根据用户需求调节，将目标语言字幕滞后或者超前于音频信号，以满足不同用户的需求。

为辅助理解，以一具体实施例加以说明，请参照图11，用户打开诸如电视、电脑、平板等终端，终端的CPU处理模块通过Wifi、Bluetooth、Cable中的其中之一方式和远端设备交互，获取多媒体流内容，远端设备可以是电信运营商、或者电视台、或者服务器。CPU处理模块将获取多媒体流内容发送到A/V模块进行解码，解码后的音视频信号经接收终端显示处理模块的A/V播放显示处理模块播放。接收模块接收遥控设备发送的遥控信息或者鼠标触控信息，以进行字幕显示时间、字幕显示语言、字幕显示字体等个人需求或偏好字幕的显示参数调节。此操作不限定于在打开终端的时候进行，也可以在播放过程中进行。其中字幕显示时间调节相当于预约功能，即预约在多媒体流播放到多久之后进行字幕显示，也可以把字幕显示时间设置为当前，在播放多媒体流的同时显示字幕。字幕显示语言由预设字幕库中的字幕类型决定，预设字幕库中有汉语、粤语、国语、韩语等类型时，则相应的字幕显示语言可设置为汉语、粤语、国语、韩语中的一类。字幕显示字体由预设字幕库的字体类型决定，预设字幕库中有宋体、黑体、楷体等类型时，则相应的字幕显示字体类型可设置为宋体、黑体、楷体中的一类，具体选择哪一时间段及哪一类字幕显示，由用户自主决定。CPU处理模块将接收模块接收的字幕设置信息，发送到存储处理模块储存，同时CPU处理模块控制音频字幕转换模块启动，音频字幕转换模块根据储存在存储处理模块中的用户字幕设置信息和经A/V模块解码后的音频信号，对音频信号进行字幕转换。转换后的字幕发送到接收终端显示处理模块的字幕显示处理模块显示，跟A/V播放显示处理模块播放的音频信号同步。最终实现音频信号与字幕按照用户需求自动匹配，自动化程度高，用户体验好。

进一步地，参照图9，基于本发明音频信号字幕匹配装置第三实施例，在本发明音频信号字幕匹配装置第四实施例中，所述调节模块50还包括：

第二判断单元53，用于判断待播放数据是否来源于终端的本地文件，若待播放数据来源于终端的本地文件，则将转换的目标语言字幕保存至与待播放数据对应的本地文件，若待播放数据不是来源于终端的本地文件，则输出将目标语言字幕下载至本地文件保存的下载提示信息。

本发明方案，在获取符合用户阅读习惯的目标语言字幕并进行显示后，第二判断单元53判断待播放数据是否来源于终端保存的本地文件。如果是保存在终端的本地文件，则获取保存此待播放数据的本地路径，将目标语言字幕相应的保存至此路径。用户在下次播放此待播放数据时，打开此待播放数据即可相应的打开与此待播放数据匹配的目标语言字幕，不需要再根据此待播放数据进行字幕转换，节省系统内的资源，使用方便快捷。如果判断出待播放数据不是来源于终端保存的本地文件，则输出将目标语言字幕下载至本地文件的下载提示信息。具体地，可在目标语言字幕的显示界面弹出一个对话框，对话框中显示是否需要将目标语言字幕进行下载保存的选项，用户根据需要进行选择。如果用户选择不下载保存，则继续待播放数据的播放并显示与待播放数据匹配的目标语言字幕，如果用户选择下载保存，在接收此输入的下载信息后，执行目标语言字幕的下载操作。在另一实施例中，此目标字幕也可保存在运营商服务器，在保存至运营商服务器的同时对目标语言字幕转换前设置的字幕显示时间以及字幕显示语言进行相应保存。在用户进行其他音频信号播放时，根据此字幕显示时间以及字幕显示语言，运营商优选选择与此字幕的显示参数对应的字幕语言进行推荐，从而提高音频信号与字幕匹配的智能化程度。

进一步地，参照图10，基于本发明音频信号字幕匹配装置第四实施例，在本发明音频信号字幕匹配装置第五实施例中，所述音频信号字幕匹配装置还包括：

检测模块60，用于检测预设字幕库是否更新，若预设字幕库没有更新，则输出更新预设字幕库的更新提示信息。

本实施例中，在终端启动，接收待播放数据之前，检测模块60检测预设字幕库是否更新，若检测出预设字幕库已经更新到最新状态，则进入终端开机后的界面。若检测出预设字幕库没有更新，则输出更新预设字幕库的更新提示信息，用户基于此更新提示信息确定更新，接收到用户输入的更新信息，更新预设字幕库。具体地，可在终端开机后的显示界面弹出一个对话框，对话框中显示是否需要更新预设字幕库的选项，用户根据需要进行选择。如果用户选择不更新，则进入终端开机后的界面，预设字幕库中的字符不进行更新。如果用户选择更新，在接收此更新指令后，执行预设字幕库更新操作。更新的内容取决于服务器对预设字幕库的更新内容，可以为对字幕语言种类的增加，也可以对预设字幕库中的字符进行完善。更新完成后，用户可选择的字幕更丰富，提高用户体验性。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。