专利名称：用户可控的音视频同步调节的方法、系统和设备的制作方法
技术领域：
本发明涉及多媒体技术，特别涉及一种用户可控的音视频同步调节的方 法、系统和终端设备。
背景技术：
随着科技的发展，人们越来越重视视听享受，多媒体技术的发展，使人 们的愿望得到了满足。
多媒体内容在播放时，最令人头痛的就是音视频不同步。所谓的音视频
不同步(即也称音唇不同步)是当声音和图像的不同步时间超过400毫秒 时，人们就会感觉到声音和口型无法对应的现象。音视频不同步现象的产生 会极大地降低用户的体验效果。因此，如何保证用户最后体验到同步的声音 和图像效果，即这里我们所称的音视频同步，就显得极为重要。影响最终用 户体验同步效果的关键因素包括发送端的数据同步性、传输通道的性能和 接收端的同步处理。因此，现有的相关技术大多是要从这3个方面的设备相 互配合才能实现，即采用发送端与接收端插入同步戳的方法去实现音视频的 同步。其实现方式可以利用图l来进行说明发送端设备130在采集到音频 流IIO和视频流120后，通过同步标识添加才莫块131给数据流添加具有同步 特征的标志F,如同步时戳，并利用RTP (Real-time Transport Protocol, 实时传送协议)数据包封装模块132将添加同步标识的音视频流封装成RTP 数据包；然后经过网络传输通道140进行传输；接收端设备150在接收到音 频和视频的RTP数据包后，利用RTP数据包解封装模块151取出其中的同 步标志F，在同一 CPU时钟下，根据该同步标志来进行音频和浮见频凄史据的 解码，最终实现音^L频同步效果，得到同步后的音频流160与^L频流170。其处理的流程图可参考图2。
在实现本发明过程中，发明人发现现有技术至少存在如下缺点
1、 需要发送方和接受方设备同时理解同步特征，遵从同一套协议，且
要求中间的传输设备不能修改码流中的同步特征标志；这样对单独的终端设 备(如发送设备、或者接受终端)的兼容性要求就比较高，整体方案的实现 成本也比较高。
2、 在应用场景中，如果音视频数据分别取自不同的设备终端，或者发 送设备采集的音视频数据源本身就不同步，又或者音视频数据流分别进入不 同的接收终端，现有技术方案就无能为力了。
发明内容
为了克服现有音视频同步技术复杂、成本高的不足,本发明实施例提供 了一种用户可控的音视频同步调节的方法、系统和设备，以便于使音视频调 节不再受不同的音视频接收终端、采集的音视频数据源本身不同步以及音视 频数据流进入不同的接收终端等因素的限制，使得音视频同步调节的实现成 本更低，增加了用户的可操作性，保证了同步的调节结果。
在本发明的一个实施例中，可以提供一种用户可控的音视频同步调节的方 法，其包括以下步骤输入音视频同步调节参数；根据输入参数进行音视频输 出的同步调节。
在本发明的又一个实施例中，可以提供一种用户可控的音视频同步调节终 端系统，其包括音频数据输出设备、视频数据输出设备与音视频同步调节设 备，通过将音频数据输出设备输出的音频数据与视频数据输出设备输出的视频 数据进行同步比较，若发现两者不同步时，利用音视频同步调节设备对音视频 数据的不同步状况进行调节。
在本发明的又一个实施例中，可以提供一种用户可控的音视频同步调节设 备，其包括音频同步处理模块和/或视频同步处理模块以及同步参数输入模块， 其中，音频同步处理模块用于对音频数据的播放进行同步调节，和/或视频同步处理模块，用于对视频数据的显示进行同步调节，当音视频数据输出不同步时， 利用同步参数输入模块将用户输入音视频同步调节参数转换成音频和/或视频 同步调节指令。
本发明实施例中的技术方案至少具有如下的优点可以由用户根据自己 的体验进行音视频同步调节参数的输入，利用得到的音视频同步调节参数， 音视频同步调节设备能够根据 一定的判断策略以及用户的选择对音频数据 流或者视频数据流直接进行变速处理，与现有技术中必须通过在发送端设备 的音视频数据流中加入同步特征标识，在接收端设备根据同步特征标识进行 同步解码的方法相比，使音视频同步调节的处理过程更加方便，实现的成本 也会大大低，并且能够增加用户的可操作性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中实现音视频同步的系统框图； 图2为现有技术中实现音^L频同步的方法的流程图； 图3为本发明实施例提供的用户可控的音视频同步调节的方法流程图； 图4为本发明实施例提供的用户可控的音视频同步调节的系统框图； 图5为本发明实施例提供的用户可控的音视频同步调节设备的模块结 构图6为本发明实施例提供的音视频不同步状态下音频在前的音频减速 调节的方法流程图7为本发明实施例提供的音视频不同步状态下音频在前的视频加速 调节的方法流程图；图8为本发明实施例提供的音视频不同步状态下视频在前的音频加速
调节的方法流程图9为本发明实施例提供的音视频不同步状态下视频在前的视频减速 调节的方法流程图。
具体实施例方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体 实施例对本发明进行详细描述。
本发明实施例提供的方法主要包括输入音视频同步调节参数；根据音 视频同步调节的参数进行音视频流的同步调节。
在输入音视频同步调节参数之前需要用户根据音视频输出设备输出的 音视频流进行同步状态的判定，如果输出的音视频流同步，则不需要用户进 行音视频同步调节参数的输入，如果输出的音视频流不同步，则由用户进行 音视频同步调节参数的输入，再利用音视频变速调节装置进行音视频同步调 下。
为了方便理解，首先对本发明实施例提供的用户可控的音视频同步调节 的方法进行说明。请参阅图3，该方法主要包括以下步骤 步骤301:音一见频输出设备输出音一见频数据； 步骤302:用户判断音视频数据是否同步； 步骤303:当音视频数据不同步时，用户输入音视频调节参数； 步骤304:根据输入参数，进行音视频变速调节； 步骤305:输出同步后的音视频数据。
图4是本发明又一实施例用户可控的音视频同步调节终端系统的结构 图，请参阅图4，该系统包括音频播放设备410、视频显示设备420与音视 频同步调节设备430,其中音频播放设备410、视频显示设备420分别与音 视频同步调节设备430连接，用于播放音频数据以及显示碎见频数据，当用户 发现音视频不同步时，由用户通过音视频同步调节设备430对音视频数据进行同步调节。
图5是本发明又一实施例用户可控的音视频同步调节设备的模块结构
图，请参阅图5，该设备主要包括^L频输入接口 431,音频输入接口 432， 视频数据緩冲模块433,音频数据緩冲模块434,视频变速处理模块435， 音频变速处理模块436,视频输出接口 437，音频输出接口 438，同步参数 输入模块439。其中，视频输入接口 431用于将视频数据源产生的视频数据 输入到音视频同步调节设备中；音频输入接口 432用于将音频数据源产生的 音频数据输入到音视频同步调节设备中；视频数据缓沖模块433用于对数据 源传送的视频数据流进行緩冲处理；音频数据緩冲模块434用于对数据源传 送的音频数据流进行緩沖处理；视频变速处理模块435用于对视频数据的显 示速度进行调节；音频变速处理模块436用于对音频数据的播放速度进行调 节；视频输出接口 437用于将处理后的音频数据进行输出显示；音频输出接 口 438用于将处理后的音频数据进行输出播放同步参数输入模块439用于当 音视频数据输出不同步时，由用户输入音视频同步调节参数。
采用该用户可控的音视频同步调节设备进行同步处理处理过程是首先 #见频流与音频流通过^L频输入接口 431与音频输入4妻口 432进行显示，由用 户观看音视频同步的状况，当用户发现音视频数据流不同步时，由用户通过 同步参数输入模块439输入调节参数，该音视频同步调节设备按照一定的判 断准则进行判定究竟是音频在前还是视频在前，并根据同步调节策略选择进 行调节的对象，调节的对象是音频流或视频流的一个，当选择的调节对象是 音频流时，利用音频变速处理模块436与音频数据緩冲模块434，对音频流 播放进行变速调节；当选择的调节对象是视频流时，利用视频变速处理模块 435与视频数据緩冲模块433,对视频流显示进行变速调节。
为了更详细的说明如何对音频流与视频流进行变速调节，下面本发明具 体的处理过程进行如下说明
请参阅图6，本发明实施例提供的当音一见频不同步条件下，音频播放速 度快于视频显示速度时，对音频减速调节的处理过程，该方法可以包括以下步骤
步骤601:提取音频数据，将其进行分段；
本实施例根据一定的准则进行音频数据的分段，可采用时域加窗的方法 进行分段，窗口的大小可以根据声音的统计信息进行适当的选择；
步骤602:根据分段音频数据的声音统计特征拟合出分段的音频数据；
本实施例根据分段的声音数据进行统计的分析，从中提取出能够反映本 段音频数据的特征信息，利用特征信息进行音频数据的拟合，使之变成能够 反映分段的音频数据特征的加长的分段音频数据；
步骤603:进行分段拟合的音频数据的插入；
本实施例根据分段拟合出的加长的音频数据按照时序进行插入，使之变 成能够反映原来时序的音频数据；
步骤604:重组插入后的音频数据，播放输出；
本实施例根据插入后的音频数据，进行滤波处理，去掉因为分段拟合造 成的边界的毛刺音频数据，使之能够更加真实地反映原始音频数据特征，对 音频减速调节后的结果进行播放。
请参阅图7，本发明实施例提供的当音视频不同步条件下，音频播放速 度快于视频显示速度时，对视频加速调节的处理过程，该方法可包括以下步 骤
步骤701:根据视频数据滞后音频数据的时间，确定丢弃的视频帧数； 本实施例根据视频每秒播放的帧数以及视频数据滞后音频数据的时间，
计算出需要丢弃的视频帧数；
步骤702:按照一定的处理策略丢弃非关键的视频帧； 本实施例根据相应的策略确定视频帧中的哪些是重要帧哪些是非重要
帧，对于非重要帧进行丢弃；
步骤703:重新组合剩余帧，进行显示；
本实施例可将前面丢弃非重要帧的视频帧重新按照原来的时序进行组 合，进行显示。请参阅图8，本发明实施例提供的当音视频不同步条件下，视频显示速 度快于音频播放速度时，对音频加速调节的处理过程，该方法可以包括以下
步骤
步骤801:提取音频数据，将其进行分段；
本实施例根据一定的准则进行音频数据的分段，可采用时域加窗的方法 进行分段，窗口的大小可根据声音的统计信息进行适当的选择；
步骤802:根据分段音频数据的声音统计特征提取分段的特征音频数据；
本实施例根据分段的声音数据进行统计的分析，从中提取出能够反映本 段音频数据的特征信息，利用特征信息进行音频数据的提取，使之变成能够 反映分段的音频数据特征的缩短的分段音频数据；
步骤803:进行提取后的音频数据合并；
本实施例根据分段拟合出的缩短的音频数据按照时序进行合并，使之变 成能够反映原来时序的音频数据；
步骤804:将合并后的音频数据播放输出。
本实施例根据提取后的音频数据，进行滤波处理，去掉因为分段提取造 成的边界的毛刺音频数据，使之能够更加真实地反映原始音频数据特征，对 音频加速调节后的结果进行播放。
请参阅图9，本发明实施例提供的当音视频不同步条件下，视频显示速 度快于音频播放速度时，对视频减速调节的处理过程，该方法可以包括以下 步骤
步骤901:根据视频数据超前音频数据的时间，确定需要延时的视频帧
数；
本实施例根据—见频每秒播;故的帧数以及一见频数据超前音频数据的时间，
计算出需要延时的视频帧数；
步骤902:按照确定的帧数，对每一帧图像数据进行延时； 本实施例根据相应的策略确定视频帧中哪些是重要帧哪些是非重要帧，
对于重要帧进行延时；步骤903:重新组合剩余帧，进行显示；
本实施例将前面延时的重要帧的视频帧重新插入到原来的视频时序中， 进行显示。
可以理解，本发明音视频同步装置中的音频变速处理模块以及视频变速 处理模块可以同时存在于该同步装置中，也可以两者具备其一；对于后一种 可能，用户可以单纯的输入音频同步参数或者视频同步参数，也能够实现音 视频的同步调节。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。
权利要求
1、一种用户可控的音视频同步调节方法，其特征在于，该方法包括输入音视频同步调节参数；根据输入参数进行音视频输出的同步调节。
2、 根据权利要求1所述的方法，其特征在于，所述输入音视频同步调节参 数的具体过程包括用户根据感知的结果确定调节对象；输入调节参数。
3、 根据权利要求2所述的方法，其特征在于，所述调节对象包括音频流 和/或浮见频流，其中视频流包括图像流和/或文本流。
4、 根据权利要求2所述的方法，其特征在于，所述输入音视频同步调节参 数的方式包括鼠标点击、按键输入、滑动条步进输入、触摸输入。
5、 根据权利要求3所述的方法，其特征在于，所述的根据输入参数进行输
6、 一种用户可控的音视频同步调节系统，其特征在于，该系统包括 音频数据输出设备，用于输出音频数据；视频数据输出设备，用于输出视频数据；音视频同步调节设备，用于对音视频数据的不同步状况进行调节。利用音频数据输出设备与视频数据输出设备，用户判断音频与视频的同步状况，当两者不同步时，用户利用音视频同步调节设备对音频流与视频流的播放状态进行同步。
7、 一种用户可控的音视频同步调节设备，其特征在于，该设备包括 音频同步处理模块，用于对音频数据的播放进行同步调节，和/或视频同步处理模块，用于对视频数据的显示进行同步调节； 同步参数输入模块，用于当音视频数据输出不同步时，将用户输入音视频 同步调节参数转换成音频和/或^L频同步调节指令。
8、 根据权利要求7所述的设备，其特征在于，该设备还包括音频输入接口 ，用于将音频数据源产生的音频数据输入到音^L频同步调节设备中；视频输入接口 ，用于将视频数据源产生的视频数据输入到音视频同步调节 设备中。
9、 根据权利要求7所述的设备，其特征在于，该设备还包括 音频输出接口 ，用于将处理后的音频数据进行输出播放； 视频输出接口 ，用于将处理后的音频数据进行输出显示。
10、 根据权利要求7所述的设备，其特征在于，该设备还包括 音频数据流緩冲模块，用于对数据源传送的音频数据流进行緩冲处理； 视频数据流緩沖模块，用于对数据源传送的视频数据流进行緩沖处理。
全文摘要
本发明提供了一种用户可控的音视频同步调节方法、系统和终端设备，其中，方法包括输入音视频同步调节参数；根据输入参数进行音视频输出的同步调节。该方法通过用户进行音视频同步状态的判断，根据用户的个人感受进行同步参数的调节，与现有技术中采用在发送端与接收端插入同步戳进行同步的方法相比，本方法不再受不同的音视频接收终端、采集的音视频数据源本身不同步以及音视频数据流进入不同的接收终端等因素的影响，使得音视频同步调节的实现成本更低，增加了用户的可操作性，保证了同步的调节结果。
文档编号H04N7/52GK101453655SQ200710077488
公开日2009年6月10日 申请日期2007年11月30日 优先权日2007年11月30日
发明者秦小庆, 郑元九 申请人:深圳华为通信技术有限公司