音视频同步方法与系统及编码装置和解码装置的制造方法
【技术领域】
[0001]本发明实施方式涉及信息处理技术领域，更具体地，涉及一种音视频同步方法与系统以及编码装置和解码装置。
【背景技术】
[0002]多媒体技术不是各种信息媒体的简单复合，而更是一种把文本(Text)、图形(Graphics)、图像(Images)、动画(Animat1n)和声音(Sound)等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操作的信息技术。
[0003]在一般带声音的视频中，源音频与源视频会在编码端经过不同的编码器进行编码，经过封装器(multiplexer)把音视频流合并到一个码流中，然后进行传输。解码端接收码流后，使用分离器(demuxer)把音视频流分开，然后分别进行解码，解码完成后再在播放端展现音视频内容。
[0004]在这个过程中，音视频码流的处理时序不一定有直接关系，播放端需要协调解码音视频的输出才能重现音视频内容，其中音视频必须要保持同步。
[0005]为了避免音视频不同步，现有技术中主要包含以下措施:
[0006](I)在音视频码流中加入时间戳，让播放端以指定的时间顺序及速度播放音视频内容。
[0007](2)在直播编码中，定时或人工重启编码端。
[0008]然而，由于音频流与视频流的时间戳并没有依赖关系，所以难以验证时间戳的正确性，从而难以保证同步的准确度，亦无法单纯以时间戳验证音视频的同步情况。另外，重启编码器会导致断流。
【发明内容】
[0009]本发明实施方式提出一种音视频同步方法，以提高同步的准确度。
[0010]本发明实施方式还提出了一种音视频同步系统，以提高同步的准确度。
[0011]本发明实施方式还提出了一种音视频编码装置，以提高同步的准确度。
[0012]本发明实施方式还提出了一种音视频解码装置，以提高同步的准确度。
[0013]本发明实施方式的具体方案如下:
[0014]一种音视频同步方法，该方法包括:
[0015]在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
[0016]在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
[0017]一种音视频同步系统，包括编码端和解码端，其中:
[0018]编码端，用于接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
[0019]解码端，用于从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
[0020]一种音视频编码装置，包括接收单元、分离单元、嵌入单元和输出单元，其中:
[0021]接收单元，用于接收输入码流；
[0022]分离单元，用于将所述输入码流分离为视频信号和音频信号；
[0023]嵌入单元，用于在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号；
[0024]输出单元，用于将所述视频信号和音频信号封装为输出码流。
[0025]一种音视频解码装置，包括解析单元、提取单元和调整单元，其中:
[0026]解析单元，用于从接收到的码流中解析出视频信号和音频信号；
[0027]提取单元，用于从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号；
[0028]调整单元，用于当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
[0029]从上述技术方案可以看出，在本发明实施方式中，在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。由此可见，应用本发明实施方式之后，可以在音视频内容中嵌入各自的同步信息，并且可以基于对音视频同步信息的同步性比较确定出信号调整信息，因此可以提高同步的准确度。
[0030]而且，本发明实施方式便于扩展，可以大规模使用。
【附图说明】
[0031]图1为根据本发明实施方式音视频同步方法流程图；
[0032]图2为根据本发明实施方式视频同步信号示意图；
[0033]图3为根据本发明实施方式音频同步信号示意图；
[0034]图4为根据本发明实施方式音视频同步系统结构图；
[0035]图5为根据本发明实施方式音视频编码装置结构图；
[0036]图6为根据本发明实施方式音视频解码装置结构图；
[0037]图7为根据本发明实施方式音视频编码端处理示意图；
[0038]图8为根据本发明实施方式音视频解码端处理示意图；
[0039]图9为根据本发明实施方式音视频同步处理示意图。
【具体实施方式】
[0040]为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
[0041]图1为根据本发明实施方式音视频同步方法流程图。
[0042]如图1所示，该方法包括:
[0043]步骤101:在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流。
[0044]在这里，在编码端接收输入码流。该输入码流既可以来自其它音视频采集设备，也可以是在编码端处自行采集的输入码流。
[0045]输入码流可以为带音频的视频文件，该视频文件包括至少一个音频信号以及视频信号。可以在视频信号中嵌入视频同步信号，在音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流。
[0046]音频同步信号与视频同步信号在时间上同步，而且可以具有相同或相应的内容，从而便于判断音频信号与视频信号之间的同步性。同步信息具体可以包括音视频采集的时间、源视频帧的时间点和音频样本的时间点或其他随时间改变或不改变的信号，等等。
[0047]在一个实施方式中:
[0048]在视频信号中嵌入视频同步信号包括下列中的至少一个:将视频帧序列的预定像素点的值设置为视频同步信号；将视频帧序列的至少两个像素点之间的位置关系设置为视频同步信号；将视频帧序列的相同像素点在不同帧之间的位置关系设置为视频同步信号，
坐坐寸寸ο
[0049]可以在视频信号中嵌入可见或不可见的信号以作为视频同步信号。视频同步信号包括但不限于帧序列中指定某一个或多个像素点的值，或二个或以上像素点的关系，或相同的像素点在不同帧之间的关系。
[0050]图2为根据本发明实施方式视频同步信号示意图。
[0051]在图2中，可以使用视频帧右上角的相素点表示信号在每帧的时间点的值。假如0.0-0.4秒的同步信号为“01200”，以每秒25帧算，同步信号每秒最高能有25个样本，样本的精度取决于取像素点的量与像素点的精度。
[0052]以上以视频帧右上角的相素点为例对视频同步信号的具体形式进行了说明。本领域技术人员可以意识到，这种阐述仅是示范性的，并不用于对本发明实施方式的保护范围进行限定。
[0053]在一个实施方式中:
[0054]在音频信号中嵌入音频同步信号包括下列中的至少一个:在音频信号中嵌入正弦波；在音频信号中嵌入方波；在音频信号中嵌入三角波；在音频信号中中嵌入脉冲信号，等坐寸ο