一种视频与多声道音频同步播出的方法
【专利摘要】本发明公开了一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统。本发明通过在播放端分别提取音频时间信息标识t1和视频时间信息标识t2，并将恢复出的音频时间信息标识t1和视频时间信息标识t2进行比较，获得音视频同步控制调整参数Δt；将所述音视频同步控制调整参数Δt传送给音视频播出服务器，所述音视频播出服务器根据所述音视频同步控制调整参数Δt来调整视频内容的播放进度，实现音视频的同步播出。本发明可以实现DMS动声系统中视频与多声道音频的同步播出，提升了用户体验。
【专利说明】一种视频与多声道音频同步播出的方法
【技术领域】
[0001]本发明涉及通信原理、数字信号处理【技术领域】，特别涉及一种视频与多声道音频同步播出的方法。
【背景技术】
[0002]DMS (Dynamic Matrix Sound)动声系统所创造的动态三维音视频效果是三维视频与多声道环绕声相结合的最新突破。在传统的音视频播出方式中，音视频内容在相同的设备中处理，因此音视频播出的同步控制也是基于同一处理器(本地)实现的，但是音频的声道数量受到限制。DMS动声系统在音频处理方面提出一个基于有限音源多声道的声场系统，其突破了音频声道数量的限制，因此，视频内容可以与任意声道数量的音频内容同时播出。
[0003]图1为现有技术中的DMS音视频同步播放系统图。如图1所示，在DMS动声系统中，视频和音频由不同的PC机控制，视频内容直接输出给显示器或者屏幕，音频内容通过网络传输给控制器，由控制器负责D/A(数字/模拟)变换，然后再输出到功放及扬声器播出。由此可见，在DMS动声系统中，视频与音频内容通过不同设备分别处理，相对视频内容来说音频内容在播出前有一个传输的过程，因此，在播放中需要解决不同的音视频设备的同步问题。
【发明内容】
[0004]为此，本发明提出一种视频与多声道音频同步播出的方法，可充分地消除由于现有技术的限制和缺陷导致的一个或多个问题。
[0005]本发明另外的优点、目的和特性，一部分将在下面的说明书中得到阐明，而另一部分对于本领域的普通技术人员通过对下面的说明的考察将是明显的或从本发明专利的实施中学到。通过在文字的说明书和权利要求书及附图中特别地指出的结构可实现和获得本发明目的和优点。
[0006]本发明提供了一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，其特征在于，所述方法具体包括以下步骤:
[0007]步骤(I):通过所述音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识\；
[0008]步骤⑵:通过所述视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识h具有相同的时间基准；
[0009]步骤(3):对所述视频时间信息标识t2进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中；
[0010]步骤(4):将所述伴音信号和视频帧一起传送到视频显示终端；
[0011]步骤(5):通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器；
[0012]步骤(6):DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识h ；
[0013]步骤(7):DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2 ；
[0014]步骤⑶:将恢复出的音频时间信息标识h和视频时间信息标识t2进行比较，获得音视频同步控制调整参数At ;
[0015]步骤(9)，将所述音视频同步控制调整参数At传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数At来调整视频内容的播放进度，实现音视频的同步播出。
[0016]优选的，所述步骤(1)具体包括:所述音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识A。
[0017]优选的，所述音视频同步控制调整参数八〖为^和12之间的差值。
[0018]优选的，所述DMS控制器循环的获得所述音视频同步控制调整参数At，当At大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数At。
[0019]优选的，在所述步骤(9)中，通过在每段视频前面加入At的空白视频，来调整视频内容的播放进度。
[0020]优选的，所述音视频同步伴音信号携带节目信息。
[0021]本发明可以实现DMS动声系统中视频与多声道音频的同步播出，提升了用户体验。
【专利附图】
【附图说明】
[0022]图1为DMS音视频同步播放系统图；
[0023]图2为多声道音频同步录制控制时钟分配图；
[0024]图3为DMS音视频同步播放系统原理图；
[0025]图4为DMS音视频同步信号的产生与插入；
[0026]图5为DMS音视频同步信号的接收与提取；
[0027]图6为根据本发明实施例的视频与多声道音频同步播出的方法的流程图；
[0028]图7为DMS音视频同步信号的PC格式。
【具体实施方式】
[0029]下面，结合附图和【具体实施方式】对本发明作详细说明。
[0030] 在本发明所提供的视频与多声道音频同步播出的方法用于DMS动声系统，其中，如图1所示，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，所述音频服务器和视频服务器也可以结合为一台服务器，即，音视频服务器。音视频内容的同步控制，优选的，所述服务器为PC服务器。需要同步播出的音视频内容在时间上具有严格的一致性，即，视频的播出时间等于对应的音频播出时间。
[0031]如图6所示，本发明所提供的视频与多声道音频同步播出的方法具体包括以下步骤:
[0032]步骤(I):通过音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识
[0033]由于本发明通过网络发送和播放的是多声道音频数据，因此，音频服务器首先要实现多声道音频数据的同步。如图2所示，本发明的音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识tlt)所述音频时间信息标识h就是每一个音频采样点的计数值。
[0034]步骤⑵:通过视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识h具有相同的时间基准。
[0035]所述视频时间信息标识t2即为每一个视频采样点的计数值，由于视频内容和音频内容时间上的严格一致，因此视频内容的长短也可以用相同时间基准的时间信息表达，即，所述视频时间信息标识t2与所述音频时间信息标识h具有相同的时间基准。
[0036]通过以上描述可知，如图3所示，可以将DMS动声系统音视频同步播出发送端分为两个部分:1.视频内容及视频时间信息标Kt2，该部分内容直接传输至视频显示终端；
2.音频内容及音频时间信息标识h，该部分内容传输至DMS音频播出控制器。
[0037]步骤(3):对视频时间信息标识t2进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中。
[0038]图4为DMS音视频同步信号的产生与插入的示意图。如图4所示，可以采用常用的编码方式对视频时间信息标识t2进行编码，本发明并不对此进行限制。
[0039]步骤(4):将所述伴音信号和视频帧一起传送到视频显示终端；
[0040]步骤(5):通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器。
[0041]步骤(6):DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识h。
[0042]步骤(7):DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2。
[0043]步骤⑶:将恢复出的音频时间信息标识h和视频时间信息标识t2进行比较，获得音视频同步控制调整参数At。
[0044]步骤(9)，将所述音视频同步控制调整参数△ t传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数At来调整视频内容的播放进度，实现音视频的同步播出。
[0045]图5和图6示出了为DMS音视频同步信号的接收与提取以及DMS音视频同步调整处理过程。
[0046]如图5和图6所示，DMS动声系统服务器将制作好的视频与音频内容分别传输至视频显示终端和DMS控制器。其中视频内容为视频帧和视频时间信息标识t2，音频内容为多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识h。当播出开始时，服务器将视频部分直接传输给显示终端，音频部分则首先传输给DMS控制器。DMS控制器在处理多声道音频内容的同时对视频终端播出的视频文件中同步伴音信号进行采样，经过OFDM解调等处理，恢复出代表视频播出进度的时间信息t2，将t2与音频文件时间信息h做比较，将两个时间信息的差值记为At。在理想的播出情况下即音视频同步播出，At的大小应该为0，但是由于视频文件是传输至显示终端直接播出，音频文件需要首先传输给DMS控制器进行处理，所以音频播出的时间滞后于视频播出的时间，即实际使用情况下At不等于O。DMS控制器经过采样解调以后获得At，将该时间差信息作为音视频同步控制信号回传给视频播出服务器，服务器根据At来调整视频内容的播出进度，达到音视频同步播出的效果。
[0047]优选的，DMS控制器循环的获得时间差信息At，当At大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数At，以使得视频服务器调整视频播出进度，保证整个音视频播出期间的严格同步，当没有超过阈值时音视频就可以继续正常播出。所述阈值的大小根据人对音视频同步的内容的敏感程度和视频伴音信号采集以及获取At以后回传服务器的时间大小来确定，本领域技术人员可以根据上述实际情况来确定阈值的大小，在此不再赘述。
[0048]时间差信息Λ t往往是由于音频文件的播出滞后于视频文件，因为视频是直接播出，而音频需要先经过DMS控制器的处理。解决的方法是在每段视频前面加入At的空白视频，当视频播出启动时，真正的视频内容播出有At时间的滞后，其效果是音视频文件从播出启示的严格同步。
[0049]视频文件的同步伴音信号中除了携带对应的视频时间信息t2以外，还可以携带节目信息一PC (Program Code)，如图7所示。DMS控制器除了解调出时间信息以外，还可以解调出节目信息，将其一起作为回传信号传输给音频播出服务器，服务器通过节目信息识别应该送给DMS控制器的音频文件，这样对整个DMS动声系统的操作只需要通过对视频文件的操作来完成。
[0050]下面对本发明的同步时间信息的设计进行说明。
[0051]音频时间信息的最小单位取决于音频信道的带宽。本系统要求音频信道可用带宽为ΙΟΚΗζ。脉冲宽度为100ms，频率为10Hz，载频为5KHz。每个码元18-比特，可以支持O到262143。以0.1s为一个码元长度，时间信息的周期为26214.3s，即7.28个小时，完全可以满足现在音视频播出的要求。
[0052]视频短片不超过50分钟的，可以用15-比特加3-比特的纠错码，周期可以达54.6分钟，同样可以支持超过55分钟的视频内容；视频短片不超过10分钟的，可以用13-比特加5-比特的纠错码，周期可以达13分钟，同样能够支持超过26分钟的视频内容。
[0053]可以采用up-down计数法,这样一个周期可以到达110分钟。在前半周期，时间指示递增，在后半周期，时间指数递减。同步系统，可以根据时间序列是递增还是递减，来判断是上半周期还是下半周期，保障同步的唯一性。
[0054]DMS动声系统音视频同步信号的可选模式如表1所示。
[0055]
【权利要求】
1.一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，其特征在于，所述方法具体包括以下步骤: 步骤(1):通过所述音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识A； 步骤(2):通过所述视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识h具有相同的时间基准； 步骤⑶:对所述视频时间信息标识12进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中； 步骤(4):将所述伴音信号和视频帧一起传送到视频显示终端； 步骤(5):通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器； 步骤(6):DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识h ； 步骤(7):DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集 到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2 ； 步骤(8):将恢复出的音频时间信息标Kt1和视频时间信息标识12进行比较，获得音视频同步控制调整参数At ; 步骤(9)，将所述音视频同步控制调整参数At传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数At来调整视频内容的播放进度，实现音视频的问步播出。
2.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，所述步骤(I)具体包括:所述音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识h。
3.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，所述音视频同步控制调整参数At为^和t2之间的差值。
4.根据权利要求3所述的视频与多声道音频同步播出的方法，其特征在于，所述DMS控制器循环的获得所述音视频同步控制调整参数At，当At大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数At。
5.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，在所述步骤(9)中，通过在每段视频前面加入At的空白视频，来调整视频内容的播放进度。
6.根据权利要求1-5中任意一项所述的视频与多声道音频同步播出的方法，其特征在于，所述音视频同步伴音 信号携带节目信息。
【文档编号】H04N21/242GK104079958SQ201410169084
【公开日】2014年10月1日 申请日期:2014年4月25日 优先权日:2014年4月25日
【发明者】马赛, 张勤, 胥文彬, 叶龙 申请人:中国传媒大学