专利名称：应用在收录系统中的视、音频同步监控的方法
技术领域：
本发明属于收录监控领域，具体涉及一种应用在收录系统中的视、音 频同步监控的方法。
背景技术：
在收录系统，特别是总控收录一类的大规模收录系统中，用户通常需 要实时监看各收录机的运行状态以及信号状态，以确保及时发现收录系统 中出现的各种问题，保证收录素材的质量。其中对于收录机信号的监测显 得尤为重要，因为它直接反映了收录系统当前正在处理的视、音频情况， 可以为用户提供素材质量的最直观印象。以前常用的方案包括如下几种1、在收录机上增加一个视、音频;险测 模块，实时分析收录机正在处理的视音频数据的情况，按照一定规则对信 号进行检测，如果发现不符合规则的情况，即向监控装置发出报警信号， 由监控装置进行声、光报警；2、将收录机当前正在处理的视频信号截图， 以一定的频率发送到监控装置，用户可以在监控装置上看到断继的视频画 面；3、采用额外的电视墙，将所有收录机正在处理的信号通过矩阵等设备 连接到电视墙上，通过电视墙进行信号监控。目前这三种常用的方案均有其局限性，方案l对用户而言太不直观， 用户只能根据指示灯等方法知道信号出现问题，不能看到听到当前的画面 和声音，并且利用算法按照一定规则进行声画检测本身就有一定局限性， 很难覆盖所有的信号问题，方案2会占用一定的网络带宽，并且用户看到 的是一幅幅跳动的画面，没有电视信号的连续感觉，最重要的是，采用这 种方式，无法传递声音，用户无法判断声音信号是否正常，方案3是最直 观的一种方式，信号质量也最好，但它有两个弱点，首先配置额外的电视 墙、扩充矩阵等设备投资巨大，另外，它反映的是接入收录机的信号质量， 而非当前收录机正在处理的信号质量，无法及时发现收录系统内部出现的
问题，如IO板卡处理信号出错等。 发明内容针对现有技术中存在的缺陷，本发明的目的是提供一种应用在收录系 统中的视、音频同步监控的方法，使用该方法不会占用太高的网络带宽， 也不需要配备价格昂贵的额外设备，同时能够为用户提供直观的视、音频 同步的信号，从而能够有效的提高收录系统监控质量，更好满足用户需求， 对于开发者而言，也提供了更为简单多样的实现方式。为达到以上目的，本发明采用的技术方案是一种应用在收录系统中的视、音频同步监控的方法，包括以下步骤步骤一，数据获取模块从收录装置获取无压缩的视音频数据并对获取 的视音频数据进行归一化及同步预处理；步骤二，数据压缩模块从数据获取模块接收归一化后的数据，将数据 进行压缩；步骤三，数据传输模块从数据压缩模块接收压缩好的数据，将这些数 据实时传送到监控装置中的数据接收与显示模块；步骤四，数据接收与显示模块接收实时数据，并将这些数据解码，然 后在视频和音频输出装置上实时输出同步的节目信号供用户查看。进一步，在步骤一中，收录装置内部还设有信号处理流程，信号处理 流程的每个节点均会对信号进行相应处理，直到到达最终的收录模块；所 述数据获取装置通过加入信号处理流程来从中获取所需的视音频数据。将数据获取模块放在收录模块的前端。在获取到原始视音频数据后，首先根据当前制式将视音频数据归一化 为相同时长的帧封装结构，然后根据附带在视、音频信号上的时间戳进行 同步，在发现不同步时采用丟弃多余数据的方式保持数据同步。在所述的归一化及同步预处理过程中，首先将原始视音频数据暂存在 数据緩存器中，当数据緩存器中的数据超过定值时，将视音频数据送入帧 封装器将数据封装为数据包，然后送入帧同步器对视频帧和音频帧进行同
步，所述的定值在PAL制时为40ms,在NTSC制时为33. 37ms。进一步，步骤二中，在压缩过程中，预先将视频数据下变换为尺寸较 小的图片，将音频数据重采样为低采样率音频。 压缩后数据为低码率的流媒体数据。在压缩过程中，采用Windows Media进行数据压缩，与之相对应，下 游的数据传输模块采用薩S协议进行传输。更进一步，在压缩过程中，将视频图像尺寸下变换为长352宽288， 音频采用32KHz千赫立体声重采样， 一见频码率250kbps,音频码率设采用 32kbps。进一步，步骤三中，将压缩后的数据在局域网上用单播或多播的方式 进行实时传送。更进一步，压缩后的数据在传输时采用的协议是RTSP或MMS。进一步，步骤四中，数据接收与显示模块通过以下两种方式实现监控 1 )在任意一台PC机上通过Windows Media Player通过mms播放收录装置 传送的视频；2)在监控装置上内嵌WMS协议解析器及解码器。步骤四中，数据接收与显示模块接收实时数据后，视音频检测模块实 时分析收录机正在处理的视音频数据，按照事先设定的规则对信号进行检 测，如果发现有不符合规则的情况，即向监控装置发出报警信号，由监控 装置进行声、光报警，提醒值班人员查看实时传送的视音频信号。本发明的效果在于采用本发明所述的方法和系统，在不扩充现有收 录系统中硬件设备的情况下，使得在对收录系统的视、音频同步监控时， 不会占用太高的网络带宽，也不需要配备价格昂贵的额外设备，同时能够 为用户提供直观的视、音频同步的信号，从而能够有效的提高收录系统监 控质量，更好满足用户需求。
图1是本发明所述方法的原理示意图；图2是本发明所应用的收录系统的结构示意图；图3是数据获取模块工作原理图；图4是本实施例中数据压缩及发送模块工作原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合 实施例和附图，对本发明的具体实施方式
做进一步详细说明。本实施例的各个模块之间的连接及工作原理如图l所示，图2是本发 明所应用的收录系统的结构示意图。本发明应用在收录系统中的视、音频同步监控系统，该系统包括收录 装置21、监控装置22,在收录装置上还设有以下模块数据获取模块ll， 数据压缩模块12，数据传输模块13;在监控装置22上还设有数据接收与 显示模块14。本实施例中，如图3所示，所述的数据获取模块11中设有视频数据緩 存器31、视频帧封装器32、音频数据緩存器33、音频帧封装器34、帧同 步器35。如图4所示，所述的数据压缩模块12中设有视频下变换器41、音频 重采样器42、 WINDOWS MEDIA压缩装置43和MMS服务装置44。一种应用在收录系统中的视、音频同步监控的方法，包括以下步骤步骤一，数据获取模块11从收录装置获取无压缩的视音频数据并对获 取的视音频数据进行归 一 化及同步预处理；数据获取模块11从收录数据流中获取到无压缩的视音频数据，视频数 据采用RGB编码，音频^:据釆用PCM编码。在本实施例中，收录系统收录 的是PAL制信号，即25帧/秒，所以在归一化过程中，如图3所示，首先 将原始数据暂存在视频数据緩存器31、音频数据緩存器33中，当数据緩 存器中31、 33的数据超过40ms时(PAL制时)，将数据送入帧封装器32、 34中将数据封装为40ms/帧的数据包，然后送入帧同步器35对视频帧和音 频帧进行同步，也就是说将同时发生的图像和音频数据对准，同步根据时
间戳进行，帧同步器35的工作原理如下设数据获取模块11开始工作时间为T。，当前获取的第n个音频帧起始时间为Sn，结束时间为L，可计算出当前音频数据块时长D^Tn-Sn,设此前已经丢弃的音频数据帧数为m，则第n帧音频数据到时时的音频数据量 总体偏差<formula>formula see original document page 8</formula>同理可计算出第n帧视频数据到达时的视频数据量总体偏差An，根据音频数据的总体偏差及视频数据的总体偏差就可以计算出当前视音频数据的不同步量<formula>formula see original document page 8</formula>S|Un|>=40ms时，说明视音频数据不同步状态已经超过了一帧，需要 丢弃一帧数据，当U。X)时，表明音频数据总体偏差超出，需要将视频数据 丟弃一帧，同时将已丟弃视频帧数加1，反之需要将音频数据丢弃一帧， 同时将音频已丟弃音频帧数m加1。步骤二，数据压缩模块12从数据获取模块接收归一化后的数据，将数 据进行压缩；在本实施例中我们采用WINDOWS MEDIA进行数据压缩，与之相对应， 下游的数据传输模块采用薩S协议15进行传输，所以这里我们将数据压缩 模块12与数据传输模块13合并处理。由于本模块将部署在同时收录两个 码流的收录装置上，由于收录两个码流对计算机性能要求很高，特别是对 CPU要求很高，为了减少数据压缩模块对CPU的占用，本实施例中采用将 -阮频图^象尺寸由长720宽576下变换为长352宽288,音频采用32KHz千 赫立体声，；现频码率250kbps,音频码率i殳采用32kbps,实-验证明，在上 述参数条件下压缩出和图像、声音能够达到较好的质量，同时对CPU、网 络带宽的占用量也比较合理。步骤三，数据传输模块13从数据压缩模块接收压缩好的数据，将这些 数据实时传送到监控装置中的数据接收与显示模块14;压缩后的数据在局 域网上可以用单播或多播的方式进行实时传送。步骤四，数据接收与显示模块14接收实时数据，并将这些数据解码，
然后在视频和音频输出装置上实时输出同步的节目信号供用户查看。在数据接收/显示模块14有两种不同的实现方式1)在任意一台PC 机上通过Windows Media Player通过mms插-;故收录装置传送的^L频；2) 在监控装置上内嵌丽S协议解析器及解码器。采用第一种方式，监控方式 相当灵活，在Windows系统下完全不需要安装额外软件即可进行，第二种 方式时，用户可以在监控装置上控制数据发送端是否进行发送，这样当用 户不需要监控某一收录装置信号时，可以将该收录装置的数据压缩与传送 模块关闭，减少不必要的资源消耗。在本实施例中，通过采用本发明所述的方法，可以^f艮好的解决用户在 远程监控收录装置上信号源的需求，但该方法需要用户一直守在监控装置 或PC前仔细观察。所以在本实施例中，我们在收录装置上除了部署如上所 述的模块外，还部署了视音频检测模块，所述的视音频检测模块用于实时 分析收录机正在处理的视音频数据，按照事先设定的规则对信号进行检测，如果发现有不符合规则的情况，即向监控装置发出报警信号，由监控装置 进行声、光报警，提醒值班人员查看实时传送的视音频信号。这些模块相 互配合，可以给用户使用上带来更大的灵活度，在很大程度上减轻了用户 的工作强度。术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技 术创新范围。
权利要求
1. 一种应用在收录系统中的视、音频同步监控的方法，包括以下步骤步骤一，数据获取模块从收录装置获取无压缩的视音频数据并对获取的视音频数据进行归一化及同步预处理；步骤二，数据压缩模块从数据获取模块接收归一化后的数据，将数据进行压缩；步骤三，数据传输模块从数据压缩模块接收压缩好的数据，将这些数据实时传送到监控装置中的数据接收与显示模块；步骤四，数据接收与显示模块接收实时数据，并将这些数据解码，然后在视频和音频输出装置上实时输出同步的节目信号供用户查看。
2. 如权利要求1所述的一种应用在收录系统中的一见、音频同步监控的方 法，其特征是步骤一中，收录装置内部还设有信号处理流程，信号处理流 程的每个节点均会对信号进行相应处理，直到到达最终的收录模块；所述数 据获取装置通过加入信号处理流程来从中获取所需的视音频数据。
3. 如权利要求1所述的一种应用在收录系统中的视、音频同步监控的方 法，其特征是步骤一中，将数据获取模块放在收录模块的前端。
4. 如权利要求1所述的一种应用在收录系统中的视、音频同步监控的方 法，其特征是步骤一中，在获取到原始视音频数据后，首先根据当前制式 将视音频数据归一化为相同时长的帧封装结构，然后根据附带在视、音频信 号上的时间戳进行同步，在发现不同步时采用丢弃多余数据的方式保持数据 同步。
5. 如权利要求4所述的一种应用在收录系统中的^L、音频同步监控的方 法，其特征是在步骤一中所述的归一化及同步预处理过程中，首先将原始 视音频数据暂存在数据緩存器中，当数据緩存器中的数据超过定值时，将视 音频数据送入帧封装器将数据封装为数据包，然后送入帧同步器对视频帧和 音频帧进行同步，所述的定值在PAL制时为40ms,在NTSC制时为33. 37ms。
6. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的视、音频同 步监控的方法，其特征是步骤二中，在压缩过程中，预先将视频数据下变 换为尺寸较小的图片，将音频数据重采样为低采样率音频。
7. 如权利要求6所述的一种应用在收录系统中的视、音频同步监控的方 法，其特征是步骤二中，压缩后数据为低码率的流媒体数据。
8. 如权利要求7所述的一种应用在收录系统中的视、音频同步监控的方 法，其特征是在压缩过程中，采用Windows Media进行数据压缩，与之相 对应，下游的数据传输模块采用MMS协议进行传输。
9. 如权利要求8所述的一种应用在收录系统中的视、音频同步监控的方 法，其特征是在压缩过程中，将视频图像尺寸下变换为长352宽288，音 频采用32KHz千赫立体声重采样，^L频码率250kbps,音频码率设采用3卩kbps。
10. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的^L、音频 同步监控的方法，其特征是步骤三中，将压缩后的数据在局域网上用单播 或多播的方式进行实时传送。
11. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的视、音频 同步监控的方法，其特征是压缩后的数据在传输时采用的协议是RTSP或 MMS。
12. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的视、音频 同步监控的方法，其特征是，步骤四中，数据接收与显示模块通过以下方式 实现监控在PC才几上通过Windows Media Player通过mms 4番》文收录装置传 送的视频。
13. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的一见、音频 同步监控的方法，其特征是，步骤四中，数据接收与显示模块通过以下方式 实现监控在监控装置上内嵌丽S协议解析器及解码器，通过监控装置播放 收录装置传送的视频。
14. 如权利要求l、 2、 3或4所述的一种应用在收录系统中的视、音频 同步监控的方法，其特征是，步骤四中，数据接收与显示模块接收实时数据 后，视音频检测模块实时分析收录机正在处理的视音频数据，按照事先设定 的规则对信号进行检测，如果发现有不符合规则的情况，即向监控装置发出 报警信号，由监控装置进行声、光报警，提醒值班人员查看实时传送的视音 频信号。
全文摘要
本发明涉及一种应用在收录系统中的视、音频同步监控的方法，属于收录监控领域。本发明所述的系统包括四个模块数据获取模块、数据压缩模块、数据传输模块和数据接收与显示模块，在部署时，前三个模块部署在收录装置上，数据接收模块部署在监控装置上。本发明所述的方法通过在收录装置中增加一个压缩/传输通道，将收录装置正在处理的视、音频信号实时压缩为低码率的流媒体数据，通过网络发布到监控装置上，供相关人员进行直观的监看/听，以满足收录系统中的各种不同需求。
文档编号H04N7/26GK101399967SQ20071012245
公开日2009年4月1日 申请日期2007年9月26日 优先权日2007年9月26日
发明者伟 朱 申请人:新奥特硅谷视频技术有限责任公司