专利名称：多路数据融合装置及其实现方法、多路音频数据处理系统的制作方法
技术领域：
本发明属于安防监控领域，涉及FPGA/CPLD逻辑设计、多媒体技术以及音频处理 技术，特别涉及一种多路数据融合装置及其实现方法、多路音频数据处理系统。
背景技术：
随着社会治安环境要求的逐步提高，国内外对安防监控设备的需求越来越多，对 成本的控制也越来越严格，从而多通道的监控设备成为一种发展趋势。典型的安防监控设备都会包括视频采集与音频采集。音频采集的信号有两种伴
音和语音。伴音是视频监控现场的背景声音采集，伴音流是连续不间断的。所有的伴音通道 之间必须保持同步，要保证无延时或延时在可接受范围内。另外，每一路伴音通道都要与对 应的视频通道保持唇同步，即在客户端解码后看到的图像要与听到的声音保持同步，不能 有明显的延迟。语音用于客户端与监控现场的远程通讯，语音流是间断的，但语音的传输必须实 时，延时要在可接受范围内。目前主流的安防监控终端设备中，语音只有一路，而伴音却有1路、2路、4路、8路、 16路不等。输入的伴音与语音都是模拟量，它们必须首先经过音频模数转换器(ADC)的处 理，将其转换成数字音频，否则音视频处理器无法进行处理。ADC可将多路模拟音频转换成 一路数字音频，但ADC可处理的模拟通道数有限，当音频通道比较多时，必须使用多片ADC， 这样就会产生多路数字音频。常用的音视频处理器，音频接口数量是有限的，大多只有一个接口。如果同时有多 路数字音频输入时，要保证音频通道的同步、音频数据的不丢失，仅仅依靠音视频处理器是 无能为力的，必须添加控制电路。目前解决多路音频同时输入的控制电路往往采用图1所示的包含缓存的多路切 换器。在图1中，ADC输出的数字音频首先存入各自的缓存，然后按照约定顺序，通过多路 切换的方式，将各个缓存中的音频数据分别送入音视频处理器。图1所示控制电路存在的主要缺点包括同步性差，需要添加额外的缓存导致成 本增加，对音视频处理器要求高。这些缺点在通道数越多时表现得越明显。多路切换器将 各路数字音频按照顺序送入音视频处理器，最先送入的最先被处理，然后依次往下排。虽然 不会有数据丢失，但每个通道之间都会有延时，最晚送入音视频处理器的延时最大。另外， 如果伴音与语音使用了不同的ADC，数字音频格式就可能存在差异，比如转换精度不同。对 于这种差异，需要在音视频处理器中添加额外的处理步骤，不仅占用更多的资源，对音视频 处理器也提出了更高的要求。总的来说，这种控制电路并不理想，适用性不强。
发明内容
本发明的目的在于提供一种多路数据融合装置及其实现方法，实现以较小的资源代价将多路数字音频数据融合成为一路数字音频数据。本发明的另一目的在于提供一种多路音频数据处理系统，实现无延迟、无丢失的 音频数据传输与处理。本发明实施例是这样实现的一种多路数据融合装置，包括数据缓冲区、输入模 块、数据融合打包模块、输出模块以及输入输出配合模块；其中，
所述数据缓冲区，包括第一数据缓冲区和第二数据缓冲区，用于存储数字音频数据； 所述输入模块，用于同时接收N路来自具有相同采样率的N个音频模数转换器的数字 音频数据，并将在每个采样周期的前半周期和后半周期所接收到的数字音频数据等时分配 到不同的数据缓冲区中；所述N > 2 ；
所述数据融合打包模块，用于在输入模块进行数据存储的同时，将其在每个采样周期 获取的所有数字音频数据进行融合打包；
所述输出模块，用于将所述第一数据缓冲区和第二数据缓冲区中经过融合打包的数字 音频数据发送给音视频处理器；
所述输入输出配合模块，用于在每个采样周期的前半周期，控制输入模块将数字音频 数据分配到第一数据缓存区存储，并控制输出模块输出第二数据缓存区中存储的数字音频 数据；在每个采样周期的后半周期，控制输入模块将数字音频数据分配到第二数据缓存区 存储，并控制输出模块输出第一数据缓存区中存储的数字音频数据。其中，所述输出模块的数据传送速率为输入模块的数据传送速率的N倍。其中，所述第一数据缓冲区和第二数据缓冲区的空间大小S相同，且S= (DmaxXN) /2;其中，Dmax为所述不同音频模数转换器转换输出的N个数字音频数据中的最大数据宽 度。其中，所述数据融合打包模块，还用于在对所有数字音频数据进行融合打包之前， 对该数字音频数据的格式进行统一处理。一种将多路音频融合为单路音频的实现方法，包括在每个采样周期，
同时接收N路数字音频数据，并将前半周期所接收到的数字音频数据和后半周期所接 收到的数字音频数据分别分配到第一数据缓冲区和第二数据缓冲区存储；所述N > 2 ；
将当前采样周期分配到第一数据缓冲区和第二数据缓冲区的所有数字音频数据进行 融合并打包；
将存储于第一数据缓冲区和第二数据缓冲区中的经过融合并打包的数字音频数据按 照顺序发送给音视频处理器。其中，所述将所有数字音频数据进行融合的方法为在数字音频数据存储的同时， 在第一数据缓冲区的起始空间存储同步信息，在第二数据缓冲区的结尾剩余空间填充无效 数据。其中，所述将数字音频数据按照顺序发送给音视频处理器的步骤进一步包括在 每个采样周期的前半周期，将存储于第二数据缓冲区中的数字音频数据发送给音视频处理 器；在每个采样周期的后半周期，将存储于第一数据缓冲区中的音视频数据发送给音视频 处理器。其中，在所述将多路数字音频数据分配到第一数据缓冲区和第二数据缓冲区存储 之前，对各路数字音频数据的格式进行统一处理。
上述方法还包括所述音视频处理器收到数字音频数据后，去除首部的同步信息 和尾部的无效数据，得到其中的有效数字音频数据后进行分解，按照存储顺序与每路模拟 音频通道相对应。一种多路音频数据处理系统，包括用于将多路模拟音频转换为一路数字音频的音 频模数转换器和对数字音频数据进行处理的音视频处理器，还包括如上所述的多路数据融 合装置，连接于所述音频模数转换器和音视频处理器之间，用于接收来自N个音频模数转 换器的N路数字音频数据，并将该N路数字音频数据融合打包成单路数字音频数据后发送 给音视频处理器。本发明实施例与现有技术相比，有益效果在于
1)本发明所提出的多路数据融合装置仅需一片中小型FPGA/CPLD即可实现，简单可 靠，成本低廉。2)本发明在实现将多路数字音频数据融合成单路数字音频数据的同时，克服了不 同ADC输出数据格式间的差异，实现了所有伴音通道之间的同步要求，以及伴音与视频之 间的唇同步，保证了语音传输的实时性。3)具有较强的扩展性，可处理的数字音频数据的通道数不受限制，只需扩大数据 缓存区的空间，不需要添加额外的处理电路或者采用复杂的处理方法，降低了对音视频处 理器的音频接口及其处理能力的要求。
图1是包含缓存与多路切换开关的控制电路示意图。图2是本发明所提出的多路音频数据处理系统的结构示意图。图3是本发明实施例中将各路数字音频等时分配到数据缓冲区的示意图。图4是本发明实施例中多路音频数据处理系统的结构示意图。图5是本发明实施例中ADC1与ADC2输出的数字音频格式示意图。图6是本发明实施例中经过融合与打包的帧数据格式。图7是本发明实施例中输入、输出模块操作配合示意图。
具体实施例方式请参阅图2，本发明所提出的多路音频数据处理系统包括=ADC1^ ADCn、多路数据融 合装置以及音视频处理器；ADCp ADCj^用以将多路模拟音频转换成一路数字音频(如图， ADC1将J路模拟音频转换为1路数字音频，ADC2将K路模拟音频转换为1路数字音频，ADCn 将L路模拟音频转换为1路数字音频)；多路数据融合装置与ADC广ADCn、音视频处理器分 别连接，进一步包括数据缓冲区、输入模块、数据融合打包模块、输出模块以及输入输出配 合模块，用于接收ADC广ADCn输出的总共N路数字音频数据并将其融合成单路数字音频数 据后发送给音视频处理器。其中，输入模块具有多个数据通道，而输出模块仅有一个数据通道，为了保证数据 传输的连续性(即单位时间内采集的数据在单位时间内发送出去)，输出模块的数据传送速 率必须是输入模块的N倍(N表示数字音频的通道数)。数据缓冲区包括数据缓冲区1和数据缓冲区2，具有相同的空间大小S，且S=(DmaxXN)/2 ；其中，Dmax为音频模数转换器转换输出的N个数字音频数据中的最大数据宽度。上述系统将多路音频数据融合成单路音频数据的实现方法为
第一步输入模块同时接收各路数字音频数据，根据采样时钟，以采样周期为单位，将 单位时间内采样到的各路数字音频数据等时分配到不同的数据缓冲区。如图3所示的等时 分配示意图，每个采样周期中，将前半周期所接收到的各路数字音频数据分配到数据缓冲 区1中存储，将后半周期所接收到的各路数字音频数据分配到数据缓冲区2中存储。第二步将当前采样周期分配到数据缓冲区的音频数据进行融合并打包。如果存 在数字音频格式不一致的情况，存储前需要先进行处理，将格式统一。数据融合方法为在 数据存储的同时，在数据缓冲区1的起始空间存储同步信息，在数据缓冲区2的结尾剩余空 间用无效数据填充，其余空间全部存储有效音频数据。这样，数据缓冲区1与数据缓冲区2 所存储的数据加起来就构成了完整的一帧数据。第三步输出模块发送融合打包后的数字音频数据，根据采样时钟，将两个数据缓 冲区中存储的数据按照顺序地送入音视频处理器，即在每个采样周期的前半周期，将存储 于第二数据缓冲区中的数字音频数据发送给音视频处理器；在每个采样周期的后半周期， 将存储于第一数据缓冲区中的音视频数据发送给音视频处理器。在上述过程中，输入模块和输出模块同时工作，在输入模块接收数字音频数据的 同时，输出模块也在发送数字音频数据，不过两者使用了不同的数据缓冲区。在采样时钟的 控制下，输入模块和输出模块交替使用数据缓冲区1和数据缓冲区2 在每个采样周期的前 半周期，输入模块使用数据缓冲区1，输出模块使用数据缓冲区2 ；在每个采样周期的后半 周期，输入模块使用数据缓冲区2，输出模块使用数据缓冲区1。在该过程中，输入模块和输 出模块在采样时钟的控制下按照节拍、相互配合的切换，不仅保证了输入音频流与输出音 频流的连续，也实现了没有停顿、没有丢失地传输。第四步音视频处理器在接收到数字音频数据后，通过识别同步信息来判断每一 帧的开始，然后去除首尾部分的同步信息与无效数据，将得到的有效数字音频数据进行分 解，按照存储顺序与每一路模拟音频通道相对应。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明的多路音频数据处理系统进行进一步详细说明。应当理解，此处所描述的具体实施 例仅仅用以解释本发明，并不用于限定本发明。本实施例中，多路音频数据处理系统的结构如图4所示，总共使用了两片ADC: ADC1与ADC2，它们可处理的最大模拟音频通道数不同，采样精度也不一样，但都能将多路模 拟音频转换成一路标准的1 格式数字音频输出；ADC1用于处理伴音广伴音4，ADC2用于 处理语音，从而产生两路数字音频输出数字音频1与数字音频2。I2S是一种用于传输双声道立体声的音频格式，数据传输时最高位(MSB)在前，最 低位(LSB)在后。每个采样周期内，前半周期的数字音频对应左声道，后周期的数字音频对 应右声道。图5是数字音频1与数字音频2的数据格式。如图5所示，ADC1与ADC2输出的数 字音频格式是不一致的。ADC1将4路伴音分别转换为16-bit的数字量，ADC2将1路语音转 换为M-bit的数字量。ADC2可同时实现2路模拟音频的模数转换，但本实施例中只使用了左声道作为语音输入，因此右声道对应的数字音频全是无用数据。另，由于ADC1输出的数 字量的总宽度为64bit，ADC2输出的数字量为M bit，则ADC1和ADC2输出的2路数字音频 的最大数据宽度Dmax=64bit，根据公式S= (DmaxXN)/2可得出数据缓冲区1和数据缓冲区2 的空间大小S=64 bit。本实施例中，多路音频数据处理系统的工作过程如下。输入模块同时接收ADC1与ADC2分别输出的数字音频1与数字音频2，将它们按照 左、右声道分配到两个数据缓冲区数字音频1与数字音频2的左声道数据被存入数据缓冲 区1，数字音频1的右声道数据被存入数据缓冲区2，数字音频2的右声道数据被全部丢弃。由于数字音频1与数字音频2的格式不一致，因而在数据存储之前需要对数字音 频1与数字音频2的格式进行统一处理由于ADC1输出4路16bit的数字量，ADC2输出1 路Mbit的数字量，所以本实施例中按照少数服从多数的原则，将各路数字音频格式统一 为16bit，即在将数字音频2存入数据缓冲区1时只截取前面的16-bit，丢弃后面的8-bit， 截取造成的损失可在客户端解码时进行补偿。在进行数据存储的同时，将数据缓冲区1和数据缓冲区2中存储的所有数据进行 融合并打包在数据缓冲区1起始位置的16-bit空间存储同步信息，在数据缓冲区2的剩 余空间使用无效数据填充，至此即完成两路数字音频在一个采样周期的数据融合与打包， 并将其构成了完整的一帧图6是经过融合与打包的帧数据格式，如图6所示，每帧数据的 总长度是U8-bit，以16-bit的同步信息作为起始，以32-bit的无效数据作为结尾，中间是 80-bit的有效音频数据。之后，输出模块将每帧数据送入音视频处理器。图7是上述过程中输入模块和输 出模块的操作配合示意图，如图7所示，数据缓冲区1与数据缓冲区2交替配合，每半个周 期改变一次数据流向，从而保证了输入数据流与输出数据流的连续不间断、且无丢失。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种多路数据融合装置，其特征在于，该装置包括数据缓冲区、输入模块、数据融 合打包模块、输出模块以及输入输出配合模块；其中，所述数据缓冲区，包括第一数据缓冲区和第二数据缓冲区，用于存储数字音频数据；所述输入模块，用于同时接收N路来自具有相同采样率的N个音频模数转换器的数字 音频数据，并将在每个采样周期的前半周期和后半周期所接收到的数字音频数据等时分配 到不同的数据缓冲区中；所述N > 2 ；所述数据融合打包模块，用于在输入模块进行数据存储的同时，将其在每个采样周期 获取的所有数字音频数据进行融合打包；所述输出模块，用于将所述第一数据缓冲区和第二数据缓冲区中经过融合打包的数字 音频数据发送给音视频处理器；所述输入输出配合模块，用于在每个采样周期的前半周期，控制输入模块将数字音频 数据分配到第一数据缓存区存储，并控制输出模块输出第二数据缓存区中存储的数字音频 数据；在每个采样周期的后半周期，控制输入模块将数字音频数据分配到第二数据缓存区 存储，并控制输出模块输出第一数据缓存区中存储的数字音频数据。
2.如权利要求1所述的多路音频融合装置，其特征在于，所述输出模块的数据传送速 率为输入模块的数据传送速率的N倍。
3.如权利要求2所述的多路音频融合装置，其特征在于，所述第一数据缓冲区和第二 数据缓冲区的空间大小S相同，且S= (DmaxXN)/2 ；其中，Dmax为所述不同音频模数转换器转 换输出的N个数字音频数据中的最大数据宽度。
4.如权利要求2或3所述的多路音频融合装置，其特征在于，所述数据融合打包模块， 还用于在对所有数字音频数据进行融合打包之前，对各路数字音频数据的格式进行统一处 理。
5.一种将多路音频融合为单路音频的实现方法，其特征在于，该方法包括在每个采 样周期，同时接收N路数字音频数据，并将前半周期所接收到的数字音频数据和后半周期所接 收到的数字音频数据分别分配到第一数据缓冲区和第二数据缓冲区存储；所述N > 2 ；将当前采样周期分配到第一数据缓冲区和第二数据缓冲区的所有数字音频数据进行 融合并打包；将存储于第一数据缓冲区和第二数据缓冲区中的经过融合并打包的数字音频数据按 照顺序发送给音视频处理器。
6.如权利要求5所述的将多路音频融合为单路音频的实现方法，其特征在于，所述将 所有数字音频数据进行融合的方法为在数字音频数据存储的同时，在第一数据缓冲区的 起始空间存储同步信息，在第二数据缓冲区的结尾剩余空间填充无效数据。
7.如权利要求6所述的将多路音频融合为单路音频的实现方法，其特征在于，所述将 数字音频数据按照顺序发送给音视频处理器的步骤进一步包括在每个采样周期的前半周 期，将存储于第二数据缓冲区中的数字音频数据发送给音视频处理器；在每个采样周期的 后半周期，将存储于第一数据缓冲区中的音视频数据发送给音视频处理器。
8.如权利要求5至7任一所述的将多路音频融合为单路音频的实现方法，其特征在于， 在所述将多路数字音频数据分配到第一数据缓冲区和第二数据缓冲区存储之前，对该数字音频数据的格式进行统一处理。
9.如权利要求6所述的将多路音频融合为单路音频的实现方法，其特征在于，该方法 还包括所述音视频处理器收到数字音频数据后，去除首部的同步信息和尾部的无效数据， 得到其中的有效数字音频数据后进行分解，按照存储顺序与每路模拟音频通道相对应。
10.一种多路音频数据处理系统，包括用于将多路模拟音频转换为一路数字音频的音 频模数转换器和对数字音频数据进行处理的音视频处理器，其特征在于，还包括如权利要 求1所述的多路数据融合装置，连接于所述音频模数转换器和音视频处理器之间，用于接 收来自N个音频模数转换器的N路数字音频数据，并将该N路数字音频数据融合打包成单 路数字音频数据后发送给音视频处理器。
全文摘要
本发明公开了一种多路数据融合装置及其实现方法、多路音频数据处理系统，其中的方法包括在每个采样周期，同时接收N路数字音频数据，并将前半周期所接收到的数字音频数据和后半周期所接收到的数字音频数据分别分配到第一数据缓冲区和第二数据缓冲区存储；所述N≥2；将当前采样周期分配到第一数据缓冲区和第二数据缓冲区的所有数字音频数据进行融合并打包；将存储于第一数据缓冲区和第二数据缓冲区中的经过融合并打包的数字音频数据按照顺序发送给音视频处理器。本发明实现了无延迟、无丢失的音频数据传输与处理。
文档编号H04N5/268GK102065231SQ201010559340
公开日2011年5月18日 申请日期2010年11月26日 优先权日2010年11月26日
发明者关淑菊, 冯安斌, 张巍, 蔡磊涵, 陈超 申请人:深圳中兴力维技术有限公司