专利名称：一种多路视频循环监控的装置及其方法
技术领域：
本发明涉及一种图像监控的装置及其方法，该发明可以将输入的多路视频信号抽 取成静止图像序列，用一个编码器进行编码，并根据各路视频信号的优先级动态地分配带
觅O
背景技术：
目前，公知的图像监控设备是由视频采集设备、通信网络、存储设备、显示设备组 成。视频采集设备采集的视频信息通过通信网络直接回传，经过网络传输后这些数据或是 存储在存储或是被显示设备直接显示出来。在多数监控场合中，对连续视频进行编码传输， 在传输、存储过程当中连续视频信号需要占用大量的传输带宽和存储空间。在对于多路视 频信号的监控上，多数使用了对多路视频独立采集、独立编码器、独立传输的方法，给传输 带宽带来巨大的压力。
发明内容
为了克服现有图像监控设备需要占用大量传输带宽和存储空间的不足，本发明提 供一种利用一路视频处理和传输通道进行多路视频有优先级的循环监控的装置(下文称 为“抽帧器”)及其方法，该抽帧器不仅能完成多路信号循环监控，用一路视频信号的带宽传 送了最多可达50路的被监控信号，节省了大量的传输带宽和存储空间，而且能自行定义各 路视频信号的优先级，动态地分配信道，优先级的设定取决于被监控信号的重要性，优先级 高的被监控信号将被以更高的频率以场为单位抽取采集。多路被监控信号最终能复用为一 路非标准视频信号，利用一个图像编码器进行压缩编码，进一步节省了带宽，图像编码器的 利用率大大提高。多路视频信号的编码仅仅采用一个图像编码器，节省了设备成本。本发明的解决方法及技术方案是对被监控的多路标准视频信号进行循环采集， 成为一路非标准的视频序列。若被监控视频信号为模拟信号，则N路模拟信号经过模拟多 路开关，在控制芯片(如单片机)产生的选择信号的控制下将多路标准的视频信号复用为 一路非标准视频信号，随后利用视频模/数转换芯片将模拟视频信号转换成数字视频信 号，并送至图像编码芯片中；若被监控信号为数字信号，则N路被监控数字信号通过数字接 口进入数字多路开关，在控制芯片产生的选择信号的控制下进行切换和图像采集，间插复 用为一路非标准视频信号送入图像编码芯片。整个装置只采用一个图像编码器进行压缩编 码，最终生成一个经压缩的静止图像序列。该图像序列中的图像是从采集的多路视频中循环抽取而来，能真实反映采集视频 的内容。不同点在于，经抽取后形成的图像序列较原有视频的帧频(或者场频)降低了，例 如有线电视信号的帧频为25帧/秒(50场/秒)，经过本装置的采集，当每路信号的帧频 降为1帧/秒(或者1场/秒)时，若只传送奇场或者偶场信息，则一路信号的带宽中可传 输25-50路被监控信号的信息，若传送整帧信息，则一路信号的带宽中可传输12-25路被监 控信号的信息(25路为理论最高值，即每路信号的切换都发生在奇场正程信号即将开始的时刻，也就是说，信源是同步信号，可以进行无缝切换，若信源是非同步信号，则可监控路数 则会降低，以12路为理论最低值，即每路信号的切换都发生在奇场正程信号刚刚开始的时 亥IJ，必须等待一帧的时间再切换)。信号可以依据被监控信息或位置重要性的不同而具有不 同的优先级，并降低或提高帧频，动态地占有不同的带宽。
非标准视频信号的时序图如图一所示。以四条通道为例，单片机轮询各通道的被 监控信号并以帧为单位采集各个通道的信源图像。当通道1图像的奇场和偶场正程数据传 输完毕后，多路开关根据控制芯片输出的选择信号，迅速将输出切换至通道2;当轮询时刻 发生在通道2的场正程时，多路开关必须等待直到检测到通道2的偶场逆程后才能切换至 该通道；当轮询发生在奇场逆程时(如图中通道3)，可直接切换到该通道；当轮询发生在偶 场逆程时，多路开关需等到偶场正程结束后才能切换到该通道。依照此方法，抽帧器可以完 成多路图像信号到单路图像信号的间插，形成一个非标准的视频信号，该视频信号的每场 图像正程时间为标准的正程时间，相邻两场图像信号的逆程时间可以各不相同。单片机对各个被监控信号进行轮询时采用了不同的频率，能够实现两个有益效 果将N路信号源间插为一路信号，整个装置只需一个模/数转换芯片和图像编码压缩芯 片，缩小装置体积；实现N路信号源的优先级设置，优先级高，轮询的频率则高，反之，轮询 频率则低。以优先级最多的情况为例信源1的优先级最高，依次递减，信源N的优先级最 低。第一次轮询遍历所有信号源，第二次则舍弃优先级最低的第N路信号源，只对信号1 (N-I)进行轮询和切换，……，第N-I次轮询信源1 2，第N次轮询只有第一路信号源，则 在一个周期内，信号源被轮询到的频率与优先级成正比，信号源的信息占用带宽的大小是 动态的，且与优先级成正比。选择信号是利用单片机的中断产生的。视频信号与场消隐信号VBLKn、场奇偶场指 示信号FIDn的时序图如图4所示。以VBLKn信号作为单片机的中断源，其电平的高低变化 会引发单片机的中断，在一帧图像的时间内，单片机会产生4次中断，分别位于第22、311、 334、624行，接近于奇场正程图像信号开始点(23行)、奇场正程图像信号结束点(310行)、 偶场正程图像信号开始点(336行)、偶场正程图像信号结束点(623行)。单片机进入中断 后根据VBLKn和FIDn的电平状态即可判断当前时刻，进而产生选择信号SELn，以帧或场为 单位进行图像的采集。当切换至第m路信源，对应的选择信号SELm为高电平，SELn (η = 1 N，且η兴m) 为低电平。对于数字信源，在数字逻辑电路中各路信源分别和各自的SELn相与，因为SELn 在同一时间至多有一个为高电平，所以相与结果再相或即为最终的一路非标准数字视频信 号输出；对于模拟信源，SELn作为选择信号对所有多路开关的输入信号做选择，输出其中 的一路作为非标准模拟视频信号的输出。在选择信号控制下采集到的模拟信号只需要一个视频处理通路(包括一个模/数 转换芯片、一个图像编码芯片)即可完成多路被监控视频信息的模/数转换及图像编码压 缩过程，而采集到的数字信号可以用同一个图像编码芯片进行图像编码压缩，图像编码芯 片可选用JPEG或JPEG2000等静态图像专用编码芯片，也可采用MPEG、H. 264等活动图像编 码芯片并把待编码图像作为Intra帧(非预测帧)进行编码。最终整套装置可以输出一个 经压缩的静止图像序列，这个序列包含了所有被监控信号的信息，可以用一路视频信号的 带宽传输。
本发明的有益效果是第一，多路视频信号经过抽帧器后，被循环抽取出单帧的静 止图像并利用一个图像编码器进行图像编码。抽帧器的最终输出是静止图像序列，该序列 为按照一定周期循环的多路视频信号的合成图像，每一幅图像都能反映出该时间点下对应 的图像监控通道锁采集到画面的真实情况。第二，抽帧器输出的经过压缩的静止图像序列 较原有的视频流具有低码率的特点，从而达到了节省监控时所需的传输带宽以及存储空间 的目地。第三，控制芯片进行循环切换并抽取多路视频信号单帧图像时，可设置优先级，以 较高的频率选择高优先级被监控视频信号，使各路视频信号动态地占有带宽。
下面结合附图和实施例对本发明进一步说明。图1为多路标准视频信号间插复用成单路非标准视频信号的时序图；图2为多路视频循环监控的装置的硬件连接框图；图3为单片机轮询程序的流程图；图4为视频信号与VBLKn、FIDn信号对应图；图5为ADV212操作流程图；图6为单片机第η路通道中断程序流程图(以帧为采集单位)。
具体实施例方式(一)抽帧器硬件结构本装置包括图像采集模块、A/D变换模块和图像编码模块。图像采集模块将多路 标准视频信号间插复用成单路非标准视频信号，同时体现被监控信号的优先级；A/D变换 模块将图像采集模块输出的非标准视频信号模/数转换，变为数字信号；图像编码模块进 行图像压缩编码，最终输出合成图像的数据流。图像采集模块由控制芯片(可采用ATMEL公司生产的AVR系列单片机或者ARM芯 片)、多路开关(若信号源为模拟信号，可采用模拟多路开关；若信号源为数字信号，可采用 数字逻辑电路实现多路切换)组成；A/D变换模块由视频模/数转换芯片(可采用TI公司 生产TVP5150、TVP5154、PHILIPS公司的SAA7111)组成；图像编码模块由专用图像编码芯 片(可采用JPEG、JPEG2000、MPEG、H.264等专用图像编码芯片)组成。其具体组成结构如 图2所示。图像采集模块中，被监控的模拟信号An或数字信号CHn_Y0 7 (η = 1 N)与模 拟多路开关或数字多路开关的输入引脚相连，多路开关在单片机的控制下进行多路信号的 切换和图像采集，为达到这个目的，控制芯片的输入信号中应该包括输入视频信号的场消 隐信号VBLKn、奇偶场指示信号FIDn等信息，控制芯片根据被控视频信号的场同步、场消隐 等信息产生控制信号SELn，控制多路开关进行视频信号的时分复用。A/D变换模块中，模/数转换芯片将时分复用后的非标准视频信号转换为数字信 号YO 7，非标准数字视频信号YO 7进入图像编码专用芯片进行编码输出图像序列。( 二)抽帧器固件组成抽帧器固件是芯片内部的核心控制程序，主要负责实现将多路规则视频信号间插 复用成单路非规则视频信号并进行图像编码。抽帧器的基本功能由内部固件实现，其固件涉及图像采集模块中的控制芯片(以AVR单片机为例)以及图像编码模块中的图像编码芯 片(以ADV212为例)。1、单片机固件单片机的控制程序包含几个部分单片机本身初始化、信源视频信号的带优先级的切换、模/数转换芯片的初始化、状态机和中断处理。图3为单片机程序的流程图。其流程如下(1)、单片机自身的初始化；(2)、模/数转换芯片的初始化；(3)、设定各视频信号的优先级；(4)、根据信源视频信号的优先级确定select的值；(5)、根据变量select的值选择通道，将coimtl、count2的值设为0，打开被选择 通道的中断；(6)、判断是否已经完成一帧完整图像的采集，即COimtl、COimt2的值都为1，是则 进入步骤(4)，否则继续等待直至采集完毕。单片机本身的初始化包括看门狗初始化、I/O管脚初始化和中断初始化。AVR单片机对模/数转换芯片(以TVP5154为例)的初始化分为以下几个步骤(1)、等待至少1毫秒。向地址为0χ7Π1的寄存器写入OxOOH启动任意编码通道；(2)、等待至少1毫秒。通过IIC从地址为OxSlH的寄存器取值；(3)、验证上一步骤中读取的值是否为0x54H。不是则通过TVP5154的RESET管脚 复位，然后重复1 3。是则表示初始化成功，进入下一步骤；(4)、等待至少1毫秒。向地址为0x30的寄存器写入值0x01，将输出格式设定为 ITU-RBT656. 3；(5)、读取地址为0x8c的寄存器的值，当该值不为0时，即为版本号；(6)、依次完成相关寄存器的赋值，每个步骤间的至少应延时1毫秒。信源视频信号的根据优先级的轮询，能够实现两个有益效果将N路信号源间插 为一路信号，整个装置只需一个模/数转换芯片和图像编码压缩芯片，缩小装置体积；实现 N路信号源的优先级设置，优先级高，轮询的频率则高，反之，轮询频率则低。其实现步骤 为(1)、对N路信号源设置不同优先级。以优先级最多的情况为例，信源1的优先级 最高，依次递减，信源N的优先级最低。(2)、控制器件单片机对信号进行轮询，被轮询到的信号被select信号选中。第一 次轮询遍历所有信号源，第二次则舍弃优先级最低的第N路信号源，只对信号1 (N-I)进 行轮询和切换，……，第N-I次轮询信源1 2，第N次轮询只有第一路信号源，则在一个周 期内，信号源被轮询到的频率与优先级成正比，信号源的信息占用带宽的大小是动态的，且 与优先级成正比。状态机主要功能是判断是否已经在某一通道完成一帧图像采集(1)定义状态变量coimtl、Coimt2(全局变量)，用于指示当前图像的状态。当 count 1 = 0，count2 = 0时表示图像未开始传输；count 1 = l，count2 = 0，有效图像开始； count 1 = 1，count2 = 1，有效图像结束。
(2)初始状态下count 1，count2都为0。打开中断后，等待中断。(3)进入中断后，判断是否处于有效图像开始状态，是则输出该路选择信号SEL， 且将coimtl置为1，退出中断；否则判断是否处于传输结束状态，是则将该路信号对应的选 择信号SEL关闭，且将Count2置为1，退出中断。(4)依次进入上述两个中断状态，才能完成一幅图像的采集，将COimtl，COimt2置 为O。中断处理是根据VBLKruFIDn信号的状态产生选择信号SELn。视频信号与VBLKn、 FIDn的时序图与图4所示。单片机的外部中断管脚与VBLKl 4相连。VBLKl 4提供了 场正/逆信息，其电平的高低变化会引发单片机的中断，进而进入中断处理程序。中断处理流程图如图6所示，描述如下(1)关中断。
(2)当中断发生时，根据当前select的值，判断出是哪个通道产生的中断，进入相 应的处理程序。不同视频通道的处理方法一致，如(3) (6)。(3)判断该路的VBLKruFIDn和countl得出当前所处状态。当图像处于有效图像 开始状态时，跳转至步骤(4)；当图像处于传输结束状态，转至步骤(5)；其它状态则跳转至 (6)。(4)、将输出选择信号SEL设为对应被监控视频信号允许输出，coimtl = 1，开中断 后退出中断。(5)、将输出选择信号SEL关闭，Count2 = 1，退出中断。(6)、开中断，退出中断。在一帧图像的时间内，单片机会产生4次中断，分别位于第22、311、334、624行，接 近于奇场正程图像信号开始点(23行)、奇场正程图像信号结束点(310行)、偶场正程图 像信号开始点(336行)、偶场正程图像信号结束点(623行)。若以一帧为单位采集图像 信息，则图像切换和抽取的开始、结束点分别为第22、624行，进入中断后，单片机判断当前 VBLKn,FIDn信号的状态，若满足VBLKn为低电平、FIDn为高电平，则将选择信号SEL设为本 路信源允许输出，若VBLKn为高电平、FIDn为低电平，则将选择信号关闭；若以奇场为单位 采集图像信息，则图像切换和抽取的开始、结束点分别为第22、311行，进入中断后，若满足 VBLKn为高电平、FIDn为高电平，则将选择信号SEL设为本路信源允许输出，若VBLKn为高 电平、FIDn为高电平，则将选择信号关闭；若以偶场为单位采集图像信息，则图像切换和抽 取的开始、结束点分别为第334、624行，进入中断后，若满足VBLKn为低电平、FIDn为低电 平，则将选择信号SEL设为本路信源允许输出，若VBLKn为高电平、FIDn为低电平，则将选 择信号关闭。当切换至第m路信源，对应的选择信号SELm为高电平，SELn (η = 1 N，且η兴m) 为低电平。对于数字信源，在数字逻辑电路中各路信源分别和各自的SELn相与，因为SELn 在同一时间至多有一个为高电平，所以相与结果再相或即为最终的一路非标准数字视频信 号输出；对于模拟信源，SELn作为选择信号对所有多路开关的输入信号做选择，输出其中 的一路作为非标准模拟视频信号的输出。2、ADV212 固件图5为ADV212在32-Bit Normal Host Mode Encode模式下的操作流程图。抽帧中通过主处理器对ADV212完成了图中的操作步骤
(1)、复位后即对ADV212的工作时钟进行。操作数据手册，此处ADV212的JCLK、 HCLK分别被设置为108MHz和54MHz ；(2)、等待20微秒后，写0x008a至BOOT寄存器(地址为OxOD)，将ADV212设置为 NO-BOOT HOST 模式；(3)、将寄存器BUSM0DE (地址为0x08)和MMODE (地址为0x09)都设置成0x000a， 将ADV212的主机数据宽度、DMA数据宽度、间接数据宽度、地址增量都设定为32bit，并且将 地址设置为自增模式；(4)、通过寄存器IADDR (地址为OxOB)和IDATA (地址为OxOC)将固件 encode_2_13_0. sea 下载至 ADV212 内间接地址为 0x00050000 处；(5)、向 BOOT 寄存器写入 0x008D，将 ADV212 设置为 Co-processor boot 模式。(6)、重复步骤3;(7)、参照ADV212间接寄存器的设置方法设置编码参数。在小端模式下对相关参 数的设置如下表所示 (8)、向间接寄存器FFTHRC(间接地址为0xFFFF141C)写入0x00400000，将数据 FIFO的门限值设为64字;(9)、将EIRQIE寄存器(地址为0x05)设为0x0402，开起SWIRQO和数据FIFO溢出 标志；(10)、查看EIRQFLG寄存器(地址为0x06)的第10位，直至该位被置1，进入下一 步骤；(11)、读取SWFLAG寄存器(地址为0x07)的值，验证是否为0xFF82，是则表示 ADV212初始化成功；(12)、向EIRQFLG寄存器写入OxFFFF，使ADV212开始编码；(13)、查看IRQ管脚(144-Ball Package GlO脚)。当中断有效，即该脚输出为低 时，从CODE寄存器(地址为0x01)连续读取64字数据；(14)、向EIRQFLG寄存器写入0x0002后跳转值步骤13。ADV212输入的数据流中00 00 00 OC为一幅图像的起始标识符，以FF D9为结束 标识符，起始标识符和结束标识符之间的数据(含起始标识符和结束标识符)即为一幅经 JPEG2000压缩后图像的有效数据。将数据读出后，存成JP2格式，即完成了抽帧的工作。
权利要求
一种多路视频循环监控的装置，其特征在于模拟多路开关连接模/数转换芯片，模/数转换芯片连接控制芯片，控制芯片连接一个图像编码芯片；或者数字多路开关连接控制芯片，控制芯片连接一个图像编码芯片。
2.应用权利要求1所述的装置进行一种多路视频循环监控的方法，其特征在于当被 监控视频信号为模拟信号，则N路模拟信号经过模拟多路开关，在控制芯片产生的选择信 号的控制下将多路标准的视频信号复用为一路非标准视频信号，随后利用视频模/数转换 芯片将模拟视频信号转换成数字视频信号，并送至图像编码芯片中；当被监控信号为数字 信号，则N路被监控数字信号通过数字接口进入数字多路开关，在控制芯片产生的选择信 号的控制下进行切换和图像采集，间插复用为一路非标准视频信号送入图像编码芯片；整 个装置只采用一个图像编码器进行压缩编码，最终生成一个经压缩的静止图像序列。
3.根据权利要求2所述的的方法，其特征在于每路信号依据被监控信息或位置重要性的不同而具有不同的优先级，重要的提高帧 频，不重要的降低，在一个周期内，信号源被轮询到的频率与优先级成正比，信号源的信息 占用带宽的大小是动态的，且与优先级成正比。
4.根据权利要求2所述的的方法，其特征在于，N路被监控数字信号的时序如下N路 即N个通道，在采集图像的单位为一帧的情况下，当通道1图像的奇场和偶场正程数据传输完毕 后，多路开关根据控制芯片输出的选择信号，迅速将输出切换至通道2 ；当轮询时刻发生在 通道2的场正程时，多路开关必须等待直到检测到通道2的偶场逆程后才能切换至该通道； 当轮询发生在奇场逆程时，可直接切换到该通道；当轮询发生在偶场逆程时，多路开关需等 到偶场正程结束后才能切换到该通道；依照此方法，依次完成N路图像信号到单路图像信 号的间插，形成一个非标准的视频信号。
全文摘要
本发明涉及一种多路视频循环监控的装置及其方法，该发明可以将输入的多路视频信号抽取成静止图像序列，用一个编码器进行编码，并根据各路视频信号的优先级动态地分配带宽。当被监控视频信号为模拟信号，则N路模拟信号经过模拟多路开关，在控制芯片产生的选择信号的控制下将多路标准的视频信号复用为一路非标准视频信号，随后利用视频模/数转换芯片将模拟视频信号转换成数字视频信号，并送至图像编码芯片中；当被监控信号为数字信号，则N路被监控数字信号通过数字接口进入数字多路开关，在控制芯片产生的选择信号的控制下进行切换和图像采集，间插复用为一路非标准视频信号送入图像编码芯片；本发明节省了带宽，图像编码器的利用率大大提高。
文档编号H04N7/18GK101867825SQ20101020883
公开日2010年10月20日 申请日期2010年6月25日 优先权日2010年6月25日
发明者云霄, 倪业鹏, 柴剑平, 温淑鸿, 苏宇 申请人:中国传媒大学