专利名称：多路数字图像多组组合的实现方法和总线接口技术的制作方法
技术领域：
本发明涉及一种传输或重现任意组合图像的图像通讯技术，更确切地说是涉及一种多路数字图像多组组合的总体实现方法和总线接口技术，通过本发明的多画面视频总线及其接口技术实现，应用于会议电视系统中的多点控制单元(MCU)、图像编辑等设备中。
在会议电视、图像编辑等业务中，经常需要将多路数字视频运动图像信号(子画面)实时组合成为单路(一路或者说一组)数字视频图像信号，组合后的数字视频图像信号中应包含原始的多路数字视频图像信号中的内容，并且在物理接口和逻辑格式上又与单路视频图像相同。需要通过在同一台硬件设备上利用软件对多路视频运动图像进行控制，对多路图像数据实现灵活地切换与组合方式的更改，如多路图像灵活分组、每个分组同时实现不同模式的图像组合等。
现有的普通画面分割器(如美国AD公司生产的此类设备)大多能够实现符合上述要求的功能，但对视频图像的组合只有一种固定的组合方式或少量几种组合方式。据申请人所知，还未见到国产的此类设备。
现有的实现多路图像组合等功能的设备，所存在的不足主要包括以下两方面1)模式切换主要依赖硬件电路进行，因此多路视频图像的组合方式不可能灵活；2)受硬件接口形式与性能的限制，在组合方式比较复杂的情况下，往往不能保证参与组合的原始子画面保持其原有的帧率，造成组合后的图像质量不理想，帧率低等问题。
本发明的目的是提供一种多路数字图像多组组合的实现方法和总线接口技术，包括数字视频总线结构和相应的接口处理方式，是一种能够实现多路数字视频图像信号灵活切换与组合方式更改的硬件架构，可对多路图像(子画面)灵活分组、每个分组又能同时实现不同模式的图像组合等。
实现本发明目的的技术方案是这样的一种多路数字图像多组组合的实现方法，其特征在于包括以下处理步骤A.将来自原始视频通道的m路完整的视频数据对应送入m路子画面通道，分别按像素方式压缩成m个子画面像素数据并对应暂存在m个先进先出(FIFO)子画面帧存中；B.由m路子画面像素数据的输出总线选通信号控制m路子画面像素数据在规定的时刻输出到n组视频数据总线中的一组规定的视频数据总线上；C.由n组图像组合模块分别将n组视频数据总线上的子画面像素数据组合成n组组合画面，并从n组组合画面通道输出完整的视频数据。
所述的步骤A包括生成扫描顺序与原始视频数据相同但行像素与列像素少于原始图像的子画面，和将子画面视频数据存放在先进先出(FIFO)子画面帧存的低位地址端。
所述的步骤B进一步包括在规定的时刻，每一组视频数据总线上只有一路子画面像素数据被输出，m路子画面像素数据被所述的总线选通信号控制，选择性地切换到n组视频数据总线上。
所述步骤B中的总线选通信号的生成进一步包括计算出一场或一帧组合画面的每个像素所对应的子画面的通道地址；将计算后的一场或一帧的像素地址按照图像扫描顺序写入存储器，形成像素地址表；在视频同步信号的控制下从像素地址表中读取像素地址，选通一组视频数据总线，由第n组组合画面图像处理单元读取第m个子画面像素数据。
在奇偶场方式下，是由两组存储器分别存储奇场与偶场的像素地址表；在帧处理方式下，是由一组存储器存储公共帧的像素地址表。
在画面组合方式稳定的业务时间段内，一次计算并存储的一场或一帧组合画面的每个像素所对应的子画面的地址，在每场或每帧供重复读取。
实现本发明目的的技术方案还可以是这样的一种多路数字图像多组组合的总线接口，其特征在于包括m路子画面图像处理单元、n组组合画面图像处理单元、n组视频数据总线、地址及控制总线、像素数据读取控制与总线切换逻辑模块和时钟及同步信号产生模块；m路子画面图像处理单元的m个子画面通道输出端同时连接n组视频数据总线；n组视频数据总线同时连接n组组合画面图像处理单元的子画面视频数据输入端，或者固定连接少于n的组合画面图像处理单元的子画面视频数据输入端；所述的地址及控制总线同时连接n组组合画面图像处理单元、像素数据读取控制与总线切换逻辑模块和时钟及同步信号产生模块。
所述的m路子画面图像处理单元中的每一路子画面图像处理单元，是由子画面生成模块、先进先出(FIFO)子画面帧存模块和子画面像素数据切换与分配模块顺序连接构成的；所述n组组合画面图像处理单元中的每一组组合画面图像处理单元是由组合画面像素地址控制模块和组合画面合成控制逻辑模块连接构成的；n个组合画面像素地址控制模块及所述的像素数据读取控制与总线切换逻辑模块与所述的地址及控制总线连接；所述的像素数据读取控制与总线切换逻辑模块与所述的m个子画面像素数据切换与分配模块连接，所述的m个子画面像素数据切换与分配模块及所述的n个组合画面合成控制逻辑模块同时连接n组视频数据总线。
所述的像素数据读取控制与总线切换逻辑模块是由译码器连接组成的，对由相关的组合画面像素地址控制模块送出的像素地址信号及视频同步信号进行译码，输出总线选通信号，控制一子画面像素数据输出到一组视频数据总线上。
所述的组合画面像素地址控制模块由中央处理单元(CPU)或数字信号处理器(DSP)与存储器连接组成，中央处理单元(CPU)或数字信号处理器(DSP)用于计算一场或一帧组合画面的每个像素所对应的各子画面的地址，存储器中存放该地址，形成一场或一帧组合画面的像素地址表。
所述的地址与控制总线包括地址总线、时钟与同步信号总线与控制总线，所述的地址总线连接所述的组合画面像素地址控制模块及所述的像素读取控制与总线切换逻辑模块，所述的时钟与同步信号总线连接所述的m路子画面图像处理单元和n组组合画面图像处理单元，所述的控制总线连接所述的m个子画面图像数据切换与分配模块和所述的像素读取控制与总线切换逻辑模块。
本发明的多路数字图像多组组合的总体实现方法和总线接口技术，具有以下有益效果1)体现了将硬件作为信号处理的平台、通过软件来实现功能的设计思想，由于软件设计改进方便，模式非常灵活，该方案在实际系统中，通过软件控制，可以随时在高达数以百计的模式中快速切换；2)灵活的分组能力，可以根据需求随时切换各子画面图像信道的分组关系和组合模式，大大提高了系统处理图像业务的能力，满足多媒体图像通信系统和其它图像编辑系统等的要求。
下面结合实施例及附图进一步说明本发明的技术方案。
图1是多画面图像组合的十种典型模式，由图1a、图1b、图1c、图1d、图1e、图1f、图1g、图1h、图1i、图1j组成。
图2是实现本发明多路数字图像多组组合的硬件结构原理框图。
图3是实现本发明多路数字图像多组组合的总线与相关接口模块的连接关系示意图。
需要预先说明的是若仅从视频图像组合的原理来考虑图像系统的处理能力的话，参与画面组合的原始子画面图像的数量是可以不受限制的，但由于受总线接口芯片驱动能力的限制与信号质量的约束，通常原始图像(子画面)的数量不宜超过16个。如果对信号驱动与总线匹配做特殊技术处理，可能使子画面的图像通道数增加到25个或更多。
理论上，由于软件的灵活性，用多个子画面组合出的每个组合图像的模式也几乎是不受限制的，可以有成千上万种。图1中示出了十个比较典型的组合图像模式。其中，图1a所示是2个子画面的一种图像组合模式，图1b所示是3个子画面的一种图像组合模式，图1c所示是4个子画面的一种图像组合模式，图1d所示是9个子画面的一种图像组合模式，图1e所示是6个子画面的一种图像组合模式，图1f所示是4个子画面的另一种图像组合模式，图1g所示是16个子画面的一种图像组合模式，图1h所示是8个子画面的一种图像组合模式，图1i所示是13个子画面的一种图像组合模式，图1j所示是13个子画面的另一种图像组合模式。
实施例以16个子画面的组合情况为例，其可以实现的图像画面组合方式可以是将16(m＝16)个原始图像(16个子画面)分成N个组(N一般为1～4)，每一组子画面使用一组视频总线，N组子画面分别通过N组视频总线组合成N个组合图像。但其组合过程需受一个条件限制，即每一个原始图像(指物理上的一路子画面处理通道的输出数据)不能同时参与两个及两个以上的组合图像处理。只要符合该限制条件，来自于各通道的原始图像的分组或者说组合的方式可以有很多种，例如第1、2、3路原始图像组成一组，第4、5、6、7路原始图像组成第二组，第8～16路原始图像组合成第三组等。
参见图2，图中示出对m(m＝16)个子画面作n(n＝4)组组合的硬件结构，包括多路子画面图像处理单元10、多画面视频数据总线20(是n分组视频数据总线的总称)、地址及控制总线30、多组组合画面图像处理单元40、像素数据读取控制与总线切换逻辑模块50和时钟及同步信号产生模块60，将来自m路原始视频通道的m路完整的视频数据对应送入m路子画面通道，组合成n组组合画面，并从n组组合画面通道输出完整的视频数据。
多路子画面图像处理单元10中的每一路子画面通道中包括有子画面生成模块11、子画面帧存先进先出(FIFO)模块12和子画面像素数据切换与分配模块13，模块11、模块12、模块13顺序连接。
子画面生成模块11，将来自对应原始视频通道的一路完整的数字图像数据按像素方式压缩成子画面数字图像数据。原始的完整的数字图像数据可以有两种格式一种是标准数字视频格式，包括CCIR-601或CCIR-656格式；第二种是与显示的扫描顺序相同但不区分奇偶场的公共中间格式，例如CIF格式。在这两种格式情况下，都可以采用数字信号处理器(DSP)对原始图像做像素压缩，生成与原有扫描顺序相同、但行像素或列像素比原始图像少的子画面。对于第一种格式，还可以采用图像缩放专用芯片做同样的处理。
子画面帧存FIFO模块12，用于暂存经像素压缩后的原始图像数据，在每场或每帧的原始图像数据被压缩后，由于难以使不同大小的子画面同步，故而先暂存在FIFO中，每场或每帧都可对FIFO刷新，压缩后的子画面数据存放在FIFO的低端。
子画面像素数据切换与分配模块23，有两种作用一是确保任一时刻只有一个子画面的像素数据被输出到同一组三态输出的多画面视频数据总线20上；二是在有多个(如4个)分组的情况下，各路子画面需要被选择性地切换到不同组的数据总线(如4组数据总线中的任一组)上。在某一段可以是几分钟至若干小时的时间段内，m个子画面的分组关系是确定的，因而多画面视频数据总线20的分配关系也是相对稳定的，这种分配关系由系统CPU来控制，上述两种控制作用是由来自于多组组合画面图像处理单元40的控制或地址信号与系统CPU共同完成的。
像素数据读取控制与总线切换逻辑模块50是由若干个译码器构成的，像素数据读取控制与总线切换逻辑模块50的输入信号来自于地址及控制总线30，包括由多组组合画面图像处理单元40中相关的图像组合模块送出的像素地址信号及视频同步信号，像素数据读取控制与总线切换逻辑模块50的输出信号是各路子画面像素数据的输出选通信号，用于控制各路子画面像素数据在规定的时刻输出到规定的一组视频数据总线上。该像素数据读取控制与总线切换逻辑模块50可以放在多路子画面图像处理单元10一侧，如图2中所示，也可以放在多组组合画面图像处理单元40一侧，如图3中所示。
结合参见图2、图3，多画面视频数据总线20，是4组视频数据总线201、202、203、204的总称，图3中示出该4组视频数据总线与相关接口模块间的典型连接关系。
系统设计时，根据需要可以将多画面视频数据总线20设置为1组或多组(一般为4组或4组以下，图中实施例设置为4组)视频数据总线，但每一组视频数据总线201、202、203、204都同时连接到多路子画面图像处理单元10侧的所有子画面通道(16个)的输出端，即所有路子画面像素数据切换与分配模块23的输出端上，同时还连接到多组组合画面图像处理单元40侧的所有图像组合单元上，即所有画面合成控制逻辑模块41上，当然也可以只分别连接到一个图像组合单元上，如图3中所示。每组视频数据总线201或202或203或204均包括16条或8条视频数据线，传送包括色差、亮度等信号的YUV数据。
需要说明的是多画面视频数据总线20可以只有一组视频数据总线，也可以有多组视频数据总线；多组组合画面图像处理单元40内对多组视频数据总线的输入选择也不是必须的，可以固定连接到某一组数据总线上；像素数据读取控制与总线切换逻辑模块50也可以放在多路子画面图像处理单元10内(如图2所示)或放在多组组合画面图像处理单元40内(如图3所示)。
为保证总线的信号质量，还需要对各视频信号做适当的阻抗匹配处理，总线驱动一般采用ABT(一种总线驱动芯片)类型的接口芯片。
图2中地址及控制总线30是图3中控制总线301和时钟与同步信号302的总称，包括视频同步信号与视频像素地址信号/子画面图像选通信号。其中的视频同步信号包括27MHz的视频器件工作主时钟、13.5MHz或6.75MHz的像素时钟、场同步信号、行同步信号、复合消隐指示信号，该类视频同步信号供多路子画面图像处理单元10及多组组合画面图像处理单元40共用。视频像素地址信号/子画面图像选通信号，根据像素数据读取控制与总线切换逻辑模块50放置在总线哪一侧的情况而确定信号类型。每组组合画面图像处理单元40的组合画面像素地址控制模块42都会在每个像素时钟的时刻，输出用于指定该时刻需要读取的像素所对应的图像通道代号(地址)。该图像通道代号(地址)经像素读取控制与总线切换逻辑模块50译码后，生成第m路子画面图像数据被第n组组合画面读取的选通信号，就可从该路子画面通道的FIFO(12)中读取视频数据。
本发明的多画面视频总线可以是多路视频数据总线20、控制总线301与时钟与同步信号302的总称。图3的实施例则是将像素数据读取控制与总线切换逻辑模块50放在多画面视频数据总线靠近画面组合单元40一例的情况。
组合画面像素地址控制模块42，由CPU或DSP和存储器组成。根据后台操作的要求，由CPU或DSP计算出一场或一帧组合画面的每个像素所对应的子画面的代号(即地址)，再将一场或一帧的像素地址按照图像扫描的顺序写入存储器。在奇偶场的方式下，需要采用两组存储器分别存储两场的像素地址表；在帧处理的方式下，只需存储公共帧的像素地址表。
该存储器可以是帧存FIFO或SRAM。由于在一段几分钟至若干小时的业务时间内，多个画面的组合方式是相对稳定的，并不需要频繁切换，因而不需要每场或每帧都计算像素的地址，因此针对某一种确定的模式，只需计算一次像素地址，将像素地址表保存在存储器中，然后在视频同步信号的控制下，每场或每帧从存储器中重复读取，属于纯硬件时序操作。此外，计算像素地址表需要较大的运算量，如果每场或每帧都要实时计算，则需要采用高速DSP，则成本太高，因而从成本考虑也不要求每场或每帧都计算像素地址。
画面合成控制逻辑模块41是与画面像素地址控制模块42配合工作的而构成图像组合子模块。各子画面的视频数据按照规定的顺序依次输出到多画面视频数据总线20上后，实际上已经形成了组合图像的数据格式与顺序，但为满足系统功能增强的需要，各图像组合子模块还需要实现以下两个功能从多组视频数据总线中选择一组视频数据总线(也可以固定连接)；像素替换及字幕框线叠加，主要用于将组合图像中空白的子画面区域填充为固定颜色，以及叠加框线和字幕。区域颜色填充的功能可以直接在视频数据总线上通过上拉或下拉的方式实现，或采用其它处理子模块与字幕一起实现。关于叠加框线和字幕的实现方法，由于不属于本专利讨论的范围，在此不详述。
时钟及视频同步信号产生模块60，可以由专用视频器件构成，也可以由逻辑电路构成。
本发明的多路数字图像多组组合的总体实现方法和总线接口技术，经在华为技术有限公司的ViewPoint 8620视讯交换平台(会议电视MCU系统的增强型产品)设备上试应用，证明可以实现发明目的，在多媒体图像通讯类设备中应用，因其极强的多画面处理能力而具有明显优良的性能。
权利要求
1.一种多路数字图像多组组合的实现方法，其特征在于包括以下处理步骤A.将来自原始视频通道的m路完整的视频数据对应送入m路子画面通道，分别按像素方式压缩成m个子画面像素数据并对应暂存在m个先进先出(FIFO)子画面帧存中；B.由m路子画面像素数据的输出总线选通信号控制m路子画面像素数据在规定的时刻输出到n组视频数据总线中的一组规定的视频数据总线上；C.由n组图像组合模块分别将n组视频数据总线上的子画面像素数据组合成n组组合画面，并从n组组合画面通道输出完整的视频数据。
2.根据权利要求1所述的一种多路数字图像多组组合的实现方法，其特征在于所述的步骤A包括生成扫描顺序与原始视频数据相同但行像素与列像素少于原始图像的子画面，和将子画面视频数据存放在先进先出(FIFO)子画面帧存的低位地址端。
3.根据权利要求1所述的一种多路数字图像多组组合的实现方法，其特征在于所述的步骤B进一步包括在规定的时刻，每一组视频数据总线上只有一路子画面像素数据被输出，m路子画面像素数据被所述的总线选通信号控制，选择性地切换到n组视频数据总线上。
4.根据权利要求1或3所述的一种多路数字图像多组组合的实现方法，其特征在于所述步骤B中的总线选通信号的生成进一步包括计算出一场或一帧组合画面的每个像素所对应的子画面的通道地址；将计算后的一场或一帧的像素地址按照图像扫描顺序写入存储器，形成像素地址表；在视频同步信号的控制下从像素地址表中读取像素地址，选通一组视频数据总线，由第n组组合画面图像处理单元读取第m个子画面像素数据。
5.根据权利要求4所述的一种多路数字图像多组组合的实现方法，其特征在于在奇偶场方式下，是由两组存储器分别存储奇场与偶场的像素地址表；在帧处理方式下，是由一组存储器存储公共帧的像素地址表。
6.根据权利要求4所述的一种多路数字图像多组组合的实现方法，其特征在于在画面组合方式稳定的业务时间段内，一次计算并存储的一场或一帧组合画面的每个像素所对应的子画面的地址，在每场或每帧供重复读取。
7.一种多路数字图像多组组合的总线接口，其特征在于包括m路子画面图像处理单元、n组组合画面图像处理单元、n组视频数据总线、地址及控制总线、像素数据读取控制与总线切换逻辑模块和时钟及同步信号产生模块；m路子画面图像处理单元的m个子画面通道输出端同时连接n组视频数据总线；n组视频数据总线同时连接n组组合画面图像处理单元的子画面视频数据输入端，或者固定连接少于n的组合画面图像处理单元的子画面视频数据输入端；所述的地址及控制总线同时连接n组组合画面图像处理单元、像素数据读取控制与总线切换逻辑模块和时钟及同步信号产生模块。
8.根据权利要求7所述的一种多路数字图像多组组合的总线接口，其特征在于所述的m路子画面图像处理单元中的每一路子画面图像处理单元，是由子画面生成模块、先进先出(FIFO)子画面帧存模块和子画面像素数据切换与分配模块顺序连接构成的；所述n组组合画面图像处理单元中的每一组组合画面图像处理单元是由组合画面像素地址控制模块和组合画面合成控制逻辑模块连接构成的；n个组合画面像素地址控制模块及所述的像素数据读取控制与总线切换逻辑模块与所述的地址及控制总线连接；所述的像素数据读取控制与总线切换逻辑模块与所述的m个子画面像素数据切换与分配模块连接，所述的m个子画面像素数据切换与分配模块及所述的n个组合画面合成控制逻辑模块同时连接n组视频数据总线。
9.根据权利要求8所述的一种多路数字图像多组组合的总线接口，其特征在于所述的像素数据读取控制与总线切换逻辑模块是由译码器连接组成的，对由相关的组合画面像素地址控制模块送出的像素地址信号及视频同步信号进行译码，输出总线选通信号，控制一子画面像素数据输出到一组视频数据总线上。
10.根据权利要求8所述的一种多路数字图像多组组合的总线接口，其特征在于所述的组合画面像素地址控制模块由中央处理单元(CPU)或数字信号处理器(DSP)与存储器连接组成，中央处理单元(CPU)或数字信号处理器(DSP)用于计算一场或一帧组合画面的每个像素所对应的各子画面的地址，存储器中存放该地址，形成一场或一帧组合画面的像素地址表。
11.根据权利要求8所述的一种多路数字图像多组组合的总线接口，其特征在于所述的地址与控制总线包括地址总线、时钟与同步信号总线与控制总线，所述的地址总线连接所述的组合画面像素地址控制模块及所述的像素数据读取控制与总线切换逻辑模块，所述的时钟与同步信号总线连接所述的m路子画面图像处理单元和n组组合画面图像处理单元，所述的控制总线连接所述的m个子画面图像数据切换与分配模块和所述的像素读取控制与总线切换逻辑模块。
全文摘要
本发明涉及一种多路数字图像多组组合的实现方法及总线接口技术。主要包括m路子画面图像处理单元、n组组合画面图像处理单元、n组视频数据总线、地址及控制总线、像素数据读取控制与总线切换逻辑模块。由m路子画面像素数据的输出选通信号控制m路子画面像素数据在规定的时刻输出到n组视频数据总线中一组规定的视频数据总线上;由n组图像组合模块分别将n组视频数据总线上的子画面像素数据组合成n组组合画面,并从n组组合画面通道输出完整的组合视频数据。
文档编号H04N7/26GK1390047SQ0111860
公开日2003年1月8日 申请日期2001年6月4日 优先权日2001年6月4日
发明者张原 , 朱雄羽, 王光奎, 李江宏 申请人:华为技术有限公司