专利名称：一种抗干扰的网络视频传输方法及装置的制作方法
技术领域：
本发明涉及视频图像信号的传输技术，尤其涉及一种抗干扰的网络视频传 输方法及装置。
背景技术：
随着视频编码技术、网络技术的迅速发展，基于视频图像编码技术的网络
视频传输方式得到了极为广泛的运用，例如视频监控、 一见频会议等。实际上， 网络视频的传输究其本质还是图像的传输，因为一个完整的视频是由很多图像 组成的，传输一个视频也就是传输若干个子图像，所以最终控制的目标应该是 子图像。而在记录及显示图像时，红绿蓝(RGB， Red Green Blue )色彩模式是 目前运用最广的颜色系统之一。RGB主要是通过对红、绿、蓝三种颜色通道的 变化、及它们相互之间的叠加来得到各种颜色，这几乎包括了人类视力所能感 知的所有颜色。RGB色彩模式也是一种颜色编码的方法，采用这种编码方法， 能够为图像中每一个像素的RGB分量分配一个0 255范围内的强度值。
目前，网络视频传输是按RGB整体传输的。图l为现有技术中视频传输过程， 如图1所示，在发送端，根据网络的传输能力，将一个视频划分为若干个子图像， 每个子图像又被划分为若干块。以输入子图像l为例，图l中，输入子图像l被进 一步划分成mxn块，P面代表第mxn块，假设每块有K个点，而每个点包括三个 像素值(RK， Gk， Bk),那么此时网络可接受每次传输Kx3个像素值，这些像 素值封装成数据包传输。其中，数据包Pu包含[(RU1， G " B川)...(RK1I, GK11， BK11)]，…数据包P咖包含[(R』，Glmn, Blmn)…(RKmn, GKmn， BKm)]， 连续传输数据包Pn，…，Pln，…，Pml,…，Pran;在接收端，接收到的数据为 P'u，…，p'ln，…，p'ml， ...， p'mn，重新组合成输出子图像2，即完成一次子图像的传输。然而，任何通讯网络等传输媒体都不能保证数据完全可靠，在进行网结4见频传输过程中，常常由于噪声、网络拥塞等多种原因导致丢包。那么，
上述的网络视频传输过程中若发生丟包，则将同时丢失一个点的红色(R， Red )、绿色(G， Green)、蓝色(B， Blue)三种颜色的像素值。
目前，常用的解决网络视频传输中丢包的方法，主要包括错误掩盖和图像冻结，其中，错误掩盖是指通过丟失的图像的前后正确图像来猜测丢失的部分，尽可能的还原图像；图像冻结是指在出现错误的时候，冻结当前的画面，直到下一个正确的帧到来。但是，两种方法都有一定的局限性，错误掩盖虽然能够通过前后正确的帧来还原丢失的帧，但毕竟不是原始的数据，可能会导致失真；图像冻结将会带来一定的延迟，对于实时性要求高的系统，并不适用。可见，如何使视频编码方法有较好的错误恢复能力，对其网络视频技术的发展具有重要意义。
发明内容
有鉴于此，本发明的主要目的在于提供一种抗干扰的网络视频传输方法及装置，能解决由于传输过程中丟包造成像素点无法还原的问题，提高视频图像传输的可靠性和传输效率。
为达到上述目的，本发明公开了一种抗干扰的网络视频传输方法，包括将输入视频图像划分为 一个以上的传输单元，分别提取传输单元中各颜色的像素值，按不同颜色各自组成输入子图；将不同颜色的输入子图分别划分为输入子图数据包，为每个输入子图数据包增加标识位后传输；将接收到的数据分別还原为各颜色的输出子图，判断是否发生丢包，若发生丟包，则结合与丢失包临近的正确包标识位对丢失包进行处理，并将处理后的丟失包数据还原至输出子图；否则，将输出子图合成视频图像并输出。
上述方法中，所述输入子图由单一颜色像素值的像素点组成；所述划分输入子图数据包为提取每个像素点的单一颜色像素值作为所述输入子图数据包中的lt据。所述标识4立由两位组成， 一位标识颜色种类， 一位标识数据包的顺
5序。其中，所述对丢失包进行处理为先从所述正确包的标识位获得丢失包中
像素值的颜色种类，然后再采用替代值代替丢失点的^f象素值。这里，所述将输
出子图合成为将先到的输出子图数据包先合成。
为实现上述方法，本发明还提供一种抗干扰的网绍4见频传输装置，包括传输单元划分模块，用于将输入视频图像划分为一个以上的传输单元；像素值提取模块，用于提取各传输单元中各颜色的像素值；输入子图生成模块，用于将所提取的不同颜色的像素值分别组成各颜色的输入子图；输入子图数据包生成模块，用于将不同颜色的输入子图分别划分为输入子图数据包，为每个输入子图数据包增加标识位；判断模块，用于判断是否发生丢包，在发生丢包时通知替代模块，在未丟包时通知输出子图合成模块；替代模块，用于处理丢失包的数据，采用替代值代替丢失的数据；输出子图合成模块，用于将接收到的数据分别还原为各颜色的输出子图；视频图像合成模块，用于将所述输出子图合成为视频图像。
上述方案中，所述输入子图由单一颜色像素值的^(象素点组成，所述输入子图生成模块提取每个像素点的单一颜色的像素值作为所述输入子图数据包中的数据。所迷输入子图数据包生成模块所添加的标识位由两位组成， 一位标识颜色种类， 一位标识数据包的顺序。这里，所述输出子图合成模块将先到的输出子图数据包先合成输出子图。
本发明所提供的抗干扰的网络视频传输方法及装置，通过改变网络视频的传输方式，将R、 G、 B分开且不连续地传输，这样即使在发生连续丢包的情况下，也能极大地降低丢失整个连续RGB的可能性，保证对于每个像素点对端能够收到表示该像素点的至少一种或两种颜色的像素值，所丢失的仅是像素点的某一种颜色的像素值，通过已经接收到的另外两种或一种颜色的像素值，仍然可以还原图像，且使用的是其本身的像素点，从而确保不丢失整个像素点，只是局部色彩失真，但这时的图l象是真实的图像，满足真实性的要求，这不同于错误掩盖法产生的图像。
本发明在网络发生丢包的情况下，并不采用冻结图像方式，而是继续发送，
6如此可避免延时，保证实时性。
以往的方法在网络丢包时，每次丢失的是包含三种颜色的像素值的数据包，只能采取图像冻结或者错误掩盖法，而由上述可见，本发明能够最大限度的还原图像，具有很强的抗干扰性。因此，对于实时性和真实性要求高的系统来说，本发明在这方面具有一定的优势，能弥补图像冻结和错误掩盖的缺陷。
图1为现有技术中^L频传输的示意图2为本发明的抗干扰的网络视频传输方法的流程示意图3为本发明所述方法的视频图像拆分原理示意图4为本发明所述方法中提取输入子图数据包的示意图5为本发明所述方法中子图数据包传输顺序的示意图6为本发明所述装置的组成结构示意图。
具体实施例方式
本发明的基本思想是在传输之前，先将视频图像按颜色种类拆分为不同颜色的输入子图，再将不同颜色输入子图中所有代表某个像素点的像素值分别划分到对应的数据包传输，如此，可降低丢失像素点全部像素值的概率。在某个像素点的像素值不全部丢失的情况下，仍可以根据接收到的丢失包临近的正确包确定丢失的像素点的颜色种类和顺序，并利用预设的像素值替代值恢复该像素点，进而将视频图像还原。
下面结合附图对本发明作进一步详细的说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
首先，假设按RGB整体传输时，根据网络传输条件，图像被分成mxn块，每块有K个点，每个点有三个像素值，当通过这mxn个数据包发送;f见频数据时，网络的传输能力为Kx3个像素值。那么，在同样的网络条件下，本发明的抗干扰的网络视频传输方法的流程如图2所示，具体步骤如下步骤201 、将输入视频图像划分为 一个以上的传输单元；
其中，根据网络的传输能力，将所输入的视频图像划分为若干个传输单元;然后，可以进一步将一个传输单元划分成mxn块，其中，mxn是3的倍数，P咖代表第mxn块数据。此时，每块有K个点，每个点有三个像素值，那么网络的传输能力为每次传输Kx3个像素值。
此处，将传输单元划分成块时，根据传输单元本身的特点，各块可以大小不一样，只要不超出网络带宽的要求。例如传输单元先被划分成12块，其中每块5个点，由于所划分的12块中有4块颜色相近，那么就可以把颜色相近的4块合成一块，即把其中的20个点用5个点表示，其余的8块还照常划分，这样传输单元总共就划分为9块，每块的大小并不一样，同时也减少了数据传输量。
这里，如何将视频图像划分为传输单元，可采用现有中以帧为单位来划分传输单元的方法，即一帧为一个传输单元，此处不再赘述；那么，如何将传输单元划分为块，则可采用现有中以像素来划分的方法，即以点为单位的方法，一个点为一个像素，可将若干个点划分为一块，此处不再赘述。在实际中，具体将传输单元划分为多少块，发送端和接收端双方预先约定即可，本发明并不对此进行限定。
步骤202、提取每个传输单元中各颜色的像素值，分别组成不同颜色的输入子按颜色种类提取分块后的每个传输单元中的像素值，组成各颜色的输入子图，每个输入子图中的^f象素点只有一个像素值。
通常，按颜色种类拆分传输单元，以RGB颜色模式为例，拆分分块后每个传输单元中的R色、G色和B色，提取各自的像素值，分别得到每个传输单元对应的R输入子图、G输入子图、B输入子图，如图3所示。其中，图3为本发明所述方法的视频图像拆分原理示意图，每个输入子图中的像素点只有一个像素值，例如，R输入子图中的像素点只有R色像素值(Rp 0, 0) 、 (R2, 0, 0)……(RKx3， 0， 0)等。这里，每个传输单元如/人传输单元l至传输单元N,都能够提取出R、 G、 B三张子图作为输入子图。
8所述输入子图可具有传输单元的分块格式，但在实际操作中，并不是必须 先给输入单元分块再提取其中各颜色的输入子图，也可先提取传输单元中的各 颜色的输入子图，然后再对输入子图进行分块，只要三种颜色的输入子图分块 方法 一致即可，本发明所述的方法并不对此进行限定。
步骤203、分别将各颜色的输入子图划分为对应的输入子图数据包，并分别 为每个输入子图li据包增加标识位；
所述输入子图由单一颜色像素值的像素点组成，提取每个像素点的该单一 颜色像素值作为所述输入子图数据包中的数据。例如，/人每个分块后的R输入 子图中提取出所有点的R值，可提取出Kx3个R值，分别作为PR输入子图数据包 的数据；同理，可得到每个PG输入子图数据包的数据、每个PB输入子图数据包 的数据。
其中，若按4黄向划分，则分别将R输入子图、G输入子图、B输入子图分为 mxi块，分别组成各输入子图的数据包，此时n是3的倍数，如图3所示。进一
步划分输入子图包的过程如图4所示，PR一3代表第mn/3个PR数据包，PG^s代 表第mn/3个PG数据包，PB^/3代表第mn/3个PB数据包。所以对于一个传输单元， 可以得到mn/3个PR数据包(PR! 、 PR2……PRmn/3) 、 mn/3个PG数据包(PG!、 PG2……PGmn/3) 、 mn/3个PB数据包(PB,、 PB2……PBmn/3),每个数据包有Kx3 个点，例如，PR,数据包中的具有3K个像素点的R色像素值(R,, R2，…，R3K)。
若按纵向划分，则分别将R输入子图、G输入子图、B输入子图分成卫xn块，
3
此时m是3的倍数，其余则与横向划分类似，此处不再赘述。
由于将传输单元进一步拆分成R、 G、 B三个输入子图，而每个输入子图中 的每个点就用一个像素值代表，因此在网络接受能力(每次传输Kx3个像素值) 不变的情况下，无论按横向还是按纵向划分，所得到输入子图中的像素点都为 Kx3个。
这里，为每个输入子图数据包增加需要的标识位，该标识位用于标示颜色 的种类和数据包的顺序，例如，增加两位标识位 一位标示颜色的种类，即红色、绿色还是蓝色； 一位标示顺序，即某种颜色的第几个输入子图数据包。 步骤204、传输各输入子图数据包的数据；
按照一定的顺序进行传输，将一个颜色的数据传输完之后再传输另一个颜 色的数据，这样做的目的是保证一个点的(R， G， B)三个值不连续传输，这 样做的好处就是在网络连续丢包时，避免了同时丢失一个点的R、 G、 B三种颜 色的相无率。
在实际传输时，R、 G、 B三者之间的传输顺序可任意确定，每种颜色传输
时内部的顺序也可以随意确定，如先传PRnW3最后传PRn等，只要传输端与接收
端约定好即可。例如先传R色，再传G色，最后传B色，图5为本发明所述方法 的输入子图数据包传输顺序的示意图，如图5所示，各输入子图数据包的顺序即 为PR!、 PR2……PIW PG,、 PG2……PGmn/3、 PB!、 PB2……PBmn/3。该传输顺 序优于(PR,、 PG,、 PB,、 PR2、 PG2、 PB2……PRmn/3、 PGmn/3、 PBmn/3)的原因 在于网络如果发生丢包，通常丢弃的是一些连续的数据包，如果按照PR,、 PG,、 PB,这样的传输顺序，那么，就有很大的可能将第一个点的全部像素值丟 失，这样就无法达到本发明的目的。
步骤205、将接收到的数据分别对应地还原为各颜色的输出子图； 各颜色数据经视频编码后传输到接收端，在接收端，将接收到的数据进行 视频解码后，根据各输出子图数据包的标识位，将各输出子图数据包中的数据 还原成其对应的像素点，进一步还原为其对应的输出子图。
这里，每个输出子图数据包实际就对应传输前的每个输入子图数据包。 具体来说就是，将每个PR输出子图数据包中的Kx3个像素值，还原成Kx3 个只有R值的像素点，如(RP 0， 0) 、 (R2, 0， 0)……(RKx3， 0， 0),于 是还原得到每个PR输出子图数据包对应的PR输出子图。依此类推，由每个PG 输出子图数据包中只有G值的像素点，如(0， G。 0) 、 (0， G2, 0)……(0， GKx3， 0),而得到PG输出子图；由每个PB输出子图数据包中只有B值的像素点， 如(0， 0, Bi) 、 (0, 0， B2)……(0, 0, BKx3),而得到PB输出子图。实 际上，还原的过程就是拆分过程的逆过程，如图3所示，在合成过程中，图3中的红色输入子图、绿色输入子图、蓝色输入子图分别对应R输出子图、G输出子
图、B输出子图，红色输入子图数据包、绿色输入子图数据包、蓝色输入子图 数据包分别对应R输出子图数据包、G输出子图数据包、B输出子图数据包。
步骤206、判断是否发生丢包，若发生丢包，则结合与丟失包临近的正确包 标识位对丢失包进行处理，然后返回步骤205，将处理后的丢失包的数据还原至 输出子图；否则，^丸行步骤207;
由于网络丢包难以避免，有时可能丢失其中某个数据包或某几个数据包， 这样在还原图像时，通过丟失包前后正确包的标识位判断丢失包中的像素值的 颜色种类，即判断该像素值是哪种颜色分量，进而采用替代值代替丢失的数据。 例如，通过颜色标识位确定丢失的像素值的颜色种类，若丟失的是R色，那么 就用(0， *, *)替代，丢失G色就用(*， 0， *)替代，丢失的B色就用(*， *， O)替代，其中*所代表的值可以为0 255之间的任意值，这是由于，在最后图像 整体合成的时候，R色取第一个数值，G色取第二个数值，B色取第三个数值， 因此在图像合成时并不读取*所代表的值，故不影响合成。
步骤207、将各颜色的输出子图合成视频图像，并输出。
以某一个像素点A为例，将该像素点A在各输出子图中的单一颜色像素值读 取，对应合成具有各颜色像素值的像素点A。例如，将(Rp 0, 0) 、 (0， G,, 0) 、 (0， 0， B,)合成为(R。 G,, B,)，进而将R输出子图、G输出子图、B 输出子图合成RGB图像。
优选的是，在还原过程中，并不需要等所有PR输出子图数据包均到来的时 候才一块组装合成输出子图，而是先到先组装。例如，形成的PR输出子图与刚 到来的PGu块组装，并不等待，避免因此而产生延迟。
对于本发明的实施例，为了简单描述，故将其都表述为一系列的动作组合， 但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为 依据本发明，某些步骤可以采用其他顺序或者同时进行。
为实现上述方法，本发明提出了一种抗干扰的网络视频传输装置，如图6 所示，包括传输单元划分模块601、像素值提取模块602、输入子图生成模块603、输入子图数据包生成模块604、判断模块605、替代模块606、输出子图合
成模块607以及视频图像合成模块608。其中，
传输单元划分模块601，用于将输入视频图像划分为一个以上的传输单元；
像素值提取模块602，用于提取各传输单元中各颜色的像素值；
输入子图生成^^莫块603,用于将所提取的不同颜色的像素值分别组成各颜色
的输入子输入子图数据包生成模块604，用于将不同颜色的输入子图分别划分为输入 子图数据包，并为每个输入子图数据包增加标识位；
判断模块605，用于判断是否发生丟包，在发生丢包时通知替代模块；在未 发生丟包时通知输出子图合成模块；
替代模块606,用于处理丟失包的数据，采用替代值代替丢失的数据；
输出子图合成模块607 ，用于将接收到的数据分别还原为各颜色的输出子
视频图像合成模块608，用于将所述输出子图合成为视频图像。 其中，所述输入子图由单一颜色像素值的像素点组成，所述输入子图生成 模块603提取每个像素点的单一颜色的像素值作为所述输入子图数据包中的数据。
所述4叙入子图IU居包生成对莫块604所添加的标;iM立由两4立组成，一^f立标识颜 色种类， 一位标识婆:据包的顺序。
所述替代-漠块606从所述正确包的标识位获得丢失包中像素值的颜色种类， 进而采用替代值代替丢失点的像素值。
所述输出子图合成模块607将先到的输出子图数据包先合成输出子图。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其他实施例的相关描述即可。以上所述，仅为本发明的较 佳实施例而已，只是用来说明和解释本发明，并非用于限定本发明的保护范围。 在本发明的精神和权利要求保护范围之内，对本发明作用的任何修改、等同替 换和改变，都落入本发明的保护范围。
1权利要求
1、一种抗干扰的网络视频传输方法，其特征在于，包括将输入视频图像划分为一个以上的传输单元，分别提取传输单元中各颜色的像素值，按不同颜色各自组成输入子图；将不同颜色的输入子图分别划分为输入子图数据包，为每个输入子图数据包增加标识位后传输；将接收到的数据分别还原为各颜色的输出子图，判断是否发生丢包，若发生丢包，则结合与丢失包临近的正确包标识位对丢失包进行处理，并将处理后的丢失包数据还原至输出子图；否则，将输出子图合成视频图像并输出。
2、 根据权利要求l所述的网络视频传输方法，其特征在于，所述输入子图由单一颜色像素值的像素点组成；所述划分输入子图数据包为提取每个像素点的单一颜色像素值作为所述输入子图数据包中的数据。
3、 根据权利要求2所述的网络视频传输方法，其特征在于，所述标识位由两位组成， 一位标识颜色种类， 一位标识数据包的顺序。
4、 根据权利要求3所述的网络视频传输方法，其特征在于，所述对丢失包进行处理为先从所述正确包的标识位获得丟失包中像素值的颜色种类，然后再采用替代值代替丢失点的像素值。 、
5、 根据权利要求4所述的网络视频传输方法，其特征在于，所述将输出子图合成为将先到的输出子图数据包先合成。
6、 一种抗干扰的网络视频传输装置，其特征在于，包括传输单元划分模块，用于将输入视频图像划分为一个以上的传输单元；像素值提取模块，用于提取各传输单元中各颜色的像素值；输入子图生成模块，用于将所提取的不同颜色的像素值分别组成各颜色的输入子图；输入子图数据包生成模块，用于将不同颜色的输入子图分别划分为输入子图数据包，为每个输入子图数据包增加标识位；判断模块，用于判断是否发生丢包，在发生丟包时通知替代模块，在未丟包时通知输出子图合成模块；替代^^莫块，用于处理丟失包的数据，采用替代值代替丢失的数据；输出子图合成模块，用于将接收到的数据分别还原为各颜色的输出子图；视频图像合成模块，用于将所述输出子图合成为视频图像。
7、 根据权利要求6所述的网络视频传输装置，其特征在于，所述输入子图由单一颜色像素值的像素点组成，所述输入子图生成模块提取每个像素点的单一颜色的像素值作为所述输入子图数据包中的数据。
8、 根据权利要求6所述的网络视频传输装置，其特征在于，所述输入子图数据包生成才莫块所添加的标识位由两位组成， 一位标识颜色种类， 一位标识凄t据包的顺序。
9、 根据权利要求6至8任一项所述的网络-现频传输装置，其特征在于，所述输出子图合成模块将先到的输出子图数据包先合成输出子图。
全文摘要
本发明公开一种抗干扰的网络视频传输方法，包括将输入视频图像划分为一个以上的传输单元，分别提取传输单元中各颜色的像素值，按不同颜色各自组成输入子图；将不同颜色的输入子图分别划分为输入子图数据包，为每个输入子图数据包增加标识位后传输；将数据分别还原为各颜色的输出子图，判断是否发生丢包，若发生丢包，则对丢失包进行处理并还原至输出子图；否则，将输出子图合成视频图像并输出。本发明还同时公开一种抗干扰的网络视频传输装置，包括传输单元划分模块、像素值提取模块、输入子图生成模块、输入子图数据包生成模块、判断模块、替代模块、输出子图合成模块以及视频图像合成模块。本发明能提高视频图像传输的可靠性和传输效率。
文档编号H04N7/64GK101478685SQ20091007714
公开日2009年7月8日 申请日期2009年1月16日 优先权日2009年1月16日
发明者倩 党 申请人:中兴通讯股份有限公司