专利名称：一种图像处理方法
一种图像处理方法
技术领域：
本发明属于计算机图象处理领域，尤其是涉及对静止和动态图像都处理 的方法。背景技术：
目前图像处理方法大部分是基于增量传输原理。緩冲前一帧图像，将当 前需要传输的图像与缓冲前一帧的图像进行比较，得到变化的图像，并对其 进^f亍压缩传專^。虽然目前这样的处理方法在很大程度上减少了帧间图像的数据冗余，但 如果应用到具有时间关联性强的视频序列压缩传输中，数据量仍然较大。特 别是在进行桌面图像传输中，由于桌面图像特点多种多样，增量传输的缺陷 更加明显。由于图像占用的空间较大，为了更好的进行传输，许多压缩技术被利用 来减低其空间占用，其中，有的是利用其空间冗余特点，也有的利用了时间冗余特点；有的对单幅图像压缩率较高，有的则对运动视频序列较好。公开号CN16940580A,发明名称" 一种基于服务端\客户端结构远程桌面 显示处理方法"，采用差异化压缩传输方法，从第二帧开始进行当前帧与上 一帧之间的一对一像素点数据比较，对变化部分进行压缩传输，客户端接收 到数据后解压，用解压后数据来局部更新原先緩冲区中图像。在处理桌面图像过程中，如果当前帧的变化是属于场景变化，即内容上 没有关联，例如显示一个提示，弹开一个菜单，更换按钮图片等，该方法能 够很好的减低数据量，提高客户端更新速度。但是，如果当前帧的变化是属于运动变化，许多相邻帧内容上有很大的 关联，例如在桌面上播放视频时，由于该方法使用的是一对一的像素点数据 比较，而且单幅图像的压缩并无涉及到帧间运动估计方法，所以即使内容上 当前帧只是上一帧中物体的简单移动，得到的数据量仍然较大。这时在互联 网的环境下进行传输，客户端的图像更新将出现较大延时。如果采用H264算法，由于它是针对视频压缩的一种技术，采用了运动 估计，帧间/帧内编码等算法，所以对于播放视频的桌面截图进行压缩后的 数据量小，但其缺点是对于场景变化，帧与帧之间内容上关联小的图像序列 进行压缩时，远不如差异化压缩的数据量小，造成客户端的图像更新出现较 大延时。因此，提供一种压縮效果好，提高图像更新速度，图像延时较小的一种 图像处理方法实为必要。
发明内容本发明的目的在于提供一种压缩效果好，提高图像更新速度，图像延时 较小，可同时处理静态图像及动态图像的图像处理方法。本发明解决的任务在于，原有的图像处理方法的基础上，提出一种优化 方法，选取较低数据量的压缩数据传输到客户端，将可以达到降低码率，提 高远程控制显示窗口更新速度的效果。使得无论是处理静态图像还是动态图 像，都能得到优化处理，具有更广泛的应用。为实现本发明目的，提供以下技术方案提供一种图象处理方法，包括如下步骤(1) 以当前桌面作为信号源，提取原始帧并保存；(2) 对保存的图像分别使用两种方式进行压缩，得到两种压缩数据；(3) 比较两种压缩数据大小，选取数据量小的数据传送到客户端；(4) 客户端接收到服务器的压缩数据后，判断数据格式后进行相应处理， 进行客户端同步，保证正确解压下一个压縮数据；(5) 显示处理后的图像数据。所述的步骤(2)，又包括如下小步骤a) 在服务器端内存中一段连续区域内分出四个区块，每个区块的大小和 原始帧相等，第一个区块用来存储上一帧原始图像，第二区块用来存储比较 后的数据，第三区块用来存储压缩后的数据，第四区块用来存储H264编码 后的数据；b) 进行当前帧与上一帧之间的一对一像素点数据比较，如果数据不发生 变化，第一区块的相应数据不变，如果其中某一位的数据发生变化，该变化 的数据将覆盖上 一 帧中的相应数据，并将变化的数据按顺序传送到第二区 块；c )将所有按顺序传送到第二区块的数据经过压缩并打包后存储到第三区块；d)原始帧数据经过H264编码后存储到第四区块。所述的步骤(3)具体处理为比较第三区块内存中与第四区块内存中存 储数据的大小，如果第三区块的数据量小于第四区块的，将第三区块的数据 传输出去，否则，将第四区块的数据传输出去。其中步骤(4),包括如下步骤a) 在客户端内存中一段连续区域作为一个区块，作为图像緩冲区，大小和 原始帧相等；b) 如果接收的数据是差异比较后的压缩数据，则进行解压并送到计算机内 存，计算机接收到解压数据后，对图像緩冲区进行刷新，只对需要改变 部分进行刷新，没有变化的部分将不进行任何动作；如果是接收的是H264格式数据，则进4亍H264解码； c)进行客户端同步，分为两种情况如果是进行局部刷新处理，则对刷新过后的緩冲区数据进行H264编码， 把编码后数据再进行H264解码，这样模拟了 一个H264数据的接收及解码过 程，使到H264解码能够正确处理下一个H264纟各式的数据；如果是H264解码，则将解码后的数据拷贝到图像緩沖区，保证正确处 理下一个差异比较后的压缩数据。本发明对比现有技术具有如下优点本发明能够适用于更加多变的桌面图像传输，使到无论是独立性较强局 部更新，或者是关联性较强的视频播放，都能得到有效处理，弥补单一压缩 方式无法满足多种应用场景的缺点。由于总体产生的数据量更低，可以加快 图像传输，提高更新速度。
图l为本发明方法步骤流程图。
具体实施方式请参阅图1，本发明提供一种图象处理方法，具体实施例步骤如下1、 桌面信号为1024 x 768 (24位色)，截取一副图像作为原始帧；2、 向系统申请一段连续的内存区域，区域大小为10兆，将区域初始化为 全零，并平均分成四块，每块大小为2.5兆(第一个区块用来存储上 一帧原始图像，第二区块用来存储比较后的数据，第三区块用来存储压縮后的数据，第四区块用来存储H264编码后的数据)；3、 开始对原始帧进行压缩，压缩方式有两种，可采用多线程并行执行， 提高处理速度，压缩方式如下(1) 提取变化数据并压缩A) 进行上一帧与当前帧的帧间一对一的像素比较，如果数据发 生变化，该变化的数据将覆盖上一帧(第一区块)中的相应数据， 并将变化的数据按顺序传送到第二区块；B) 比较完毕后，使用JPEG2000的方法将传送到第二区块数据进 行无损压缩，将压缩的数据写入到第三区块；(2) H264编码对当前帧数据进行H264无损编码并将输出的数据并写入第三区 块；4、 比较第三区块与第四区块中有效数据的大小，如果第三区块的数据量 小于第四区块，将第三区块的数据进行打包，打包后的数据包括数据 类型(差异化数据压缩数据)和数据(第三区块中的有效数据)；否则 将第四区块的数据进行打包，打包后的数据包括数据类型(H264数据) 和数据(第四区块中的有效数据)，然后将打包的数据发送到客户端；5、 客户端对服务器发送的数据进行处理，具体如下(1) 客户端向系统申请一块连续内存，大小为2. 5兆，作为图像緩冲区；(2) 判断数据类型，进行处理；A) 如果是差异压缩数据，对数据进行解压，将变化的数据覆盖 图像缓冲区相应的数据；对图像緩冲区中的数据进行H264 无损编码，对输出数据使用H264解码模块进行解码，这样使 到客户端的H264解码模块与服务器端的H264编码模块同 步，如果下一帧的数据是H264格式的数据，就能够对其进行 正确的解码。B)如果是H264格式的数据，使用H264解码模块对数据进行解 码；用输出的24位色图像数据覆盖图像緩冲区中的数据，使 到图像緩冲区与服务器端第 一 区块的数据一致，保证正确处 理下一个差异压缩数据包。 6、 显示图像緩冲区的24位图像数据，该步骤可与H264解码模块同步步 骤并行执行，进一步提高显示效率。以上所述仅为本发明的较佳实施例，本发明的保护范围并不局限于此， 任何基于本发明技术方案上的等效变换均属于本发明保护范围之内。
权利要求
1、一种图像处理方法，其特征在于，其包括如下步骤(1)以当前桌面作为信号源，提取原始帧并保存；(2)对保存的图像分别使用两种方式进行压缩，得到两种压缩数据；(3)比较两种压缩数据大小，选取数据量小的数据传送到客户端；(4)客户端接收到服务器的压缩数据后，判断数据格式后进行相应处理，进行客户端同步，保证正确解压下一个压缩数据；(5)显示处理后的图像数据。
2、 如权利要求l所述的图像处理方法，其特征在于，所述的步骤(2) 包括如下步骤a) 在服务器端内存中一段连续区域内分出四个区块，每个区块的大小 和原始帧相等，第一个区块用来存储上一帧原始图像，第二区块用来存 储比较后的数据，第三区块用来存储压缩后的数据，第四区块用来存储 H264编码后的lt据；b) 进行当前帧与上一 帧之间的 一对一像素点数据比较，如果数据不发 生变化，第一区块的相应数据不变，如果其中某一位的数据发生变化， 该变化的数据将覆盖上一帧中的相应数据，并将变化的数据按顺序传送 到第二区块；c) 将所有按顺序传送到第二区块的数据经过压缩并打包后存储到第 三区块；d) 原始帧数据经过H264编码后存储到第四区块。
3、 如权利要求2所述的图像处理方法，其特征在于，所述的步骤(3) 包括如下步骤(a) 比较第三区块内存中与第四区块内存中存储数据的大小，(b) 如果第三区块的数据量小于第四区块的，将第三区块的数据传输出 去。否则，将第四区块的数据传输出去。
4、 如权利要求3所述的图像处理方法，其特征在于，所述的步骤(4) 包括如下步骤a) 在客户端内存中一段连续区域作为一个区块，作为图像緩冲区，大 小和原始帧相等；b) 接收服务器传送的数据，根据数据类型进行相应处理。
5、 如权利要求4所述的图像处理方法，其特征在于，所述的步骤b)包 括两种情况(a) 如果接收的数据是差异比较后的压缩数据，则进行解压并送到计 算机内存，计算机接收到解压数据后，对图像緩冲区进行刷新，只对需 要改变部分进行刷新，没有变化的部分将不进行任何动作；对刷新过后 的緩沖区数据进行H264编码，把编码后数据再进行H264解码；(b) 如果接收的是H264格式数据，则进行H264解码，则将解码后 的数据拷贝到图像緩冲区。
全文摘要
本发明提供一种图像处理方法，包括如下步骤(1)以当前桌面作为信号源，提取原始帧并保存；(2)对保存的图像分别使用两种方式进行压缩，得到两种压缩数据；(3)比较两种压缩数据大小，选取数据量小的数据传送到客户端；(4)客户端接收到服务器的压缩数据后，判断数据格式后进行相应处理，进行客户端同步，保证正确解压下一个压缩数据；(5)显示处理后的图像数据。本发明能够适用于更加多变的桌面图像传输，使到无论是独立性较强局部更新，或者是关联性较强的视频播放，都能得到有效处理，弥补单一压缩方式无法满足多种应用场景的缺点，由于总体产生的数据量更低，可以加快图像传输，提高更新速度。
文档编号H04N7/26GK101404768SQ20081019899
公开日2009年4月8日 申请日期2008年10月7日 优先权日2008年10月7日
发明者徐蜀中, 翔 陈 申请人:广东威创视讯科技股份有限公司