嵌入式图象处理器的制作方法

专利名称：嵌入式图象处理器的制作方法
技术领域：
本发明属于图象处理装置，特别涉及多种功能集成的嵌入式静态图像压缩系统。
背景技术：
随着多媒体技术的广泛应用，新一代静态图像压缩标准JPEG2000应运而生，以满足用户对更高压缩效率和对压缩图像的互动性和可伸缩性的要求。
“更高压缩比率、更高图像质量、更低码率”是对JPEG2000基本特性的概括，除此之外JPEG2000还提供了一套新的特征，如渐进式传输，感兴趣区域特别处理等，这些特征对于一些新产品(如数码相机)和应用(如互联网)非常重要。另外，类似于第一套国际静态图像压缩标准JPEG与其动态JPEG(MJPEG，Motion JPEG)，JPEG2000也有与之相对应的用于图像序列的视频编解码标准MJPEG2000(Motion JPEG2000)，它不仅沿用了JPEG2000的各种优越性能，还将其成功应用于运动图像。表1分别从应用领域、码率范围、可编辑性、可测度性、静止图像模式、无损压缩模式、压缩效率、软硬件实现复杂程度几个方面对几种常用的视频压缩算法进行了对比。由此能够更清晰地看出JPEG2000/MJPEG2000所具有的独特优势。
表1常用视频压缩算法性能比较

上述的几种图像压缩标准(除JPEG2000)均不提供无损压缩。JPEG也有无损压缩的几何算法，但其压缩比很小，没有实用价值，而JPEG2000的无损压缩比率则可达到3～5倍。对于高端应用如医学图像和卫星遥感图像，无损压缩是最好的压缩方式；对于另一些需要高清晰度的应用如广播级的视频编辑，无损压缩也有很大的吸引力。
JPEG2000的技术先进性、需求针对性以及在高端应用的优秀性能表现保证了它的应用前景，JPEG2000如今已被认为是互联网和无线接入应用的理想影像编码解决方案，在各个方面都明显优于传统的静态图像压缩算法，但在实际中还未获得广泛的应用，主要原因是JPEG2000的软件实现已经为数不少，但硬件实现非常少，特别是集图像采集、压缩、传输接口为一体的JPEG2000压缩芯片/模块还没有出现，这极大的制约了JPEG2000技术的商业应用。
JPEG2000算法硬件实现的难点主要在于算法复杂、运算量大。如算术编码是目前所普遍采用的熵编码算法中最复杂的一种；离散小波变换(DWT)针对整个图像区域，如分辨率为720×576的图像，单分量存储需要的数据空间为414.720K字，由于第一级DWT后要对整幅图像进行解交织，故最大还需要414.720K字的临时存储空间；采用硬件语言编程具有一定难度，如码率控制部分的“最优率失真”算法涉及到32位浮点数除法，而硬件编程语言(如ASM)不提供除法指令。
目前JPEG2000技术的硬件实现主要有三种主流方案。
专用集成电路(ASIC)+外围电路目前最具代表性的是模拟器件(AD)公司生产的ADVJP2000，准确的说它是一个JPEG2000加速引擎，只能用来实现JPEG2000应用系统中的运算部分——小波变换和算术熵编码，也就是说用ADVJP2000实现JPEG2000系统，还需要设计专用的视频解码器设置接口(I2C总线)、视频采集接口、视频缓存、非易失存储器(FLASH)接口以及专用的系统控制处理器等大量的外围硬件支持，才能构成完整的JPEG2000图像编码内核。
现场可编程门阵列(FPGA)实现JPEG2000本身是一种非常复杂的算法，并且是对整幅图片进行处理，需要占用数量巨大的存储器，这非常不利于用FPGA实现，另外FPGA的编程复杂、开发周期长、功能验证复杂、功耗大等也是制约这一方案的因素。
通用DSP(数字信号处理器)实现如今DSP芯片的发展非常成熟，高指令执行速度、低功耗、大存储容量是DSP的发展方向，而且成本相对低廉，采用通用DSP实现有几个优势能根据不同的需求选用不同速度、存储容量的DSP；能够完成JPEG2000应用系统的大部分功能(如显示、网络、存储等)；能方便的对软件进行升级；低的功耗可以用于便携设备。采用通用DSP实现JPEG2000技术是一种柔性的实现方案，可以通过选用不同档次的DSP、不同容量的存储器来适应各种情况的应用。

发明内容
本发明提出一种嵌入式图像处理器，其目的是在高性价比的通用DSP平台上设计一个低成本的可扩充性高速数字图像处理平台，采用通用DSP实现JPEG2000技术。
本发明的嵌入式图像处理器由图像采集模块、图像压缩模块、数据传输模块和供电模块四个部分组成，其特征在于(1)图像采集模块包括视频解码器、视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM，视频解码器将输入的模拟复合视频信号转换为符合CCIR656格式的数字视频流；CPLD采集图像、对数字视频流进行格式分析、将相应的亮度Y、色度U、饱和度V分量以4∶1∶1的格式存储在SRAM内，同一时刻一片SRAM用于采集视频图像，另一片SRAM用做DSP的图像缓冲区。
(2)图像压缩模块由数字信号处理器DSP及相应的同步动态存储器SDRAM组成，数字信号处理器负责图像压缩，压缩后的数据存放于同步动态存储器，所述数字信号处理器作为JPEG2000编码器包括预处理、小波变换、熵编码、码率控制和打包四个模块，分别对亮度Y、色度U、饱和度V三个分量进行电平位移、小波变换、熵编码，然后将得到的所有码块的编码流根据码率控制要求进行分层组织，其中包括码流截断操作，编码器的输出即是打包后的分层位流，即压缩位流；(3)数据传输模块由主控制器Host Controller和通用串行总线USB2.0控制器组成，上电时通过HPI接口向DSP装载程序代码；工作时通过HPI接口将压缩控制参数传输到DSP，并通过HPI接口以DMA方式读取DSP压缩结果按照USB规范打包发送到主机。
所述的嵌入式图像处理器，其进一步特征在于所述数字信号处理器中所述预处理模块进行电平位移，即如果无符号图像分量用p位二进制数表示，则将这些无符号分量的采样值减去2p-1；所述小波变换模块，采用LeGall5/3滤波器实现基于抽2取1滤波器组UMDFB提升小波算法，704×576分辨率采样图像进行5级小波分解，352×288图像进行4级小波分解；所述熵编码模块采用最优截断的嵌入式区块编码EBCOT+自适应位平面算术编码器，将小波变换后的子带划分成小的码块，并将码块中的小波系数组织成若干位平面进行编码，进行码块编码时，EBCOT将每个位平面进一步分成三个编码通道有效性通道、幅度细化通道和清除通道；进行位平面编码时，JPEG2000采用的是快速自适应二进制算术编码；所述码率控制和打包模块，根据用户设定好的压缩比，把经熵编码后得到的码块编码位流，按照率失真要求，截取成不同长度的位流段，将截断点和失真值以压缩的形式同码块位流保存在一起，形成码块的嵌入式压缩位流。
所述的嵌入式图像处理器，通过多片DSP的并行操作，可以大大提升系统的处理速度，采用两片DSP并行运算，可以满足运算量的需求，所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM可以有两套，两片CPLD分别采集奇数帧和偶数帧图像、每帧包含奇数场和偶数场，每片CPLD对数字视频流进行格式分析，将相应的亮度Y、色度U、饱和度V分量以4∶1∶1的格式存储在SRAM内，同一时刻一片SRAM用于采集视频图像，另一片SRAM用做DSP的图像缓冲区；图像压缩模块可以由两片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，分别负责奇数帧和偶数帧图像的压缩和存放。
所述的嵌入式图像处理器，如果需要更高的处理速度和更大的处理容量，可以将DSP的数量增加到4片来提高系统的处理速度，这时所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM可以有4套，并行运行；图像压缩模块可以由4片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，并行运行。
所述的嵌入式图像处理器，所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM还可以有8套，并行运行；图像压缩模块还可以由8片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，并行运行。
由于采取上述技术，理论上JPEG2000应提供更好的性能和更多的功能，下面通过几组对比数据加以验证。用作参考的JPEG算法是当前业界硬件平台上使用最广泛的压缩算法；测试图片为24位真彩色lenna图。实验采用的压缩性能度量是峰值信噪比(PSNR)，

表2不同目标码率下试验数据(数据单位dB)

由表2中的数据可以得出以下结论在较高压缩比率情况下，JPEG2000的信噪比均高出JPEG6～9dB；在高分辨率情况下，JPEG2000的信噪比值下降度低于码率下降度，这意味着，分辨率越高，越能体现JPEG2000的高压缩比性能；当信噪比低于26dB时，JPEG的重构图由于严重的“马赛克”效应已经无法分辨，而此时的JPEG2000重构图像虽然在细节部分已经有所损失，但是图像轮廓仍旧比较明晰。表中“-”表示此时图像质量已经很低，计算的PSNR值不再具有实际意义。
PSNR反映的是图像信噪比变化情况的统计平均，虽然它是目前广泛应用的衡量图像主观质量的方法，但与人眼的主观视觉特性并不具有普遍的相关性。因此，我们还对几幅有代表性的图片(人物图片、风景图片、文献图片)进行了主观视觉比较。
表3三种分辨率情况下系统压缩速度

综上所述，本发明的先进性体现在以下几点(1)本发明采用的图像压缩算法基于小波变换，避免了基于DCT变换的图像压缩算法的普遍缺点压缩比超过一定限度时会出现方块效应；压缩比由量化参数控制，用户难以直观控制。
(2)图像压缩算法采用了EBCOT+自适应算术编码器的全新方案。此方案的编码效率比哈夫曼编码效率提高了10％，同时解决了“多失真度支持”的要求。
(3)JPEG2000压缩算法采用完全汇编方案，最大限度的发挥了C6713的效率，在本系统内存空间有限而又强调效率的情况下，汇编语言的优势得以充分显现。
(4)接口技术是本发明除图像压缩技术之外的另一个重要技术，直接关系到本嵌入式系统作为输入设备的工作效率。采用的具有480Mbps传输速率的USB 2.0接口，不仅保证了高速图像压缩时大量数据交换的流畅性，还具有方便的即插即用和热插拔特性，具有强大的可扩展性。
JPEG2000在视频编辑领域具有无可比拟的优势，与现有基于DV技术的视频编辑系统相比，本发明具有以下特点
(1)提供无损压缩功能，压缩比率达到3～5倍；(2)提供有损压缩功能，对于较高分辨率图像(如4CIF)，即使采用100∶1的压缩比率也能得到很好的重构图像质量，而且绝无“方块效应”，这一特点可以将系统的存储量要求降低30～60％；(3)提供静止图像模式，每帧都可任意存取，用一个非线性编辑器就很容易编辑；(4)码率可控，在基于无线网络或其他带宽有限的信道传输图像数据时，利用这一特点，用户可以根据需要和带宽，决定下载图像质量的好坏，从而控制数据量的大小，节约、充分利用有限的带宽。
本发明以低成本实现了高质量的图像压缩功能，具有广泛的应用领域，例如数码相机；高误码率环境(如无线通信和因特网)；用于专业广播和胶片转录的高质量数码视频录像；高分辨率医学图像或卫星遥感图像；手持设备(如手机或PDA)；电子影院等。


图1为本发明硬件结构的一种实施方式；图2为本发明的数据处理流程；图3为本发明数字信号处理器作为JPEG2000编码器方框图。
具体实施例方式
图1为本发明硬件结构的一种实施方式；视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM有两套，两片CPLD分别采集奇数帧和偶数帧图像、同一时刻一片SRAM用于采集视频图像，另一片SRAM用做DSP的图像缓冲区；图像压缩模块由两片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，分别负责奇数帧和偶数帧图像的压缩和存放。采用两片DSP并行运算，可以满足运算量的需求。
根据设计目标可选用如下芯片●图像处理器选用TI公司的高性价比浮点DSP-TMS320C6713，同时选用PQFP封装，有效的降低系统成本。C6713的单片峰值处理速度高达1600MIPS，通过多片并行处理，完全满足高速数据处理的需求；●选用Cypress公司的CY7C68013 USB2.0控制器作为与上位主机数据交换的接口，在低成本下实现了高速的数据交换；●选用Altera公司最新的MAX3000系列低成本高性能CPLD(复杂可编程逻辑器件)作为视频图像采集控制器，直接将CCIR656标准的视频流分解为以4∶1∶1格式存放的原始视频图像，降低图像处理DSP的工作任务量；●通信控制器选用TI的极高性价比DSP-TMS320VC5402，读取图像处理DSP压缩结果，并根据USB协议打包数据传送到主机。同时也负责装载程序代码到各片C6713内部。
●视频解码器选用Philiphs公司的SAA7111AHZ高性能解码器，具有4路模拟视频复合信号输入，并可以直接连接YC分量输入；每片DSP扩展16MB的SDRAM，SDRAM以100MHz的频率工作，满足图像压缩过程中大量数据交换的要求。
供电模块由于系统大部分模块以超出100MHz的高速工作，供电质量直接影响系统稳定性，除了对电源滤波电容的一般性要求之外，系统供电需求的详细分析，如表4表4系统供电需求

根据上述分析，整个电路板的供电分为5个独立的模块2个1.2V供电模块；1个1.8V供电模块2个3.3V供电模块。
C6713使用的1.2V电源从5.0V电源通过线性变换获得，电源功耗约2147mW，需要加装散热片，两片C6713使用两个独立的1.2V电源模块；VC5402使用的1.8V电源从5.0V电源通过线性变换获得，电源功耗约144mW；3.3V从5.0V电源通过线性变换获得，其中两片C6713、两片SDRAM、CY7C68013和VC5402共用一个3.3V电源，电源功耗约660mW，两片EPM7256、4片SRAM和SAA7111共用一个3.3V电源，电源功耗约490mW。
本系统的设计目标不是便携系统，以系统稳定为设计目标，可以全部采用线性电源，保证高质量的供电。
视频信号从模拟输入到JPEG2000数据流输出经历的流程如图2所示。
输入的模拟视频信号经过解码器，形成标准的CCIR656数字视频流，通过CPLD的逻辑处理，将这个数据流分为奇数帧图像和偶数帧图像，两个DSP分别负责处理奇数帧图像和偶数帧图像；压缩后的JPEG2000数据存放于DSP内部特定缓冲区内，Host通过HPI接口以DMA的方式读取。
在图像采集和DSP处理过程中，使用了“乒乓”缓冲区，当缓冲区A(BufferA)用于采集视频图像时，缓冲区B(BufferB)直接连接到DSP的总线上进行图像压缩，同理BufferB用于采集视频图像时，BufferA直接连接到DSP的总线上进行图像压缩，这个过程基本不需要DSP的干预，只需要DSP查询图像采集是否完成。
图像压缩后的JPEG2000数据由Host通过DMA方式直接读取经过处理后通过USB送到PC，这个过程完全不需要DSP的干预。
采用上图的数据流程，可以使负责视频处理的DSP最大限度的发挥其处理性能，由外围电路系统负责数据的供给和读取，并且避免了昂贵的FIFO(先入先出存储器)或DPSRAM(双端口存储器)，采用低成本的设计实现高的性能。
本发明中的JPEG2000编码器如图3所示。
预处理模块包括电平位移，即如果无符号图像分量用p位二进制数表示，则将这些无符号分量的采样值减去2p-1。其目的是为了在解码时能够从有符号的数值中正确恢复重构的无符号采样值。
传统小波变换的运算量相当大，而且往往将8位的图像数据变换为浮点型，在编码中引入量化失真，不利于图像数据的无损压缩，因此JPEG2000主要采用基于UMDFB(抽2取1滤波器组)提升小波算法。其优点在于速度快、运算复杂度低、所需的存储空间少，而且得到的小波系数与使用传统小波变换得到的结果相同。经过大量测试，JPEG2000选用两种滤波器LeGall5/3滤波器和Daubechies9/7滤波器。前者是可同时满足有损无损压缩需求的整数型滤波器组，后者是具有较高有损压缩性能的浮点型滤波器组。9/7小波相对5/3小波运算复杂，需要进行了4次“提升”和2次“变尺度”运算，而5/3小波只需要进行2次“提升”即可完成，本系统考虑到实时性要求以及无损压缩需求，选用5/3小波运算。当小波分解级数提高的时候分解系数的能量更为集中，但小波分解级数的提高会使编码效率有所下降，对于本系统，4CIF(704×576)分辨率采样图像进行5级小波分解，CIF(352×288)图像进行4级小波分解就足够了。
多分辨率支持可通过小波变换来实现，多失真度支持则可通过熵编码来解决。熵编码模块采用了EBCOT(Embedded Block Coding withOptimized Truncation，最优截断的嵌入式区块编码)+MQ编码器(自适应位平面算术编码器)的方案，而非传统JPEG常用的哈夫曼编码方式。哈夫曼编码采取依次对每个系数进行熵编码的方式；JPEG2000编码系统则是将小波变换后的子带划分成小的码块，并将码块中的小波系数组织成若干位平面进行编码。以“位平面”为编码元，有两点好处可以更好地利用图像局部的统计特性，为随机获取图像压缩位流提供支持；有助于提高压缩码流的抗误码性能。在进行码块编码时，JPEG2000强调多截断点的支持，越多的截断点，表明图像可提供更多的质量选择。如果对每个码块仅进行位平面编码，那么对于数据最高位数为N的块，最多可得到N个截断点。很多时候这种截断是粗糙的而且截断点数目过少。为了获得更多的截断点，EBCOT引入“编码通道”的概念，将每个位平面进一步分成子位平面(编码通道)。在JPEG2000编码系统中使用三个编码通道有效性通道、幅度细化通道和清除通道。这样对某个码块Bi来说，可能的截断点可以有3N个。进行位平面编码时，JPEG2000采用的是快速自适应二进制算术编码。自适应算术编码与哈夫曼编码最大的不同在于它并不是对每个信号产生一个码值，而是对一个信号序列产生一个码值；它除了需要获得信号序列外，还要获得其中每个信号的预测概率。根据这个概率，将
区间不断分割，最后得到的码值即是最后分割得到的小区间所对应的一个二进制表示。自适应性的获得在于不断更新信号的预测概率，使之总是趋近于实际。
本发明的码率用户可控功能主要在码率控制和打包模块部分实现。根据用户设定好的压缩比，把经熵编码后得到的码块编码位流，按照一定的率失真要求，截取成不同长度的位流段，将截断点和失真值以压缩的形式同码块位流保存在一起，形成码块的嵌入式压缩位流。多级小波分解后，码流在空间分辨率上具有可分级性。为了使压缩码流具有质量上的可分级性，JPEG2000标准对编码后的码块位流，采用PCRD(Post-compression Rate-distortion Optimization，最优率失真)算法思想，计算码块位流在每一层上的截断点。将所有码块位流按照截断点分层组织，形成具有不同质量级的压缩码流。码块的嵌入式压缩位流分布在不同的层上，不同的码块对不同的层有不同的贡献，即使同一码块，对不同的层，贡献也可能不同，有的码块甚至对某一层根本就没有贡献。将码流分层组织，每一层含有一定的质量信息，在前面层的基础上，改善图像质量。这样，在进行图像传输时，可先传送第一层，给用户一个较粗的图像，然后再传送第二层，图像质量在第一层的基础上得到改善，这样一层一层地传输下去，可得到不同质量的重构图像。如果传输了所有的层，则可获得完整的图像压缩位流。
权利要求
1.一种嵌入式图像处理器，由图像采集模块、图像压缩模块、数据传输模块和供电模块四个部分组成，其特征在于(1)图像采集模块包括视频解码器、视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM，视频解码器将输入的模拟复合视频信号转换为符合CCIR656格式的数字视频流；CPLD采集图像、对数字视频流进行格式分析、将相应的亮度Y、色度U、饱和度V分量以4∶1∶1的格式存储在SRAM内，同一时刻一片SRAM用于采集视频图像，另一片SRAM用做DSP的图像缓冲区。(2)图像压缩模块由数字信号处理器DSP及相应的同步动态存储器SDRAM组成，数字信号处理器负责图像压缩，压缩后的数据存放于同步动态存储器，所述数字信号处理器作为JPEG2000编码器包括预处理、小波变换、熵编码、码率控制和打包四个模块，分别对亮度Y、色度U、饱和度V三个分量进行电平位移、小波变换、熵编码，然后将得到的所有码块的编码流根据码率控制要求进行分层组织，其中包括码流截断操作，编码器的输出即是打包后的分层位流，即压缩位流；(3)数据传输模块由主控制器Host Controller和通用串行总线USB2.O控制器组成，上电时通过HPI接口向DSP装载程序代码；工作时通过HPI接口将压缩控制参数传输到DSP，并通过HPI接口以DMA方式读取DSP压缩结果按照USB规范打包发送到主机。
2.如权利要求1所述的嵌入式图像处理器，其特征在于所述数字信号处理器中所述预处理模块进行电平位移，即如果无符号图像分量用p位二进制数表示，则将这些无符号分量的采样值减去2p-1；所述小波变换模块，采用LeGall5/3滤波器实现基于抽2取1滤波器组UMDFB提升小波算法，704×576分辨率采样图像进行5级小波分解，352×288图像进行4级小波分解；所述熵编码模块采用最优截断的嵌入式区块编码EBCOT+自适应位平面算术编码器，将小波变换后的子带划分成小的码块，并将码块中的小波系数组织成若干位平面进行编码，进行码块编码时，EBCOT将每个位平面进一步分成三个编码通道有效性通道、幅度细化通道和清除通道；进行位平面编码时，JPEG2000采用的是快速自适应二进制算术编码；所述码率控制和打包模块，根据用户设定好的压缩比，把经熵编码后得到的码块编码位流，按照率失真要求，截取成不同长度的位流段，将截断点和失真值以压缩的形式同码块位流保存在一起，形成码块的嵌入式压缩位流。
3.如权利要求1或2所述的嵌入式图像处理器，其特征在于所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM有两套，两片CPLD分别采集奇数帧和偶数帧图像、每帧包含奇数场和偶数场，每片CPLD对数字视频流进行格式分析，将相应的亮度Y、色度U、饱和度V分量以4∶1∶1的格式存储在SRAM内，同一时刻一片SRAM用于采集视频图像，另一片SRAM用做DSP的图像缓冲区；图像压缩模块由两片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，分别负责奇数帧和偶数帧图像的压缩和存放。
4.如权利要求1或2所述的嵌入式图像处理器，其特征在于所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM有4套，并行运行；图像压缩模块由4片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，并行运行。
5.如权利要求1或2所述的嵌入式图像处理器，其特征在于所述视频采集可编程逻辑器件CPLD和与其相应的两片静态存储器SRAM有8套，并行运行；图像压缩模块由8片完全独立的数字信号处理器DSP及相应的同步动态存储器SDRAM组成，并行运行。
全文摘要
本发明涉及多功能集成的嵌入式静态图像压缩系统，目的是构建低成本的可扩充性高速数字图像处理平台，采用通用DSP实现JPEG2000技术。本发明(1)图像采集模块包括视频解码器、视频采集可编程逻辑器件和与其相应的静态存储器，(2)图像压缩模块由包括预处理、小波变换、熵编码、码率控制和打包模块的数字信号处理器及相应的同步动态存储器组成，(3)数据传输模块由主控制器和通用串行总线控制器组成。本发明集图像采集、压缩、存储、传输为一体，采用150∶1的压缩比仍能保证重构图像画面圆润平滑、轮廓清晰、无“方块效应”、无颜色突变；可选择采集图像的分辨率、设定图像压缩比率，从而直观控制码流大小；压缩的数据流传输速率高达480Mbps。
文档编号H04N7/26GK1558682SQ200410012659
公开日2004年12月29日 申请日期2004年1月14日 优先权日2004年1月14日
发明者朱光喜, 吴薇, 张江山 申请人:华中科技大学