专利名称：一种图像处理的装置的制作方法
技术领域：
本实用新型涉及电子通信技术领域，尤其涉及一种图像处理的装置。
技术背景随着多媒体技术的发展，需要电子设备提供丰富的图像、声音等多媒体服务；并且嵌入式系统由于其体积小、省电、功能丰富的优点，而广泛的应 用于各种电子设备中。为了实现嵌入式系统的图像应用，现有的方法包括首先，将图像数据 经过专用处理电路(比如硬件电路模块或专用DSP (数字信号处理器)) 进行采集和压缩处理，之后，再将处理后的信号发送至嵌入式处理器，由嵌 入式处理器对压缩后的文件进行回放处理(即，从信息中生成图像)。现有的实现嵌入式系统的图像处理的结构图如图1所示，包括图像传感 器，对图像数据进行采集和压缩处理的专用处理电路，即专用芯片(比如 ASIC (专用集成电路)或DSP芯片)以及对压缩后的文件进行回放处理的嵌 入式处理器。其中，图像传感器通过串行数据、串行时钟以及专用芯片与嵌 入式处理器相连，专用芯片通过主时钟、像素时钟、数据总线、行、场同步 总线与图像传感器和嵌入式处理器相连。该专用芯片，具有很高的运算速度，用于在不需要嵌入式处理器干预的 情况下，进行图像采集，以迅速完成图像数据的采集，并将采集的图像数据 进行压缩处理，将压缩后的图像数据传输至嵌入式处理器。有些专用芯片， 也可以作为协处理器，与嵌入式处理器并行工作，执行复杂的图像运算。
采用专用处理电路进行图像数据的采集和压缩处理，虽然能够提高处理 速度，但是由于其增加制造成本、增大电路体积、增大功耗，并且对图像的 处理方式相对固定难以灵活更改以及受供货渠道的影响等问题，而限制了专 用处理电路的应用范围。实用新型内容本实用新型提供一种图像处理的装置，能够对图像数据进行灵活处理， 并且减小了系统的体积，降低了系统的成本。本实用新型提供一种图像处理的装置，所述装置与图像传感器相连，所述装置包括用于进行图像数据的采集、压缩和回放处理中的至少一个处理 的嵌入式处理器。所述嵌入式处理器具体包括用于从图像传感器采集数据的图像采集单 元、用于将采集的数据进行压缩处理的图像压縮单元和用于将压缩得到的数 据进行回放处理的图像回放单元中的至少一个单元，其中，所述图像采集单 元与所述图像压缩单元连接，所述图像压缩单元与所述图像回放单元连接。所述图像采集单元具体包括用于向图像传感器发送采集参数的采集参数输出接口 、用于向图像传感 器发送时钟频率的主时钟输出单元、用于接收图像传感器发送的像素时钟的像素时钟接收单元和用于执行图像数据的采集功能的数据采集执行单元；所 述采集参数输出接口与图像传感器相连，所述主时钟输出单元与图像传感器 相连，所述像素时钟接收单元与图像传感器相连，所述数据采集执行单元与 图像传感器相连。所述图像回放单元具体包括用于根据获取的文件头信息建立查找表和反量化表的表构造单元、 用于判断块解压缩得到的数据块是否在设备的可显示范围之内并将在设
备显示范围之内的数据块输出的裁剪单元、用于对变换之后的数据进行亮度分量的下采样处理的下采样单元，所述表构造单元的 一端与用于获取压缩文件的文件头信息的数据信息获取单元相连，另一端与用于对压缩文件进行块解压缩处理的块解码单元相连，还有 一端与用于根据表构造单元的具体内容对输出数据块进行变换处理的变换单元相连；所述裁剪单元的一端与所述块解码单元相连，另一端与所述变换单元相连；所述下采样单元与所述变换单元相连。由上述本实用新型提供的技术方案可以看出，本实用新型采用嵌入式处 理器对图像数据进行采集、压缩和回放处理中的至少一个处理，减小了系统 的体积，降低了系统的成本，并且能够对图像数据进行灵活处理。
图1为现有的实现嵌入式系统的图像处理的结构图； 图2为本实用新型的装置的结构图； 图3为本实用新型的装置与图像传感器的连接示意图； 图4为本实用新型的YUV420采样方式的示意图； 图5为本实用新型在图像回放处理过程中的数据处理流程图； 图6为本实用新型的对Y分量进行下采样的过程示意图。
具体实施方式
本实用新型采用嵌入式处理器实现对图像数据的采集、压缩和回放处理 中的至少一个处理，即，本实用新型的嵌入式处理器可以进行采集、压缩和 回放处理，或者采集、压缩和回放处理中的任意两个处理，或者采集、压缩和回放处理中的任意 一 个处理。本实用新型的嵌入式处理器的具体结构如图 2所示，包括图像采集单元、图像压缩单元和图像回放单元中的至少一个单 元，其中，图像采集单元，用于从图像传感器采集数据；图像压缩单元，用于与图像采集单元相连，将图像采集单元采集的数据-进fl"压缩处J里；图像回放单元，用于与图像压缩单元相连，将图像压缩单元压缩得到的 数据进行回放处理。其中，图像采集单元包括采集参数输出接口，用于与图像传感器相连，向图像传感器发送采集参 数；具体可以通过嵌入式处理器的串行数据和串行时钟向图像传感器发送采 集参数；该采集参数被存储在图像传感器的内部寄存器中；主时钟产生单元，用于产生时钟频率；主时钟输出单元，用于与主时钟产生单元相连，向图像传感器发送时钟 频率，该时钟频率作为图像传感器的主时钟；像素时钟接收单元，用于与图像传感器相连，接收图像传感器发送的像 素时钟；该像素时钟的大小根据图像传感器的内部寄存器中的具体参数确 定，并由主时钟产生；数据采集执行单元，用于与图像传感器相连，在像素时钟的驱动下，执 行图像数据的采集功能；同步信号单元，用于与图像传感器相连，通过行、场同步信号分别和图像传感器同步传输图像数据的行和列的起始。 该图像回放单元具体包括数据信息获取单元，用于与图像压缩单元相连，获取压缩文件的文件头 信息； 表构造单元，用于与块解码单元、变换单元以及数据信息获取单元相 连，根据获取的文件头信息建立查找表和反量化表；该查找表和反量化表用 于在需要进行图像运算的情况下，根据运算的参数直接从查找表和反量化表中查找出结果，以便于节省时间；块解码单元，用于与裁剪单元相连，对压缩文件进行块解压缩的处理， 并将块解压缩后的数据块传输至裁剪单元；裁剪单元，用于判断块解压缩得到的数据块是否在设备的可显示范围之 内，并将在设备显示范围之内的数据块传输至变换单元；变换单元，用于与裁剪单元相连，接收裁剪单元的输出^:据块，并根据 表构造单元的具体内容对输出数据块进行变换处理；下采样单元，用于与变换单元相连，对变换之后的数据进行亮度分量的 下采样处理；色彩变换单元，用于将图像数据变换到显示单元能够显示的格式； 显示单元，用于将变换单元的结果在显示设备上输出。法包括图像数据的采集、压缩和回放三个阶段，下面分别对这三个阶段的 处理过程进行详细4又述。图像数据的采集过程包括如下步骤步骤1:嵌入式处理器向图像传感器发送采集参数和主时钟频率；步骤2:图像传感器接收嵌入式处理器发送的采集参数和主时钟频率，并将该采集参数存储在内部寄存器中，由主时钟得到像素时钟；步骤3:图像传感器向嵌入式处理器发送图像数据和像素时钟；步骤4:嵌入式处理器根据在像素时钟的驱动下，接收图像数据，并且通过行、场同步信号分别同步图像数据的行和列的起始。当整幅图像数据采集完毕后，嵌入式处理器对采集到的图像数据进行压
缩处理。在进行压缩处理的过程中，使用标准压缩算法进行压缩，这样可以 使文件尺寸进一步缩小。并且，在压缩处理的过程中，图像数据的一部分压 缩完成后，将压缩后的文件存储至其他文件系统(比如闪存、存储卡、硬盘 等存储介质)中，之后，再进行图像数据的其他部分的压缩处理，并将压缩 后的文件存储至其他文件系统，直到整个图像数据压缩完毕。采用该压缩方 法，可以减小嵌入式处理器的内存消耗，以便于提高嵌入式处理器的处理速 度。在需要对压缩后的图像数据进行回放处理的情况下，该回放处理的步骤包括步骤1:嵌入式处理器解析图像数据的格式，获取压缩文件的文件头信 息；该文件头信息可以包括文件头中的图像尺寸、采样方式、色彩深度等 信息；步骤2:通过文件头信息建立查找表和反量化表；即事先将图像运算的运 算结果制作成查找表和反量化表，当需要进行运算时，直接从表中查找结 果；步骤3:针对不同的显示设备，进行压缩文件的块解码处理； 步骤4:判断步骤3中块解码处理得到的数据块是否在设备的可显示范围 之内，若在设备的可现实范围之内，则对该数据块进行变换、下采样等处 理，以适应相应设备的显示分辨率、色彩类型等需求；对判断为设备的可现 实范围以外的数据块，则返回执行步骤3，直到压缩文件块解码完毕；这 样，对设备的可现实范围以外的数据块不作任何处理，显著节省了执行时 间；步骤5:将图像经图形接口发送至显示设备。下面以本实用新型的典型应用在ARM (高级精简指令集处理器)作为 嵌入式处理器的情况下，在ARM平台上，实现终端的拍照功能为例，对本实用新型的具体实施方式
进行详细叙述。本实用新型实施例的终端中的嵌入式处理器与图像传感器的连接示意图如图3所示，图3所示的结构图中包括用于实现图像数据的采集、压缩和回 放处理的嵌入式处理器，图像传感器，该图像传感器与嵌入式处理器直接连 接。该嵌入式处理器与图像传感器通过串行数据、串行时钟、主时钟、像素 时钟、数据总线和行、场同步总线相连，其中，串行数据、时钟总线，用于初始化配置图像传感器的寄存器；图像传感器的主时钟，由嵌入式处理器产生；像素时钟，由图像传感器根据寄存器确定，并由主时钟分频得到，具体 可以将主时钟八分频得到像素时钟，即像素时钟为主时钟大小的八分之一 ， 像素时钟与嵌入式处理器的INT (外部中断)引脚相连；数据总线与嵌入式处理器的GPIO (通用输入输出)端口相连，用于传输 图像数据；行、场同步信号分别同步行和列的起始。本实用新型实施例的图像的采集过程包括如下步骤步骤1:嵌入式处理器通过串行数据、时钟总线配置图像传感器的寄存 器，并产生图像传感器的主时钟；步骤2:图像传感器根据步骤1的中对寄存器的配置结果确定像素时钟的 大小，并由主时钟八分频得到像素时钟；之所以设置的像素时钟比主时钟 小，是为了使得嵌入式处理器有充足的处理时间，这是因为嵌入式处理器在 进行采集图像的过程中，同时还可能执行响应人机界面搡作、执行常规运算 等操作；步骤3:图像传感器向嵌入式处理器发送图像数据和像素时钟； 步骤4:嵌入式处理器根据在像素时钟的驱动下，接收图像数据，并且通 过行、场同步信号分别同步图像数据的行和列的起始；在图像数据的传输过
程中，当图像数据传输至嵌入式处理器，会引发嵌入式处理器的中断，而使 嵌入式处理器进入服务程序；在嵌入式处理器处于服务程序的过程中，嵌入式处理器中GPIO端口读取图像数据；图像数据读取完成后，将读取的图像数据传输到内存中，以等待进一步处理。在整幅图像采集完毕后，对采集到的图像数据进行压缩处理。图像压缩使用JPEG (—种压缩标准)标准压缩算法中的YUV420 (—种采样方式)采 样方式。在压缩处理的过程中，图像数据的一部分压缩完成后，将压缩后的 文件存储至其他文件系统(比如闪存、存储卡、硬盘等存储介质)中，之 后，再进行图像数据的其他部分的压缩处理，并将压缩后的文件存储至其他 文件系统，直到整个图像数据压缩完毕。 YU V420采样方式的示意图如图4所示从图4可以看出，原始数据为Y(亮度)、Cb、 Cr(Cb、 Cr统称为色差 分量)，经YUV420采样方式下采样之后，人眼不敏感的Cb、 Cr色度分量从 16x16下采样到8x8，而原始数据丫保持不变，显著降低了对存储空间的需求。在整幅图像压缩完毕后，对压缩后的文件进行回放处理，压缩文件的回 放处理流程如图5所示，包括如下步骤步骤1:读取压缩文件的文件头，并判断该文件头的格式是否正确，若正 确，执行步骤2，否则结束；步骤2:根据读取的文件头信息重建哈夫曼解码表、反量化表；步骤3:对压缩文件进行块解码操作；步骤4:判断步骤3中块解码操作得到的数据块是否进入终端LCD (液晶 显示器)的可视区域，若是，则执行步骤5,若不是，则判断是否到达压缩 文件末尾，若不是，则执行步骤3，若是到达压缩文件末尾，则结束；步骤5:对数据块进行块反量化、反离散余弦变换操作，其中直流分量根据原始值进行解差分编码，之后得到还原后的图像数据，该图像数据是YUV420格式的；这两个步骤使用了先前重建的反量化表，同样加快了处理 速度；步骤6:将YUV420格式的图像数据进行亮度分量下采样操作，由于图像 数据中的Cb和Cr分量在压缩时已经进行了下采样，所以只需要对Y分量进行 下采样；对Y分量进行下采样的算法是本身、右、下、右下四个点作平 均，具体示意图如图6所示，该下采样算法运算简单，节省了处理时间。经 下采样后的图像数据，尺寸已经和LCD尺寸匹配了；步骤7:逐点进行YCbCr到RGB色彩空间的转换运算，将图像数据转换 成LCD所能接受的RGB格式；步骤8:输出该数据块，并判断是否到达压缩文件结尾，若是，则结束， 否则，执行步骤3。比如压缩后的图像数据的尺寸为640x480，而终端LCD尺寸为 176x224,为了能够适应LCD的显示，要对压缩后的图像数据进行裁剪(步 骤4 )和下采样处理(步骤6)。处理的方法为，先从640x480裁减到 352x448 (通过步骤4的处理完成)，再将其下采样到172x224 (通过步骤6 的处理完成)。这些算法在JPEG解码过程中交叉进行，减少了访问图像数 据的次数，从而提高了效率。以上所述，仅为本实用新型较佳的具体实施方式
，但本实用新型的保护 范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技 术范围内，可轻易想到的变化或替换，都应涵盖在本实用新型的保护范围之 内。因此，本实用新型的保护范围应该以权利要求书的保护范围为准。
权利要求1、一种图像处理的装置，其特征在于，所述装置与图像传感器相连，所述装置包括用于进行图像数据的采集、压缩和回放处理中的至少一个处理的嵌入式处理器。
2、 如权利要求1所述的装置，其特征在于，所述嵌入式处理器具体包 括用于从图像传感器采集数据的图像采集单元、用于将采集的数据进行压 缩处理的图像压缩单元和用于将压缩得到的数据进行回放处理的图像回放单 元中的至少一个单元，其中，所述图像采集单元与所述图像压缩单元连接， 所述图像压缩单元与所述图像回放单元连接。
3、 如权利要求2所述的装置，其特征在于，所述图像采集单元具体包括用于向图像传感器发送采集参数的采集参数输出接口 、用于向图像传感 器发送时钟频率的主时钟输出单元、用于接收图像传感器发送的像素时钟的 像素时钟接收单元和用于执行图像数据的采集功能的数据采集执行单元；所 述采集参数输出接口与图像传感器相连，所述主时钟输出单元与图像传感器 相连，所述像素时钟接收单元与图像传感器相连，所述数据釆集执行单元与 图像传感器相连。
4、 如权利要求2所述的装置，其特征在于，所述图像回放单元具体包括用于根据获取的文件头信息建立查找表和反量化表的表构造单元、 用于判断块解压缩得到的数据块是否在设备的可显示范围之内并将在设 备显示范围之内的数据块输出的裁剪单元、用于对变换之后的数据进行亮度分量的下采样处理的下采样单元， 所述表构造单元的一端与用于获取压缩文件的文件头信息的数据信息获 连，还有一端与用于根据表构造单元的具体内容对输出数据块进行变换处理的变才炎单元相连；所述裁剪单元的一端与所述块解码单元相连，另一端与所述变换单元相连；所述下采样单元与所述变换单元相连。
专利摘要本实用新型涉及一种图像处理的装置，包括嵌入式处理器；该嵌入式处理器与图像传感器相连，用于进行图像数据的采集、压缩和回放处理中的至少一个处理。本实用新型采用嵌入式处理器对图像数据进行采集、压缩和回放处理中的至少一个处理，减小了系统的体积，降低了系统的成本，并且能够对图像数据进行灵活处理。
文档编号H04N5/225GK201044472SQ20072014919
公开日2008年4月2日 申请日期2007年5月18日 优先权日2007年5月18日
发明者青 贡, 郜文参 申请人:北京思比科微电子技术有限公司