专利名称：访问存储器中图像数据的方法及其信息转化装置的制作方法
技术领域：
本发明涉及一种多媒体数字信号处理领域的方法与装置，具体是一种访问存 储器中图像数据的方法与装置。
技术背景视频或图像运算是数字信号处理领域里重要的一块。凡是视频和图像运算的 应用都会牵涉到访问存储器中的图像数据的问题，在很多情况下，能否高效灵活 地访问存储器中的图像数据是视频和图像运算中的关键。现有技术在处理视频和 图像运算中各子模块访问图像数据的情况时，往往要求各子模块把所要访问的图 像区域的图像结构描述信息转换到等效的存储数据描述信息，然后发送给存储器 来访问该图像区域。其中，图像结构描述信息描述需要访问的图像区域在整幅图 像中的位置和区域，存储数据描迷信息描述该图像区域在存储器中的地址。经过现有技术的文献检索发现，现有的视频解码器"一种基于软硬件协同控 制的视频解码器"(CN200410070208.7)中的图像存储系统即采用现有技术。其环 路滤波器子模块和运动补偿子模块都把所要访问的图像区域的图像结构描述信息 转化为存储数据描述信息，然后分别访问外部存储器。使用这个方案，需要访问 图像的子模块的设计者在设计模块本身功能之余，还必须了解存储器的结构，地 址空间分配和图像在存储器的存储方法等知识，这大大增加了其工作量和难度； 而且不同的子模块设计者必须遵守相同的地址映射规定，这要求设计者之间有足 够的交流和相同而正确的对约定的理解，这增加了设计过程中出错的可能性；此 外，当图像在存储器中的存储方法有所改变或存储器介质发生改变时，每一个访 问存储器中图像数据的子模块都要对其设计进行修改，然后验证，显然不利于系 统的维护。发明内容本发明针对现有技术存在的上述不足，提供一种访问存储器中图像数据的方 法与装置。本发明主要通过对访问信息进行转化的方式实现了访问图像过程中对
上屏蔽了底层细节，对下具有更多的灵活性的目标，简化了视频或图像处理器的 设计，增强了整个存储系统的层次性和可维护性。 本发明是通过如下技术方案实现的。本发明涉及一种视频或图像处理中的访问存储器中图像数据的方法，包括以 下步骤第一步，提供图像数据用于存储在存储器中；第二步，视频或图像处理要访问图像时发出包括图像结构描述信息的访问请求；第三步，把图像结构描述信息转化成存储器模块可以识别的存储数据描述信息；第四步，根据存储数据描述信息访问存储器模块；第二步所述的图像结构描述信息，描述访问图像过程中访问单元的集合以及 访问单元的传输顺序。所述的访问单元即访问存储器时所传输的数据，在图像结 构描述信息中表示为一个样本或图像上相邻的多个样本组成的一块图像区域；一 个访问单元有多少个样本组成取决于存储器一次读写数据的位宽。所述的图像结构描述信息包括一次突发访问的起始访问单元的横坐标(xaddr)和纵坐标 (yaddr)，色度亮度分量标识信号(ycsel)以及图像选择信号(picsel)，按帧或场 模式访问图像的标识信号(mode)以及一次突发访问中横向需要访问的访问单元 的数量(bl—x)和纵向需要访问的访问单元的数量(bl一y);图像结构描述信息与存 储器结构和图像在存储器中的存储方式无关而与访问单元在图像中的位置有关。第三步所述的存储数据描述信息同样描述访问图像过程中访问单元的集合以 及访问单元的传输顺序。所述的访问单元即访问存储器时所传输的数据，在存储数据描述信息中表示为一个数据元素或地址上相邻的多个数据元素的组合。存储 数据描述信息包括一次突发访问的起始访问单元在存储器模块中的地址(addr)， 传输顺序上相邻的访问单元在存储器模块中的地址增量(inc)以及需要访问的访 问单元的数量(bl);存储数据描述信息与存储器结构和图像在存储器中的存储方 式有关而与访问单元在图像中的位置无关。第四步所述存储器模块包括外部存储器SDRAM (同步动态随机访问存储器)及 必要的控制器；SDRAM控制器接收到存储数据描述信息后，根据这些信息产生一系
列SDRAM芯片所能识别的指令，输给SDRAM，从而达到按照存储数据描述信息所描 述的要求来访问数据的目的，这也是现有通用的技术。本发明还涉及一种图像存储系统中访问存储器中图像数据的的转化的装置， 该装置从存储图像数据的用户处接受图像结构描述信息，将转化后得到的存储数 据描述信息发送给存储器模块。本发明所述的装置包括一个地址映射器， 一个比较器和两个选择器，其中所述地址映射器的输入信号共有四个，都来源于本装置的外部输入，包括 xaddr(—次突发访问的起始访问单元的横坐标)和yaddr (—次突发访问的起始 访问单元的纵坐标)，yCsel (色度亮度分量标识信号)以及picsel (图像选择信号)； 输出信号有一个，即addr(—次突发访问的起始访问单元在存储器模块中的地址)， 该信号也是本装置的3个输出信号之一，直接输出本装置。地址映射器对输入其 中的4个信号进行重组以产生属于存储数据描述信息的一维地址以输出。重组方 式由图像在存储空间中的分配策略决定。所述比较器的输入信号有一个，来源于本装置的外部输入，即bl_x (—次突 发访问中横向需要访问的访问单元的数量)信号；输出信号也是一个，该信号(sel) 将被输入两个选择器。比较器将输入其中的b1—x (—次突发访问中横向需要访问 的访问单元的数量)信号与0相比，产生判断信号(sel)输入两个选择器，以供选 择器使用。如果bl一x等于O，表示这次对图像的访问可以看作是纵向的访问，否 则，表示这次对图像的访问是横向的访问。所述第一个选择器的输入信号有两个，其中mode信号(按帧或场模式访问图 像的标识信号)来源于本装置的外部输入，sel信号(比较器输出的判断信号)来自 于比较器的输出；输出信号有一个，即inc (传输顺序上相邻的访问单元在存储器 模块中的地址增量)，该信号也是本装置3个输出信号之一，直接输出本装置。本 选择器将mode信号与4相加得到一个和，然后根据比较器产生的判断信号在其与 O之间选择一个作为本装置的输出inc (传输顺序上相邻的访问单元在存储器模块 中的地址增量)。mode信号表示纵向访问图像是按照帧还是场的方式来访问，用场 方式时mode为0，用帧方式时mode为1。这样如果是横向突发访问图像的话，inc (传输顺序上相邻的访问单元在存储器模块中的地址增量)等于0，纵向按帧方式 突发访问图像的话，inc等于4，纵向按场方式访问图像的话，inc (传输顺序上
相邻的访问单元在存储器模块中的地址增量)等于5。 Inc (传输顺序上相邻的访 问单元在存储器模块中的地址增量)表示一个寄存器中的数1被左移多少位，左 移后的结果才是真正的突发访问的地址间隔。所述第二个选择器的输入信号有三个，分别是bl一x信号(一次突发访问中横 向需要访问的访问单元的数量)，bl一y信号(一次突发访问中纵向需要访问的访问 单元的数量)和sel信号(比较器输出的判断信号)，其中bl—x和bl一y来自于 本装置的外部输入，sel来自于比较器的输出；输出信号有一个，即bl(需要访问 的访问单元的数量)，该信号也是本装置3个输出信号之一，直接输出本装置。本 选择器根据比较器产生sel在bl—x和bl_y之间选择一个作为本装置的输出bl， 访问图像可以以横向的方式来访问或者以纵向的方式来访问，即bl_x和bl_y中 至少有一个为0，如果bl—x等于0，就认为该次访问是以纵向的方式来访问，否 则，.就是以横向的方式来访问图像。通过以上流程，描述一次访问的图像结构描述信息就被转化成存储数据描述{曰息。由上可知，本发明涉及一种多媒体数字信号处理领域的对图像存储系统分层 的方法和装置。视频或图像处理基于图像结构描述信息来访问图像，这些信息被 统一地转化成存储数据描述信息，并以此为根据来访问存储器。这种存储系统分 层的方法对上屏蔽了底层细节，对下具有更多的灵活性，从而简化了视频或图像 处理器的设计，增加了系统的可维护性。
图1是本发明所提出的图像存储系统分层结构示意图；图2是实施例中一幅参考图像在存储器中的存储方式示意图；图3是本发明装置内部框图；图4是本发明装置中地址映射子模块在实施例中的示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。本实施例的图像存储系统分层结构示意图如图1。本发明装置接受视频解码器 发出的基于图像结构描述信息访问图像的请求，将之转化为基于存储数据描述信 息的访问图像的请求后，发送给SDRAM存储器模块。视频解码器访问的是图像数 据，因此没有必要知道底层存储器信息。他们对存储器的访问都是基于图像结构 描述信息的。这个图像结构描述信息指定他们想要访问的访问单元集合和传输顺 序。本发明装置的输入信号共7个，都属于图像结构描述信息，具体分别是一次突发访问的起始访问单元的横坐标(xaddr)和纵坐标(yaddr)，色度亮度分量标 识信号(ycsel)以及图像选择信号(picsel)，按帧或场模式访问图像的标识信号 (mode)以及一次突发访问中横向需要访问的访问单元的数量(bl一x)和纵向需要 访问的访问单元的数量(bl一y);本发明的输出信号共3个，都属于存储数据描述 信息，具体分别是 一次突发访问的起始访问单元在存储器模块中的地址(addr)， 传输顺序上相邻的访问单元在存储器模块中的地址增量(inc)以及需要访问的访 问单元的数量(bl)。具体实施过程如下第一步，提供图像数据存储在存储器中。本实施例中，存储器选用两片16bit位宽，2位存储阵列(bank)地址(ba)， 12 位存储行(rcw)地址(ra)和9位存储单元(column)地址(ca)的数倍数据速率(DDR) 同步动态随机访问存储器(SDRAM) 。 DDR SDRAM每个周期上下沿各传输一个单倍数 据位宽的数据，用两片DDR SDR細并连，这样SDRAM控制器每个周期传输四倍数 据位宽的访问单元。把SDRAM本身的突发长度设为2，这样SDRAM每发出一个处于 存储器层的读写命令，就传输一个数据访问单元。对于用户来说，两片DDR SDRAM 可以看作一个2位ba, 12位ra， 8位ca和64bit位宽的SDRAM。 一个64bit位宽 的数据访问单元包含一幅图内连续的横向的8个像素，也就是说本实施例中一个 访问单元是相邻的横向8个像素的集合。本实施例中图像在存储器中存储方式如下高清数字电视图像最大分辨率为 1920像素*1080像素。为了使长和宽能够被16整除，设定图像尺寸为1920像素 *1088像素。把整副图分为若干个SW的矩形。取S428像素，T-64像素，这样 每个矩形占用SDRAM中一个存储行四个存储阵列。整副图像中共有15*17=255个 矩形(图2)。这样每幅图像中的色度分量占用SDRAM中总共4千存储行中的255 存储行，用12根ra线中的低8位索引。本实施例中，视频解码器的参考队列中参考图像为6帧，用12根ra中的 ra[10:8]索引。除了亮度，存储器中还要存储色度分量，这用12根ra中的最高 为索引。在每一个矩形内，图像地址按照从上到下，从左到右的顺序进行排列。 而每一幅图像内的矩形，按照从左到右，从上到下的顺序排列图3。每个矩形内又 分为4个存储阵列图3，这样的好处是不管用户是横向索引图像，还是纵向索引图 像，当发生索引要跨出矩形的时候，都会跨入不同的存储阵列，这样就可以把预 充电原读写事务所涉及的存储阵列中的存储行的时间和激活新的读写事务所涉及 的存储阵列中的存储行的时间重合起来。为了实现把矩形分割成4个存储阵列的 形式，需要把用户层的22位地址(addr)映射到2位ba， 12位ra和18位ca。映 射方法是ra[ll:0]:addr[21:10]，ba[l:0] = {addr[9]，addr[3]}，ca={addr[8:4],addr[2:0]}第二步，视频解码器需要访问图像时，发出基于图像结构描述信息的访问请 求，其中包括本次突发访问的起始访问单元的横坐标(xaddr)和纵坐标(yaddr)， 色度亮度分量标识信号(ycsel)以及图像选择信号(picsel)，按帧或场模式访问图 像的标识信号(mode)以及横向需要访问的访问单元的数量(bl_x)和横向需要访 问的访问单元的数量(blj);第三步，本发明装置接到图像结构描述信息后，将其转化为基于存储数据的 描述信息，包括突发访问的起始地址addr，突发访问的地址增量inc和突发访问 长度bl。存储数据描述信息中的突发访问的起始地址转化规则为(图4): addr[21:0]= (ycsel[O:O]， picsel[2:0]， recsel[7:0]， yaddr[5:0], xaddr[3:0] }，其中 ycsel选择色度还是亮度分量，picsel在8幅存在存储器中的图像中选择一幅， recsel在一幅图的255个矩形中选择一个，recsel=xaddr[7:4]*17+yaddr [10:6], (yaddr[5:0]， xaddr [3:0]}在一个矩形中的1024个访问单元中索引特 定的一个。存储数据描述信息中的突发访问的起始地址转化这部分功能由本发明 中的地址映射器完成。4个信号xaddr， yaddr， ycsel和picsel输入地址映射
器后，xaddr[7:4]输入一个乘数为17的乘法器，其结果和yaddr[10:6]输入一个 加法器，结果取8位的位宽，再和ycsel, picsel， {yaddr[5:0]， xaddr[3:0]卜 起组成22位的地址，输出到存储器模块。存储数据描述信息中的突发访问地址增量inc和突发访问长度都依赖于是根 据bl一x与0的比较结果，如果bl一x等于0，则这次访问是一次纵向访问，否则这 是一次横向访问。这一判断过程由本发明中的比较器完成，b1—x信号输入比较器， 与常数O比较，是否相等由一位信号表示，该信号会被输入两个数据选择器。存储数据描述信息中的突发访问地址增量inc的转化规则为如果这次访问 是一次纵向访问，inc等于mode+4。这时，又根据mode的值分成两种情况如果 是帧模式访问，则mode等于0， inc等于4，将1左移4位后，得到16，即为一 个矩形内相邻的上下两行的访问单元的地址间隔(图2);如果是场模式访问，则 mode等于l， inc等于5，将1左移5位后，得到32，即为一个矩形内上下间隔一 行的访问单元的地址间隔(图2);如果这次访问是一次横向访问，inc等于0，将 1左移0位后，得到1，即为一个矩形内左右相邻的两个访问单元的地址间隔。Inc 的选择由本发明中的第一个数据选择器完成。输入信号mode和1相加后，其和输 入数据选择器，数据选择器根据比较器的输出信号决定输出的inc是等于mode与 1的和还是0。存储数据描述信息中的突发访问长度bl的转化规则为如果这次访问是一次 纵向访问，bl等于bl一y;如果这次访问是一次横向访问，bl等于b^x。 Bl的选 择由本发明中的第一个数据选择器完成。数据选择器根据比较器的输出信号决定 输出的bl是等于bl一x还是bl一y。第四步，本发明装置将第三步中由图像结构描述信息转化而得到的存储数据 描述信息发送给SDRAM存储模块，SDRAM存储模块根据这些信息访问存储器。使用本发明后，视频处理器的设计者访问存储器中的图像时，只需依据图像 结构描述信息来，而不用关心图像在SDRAM中的存储方式，这显然减轻了设计者 的工作。如果外部存储器改变了，或者图像在外部存储器的存储方式改变了，这 两个子模块完全不需要做任何改变而只要对本发明装置中的起始地址转化规则作 一定修改即可。这显示出对图像存储系统分层的优点。
权利要求
1.一种访问存储器中图像数据的方法，其特征在于，包括以下步骤第一步，提供图像数据用于存储在存储器中；第二步，视频或图像处理要访问图像时发出包括图像结构描述信息的访问请求；第三步，把图像结构描述信息转化成存储器模块能识别的存储数据描述信息；第四步，根据存储数据描述信息访问存储器模块。
2. 根据权利要求l所述的访问存储器中图像数据的方法，其特征是，所述 的图像结构描述信息，描述访问图像过程中访问单元的集合以及访问单元的传输 顺序。
3. 根据权利要求2所述的访问存储器中图像数据的方法，其特征是，所述 的访问单元即访问存储器时所传输的数据，在图像结构描述信息中表示为一个样 本或图像上相邻的多个样本组成的一块图像区域，一个访问单元有多少个样本组 成取决于存储器一次读写数据的位宽。
4. 根据权利要求1或2或3所述的访问存储器中图像数据的方法，其特征 是，所述的图像结构描述信息包括一次突发访问的起始访问单元的横坐标xaddr 和纵坐标yaddr,色度亮度分量标识信号ycsel以及图像选择信号picsel，按帧 或场模式访问图像的标识信号mode以及一次突发访问中横向需要访问的访问单 元的数量bl一x和纵向需要访问的访问单元的数量bl—y,图像结构描述信息与存 储器结构和图像在存储器中的存储方式无关而与访问单元在图像中的位置有关。
5. 根据权利要求l所述的访问存储器中图像数据的方法，其特征是，所述 的存储数据描述信息，描述访问图像过程中访问单元的集合以及访问单元的传输 顺序。
6. 根据权利要求5所述的访问存储器中图像数据的方法，其特征是，所述 的访问单元即访问存储器时所传输的数据，在存储数据描述信息中表示为一个数 据元素或地址上相邻的多个数据元素的组合。
7、 根据权利要求1或5或6所述的访问存储器中图像数据的方法，其特征 是，所述存储数据描述信息包括一次突发访问的起始访问单元在存储器模块中 的地址addr,传输顺序上相邻的访问单元在存储器模块中的地址增量inc以及 需要访问的访问单元的数量bl，存储数据描述信息与存储器结构和图像在存储 器中的存储方式有关而与访问单元在图像中的位置无关。
8、 一种访问存储器中图像数据的信息转化装置，其特征在于，包括一个地 址映射器， 一个比较器和两个选择器，其中所述地址映射器对外部输入其中的信号进行重组以产生属于存储数据描述 信息的一维地址，并输出到存储器模块；所述比较器将输入其中的一次突发访问中横向需要访问的访问单元的数量 bl一x信号与0相比，产生判断信号sel输入两个选择器，以供选择器使用，如 果bl一x等于0，表示这次对图像的访问是纵向的访问，否则，表示这次对图像 的访问是横向的访问；所述选择器将表示纵向访问图像是按照帧还是场的方式来访问的mode信号 与4相加得到一个和，然后根据比较器产生的判断信号在其与0之间选择一个 作为装置的输出传输顺序上相邻的访问单元在存储器模块中的地址增量inc，用 场方式时mode为0,用帧方式时mode为1，这样如果是横向突发访问图像的话， 传输顺序上相邻的访问单元在存储器模块中的地址增量inc等于0，纵向按帧方 式突发访问图像的话，inc等于4，纵向按场方式访问图像的话，传输顺序上相 邻的访问单元在存储器模块中的地址增量inc等于5，传输顺序上相邻的访问单 元在存储器模块中的地址增量Inc表示一个寄存器中的数1被左移多少位，左 移后的结果才是真正的突发访问的地址间隔；所述第二个选择器根据比较器产生sel信号在bl_x信号和纵向需要访问的 访问单元的数量bl一y信号之间选择一个作为装置的输出bl，访问图像以横向的 方式来访问或者以纵向的方式来访问，即bl—x和b^y中至少有一个为0，如果 bl_x等于0，就认为该次访问是以纵向的方式来访问，否则，就是以横向的方 式来访问图像。
9、 根据权利要求8所述的访问存储器中图像数据的信息转化装置，其特征 是，所述地址映射器的输入信号共有四个，都来源于装置的外部输入，包括一次突发访问的起始访问单元的横坐标xaddr和一次突发访问的起始访问单元的 纵坐标yaddr，色度亮度分量标识信号ycsel以及图像选择信号picsel;输出 信号有一个，即一次突发访问的起始访问单元在存储器模块中的地址addr;所述比较器的输入信号有一个，来源于装置的外部输入，即一次突发访问 中横向需要访问的访问单元的数量b1—x信号；输出信号也是一个，该信号sel 被输入两个选择器。
10、根据权利要求8所述的访问存储器中图像数据的信息转化装置，其特 征是，所述第一个选择器的输入信号有两个，其中按帧或场模式访问图像的标 识信号mode信号来源于装置的外部输入，来自于比较器输出的判断信号sel; 输出信号有一个，即传输顺序上相邻的访问单元在存储器模块中的地址增量所述第二个选择器的输入信号有三个，分别是一次突发访问中横向需要访问的访问单元的数量bl—x信号，bl一y信号和sel信号，其中bl_x信号和bl—y 信号来自于装置的外部输入，sel信号来自于比较器的输出；输出信号有一个， 即需要访问的访问单元的数量bl。
全文摘要
本发明涉及一种多媒体数字信号处理领域的访问存储器中图像数据的方法及其信息转化装置。包括提供图像数据用于存储在存储器中；视频或图像处理要访问图像时发出包括图像结构描述信息的访问请求；把图像结构描述信息转化成存储器模块能识别的存储数据描述信息；根据存储数据描述信息访问存储器模块。访问存储器中图像数据的转化的装置包括一个地址映射器，一个比较器和两个选择器，该装置从存储图像数据的用户处接受图像结构描述信息，将转化后得到的存储数据描述信息发送给存储器模块。本发明对上屏蔽了底层细节，对下具有更多的灵活性，从而简化了视频或图像处理的设计，增加了系统的可维护性。
文档编号H04N7/24GK101127896SQ20071004544
公开日2008年2月20日 申请日期2007年8月30日 优先权日2007年8月30日
发明者刘佩林, 周大江, 竺加毅 申请人:上海交通大学