专利名称：压缩数据项的存储的制作方法
技术领域：
本发明涉及存储器存储数据项和从存储器中读取数据项。
发明还涉及其上存储数据项的存储媒体。
众所周知，使用固定规模的存储媒体存储多个对象受不可逆(损耗)压缩的制约。这种应用包括数字静止照相机，图像被存储在闪视卡片、软盘或硬盘中。进而，视频照相机将多项记录储存在硬盘驱动器、光盘或磁带上。储存装置，例如嵌入式存储器总是期望利用最小的存储容量时仍能保持最佳可能的图像质量。有时，用户可用有限数量的设置来改变质量和容量间的拆衷。例如视频可以以“标准播放“或“超长播放”两种模式被记录，也可以“标准清晰度”或“高清晰度”快摄下来。一旦使用一种确定质量的决策已定，以后就不能再改变该决策，即使在有足够的存储容量可用时也是如此。
Cormac Herley在1999年10月24-28日在日本神户召开的第6届图像处理国际会议(ICIP’99)vol.3上公布了数字照像机图像的存储。照像机被设计成能存储固定数量的图像，损耗率控制压缩被用来保证每个图像保存于其被分配的空间内。
本发明的目的是为了提供一些新特征，为此，本发明提供了一种在存储器中存储数据项的方法和设备，提供了从存储器中读取数据项的方法和设备以及在独立权利要求中定义的一种存储媒体。在从属中定义了有利的实施方案。
本发明的第一实施方案包括将每个数据项划分成重要性(significance)递减的连续的数据片，将数据片存储在对应的存储部件中，当所有候选的存储部件被分配给它数据片，而要应用一个数据片到存储器中时如果应用数据片的重要性比其它数据片的最低重要性低，则这一应用数据片被删除，或者如果应用数据片的重要性比其它数据片的最低重要性高，则以重要性比应用的数据片低的指定的其它数据片为代价，应用数据片被存储在候选存储部件中。
在发明优选实施方案中，每个数据片的记录都被保留下来，该记录包括数据片的重要性及数据片所属的数据项。记录片与例如它属于的数据片一起本地存入存储部件中。优选地，记录被保持在一个辅助存储器中，其中每个记录包含了一个指示器，指示器指示数据片在被存储的主存储器中的位置。
数据片的重要性是根据预定法则计算的。优选地，重要性被计算为失真差。
每当新的数据项被存储，为了产生可缩放比特流，最好是由本发明的可缩放压缩方法对其压缩。一个有利的方法见于未预公布的1999年11月18日的欧洲专利申请99203839.8(我们参考号为PHN17759)。这种可缩放压缩方法的特性是所得的可缩放比特流可在任何点断开，给定可使用的比特数，对于给定的数据项可缩放比特流中的比特具有最好的可重建质量。当可缩放比特流不断开时，数据项被(几乎)无损耗编码，即在这种情况下重现质量与原来的质量感觉上无区别。可缩放编码机制对于视频和音频是已知的。在优选的实施方案中，可缩放比特流被断开成与存储部件尺寸相同的数据片。然后，对于每个数据片计算重要性。最好是重要性按失真率差计算，它能指示感知重要性中的改善。重要性可用于比较新项数据片和已存储的数据片。由于可缩放编码方法最先产生的是最高重要性，所以很容易理解通过分离可缩放比特流而产生的数据片具有重要性递减的特性。然后，将新项的数据片与已存在于存储器中的数据片进行比较。当新的数据片重要性较高时，以前的存储数据片就被重写。
尽管可缩放编码方法被优选，但分层编码方法也可使用。
本发明使得在一固定存储空间存储可变数量的数据项成为可行的。这些数据项最好是多媒体对象，多媒体对象包括音频对象、视频对象及图像对象等。数据项对于给定量的存储信息总是以最好的质量存储。当其它的数据项需要存储时，已存储数据项的质量(指被占用的存储量)将减少以适应新的数据项，这样所有的数据项将以近似相同的质量被存储。
尽管在发明的优选实施方案中所有的存储部件有相同的规模，但它并不是必需的。存储部件的规模被选择，以便多个存储部件的存储容量通常被要求以高质量来存储单一数据项。例如8个存储数据片对于存储一幅图像是实用的。
在本发明的优选实施方案中，可以向用户提供高于其它数据项质量的某些数据项。
本发明的这些以及其它各个方面可参考附图阐明并显而易见。
在附图中
图1表示其中根据发明存储数据项的设备的示意图；图2表示如图1所示的设备的一部分的更详细的图。
附图显示的只是理解发明所必需的那些元素。
图1表示根据本发明的设备，它包括输入单元1、可缩放编码器2、存储器3、可缩放解码器4和输出单元5。输入单元1可以是任何一种用来获取数据的单元，比如天线、照相机或存储媒体。数据可直接供给输出单元5。输出单元5可以是任何一种输出单元，例如天线、显示器或存储媒体。在数据传输到存储器3之前，可缩放编码器2对数据进行处理以获得可缩放比特流。然后可缩放比特流再被传输到存储器3。为了从存储器3恢复数据，可缩放解码器4工作将解码的数据在需要时传送给输出单元5。存储器3包括辅助存储器(MM)30和主存储器31(MM)。如果需要，一些控制或处理单元可包括在存储器3中控制数据流。
图2用示例内容更详细地说明了辅助存储器30和主存储器31。主存储器31被划分成N个存储部分以存储N个数据片。在本例中，N＝11。辅助存储器典型地比主存储器小并被用于管理目的。辅助存储器包括N个记录，每个记录包括若干字段。第一个字段是主存储器的指针(P)，它包括指向在主存储器31中用于存储与给定记录有关的位置的一个指针。第二个字段是对象标识符(I)，它包括描述存储在主存储器中的数据片所属数据项的信息。对象标识符是指例如数字照相机存储的一系列图像中的一个图像。在一个实际实施例中，在没有被分配数据项时，例如当存储部分为空时，对象标识符为零。第三个字段包括一个重要性(S)。S字段表示对存储在主存储器31中存储的其中记录指向的数据片的重要性的测量。重要性字段中的条目最好是非负数。辅助存储器30最好具有记录被根据重要性分类的特性。它还可能用不同的方法分类记录，例如根据标识符将属于相同数据项的数据片归为一组。在各个数据片组中，数据片按重要性分类。
为增加一个数据项，数据项由编码器2编码以生成可缩放比特流，其被分成数据片。这些数据片随后被处理。每个片的重要性测量首先与当前存储器中最低重要性测量的块进行比较。如果新数据片的重要性更低，则它将不存储在主存储器，即被删除。如果第一片没有存储，则由于另外的数据片的重要性比当前的数据片还低(这是可缩放编码机制的特性)，处理过程就会停止。此外，其中数据片在序列中丢失的可缩放比特流是不能被解码的。如果重要性较高，则新的数据片被写在主存储器31的当前重要性最低的数据片位置(在记录被根据重要性分类的情况下，是从辅助存储器最后位置获得的)。然后，辅助存储器的最后记录被新数据片和辅助存储器30中的记录数据替代，并且辅助存储器30中的记录被重新排序后以根据重要性恢复顺序。有利的是以一个项的最重要的数据片开始处理(然后处理后续的重要性较低的数据片)，因为这是其中由可缩放编码器2产生的数据片的顺序，还由于这些数据片重要性更低，它们不能由属于同一项的块重写。
为了提取数据项，辅助存储器30中的记录会被随后处理，并且如果对象标识符与被提取的数据项匹配，则主存储器31中由记录所指向的数据片将被发送到可缩放解码器4。由于辅助存储器被从最高重要性开始遍历，所以数据片将被以正确顺序提取，从而允许解码器4构成更好的重建。
为了删除一个数据项，辅助存储器30中的记录随后被处理，并且如果对象标识符与要被删除的数据项匹配，则该记录的重要性被设置成为一个低于可以由解码器产生的任何值的(预定)值，例如零。优选地，也将标识符设置成为一个预定值，例如零，以指示存储器部分没有被分配给一个数据片。然后辅助存储器30中的记录被重新排序，以按照重要性的顺序重新存储，即最低重要性的记录被放置在最后。
最好是使用辅助存储器30。不过，也可能省略辅助存储器。在这种情况下，应当将一个数据片的重要性以及关于它所属的数据项的一个标识符存储在主存储器中。因为在这种情况下无法获得按照重要性的顺序的对于数据片的指针，所以搜索主存储器31需要更多时间。为了减少搜索，可以将数据片存储在主存储器中，这样做的代价是交换更大量的数据。还可以用一个内容可寻址存储器来实现辅助存储器，从而不需要由一个单独的处理器来在辅助存储器中存储和搜索。此外，作为上述优选辅助存储器数据结构的替代方案，可以使用公知的诸如堆或树的更高级的数据结构来执行管理功能。这些替代方案对于例如在软件实现(或者当可以获得足够的时钟周期时的硬件)，尤其是对于大量存储器部件中是有利的。
在本发明的一个优选实施例中，可以存储对于每个数据项的一些附加信息。所述附加信息可以包括姓名、信息类型、色彩、尺寸等。该附加信息可以与例如第一个数据片一起存储在主存储器中。优选地，将附加信息存储在辅助存储器中，从而更易于检索该附加信息。
下面论述重要性的优选计算。根据速率-失真理论以及可缩放编码准则，首先要发送/存储那些对于解码器再现时减小失真影响最大的比特。所使用的失真测量依赖于应用；例如可以典型地使用对于视频和音频不同的测量。不过，所有这些失真测量共有的是它们在某种程度上对应于消费者在再现期间所察觉到的视频/音频对象的质量。我们关于该测量的定义是独立于特定应用的。给定可以由变码器计算的任何失真测量，可以形式上如下定义重要性Mi,k=Di,k-1-Di,kRi,k-Ri,k-1----(1)]]>其中索引i指给定的对象，索引k指在解码器中可获得的已编码块的数量。Di，k-1表示当k-1个后续块已经被接收到时，在再现过程中的失真，并且；Di，k表示当接收到k个块之后在再现过程中的失真。Ri，k-1表示一个速率，即对于k-1个后续块所使用的总比特数，并且Ri，k表示用于k个块的比特数。Di，0表示当没有比特被发送时在解码器中的初始失真，并且Ri，0表示没有比特发送时的比特数，即Ri，0＝0。当主存储器中的所有块的尺寸相同时，由块尺寸除是固定的除法并且最好是省去M~i,k=Di,k-1-Di,k----(2)]]>通常用于图像/视频的作为失真测量的一个例子，是二次错误测量，其是一个初始图像及其再现之间的象素值差的平方和。在对块k编码之后，编码器原则上必须重新计算对于该图像的每个象素的错误，以便获得Dk，但实际上该计算的一些简化/捷径通常是可能的。
在一个实际实施例中，一个数据项的第一个数据片的重要性被调整，使得第一个数据片的接收之后的失真被存储，而不是失真缩减。这使得可能不需要初始数据项就可以更精确地计算每个数据项的绝对失真。此外，在接收之后为失真增加一个数，以保证一个数据项的第一个数据片通常不会被重写。这样做的一个优点是，对于每个数据项，一个数据片通常总是保留在存储器中，该数据片使得可能粗略地表示数据项。
如上所述，本发明优选地存储已经被可缩放编码的数据项。理想地，一个可缩放比特流中的任何后续块都具有一个在本发明的实现中有利的更低的失真缩减。不过，不是所有的可缩放编码器都有理想的特征。因此，本发明的一个实际实施例检查是否失真缩减对于后续数据片实际上更低。重要的是，以正确的顺序获得数据片，因为只有数据片以正确顺序获得并且没有数据片丢失(只在结尾处截去)才能以正确方式对数据项解码。在根据本发明的一个实施例中，使用指示数据片的正确顺序的一个指针。在一个优选实施例中，本发明认可，当后续数据片中的失真差不是更小时，即偏离与前面一个数据片的失真差偏离一个小的量。如果一个可缩放已编码数据项的数据片的序列中，没有严格递减失真差的数据片出现，则它们按照下述方式被调整。首先，确定没有严格递减失真差的问题数据片的数量n。例如，数据片k+1有2950的重要性值，并且数据片k具有2947的重要性值。本例中问题数据片的数量是2。其次，感觉到的重要性的平均值被确定(四舍五入到一个整数值)，即本例中是2949。第三，从平均值2949开始减小，对于最后的数据片的n/2，将新的重要性被分配给问题数据，即对于k+1为2948，前一个数据片k的值被加一，即2949，依此类推。该调整的优点是，存储器中的顺序是数据片的正确顺序，以便解码器获得正确顺序的数据。总失真差保持大约等于未调整的序列并且最小化了关于实际重要性的偏差。
可能使用恰当加权的感觉重要性测量和/或恰当选择的块尺寸将诸如音频和视频的不同类型的对象共同存储到存储器中。
可以在使用用于存储可压缩数据(如视频、图像、语音等)的固定存储容量设备的应用(其中未知/可变量的数据流要被存储和/或对于被存储的数据的每个量，总是需要最高可能的数据质量)中有利地使用本发明。
有利实施例的例子有—数字静止照相机。第一个图片可以被以很高质量存储。后续图片被存储在固定存储器中，而代替一些前面图片的数据。依据存储器中图片的总数，可以获得图片的一定质量。图片越多，平均质量越差。在门铃应用中，每当有人按下门铃时就拍下一张图片。
—应答机/语音邮件。为每个调用和留下一条消息的人存储一个音频数据项。如果存储器被用完，则通过降低已经存储的音频项的质量来存储新的音频项。
—摄像机。摄像机中提供的一个新特性是例如可变记录时间。其一个应用是能够以更低质量存储更多相关节目，而不是因为磁带或盘被用完而无法记录一个节目。
—画中画(PIP)重放。用户在观看电视时，例如通过按下一个按钮来指示一个特定节目的画中画重放的持续时间。因为一个指定的PIP存储器有固定容量，所以用户可以交换PIP重放的质量和持续时间。
—对于嵌入式图像存储器的缓存控制。整个图像被再划分成为使用可缩放编码技术单独编码的部分。然后各部分被分成块并置入主存储器中。该新方案的优点是对于相同的图像质量需要更小的存储器，或者对于相同的存储器尺寸可以获得更好的图像质量。[传统方案是在合并各部分之前，首先对整个图像编码(并存储)。可替代地，固定数量的比特被分配给图像的每个部分，但这是一个此优选方案。]所有这些实施例最好是为用户提供某种质量指示符。
应当指出，上述实施例是用于说明而不是限制本发明，本领域的技术人员能够在不偏离附加权利要求范围的条件下设计出许多替代实施例。在各权利要求中，圆括号之间的任何参考符号都不应当被认为是限制该权利要求的。单词“包括”不排除一个权利要求中所列之外的其它元件或步骤的存在。可以利用包括几个不同元件的硬件和利用适当编程的计算机来实现本发明。在一个列举几个装置的设备权利要求中，可以用同一个硬件来实现这些装置中的一些。事实是，互不相同的从属权利要求中引用的确定测量不说明这些测量的一个组合不能被有利地使用。
总之，提供了在存储器中存储数据项，其中数据项被分成连续的递减重要性的数据片，并且数据片被存储在存储器相应的部分，并且当如果所有获选存储器部分都被分配给其它数据片而应用一个数据片到存储器中时如果被应用数据片的重要性低于其它数据片的最低重要性，则丢弃该被应用的数据片；如果该被应用的数据片的重要性高于最低重要性，则以具有比该被应用数据片重要性低的重要性的一个指定数据片为代价，将该被应用数据片存储到候选存储器部分中。最好是对于每个数据片，保持一个包括该数据片重要性以及该数据片所属数据项的记录。最好是用可缩放编码机制对数据项编码。可缩放比特流被分成如存储器中那些可用的相同尺寸的数据片。接下来，对于这些更小数据片中的每一个，计算一个重要性值。该重要性可以被计算为一个失真差。该重要性被用于将新项的数据片与已经被存储的数据片相比较。容易理解，通过分离可缩放比特流产生的数据片具有递减重要性的特性，由于可缩放编码方法首先产生最重要的比特。一个新项的数据片与已经在存储器中的数据片相比较。当新数据片具有更高重要性时，先前被存储的数据片被重写。在使用用于存储诸如视频、图像、音频、语音的可压缩数据的固定存储容量设备中可以有利地使用本发明。
权利要求
1.一种用于将数据项存储在存储器(3)中的方法，该方法包括步骤将每个数据项划分成为递减重要性的连续数据片；将数据片存储到存储器(31)的各自部分；以及当所有候选存储器部分都已经分配给其它数据片而应用一个数据片到存储器(31)中时如果所述被应用的数据片的重要性低于其它数据片的最低重要性，则丢弃所述被应用的数据片；或者如果所述被应用数据片的重要性高于其它数据片的最低重要性，则以具有比被应用数据片的重要性低的重要性的一个指定的其它数据片为代价，将被应用的数据片存储在候选的存储器部件之一中。
2.如权利要求1所述的方法，其中为每个数据片保留一个记录(30)，该记录包括该数据片的重要性(S)以及该数据片所属的数据项(I)。
3.如权利要求2所述的方法，其中数据项被存储在主存储器(31)中，并且记录被保留在辅助存储器(30)中，每个记录还包括一个指示其中存储了一个指定数据片的主存储器(31)中的一个位置的指针(P)。
4.如权利要求1所述的方法，其中根据一个失真差来计算一个数据片的重要性。
5.如权利要求1所述的方法，其中数据项已经被可缩放编码(2)。
6.一种用于从存储器(3)中读取数据项的方法，所述数据项已经被划分成为递减重要性的连续数据片，所述数据片被存储在各自的存储器部分(31)中，其中在存储器中可获得每个数据片的重要性的一个指示，该方法包括步骤为每个数据项从存储器(31)中读取连续的数据片，所述数据片属于所述数据项；以及由所述连续数据片构造(4)所述数据项。
7.一种用于将数据项存储在存储器(3)中的设备，该设备包括用于将每个数据项划分成为连续的递减重要性的数据片的装置；用于将数据片存储在各自的存储器(31)部分中的装置；以及用于将一个数据片应用到存储器(31)中的装置，当所有候选存储器部分已经被分配给其它数据片时，该装置被用于如果被应用数据片的重要性低于其它数据片的最低重要性，则丢弃该被应用的数据片；或者如果该被应用数据片的最低重要性高于其它数据片的最低重要性，则以具有比被应用数据片的重要性低的重要性的一个指定数据片为代价，将该被应用的数据片存储在候选存储器部分之一中。
8.一种用于从存储器中读取数据项的设备，所述数据项被划分成为递减重要性的连续数据片，所述数据片已被存储到各自的存储器部分(31)中，其中在存储器中可获得每个数据片的重要性的一个指示，所述设备包括用于为每个数据项从存储器(31)中读取连续数据片的装置，所述数据片属于所述数据项；以及用于由所述连续数据片构造(4)构造所述数据项的装置。
9.一种其上存储数据项的存储介质(3)，所述数据项被划分成为递减重要性的连续数据片，所述数据片被存储在各自的存储器部分(31)中，其中在该存储介质上可获得每个数据片的重要性的一个指示。
全文摘要
提供了将数据项存储在存储器(31)中,其中数据项被划分成为递减重要性的连续数据片,并且所述数据片被存储在存储器(31)各自的部分中,并且当所有候选存储器部分都已经分配给其它数据片,而要应用一个数据片到存储器(31)中时,如果该被应用数据片的重要性低于其它数据片的最低重要性,则丢弃该被应用的数据片;如果该被应用数据片的最低重要性高于其它数据片的最低重要性,则以具有比被应用数据片的重要性低的重要性的一个指定数据片为代价,将该被应用的数据片存储在候选存储器部分之一中。在使用用于存储诸如视频、图像、音频、语音的可压缩数据的固定存储容量设备中可以有利地使用本发明。
文档编号H04N5/926GK1381147SQ01801243
公开日2002年11月20日 申请日期2001年3月1日 优先权日2000年3月13日
发明者R·J·范德弗洛伊藤, R·P·克莱霍尔斯特 申请人:皇家菲利浦电子有限公司