专利名称：使用渐进直方图搜索多媒体的方法
技术领域：
本发明涉及一种使用直方图搜索多媒体的方法。
背景技术：
近来，随着基于内容的多媒体查询技术的日见兴起，正在积极地对于影响查询性能的多媒体特征进行研究。目前最常用的搜索引擎使用全局和局部颜色信息和纹理信息来进行图像检索。其中，已经知道颜色信息是对图像检索影响最大的一种元素。因此，正在进行最有效的颜色特征的开发，并且正在开发对于检索更有效的色空间。
直方图被广泛地用作颜色信息。直方图是代表诸如图像的多媒体数据的颜色方差(color variance)的信息。根据如何量化色空间来确定直方图的单元条(bin)的数量。通常，在更精细地量化一个色空间并且用很多颜色单元条来代表该色空间的情况下，尽管提高了检索性能，但是直方图的尺寸增加，导致长的检索时间。特别是，在通过网络检索的情况下，根据网络容量，直方图的尺寸是一个重要因素。而且，有可能在特定部分中断所要检索的数据的直方图的传送。此外，需要根据客户的系统性能或检索目的以及网络环境，在不使用整个直方图的情况下进行近似检索。但是，在现有技术中，由于用于查询图像的整个直方图和可检索的图像是比较地检索的，这种需要不能得到满足。此外，在系统性能较低的情况下，整个直方图的比较性检索使得检索速度较低，而在仅通过近似检索满足这种需要的情况下，消耗了不必要的检索时间。
发明内容
本发明涉及一种使用直方图的多媒体检索，并公开了一种直方图信息结构和使用该直方图的多媒体检索方法，通过以访问的时间顺序把相对重要的信息设置在直方图的前侧，仅使用直方图的前部来确保高检索性能。
因此，本发明的目的是，即使仅利用直方图的部分对查询图像和目标图像进行比较性检索，也能获得高检索性能。
为了实现上述目的，根据本发明提供一种直方图和多媒体检索方法，以单元条的重要性的顺序重新配置直方图结构，使得以访问的时间顺序把更重要的单元条设置在直方图的相对较前位置，并能够仅使用直方图位流的前部的渐进部分来进行检索。
而且，根据本发明提供一种直方图和多媒体检索方法，通过把直方图的重要单元条顺序信息包括在代表直方图的信息内和使用包含这些单元条顺序信息的直方图特征信息，即使仅使用直方图的部分，也能够得到高检索性能。
而且，提供一种通过配置根据每个多媒体对象的特征优化的渐进直方图和使用该直方图来检索多媒体的方法。
而且，提供一种通过考虑多媒体的特征来配置以重要性顺序重新排序的渐进直方图，并使用以重要性顺序重新排序并根据多媒体的特征优化的该渐进直方图来检索多媒体的方法。
而且，提供一种配置根据每个多媒体的特征优化的渐进颜色直方图的方法，和一种使用该直方图的多媒体检索方法，其通过在把直方图用作多媒体对象检索的特征信息时，在颜色直方图的传送期间，以直方图的传送顺序仅使用直方图的前部，来保证高检索性能。
从以下结合附图的详细说明，可以对本发明的上述目的、特征和优点有更清楚的理解，其中图1是表示用于解释本发明的直方图单元条传送流的图；图2是解释根据本发明第一实施例重新配置直方图的方法的流程图；图3是解释根据本发明第二实施例重新配置直方图的方法的流程图；图4是表示作为适用本发明的色空间的一个示例的HMMD色空间的图；图5是解释在HMMD横截面中看到的184级量化方法的图；图6是表示根据本发明的包括184单元条的直方图的重新排序信息的示例的图；图7是表示根据本发明在进行部分比较性比较时性能比较的一个示例的图；图8是表示根据本发明第三实施例获得直方图的重新排序信息的方法的流程图；图9是表示根据本发明第四实施例获得直方图的重新排序信息的方法的流程图；图10是表示由直方图和重新排序信息形成的多媒体对象的特征信息结构的图。
优选实施例的详细说明以下的优选实施例的详细说明仅作为一个示例来使用颜色直方图，其目的在于解释根据本发明使用直方图搜索多媒体数据的方法。本发明在应用于其它类型的直方图时同样有效。
在本发明中，仅使用直方图的部分的比较性比较(comparativecomparison)能够获得高检索性能。这种功能对于以下两种用途非常有用。
特别地，如上所述，如果在直方图数据的传送期间由于网络环境之类的原因使直方图位流的传送中断，仅使用直方图信息的所传送部分的检索也可以确保高检索性能。为此目的，尽管是以直方图单元条的传送顺序进行检索，即仅通过使用按照优先级的N个(N＜整个直方图的单元条数量)单元条进行检索，也要保证高检索性能。作为第二个用途，根据检索的用途、客户的环境和网络的环境确定一个具有数据的服务器来传送直方图的部分或全部，因此可以为每种情况执行优化检索。例如，在把检索用于近似种类的数据检索的情况下，或者网络环境非常差的情况下，可以无需过度关注网络环境地进行检索，而通过仅传送所要检索的数据直方图的部分来保证最小检索性能。反之，在网络或计算机环境非常好并且希望非常精确检索的情况下，可以传送整个直方图。
为了提供上述有用功能，有必要优化直方图，使得在即使按照优先级检索直方图的N个单元条时，检索性能降低得较少。为此目的，必须以一种结构重新配置直方图，其中把重要的单元条(即更多影响检索的单元条)设置在位流的前部。以此方式，可以通过重新排序单元条，根据本发明的目的来优化直方图。
渐进直方图是一种例如表示以重要性顺序重新排序颜色直方图的单元条并以重要性顺序传送所重新排序的直方图的多媒体特征信息。利用渐进直方图，在即使直方图数据的传送被中断的情况下，可以仅通过所传送的部分进行检索。而且，仅通过使用直方图的这些部分就可以保证高检索性能。其原因是，由于先前传送的单元条是更重要的单元条，通过这些部分的单元条可以进行一定程度的多媒体对象检索。
在本发明中，用于决定重要单元条的方法包括以下两种方法。
第一种方法是，基于数据的抽样组静态计算每个单元条鉴别数据的鉴别能力，并把具有较大鉴别能力的单元条作为更重要的单元条。对于鉴别能力的决定，计算在抽样组中每个单元条的值的方差，并因此认为具有较大方差的单元条表示更重要的单元条。如果抽样组中包含的数据按照相似性被分类为多个组，可以认为在同一组中具有较小方差、但是在其它组中的数据之间具有较大方差的单元条是更重要的单元条。理论上说，利用后一种方法可以更精确地提取单元条的重要性。但是，把抽样组分类为多个组不是很容易的，因此采用前一种方法。实验证明，这种方法显示了非常好的性能。
第二种方法是，通过不使用抽样组考虑色空间的特征来考虑单元条的重要性。通常，如果在色空间中用M个部分量化颜色，可以根据色度(chromaticity)，纯度(fineness)和亮度(brightness)利用初步知识粗略地得到每个量化颜色的重要性。通常，与具有较高纯度的区域相比，具有较低纯度的区域在检索时具有更重要的影响。因此，如果基于纯度划分色空间，所划分的段的重要性大于具有较低纯度的段。因此，属于具有较低纯度的区域的单元条是更重要的。因此，在直方图单元条的重新排序中，对应于较低纯度区域的单元条被设置在前侧。例如，假设根据纯度大体存在两个区域S1和S2。假设S1是比S2低的纯度区域，并且S1与S2的重要性之比是2∶1，当以优先级选择要设置在前侧的段以决定直方图的单元条顺序时，可以按如下方式决定单元条顺序，即在选择两个S1时选择一个S2。
根据上述概念，将说明本发明的特征。
根据本发明的第一特征，在使用直方图的多媒体检索中，提供一种以单元条重要性的顺序重新配置的渐进直方图，使得根据直方图的访问顺序，仅使用在前侧的渐进部分进行检索成为可能，还提供一种渐进多媒体检索方法，根据用途和检索环境仅使用直方图的部分进行检索。
根据本发明的第二特征，在第一特征中描述的以单元条重要性顺序重新配置直方图中，通过基于从抽样组计算的每个单元条的单元条值的方差的计算，把具有较大方差的单元条作为更重要的单元条。
根据本发明的第三特征，在第一特征中描述的以单元条重要性顺序重新配置直方图中，通过按照图像相似性被分类为多个组的抽样组的各组中每个单元条的方差和其它组之间每个单元条的方差的计算，把在其组中具有较小方差、但是在其它组之间具有较大方差的单元条作为更重要的单元条。
根据本发明的第四特征，第一特征中描述的以单元条重要性顺序重新配置直方图被配置为，对表示由色空间量化分段的分段区域的单元条抽样，其中以高概率选择具有低纯度的分段区域并且出现在直方图的前部。
根据本发明的第五特征，当第四特征中描述的颜色直方图使用由Hue，SUM(MAX(RGB)＋MIN(RGB))，DIFF(MAX(RGB)－MIN(RGB))构造的HMMD色空间，并且HMMD色空间具有0～255范围的DIFF值，指定用于在DIFF值基础上分段的DIFF值是9，29，75，200，在DIFF轴基础上分段的五个分段区域分别是S1，S2，S3，S4和S5时，通过使用一种颜色量化方法把五个分段区域配置为184单元条，在该颜色量化方法中，S1在SUM基础上被8分段，S2在SUM基础上被4分段并且在Hue基础上被8分段，S3在SUM基础上被4分段并且在Hue基础上被12分段，S4在SUM基础上被4分段并且在Hue基础上被12分段，S5在SUM基础上被2分段并且在Hue基础上被24分段。
根据本发明的第六特征，第四特征中描述的在区域S1，S2，S3，S4和S5中的抽样概率分别决定为24∶12∶6∶2∶1，以便使抽样概率不同。
根据本发明的第七特征，在使用第一特征中描述的渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤根据检索对象和检索客户的硬件环境，把直方图传送到客户，或者通过从直方图的前部开始使用部分或全部直方图来检索直方图。
根据本发明的第八特征，在使用第一特征中描述的渐进直方图的多媒体检索系统中，该方法进一步包括当在传送中由于意外结果而中断查询数据的直方图数据时，仅使用所接收的直方图数据进行检索。
根据本发明的第九特征，在使用直方图的多媒体检索中，使用渐进直方图的多媒体检索方法在能够根据直方图(位流)的传送顺序通过使用出现在开头的渐进部分进行检索的检索引擎中包括重要单元条顺序信息，通过使用直方图的部分单元条和单元条顺序信息进行检索，根据单元条的重要性顺序选择和使用单元条。
根据本发明的第十特征，在第九特征中描述的以单元条重要性顺序配置直方图中，通过基于从抽样组计算的每个单元条的单元条值的方差的计算，把具有较大方差的单元条作为更重要的单元条。
根据本发明的第十一特征，在第九特征中描述的以单元条重要性顺序配置直方图中，通过按照图像相似性被分类为多个组的抽样组的各组中每个单元条的方差和其它组之间每个单元条的方差的计算，把在其组中具有较小方差、但是在其它组之间具有较大方差的单元条作为更重要的单元条。
根据本发明的第十二特征，第九特征中描述的以单元条重要性顺序配置直方图被配置为，对表示由色空间量化分段的分段区域的单元条抽样，其中以高概率选择具有低纯度的分段区域并且出现在直方图的前部。
根据本发明的第十三特征，当第十二特征中描述的直方图使用由Hue，SUM(MAX(RGB)＋MIN(RGB))，DIFF(MAX(RGB)－MIN(RGB))构造的HMMD色空间，并且HMMD色空间具有0～255范围的DIFF值，指定用于在DIFF轴基础上分段的DIFF值是9。29，75，200，在DIFF值基础上分段的五个分段区域分别是S1，S2，S3，S4和S5时，通过使用一种颜色量化方法把五个分段区域配置为184单元条，在该颜色量化方法中，S1在SUM基础上被8分段，S2在SUM基础上被4分段并且在Hue基础上被8分段，S3在SUM基础上被4分段并且在Hue基础上被12分段，S4在SUM基础上被4分段并且在Hue基础上被12分段，S5在SUM基础上被2分段并且在Hue基础上被24分段。
根据本发明的第十四特征，第十二特征中描述的在区域S1，S2，S3，S4和S5中的抽样概率分别决定为24∶12∶6∶2∶1，以便使抽样概率不同。
根据本发明的第十五特征，在使用第九特征中描述的渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤根据检索对象和检索客户的硬件环境，把直方图传送到客户，或者通过从直方图的前部开始使用部分或全部直方图来检索直方图。
根据本发明的第十六特征，在使用第九特征中描述的渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤根据各自单元条顺序信息重新配置一查询直方图和一检索目标直方图；根据单元条顺序信比较/检索重新配置的使重要单元条在开头出现的直方图。
根据本发明的第十七特征，在使用第九特征中描述的渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤根据单元条顺序信息一个接一个地选择一查询直方图和一检索目标直方图；根据单元条顺序比较/检索直方图。
根据本发明的第十八特征，通过使用根据每个多媒体数据的对应对象的本质特征优化的渐进直方图进行多媒体检索，并且该优化意味着根据比较/检索的观点，配置对应直方图的重要性是不同的。
图1表示本发明的应用的一个示例。其假设，在一个网络环境中使用查询图像的图像检索中，对应于查询图像的直方图101的传送在整个直方图到达之前被中断，并且因此该直方图只被接收到P1。客户通过使用接收到P1的直方图和仅使用与目标图像的直方图102相同位置的单元条来计算相似性。以此方式，即使仅使用直方图的部分，也可以保证一定程度的检索性能，由此得到更有效的检索。
图2表示一种方法，以重要性顺序重新配置由一般方法产生的直方图的单元条，使得即使仅使用直方图的部分，也不会使检索性能显著下降。首先，配置一个各种数据的抽样组，然后产生对应于所配置抽样组的数据的颜色直方图。然后，计算所产生的颜色直方图的每个单元条的方差，然后以方差的强度(intensity of variance)顺序把直方图重新排序。
图3表示以重要性顺序把由一般方法产生的直方图的单元条重新排序的另一个示例。首先，配置一个各种数据的抽样组，然后通过使用有关相似类型数据的初步信息把抽样组分类为多个组。产生对应于所配置抽样组的数据的颜色直方图，然后计算同一组中数据的直方图的组中方差和不同组中数据的直方图的组间方差。此时，以组中方差小和组间方差大的顺序对直方图重新排序。
图4表示一HMMD色空间，用于解释根据本发明实施例使用HMMD色空间的渐进颜色直方图。该HMMD色空间是一个双锥形色空间。其中心轴由SUM([MAX(RGB)＋MIN)(RGB)]/2)表达，对应于亮度。纯度以从锥体的中心向外侧的顺序增加，由DIFF(MAX(RGB)－MIN(RGB))表达。锥体的角度表示颜色，通常由Hue代表。
图5表示把图4中解释的HMMD色空间量化为184级的示例。如图所示，HMMD色空间被基于DIFF划分为5个部分区域，然后被细分为184段。这些段产生由184单元条形成的色空间。
图6表示在图5中描述的184级颜色直方图被基于DIFF划分为5个部分区域，然后通过以概率比率24∶12∶6∶2∶1对每个部分区域中的单元条抽样来重新排序该颜色直方图时所产生的重新排序信息。单元条的抽样意味着以特定概率按184个单元条的选择顺序来重新排序该颜色直方图。因此，由抽样首先选择的单元条必须是最重要的单元条。因此，如果一个单元条具有高概率，它按照优先级的高抽样概率，因此更有可能在重新排序中被设置在前部。例如，两个具有最低纯度的部分区域分别包括8段和32段，如图5所示。在本发明的该实施例中，概率之比是24∶12。因此，从第一区域中的两个单元条抽样一个单元条，然后从下一个区域中的四个单元条抽样一个单元条，从而在第一区域中抽样四个单元条，在下一个区域中抽样8个单元条。
图7表示根据本发明在渐进颜色直方图中使用16个单元条，32个单元条，64个单元条和128个单元条时性能的改变。此时，在使用N个单元条时，单元条值不是由一个小数表达，而是为了空间效率而被量化并由n个比特表达。例如，由1比特代表单元条值表示根据一个特定阈值由0或1代表一个0和1之间的小数。因此，在单元条值由1比特代表并且直方图包括16单元条的情况下，检索中使用的直方图信息的总比特数量是16。在该实验中，通过为每个选择的比特数目由1比特，2比特和4比特代表一个单元条值来获得检索性能。在图7中，第一列表示选择的单元条数目，第三列表示通过用n比特代表单元条值使用了多少比特的直方图信息(即，其表示单元条值也被量化)，中间列表示性能。分别用4比特，2比特和1比特代表相同数目的单元条。例如，单元条数目184由4比特(总比特数目736)，2比特(总比特数目368)和1比特(总比特数目184)代表。在中间列中，比特数目越小，由中间列表示的性能越好。如图所示，仅由4比特代表的单元条值对于获得高性能是足够的。在整个颜色直方图中用于检索的单元条数目越小，性能就越低。但是，下降的幅度不大。
如上所述，通过静态分析大量多媒体数据的直方图可以获得一种以重要性顺序重新排序直方图的单元条的方法。但是，存在那么多种多媒体数据，因此即使一个单元条在一个特定多媒体组中非常重要，它也可能在另一个多媒体组中不重要。因此，通过使用为每个多媒体数据优化的、并且基于每个多媒体数据的特征以不同单元条顺序配置的直方图，有可能获得更高的检索性能。
为了对单元条重新排序，可以不考虑多媒体类型，为普通应用使用一种统计方法。但是，在此情况下，不能反映每个多媒体的各自特性特征，因此在性能上有一定限制。因此，为了产生更优化的渐进直方图，有必要产生并使用一个符合每个多媒体对象的特征的不同渐进直方图，从而获得为每个多媒体对象优化的检索。此处，符合特征的不同渐进直方图表示的是考虑每个多媒体的特征以重要性顺序重新排序的直方图。即，是根据多媒体的特征重新排序的直方图。因此，在此情况下，构成直方图的单元条的顺序依据每个多媒体对象而改变。为了配置这种优化的渐进直方图，首先，有必要为了每个多媒体对象的比较性比较而计算每个单元条的重要性。以此方式，通过使用用户反馈或使用组信息(如果这些单元条已经分组)可以计算每个多媒体的单元条的重要性。
首先，将解释使用用户反馈的方法。用户反馈意味着在根据一个对应对象的查询对一个相似对象进行检索时，用户根据检索结果把有关相似对象和不相似对象的信息作为反馈通知给系统。例如，在图像检索的情况下，用户根据初始检索的结果把那些相似于他所寻找的图像和那些不相似于他所寻找的图像通知给系统(用户反馈)。因此，已经接收到用户反馈的系统可通过使用关于相似性和非相似性的反馈信息计算对应对象的直方图的每个单元条的重要性。
用于计算单元条i的重要性wi的方法如下。
wi＝afl(i)＋bfR(i)此处，a和b是常数，fl(i)＝(pmi)/qvi(单元条i的相似图像之间的相似性)，fR(i)＝pmi×qvi(单元条i的不相似图像之间的非相似性)，p和q是常数，mi是对应图像组中单元条i值的平均，vi是对应图像组中单元条i值的方差。对于单元条i的上述重要性wi，在反馈图像仅是相似图像或仅是不相似图像的情况下，可以通过把a和b之一设置为0来计算每个单元的重要性。
图8表示使用用户反馈获得直方图的重新排序信息的顺序，使得即使仅使用直方图的部分，也不会显著降低检索性能。在此方法中，从用户反馈接收到有关待重新排序的对象的相似对象的信息，然后为直方图的每个单元条测量相似对象与对应单元条之间的相似性。与如此计算的相似性成比例，增加每个单元条的重要性。然后，在为每个相似对象计算每个单元条的重要性时，以每个单元条的重要性的顺序来计算那些单元条的重新排序信息。
将更详细地解释图8。在步骤201，从用户接收初始检索结果的反馈(关于相似性或非相似性的信息)。在步骤202，根据用户反馈获得相似/不相似多媒体对象信息。在步骤203，把第一相似/不相对多媒体对象指定为目标对象。在步骤204，把I单元条设置为0。在步骤205，通过把查询对象和目标对象的第I直方图单元条值进行比较来测量相似性Si。在步骤206，把I单元条的重要性增加相似性Si。重复进行测量相似性和把I单元条的重要性增加所测量的相似性的一系列步骤，直到I在步骤207和208中达到单元条的总数。以此方式，完成了对应对象的I单元条的重要性的产生。然后，如果没有下一个对象，在步骤209和210中以上述重要性顺序建立直方图顺序信息。如果有下一个对象，把目标对象设置为下一个相似/不相似对象，在步骤209 211中通过从I单元条＝0开始，重复测量相似性Si和产生重要性的各步骤。
接着，将解释使用分组信息的方法。为了更有效的多媒体检索，每个多媒体对象可以包括同一类中的其它多媒体对象的分组信息。另一方面，可以按类对特定数据库中的多媒体对象分组。以此方式，如果有关于同一类的多个组的信息，可以使用该信息来自动计算每个单元条的重要性。即，同一类中的多媒体对象与来自上述用户反馈的关于相似对象的反馈信息相同。因此，通过以相同方式把上述重要性wi计算方法应用于这些对象的直方图，可以计算单元条的重要性。
图9表示作为另一个获得直方图的重新排序信息的方法的，使用分组信息代替用户反馈的方法的顺序。在此方法中，在步骤301，从先前配置的组信息接收关于待重新排序的对象的相似对象的信息。随后的步骤与图8中描述的方法的那些步骤相同。即，从先前配置的组信息中接收关于待重新排序的对象的相似对象的信息，然后在步骤302获得相似/不相似对象信息。在步骤303，把第一相似/不相似多媒体对象指定为目标对象。在步骤304到308，测量直方图I＝O到N的单元条之间的相似性，然后把对应I单元条的重要性增加相似性Si。如果没有下一个对象，在步骤309和310以上述重要性顺序建立直方图顺序信息。如果有下一个对象，在步骤309和311从304开始重复那些步骤。
为了比较和检索所产生的直方图，如上所述，需要代表以何种重要性和何种顺序对单元条重新排序的顺序信息。例如，将使用直方图描述两个图像的相似性的计算。在此情况下，由于两个直方图的顺序不同，需要单元条顺序信息作为直方图的特征信息，以便比较这些单元条，其中进行映射。尽管直方图的顺序不同，仍有可能根据任何重要性在重新排序的单元条中进行比较。
图10表示由直方图和重新排序信息形成的多媒体对象的特征信息结构。特征信息结构400具有作为多媒体特征信息的直方图信息401，和代表直方图的每个单元条的顺序以何种重要性排列的重新排序信息结构402。此处，重新排序信息是一维矩阵类型，其中排列了直方图的每个单元条的顺序。
根据本发明，在使用直方图的多媒体检索中，有可能在即使比较和检索部分直方图的情况下获得高检索能力。尤其是，当在数据的直方图传送中中断数据传送时，即使仅检索所接收的部分，也能保证高检索能力。
而且，根据本发明的一个优点是，具有数据的服务器根据检索对象和客户和网络的环境鉴别是否部分或全部发送直方图，从而能够在每个情况下进行最佳检索。而且，根据本发明，可以使用根据每个对象的特征优化的渐进直方图，使得即使通过使用部分直方图进行比较和检索，也可能得到高检索能力。尤其是，根据本发明，每个对象的不同特征被考虑作为重新排序信息，从而提供非常高的能力和面向对象的检索服务。
虽然已经参考优选实施例显示和描述了本发明，但是本领域技术人员可以理解，在不偏离所附权利要求定义的本发明精神和范围的情况下，可以进行形式和细节上的各种改变。
权利要求
1.一种直方图，其中根据访问的时间顺序使相对重要的单元条出现在访问的开头，以便使用直方图检索多媒体。
2.根据权利要求1的直方图，其中直方图是颜色直方图。
3.一种渐进多媒体检索方法，包括以下各步骤重新配置一直方图，使得在访问直方图数据以进行检索时，使相对重要的单元条出现在访问的开头；和在访问时根据单元条的重要性的顺序比较/检索一查询直方图和一检索目标直方图，然后比较/检索按重要性顺序重新配置的直方图，访问顺序被配置为重要性的顺序。
4.根据权利要求3的渐进多媒体检索方法，其中在访问按重要性顺序被重新配置的直方图以执行对查询直方图的比较和检索并执行对目标直方图的检索时，出现在开头的渐进部分代表整个对应直方图。
5.根据权利要求3的渐进多媒体检索方法，其中以单元条重要性顺序重新配置直方图中，通过基于从抽样组计算的每个单元条的单元条值的方差的计算，把具有较大方差的单元条作为更重要的单元条。
6.根据权利要求3的渐进多媒体检索方法，其中以单元条重要性顺序重新配置直方图中，通过按照图像相似性被分类为多个组的抽样组的各组中每个单元条的方差和其它组之间每个单元条的方差的计算，把在其组中具有较小方差、但是在其它组之间具有较大方差的单元条作为更重要的单元条。
7.根据权利要求3的渐进多媒体检索方法，其中以单元条重要性顺序重新配置直方图被配置为，对表示由色空间量化分段的分段区域的单元条抽样，其中以高概率选择具有低纯度的分段区域并且使其出现在直方图的前部。
8.根据权利要求6的渐进多媒体检索方法，其中当直方图使用由Hue，SUM(MAX(RGB)＋MIN(RGB))，DIFF(MAX(RGB)－MIN(RGB))构造的HMMD色空间，并且HMMD色空间具有0～255范围的DIFF值，指定用于在DIFF轴基础上分段的DIFF值是9，29，75，200，在DIFF值基础上分段的五个分段区域分别是S1，S2，S3，S4和S5时，通过使用一种颜色量化方法把五个分段区域配置为184单元条，在该颜色量化方法中，S1在SUM基础上被8分段，S2在SUM基础上被4分段并在Hue基础上被8分段，S3在SUM基础上被4分段并在Hue基础上被12分段，S4在SUM基础上被4分段并在Hue基础上被12分段，S5在SUM基础上被2分段并在Hue基础上被24分段。
9.根据权利要求8的渐进多媒体检索方法，其中在区域S1，S2，S3，S4和S5中的抽样概率分别决定为24∶12∶6∶2∶1，以便使抽样概率不同。
10.根据权利要求3的渐进多媒体检索方法，其中在使用渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤，根据检索对象和检索客户的硬件环境，把直方图传送到客户，或者通过从直方图的前部开始使用部分或全部直方图来检索直方图。
11.根据权利要求3的渐进多媒体检索方法，其中在使用渐进直方图的多媒体检索系统中，该方法进一步包括当由于在传输中意外结果而中断查询数据的直方图数据时，仅使用所接收的直方图数据进行检索。
12.根据权利要求3的渐进多媒体检索方法，其中直方图是颜色直方图。
13.一种直方图信息代表结构，包括单元条顺序信息，决定相对重要的单元条以访问的时间顺序在访问的开头出现的顺序以便使用直方图进行查询。
14.根据权利要求13的渐进多媒体检索方法，其中直方图是颜色直方图。
15.一种使用渐进直方图的多媒体检索方法，包括以下步骤产生单元条顺序信息，其决定在使用渐进直方图在多媒体检索中访问用于检索的直方图数据时，相对重要的单元条在访问开头出现的访问顺序；通过使用单元条顺序信息来检索直方图的部分单元条；通过根据单元条重要性的顺序选择单元条来比较/检索直方图。
16.根据权利要求15的渐进多媒体检索方法，其中直方图是颜色直方图。
17.根据权利要求15的多媒体检索方法，其中在使用渐进直方图的多媒体检索系统中，该方法进一步包括根据检索对象和检索客户的硬件环境，把直方图传送到客户，或者通过从直方图的前部开始使用部分或全部直方图来检索直方图。
18.根据权利要求15的使用渐进直方图的多媒体检索方法，其中在使用渐进直方图的多媒体检索系统中，该进一步包括以下步骤根据各自单元条顺序信息重新配置一查询直方图和一检索目标直方图；和根据单元条顺序信比较/检索重新配置的使重要单元条出现在开头的直方图。
19.根据权利要求15的使用渐进直方图的多媒体检索方法，其中在使用渐进直方图的多媒体检索系统中，该方法进一步包括以下步骤根据单元条顺序信息一个接一个地选择一查询直方图和一检索目标直方图；和根据单元条的顺序来比较/检索直方图。
20.一种使用渐进直方图的多媒体检索方法，包括以下步骤在计算配置直方图的单元条的重要性作为检索多媒体的特征信息时，计算配置每个多媒体对象中的对应直方图的单元条的重要性，其中重要性根据比较/检索的观点而不同；和通过使用计算的根据比较/检索的观点的重要性信息，根据重要性的顺序来比较/检索直方图。
21.根据权利要求20的使用渐进直方图的多媒体检索方法，该方法进一步包括以下步骤基于用户对相似性或非相似性的反馈信息或者基于预先得到的相似对象的组信息，根据比较/检索的观点计算单元条的重要性信息。
22.根据权利要求20的使用渐进直方图的多媒体检索方法，其中按照单元条的重要性顺序发送直方图，并且根据系统或网络的情况发送部分或全部直方图。
23.根据权利要求20的使用渐进直方图的多媒体检索方法，其中直方图是颜色直方图。
24.一种配置渐进直方图信息的方法，包括以下步骤通过根据比较/检索的观点考虑特征，产生配置直方图的单元条的重要性来作为用于检索多媒体的特征信息，其中每个多媒体对象中的重要性不同；和产生并存储直方图的单元条的顺序信息。
25.根据权利要求24的配置渐进直方图信息的方法，其中直方图的单元条的顺序信息是布置直方图的每个单元条的顺序的一维矩阵类型。
26.根据权利要求24的配置渐进直方图信息的方法，其中直方图是颜色直方图。
全文摘要
本发明涉及使用直方图的多媒体检索方法。本发明配置一种直方图,在访问用于检索多媒体的直方图数据时使相对重要的多媒体出现在访问的开头,并使用渐进直方图检索多媒体数据。根据本发明的优点是,通过使用根据每个多媒体的特征优化的渐进直方图,即使仅以直方图的传送顺序使用其前部,也能够保证高检索能力,并且提高了检索的效率和能力。
文档编号G06F17/30GK1334534SQ0112065
公开日2002年2月6日 申请日期2001年7月23日 优先权日2000年7月21日
发明者李振秀, 金贤俊, 宋政珉 申请人:Lg电子株式会社