专利名称：利用内容描述元数据转换显示装置中色温的方法及其系统的制作方法
技术领域：
本发明涉及一种用于按照用户的偏爱色温转换可视内容的色温的方法和系统。
背景技术：
光源的色温被定义为普朗克辐射器的温度，其色度最接近在诸如CIE1960UCS图的合适的均匀色标图中的光源。可以通过估测图像的亮度分量来计算图像的色温。可以使用色温来量化人对图像感知的暖度和冷度。一般，具有高色温的图像是全蓝色的，具有低色温的图像是全红色的。但是，个人的偏爱色温不同。
如美国专利第4,562,460、4,633,299和4,788,586号中所公开的，在现有技术中，为了将图像的色温转换为用户的偏爱色温，电视机或监控器具有一个调整电路，它可以改变色调或红、绿、蓝(RGB)的量，用户利用它可以将图像或场景的色温调整到用户偏爱的色温。
但是，每次用户观看包括各种内容的场景的活动图像的时候用户调整色温是不方便的。而且，在色温转换方法中，看起来好象被转换的图像已经通过了一个特定的滤色镜。因此，所显示的图像看起来不自然。
作为另一种色温转换方法，美国专利第6,171,719号中公开了一种利用一个色度检测装置来检测显示装置周围的亮度、色彩等并自动转换显示装置的色温的方法。在这种方法中，色温被按照环境的变化来转换，而不管图像的特性如何。因此这种方法适合于根据环境来调整观众的感觉而与按照可视内容的色温特性转换色温无关。一般，观看诸如电视机或监控器的图像显示装置的环境是不变的，而可视内容是变化的。因此，当考虑到个人的偏爱色温不同的时候，有必要转换色温以对应于可视内容中的变化。
为此，美国专利第4,685,071和5,495,428号和韩国专利申请第1998-53119号都公开了一种从图像估测色温(亮色)的方法。特别是韩国专利申请第1999-50596号公开了一种利用估测的色温来同时将多个图像的色温转换为用户的偏爱色温的方法。
但是，这些方法需要经历一个色温估测过程，其中对每个像素进行矩阵相乘运算。因此，当这些方法被用于用户的终端的时候，出现了大量的计算负担。结果，图像显示性能恶化，或者改善图像显示性能的成本提高。
发明内容
因此，本发明提供了一种用于转换色温的方法和系统，按照它们，通过预先估测在可视内容提供器/广播器或用户终端中的可视内容的色温、按照包括MPEG-7或独立的格式的各种内容描述元数据标准在每个预定的时间段记录所估测的色温、直接从对应的元数据获得可视内容的色温、当在用户的终端显示可视内容的时候将所获得的色温和用户的偏爱色温进行色温转换，可以消除在用户终端估测色温导致的计算负担。
本发明提供了一种方法和系统，用于通过记录用户先前观看的可视内容的色温并将所记录的色温用于用户现在观看的可视内容的色温的转换，自动转换色温而不需要对每个可视内容输入用户偏爱的色温。
按照本发明的一个方面，提供了一种用于将可视内容的色温转换为用户偏爱的色温的系统。所述系统包括一个图像色温记录单元、一个用户偏爱色温管理单元和一个色温调整单元。图像色温记录单元按照一个色温描述格式来在时间上划分可视内容、估测时分(time-divied)部分的色温和将所估测的色温记录为第一元数据。用户偏爱色温管理单元确定时分部分的用户偏爱色温，将用户的偏爱色温记录为第二元数据，并输出用户偏爱的色温。色温调整单元根据第二元数据的用户偏爱色温来转换所估测的第一元数据色温。
按照本发明的另一个方面，也提供了一种用于将可视内容的色温转换为用户偏爱的色温的方法。按照一个色温描述格式来在时间上划分可视内容，并估测时分部分的色温。将所估测的色温和关于时分部分的信息记录为第一元数据。分析第一元数据，根据所分析的估测色温和关于时分部分的信息来确定时分部分的用户偏爱色温，将时分部分的用户偏爱色温和关于时分部分的信息记录为第二元数据。分析第二元数据，并根据时分部分的用户偏爱色温来转换可视内容的时分部分的估测色温。
通过参照附图详细说明本发明的优选实施例，本发明的上述目的和优点将会变得更加清楚，其中图1是按照本发明的一个优选实施例的色温转换系统的结构的方框图；图2是说明按照本发明的优选实施例的色温转换方法的流程图；图3是详细说明图2的色温估测过程的流程图；图4是详细说明图2色温转换过程的流程图。
具体实施例方式
以下，参照附图来说明本发明的一个优选实施例。
图1是按照本发明的一个优选实施例的色温转换系统的结构的方框图。参见图1，色温转换系统包括图像色温记录单元10，用于估测可视内容的色温和将色温记录为元数据；偏爱色温管理单元20，用于确定用户的偏爱色温；色温调整单元30，用于分析元数据和转换可视内容的色温。
图像色温记录单元10包括色温估测器11和内容描述元数据发生器12。该色温估测器11根据一预置或输入色温描述格式时分(time-divied)该可视内容并估测每一时分部分的色温。该内容描述元数据发生器12记录有关该可视内容的时分部分的信息并且根据一预置格式估测从该色温估测器11接收的作为元数据的色温。
色温调整单元30包括元数据分析器31和色温转换器32。元数据分析器31从输入的元数据分析时分部分的信息和时分部分的色温的信息，向用户偏爱色温管理单元20提供当前可视内容的时分部分的色温的信息和当前可视内容的标识，接收由用户偏爱色温管理单元20确定的用户偏爱色温，并输出时分部分信息、每个时分部分的色温信息和输入的可视内容的用户偏爱色温。色温转换器32按照用户偏爱色温转换输入可视内容的时分部分的色温。
图像色温记录单元10、用户偏爱色温管理单元20和色温调整单元30可以被实现和操作为物理分离的系统或装置。例如，图像色温记录单元10可以在图像服务提供者的系统中实现，用户偏爱色温管理单元20和色温调整单元30可以在用户的终端中实现，以构成本发明的色温转换系统。而且，图像色温记录单元10、用户偏爱色温管理单元20和色温调整单元30可以在用户的终端实现和操作。
但是，由图像色温记录单元10执行的输入的可视内容的时分、估测时分部分的色温和将色温记录作为元数据的操作与由色温调整单元30执行的分析元数据和转换时分部分的色温的操作暂时分离。换句话说，在通过用户终端的图像显示装置显示可视内容之前，图像色温记录单元10产生全部可视内容的元数据，然后当请求经由图像显示装置显示可视内容的时候向色温调整单元30输出所产生的元数据。由于色温调整单元30利用所接收的元数据来转换色温而不先估测色温，因此大大减少了在用户终端中转换色温所需要的时间。
以下，参照图2说明按照本发明的色温转换过程。
图2是说明按照本发明的优选实施例的色温转换方法的流程图。
在步骤S200，为了在用户终端的图像显示装置上显示输入的图像数据，在图像显示装置上显示输入的图像数据之前，所输入的图像数据被输入到色温估测器11，色温估测器11在图像服务提供者的系统或用户终端中被实现。
在步骤S210中，色温估测器11按照色温描述格式来在时间上划分输入的移动图像，并估测时分部分的色温。现在参照图3详细说明色温估测过程。
可以将输入的移动图像按照色温描述格式有选择地在时间上划分为帧、划分为在移动图像中的连续的相同场景或划分为在具有均匀色温的移动图像中连续的场景。这个色温描述格式可以按照预定的格式被预先定义或可以按照移动图像的类型被适当地选择。如果输入的图像是一个单个的静止图像而不是一个移动图像，则输入的图像被时分为帧。
首先，在步骤S211中，色温估测器11确定输入的色温描述格式或在系统中预定的色温描述格式如何时分输入的图像。
如果色温描述格式被设置为将输入图像时分为帧，则色温估测器11估测输入的移动图像的帧的色温。已经对从图像估测亮色(色温)的多个方法进行了许多研究。代表性的方法被公布在本发明的申请人提交的美国专利第4,685,071和5,495,428号和韩国专利申请第1998-53119号和第1999-50896号中。这些专利或文件涉及利用在图像上的加亮或类似信息从图像提取亮色的方法。经由这些方法提取的亮色或色温被表示在CIE XYZ颜色空间中或通过频谱曲线来表示。
色温估测器11可以利用在上述文件中公开的方法之一来估测一个帧的色温。优选地，在步骤S213，利用在韩国专利申请第1999-50896号中中公开的色温估测方法来估测色温，这个专利申请由本发明的申请人提交并在此并入作为参考。
如果色温描述格式被设置为将移动图像划分为相同的场景，则色温估测器11在步骤S215将输入的移动图像在时间上划分为相同的场景，并在步骤S217估测被划分的相同场景的代表性色温。
为了将移动图像时分为连续的相同场景，首先，确定一个帧是否示出了同一场景。确定一个帧是否示出了同一场景的方法包括许多方法，如获得每个帧的颜色直方图，获得和分析在相邻帧之间的颜色直方图的差别，使用每个帧的边缘特性，使用运动向量等。在步骤S215，移动图像被时分为暂时连续的单个或多个帧，它们已经被确定为示出同一场景。
在同一场景部分中代表性色温可以下列方法来估测(i)选择同一场景的第一个帧作为代表帧，定期选择多个预定的帧之一作为代表帧，或通过另一种方法来选择一个代表帧并随后估测所选择的代表帧的色温作为代表色温；(ii)从在时分部分中的所有或一些帧的色温值估测/计算静态代表值，如平均值，然后估测静态代表值作为代表色温。在步骤S217，估测代表帧的色温或在时分部分中一些帧的色温的方法可以与当将移动图像时分为多个帧的时候估测多个帧的色温的上述方法相同。
如果色温描述格式被设置为将移动图像时分为具有均匀色温的场景，则色温估测器11在步骤S219将移动图像时分为具有均匀色温的场景，并在步骤S217通过与当将移动图像时分为同一场景时的同一方法来估测代表色温。
为了将移动图像时分为具有均匀色温的场景，确定在均匀色温场景中包括那些帧。在移动图像中的连续均匀色温场景由满足下列要求之一的暂时连续的单个或多个帧组成(i)在将色温的范围划分为几个部分之后，当两个暂时连续的帧的色温属于同一色温部分的时候；(ii)当两个暂时连续的帧的色温之间的差小于预定的阈值的时候；(iii)当除了预定数量的帧的在第n和第n+k个帧之间的帧满足(i)或(ii)的时候(例如，在第n和第n+k个帧之间的帧的色温满足2000±20(K°)，当在第n和第n+k个帧之间的2-3个帧的色温大于2000±20(K°)的时候，这2-3个帧被包括在所述预定数量的帧中)。色温估测器11按照上述的条件来将输入的移动图像时分为具有均匀色温的场景。
在步骤S220，按照上述色温估测过程估测的输入图像的时分部分的色温被与关于时分部分的信息一起输出到内容描述元数据发生器12，内容描述元数据发生器12按照诸如MPEG-7、MPEG-21等的内容描述标准、内容描述装置或在内容描述服务中规定的格式来产生估测的色温和时分部分信息作为第一元数据，并当请求将输入图像显示在用户的图像显示装置中的时候向元数据分析器31输出第一元数据。
在步骤S230，元数据分析器31分析所接收的第一元数据，并向用户偏爱色温管理单元20输出移动图像的时分部分信息、时分部分的代表色温的信息和输入的可视内容的标识。
在步骤S240，用户偏爱色温管理单元20直接从用户接收用户偏爱色温，或按照对先前由用户选择的各种可视内容的色温的记录来确定用户偏爱色温，产生所确定的用户偏爱色温、每个时分部分的信息和时分部分的用户偏爱色温来作为第二元数据，并向元数据分析器31输出第二元数据。
现在详细说明用户偏爱色温的确定过程。
从用户直接接收用户偏爱色温的方法包括两种方法1)用户简单地输入用户偏爱色温；(2)向用户提供具有各种色温的图像的示例，接收用户选择的图像和将所选择的图像的色温确定为用户偏爱色温。
在按照对先前由用户选择的各种可视内容的色温的记录来确定用户偏爱色温的方法中，在数据库(未示出)中存储了用户先前选择的可视内容的色温的记录之后，当被请求当前显示在图像显示装置中的可视内容与记录在数据库中的可视内容相同或类似的时候，记录在数据库中的可视内容的所选择的色温被确定为当前显示的可视内容的用户偏爱色温。
确定可视内容的等同或类似的方法包括利用可视内容的标识的确定方法和利用可视内容的色温的确定方法。
首先，在利用可视内容的标识的确定方法中，根据诸如数字广播标准TV-Anytime、MPEG-7、MPEG-21等的多媒体内容相关的标准，一个单独的可视内容被作为要按照类型、产生历史、提供者等重新分类的一个数字项目，并且所述单独的可视内容具有它自己的标识。
在利用标识的确定方法中，每当输入用户偏爱色温的时候，用户偏爱色温管理单元20将在用户终端上显示的可视内容的选择的偏爱色温与所显示的可视内容的标识一起记录在数据库中。当观看新的可视内容的时候，利用从元数据分析器31接收的标识，用户偏爱色温管理单元20搜索具有相同标识或属于同一类别的先前记录在数据库中的可视内容的内容，选择对应于所搜索内容的色温，并将所选择的色温用作偏爱色温来用于转换当前可视内容的色温。当观看诸如新闻、体育、连续剧等其中重复类似的场景的可视内容的时候，所述方法是有效的。
接着，在利用过去可视内容的色温的确定方法中，用户先前选择的偏爱色温被按照对应的可视内容的基色色温来分类。换句话说，当先前观看的可视内容的一个特定时分部分的色温是Ti并且用户选择的色温是Sj的时候，一对色温Ti和Sj被按照它们的存在频率或时间长度加权，并被存储在数据库中。如果当观看新的可视内容时在每个帧或每个时分部分中估测的色温是U并且在用户偏爱色温的记录中存在具有最高加权的色温对中的一对色温U和F(U)，则F(U)被确定为色温转换的优选色温。
总之，一组色温对被定义为ST＝{(Ti，Sj)|Ti＝被观看的可视内容的色温，Sj＝用户选择的具有色温Ti的可视内容的偏爱色温}，Wij被定义为提供给一对色温(Ti，Sj)的加权，所述加权的确定是按照涉及一对对应的色温的选择的数量或持续一对色温的选择的时间长度。当用户要观看的可视内容的估测色温或当可视内容的时分部分的估测色温是U并且由用户偏爱色温管理单元20自动选择的偏爱色温是F(U)的时候，F(U)是色温对(Ti，Sj)的Sj，它当U＝Ti或UTi时具有在加权Wik{Wik|k＝1，2，……}中的最大加权Wij。在色温对中的色温值可以表示为通过量化色温的整个分布范围而确定的色温部分。
用户偏爱色温管理单元20在数据库中记录利用上述的方法确定的用户偏爱色温以及当前可视内容的标识或在数据库中记录作为色温对的用户偏爱色温，产生当前可视内容的每个时分部分的用户偏爱色温作为第二元数据，并向元数据分析器31输出第二元数据。
在步骤S250，元数据分析器31分析输入的第二元数据，并向色温转换器32输出输入的可视内容的每个时分部分的用户偏爱色温的信息以及从第一元数据分析的输入的可视内容的每个时分部分的估测色温。
现在参照图4说明色温转换过程S260。
在步骤S261，接收输入的可视内容的时分部分信息、时分部分的估测色温、用户偏爱色温和输入的可视内容的色温转换器32确定输入的可视内容的色温描述格式。
如果色温描述格式被设置为将输入的可视内容时分为帧，则在步骤S263，色温转换器32按照用户偏爱色温转换输入的可视内容的帧的估测色温。帧的色温转换的方法在韩国专利申请第2001-73288号中有详细的公开，这个申请在此并入作为参考。除了这种方法，不同的方法也可以应用到本发明。
对在韩国专利申请第2001-73288号中公开的色温转换方法简单说明，当在电视、监控器等中使用的色温被设置为参考色温并且输入用户偏爱色温的时候，参考色温被转换为用户偏爱色温。当通过预定的映射方法将所设置的参考色温转换为用户偏爱色温的时候，获得了其帧的估测色温Ti被通过所述映射方法转换的输出可视内容的目标色温Tt，所述目标色温Tt被转换为CIEXYZ三色激励值向量，并且获得在两个三色激励值之间的转换矩阵M。按照一个转换矩阵M，输入的图像帧的每个像素的RGB值Ri、Gi和Bi被转换为线性RGB值、被转换为CIEXYZ向量和被排列。通过应用被转换的矩阵M获得的CIEXYZ向量被转换为线性RGB值，这些RGB值被转换为基色RGB值，并输出具有转换的色温的图像。
而且，通过对应于本发明的估测色温和用户偏爱色温而分别使用在由本发明申请人提交的韩国专利申请第1999-50596中公开的色温转换方法中的估测参考色值和目标参考色值，可以执行按照本发明的色温转换方法。
如果色温描述格式被设置为将输入的图像时分为相同场景或具有均匀色温的场景，则在步骤S265，色温转换器32按照输入的用户偏爱色温来转换在时分部分中的所有帧的估测代表色温。在时分部分中的帧的色温转换的方法与每个帧的色温转换方法相同。
在步骤S270，在具有转换的色温的每个时分部分中的可视内容被作为输出的可视内容输出到图像显示装置。
按照本发明，在将可视内容的色温转换为用户偏爱色温的过程中，在可视内容被显示在用户终端的图像显示装置中之前，可视内容的色温被估测和记录为元数据。接着，当请求在图像显示装置显示可视内容的时候，在对应的元数据中记录的估测的色温被用于色温转换。结果，可以大大减少当在图像显示装置中显示可视内容时执行色温估测过程导致的在图像显示装置中的计算负担或改善图像显示装置性能的成本。
而且，当确定和记录用户偏爱色温的时候，记录用户先前观看的每个可视内容的偏爱色温，以便将其用于用户正在观看的可视内容的色温转换。结果，可以对每个可视内容执行自适应色温转换。
本发明的色温转换方法可以实现为在计算机可读记录介质中的计算机可读代码。所述计算机可读记录介质包括所有种类的存储计算机系统可读数据的记录装置。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等以及以载波形式实现的装置(如经由因特网的传输)。而且，计算机可读记录介质可以存储和执行分布于多个计算机系统中的计算机可读代码，所述计算机系统经由网络彼此连接。
虽然已经参照本发明的优选实施例具体示出和说明了本发明，本领域的技术人员会明白，在不脱离所附的权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。因此必须在说明性的范围而不是限定性的范围中考虑所述的实施例。必须通过所附的权利要求而不是上述的实施例来限定本发明的范围，并且在于本发明的范围相当的范围中的所有差别必须被看作包括在本发明中。
权利要求
1.一种用于将可视内容的色温转换为用户偏爱的色温的系统，所述系统包括图像色温记录单元，按照一个色温描述格式来在时间上划分可视内容，估测时分部分的色温和将所估测的色温记录为第一元数据；用户偏爱色温管理单元，确定时分部分的用户偏爱色温，将用户的偏爱色温记录为第二元数据，并输出用户偏爱的色温；色温调整单元，根据第二元数据的用户偏爱色温来转换所估测的第一元数据色温。
2.按照权利要求1的系统，其中图像色温记录单元包括色温估测器，按照一个色温描述格式时分可视内容，并估测时分部分的代表色温；元数据发生器，按照预定的格式记录可视内容的时分部分信息和从色温估测器接收的时分部分的估测色温。
3.按照权利要求2的系统，其中色温估测器测量可视内容的时分部分中的预定数量帧的色温，并估测所测量的色温的平均值作为每个时分部分的代表色温。
4.按照权利要求2的系统，其中按照色温描述格式将可视内容时分为可视内容的帧、由多个表示相同场景的暂时连续帧构成的相同场景或在可视内容的预定范围中具有均匀色温的多个帧构成的均匀色温场景。
5.按照权利要求1的系统，其中用户偏爱色温管理单元包括数据库，其中记录了由时分部分的估测色温和用户偏爱色温构成的色温对以及可视内容的标识，用户偏爱色温管理单元通过使用从数据库提取的色温对和标识来确定时分部分的用户偏爱色温，记录用户偏爱色温作为第二元数据，并输出第二元数据。
6.按照权利要求5的系统，其中用户偏爱色温管理单元通过下列方法之一来确定用户偏爱色温通过从用户接收偏爱色温来确定偏爱色温的方法，从色温调整单元接收可视内容的标识、从数据库提取具有作为可视内容的标识的属于同一类别的标识的可视内容的用户选择的偏爱色温和将用户选择的偏爱色温确定作为可视内容的偏爱色温的方法，从色温调整单元接收可视内容的时分部分的估测色温和将具有与可视内容的估测色温类似的估测色温的、记录在数据库中的色温对的一个色温对的偏爱色温确定作为可视内容的偏爱色温的方法。
7.按照权利要求5的系统，其中图像色温记录单元包括色温估测器，按照一个色温描述格式时分可视内容，并估测时分部分的代表色温；元数据发生器，记录可视内容的时分部分信息和从色温估测器接收的时分部分的估测色温来作为第一元数据。
8.按照权利要求1的系统，其中色温调整单元包括元数据分析器，它分析第一元数据以向用户偏爱色温管理单元输出可视内容的时分部分信息和时分部分的估测色温，并分析第二元数据以输出时分部分的用户偏爱色温；色温转换器，它接收可视内容，从元数据分析器接收时分部分信息、时分部分的估测色温和时分部分的偏爱色温，并根据用户偏爱色温来转换可视内容的时分部分的估测色温。
9.按照权利要求1的系统，其中按照色温描述格式将可视内容时分为可视内容的帧、由多个表示相同场景的暂时连续帧构成的相同场景或在可视内容的预定范围中具有均匀色温的多个帧构成的均匀色温场景。
10.一种用于将可视内容的色温转换为用户偏爱的色温的方法，所述方法包括(a)按照一个色温描述格式来在时间上划分可视内容，并估测时分部分的色温；(b)将所估测的色温和关于时分部分的信息记录为第一元数据；(c)分析第一元数据，根据所分析的估测色温和关于时分部分的信息来确定时分部分的用户偏爱色温，将时分部分的用户偏爱色温和关于时分部分的信息记录为第二元数据；(d)分析第二元数据，并根据时分部分的用户偏爱色温来转换可视内容的时分部分的估测色温。
11.按照权利要求10的方法，其中步骤(c)包括在数据库中记录由时分部分的估测色温和用户偏爱色温构成的色温对以及可视内容的标识。
12.按照权利要求10的方法，其中在步骤(a)中，将可视内容时分为可视内容的帧、由多个表示相同场景的暂时连续帧构成的相同场景或在可视内容的预定范围中具有均匀色温的多个帧构成的均匀色温场景
13.按照权利要求10的方法，其中在步骤(a)中，估测在可视内容的时分部分中的预定数量帧的色温，并估测所估测的色温的平均值来作为每个时分部分的代表色温。
14.按照权利要求10的方法，其中在步骤(c)中，通过下列方法之一来确定用户偏爱色温通过从用户接收偏爱色温来确定偏爱色温的方法，从色温调整单元接收可视内容的标识、从数据库提取具有作为可视内容的标识的属于同一类别的标识的可视内容的用户选择的偏爱色温和将用户选择的偏爱色温确定作为可视内容的偏爱色温的方法，从色温调整单元接收可视内容的时分部分的估测色温和将具有与可视内容的估测色温类似的估测色温的、记录在数据库中的色温对的一个色温对的偏爱色温确定作为可视内容的偏爱色温的方法。
15.一种记录介质，在其上将权利要求10-14之一的方法记录为可以在计算机中执行的程序代码。
全文摘要
本发明提供了用于利用可视内容的元数据将可视内容的色温转换为用户偏爱的色温的一种系统和一种方法。所述系统包括一个图像色温记录单元、一个用户偏爱色温管理单元和一个色温调整单元。图像色温记录单元按照一个色温描述格式来在时间上划分可视内容、估测时分部分的色温和将所估测的色温记录为第一元数据。用户偏爱色温管理单元确定时分部分的用户偏爱色温，将用户的偏爱色温记录为第二元数据，并输出用户偏爱的色温。色温调整单元根据第二元数据的用户偏爱色温来转换所估测的第一元数据色温。
文档编号H04N9/73GK1454010SQ0310632
公开日2003年11月5日 申请日期2003年2月24日 优先权日2002年4月25日
发明者许永植, 朴斗植, 俞基源, 金相均 申请人:三星电子株式会社