专利名称：图像处理方法和移动通信终端的制作方法
技术领域：
本发明涉及图像处理方法和配备有诸如PDP (等离子显示面板)或OLED (有机发光二极管)面板的显示模块的移动通信终端。
背景技术：
众所周知，在诸如PDP和OLED面板的自发光显示面板中，功率消耗根据所显示的场景而改变，并且有通过才艮据所显示的场景控制峰值亮度而降低电功率消耗的方法。例如，曰本专利申请公开号No.2007-147868(Tada等人)公开了调整基本峰值亮度值，以致对于每个基本周期，电功率消耗保持在预定的电能消耗之下。具体地，对于每个图像帧，根据图像帧的平均M获取峰值亮度比，并通过将基本峰值亮度值与峰值亮度比相乘来计算标准峰值亮度值。此后，对于每个基本周期，如果通过将平均灰度值与标准峰值亮度值相乘而计算的电功率消耗超过预定的电能消耗，则调整标准峰值亮度。
日本专利申请公开号No.2004-266755 ( Fujishima )公开了基于根据两个连续帧的平均亮度信号计算的索引值而获取修正强度，并根据该修正强
度获得y修正函数。此后，根据Y修正函数执行亮度修正。
然而，本发明的发明人认识到这些公开文件在修正亮度信号时，都没
有考虑色彩，因此，亮度不自然地变化。特别是，JP2004-266755( Fujishima )没有记载有关电功率消耗的内容。
发明内容
本发明的示意性实施例提供了一种图^(象处理方法，其能够减少功率消耗而无需降低在亮度方面的图像质量。
一种图像处理方法，包括对于图像帧的每个像素，接收包括亮度信 号和色度信号的图像数据；根据所述色度信号计算饱和度值；通过查询权 重系数存储器，获取与所述饱和度值对应的权重系数；对于所述每个像素， 通过将所述亮度信号与所述权重系数相乘来计算第一值；累计所述每个像 素的所述第一值；通过将所累计的第一值除以在所述图像帧中包含的像素 的数量来计算图像电平值；通过查询增益存储器，获取与所述图像电平值 对应的峰值亮度；以及根据所获取的峰值亮度，转换在所述图像数据中包 括的所述亮度信号。
说明书所包括并构成其一部分的附图示出了本发明的示意性实施例， 并且与上面所给出的总，述和在下面给出的示意性实施例的详细说明一 起用于解释本发明的原理。在附图中
图l是示出本发明的实施例的蜂窝电话的配置的框图； 图2是示出由图1所示的蜂窝电话执行的图像处理功能的配置的框图； 图3A和3B是用于说明被图2所示的权重计算功能查询的权重LUT (查找表)的特性的图4A和4B是用于说明被权重计算功能查询的权重LUT的另一个特 性的图5是用于说明净支增益计算功能查询的LUT的特性的图； 图6是用于说明图2所示的图像处理功能的操作的流程图。
具体实施例方式
下面参照附图描述本发明的示意性实施例。
图1示出蜂窝电话10的示意性配置，该蜂窝电话10配备有根据本实 施例的图像处理装置。蜂窝电话IO包括控制单元l，其控制蜂窝电话IO 的各种类型的操作；图像生成单元2，其对被编码的移动图像数据进行解码；数字地面广播接收单元3，其经由天线4接收包含在由控制单元1标 识的信道中的广播信号，并通过解调所接收的广播信号来提取TS(传输流) 分组；无线单元5，其通过解调经由天线7从基站接收的无线信号来获取 基带信号；信号处理单元6，其通过根据CDMA方法对基带信号解码来获 取语音信号、控制信号和数据信号，并且还对将要经由天线7传输的语音 信号、控制信号和数据信号进行编码；麦克风8，其捕捉语音；扬声器9， 其输出来自信号处理单元6的语音信号；以及显示控制单元20，其控制显 示面板30，以致在显示面板30上显示图像信号。
蜂窝电话IO中的图像处理装置对应于图1中的图像处理功能IOO，其 是控制单元l的一部分，因为在该实施例中的控制单元l中，图^(象处理的 主要功能由硬件和软件的组合(例如固件)实现。
图2是示出由图像处理功能100执行的详细处理的功能性框图。
作为人类视觉特性，有一种著名的特性，称为赫尔姆霍-科尔劳奇 (Hdmholtz-Kohlrausch)效应。该特性表明即使亮度没有变化，当在图 像中饱和度增加时，也感觉到图像更加明亮。即，人们感觉到彩色图像比 非彩色图像更加明亮，即使这两种图像具有相同的亮度级别。
因此，在该实施例中，当APL (平均图像电平)值表明图像帧是彩色 的时候，控制该图像帧的可允许亮度级别以不使用最高的亮度级别内的给 定数量的亮度级别。在这种情况下，由于使用相对较低的亮度级别，因此 可以减少功率消耗；然而，由于图像是彩色的，因此，人们仍然感觉该图 像具有足够的亮度。另一方面，当APL值表明图像帧是非彩色的时候，最 高的亮度级别或几乎是最高的亮度级别被用于显示该单色图像帧，以致人 们仍然感觉该图像帧足够明亮
图像处理功能100包括APL计算功能110、权重计算功能120、峰值 亮度计算功能130、增益计算功能140和图^f象修正功能150。
图像生成单元2对被编码的比特流，诸如视频基本流，进行解码，其 中该比特流在位于数字地面广播接收单元3和图像生成单元2之间的多路 复用流解复用器(未示出)处从包含在TS (传输流)分组中的多路复用流
8中被解复用；并且生成亮度信号Y以及色度信号U和v作为图像帧的每 个叶象素的图像数据。多路复用流可以是包含在从服务器下载的数据文件中 的流。
APL计算功能110经由权重计算功能120，查询由权重计算功能120 管理的存储区域中的权重查找表(LUT) 121，并根据从图像生成单元输出 的色度信号U和V来获取权重系数。此后，APL计算功能110用所提取 的权重系数对亮度信号Y进行加权，并计算图像帧的APL值。
权重LUT 121例如是存储色度信号(U和V)与对应的权重系数W(U， V)之间的关系的表。即，该表示出了色相与饱和度之间的关系。在该实施 例中，为了不降低图像质量，当色度信号指示对亮度变化更多灵敏度时， 权重系数就降低。例如，当显示非彩色图像帧时，当亮度级别变得更低时， 所显示的图像帧的所感知的亮度变得更暗；因此，更小的权重系数被分配 给非彩色图像帧。
为此，APL计算功能110通过加权，减少根据由相对非彩色的像素组 成的非彩色图像帧而计算的APL值比减少根据由相对彩色的像素组成的 彩色图像帧而计算的APL值更多。
以下说明如何设置权重系数W(U， V)。
图3A示出色度信号(U和V)的值与饱和度之间的关系，四个箭头 指示饱和度的增加量。因此，在这个例子中，随着饱和度增加并走向坐标 中心，权重系数选取更大的值。
具体地，权重系数W(U，V)根据下面的等式Ws(U，V)计算。 饱和度=squr ( u2+v2 ) if)饱和度〈THs Ws(u， v)-a(饱和度)+b else)
Ws(u， v)=l THS =64
其中，a是斜率，b是完全非彩色色彩的权重系数，THs是阚值。
9即，如图3B所示，当饱和度小于阈值THs时，等式Ws(u， v)线性地 变化。并且，当饱和度大于或等于阈值THs时，等式Ws(u， v)是l (固定 值)。然而，等式Ws(u, v)并不局限于上述特性。等式Ws(u， v)可以用高 斯方程表示。另外，等式Ws(u， v)可以通过设置至少两个阈值而包括多个 断点。
如上所述，通过根据饱和度将权重特征设置在权重LUT 121中，由 APL计算功能计算的彩色图像帧(例如运动图像的帧)的APL值比非彩 色图像帧的APL值相对变得更大。因此，对于彩色图像帧，峰值亮度Y-peak (最大亮度级别)变得较低，从而降低了功率消耗。
根据赫尔姆霍-科尔劳奇效应，还已知根据色相改变所感知的亮度。例 如，对于黄颜色，即使饱和度变化，亮度也是单一的。然而，对于诸如蓝 色或紫色的短波长颜色的色相，或者诸如红色的长波长颜色的色相，当饱 和度增加时，所感知的亮度也增加；因此，如图4A所示，权重LUT 121
可以存储在亮度上的权重系数随着色相e趋于黄色而降低的权重特征。图
4A中的两个箭头表示权重级别的增加方向。
具体地，权重系数W(U, V)根据下面的等式We(u， v)计算。 <formula>formula see original document page 10</formula>其中，C和d是常数值，Tl是圓周率。
即，如图4B所示，权重特征被设置在权重LUT 121中。同样，在这 种情况下，权重等式We(u，v)也不局限于用如图4B所示的多边形线表示， 而是还可以用高斯方程表示。
另外，权重特征可以通过结合两个权重特征来表示。例如，由下面的 权重等式W(u， v)定义的权重特征可以被设置在权重LUT 121中。 <formula>formula see original document page 10</formula>现在返回到有关图2的说明，如上所述，说明了权重计算功能120管 理存储区域中的权重LUT121;然而，除了权重LUT121夕卜，权重计算功 能120可以基于才艮据权重LUT 121模拟的等式，计算权重系数。然后，APL 计算功能110通过用根据存储区域中的等式计算的权重系数对亮度信号加 权来计算APL值。
峰值亮度计算功能130经由增益计算功能140,查询由增益计算功能 140管理的存储区域中的增益查找表(LUT) 141，并确定与从APL计算 功能UO接收的APL对应的峰值亮度。因此，峰值亮度计算功能130确定 适合于显示图像帧的峰值亮度。
增益LUT 141是定义APL值与增益之间的关系的表，并具有如图5 所示的随着APL值增加而增益降低的特征。在图5中，增益LUT 141用 线性函数的组合表示；然而，增益LUT141可用高斯函数表示，也可以根 据模拟函数通过操作实现。
图2的图像修正功能150根据由峰值亮度计算功能130计算的峰值亮 度，生成亮度信号的修正值，根据所生成的修正值修正图像数据的亮度信 号Y,并输出修正后的亮度信号Y，以及色度信号(U和V)。
显示控制单元20从图像修正功能150接收修正后的亮度信号Y，和色 度信号(U和V)的图像数据，并根据修正后的亮度信号Y，和色度信号(U 和V)，控制诸如OLED面板或PDP的自发光显示面板，以在显示面板 30上显示诸如静态图像或移动图像的图像。
接下来说明由具有上述功能的图像处理装置执行的处理。
图6是示出由图像处理装置执行的处理的流程图，其中，由图像生成 单元2获得的图^象数据如上所述地被修正，图像处理装置在帧到帧的基础 上执行处理。
参照图6说明该处理。
在步骤6a， APL计算功能110首先初始化apl和N，其中apl是将在 后面的处理中使用的变量，N是指示在一个图像帧中包含的像素的数量(一 行上的像素的数量乘以一列上的像素的数量)的变量，并前进到步骤6b。在这种情况下，将0设置给变量apl，作为初始值。
在步骤6b， APL计算功能110首先选择将被处理的图像帧上由坐标(x, y)指定的一个像素。相同的像素不会被APL计算功能110从一个图像帧中 选择两次。然后，APL计算功能110经由权重计算功能120，获取与根据 所选择的坐标(x， y)上的像素计算的色度信号U(x， y)和V(x， y)对应的权重 系数W(U(x， y)， V(x， y))，并将与坐标(x， y)对应的亮度信号Y乘以所获取 的权重系数。随后，APL计算功能120将乘法的结果加到变量apl上，处 理进行到步骤6c。
在步骤6c, APL计算功能120检查包含在将被处理的图像帧中的所有 像素的所有乘法是否都已经被计算。如果所有像素的乘法都已经被执行， 步骤6c中的"是"，则处理进行到步骤6d，否则，步骤6c中的"否，，， 则处理返回到步骤6b，并对剩余的像素执行计算。
在步骤6d， APL计算功能120通过将在步骤6b和6c中计算的变量 apl除以变量N(N表示像素的总数)，计算APL值，处理进行到步骤6e。 这样，将净皮处理的帧的APL值被确定。
在步骤6e， >%值亮度计算功能130经由增益计算功能140,查询由增 益计算功能140管理的增益LUT 141，并获取与在步骤6d中计算的APL 值对应的增益值GainLUTAPLj。当获得GainLUTAPLl时，峰值亮度计 算功能130通过将显示面板30的最大亮度级别与所获得的增益值 GainLUTAPL相乘而确定峰值亮度Ypeak,处理进行到步骤6f。例如，当 显示面板30的亮度用8比特信号表示时，亮度可以用256个级别表示。在 这种情况下，如果所获取的增益值GainLUT[APL]是0.9，则峰值亮度Ypeak 是229。因此，亮度级别0 (最低亮度级别)到229 (最高亮度级别)被用 于显示对应的帧。图5中的最大增益和最小增益才艮据0<最小增益<最大增 益<1的标准定义。
，当将被处理的图像帧的适当的峰值亮度被确定时，图像修正功 能150根据亮度信号的可再现范围和峰值亮度Ypeak，生成修正查找表 (LUT)。在这种情况下，在该实施例中，由于亮度信号仍然用8比特表示，因此，亮度信号的可再现范围被假定为256个级别。
在步骤6f，图像修正功能150初始化在控制单元1中用于标识亮度信 号Y的计数器值y。
如上所述，具有高APL级别的帧的峰值亮度Ypeak比具有低APL值的 帧的峰值亮度Ypeak被减少更大的量，而具有较小APL值的图像帧用显示 面板30的可再现峰值亮度Ypeak显示在显示面板30上。另一方面，具有较 大APL值的图像帧用比显示面板30的可再现峰值亮度低的峰值亮度Y,k
显示在显示面板30上。
在步骤6g，图像修正功能150根据在步骤6e中计算的峰值亮度Ypeak， 生成亮度信号的修正查找表(LUT) 151，在可再现亮度范围内Y = 0到 Y=255。修正LUT 151定义了可再现亮度范围内每个亮度信号Y与转换后 的亮度信号Y-LUT[y之间的关系。首先，图傳JI"正功能150从计数器中读 取计数器值y-0，并计算与0对应的Y-LUT0]。然后，图像修正功能150 将计数器值y增加1。接着，图像修正功能150从计数器中读取计数器值 y=l，并计算与l对应的Y-LUT1。步骤6g中的过程持续到在步骤6h中 图像修正功能150检测到计数器值y超过255。例如，如果峰值亮度Ypeak 是229，如上所述，则Y-LUT[O]通过(229/255) *0计算，Y-LUT[O]对应 于0; Y-LUT[1通过(229/255) *1计算，由于四舍五入，Y-LUT[1]对应 于0; Y-LUT1255通过(229/255) *255计算，Y-LUT1255]对应于229。
因此，包括可再现范围内的亮度信号Y ( 0到255 )与转换后的亮度信 号Y-LUT[O]到Y-LUT[2551之间的关系的修正LUT 151完成。
即，修正后的亮度信号Y-LUTM是通过将亮度的灰度减少峰值亮度 Ypeak与255 (最大亮度级别)的比率而获得的值。然而，并不局限于用上 述方法获得修正后的亮度信号Y-LUTy。亮度可以鉴于显示面板30的反 向Y特性而在显示面板30的实际亮度中减小，或者可以通过控制RGB信 号的Y特征而不是亮度信号来减小。
在步骤6i，图像修正功能150选择将要处理的图像帧中的一个像素。 在由步骤6i和6j組成的循环处理中，相同的像素不会从一个图像帧中被
13选择两次。
图像修正功能150从修正LUT 151中提取与由坐标(x， y)指定的亮 度信号Y(x， y)对应的修正后的亮度信号Y-LUT[Y(x， y))，接着，输出修 正后的亮度信号Y-LUTY(x， y))作为与坐标(x， y)对应的亮度信号Y，(x， y)，处理进行到步骤6j。因此，亮度信号Y(x，y)被转换为修正后的亮度信 号Y-LUTY(x， y)。同样，图像修正功能150向显示控制单元20输出亮度 信号U(x， y)和V(x， y)以及亮度信号Y，(x， y)。
在步骤6j，图像修正功能150检查包含在将被处理的图像帧中的所有 像素是否都根据步骤6i所指定的处理而被处理了 。如果帧中的所有像素都 被处理了，步骤6j中的"是，，，则处理结束；然而，如果有至少一个像素 没有净皮处理，步骤6j中的"否，，，则处理返回到步骤6i，执行由步骤6i 指定的处理，直到所有的像素都净皮处理。
如上所述，在图像处理功能100中，首先对于图像帧中包含的所有像 素，通过将亮度信号乘以与色度信号对应的权重系数而获得值，然后，根 据该值计算平均值，最后，根据该平均值确定峰值亮度。随后，根据峰值 亮度修正亮度信号。
因此，由于亮度信号被图像处理功能100在帧到帧的基础上考虑到色 度信号而进行了修正，因此，自发光显示面板的电功率消耗可以根据所显 示的场景而减少，无需降低亮度。
简而言之，本发明并不限于上述实施例，并且组成单元可以在本发明 的精神和范围内在执行阶段进行各种修改和体现。通过适当地组合在上面 实施例中/>开的多个組成单元，可以形成各种发明。例如，在每个实施例 中，可以从所有的组成单元中省略若干组成单元。另外，不同实施例的组 成单元可以根据需要进行组合。
显然，本发明的多种修改和变化在上述教导下是可能的。因此，应当 知道，在后附的片又利要求的范围内，本发明可以不同于在此所具体描述的 来实施。
1权利要求
1.一种包括多个像素的图像帧的图像处理方法，其特征在于，包括对于图像帧的每个像素，接收包括亮度信号和色度信号的图像数据；根据所述色度信号计算饱和度值；通过查询权重系数存储器，获取与所述饱和度值对应的权重系数；对于所述每个像素，通过将所述亮度信号与所述权重系数相乘来计算第一值；累计所述每个像素的所述第一值；通过将所累计的第一值除以在所述图像帧中包含的像素的数量来计算所述图像帧的图像电平值；通过查询增益存储器，获取与所述图像电平值对应的峰值亮度；以及根据所获得的峰值亮度，转换在所述图像数据中包括的所述亮度信号。
2. 根据权利要求l所述的方法，其特征在于，所述饱和度值通过计算所述色度信号的平方根来获得。
3. 根据权利要求1所述的方法，其特征在于，还包括才艮据所述峰值亮度生成转换表，以减小所述亮度信号的可再现范围；所述转换通过查询所述转换表而将所述亮度信号转换为转换后的亮度信号。
4. 根据权利要求3所述的方法，其特征在于，所述生成通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘而计算所述转换后的亮度信号，并通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表。
5. 根据权利要求l所述的方法，其特征在于，所述权重系数存储器存储所述饱和度值与所述权重系数之间的关系，以致所述权重系数随着所述第一值增加而增加。
6. —种移动通信装置，其特征在于，包括接收单元(3 )，其接收广播数据；图像生成单元(2)，其对于图像帧的每个像素，生成包括亮度信号和色度信号的图像数据；以及控制单元(1)，其控制所述移动通信装置；其中，所述控制单元(1):根据所迷色度信号计算饱和度值;通过查询权重系数存储器，获取与所述饱和度值对应的权重系数；对于所述每个像素，通过将所述亮度信号与所述权重系数相乘来计算第一值；累计所述每个像素的所述第 一值；通过将所累计的第一值除以在所述图像帧中包含的像素的数量来计算图像电平值；通过查询增益存储器，获取与所述图像电平值对应的峰值亮度；以及根据所获得的峰值亮度，转换在所述图像数据中包括的所述亮度信号。
7. 根据权利要求6所述的移动通信装置，其特征在于，所述饱和度值通过计算所述色度信号的平方根来获取。
8. 根据权利要求6所述的移动通信装置，其特征在于，所述控制单元(1)根据所述峰值亮度生成转换表，以减小所述亮度信号的可再现范围，并且通过查询所述转换表，将所迷亮度信号转换为转换后的亮度信号。
9. 根据权利要求8所述的移动通信装置，其特征在于，所述控制单元(1 )通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘来计算所述转换后的亮度信号，并通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表。
10. 根据权利要求6所述的移动通信装置，其特征在于，所述权重系数存储器存储所述饱和度值与所g重系数之间的关系，以致所迷权重系数随着所述第 一值增加而增加。
11. 一种移动通信装置，其特征在于，包括接收单元(3)，其接收广播数据；图像生成单元(2)，其对于图像帧的每个像素生成包括亮度信号和色度信号的图像数据；以及控制装置(1),其控制所述移动通信装置；其中，所述控制装置(1)包括用于根据所述色度信号计算饱和度值的装置；用于通过查询权重系数存储器而获取与所述饱和度值对应的权重系数的装置；用于对于所述每个像素，通过将所述亮度信号与所述权重系数相乘而计算第一值的装置；用于累计所述每个像素的所述第一值的装置；用于通过将所累计的第一值除以在所述图像帧中包含的像素的数量来计算图像电平值的装置；用于通过查询增益存储器而获取与所述图^f象电平值对应的峰值亮度的装置；以及用于根据所获取的峰值亮度转换在所迷图像数据中包括的亮度信号的装置。
12. 根据权利要求11所述的移动通信装置，其特征在于，所述饱和度值通过计算所迷色度信号的平方根来获取。
13. 根据权利要求11所述的移动通信装置，其特征在于，所述控制装置(1)还包括用于根据所述峰值亮度生成转换表以减小所述亮度信号的可再现范围以及通过查询所述转换表而将所述亮度信号转换为转换后的亮度信号的装置。
14. 根据权利要求13所述的移动通信装置，其特征在于，所述控制装置(1)还包括用于通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘来计算所述转换后的亮度信号以及通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表的装置。
15. 根据权利要求11所述的移动通信装置，其特征在于，所述权重系数存储器存储所述饱和度值与所*重系数之间的关系，以致所述权重系数随着所述第 一值增加而增加。
全文摘要
本发明涉及图像处理方法和移动通信终端。在图像处理方法和装置中，根据亮度信号计算APL(平均图像电平)，根据色度信号获取权重系数，在图像帧中包含多个像素，根据APL值获取峰值亮度。随后，图像帧在峰值亮度的限度内在显示面板上显示。
文档编号H04N9/77GK101646092SQ200910161000
公开日2010年2月10日 申请日期2009年8月4日 优先权日2008年8月5日
发明者森弘史 申请人:株式会社东芝