专利名称：象素级亮度调整的方法和装置的制作方法
技术领域：
本发明一般相关于通过象素级亮度调整改进照相图像，特别相关于改进数字图像质量的方法和装置。
任何得到一张图像的人都希望能够长久地保存它，能够真实地再现原来的物体或景像，或至少物体或景像的那些被认为非常重要的部分。再现的质量通过直观地用硬拷贝与原来的景像进行比较来判断。作判断时，观察者部分地对硬拷贝上的各点亮度与原景像对应点的亮度进行比较，然后对再现的质量得到一个主观的意见。精确的主观色调再现要求硬拷贝上各点的亮度与原景像中各对应点的亮度相等。然而，正如熟知本领域技术的人所知，精确的主观色调再现的获得是极为困难和不方便的，因为从打印机和从其他装置(如电子照相机、扫描仪、监视器等)得到的硬拷贝介质一般是在大大低于生成原始像片的亮度级下观看的，原始像片的原始亮度一般只有原始景像的百分之一大小。而且，大多数硬拷贝或电子介质捕捉存在于自然界中的色调范围的能力有限。然而，如果在这个介质上出现的可见图像亮度相似于原始景像的亮度，那么可以部分地得到令人满意的主观色调再现。
上述条件的满足部分取决于该景像的亮度范围与介质的色调范围适当匹配，并考虑要强调的特殊景像特性、主导性的景像亮度条件和介质再现特性。景像亮度范围与介质色调范围的匹配问题在由James RBoyack和Andrew K.Juenger1995年3月31日提交的美国专利申请No.08/414,750中已经提出，特别是一个图像被分成几块和若干块图像组合成区段的问题。对每一块确定一个平均的亮度块值，各自区段的差值由最大和最小平均亮度块值确定。如果差值超过预先确定的阈值，那么该区段标记为活动区段，平均亮度区段值从最大、最小平均亮度块值得到。该图像的所有活动区段对应平均亮度区域值以直方图绘出，然后按照一些预先确定的标准移动直方图，以便使关注的平均亮度区段值落在与目标应用的色调再现能力相对应的指定窗口。景像分析的结果是通过大幅度的亮度调整的图像亮度的整体平衡。
图像的某一区域一般仍然需要遵循景像分析后的亮度调整。这些调整突出和加强了所关注图像的特殊区域以防止细节的丢失和再现图像质量的相应降低。例如，有一块大的阴影区域与明亮区域相接的景像，要想在冲洗和显象过程中不造成黑暗和明亮的任一区域或全部区域同时在一些图像质量上的损失是非常难的。这种类型的亮度调整在1993年8月10日向Munib Wober颁发的美国专利No.5,235,434中提到过。
专利 ’434的方法包括第一次图像补偿阶段，该图像被划分成称为超象素(superpixels)的象素组，每一个超象素被各自进行处理以确定它是否是全部落在预先确定的黑暗或明亮阈值之外的超象素的一个大组(如区域)的一部分。各个超象素对位于该超象素范围内的所有象素给定一个大小值和一个平均亮度值。
在第二次图像补偿阶段，超象素各个区域的亮度调整值根据对应的SIZE(大小)和AVERAGE(平均值)确定。对于小的和中间区域，应用一个平滑函数防止沿该超象素边界出现人为制造痕迹。
在该象素级的进一步亮度调整有时是需要的，因此本发明主要把目标定在一个用于执行对一个数字图像进行象素级亮度调整的改进的系统和方法，该调整与大区域的亮度平均无关。通过下面的说明、附图和权利要求将使这个目的和其它目的变得明显。
一种用于调整在高分辨率图像中的象素亮度IMHI的方法，包括首先通过把一些象素组合成诸如象8×8块的超象素来形成一个原物的低分辨率图像。通过把该超象素的亮度与预先确定的黑暗度阈值TD和预先确定的明亮度阈值TB进行比较为各个超象素确定一个低分辨率的亮度校正值δLO。对于各个超象素通过形成超象素岛和在各个岛内的超象素间平滑δLO修改低分辨率亮度校正值δLO以产生δ′LO。最后，通过把各个象素的亮度IMHI与TD、TB比较，为原始高分辨率图像的各个象素计算出高分辨率亮度校正值δHI，注意作为象素亮度值IMHI和低分辨率亮度校正值δLO的函数，δHI是通过一系列数学运算得到的。原始图像的每一个象素通过对应的高分辨率亮度校正值δHI进行调整并产生一个亮度被调整了的图像。
图1是一个包括按照本发明用于象素级亮度调整的装置用于压缩景像数字图像数据的示意性系统方框图；图2是一个用于象素级亮度调整的发明方法的方框图概览；图3是一个图2方法块100部分的流程图，用于使具有亮度在一些预先确定的黑暗度阈值TD以下的超象素变亮；
图4是一个图2方法块100部分的流程图，用于使具有亮度在一些预先确定的明亮度阈值TB以上的超象素变暗；图5A-5E示出了对应于1～5的SIZE(i，j)值的不同大小的超象素；图6是图2方法块200的流程图；图7A是一个图像中SIZE(i，j)值的表示；图7B是一个图像DOMAIN(i，j)值的表示；图8是图2方法块300的流程图；图9是当高分辨率象素亮度IMHI(m，n)高于黑暗度阈值TD、低于明亮度阈值TB时，出现在块330内的步骤流程图；图10是块360内用于设定高分辨率象素的AVGB和AVGD级的步骤流程图；图11是当象素亮度IMHI(m，n)低于黑暗度阈值TD时，块340内使高分辨率象素变亮步骤的流程图；图12是当象素亮度IMHI(m，n)大于明亮度阈值TB时，块340内使高分辨率象素变暗步骤的流程图。
1、象素级亮度调整的系统图1示出了一个用于捕捉图像12、压缩和存储用于以后显示的图像和对已存储的图像解压缩并显示同一内容的系统10的优选实施例。该实例中，图像12包括一棵被周围光线(箭头16所示)照亮并投射如图所示的阴影18于地上的树14，物体20被置于阴影18内。图示图像12有一个大的动态范围。如果物体20部分或完全在阴影18内，要是没有本发明的话，正常情况下会丢掉一些信息。可以理解，物体20可以处在明亮区域(未示出)，本发明的原理可以同等地应用于处理随后将描述的物体可见性。
图像12由一个诸如CCD摄像机22的输入装置进行捕捉，并由图像处理装置或压缩级24进行处理。摄像机22可以直接连接到产生数字图像信号的压缩级24中的一个模数转换器26上，存储装置28接收和存储该数据，中央处理器30同步图像信号到达存储装置28并控制其它装置的动作。
存储的图像数据被馈入一个离散的余弦变换或DCT32，使这些数字信息变换成一系列系数。随后，被变换的数据耦合到一个人类可视矩阵滤波器34，去除一些被认为对好的图像质量相对不重要的高频系数。例如，一些高频彩色信息由于不易被人眼察觉而被过滤掉，这样信息可以得到简化用于随后的处理。被变换和滤掉的数字数据随后在量化器36中进行量化，在离散可用级的给定范围内建立数字数据的所选择的级，然后用Huffman编码器38对该量化数据进行编码，用已知的编码技术对该量化数据进行压缩。不言而喻，如果需要，可以使用除Huffman编码以外的编码算法，被编码信息可随后存储在一个比如静态RAM(SRAM)40的存储装置中。
在以后的一些时间里如果需要，可以通过任一便利的传送链路43把SRAM40中的信息馈入一个图像处理装置或解压缩级42，这里有一个Huffman解码装置44对数据进行解码，然后将之耦合到一个反向量化器46。根据本发明，存储在存储装置48中的数据被耦合到图像补偿级50，按照本发明的方法对数据进行电子处理，以便对在阴影18内的图像12的各个象素的亮度选择性地进行调整，从而使图像得到强化并回收另外丢掉的信息。利用反向DCT52把被补偿的数据变换为数字数据，然后通过连接到显示器56的数模转换器54把数据变换成模拟信号，经修改后的原始图像12的版本以被强化和更清晰可见的显示图像12′再现于显示器56，图像12′包括树16′、阴影18′和物体20′。压缩级42中的CPU58控制图中所示的各种装置并可以处理下面描述的数据。
示于图1中的全部系统10的总体描述使用了旨在减少计算数量因而加速选择性调整图像12的处理速度的处理技术。在图像补偿级50，用DCT32对象素的每一块进行变换，以便信息具有系列系数的形式。根据本发明使用的技术，DCT域中各象素块的第一系数称作DC(直流)值并代表一个象素的近似亮度级，当数据被解压缩时，它可以同样地以相似的格式进行存储。如果DC值位于由黑暗度阈值TD和明亮度阈值TB定义的可接受的一个亮度级之内的话，不对象素块的亮度级作修改。在某些情况下，如果DC值位于一个可接受亮度级之外的话，那么对该象素进行修改以产生亮度信息。按照本发明，使用一种算法或过程来修改或选择性地改变DC值(即亮度值)，修改量为存储在存储装置48中的象素各块的DCT域中的数量δLO。
不言而喻，图像补偿级50可以在压缩级24中的人类可视矩阵滤波器34和量化器36之间，或直接在A/D变换器26后方便地有选择使用，这在需要形成和传送一个被修正的图像(如TV图像)到没有图像补偿能力的多个接收器的地方特别有用，被修正的图像随后无需经过解压缩级42中的进一步图像调整就可简单地解压缩。2、象素级亮度调整的方法本发明的象素级亮度调整方法可看作由图2所示的三部分组成，第一部分100确定参数SIZE(i，j)和δLO。SIZE(i，j)是一个整数值，用以指定超象素邻域的大小，用来测试具有亮度S0(i，j)的一个特别超象素，其被考虑用于估计亮度调整所必须的数量。值IMLO(i，j)(一个超象素的低分辨率亮度)和δLO(一个超象素的低分辨率亮度修正值)分别等于在美国专利No.5,235,434中计算的值S0(i，j)和AVERAGE(i，j)。为每个超象素计算低分辨率亮度修正值δLO，然后把它使用到这个超象素范围内的各个低分辨率象素上。本发明的亮度调整方法的第二部分产生一些需要亮度调整的象素岛，同时以产生的这些岛为基础确定一个修正的低分辨率亮度修正值δ′LO。本发明的亮度调整方法的第三部分计算一个高分辨率亮度修正值δHI，并把它加到高分辨率图像IMHI的各个象素的亮度值上以产生一个被调整的高分辨率亮度图像IM′HI。
第一部分(块100)的详细步骤在图3示出，通过比较超象素亮度S0(i，j)和黑暗度阈值TD确定S1(i，j)，在图4示出通过比较超象素亮度S0(i，j)和明亮度阈值TB确定S1(i，j)。换句话说，低分辨率图像(IMLO)的各个超象素S0(i，j)必须经过图3的检测该超象素是否太暗而需要变亮和经过图4的检测该超象素是否太亮而需要变暗这两个步骤。
公式(1)对确定所关心的一个超象素的亮度级是否在一个可接受的范围内是有用的。对于包括总共X行和总共Y列的一个低分辨率图像中的第i之行，第j到(i，j，X和Y是整数)。S0(i，j)定义为所关心的超象素的亮度，其中0≤i＜X，0≤j＜Y。公式(1)中定义的S1(i，j)是一个指示该超象素的亮度S0(i，j)是否大于、等于或低于某个预先确定的亮度阈值的指示符。
S1(i，j)＝阈值-S0(i，j)(1)用在方程(1)中的第一个阈值是定义为一个给定的超象素可以接受的最小亮度的黑暗度阈值TD，用在方程(1)中的其它阈值是定义为一个给定的超象素可以接受的最大亮度的明亮度阈值TR。当任何超象素的亮度值低于黑暗度阈值TD时，给定超象素的亮度将向黑暗度阈值的TD方向提高，同样，当任何超象素的亮度值高于明亮度阈值TB时，该超象素的亮度将向明亮度阈值的TB方向降低。根据定义，S1(i，j)的值可为负、正或零。如果亮度S0(j，j)正在与黑暗度阈值TD进行比较，那么正的S1(i，j)值意味着超象素的亮度低于黑暗度闽值TD，S1(i，j)必须被提升。如果亮度S0(i，j)正在与明亮度阈值TB进行比较，那么负的S1(i，j)值意味着超象素的亮度高于明亮度阈值TB，SO(i，j)必须被降低。
图2的块100首先按照图3的步骤确定所关心的该超象素是否需要变亮，如果S1(i，j)小于或等于零，那么该超象素的亮度S0(i，j)大于或等于某个预先确定的黑暗度阈值TD，不需要对该超象素的亮度进行调整。低分辨率亮度校正值δLO和SIZE(i，j)在块132中同时设定为零，但是，如果块120中的S1(i，j)大于零，那么亮度S0(i，j)比黑暗度阈值TD低，必须使该超象素变亮，这时有必要及时确定需要变亮的程度，这一点可以通过提高超象素周围邻域的大小，亦即提高围绕该超象素周围的像素搜索半径的办法来实现，然后相对于黑暗度阈值TD分别在块122、124、126和128中检测周围的低分辨率象素的每一个。超象素的平均低分辨率亮度修正值δLO，在块134、136、138、140和130中以对所有周围的低分辨率象素亮度进行平均的方式确定。
对图5B所示的3×3组所有低分辨率象素，块122检测S1是否大于零。如果块122对图5B的任一低分辨率象为假，那么将SIZE(i，j)设定为1，则在块134把低分辨率亮度修正值δLO设定为等于S1(i，j)。如果块122对图5B的所有低分辨率象素为真，那么将在块124中对围绕低分辨率象素的一个较大组作检测。对图5C的所有25个低分辨率象素，块124检测S1是否大于零。如果对于图5C中任一个象素块124为假，那么块136将SIZE(i，j)设定为2，低分辨率量度修正值δTO等于按照公式(2)规定的3×3区域内所有低分辨率象素值的1/9。δLO(i,j)=1/9Σq=i-1q=i+1Σr=i-1r=i+1S1(i,j)-----(2)]]>如果对于图5C中的所有象素块124为真，那么将在块126对围绕低分辨率象素的一个较大组作检测。如果块126对图5D中的任一个低分辨率象素为假，则块138将SIZE(i，j)设定等于3，低分辨率亮度修正值δLO等于按照公式(3)规定的5×5区域内所有低分辨率象素的平均值。δLO(i,j)=1/25Σq=i-2q=i+2Σr=i-2r=i+2S1(i,j)-----(3)]]>如果块126对于图5D中的所有象素为真，那么将在块128对围绕在低分辨率象素的一个较大组作检测。如果块128对于图5E中的任一个低分辨率象素为假，则块140将SIZE(i，j)设定等于4，低分辨率亮度修正值δLO等于按照公式(4)规定的7×7区域内所有低分辨率象素的平均值。δLo(i,j)=1/49Σq=i-3q=i+3Σr=i-3r=i+3S1(i,j)-----(4)]]>如果块128对于图5E中的所有低分辨率象素为真，则块130将SIZE(i，j)设定为等于5，低分辨率亮度修正值δLO等于如公式(5)所示的9×9区域内所有低分辨率象素的平均值。δLO(i,j)=1/81Σq=i-4q=i+4Σr=i-4r=i+4S1(i,j)-----(5)]]>块132、134、136、138和140的输出全部送入块142，产生一个如公式(6)中给出的平滑函数。SMOOTH(k)=(k-1)/4,-----(6)]]>其中0≤k≤5然后按照平滑函数调整亮度S0(i，j)，以使S0(i，j)＝S0(i，j)+{SMOOTH(k)*δLO(i，j)}。
在确定超象素是否太暗而需要变亮后(如上面结合图3的表述)，必须确定该超象素是否太亮而需要变暗，这可按照图4的流程图来完成。在块150中，如果S1(i，j)大于或等于零，那么超象素亮度S0(i，j)小于或等于某个预先确定的明亮度阈值TB，不需要对这个超象素进行亮度调整。低分辨率亮度修正值δLO和SIZE(i，j)在块162中被同时设定为零。但是，如果在块150S1(i，j)小于零，那么亮度S0(i，j)大于明亮度闽值TB，超象素必须变暗。这时有必要确定该超象素需要变暗的程度，这一点可以通过增大围绕该超象素周围的象素的搜索半径以提高超象素周围邻域大小的方法完成，然后相对于明亮度阈值TB分别在块152、154、156和158检测围绕的低分辨率象素的每一个。对于该超象素的平均低分辨率亮度修正值δLO，在块164、166、168、170和160中以对该超象素的所有低分辨率象素的亮度进行平均的方式确定。
对图5B示出的3×3组的所有低分辨率象素，块152检测S1是否小于零。如果块152对这些象素的任何一个为假，那么将SIZE(i，j)设定为-1，低分辨率亮度修正值δLO在块164设定等于S1(i，j)。如果块152对图5B中的所有低分辨率象素为真，那么将在块154对围绕低分辨率象素的一个更大的组进行检测。块154对图5C示出的所有25个低分辨率象素检测51是否小于零。如果块154对图5C的任何一个低分辨率象素为假，那么块166将SIZE(i，j)设定为-2，低分辨率亮度修正值δLO设定为按照方式(2)规定的3×3区域内所有低分辨率象素值的1/9。
如果块154对图5C中的所有低分辨率象素为真，那么将在块156中对围绕低分辨率象素的一个更大的组进行检测。如果块156对图5D中的任何一个低分辨率象素为假，那么块168将把SIZE(i，j)设定为-3，低分辨率亮度修正值δLO设定为按照方式(3)在5×5区域内所有低分辨率象素的平均值。如果块156对图5D中的所有象素为真，那么在块158中对围绕低分辨率象素的一个更大组进行检测。如果块158对图5E的任何一个低分辨率象素为假，那么块170把SIZE(i，j)设定等于-4，低分辨率亮度修正值δLO设定为按照方式(4)在7×7区域内所有低分辨率象素的平均值。如果块158对图5E的所有象素为真，那么块160将SIZE(i，j)设定为-5，低分辨率亮度修正值δLO设定为按照方程(5)规定的9×9区域内所有低分辨率象素的平均值。
将块162、164、166、168和170的输出全部送入块172，产生一个如公式(6)中所给出的平滑函数，然后在块172中调整亮度S0(i，j)以使S0(i，j)＝S0(i，j)+SMOOTH(k)*δLO(i，j)。
本发明的亮度调整方法的第二部分200(示于图6)在所有需要亮度调整的邻近区域产生一些岛，同时确定一个修正的低分辨率亮度修正值δ′LO。首先，在块202对每一区域的SIZE(i，j)二进制化，亦即给DOMAIN(i，j)一个值0或1，按照以下规则如果SIZE(i，j)＝0，则将DOMAIN(i，j)设定等于0；否则，如果SIZE(i，j)≠0，则设定DOMAIN(i，j)等于1，换句话说，在需要亮度修正的超象素位置处，DOMAIN(i，j)设定为1，图7A和7B示出了一个这样的例子。图7A示出了一个图像内用于超象素的SIZE值，图7B示出了用于这些超象素的对应DOMAIN值。例如，图7A示出了对于区域704一个元素的值SIZE＝-3。根据上述规则，由于SIZE≠0，所以图7B块704中的对应元素值DOMAIN＝1。图7A中区域704的其它元素有一个值SIZE＝-2，按照上述规则，SIZE≠0，图7B块704中的对应元素值DOMAIN＝1。图7A各个超象素的SIZE的二进制结果在图7B中以超象素DOMAIN值的形式示出。
块208产生DOMAIN(i，j)＝1相邻区域的岛并给其编号(即标号)。如果岛内所有元素与岛内一个或多个其它元素相连，则认为这些超象素的集合形成一个岛。图7B示出了一个带有三个岛的例子，其中每一个岛被标上了一个号码(本例是702、704和706)。图7B中的ISLANDNUM706是一个具有四个相邻元素或超象素的岛；ISLANDNUM704是一个具有二个相邻超象素的岛；ISLANDNUM702是一个具有一个超象素的岛。
在产生和对各个岛作标号后，块210产生两个标记为ISLANDSIZE和AVGISL的参数，对于每个岛计算ISLANDSIZE，定义为给定岛内的SIZE(i，j)的最大值。
(ISLANDNUM的)ISLANDSIZE＝max SIZE(i，j) (7)其中(i，j)∈ISLANDNUM。例如，如果图7A中的ISLANDNUM706的四个元素有所示的SIZE值1、3、2和2，那么对ISLANDNUM706来说ISLANDSIZE＝3。值AVGISL是对各个分离的岛进行计算的，被定义为用岛内元素数除各个岛的低分辨率亮度修正值δLO的总和，对每个ISLANDNUM的数学表示为AVGISL=1NΣ(i,j)δLO(i,j)-----(8)]]>其中(i，j)∈ISLANDNUM。
块212中，利用在图像的相邻区域间提供平滑亮度过渡的一个平滑函数来产生修正的低分辨率亮度校正值δ′LO，公式(9)中示出了一个这样的平滑函数。
SMOOTH(ISLANDSIZE)＝{ISLANDSIZE-1}R(9)其中R是一个小于1的有理数。因此，各个区域的修正的低分辨率亮度校正值δ′LO定义为δ′LO＝SMOOTH(ISLANDSIZE)*AVGISL(10)本发明的亮度调整方法的第三部分300(图8中详细示出)计算一个要加到对应高分辨率图像IMHI的各个象素的亮度IMHI(m，n)上的高分辨率亮度校正值δHI，并依次产生一个高分辨率亮度调整图像IM'HI，其中0≤m＜XDIM，0≤N＜YDIM。常数XDIM、YDIM、TD、TB、SLOPEB和SLOPED在块320中被初始化。XDIM值是图象中高分辨率象素行的总数，YDIM值是图象中高分辨率象素列的总数，TD是预先确定的黑暗度阈值，TB是预先确定的明亮度阈值，SLOPEB与亮度大于TB的一个亮象素和一个相邻象素之间的过渡或平滑有关，SLOPED与亮度小于TR的一个暗象素和一个相邻象素之间的过渡或平滑有关。
高分辨率图像的各个象素将在块300中通过块332和322之间的循环进行检测，变量m和n在每次通过此循环后在块322或332中递增直到满足块332的条件，此时图象内所有象素已被检测，过程前进到到块340。
如果经判定块324检测的位置(m，n)的象素在一个SIZE＝0的区域内，那么该象素的亮度IMHI(m，n)同时大于或等于黑暗度阈值TD和小于或等于明亮度阈值TB。随后的过程在块330中继续。但是，如果在块324中SIZE≠0，那么块326检测是否SIZE＞0，如果块326为真，表明给定的高分辨率象素的亮度IMHI(m，n)太低(即低于黑暗度阈值TD)，该高分辨率象素将被在块340中变亮。如果块326为假，那么SIZE＜0，表明给定的高分辨率象素的亮度IMHI(m，n)太高(即高于明亮度阈值TB)，该象素将被在块350中变暗。一旦高分辨率图像IMHI的每一个象素经过如上所述的处理，那么在块328中就可重新构造出完整的图像，当然包括所有合适的修正值δHI。
图9是当一个高分辨率象素的亮度同时大于或等于黑暗度阈值TD和小于或等于明亮度阈值TB时，块330中有关步骤的详细流程图。块360把AVGB和AVGD同时设定为零，并在高分辨率图像IMHI{XDIM，YDIM}的每一个象素的特定邻域内循环。AVGD是一个指示被检测象素处在SIZE＝0和SIZE＝I之间过渡区域的变量，AVGB是一个指示被检测象素处在SIZE＝0和SIZE＝-1之间过渡区域的变量，AVGD和AVGB同时被设定为对应的δLO的非零值。块360的细节描述示于图10，其中在块361中AVGB和AVGD被首先初值化为零。判断块362确定是否在一个3×3邻域内(这里物体的高分辨率象素被置于中央部位)象素的平均亮度AVGD低于低分辨率亮度校正值δLO。如果块362为真，那么在块366中将平均亮度AVGD设定等于低分辨率校正值δLO。如果块362为假，那么判断块364确定是否在一个3×3邻域内(这里物体的高分辨率象素被置于中央部位)象素的平均亮度AVGB大于低分辨率亮度校正值δLO。如果块364为真，那么在块368中将平均亮度AVGB设定等于低分辨率校正值δLO。
一旦AVGB和AVGD在块360中被设定，则示于图9的判断块371确定是否AVGD≠0或AVGB≠0。如果块371为假，则该过程前进到块332。但是，如果块371为真，那么在块370中设定变量PD和PB。PD是有关象素和黑暗度阈值TD间亮度差的一个估计值。PB是有关象素和明亮度阈值TB间亮度差的一个估计值。块370中FK＝abs(SIZE(i，j)) (11)FK5＝(FK-5)/4(12)FK1＝(FK-1)/4(13)PD＝TD-(AVGD/SLOPED) (14)PB＝TB-(AVGB/SLOPEB) (15)变量FK、FK5、FK1、PD和PB被用于平滑连接(feathering)δLO，以保证象素间的平滑过渡。平滑连接指的是平滑组合一个图象的各部分，亦即在保证其间的平滑过渡时使图像的各个部分一体化。FK、FK1和FK5特别用于具有不同SIZE值区域内的平滑连接。
一旦在块370中PD和PB被设定，那么判断块372判定是否该象素亮度值IMHI(m，n)小于黑暗度阈值TD和小于或等于PD。如果块372为真，块376就用AVGD调整高分辨率象素亮度值IMHI(m，n)。如果块372为假，那么判断块373判定是否该高分辨率象素亮度值IMHI(m，n)同时小于黑暗度阈值TD和大于PD。如果块373为真，块377就通过修正的暗度级亮度平均值MODAVGD调整该象素亮度值IMHI(m，n)。
MODAVGD＝AVGD*((TD-IMHI(m，n))/(TD-PD))； (16)
如果决373为假，判断块374就判定是否该象素亮度值IMHI(m，n)同时大于明亮度阈值TB和大于或等于PB。如果块374为假，块378就通过平均亮度级亮度AVGB调整象素亮度值IMHI(m，n)，如果块374不为真，那么判断块375判定是否该象素亮度值IMHI(m，n)同时大于明亮度阈值TB和小于PB。如果块375为真，块379就通过修正的亮度平均值MODAVGB调整该象素亮度值IMHI(m，n)。
MODAVGB＝AVGB*((TB-IMHI(m，n))/(TB-PB)) (17)如果块375为假，那么该方法在块332中继续。
回到图8，如果任何高分辨率象素亮度值太暗(亦即低于黑暗度阈值TD)，就通过将亮度级提高δHI在块340中使象素变亮。这种操作的细节在图11的流程图中示出。块380设定FK＝abs(SIZE(H，j))、FK1＝(FK-1)/4、FK5＝(FK-5)/4和PD＝TD-(δLO/SLOPED)，所有这些变量前面都已定义。
判断块382中，如果所关心的高分辨率象素的亮度值同时小于黑暗度阈值TD和小于或等于PD，那么块386就通过把δLO加到原始亮度值上去的方法调整该亮度值。如果块382的查询为假，判断块384就检测是否亮度值同时小于黑暗度阈值TD和大于PD，如果块384为真，块387就通过把MODδLO1加到IMHI(m，n)上来调整对应象素的亮度值。
MODδLO1＝δLO*(TD+FK5*IMHI(m，n)-FK1*PD)/(TD-PD) (18)如果块384为假，那么判断块385判定是否高分辨率象素亮度同时大于或等于黑暗度阈值TD和SIZE≥1，如果块385为真，就通过把MODδLO2加到原始象素亮度上来调整高分辨率象素亮度。
MODδLO2＝δ′LO*(TD+FK5*TD-FK1*PD)/(TD-PD) (19)如果块385为假，处理在块332中继续。
如果一个高分辨率象素亮度值太亮(亦即高于明亮度闽值TB)，就通过降低其亮度级在块350使该象素变暗。这种操作的细节在图12的流程图中示出。块390设定FK＝abs(SIZE(i，j))、FK1＝(FK-1)/4、FK5＝(FK-5)/4和PB＝TB-(δLO/SLOPEB)。
判断块392判定是否高分辨率象素亮度值同时大于明亮度阈值TB和大于或等于PB。如果块392为真，那么块395就通过把δLO加到原始高分辨率象素亮度值上来调整该高分辨率象素亮度，如果块392为假，判断块393判定是否该高分辨率象素亮度同时大于明亮度阈值TB和小于PB，如果块393为假，块396就通过把修正的校正值MODδLO3加到原始象素亮度值上来调整该高分辨率象素的亮度。
MODδLO3＝δ′LO*(TB+FK5*IMHI(m，n)-FK1*PB)/(TB-PB) (20)如果块393为假，那么判断块394判定是否象素亮度小于或等于明亮度阈值TB和SIZE≤-1，如果块394为真，块397就通过把修正的校正值MODδLO4加到原始高分辨率象素亮度上来调整高分辨率象素亮度。
MODδLO4＝δ′LO*(TB+FK5*TB-FK1*PB)/(TB-PB) (21)如果块394为假，则该过程继续到块332。
注意，本发明方法的第三部分300对原始图像的各个象素计算高分辨率校正值δHI(如图2所示)，图像中的每个象素随后用δHI调整以形成一个新的亮度经调整的图像。应该理解，高分辨率校正值δHI在整个说明书和附图中以许多不同的方式进行标注。如在图9中，δHI在块376中被标为AVGD，在块377中标为MODAVGD，在块378中标为AVGB，在块379中标为MODAVGB。在图11和12中，δHI在块386和395中被标为δLO，在块387和396中标为MODδLO1，在块388和394中标为MODδLO2。
尽管已经描述了目前认为是本发明优选的实施例，但对那些熟知本领域技术的人是显而易见的，在不脱离本发明的范围内允许做各种变化和修改，在附后的权利要求中包含落入本发明的真正精神和范围内的所有这些变化和修改。
权利要求书按照条约第19条的修改1.用于调整在一个高分辨率图象中的象素亮度值IMHI的方法，包括的步骤有通过把象素组合为超象素来形成所述高分辨率图像的一个低分辨率图像；对所选择的、亮度值超过预先确定的阈值的那些超象素，通过对围绕各个所述被选择超象素的超象素的亮度值进行平均产生一个非零的低分辨率亮度校正值δLO；通过形成所述所选择的相邻超象素的岛和在各个岛内的所述所选择的相邻超象素间平滑δLO，对各个所述所选择的超象素产生一个修正的低分辨率校正值δ′LO；通过把每个所述象素的亮度值IMHI与所述预先确定的阈值进行比较并且作为IMHI和δ′LO的函数产生δHI，对于该高分辨率图像的每个象素产生一个高分辨率亮度校正值δHI，和通过把所述各个象素的亮度值IMHI与所述对应的高分辨率亮度校正值δHI组合产生一个亮度调整了的图像。
2、权利要求1的方法，其中所说的预先确定的阈值是黑暗度阈值TD和明亮度阈值TB中的一个。
3、调整一个图像象素亮度值的方法，包括的步骤有通过把所述象素按预先确定的象素分类组合为超象素来形成所述图像的一个低分辨率图像；通过把各个超象素的亮度值与一个预先确定的阈值进行比较，对每个所述超象素产生一个低分辨率校正值δLO；通过在相邻超象素间平滑δLO，对各个所述超象素产生一个修正的低分辨率校正值δ′LO；作为所述相应的超象素亮度值和δLO的函数，为所述每个象素产生一个高分辨率校正值δHI；和通过把各个象素的亮度值与δHI组合产生该图像象素的调整了的亮度值。
4、权利要求3的方法，其中所说的预先确定的阈值是黑暗度阈值TD和明亮度阈值TB中的一个。
5、用于图像象素级亮度调整的系统，包括
通过把象素组合成超象素形成所述高分辨率图像的一个低分辨率图像的装置；对所选择的所述亮度值超过一个预先确定阈值的那些超象素，通过对各个所述选择的超象素周围的超象素亮度值进行平均产生一个非零的低分辨率亮度校正值δLO的装置；通过形成相邻的所述所选择的超象素的岛和在各个岛内的所述所选择的相邻超象素间平滑δLO，对各个所述所选择的超象素产生一个修正的低分辨率校正值δ′LO的装置；通过把图像的每个所述象素的亮度值IMHI与所述预先确定的闽值进行比较以及作为相应的值IMHI和δLO的一个函数产生δHI，为该高分辨率图像的每个象素产生一个高分辨率亮度值δHI的装置；和通过把所述各个象素的所述亮度校正值IMHI与所述对应的高分辨率亮度校正值δHI组合产生一个亮度调整了的图像的装置。
6、权利要求5的系统，其中所说的预先确定的阈值是黑暗度阈值TD和明亮度阈值TB中的一个。
权利要求
1.用于调整在一个高分辨率图象中的象素亮度IMHI的方法，包括的步骤有通过把所述象素组合为超象素来形成所述高分辨率图象的一个低分辨率图象；通过把所述超象素的亮度与预先确定的黑暗度阈值TD和明亮度阈值TB进行比较，对各个超象素产生一个低分辨率亮度校正值δLO；通过形成所述超象素的岛和在各个岛内的超象素间平滑δLO，对各个所述超象素产生一个修正的低分辨率校正值δ′LO；通过把各个所述象素的亮度IMHI与TD和TB进行比较，对所述高分辨率图像的各个象素产生一个高分辨率亮度校正值δHI，所述δHI是作为IMHI和δLO的函数生成的；和通过把各个所述象素的亮度与对应高分辨率亮度校正值δHI相组合，产生一个亮度经校正的图像。
全文摘要
调整在一个高分辨率图像中的象素亮度IM
文档编号G06T5/00GK1184544SQ9619391
公开日1998年6月10日 申请日期1996年10月8日 优先权日1996年3月14日
发明者M·A·沃伯, I·哈加梅德 申请人:宝丽来公司