专利名称：将虹膜颜色结合到红眼修正中的方法和设备的制作方法
技术领域：
本发明大体上涉及数^ ，更具体地涉^ffi于修正4OT闪光灯,(capture) 的数字图像中的红眼 她的技术。
背景技术：
闪^M^中的一^遍问题^0fi胃盼'红眼安嫩，(red《ye effect),其中相禾/Lh 的闪光会在被Wm (subject)的眼睛的后部湖回，^^糊IW^是 红色的。该问题是如此普遍，以致于很多数字照片编辑应用禾Mi^都包括自动赫 手动红眼修正(correction)的特征。一^[字照相IK會,进行自动在相机内进 ,艮修正。
自动红眼修正包括定位出现红眼^赃的图像部分并朋预定颜色(例如，黑 色)的像素^l奂旨^^响的目赚的fcJ幾ins)中的红色像素。虽然结果相对于原 始的"红眼"有一定的改善，但就于观察者来说，该结果可能{燃 ^*不是很 自然，这是因为在修正过程中没有考虑^^被修正目赚的真实M^色。
因啦腿然，在本领域中^E着对用于将STM^色结合在数字图像的红眼修 正中的6^S方法和设备的需求。
图lA是根据本发明的说明性实施例的数字成^^g的功育離图。
图ib是根据本发明的说明性实施例的图ia中戶标的数字成m^a的存储器
的功能图。
图2歸出根据本发明的说掛性实施例的预撤足图像的图解，^E^述预撤足 图像中已经识别出fcj繊色区域并且已^;人中获得了filj繊色。
图3a是根据本发明的说明性实施例的包撤页撤足图像的数字图像文件的图解。
图3b是根据本发明的另一说吸性实施例的包括SlB^色和^fi指示符的数 字图像文件的图解。
图4a是根据本发明的说明性实施例的用于修正红眼 娘的方法的》舒呈图。 图犯是根据本发明的说明性实施例的用于顿原始数字图像的红眼修正中 结合从预撤足图像中得出的虹H^色信息的方法的流禾呈图。图4C是根据本发明的另一说掛性实施例的用于顿原始数字图像的红眼修 正中结合从预撤足图像中得出的,繊色信息的方法的流程图。图4D是根据本发明的又一说吸性实施例的用于顿原始数字图像的红眼修正中结合从预 图像中得出的* 色信息的方法的繊呈图。图5A是根据本发明的说掛性实施例的计算，的框图。图5B是根据本发明的说明性实施例的图5A中所示的计算驢的存储器的图。图6是根据本发明的说明性实施例的图5A中所示的计算^S的操^^法的流 程图。具体实敲式iM^测在MM始数字图像中即糊吏用闪光灯(strobe)、在原始数字图像 被mt鹏不用闪光灯(^#用3艘斷氐的闪光灯)的情况下ffl&和保存预捕 捉图像，并且在随后对原始数字图像的红眼修正中结合从预搬图像中得出的虹 月I^色信息，育^l吏红眼修正得到改善。可淑也，可以仅当在ffl&JF、始数字图像 的数字成# 的实时(live)预览模式期间在力據中检测到至^"个媒时，才 撤足和保存预撤足图像。预撤足图像(或者，可替换地，从预搬图像得出的OTM色和相关联的位 暨旨示符)可以与原始数字图像一起存储在单个数字图像文件中。可替换地，预 撤足图像可以与原始数字图像^f存储。红眼修正结合从预撤足图像得出的ttH 颜色的过程可以由撤足原始数字图像的数字成#^§执行，#可以由数字图{象 文件已被车繊啲斜i^a (例如,个人计穀几)执行。可3tt也，可以根据预搬 图像和原始数字图#^间的平均亮度的比^*调节 ^色的離。图1A是根据本发明的说明性实施例的数字劍t^g 100的功能框图。数字成m^a可以是離Mi^和存储数字图像的粗可装置，比如数字照相机、数^Mf象丰滅者个人数字助理(PDA)或具有内置数字照相机功能的職电话。在图1A 中，控帝'滕105 ; 总线110与成像模块115、闪光灯120、显示器125、快 门按钮130和存储器135謝fffi信。光学系统140产生光学图像，所述光学图像 由成像模i央115转换j^(字图像。控伟徵105例如可以包括微^bS器藏鹏制 器。成像模土央115可以包括基于电荷耦合器件(Charge-coupled-deviceCCD)、 CMOS赫其它成像传li^技术的光电传繊的阵列；模数转换器(A/D);增益 控制；和数對言号^bS器(DSP)(在图1A中标出)。显示器125例如可以包括 液晶显示器(LCD)。快门按钮130可以具有三种不同的tig: "SO"(未按下)、"SI" (按到中间的健，^m字劍^fil00准备好撤足图像)和'S2"(完全按下的位 置，开始图像搬)。数字成f^S 100可以具有其^I入控制，比如导航按钮和 菜掛"OK"按钮，在图IA中未示出。图1B是根据本发明的说明性实施例的数字照相机100的存储器135的高层 图。 一般而言，存储器135可以包括随机存取存储器(RAM) 145和非易失性存 储器150这二者，戶腿非易失性存储器150可以是可拆装式的(例如，^:数字 存储卡或多媒^^t^)。存储器135财卜还可以包括控帝腿辑155和红眼j參IEM 辑160。控伟腿辑155可以在闪光灯即将被{顿并且快门按钮130被按到S2时控制图 像 ，尤其是预，舰图像的撤足和存储。可淑也，控伟腿辑155还可以被KS 为在数字劍 § 100的实时预览模式期间检测场景中是否雜一个或多个媒 以及仅当检测到至少一个媒时^fife和保存预舰图像。在待决的美国专利申 请09/992,795中可以找到如何在实时预览模式期间进行实时脸^^测的一1S列 子，该专利申请被 fit给Compaq Computer Corporation (现与Hewlett-Packard Company合并)，鹏每该专禾伸请的公开并A^文作为参考。红眼修正逻辑160可以在数字图像中i湖咄一个或多^i工眼区域并舰这些 红眼区^S行自动红眼修正以产生经修正的数字图像。自动红眼检测和消除技术 在数字图像处理领域中是公知的。例賴括美国专利US6278491和待决的美国专 利申请10/653019，这二者^PI皮靴给Hewlett-Packard Company,被bl每它们的公 开并A^文作为参考。本质上，红眼消除涉及在数字图像中出现红眼^鹏的情况 下用更为适合的颜色的像素割t红色像素。红眼修正逻辑160可以被配置为结合 从预 ^足图{象中得出的ttM色。控审腿辑155和红眼修正逻辑160可以采用软件、固件、硬件g!^:们的任 意组合来实现。在一个说明性实施例中，控帝輕辑155和红眼修正逻辑160包括 驻留在固件中的、由控制器105执行的存储的禾M^指令。图2^出根据本发明的说明性实施例的预撤足图像205的图解说明。预捕 捉图像205可以是例如来自数字成#^§励的实时预览模式的预览帧。该予鹏 巾M以在不f顿闪光灯120的,兄下 ，以避爐预 图像205中出现红目艮 鹏。在一个实施例中，预f辭足图像205可以是在响应于快门按钮130丰鹏到S2 JM而撤足数字图像(使用闪光灯120)之ltt实时预览模式期间皿的最后的 预览帧。预览帧的^P率常常要低于最^M的数字图像的^I1摔，这是因为它 们通常是棚户构思照片时以柳^IWEM示器125擅示的。当红眼修正逻辑 160 ^E^撤足的数字图像中识别出一个或多^^含红眼玄赃的区域("红目艮区塽，) 时，在预 图像205内的搜索可以揭示出预撤足图像205内没有红眼^IS的对 应区域。为方鹏见，在图2中用边界赚^&些区域("^M色区域5210)。 尽t im帧与所撤足的数字iKfe间可能有轻微的移动，但^131在预 图像 205内的局部化搜索可以实JJTOI^色区域210在预Mfe图像205中的定位。在 ^N0J繊色区域210内，可以获得SO繊色215以供红眼修正逻辑160在红眼 修正中使用。在不同的实施例中，预fflfe图像205可以是预闪光图像而不是预览帧。预闪 光图像是紧接在原始数字图像被Kt前^顿弓艘斷氐的闪光灯搬的图像，并 且预闪光图像可以用于在 原始数字图像的过程中更加御角地设置使用闪光灯 120的曝光量。由于4顿的是3贩斷氐的闪光灯，所以这样的图f繊常是没有红 眼效应的并且可以用于获得^M色215。和^W页览帧一样，控伟'J^辑155可 以被隨为将预闪光图像存储在存储器135中(例如，与原始数字图像在同一数 字图像文件中)。采用预闪光图像而不是 1^帧作为预 图像205可以具有这样 的优点预闪光图像不太可育敏暗，从而提高了红眼修正逻辑160从预搬图像 205中获f4W用的^IM色215的可能性。图3A是根据本发明的说吸性实施例的数字图像文件305的图。图3A和3B 中的矩形^it如存储器135之类的剤線置中的存储器块。在图3A的实施例 中，数字图像文件305包括原始数字图像310和相关联的预 图像205。在一 些实施例中，仅将预撤足图像205的1分与原始数字图像310—起存储(即， 预，辭足图像205中与原始数字图像310中的红眼区嫩目对应的那些部分)。在其它 的实施例中，控制逻辑155可以将预f辭足图像205 (戯一个或多个相关部分) 与原始数字图像310 ^Hf存储，但是原始数字图像310与预li&图像205 可 以以某种方式彼此縣戯联。在图3A中描绘的图表中，可以将数字图像文件 305 A逾字劍t^a 100 ^t^U另一个电^S，比如个人计^t几(PC)赫PDA。 红眼修正结合M^色215的过程可以在其它电: ^§中而不是在数字成{^ 100中执行，在本详细说明中稍后将对itbit行更加充分i働率释。图3B是根据本发明的另一说明性实施例的数字图像文件305的图。在图3B 中所示的实施例中，数字图像文件305包括原始数字图像310、 toM色215、位 置指示符(indicator) 315。为简单起见，在图3B中仅示出一^ffll^色215和位 置指示符315，但是如果在原始数字图像310中ffiE着多^^工眼区域，贝哆愤 色215禾W體指示符315组可以与原始数字图像310 —同存储。健指示符 315指定了原始数字图像内与给定^M色215 (从预搬图像205中的相应OT 颜色区域210中获得)相关联的红眼区域的位置。例如，皿指示符315可以包 括相对于原始数字图像310内予跪区域的一*她标。在图3B中所示的实施例中， 控帝腿辑155可以将预舰图像205存储在存储器135中。红眼修正逻辑160 (或 控制逻辑155，取决于实现方式)随后可以(1)识别原始数字图像310中的红目艮 区域，(2)在预撤足图像205中定位相应的fiU鑭色区域210， (3)从^MQJ莫 颜色区域210中获取toJI^色215，以及(4)将tlJI^色215和相应的^g指示 符315与原始数字图像310 —同存储在单个数字图像文件305中，直到会S1—段 时间或者在将数字图像文件305 礎杯同的鍵之后，才将OT^色信息结合 到红眼修正中。图4A是根据本发明的说明性实施例的用于修正红眼交她的方法的^f呈图。在 405 ，控制逻辑155可以确定当快门按钮130被按到S2 ^g时是否即将在^J^ 始数字图像310过程中{顿闪光灯120。如果是，贝lj在410中，控带J^辑155可 以执行可选的A5i检测，如KC^f述。如果在410检测到至^^个AM,贝lj在415 控审傻辑155可以自动保存至少预ffit足图像205的相关部分。在420，数字成像 驢100可以f辭足原始数字图像310。在425，红眼修正逻辑160可以对原始数字 图像310执行结合了从预舰图像205得出的SIB^色信息的红眼修正。该过程 可以在430终止。还有一些不同方式可以从预撤足图像205中得出OT^色信息并且将其结合 在红眼修正中。图4B4D图示了三个不同的说掛性实施例。
正逻辑160可以在原始数字图像310中识别出一个或多4^工眼区域。在440，红 目艮修正逻辑160可以在预，舰图像205中定位相应的TO^色区域210。在445， 红眼修正逻辑160可以从^UI^色区域210获得咖繊色215，其中红眼修 正逻辑160 {顿该鏡繊色215来修正原始数字图像310中相应红眼区域中的虹 月IM色。在450，红眼修正逻辑160可以{顿 ^色215来修正原始数字图像 310中的一个或多4^工眼区域中的红眼安她。在455， i^l程可以终止。图4C是根据本发明的另一说明性实施例的用于在原始数字图像310的红眼修 正中结合从预舰图像205中得出的^^色信息的方法的漸呈图。图4C中所示 的实施例采用了一种用于在原始数字图像310的红眼修正中结合从预撤足图像 205中得出的^M色信息的不同方法。在435，红眼修正逻辑160可以在原始数 字图像310内i湖咄红眼区域，如结合图4B戶厢军释的那样。在460，红眼修正逻 辑160可以计算原始数字图像310和预^辭足图像205的平均離(例如，Mil建 膽性^tW^图)。然后，红眼修正逻辑可以对平均3^5^S行比较以确定一个 比率。在465，可以根据460的亮度比^^调节预定KH^色215 (例如,黑色或 选定的^^色调)的亮度。也就是说，可以通过与预捕捉图像205的比^^确定 闪光灯120在原始数字图像310中的影响(con1ribution)，从丽以调节予腚(一 般的)Ml员色215的亮度以使其f^^更自然。在470，会S1離调节的预定 fcj繊色215可以IOT来修正原始数字图像310中的一^^或多^N工眼区域中的红 目阪她。该过程可以在475终止。图4D是根据本发明的又^i兑明性实施例的用于在原始数字图像310的红眼修 正中结合从预搬图像205中得出的,M^色信息的方法的繊呈图。在该实施例 中，图4B和图4C中所示的技术被组^fc在480中可以根据预搬图像205 和原始数字图像310之间的平均亮度的比^^调节从预ffife图像205的虹E^色 区域210中获得的自然媚繊色215的亮度。以这种方式调节自然M^色215 的離可以产生M^更自然的红眼修正，这是因为它考虑了闪光灯120在原始 数字图像310中的影响。在485，该过程可以终止。图5A是根据本发明的说吸性实施例的计算體500的框图。计算體500 可以是各种體中的粗可一种，比如台式PC、笔记本计^t几、膝iM计^t几、PDA、 工作站或者其它这样的體。在图5A中，控帝幡505fflil翻总线510与显示 器515、输入控制520以及存储器525进^il信。输入控制520可以包括，例如m、鼠标、车Ai^求、按钮组(物理^gJ以的)，赫用于控铜Ji十算體500的操 作的其t^A^g。图5B是存储器525的高层图。存储器525可以包括RAM530、非易失存储 器535 (例如，！鹏驱动器和光学存储介质)以及红眼修正逻辑540。红眼修正逻 辑540可以采用硬件、软件、固件^&们的任意组合来实现。在一个实施例中， 红眼修]Bf辑540包括由控制器505执行的固{衬旨令。红眼修IBI辑540可以对 数字图像文件305 (诸如图3A和3B中所描述的)进行操作，以按照结合从预捕 捉图像数据中得出的filM色信息的方^mfi^工眼修正。需要注意的是，计算装 置500不需要包括图像撤足能力(比如数字劍t^S 100的光学系统140禾口成像 模块U5)。图6是根据本发明的说明性实施例的图5A中所示的计算装置500的操fk^法 的流程图。在605，计算驢500可以获取由诸如数字成f^g 100之类的驢 (图6中"第~ ")搬的原始数字图像310。原始数字图像310可以具有伴随 的预 ^足图像 ，预 图像 可以与原始数字图像310 —同存储在单个数 字图像文件305中，如结合图3A和3B所描述的那样。伴随的预舰图像繊可 以包括例如预 图像205 (或其相关部分)。可替换地，预^ 足图像 可以包 括一个或多4*| 色215以及相关联的健指示符315，如结合图3B所解释的 夷P样。在610，计算體500 (图6中的"第Z^g，，)的红眼修正逻辑540可以在 原始数字图像310的红眼修正中结合从伴随的预搬图像繊中得出的M^色 信息。在615， i亥ii禾呈可以终止。JEA人伴随的预,图像i^数据中得出的OT 颜色信息结合在红眼修正中的过程可以由例如图4B4D中所示的那些方、絲实 现。本发明的前述描述是出于说明和描述的目的而给出的。它不旨在穷举劍各本 发明局限于所公开的确切形式，并且根据J^教导，可以有其它的修改和改变。选择和介绍这些实施例是为了最好i僦率释本发明的原a^其实际应用，从而使得 本领士^s术人员會,在适舒寺定予鹏月用途的各种实施例和各种修改方案中最佳地 应用本发明。本申请旨在将所附的权利要求解释为包括除现有技^^f限定的范围 之外的本发明的其它可替换的实施例。
权利要求
1.一种用于修正场景的数字图像(310)中的红眼效应的方法，包括确定在捕捉数字图像(310)的过程中即将使用闪光灯(120)；自动保存场景的预捕捉图像(205)，所述预捕捉图像(205)是在数字图像(310)之前捕捉的；和在数字图像(310)的红眼修正中结合从预捕捉图像(205)中得出的虹膜颜色信息。
1. 一种用于修正场景的数字图像(310)中的红眼^赃的方法，包括 确定在ffl&数字图像(310)的过程中即糊吏用闪光灯(120);自动保存场景的预，舰图像(205)，戶; ^预 图像(205)是在数字图像(310) 之前舰的；和在数字图像(310)的红眼修正中结合从预搬图像(205)中得出的ffiCM 色信息。
2. 如权利要求l所述的方法，其中自动保存场景的预舰图像(205)取决 于在数字图像(310)被Mfei鹏;t錄中检测到至^^^个AJ^。
3. 如权利要求1所述的方法,其中在数字图像(310)的红眼修正中结合从预 捕捉图像(205)中得出的虹fl繊色信息包括从W&图像(205)中获得SII繊 色(215)。
4. 如权利要求3所述的方法,其中根据预 图像(205)和数字图像(310) 之间的平均亮度的比^^调节ttl^色(215)的^S。
5. 如权利要求1戶腿的方法,其中在数字图像(310)的红眼修正中结合从预 捕捉图像(205)中得出的虹SI^色信息包括根据预，舰图像(205)和数字图像 (310)之间的平均亮度的比^^调节予跪KMM色(215)的离变。
6. —种用于修正场景的数字图像(310)中的红眼安她的方法，包括 获取由第一装置(100)捕捉的数字图像(310)，所述数字图像(310)具有伴随的预撤足图像数据，所述伴随的预#舰图像 已经由第1置(100)响应 于第"^S (100)在Mfe数字图像(310)的过程中即纟射吏用闪光:灯(120)而在 撤足数字图像(310)之前自动保存了；禾口由第二装置(500)在数字图像(310)的红眼修正中结合从伴随的预撤足图 像 中得出的飼繊色信息。
7. —种数字劍t^g (歸)，包括 光学系统(140)，用于产生光学图傲 快门按钮(130);成像模土央(115)，用于在启动决门按钮(130)时，将光学图像转换^m字图 像(310);闪光灯(120);控制逻辑(155)，被配置为在启动快门按钮(130)并且即衞顿闪光灯(120) 时，自动保存预舰图像；和红眼修正逻辑(160)，被MBS为在数字图像(310)的红眼修正中结合从预捕 捉图像(205)中得出的SM色信息。
8. —种电^g (500)，包括存储器(525)，其中^i^體由数^^^^S (100) 的数字图像(310)， 所述数字图像(310)具有伴随的预 图像数据，所述伴随的预 图像数据已 经由数字成f魏置(100) 口向应于数字劍線置(100)在ffi&数字图像(310)的 过程中即))射顿闪光灯(120)而在^f^数字图像(310)之前自动保存了；禾口红眼修正逻辑(540)，被12g为在数字图像(310)的红眼修正中结合从伴随 的预撤足图像 中得出的SIM色信息。
全文摘要
当确定在捕捉数字图像(310)的过程中即将使用闪光灯(120)时，可以保存预捕捉图像(205)，其中从所述预捕捉图像(205)中能够得出虹膜颜色信息。从预捕捉图像中得出的虹膜颜色信息可以被用于改善对捕捉到的数字图像(310)的红眼修正。
文档编号H04N1/62GK101213828SQ200680014111
公开日2008年7月2日 申请日期2006年4月27日 优先权日2005年4月28日
发明者C·A·怀特曼, D·M·布洛姆, J·E·约斯特 申请人:惠普开发有限公司