图像的自动调整的制作方法
【专利说明】图像的自动调整 巧001]有关申请
[0002] 本申请按照35U.S.C.第119(e)节要求提交于2012年4月27日并且名称为 '^Techniques and Apparatus for Automatic Adjustment of Digital Images"的第61/ 639,721号美国临时专利申请的优先权，其公开内容通过完全引用结合于此。
【背景技术】
[0003] 拍摄者捕获的图像(无论数字图像或者常规胶卷图像)经常包含透视失真。具体 地，人造结构经常在随意拍摄者捕获的照片中表现失真，因为景物布局经常与人类感知的 预计冲突。例如，在捕获摩天大楼的图像时，在图像中的建筑物可能歪斜、因此未表现直立。 运可W归因于视点被物理地约束，因此从最好视点捕获一个或者多个图像是不可能的。在 运些情况下，用户（拍摄者、艺术家等)可能想要应用透视失真校正W改进原有数字或者数 字化图像W使它表现如同从更好视点捕获景物一样。然而，运一种失真由于至少透视失真 校正设及到Ξ维(3D)旋转运样的原因而难W手动修复。
【发明内容】
[0004] 描述设及到图像的自动竖直调整的技术。竖直调整技术可W提供用于伸直在输入 图像中的偏斜人造特征(或者其它特征、比如相对直立的自然特征、比如树木和视界）W提 高其感知质量的自动化方式。运一校正可W称为竖直调整。基于人类感知研究来描述判据 集合用于竖直调整。此外，描述如下优化框架，该优化框架产生用于调整的最优单应性。另 夕h描述一种基于优化的相机校准技术，该技术在与常规技术比较时有利地执行并且使自 动竖直调整技术的实现方式对于广泛多种图像可靠地工作。
[0005] 实现方式可W提供一种用于图像的竖直调整的自动系统，该系统可W利用用于定 量地测量人造结构或者其它图像特征的感知的质量的若干判据。按照判据，再投影技术可 W实施如下能量最小化框架，该能量最小化框架计算用于最小化偏斜结构和其它图像特征 的感知的失真的最优单应性。此外，可W运用比常规技术更准确和健壮的相机校准技术W 同时估计消没线和点W及相机参数并且可W用来生成可W例如向再投影技术输入的相机 参数W及消没线和点的估计。
[0006] 自动竖直调整技术的实现方式可W处置至少一些自然景物W及人造特征的景物。 实现方式可W对广泛图像可靠地工作而未设及到用户交互。
【附图说明】
[0007] 图1示出根据至少一些实现方式的图像的竖直调整的各种示例。
[0008] 图2是根据至少一些实现方式的自动竖直调整的高级流程图。
[0009] 图3是根据至少一些实现方式的再投影技术的流程图。
[0010] 图4是根据至少一些实现方式的相机校准技术的流程图。
[001。 图5图示Perkin法则。
[0012]图6A和图6B图示根据至少一些实现方式的拐角点提取技术的结果。
[001引图7A和图7姻示根据至少一些实现方式的检测弯曲边缘像素。
[0014] 图8A至图8C图示根据至少一些实现方式的具有大相机旋转的照片的调整。
[0015] 图9A至图9C图示根据至少一些实现方式的透视失真控制。
[0016] 图10A至图10D图示根据至少一些实现方式的相机校准技术的过程。
[0017] 图11A和图11化k较自动竖直调整技术的实现方式的结果与手动生成的结果。
[0018] 图12比较自动竖直调整技术的实现方式的结果与使用倾斜移位透镜而捕获的图 像。
[0019] 图13A和图13B图示根据至少一些实现方式的调整的图像的裁剪。
[0020] 图14A至图1此比较自动竖直调整技术的实现方式的结果与常规矫正技术的结果。
[0021] 图15A和图15B图示自动竖直调整技术的实现方式的结果。
[0022] 图16A和图16B图示自动竖直调整技术的实现方式的结果。
[0023] 图17A和图17B图示自动竖直调整技术的实现方式的结果。
[0024] 图18A和图18B图示自动竖直调整技术的实现方式的结果。
[0025] 图19A和图19B图示自动竖直调整技术的实现方式的结果。
[0026] 图20A和图20B图示自动竖直调整技术的实现方式的结果。
[0027] 图21A和图21B图示自动竖直调整技术的实现方式的结果。
[0028] 图22A和图22B图示自动竖直调整技术的实现方式的结果。
[0029] 图22C图示曼哈顿和亚特兰大世界假设的示例。
[0030] 图23图示根据至少一些实现方式的可W实施自动竖直调整技术的一个或者多个 示例模块。
[0031] 图24图示可W在实现方式中使用的示例计算机系统。
【具体实施方式】
[0032] 尽管运里通过示例对于若干实现方式和示例附图描述技术，但是本领域技术人员 将认识本发明不限于描述的实现方式或者附图。应当理解附图及其见图描述未旨在于使本 发明限于公开的具体形式，但是恰好相反，旨在于覆盖落入本发明的精神实质和范围内的 所有修改、等效和备选。运里使用的标题仅用于组织目的而无意于用来限制该描述的范围。 如贯穿本申请所用，在允许意义（即意味着有可能)而不是强制意义（即意味着必须)上使用 字眼"可。相似地，字眼"包括"意味着包括但不限于。
[0033] 遮述
[0034] ^分消费者照片包含人造结构、比如具有建筑物和街道的市区景物W及具有墙 壁和家具的室内景物。然而恰当地拍摄运些结构不是一项容易的任务。业余拍摄者拍摄的 照片如在图1的左栏中所示经常由于不恰当相机旋转而包含偏斜建筑物、墙壁和视界。
[0035] 人类视觉系统(运里称为人类感知或者感知）一般预计可能在一些景物中出现的 高的人造结构和一些其它特征W及与眼睛水平线平行的视界。与运一系统冲突可能造成查 看者在注视包含偏斜(未竖直)结构或者其它特征、比如倾斜(未水平)视界时的不适感。
[0036] 因而描述自动图像调整技术。例如一种自动调整技术可W利用单个单应性W在用 于景物的统一深度假设之下校正照片。单应性可W用来描述在图像与景物之间的关系、比 如描述图像的视点与景物的关系。因此，单应性在运一示例中可w用来调整图像w增加与 人类感知的预计的一致性。
[0037] 例如，描述一种竖直调整技术的实现方式，运些实现方式提供用于伸直在输入图 像中预计相对直立的偏斜或者倾斜人造结构和自然特征、比如树木和视界W提高其感知质 量的自动化方式。运一校正可W称为竖直调整。描述在竖直调整期间应用的基于人类感知 研究的判据集合。可W用多种方式计算单应性、比如通过使用优化框架，该优化框架被配置 为产生用于根据判据调整的最优单应性。
[0038] 自动调整技术的实现方式也可W用来调整输入图像的透视图W提高其可视质量。 在至少一些实现方式中，为了实现运一点，基于感知理论定义判据集合。可W应用优化框架 用于测量和根据判据调整透视图。在至少一些实现方式中，可W结合附加约束W避免对特 征、比如脸部或者圆圈的透视失真。除了用于调整静止照片的应用之外，实现方式还可W适 于调整视频帖，因此图像可W用来指代任一实例。
[0039] 此外，描述相机校准技术。相机校准技术可W用来描述图像的特性。运些特性然后 可W用作为用于如W上那样调整图像的基础。例如相机校准技术可W相互结合、即同时用 来估计消没线和点W及相机参数。运些估计然后可W作为W上单应性的部分用来基于W 人类感知为基础的判据变换图像W实现可视地合理结果。可W关于W下相机校准章节发现 相机校准技术的进一步讨论。
[0040] 在W下具体描述中，阐述许多具体细节W提供要求保护的主题内容的透彻理解。 然而本领域技术人员将理解可W实现要求保护的主题内容而无运些具体细节。在其它实例 中，尚未具体描述本领域普通技术人员将已知的技术、装置或者系统W免模糊要求保护的 主题内容。
[0041] 在对在具体装置或者专用计算设备或者平台的存储器内存储的二进制数字信号 的操作的算法或者符号表示方面呈现本说明书的W下一些部分。在运一具体说明书的上下 文中，术语具体装置等包括通用计算机，该通用计算机一旦它被编程为按照来自程序软件 的指令执行特定功能。算法描述或者符号表示是数据处理或者有关领域普通技术人员用来 向本领域其他技术人员传达他们的工作实质的技术的示例。算法在运里并且一般视为促成 所需结果的自一致操作序列或者相似处理。在本文中，算法或者操作设及到物理数量的物 理操控。通常但是并非必需，运样的数量可W采用能够存储、传送、组合、比较或者W别的方 式和操控的电或者磁信号的形式。主要出于普遍用法的原因而将运样的信号称为位、数据、 值、单元、符号、字符、项、数目、数值等有时是便利的。然而应当理解所有运些或者相似术语 将与适当物理数量关联并且仅为便利标记。除非另有具体地陈述，如从W下讨论中清楚的 是，认识贯穿本说明书，利用术语、比如"处理"、"计算"、"运算"、"确定"等的讨论指代具体 装置、比如专用计算机或者相似专用电子计算设备的动作或者过程。在本说明书的上下文 中，专用计算机或者相似专用电子计算设备能够操控或者变换通常在专用计算机或者相似 专用电子计算设备存储器、寄存器或者其它信息存储设备、传输设备或者显示设备内表示 为物理电子或者磁数量的信号。 巧042] 实现方式示例
[0043]图1示出根据自动竖直调整技术的至少一些实现方式的图像的竖直调整的各种示 例。左栏示出原有图像，而右栏示出根据运里描述的竖直调整技术的实现方式生成的所得 图像。顶部两个图像(a)示出来自街道水平的市区建筑物景物，第二两个图像(b)示出平面 板，接下来两个图像(C)示出室内餐厅景物，接下来两个图像(d)示出航空市区景物，并且最 后两个图像(e)示出具有山脉和树木的自然景物。
[0044] 假设景物相对于它与相机的距离的深度变化小，校正偏斜结构设及到图像平面的 3D旋转。运一校正可W称为竖直调整，因为它用来使人造(或者其它）结构如人类感知预计 的那样表现"直立"。已经知道相似校正为可W通过使用常规数字图像处理工具或者在捕获 期间使用特殊倾斜移位透镜来手动卷包图像而实现的梯形失真和透视校正。然而运些工具 的目标领域通常设及到建筑物的正面，而竖直调整技术的实现方式未显式地假设在景物中 的具体对象类型。此外，人造校正还可W设及到特殊技能并且在用来处理数十或者数百张 照片时变得令人厌烦。
[0045] 实现方式可W提供一种用于照片的竖直调整的自动系统，该系统包括但不限于W 下各项：
[0046] .基于对人类感知的先前研究的若干判据，运些判据用于定量地测量人造结构或 者其它图像特征的感知的质量；
[0047] .按照判据的能量最小化框架，能量最小化框架计算最优单应性，该最优单应性 可W有效地最小化偏斜结构和其它图像特征的感知的失真；W及
[0048] ?相机校准技术，该相机校准技术同时估计消没线和点W及相机参数并且比常规 技术更准确和健壮。
[0049] 自动竖直调整技术的实现方式可W处置至少一些自然景物W及人造特征的景物 (例如，见图1中的最后两个图像(e))。实现方式也可W对广泛图像可靠地工作而无用户交 互。 巧050] 自动调整技术
[0051] 图2是描绘根据至少一些实现方式的自动调整技术的高级流程图。如在100所示， 低级线检测技术可W应用于输入图像(或者在输入图像集合、比如视频序列的帖中的每个 图像）W检测在图像中的线和边缘。可W使用多种技术中的任何技术。如在110所示，W至少 线段作为输入的相机校准技术可W用来估计消没点和线W及其它相机参数。在文本中随后 描述可W在至少一些实现方式中用来同时估计消没点和线W及相机参数的基于优化的健 壮相机校准技术。
[0052] 如在120所示，根据相机参数W及消没点和线执行再投影W有效地执行竖直调整。 可W使用再投影模型，该再投影模型意味着使用具有新定向的在可能不同定位放置的另一 相机来重新拍摄矫正的景物。在至少一些实现方式中，也可W允许运一新相机在水平和竖 直方向上具有不同焦距。描述可W在估计在执行再投影时使用的新相机时使用的能量最小 化或者优化框架，该框架计算最优单应性，该最优单应性可W有效地最小化拍那些结构和 其