现代GPU可W操控和显示计算机图形很高效，并且它们的高度地并行结构可W 使它们比用于复杂图形算法范围的典型CPU更有效。例如图形处理器可W用如下方式实施 多个图形原语操作，该方式使得比向具有主机中央处理单元(CPU)的屏幕直接绘制快得多 地执行它们。在各种实现方式中，运里公开的图像处理算法可W至少部分由被配置用于在 运样的GHJ之一上执行或者在运样的GHJ中的两个或者更多GPU上并行执行的程序指令实 施。GPU可W实施允许程序员调用GPU的功能的一个或者多个应用程序员接口（API)。适当 GPU可W从销售者、比如NVIDIA Corporation、ATI Technologies(AMD)和其它销售者可商 用。
[030引系统存储器1020可W被配置为存储处理器1010可访问的程序指令和/或数据。在 各种实现方式中，可W使用任何适当存储器技术、比如静态随机存取存储器(SRAM)、同步动 态RAM(SDRAM)、非易失性/闪存型存储器或者任何其它类型的存储器来实施系统存储器 1020。在所示实现方式中，在系统存储器1020内示出实施希望的功能一一比如W上描述的 用于如图1至图22B中所示用于图像的自动竖直调整的技术的实现方式的功能一一的程序 指令和数据分别为程序指令1025和数据存储装置1035。在其它实现方式中，可W接收发送 或者在不同类型的计算机可访问介质上或者在从系统存储器1020或者计算机系统1000分 离的相似介质上存储程序指令和/或数据。一般而言，计算机可访问介质可W包括经由I/O 接口 1030禪合到计算机系统1000的存储介质或者存储器介质、比如磁或者光介质、例如盘 或者CD/DVD-R0M。可W通过传输介质或者信号、比如电、电磁或者数字信号传输经由计算机 可访问介质存储的程序指令和数据，运些信号可W经由比如可W经由网络接口 1040实施的 通信介质、比如网络和/或无线链路来运送。
[0306]在一个实现方式中，I/O接口 1030可W被配置为协调在处理器1010、系统存储器 1020和在设备中的任何外围设备、包括网络接口 1040或者其它外围设备、比如输入/输出设 备1050之间的I/O流量。在一些实现方式中，I/O接口 1030可W执行用于将来自一个部件(例 如，系统存储器1020)变换成适合用于由另一部件(例如，处理器1010)使用的格式的数据信 号的任何必需协议、定时或者其它数据变换。在一些实现方式中，I/O接口 1030可W例如包 括支持通过各种类型的外围总线、比如外围部件互连(PCI)总线标准或者通用串行总线 (USB)标准的变体附着的设备。在一些实现方式中，I/O接口 1030的功能可W例如被拆分成 两个或者更多分离部件、比如北桥和南桥。此外，在一些实现方式中，I/O接口 1030的功能中 的一些或者所有功能、比如与系统存储器1020的接口可W被直接地结合到处理器1010中。
[0307] 网络接口 1040可W被配置为允许数据在计算机系统1000与附着到网络的其它设 备、比如其它计算机系统之间或者在计算机系统1000的节点之间被交换。在各种实现方式 中，网络接口 1040可W例如支持经由有线或者无线通用数据网络、比如任何适当类型的W 太网网络;经由远程通信/电话网络、比如模拟语音网络或者数字光纤通信网络;经由存储 区域网络、比如光纤信道SAN或者经由任何其它适当类型的网络和/或协议的通信。
[0308] 输入/输出设备1050可W在一些实现方式中包括一个或者多个显示终端、键盘、键 区、触板、扫描设备、语音或者光识别设备或者适合用于一个或者多个计算机系统1000录入 或者取回数据的任何其它设备。多个输入/输出设备1050可W存储于计算机系统1000中或 者可W分布于计算机系统1000的各种节点上。在一些实现方式中，相似输入/输出设备可W 从计算机系统1000分离并且可W通过有线或者无线连接、比如通过网络接口 1040与计算机 系统1000的一个或者多个节点交互。
[0309] 如图24中所示，存储器1020可W包括配置为实施如图1至图22B中所示用于图像的 自动竖直调整的技术的实现方式的程序指令1025和包括程序指令1025可访问的各种数据 的数据存储装置1035。在一个实现方式中，程序指令1025可W包括如W上各图中所示用于 图像的自动竖直调整的技术的实现方式的软件单元。数据存储装置1035可W包括可W在实 现方式中使用的数据。在其它实现方式中，可W包括其它或者不同软件单元和数据。
[0310] 本领域技术人员将认识计算机系统1000仅为示例而未旨在于限制如运里描述的 用于图像的自动竖直调整的技术的范围。具体地，计算机系统和设备可W包括可W执行所 示功能的硬件或者软件的任何组合、包括计算机、个人计算机系统、桌面型计算机、膝上型、 笔记本或者上网本计算机、平板或者写字板设备、大型机计算机系统、手持计算机、工作站、 网络计算机、相机、机顶盒、移动设备、网络设备、因特网装置、PDA、无线电话、智能电话、寻 呼机、消费者设备、视频游戏控制台、手持视频游戏设备、应用服务器、存储设备、外围设备、 比如交换机、调制解调器、路由器或者一般为任何类型的计算或者电子设备。计算机系统 1000也可W连接到未图示的其它设备或者代之W可W作为单独系统操作。此外，可W在一 些实现方式中在更少部件中组合或者在附加部件中分布所示部件提供的功能。相似地，在 一些实现方式中，可W未提供所示部件中的一些部件的功能和/或其它附加功能可W可用。
[0311] 本领域技术人员也将认识尽管图示各种项目为在使用之时存储于存储器中或者 存储装置上，但是可W在存储器与其它存储设备之间传送运些项目或者它们的部分用于存 储器管理和数据完整性的目的。备选地，在其它实现方式中，软件部件中的一些或者所有软 件部件可W在另一设备上的存储器中执行并且经由计算机间通信与所示计算机系统通信。 数据结构的系统部件中的一些或者所有系统部件也可W(例如，作为指令或者结构化数据） 存储于计算机可访问介质或者便携物品上W由适当驱动读取，W上描述该适当驱动的各种 示例。在一些实现方式中，在从计算机系统1000分离的计算机可访问介质上存储的指令可 W经由传输介质或者信号、比如电、电磁或者数字信号被发送到计算机系统1000,运些信号 经由通信介质、比如网络和/或无线链路来运送。各种实现方式还可W包括接收、发送或者 在计算机可访问介质上存储根据前文描述而实施的指令和/或数据。因而，可W用其它计算 机系统配置实现本发明。
[0312] 缉逆
[0313] 各种实现方式还可W包括接收、发送或者在计算机可访问介质上存储根据前文描 述而实施的指令和/或数据。一般而言，计算机可访问介质可W包括存储介质或者存储器 介质、比如磁或者光介质、例如盘或者DVD/CD-R0M、易失性或者非易失性介质、比如RAM(例 如SDRAM、DDR、RDRAM、SRAM等）、ROM等W及传输介质或者信号、比如电、电磁或者数字信号， 运些信号经由通信介质、比如网络和/或无线链路来运送。
[0314] 如各图中图示和运里描述的各种技术代表技术的示例实现方式。可W在软件、硬 件或者其组合中实施。可W改变技术的顺序并且可W添加、重新排序、组合、省略、修改等各 种单元。
[0315] 可W如从本公开内容受益的本领域技术人员将清楚的那样进行各种修改和改变。 旨在于本发明涵盖所有运样的修改和改变，因而将在示例而非限制意义上对待W上描述。
【主权项】
1. 一种由一个或者多个计算设备实施的方法，所述方法包括： 获得用于景物的图像的相机信息，所述景物包括具有线的一个或者多个特征； 基于所述相机信息计算单应性，所述单应性将被应用于所述图像以调整所述景物的所 述一个或者多个特征相对于所述图像的轴而言的对准，所述单应性至少部分根据一个或者 多个基于人类感知的判据来计算；以及 根据所述单应性再投影所述图像以生成所述景物的调整的图像，所述调整的图像具有 所述景物的所述一个或者多个特征的所述线相对于所述图像的所述轴而言的所述调整的 对准。2. 根据权利要求1所述的方法，其中所述轴是竖直轴或者水平轴，并且所述一个或者多 个特征与在所述调整的图像中的所述竖直轴或者水平轴实质上对准。3. 根据权利要求1所述的方法，其中所述单应性根据所述一个或者多个基于人类感知 的判据描述新相机信息。4. 根据权利要求1所述的方法，其中所述相机信息包括本征相机参数矩阵和三维旋转 矩阵。5. 根据权利要求4所述的方法，其中所述相机信息还包括消没点信息。6. 根据权利要求1所述的方法，其中所述单应性包括新本征相机参数矩阵和新三维旋 转矩阵。7. 根据权利要求1所述的方法，其中所述单应性包括平移。8. 根据权利要求1所述的方法，其中所述获得包括应用相机校准技术以估计用于所述 图像的所述相机信息。9. 根据权利要求8所述的方法，其中所述相机校准技术基于优化以估计用于所述景物 的所述图像的、相互结合的本征相机参数、三维旋转和消没点信息。10. 根据权利要求1所述的方法，其中所述一个或者多个基于人类感知的判据包括可用 来根据所述图像定义的画面框约束所述一个或者多个特征的对准的画面框对准判据。11. 根据权利要求1所述的方法，其中所述一个或者多个基于人类感知的判据包括可用 来根据连接所述景物的两个消没点的线而约束所述一个或者多个特征的对准的视平线对 准判据。12. 根据权利要求1所述的方法，其中所述一个或者多个基于人类感知的判据包括可用 来约束所述一个或者多个特征的失真的图像失真判据。13. 根据权利要求1所述的方法，其中所述单应性包括在竖直方向和水平方向上的焦 距，在每个方向上的所述焦距被允许相互变化。14. 一种由一个或者多个计算设备实施的方法，所述方法包括： 从输入图像提取线段； 根据所述提取的线段确定用于能量函数的初始值；以及 通过迭代地优化所述能量函数来校准相机参数以估计相互结合的、用于所述输入图像 的相机本征参数矩阵、定向矩阵和消没点集合。15. 根据权利要求14所述的方法，其中所述校准包括提取曼哈顿方向和附加水平消没 点。16. 根据权利要求14所述的方法，其中所述校准包括通过所述输入图像具有主导正交 框而附加水平方向共享相同竖直方向这样的假设的视平线估计。17. 根据权利要求14所述的方法，还包括确定用于每个消没点的消没线，并且其中所述 定向矩阵是三维旋转矩阵。18. -种系统，包括： 一个或者多个计算设备，被配置为执行如下操作，所述操作包括： 校准相机参数作为用于根据一个或者多个基于人类感知的判据而调整景物的图像的 一个或者多个特征相对于所述图像的轴而言的对准的基础，所述一个或者多个基于人类感 知的判据包括所述图像的正交框的标识，所述图像的正交框具有共享相同竖直方向的附加 水平方向以估计所述图像的视平线。19. 根据权利要求18所述的系统，其中所述正交框按照其中所述图像包括相互未对准 的多个正交方向的亚特兰大世界假设。20. 根据权利要求18所述的系统，其中所述轴是竖直轴或者水平轴，并且所述一个或者 多个特征与在所述调整的图像中的所述竖直轴或者水平轴实质上对准。
【专利摘要】用于数字图像的自动竖直调整的技术和装置。描述一种自动竖直调整技术，该技术可以提供用于伸直在输入图像中的偏斜特征以提高其感知质量的自动化方式。这一校正可以称为竖直调整。可以在竖直调整中使用基于人类感知的判据集合。描述一种实施优化框架的再投影技术，该技术产生用于基于判据调整的最优单应性并且根据通过优化而产生的新相机参数调整图像。描述一种基于优化的相机校准技术，该技术同时估计消没线和点以及用于图像的相机参数；该校准技术可以例如用来生成向再投影技术输入的相机参数以及消没点和线的估计。
【IPC分类】G06T3/00, G06T5/00, G06T7/00
【公开号】CN105453131
【申请号】CN201380022060
【发明人】E·谢克特曼, 王珏, 李贤濬, 李承勇
【申请人】奥多比公司, 浦项工科大学校产学协力团
【公开日】2016年3月30日
【申请日】2013年4月26日
【公告号】DE112013002200T5, US9008460, US9098885, US20130286221, US20130287318, US20150215531, US20150324985, WO2013163579A2, WO2013163579A3