专利名称：一种实现双目立体图像校正和显示优化的方法
技术领域：
本发明涉及一种实现双目立体图像校正和显示优化的方法，属于多媒体图像处理
和显示技术领域。
背景技术：
随着多媒体技术的飞速发展和人们对多媒体服务需求的提高，立体图像和立体视 频技术已经显示出越来越大的应用需求。立体图像和立体视频能够使得观看者获得真实的 立体感，为他们带来身临其境的感觉，所以相比传统图像和视频更加先进和有发展前景。
但是采集立体图像和视频相比对传统平面内容的采集，难度提高了很多。原因在 于拍摄立体图像和视频的原理都是进行两路或两路以上的多视角拍摄，并将其中不同的两 个视角的图像提供给观看者的左右眼观看。如果要在显示时重现真实场景，这就对进行多 视角拍摄的相机位置和同步精度提出了很高的要求。所以，专业的立体双目图像或视频的 拍摄对于一般的摄影爱好者和用户都存在着较高的门槛。 对于普通用户，只能采用非专业的拍摄，即多视点的相机摆放位置和同步的精度
都要求很低，或者采用同一台相机在位置移动中进行连续拍照。这些方法虽然能够得到多
视点的图像，但是由于相机位置和同步的不准确，获得的左右眼图像图像往往存在旋转和
平移等形变而无法对准，并且由于拍摄时的拍摄位置偏移参数未知，无法直接进行立体显
示，所以无法重现出拍摄时的真实场景，也会使观看者产生很大的视觉不适。 有鉴于此，本发明提供一种对于非专业拍摄获得的多路图像进行图像校正和显示
参数自动优化的方法，使得非专业拍摄的双目立体图像或视频也能够高质量地显示还原出
真实场景。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种实现双目立体图像校正和 显示优化的方法，用于对于非专业拍摄获得的双目立体图像(包括静态图像和动态视频中 任意时刻的图像)进行处理，内容包括图像校正和显示时的偏移参数自动优化的方法，作 用是使得非专业拍摄的双目立体图像也能够提供高质量的立体显示。 按照本发明提供的技术方案，所述实现双目立体图像校正和显示优化的方法步骤 如下 (1)对于采集到的多视点的图像或者多视点视频中某时刻的图像，取其中需要进 行显示的两个视点的图像为待处理的双目立体图像对，取所述双目立体图像对中的一幅作 为基本视点图像，另一幅为待处理图像，则以所述基本视点图像为参考，对待处理图像进行 校正处理； (2)所述校正处理包括以下内容首先对所述待处理图像进行旋转处理，使其与 所述基本视点图像的内容不存在旋转偏差；之后对所述待处理图像进行纵向的縮放校正处 理，使其与所述基本视点图像在垂直方向的对应内容上不存在长度差异；最后对所述待处理图像进行纵向平移对齐处理，使其与所述基本视点图像的对应部分在垂直方向上不存在 高度差异； (3)进行立体显示偏移值优化选择首先在所述基本视点图像和待处理图像中通 过图像分割方法找到前景和背景中的重要物体；计算所述重要物体在双目立体图像中的视 差；之后计算所述重要物体在不同显示偏移值下的显示深度；最后通过优化最适合观看的 深度求出最佳的显示偏移值。 所述计算重要物体在不同显示偏移值下的显示深度采用公式 a=/(^(x),"w)=，dA(x) <deye 其中，dwat。h是观看着距离显示器的距离，d，是观看着的双眼间距；利用该公式即 可求出显示偏移值x下物体A的显示深度dA。 本发明的优点是对于采用非专业设备或方法拍摄的多视点图像，可以对其中任 意需要进行显示的双目图像对进行校正，并在不需要相机拍摄参数的情况下自动优化得到 显示时的左右图像水平显示位置偏移值，从而使非专业的多视点立体图像拍摄也能获得效 果良好的立体显示。
图1是进行双目立体图像拍摄的方法示意图； 图2是实现本发明的双目立体图像校正和显示优化方法的流程图；
图3是实现本发明的双目立体图像校正的方法流程图；
图4是实现本发明的双目立体图像显示偏移值优化的方法流程图；
图5是实现本发明的双目立体图像显示偏移值优化的原理示意图。
具体实施例方式
如图2所示，本发明提供的技术方案整体流程如下 1、首先获得拍摄得到的待处理的双目立体图像对。拍摄的方法可以是用非专业摆 放的多个照相机、摄像机进行同时拍摄，也可以是由单独的照相机或摄像机一边进行水平 移动一边拍摄。拍摄的结果得到多视点的图像或者多视点视频中某时刻的图像，取其中需 要进行显示的两个视点的图像即为待处理的双目立体图像对。取上述双目立体图像对中的 一幅作为基本视点图像，另一幅为待处理图像。则以所述基本视点图像为参考，对待处理图 像进行校正处理。 2、进行图像校正处理。对上述双目立体图像对进行处理，本方法的特征在于，校正
处理包括以下内容首先对所述待处理图像进行旋转处理，使其与所述基本视点图像的内
容不存在旋转偏差；之后对所述待处理图像进行纵向的縮放校正处理，使其与所述基本视
点图像在垂直方向的对应内容上不存在长度差异；最后对所述待处理图像进行纵向平移对
齐处理，使其与所述基本视点图像的对应部分在垂直方向上不存在高度差异。 3、进行立体显示偏移值优化选择。立体显示偏移参数指左右图像在立体显示时在
显示器上的水平相对位置的数值。当该数值和拍摄时的相机实际距离参数吻合时，能够获
得最佳的现实效果。本方案的特征在于，不需要拍摄时的相机实际距离等参数，而是提供一种通过分析左右视点图像内容，自动优化得到显示时最佳的左右视点图像水平位置偏移值 的方法。该方法的特征步骤为，首先通过图像分割等方法找到前景和背景中的重要物体；之 后计算这些重要物体在双目立体图像中的视差；之后通过公式计算的获得这些重要物体在 不同显示偏移值下的显示深度；最后通过优化最适合观看的深度求出最佳的显示偏移值。 本方法得到的显示偏移参数能够提供良好的双目立体图像显示效果。 如图l所示，表示了一般的多视点立体图像的拍摄方法。多个摄像机从不同视点 (一般为同一水平面中的不同拍摄角度)对同一场景进行拍摄，拍摄的格式可以是静态图 像，也可以是动态视频。多摄像机可以是多个实际相机同时拍摄，也可以是同一个相机在不 同时刻移动位置后拍摄。拍摄的图像传输到计算机中用于处理。
获得多视点图像后，如图2所示，本发明具体包括 201 :获得双目图像对的过程。输入数据为拍摄得到的多视点图像，处理方法为根 据实际显示需要，选择多视点图像中的两幅不同视点的图像作为待处理图像，然后将其中 左视点的图像作为基本视点图像，右视点图像作为待处理图像。此外，在不同的应用中可以 将右视点图像作为基本视点图像，左视点图像作为待处理图像。 202 :进行图像校正处理。该过程处理对象为上述所谓待处理图像，而处理过程参 考上述所谓基本视点图像。处理结果得到校正过的待处理图像并输出。具体处理过程在后 文详细介绍。 203 :进行立体显示偏移值的优化选择。该过程输入为上述所谓基本视点图像和所 谓经过图像校正的待处理图像。输出为在双目立体显示时需要的优化求解得到的显示偏移 值，同时两幅图像不经过改动。具体的处理过程在后文详细介绍。 204 :进行双目立体显示。显示的输入为上述所谓基本视点图像和所谓经过图像校 正的待处理图像，以及上述所谓经过优化求解得到的显示偏移值。利用这两幅双目立体图 像和显示偏移值，能够将双目立体图像显示在显示器中。 前述步骤202中，图像校正处理的方法细节如图3所示。该方法的输入是待显示的 双目图像对，包括上述所谓基本视点图像和待处理视点图像；输出是校准后的双目图像对， 包括所谓基本视点图像和处理后的待处理视点图像。具体的方法步骤包括
202a :确定基本视点图像。在图2的步骤中已经确定了所谓基本视点图像，则这里 直接保留；如果之前未确定，则利用201的同样方法确定。 202b :对待处理视点图像进行旋转校正。方法是在所述基本视点图像和所述待处 理视点图像中利用图像处理的方法找到2个或更多个内容匹配点作为锚点，然后通过对所 述待处理视点图像进行旋转变幻，使得所述待处理视点图像中的各锚点连线的斜率与所述 基本视点图像中对应的各锚点连线的斜率在允许偏差范围内相等。 202c :对待处理试点图像进行纵向縮放校正。方法是在所述基本视点图像和进过 上一步处理后的所述待处理视点图像中利用图像处理的方法找到2个或更多个内容匹配 点作为锚点，然后通过对所述待处理视点图像进行纵向的縮放变形，使得所述待处理视点 图像中的各锚点垂直距离与所述基本视点图像中对应的各锚点垂直距离在允许偏差范围 内相等。 202d:对待处理视点图像进行纵向平移对齐。方法是在所述基本视点图像和进过 上一步处理后的所述待处理视点图像中利用图像处理的方法找到1个或更多个内容匹配
5点作为锚点，然后通过对所述待处理视点图像进行纵向的位置移动，使得所述待处理视点 图像中的各锚点与所述基本视点图像中对应的各锚点的纵向位置在允许偏差范围内相等。
前述步骤203中，立体显示偏移值优化选择的方法细节如图4所示。该方法的输 入是经过图像校正步骤的双目图像对，包括上述所谓基本视点图像和经过校正的待处理视 点图像；输出是经过优化选择的立体显示偏移值，以及未经修改的双目图像对。具体的方法 步骤包括 203a :图像分割得到物体。这一步骤对所述的基本视点图像和所述的待处理视点 图像进行，利用图像处理的方法，获得两幅图像中的主要物体轮廓，将前景与背景分离，并 且保证两幅图像得到的主要物体一一对应； 203b :计算所有物体视差和显示偏移值的关系。视差和显示偏移值的定义如图5 所示。图5是左视点图像和右视点图像在显示器上显示的示意图。其中，左右视点图像只 有一部分重叠部分会显示在显示器上，并且左右视点图像在位置上存在一个水平偏移，如 图中的x所指，称作显示偏移值。而在左右视点图像中，拍摄的同一个物体的位置由于拍摄 视点的不同和显示偏移值x的共同作用，会在显示器上产生水平的位置差异，称作视差，如 图中《(x)所示，表示是显示偏移值x的函数。则《(x)就是该物体视差和显示偏移值的关 系。 203c :计算所有物体深度和显示偏移值的关系。根据上一步得到的所有物体 偏移值x决定的视差dA(x)，计算每一个物体的显示深度dA。计算方法利用如下公式
A = /WX)，《J = ( )、~~,dA(x) < deye 公式中，dwat。h是观看着距离显示器的距离，d，是观看着的双眼间距。当这两个参 数取经验值时，可以简化该公式。利用该公式即可求出显示偏移值x下物体A的显示深度 dA。 203d :优化显示偏移值。利用上一步得到的所有物体的深度和显示偏移值的关系， 通过优化最适合观看的物体深度，可以通过上一步给出的公式求出对应的显示偏移值x。其 中，所谓优化最适合观看的物体深度的准则，包括将所有物体深度均匀分布在屏幕前后，并 防止极大绝对值的负深度值的出现。这些准则在不同情况下可以灵活应用，各种实现均包 括在本发明的技术范围之内，均应得到保护。
权利要求
一种实现双目立体图像校正和显示优化的方法，其特征是所述方法步骤如下(1)对于采集到的多视点的图像或者多视点视频中某时刻的图像，取其中需要进行显示的两个视点的图像为待处理的双目立体图像对，取所述双目立体图像对中的一幅作为基本视点图像，另一幅为待处理图像，则以所述基本视点图像为参考，对待处理图像进行校正处理；(2)所述校正处理包括以下内容首先对所述待处理图像进行旋转处理，使其与所述基本视点图像的内容不存在旋转偏差；之后对所述待处理图像进行纵向的缩放校正处理，使其与所述基本视点图像在垂直方向的对应内容上不存在长度差异；最后对所述待处理图像进行纵向平移对齐处理，使其与所述基本视点图像的对应部分在垂直方向上不存在高度差异；(3)进行立体显示偏移值优化选择首先在所述基本视点图像和待处理图像中通过图像分割方法分别找到各自前景和背景中的重要物体；计算所述重要物体在双目立体图像中的视差；之后计算所述重要物体在不同显示偏移值下的显示深度；最后通过优化最适合观看的深度求出最佳的显示偏移值。
2. 如权利要求1所述的实现双目立体图像校正和显示优化的方法，其特征是所述计算重要物体在不同显示偏移值下的显示深度采用公式<formula>formula see original document page 2</formula>其中，cLt。h是观看着距离显示器的距离，d，是观看着的双眼间距；利用该公式即可求出显示偏移值x下物体A的显示深度dA。
全文摘要
本发明提供一种实现双目立体图像校正和显示优化的方法，其对于采集到的多视点的图像或者多视点视频中某时刻的图像，取其中需要进行显示的两个视点的图像为待处理的双目立体图像对，取所述双目立体图像对中的一幅作为基本视点图像，另一幅为待处理图像，则以所述基本视点图像为参考，对待处理图像进行校正处理；再进行立体显示偏移值优化选择。其优点是用于对于非专业拍摄获得的双目立体图像进行处理，对于采用非专业设备或方法拍摄的多视点图像，可以对其中任意需要进行显示的双目图像对进行校正，并在不需要相机拍摄参数的情况下自动优化得到显示时的左右图像水平显示位置偏移值，从而使非专业的多视点立体图像拍摄也能获得效果良好的立体显示。
文档编号H04N13/00GK101729918SQ20091021282
公开日2010年6月9日 申请日期2009年10月30日 优先权日2009年10月30日
发明者刘磊, 戴琼海, 陆锋 申请人:无锡景象数字技术有限公司