图像深度信息和图像像素信息的获取方法及装置的制作方法

专利名称：图像深度信息和图像像素信息的获取方法及装置的制作方法
技术领域：
本发明涉及信息采集和处理技术，特别涉及一种图像深度信息获取方 法、 一种图像像素信息获取方法、 一种图像深度信息获取装置、 一种图像像 素信息获取装置。
背景技术：
媒体发展经历了音频、图像、视频三个阶段。但随着图像显示技术的飞速 发展，人们已经不再满足于仅仅能重现信息的视频阶段。因此，出现了作为第 四代々某体的表示物体空间位置的三维信息，通常包括二维平面位置信息和深度 信息，且三维信息的需求将会越来越广泛。现有技术中，如果需要实际采集获取到真实的深度信息，可以通过一种基于双目视觉的三维照相机来实现。该三维照相机具有两个摄像头活动摄像头 和固定摄像头，通过调节活动摄像头来获得不同视差的两幅图像，识别并匹配 活动摄像头和固定摄像头获得的图像的像素点，结合两个摄像头的已知参数， 然后用后处理的方法计算出深度信息。 但这种三维照相机具有如下缺陷1、 仅仅是从两个平行视点分别记录了两个视场，而该三维照相机内部不具 有信息处理功能，还需要经过对该照相机获取的信息进行后续处理才能得到深 度信息；2、 在后续处理过程中，通常需要先对所有像素点进行匹配，计算量大且实 现难度大；而且，如果固定摄像头与活动摄像头的拍摄方向不平行，即具有一 定的夹角，则在计算深度信息的过程中还需考虑该夹角，进一步增加了匹配过 程中的计算量；3、 结构上与现有的普通照相机相差较大，制造工艺实现困难较大；4、 由于照相机的成本主要集中在光学镜头上，而这种三维照相机具有两个 摄像头，使得相比于普通照相机需要很高的成本。可见，现有的照相机无法直接获取深度信息，且间接获取深度信息的计算 量较大、实现难度也较大、成本非常高。发明内容有鉴于此，本发明实施例提供一种图像深度信息获取方法和装置，能够 直接获取深度信息且减小获取深度信息的计算量和难度。本发明实施例还提供一种图像像素信息获取方法和装置，能够直接获取 包括了深度信息的像素信息，且减小获取深度信息的计算量和难度。本发明实施例提供的 一种图像深度信息获取方法，包括根据预先设定的特征规则，从主成像和参考成像的像素点中抽取特征 点，其中，主成像和参考成像是在同一光轴上通过不同焦距成像得到的；匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像 素点对应的深度信息。本发明实施例提供的一种图像像素信息获取方法，包括根据预先设定的特征规则，从主成像和参考成像的像素点中抽取特征 点，其中，主成像和参考成像是在同一光轴上通过不同焦距成像得到的；匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像 素点对应的深度信息，并确定主成像中每一个像素点对应的二维平面位置信 息，确定主成像中每个像素点的纹理信息；将每个像素点的深度信息、二维平面位置信息和紋理信息合并，作为像素信息。本发明实施例提供的一种图像深度信息获取装置，包括特征抽取单元、 特征匹配单元和信息计算单元，所述特征抽取单元，接收在同 一光轴上通过不同焦距成像得到的主成像和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的像素点 中抽取特征点，并将抽取的特征点输出给特征匹配单元；所述特征匹配单元，匹配主成像中的每个特征点与参考成像中的对应特 征点，得到特征点对；将得到的每对特征点输出给信息计算单元；所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成 像中每一个像素点对应的深度信息。本发明实施例提供的一种图像像素信息获取装置，包括特征抽取单元、 特征匹配单元、信息计算单元和信息合并单元；所述特征抽取单元，接收在同 一光轴上通过不同焦距成像得到的主成像 和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的像素点 中抽取特征点，并将抽取的特征点输出给特征匹配单元；所述特征匹配单元，匹配主成像中的每个特征点与参考成像中的对应特 征点，得到特征点对；将得到的每对特征点输出给信息计算单元；所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成 像中每一个像素点对应的深度信息，将计算得到的深度信息输出给信息合并单元；所述信息合并单元，提取出每个像素点的紋理信息，将提取的每个像素 点的紋理信息与对应的深度信息和二维平面位置信息合并，并存储合并后的 信息。由上述技术方案可见，本实施例的技术方案具有如下有益效果 将在同 一光轴上进行两次不同聚焦成像得到的主成像和参考成像进行 匹配，并根据匹配后的每一对像素点的像素坐标信息，直接获取了主成像中 每个位置的深度信息，而不需要后续处理；而且，在匹配过程中，抽取主成像和参考成像中的特征点，并将抽取的特征点进行匹配，还减小了计算量和难度，并保证了匹配的精度；能够根据获取的深度信息获得完整的三维信息， 并能够将三维信息与紋理信息合并，得到完整的像素信息，以便于恢复真实 的三维场景，具有较高的实用性。


图1为本发明实施例中图像深度信息获取装置的示例性结构图。图2为本发明实施例中图像深度信息获取方法的示例性流程图。图3a和3b为本发明实施例中的成像示意图。图4为本发明实施例中的平面极坐标系的示意图。图5a和5b为本发明实施例中图像深度信息获取装置的结构图。图6为本发明实施例中图像深度信息获取方法的流程图。
具体实施方式
以下参照附图并举实施例，对本发明实施例进一 步详细说明。本发明的实施例将在同 一光轴上进行两次不同聚焦成像得到的大焦距成像和小焦距成像进行匹配，即匹配大焦距成像中每一像素点与小焦距成像中的对应像素点，然后根据匹配得到的每一对像素点的像素坐标信息，获取每个位置像素点的深度信息。其中，可选择大焦距成像或小焦距成像作为主成像，而将另一个成像作为参考成像。图1为本发明实施例中图像深度信息获取装置的示例性结构图。如图1 所示，本发明实施例中的图像深度信息获取装置包括特征抽取单元、特征 匹配单元和信息计算单元。特征抽取单元，接收外界通过不同焦距成像得到的主成像和参考成像； 根据内部存储的预设特征规则，从主成像和参考成像的所有像素点中抽取特 征点，并将抽取的特征点输出给特征匹配单元。其中，特征点是指图像中符合预设的特征规则的像素点。例如，某一像 素点相对于其周围的像素点，锐度值达到预设的阈值，则该像素点即可被确定 为特征点。特征规则可以为坎尼(Canny)边检测算法、哈里斯(Harrys)角 检测算法等任意一种特征规则。特征匹配单元，冲艮据主成像中的特征点与参考成像中的特征点的匹配程 度，匹配主成像中的每个特征点与参考成像中的对应特征点，得到与主成像 中特征点数量相等的特征点对；将得到的每对特征点输出给信息计算单元。其中，匹配程度可以通过像素点的亮度差和/或平滑度等参数来确定。信息计算单元，根据每一对特征点的像素坐标信息，确定主成像中每一 个像素点对应的深度信息。上述装置中，特征抽取单元接收到的主成像和参考成像可以通过两次拍 摄得到，但两次拍摄基于同一光轴。特征抽取单元还可以将主成像和参考成 像中抽取后剩余的像素点作为非特征点输出给特征匹配单元，由特征匹配单 元对非特征点进行匹配，并输出给信息计算单元；信息计算单元分别根据匹 配得到的每一对特征点和每一对非特征点的像素坐标信息，计算得到主成像 中每一个特征点和非特征点对应的深度信息。这样，就获取了成像中所有像素点的深度信息。或者由信息计算单元可以根据特征点的像素信息计算每一 个特征点对应的深度信息，并根据特征点的深度信息估计出非特征点的深度信息，也可以实现对所有像素点的深度信息的获取。如果在如图l所示的装置基础上，再增加一个信息合并单元，接收并存储信息计算单元输出的深度信息；提取出每个像素点的紋理信息，将提取的 每个像素点的紋理信息与对应的深度信息和二维平面位置信息合并，得到主 成像中每一个像素点的像素信息。这样就构成了本实施例中的图像像素信息获取装置。图2为本发明实施例中图像深度信息获取方法的示例性流程图。如图2 所示，本发明实施例中的图像深度信息获取方法包括以下步骤步骤201,从通过不同焦距成像得到的主成像和参考成像的所有像素点中，根据预先设定的特征规则抽取特征点。步骤202,根据主成像中的特征点与参考成像中的特征点的匹配程度，匹配主成像中的每个特征点与参考成像中的对应特征点，得到与主成像中特 征点数量相等的特征点对。两次成像的光照等条件不可能完全一样，而且由于成像是由多个离散的 像素点构成的，从主成像中抽取的特征点很有可能对应在参考成像中的两个 特征点之间，因此，特征点匹配是找出匹配程度最大的对应特征点。本步骤的同时或之后，还可以将抽取后剩余的像素点作为非特征点，并 4姿照相同的或其他任意方式进行匹配。步骤203,根据匹配得到的每一对特征点的像素坐标信息，确定主成像 中每一 个像素点对应的深度信息。本步骤中，如果在本步骤之前进行了非特征点的匹配，则可以根据匹配 得到的每一对非特征点的像素坐标信息，这样，得到主成像中每一个非特征 点对应的深度信息，即可确定所有像素点的深度信息；如果本步骤之前不进 行非特征点的匹配，还可以根据特征点的像素信息计算每一个特征点对应的 深度信息，并根据特征点的深度信息估计出每一个非特征点对应的深度信 息，也可以确定所有像素点的深度信息。上述流程中，主成像和参考成像可以是通过两次拍摄得到的，例如可以 在第一次拍摄得到主成像后立即调整焦距，并在同一光轴上再次拍摄得到参 考成像；也可以不对非特征点进行匹配，而是根据特征点的深度信息估计出 非特征点的深度信息，例如采用插值运算等方法。在上述流程中步骤203之前、同时或之后，确定主成像中每一个像素点 对应的二维平面位置信息，确定主成像中每个像素点的紋理信息，然后再将每个像素点的深度信息、二维平面位置信息和紋理信息合并，作为像素信息， 即实现了包括了深度信息的像素信息获取，即构成了本实施例中的图像像素 信息获取方法。将大焦距成像作为主成像，将小焦距成像作为参考成像时，匹配特征点的过程是根据低分辨率图像中的像素点在高分辨率图像中寻找匹配的像素 点，因而，相对于小焦距成像作为主成像、大焦距成像作为参考成像的情况， 匹配精度及后续得到的深度信息的精度会较高。以下以大焦距成像作为主成 像、小焦距成像作为参考成像为例进行说明。图3a和3b为本发明实施例中的成像示意图。如图3a和3b所示，本实 施例中通过两次成像得到主成像和参考成像，在穿过拍摄镜头所构成的圓柱 面轴心的某一截面内，主成像中某个像素点M1 (特征点或非特征点)的像 素坐标信息可以表示为(-f\， r,)，参考成像中对应的像素点M2的像素坐 标信息可以表示为(Zo-f2， r2)。其中，f,和f2分别为主成像和参考成像的成像焦距；r,和r2分别为主成 像中的像素点Ml和参考成像中的像素点M2到光轴的距离，也可以表示为 极坐标中的极径p; zo为两次成像的相机光学中心的距离，即针孔l与针孔 2的距离。fi和q具有如下关系f-贵 公式i f2和f2具有如下关系l = i 公式2Z - z0 /2其中，Z为深度信息、R表示为极坐标的二维平面位置信息；R、 Z以 及如图3a或3b所示的平面与水平面或垂直面的夹角，可表示Ml和M2对 应的空间点M所处的位置。因此，&和&、 r,和f2、 Zo均可通过常用手段检测或者计算得到，例如 r!和r2可以通过计算像素点在成像中相对于成像中心的横向距离与纵向距离 的平方和的开方运算结果来获得。两次成像可以分别通过两个感光元件来实现，也可以通过一个带有緩存 的感光元件来实现。如杲主成像和参考成像分别通过两个感光元件来实现，则两个感光元件可以处于不同位置，即如图3a所示的与光轴垂直的实线和虛线，也可以处于相同位置，即重叠于如图3b所示的与光轴垂直的实线。如果主成像和参考成像通过一个带緩存的感光元件实现，即如图3b所示的与光轴垂直的实线，则此时的zo可表示为z。=/2-/i 公式3 本实施例中，可以根据公式1和公式2得到每一个像素点对应的深度信息的计算过程，该过程可表示为<formula>formula see original document page 16</formula>
其中，Z表示像素点的深度信息；f,和&分别为主成像和参考成像的成 像焦距；r,和r2分别为主成像中的像素点和参考成像中的像素点到光轴的距 离；zo为两次成像的相机光学中心的距离，即针孔1与针孔2的距离。本实施例中，在获取深度信息的同时，还可以计算出表示为极坐标的二 维平面位置信息，该计算过程可以表示为W = Zo_!i^_ 公式5其中，R表示该像素点与光轴之间的距离。如果两次成像的相机光学中心的距离zo满足条件zQ=/2-乂，则上述 计算深度信息的公式4还可以表示为<formula>formula see original document page 16</formula>基于上述情况，在获取深度信息的同时，计算表示为极坐标的二维平面 位置信息的过程可以表示为<formula>formula see original document page 16</formula>如果在计算过程中，依次按照位于不同极角的像素点的z和R,则使得极角e为已知量，则z、 R和e的组合即可表示一个像素点的空间位置，即表示物体空间位置的完整三维信息。也可以由已知的每个像素点在图像中的
位置坐标，即x和y,与Z组合为完整的三维信息。
这样，在如图3b所示的情况下确定zo的计算过程，相对于如图3a所示 的情况下要简单，同时也简化了获取深度信息的处理过程。
对于本实施例中如图1所示的图像深度信息获取装置，像素坐标信息中 的焦距可以被预先存储在一个功能单元中，也可以由外部输入；而像素点到 光轴的距离可以由任意一个功能单元根据每个像素点在成像中所处的位置 来确定；两次成像的相机光学中心的距离可以预先存储在一个功能单元中， 也可以计算获得，还可以由外部输入。同理，对于如图2所示的图像深度信 息获取方法，也可以采用类似的原理获取像素坐标信息。
本实施例中，为了减少处理过程中的计算量和复杂程度，在进行特征点 和非特征点的匹配时，可以依据各点在成像中对应的极坐标或直角坐标进行 匹配。
图4为本发明实施例中的平面极坐标系的示意图。如图4所示，以依据 各像素点在成像中对应的极坐标进行匹配为例，左图为主成像，右图为参考 成像。由于成像中心始终对应于相机光轴，而两次成像的光轴并没发生变化， 所以两次成像得到的主成像和参考成像的中心就是相互对应的像素点。以成 像中心为极点，分别在主成像和参考成像向右方向的水平轴为极轴建立平面 极坐标系。如图4所示的左右两图中的像素点至少存在以下规律
A、 主成像中的像素点与其在参考成像中对应的像素点的极角相等；
B、 由于主成像的焦距大于参考成像的焦距，因此，主成像中的像素点 极径p大于在参考成像中对应的像素点的极径p，；
C、 主成像极角相同的两个像素点n ( n为正整数)和n-l，如果有极径 p n>p (n-l)，则它们在参考成像中对应的像素点n，和(n-l)，,有p n' >p
(n-l)，。其中，pn为在当前极角上的第n个特征点对应于主成像的极径； p(n-l)，和pn，分别为在当前极角上的第n-l个和第n个特征点对应于参
考成像的极径。因此，如果只考虑主成像中极角为6的像素点，则从主成像中心向外的第n个像素点，即像素点n的极径为pn,在参考成像中与像素点n对应的 像素点n'的极角也为e,但其极径pn，具有如下限制p (n-l)， < p n， < pm，，其中，pm，等于pn。即像素点n，必定在像素点(n-l)，与像素 点m'所连接的线段上。这样，在匹配特征点或非特征点时，只需在如上所述的限定范围内进行 匹配即可，而无需进行所有特征点或非特征点的匹配运算。以上是对本发明实施例中的图像深度信息获取装置和方法的总体说明， 下面，对本发明实施例中的图像深度信息获取装置和方法进行详细说明。图5a和5b为本发明实施例中图像深度信息获取装置的结构图。如图 5a所示，以主成像和参考成像通过一个带緩存的感光元件实现为例，本实施 例中的图像深度信息获取装置1包括输入单元、成像单元、緩存单元、采 集控制单元、特征抽取单元、特征匹配单元和信息计算单元。输入单元，可以为带焦距调整结构的任意一种光学镜头，在采集控制单 元的控制下进行焦距调整，并将光信号投影到成像单元。成像单元，将接收到的光信号转换为图像信号，即主成像和参考成像； 在采集控制单元的控制下，将主成像输出给緩存单元，将参考成像输出给特 征抽取单元。緩存单元，接收并存储成像单元输出的主成像，并在采集控制单元的控 制下输出给特征抽取单元。实际应用中，任意一种具有緩存的感光元件均可以实现成像单元和緩存 单元的组合，例如具有緩存的电荷耦合器件(Charged Coupled Device, CCD) 或互4卜'f生氧4b金属半导体(Complementary Metal-Oxide Semiconductor ， CMOS)。采集控制单元，向输入单元输出焦距调整信号，当输出的焦距调整信号 为缩小焦距时，即表示需要获取参考成像，向成像单元输出緩存信号，控制 成像单元将得到的主成像输出给緩存单元；当输出的焦距调整信号为放大焦距时，即表示需要获取主成像，向成像单元和緩存单元输出控制信号，控制 成像单元将得到的参考成像输出给特征抽取单元，控制緩存单元将存储的主 成像输出给特征抽取单元。
实际应用中，采集控制单元可以根据预先设定的时间间隔，输出各控制 信号。例如，在完成主成像拍摄后的时间间隔tl之后，输出缩小焦距的焦 距调整信号，并在完成参考成像拍摄后的时间间隔t2之后，输出放大焦距 的焦距调整信号。如果两次拍摄中，先拍摄主成像，则为了保证主成像和参 考成像中的所有特征点尽可能相同，应当尽可能地将tl设定为很小的值，
使得两次聚焦成像的时间间隔尽可能地短；同理，如果先拍摄参考成像，则 应当尽可能地将t2设定为很小的值，此时，需要控制成像单元得到的参考 成像经由緩存单元进行緩存，而主成像直接输出给特征抽取单元。
特征抽取单元，接收成像单元和緩存单元输出的主成像和参考成像；根
据内部存储的预设特征规则，抽取主成像和参考成像中对应位置的特征点， 并将抽取的特征点输出给特征匹配单元；将抽取后剩余的像素点作为非特征 点输出给特征匹配单元。
特征匹配单元，依据各特征点在成像中对应的极坐标或直角坐标，计算 主成像中的特征点与参考成像中的特征点的匹配程度；依据各非特征点在成 像中对应的极坐标或直角坐标，计算主成像中的非特征点与参考成像中的非 特征点的匹配程度；根据计算得到的匹配程度，并按照动态规划法，计算每 一个特征点和非特征点的最高匹配程度，分别确定参考成像中与主成像中每 一个特征点和非特征点对应的特征点和非特征点，得到与主成像中特征点数 量相等的特征点对、与主成像中非特征点数量相等的非特征点对；将匹配得 到的每一对特征点和每一对非特征点输出给信息计算单元。
信息计算单元，根据每一对特征点和非特征点的像素坐标信息，计算得
到主成像中每个像素对应的三维信息。
本实施例中，像素坐标信息中的主成像和参考对应的焦距可以预先存储 在特征抽取单元、或特征匹配单元、或采集控制单元中，并提供给信息计算单元，也可以直接存储于信息计算单元中；两次成像的相机的光学中心距离
可以预先存储在特征抽取单元、或特征匹配单元、或采集控制单元中，也可 以由特征抽取单元、或特征匹配单元、采集控制单元4全测或计算并输出给信
息计算单元，还可以直接存储于信息计算单元中或由信息计算单元直接检
测；特征点和非特征点到光轴的距离可以由特征抽取单元、或特征匹配单元
根据每个特征点在成像中所处的位置来确定，并输出给信息计算单元，也可 以直接由信息计算单元来确定。
本实施例的图像深度信息获取装置1中，通过一个带緩存的感光元件来实现主成像和参考成像的获取。本实施例中的图像深度信息获取装置2则可 通过两个感光元件来实现成像。
如图5b所示，以主成像和参考成像通过一个带緩存的感光元件实现为 例，本实施例中的图像深度信息获取装置2包括输入单元、主成像单元、 参考成像单元、采集控制单元、特征抽取单元、特征匹配单元和信息计算单 元。
输入单元，可以为带焦距调整结构的任意一种光学镜头，在采集控制单 元的控制下进行焦距调整，如果采集控制单元输出的焦距调整信号为缩小焦 距，则将光信号投影到参考成像单元；如果采集控制单元输出的焦距调整信 号为放大焦距，则将光信号投影到主成像单元。
主成像单元，将接收到的光信号转换为图像信号，即主成像，并在采集 控制单元的控制下输出给特征抽取单元。
参考成像单元，将接收到的光信号转换为图像信号，即参考成像，并在 采集控制单元的控制下输出给特征抽取单元。
实际应用中，主成像单元和参考成像单元，可以分别为任意一种感光元 件，例如CCD或CMOS;参考成像单元为捕捉亮度的高分辨率感光元件， 即对于参考成像不需要紋理信息，这样可以降低装置的成本以及简化后续处 理过程。
采集控制单元，向输入单元输出焦距调整信号，当输出的焦距调为缩小焦距时，即表示需要获取参考成像；当输出的焦距调整信号为放大焦 距时，即表示需要获取主成像；在完成两次拍摄后，即控制输入单元缩小一 次焦距和放大一次焦距之后，向主成像单元和参考成像单元输出拍摄完成信 号，控制主成像单元和参考成像单元分别将主成像和参考成像输出给特征抽 取单元。
实际应用中，采集控制单元可以根据预先设定的时间间隔，输出各控制 信号。例如，在完成主成像拍摄后的时间间隔tl之后，输出缩小焦距的焦 距调整信号，并在完成参考成像拍摄后的时间间隔t2之后，输出放大焦距 的焦距调整信号。如果两次拍摄中，先拍摄主成像，则为了保证主成像和参 考成像中的所有特征点尽可能相同，应当尽可能地将tl设定为很小的值， 使得两次聚焦成像的时间间隔尽可能地短；同理，如果先拍摄参考成像，则 应当尽可能地将t2设定为很小的值。
本实施例的图像深度信息获取装置2中的特征抽取单元、特征匹配单元 和信息计算单元可以与图像深度信息获取装置1中的相同。
上述图像深度信息获取装置1和图像深度信息获取装置2中，也可以不 控制输入单元进行焦距调整，而是由外力带动装置在光轴方向上移动，以获 取主成像和参考成像；特征匹配单元也可以不对非特征点进行匹配，而是由 信息计算单元根据特征点的深度信息估计出非特征点的深度信息，例如采用 插值运算等方式。
考虑到实际应用中的需求，本实施例还提供了两种图像像素信息获取装 置，即图像像素信息获取装置1和图像像素信息获取装置2。
图像像素信息获取装置1包括如图5a所示的图像深度信息获取装置 1和一个信息合并单元。
图像深度信息获取装置1的信息计算单元将计算得到的主成像中所有 特征点和非特征点及计算得到的深度信息输出给信息合并单元；
信息合并单元提取出每个特征点和非特征点的紋理信息，按照每个特征 点的位置，将提取的紋理信息与对应的深度信息和二维平面位置信息合并，得到并存储像素信息(包括三維信息和紋理信息，即每个像素点的像素信 息)。
图像像素信息获取装置2包括如图5b所示的图像深度信息获取装置 2和一个信息合并单元，其工作原理可以与图像像素信息获取装置相同。
实际应用中，信息合并单元还可以在得到主成像中所有像素点的深度信 息后，再按照线性插值算法，将三个相邻像素点的深度信息线性叠加，再将 叠加后的深度信息作为中间一个像素点的最终三维信息。这样，提高了深度 信息的精度。
本实施例在实际应用中，成像的清晰与否与拍摄时的焦平面以及镜头 (即如图5a 5b所示的输入单元)景深有密切的关系。景深越大，能够清晰 成像的范围就越大。而且景深的1/3会落在焦平面前，景深的2/3会落在焦 平面后。景深的深度和三个因素有关光圈的大小、相机到对象的距离、镜 头的焦距。因此，在本实施例的图像深度信息获取装置中，较佳地选择光圏 小、景深大的镜头作为输入单元，以获得尽可能清晰的主成像和参考成像。
下面，对本实施例中的图像深度信息获取方法进行详细说明。
图6为本发明实施例中图像深度信息获取方法的流程图。如图6所示， 本实施例中的图像深度信息获取方法包括以下步骤
步骤601,进行大焦距成像，得到主成像。
本步骤之前，需要选择光圏，调整焦距。
步骤602,进行小焦距成像，得到参考成像。
本步骤之前，需要缩短拍摄的焦距；如果进行拍摄的装置包括两个感光 元件，则需要进行感光元件的切换，较佳地，还可以将步骤601拍摄时使用 的感光元件切换到另 一个捕捉亮度的高分辨率感光元件，即对于参考成像不 需要紋理信息，这样可以降低装置的成本以及后续处理过程。
上述步骤601~步骤602可以为在较短的时间间隔内轮换调整焦距并通 过一个感光元件获取主成像和参考成像的过程，也可以为在较短的时间间隔 内轮换调整焦距并交替切换两个感光元件获取主成像和参考成像的过程；得到的成像可以如图3a 3b所示。
上述步骤601 步骤602也可以为在较短的时间间隔内带动拍摄装置在 光轴方向上移动拍摄的过程。
步骤603,根据预先设定的特征规则，分别从主成像和参考成像的所有 像素点中提取特征点。
本步骤中，同时将主成像和参考成像中剩余的像素点作为非特征点。
步骤604,计算主成像中的特征点与参考成像中的特征点的匹配程度。
本步骤中，可以按照如图4所示的方式，确定每个特征点对应于主成像 中的极坐标值，依次在不同的极角上，计算主成像中第n个特征点与参考成 像中，在大于p(n-l)，且小于pn范围内的所有特征点的匹配程度。
匹配程度可以通过多种方式来确定，例如，计算主成像第i个特征点和 参考成像中第j个特征点的亮度差和/或平滑度等参数，并根据计算出的参数 的实际取值来确定。
步骤605,按照动态规划法，计算每一个特征点和非特征点的最高匹配 程度，并根据计算出的最高匹配程度确定参考成像中与主成像中每一个特征 点对应的特征点。
本实施例中，主成像的特征点有且只有一个参考成像中的匹配特征点，
因此，在极角为e的特征匹配上，本步骤得到的特征点对数与主成像的特征 点个数相同。显然，主成像和参考成像的匹配是符合马尔可夫规则的，每个
像素只和相邻的像素相关；而且从如图4所示的极坐标系可见，匹配的决策 过程也是有序的，即规律C 。这就完全符合了动态规划算法应用的两个条件。 按照动态规划算法计算最高匹配程度的过程可以表示为
其中，Ei,m表示主成像中第i个特征点分别与参考成像中第n 第m个特 征点的最小不匹配度，即最大匹配程度；Wi, k表示主成像中第i个特征点与 参考成像中第k个特征点的亮度差。
在执行上述计算过程的同时，记录每个E^对应的k值，即得到了导致最高匹配程度也就是Ei，m值的最小的匹配集〈i,k、即实现了主成像中的第i 个特征点和参考成像中的第k个特征点匹配。步骤606，对主成4象中非特征点与参考成像中的非特征点进行匹配。本步骤中，非特征点的匹配过程可以与步骤604~步骤605相同，也可 以不按照每个非特征点在如图4所示的范围内进行匹配的方式，而是按照其 他任意方式来执行，例如计算主成像中的每个非特征点与参考成像中所有非 特征点的匹配程度，再确定参考成像中具有最大匹配程度的非特征点，为与 主成像中相应非特征点匹配的非特征点。步骤607，根据每一对特征点和非特征点的像素坐标信息，计算得到主成 像中每个像素对应的深度信息。本步骤中，由于在特征点和非特征点的匹配过程中获知每一个特征点和非 特征点在成像中所处的位置，即在主成像中对应的极坐标值(r, 6 )和在参考 成像中对应的极坐标值(r， ， 6 )，而且根据预先获知的拍摄参数&，、 f2，、 Zo, 因此，可以根据本实施例中的公式4,计算出每个像素点的深度信息Z,即确 定了每个像素点的深度信息；还可以根据本实施例中的公式5计算出每个像素 点相对于光轴的位置R。当步骤601 步骤602中基于一个感光元件获取主成像和参考成像，或者通 过两个处于相同位置的感光元件获取主成像和参考成像时，本步骤还可以采用公式6来计算每个像素点的深度信息Z以及根据本实施例中的公式7来计算每 个像素点相对于光轴的位置R。在步骤607之后，为了提高步骤607获得的深度信息的精度，采用线性 插值的方法确定主成像中每个像素点的深度信息，即由相邻的三个像素点的 深度信息线性叠加得到。本步骤中，也可以不进行线性叠加而是直接将步骤607获取的深度信息 作为最终确定的深度信息。如果需要最终获取图像像素信息，则在步骤607之后，根据每个像素点 包括的RGB(红、绿、蓝)信息确定每个像素点的紋理信息，再将每个像素点的深度信息、二维平面位置信息和紋理信息合并，并存储合并后的像素 信息。即步骤601 步骤607,以及步骤607之后的信息合并处理，即构成了本 实施例的图像像素信息获取方法。其中，最终的紋理信息较佳地仅采用主成像中的纹理信息。这样，最终 的紋理信息相对于其它 一些合成的紋理信息来说，可具有光照 一致的效果。合并后的像素信息包括x、 y、 red、 green、 blue、 depth。 x和y表示 像素点在主成像中的位置坐标的已知量，depth表示深度信息，即x、 y和 depth构成了表示物体空间位置的三维信息，red、 green、 blue为紋理信息。 合并后的像素信息也可以包括p、 6、 red、 green、 blue、 depth。 p为计 算出的R, 6为在进行匹配计算时即获知的已知量，depth表示深度信息， 即p 、 6和depth构成了表示物体空间位置的三维信息。至此，本流程结束。上述流程中，也可以先执行步骤602再执行步骤601;步骤606可以与 步骤604 步骤605同时执行，或者在步骤604 步骤605之前执行；也可以 不执行步骤606，而是在步骤607根据特征点的深度信息估计出非特征点的 深度信息，例如采用插值运算等方式。较佳地，上述流程是在拍摄成像之后立即执行的，即拍摄后即可通过上 述流程直接获得深度信息，而不需要其他后续处理。上述实施例中的图像深度信息获取装置和图像深度信息获取方法、图像 像素信息获取装置和图像像素信息获取方法，均是以大焦距成像作为主成 像、以小焦距成像作为参考成像进行的说明。如果以小焦距成像作为主成像、 以大焦距成像作为参考成像，则图像深度信息获取装置和图像像素信息获取 装置可按照相同的原理进行处理，图像深度信息获取方法和图像像素信息获 取方法也可以按照相同的操作过程进行处理。可见，本实施例的技术方案能够实现深度信息的获取，而且，采用单镜 头获取深度信息，节省了成本；根据特征规则抽取特征点，单独对所有特征点进行匹配，减小了计算量和难度，并保证了匹配的精度；依据像素点在成 像中对应的极坐标确定了一定的范围，并在确定的范围内进行匹配，进一步减少了处理过程中的计算量，降低了对硬件性能的要求，易于实现；能够根 据获取的深度信息获得完整的三维信息，并能够将三维信息与紋理信息合 并，得到完整的像素信息，以便于恢复真实的三维场景，具有较高的实用性。本实施例的技术方案至少可用于各种光学相机、摄像机，还可以用于包 括网络摄像头和监控摄像头在内的所有摄像头。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等， 均应包含在本发明的保护范围之内。
权利要求
1. 一种图像深度信息获取方法，其特征在于，包括根据预先设定的特征规则，从主成像和参考成像的像素点中抽取特征点，其中，主成像和参考成像是在同一光轴上通过不同焦距成像得到的；匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息。
2、 如权利要求1所述的方法，其特征在于，所述抽取特征点之前进一 步包括轮换调整焦距并通过一个感光元件获取主成像和参考成像；或者，轮换调整焦距并交替切换两个感光元件分别获取主成像和参考成像。
3、 如权利要求1所述的方法，其特征在于，所述匹配主成像中的每个 特征点与参考成像中的对应特征点包括计算主成像中的特征点与参考成像中的特征点的匹配程度； 根据计算得到的匹配程度，并按照动态规划算法，计算每一个特征点的最高匹配程度，根据计算出的最高匹配程度确定参考成像中与主成像中每一个特征点对应的特征点。
4、 如权利要求3所述的方法，其特征在于，所述计算主成像中的特征 点与参考成像中的特征点的匹配程度为确定每个特征点对应于主成像中的极坐标值，依次在不同的极角上，计 算主成像中第n个特征点与参考成像中，在大于p(n-l)，且小于pn范围内 的所有特征点的匹配程度；其中，n为正整数；pn为在当前极角上的第n个特征点对应于主成像 的极径；p(n-l)，为第n-l个特征点对应于参考成像的极径。
5、 如权利要求1所述的方法，其特征在于，所述抽取特征点之后，该 方法进一步包括将抽取后剩余的特征点作为非特征点，并匹配主成像中的 每个非特征点与参考成像中的对应非特征点；所述根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一 个像素点对应的深度信息为根据匹配得到的每一对特征点的像素坐标信 息，计算得到主成像中每一个特征点对应的深度信息；根据匹配得到的每一 对非特征点的像素坐标信息，计算得到主成像中每一个非特征点对应的深度 信息。
6、 如权利要求l所述的方法，其特征在于，所述根据匹配得到的每一 对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息为 将抽取特征点之后剩余的像素点作为非特征点；根据匹配得到的每一对特征 点的像素坐标信息，计算得到主成像中每一个特征点对应的深度信息；根据 所述计算得到主成像中每一个特征点对应的深度信息，估计主成像中每一个 非特征点对应的深度信息。
7、 如权利要求5或6所述的方法，其特征在于，所述确定深度信息为<formula>formula see original document page 3</formula>其中，Z为深度信息；f,和&分别为主成像和参考成像的成像焦距；r, 和r2分别为主成像中的像素点和参考成像中的像素点到光轴的距离；z。为两 次成像的相机光学中心的距离。
8、 如权利要求5或6所述的方法，其特征在于，所述通过不同焦距成 像得到的主成像和参考成像是通过一个感光元件或通过处于相同位置的两 个感光元件获取的；所述确定深度信息为其中，Z为深度信息；f,和&分别为主成像和参考成像的成像焦距；n和r2分别为主成像中的像素点和参考成像中的像素点到光轴的距离。
9、 一种图象像素信息获取方法，其特征在于，包括 根据预先设定的特征规则，从主成像和参考成像的像素点中抽取特征点，其中，主成像和参考成像是在同一光轴上通过不同焦距成像得到的； 匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像 素点对应的深度信息，并确定主成像中每一个像素点对应的二维平面位置信 息，确定主成像中每个像素点的紋理信息；将每个像素点的深度信息、二维平面位置信息和紋理信息合并，得到主 成像中每一 个像素点的像素信息。
10、 如权利要求9所述的方法，其特征在于，所述匹配主成像中的每个 特征点与参考成像中的对应特征点包括计算主成像中的特征点与参考成像中的特征点的匹配程度； 根据计算得到的匹配程度，并按照动态规划算法，计算每一个特征点的最高匹配程度，根据计算出的最高匹配程度确定参考成像中与主成像中每一个特征点对应的特征点。
11、 如权利要求10所述的方法，其特征在于，所述计算主成像中的特 征点与参考成像中的特征点的匹配程度为确定每个特征点对应于主成像中的极坐标值，依次在不同的极角上，计 算主成像中第n个特征点与参考成像中，在大于p(n-l)，且小于pn范围内 的所有特征点的匹配程度；其中，n为正整数；pn为在当前极角上的第n个特征点对应于主成像 的极径；p (n-l)，为第n-l个特征点对应于参考成像的极径。
12、 如权利要求9所述的方法，其特征在于，所述确定深度信息为<formula>formula see original document page 4</formula>其中，Z为深度信息；f,和f2分别为主成像和参考成像的成像焦距；r, 和r2分别为主成像中的像素点和参考成像中的像素点到光轴的距离；z()为两 次成像的相机光学中心的距离。
13、 如权利要求9所述的方法，其特征在于，所述通过不同焦距成像得 到的主成像和参考成像是通过一个感光元件或通过处于相同位置的两个感 光元件获取的；所述确定深度信息为z—(/2-/,)/,2 />2 - /2。其中，Z为深度信息；&和&分别为主成像和参考成像的成像焦距；r, 和r2分别为主成像中的像素点和参考成像中的像素点到光轴的距离。
14、 一种图像深度信息获取装置，其特征在于，包括特征抽取单元、 特征匹配单元和信息计算单元，所述特征抽取单元，接收在同一光轴上通过不同焦距成像得到的主成像 和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的像素点 中抽取特征点，并将抽取的特征点输出给特征匹配单元；所述特征匹配单元，匹配主成像中的每个特征点与参考成像中的对应特 征点，得到特征点对；将得到的每对特征点输出给信息计算单元；所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成 像中每一个像素点对应的深度信息。
15、 如权利要求14所述的装置，其特征在于，该装置进一步包括输 入单元、成像单元、緩存单元和采集控制单元；所述输入单元，在采集控制单元的控制下进行焦距调整，并将光信号投 影到成像单元；所述成像单元，根据所述投影的光信号生成主成像和参考成像；在采集 控制单元的控制下，将生成的主成像输出给緩存单元，将生成的参考成像输 出给特征抽取单元；所述緩存单元，接收并存储成像单元输出的主成像，并在采集控制单元的控制下输出给特征抽取单元；所述采集控制单元，当控制输入单元缩小焦距时，控制成像单元将得到 的主成像输出给緩存单元；当控制输入单元放大焦距时，控制成像单元将得 到的参考成像输出给特征抽取单元，控制緩存单元将存储的主成像输出给特 征抽取单元。
16、 如权利要求14所述的装置，其特征在于，该装置进一步包括输 入单元、主成像单元、参考成像单元、采集控制单元；所述输入单元，在采集控制单元的控制下缩小焦距后，将光信号投影到 参考成像单元；在采集控制单元的控制下放大焦距后，将光信号投影到主成 像单元；所述主成像单元，根据所述投影的光信号生成主成像；在采集控制单元 的控制下，将生成的主成像输出给特征抽取单元；所述参考成像单元，根据所述投影的光信号生成参考成像；在采集控制 单元的控制下，将生成的参考成像输出给特征抽取单元；所述采集控制单元，交替控制输入单元缩小焦距和放大焦距；控制主成 像单元和参考成像单元分别将主成像和参考成像输出给特征抽取单元。
17、 如权利要求16所述的装置，其特征在于，所述参考成像单元为捕 捉亮度信息的感光元件。
18、 一种图像像素信息获取装置，其特征在于，包括特征抽取单元、 特征匹配单元、信息计算单元和信息合并单元；所述特征抽取单元，接收在同 一光轴上通过不同焦距成像得到的主成像 和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的像素点 中抽取特征点，并将抽取的特征点输出给特征匹配单元；所述特征匹配单元，匹配主成像中的每个特征点与参考成像中的对应特 征点，得到特征点对；将得到的每对特征点输出给信息计算单元；所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成像中每一个像素点对应的深度信息，将计算得到的深度信息输出给信息合并单元；所述信息合并单元，提取出每个像素点的紋理信息，将提取的每个像素 点的紋理信息与对应的深度信息和二维平面位置信息合并，得到主成像中每 一个像素点的像素信息。
19、 如权利要求18所述的装置，其特征在于，该装置进一步包括输 入单元、成像单元、緩存单元和采集控制单元；所述输入单元，在采集控制单元的控制下进行焦距调整，并将光信号投 影到成像单元；所述成像单元，根据所述投影的光信号生成主成像和参考成像；在采集 控制单元的控制下，将生成的主成像输出给緩存单元，将生成的参考成像输 出给特征抽取单元；所述緩存单元，接收并存储成像单元输出的主成像，并在采集控制单元 的控制下输出给特征抽取单元；所述采集控制单元，当控制输入单元缩小焦距时，控制成像单元将得到 的主成像输出给緩存单元；当控制输入单元放大焦距时，控制成像单元将得 到的参考成像输出给特征抽取单元，控制緩存单元将存储的主成像输出给特 征抽取单元。
20、 如权利要求18所述的装置，其特征在于，该装置进一步包括输 入单元、主成像单元、参考成像单元、采集控制单元；所述输入单元，在采集控制单元的控制下缩小焦距后，将光信号投影到 参考成像单元；在采集控制单元的控制下放大焦距后，将光信号投影到主成 像单元；所述主成像单元，根据所述投影的光信号生成主成像；在采集控制单元 的控制下，将生成的主成像输出给特征抽取单元；所述参考成像单元，根据所述投影的光信号生成参考成像；在采集控制 单元的控制下，将生成的参考成像输出给特征抽取单元；所述采集控制单元，交替控制输入单元缩小焦距和放大焦距；控制主成 像单元和参考成像单元分别将主成像和参考成像输出给特征抽取单元。
21、如权利要求20所述的装置，其特征在于，所述参考成像单元为捕捉亮度信息的感光元件。
全文摘要
本发明公开了一种图像深度信息获取方法和一种图像深度信息获取装置。本发明还公开了一种图像像素信息获取方法和一种图像像素信息获取装置。通过将在同一光轴上进行两次不同聚焦成像得到的主成像和参考成像进行匹配；并根据匹配后的每一对像素点的像素坐标信息，直接获取了主成像中每个位置的深度信息；在进行匹配时，抽取出主成像和参考成像中的特征点进行匹配，减小了计算量和难度。而且，采用单镜头获取深度信息，节省了成本；依据像素点在成像中对应的极坐标确定了一定的范围，并在确定的范围内进行匹配，进一步减少了处理过程中的计算量；能够将深度信息、二维平面位置信息与纹理信息合并，得到完整的像素信息，以便于恢复真实的三维场景。
文档编号G06T1/00GK101272511SQ20071008748
公开日2008年9月24日 申请日期2007年3月19日 优先权日2007年3月19日
发明者海 陈 申请人:华为技术有限公司