专利名称：图像处理装置、图像处理方法以及程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法以及程序。更具体地，本发明涉及计算到 相机拍摄的图像中包括的每个对象的距离的图像处理装置、图像处理方法以及程序。
背景技术：
如下数据被称为距离映射图在该数据中关于到相机拍摄的图像中包括的每个对 象的距离的信息被与原始图像关联地表示。对距离图像中的不同距离值设定不同的像素 值，在距离图像中距离映射图被表示为图像。例如，在距离图像中，较近的对象被表示为亮 度值较高的像素，而较远的对象被表示为亮度值较低的像素。
图1示出图像和距离图像的 示例。参照图1，距离图像12是基于图像11的。如图1中的示例一样，到对象的距离是通 过改变距离图像中的亮度值来表示的。距离映射图和距离图像可以在例如物体的三维形状的分析中使用。通过图 像分析或三维形状的分析产生距离映射图和距离图像在例如日本待审专利申请公布 No. 2003-216932、日本待审专利申请公布No. 2004-125708和日本待审专利申请公布 No. 2004-257934 中公开。现在将描述从相机拍摄的图像生成距离图像。为了生成距离图像，需要获知相机 和每个对象之间的距离。分析到对象的距离的多种技术包括在改变镜头的聚焦位置的同时 找到映射最清楚的对象轮廓或图案的聚焦位置的技术。该技术是小型相机的自动聚焦机制中广泛使用的方法中的一种，而且也被称为对 比度检测技术。当对象被聚焦时达到高对比度。在通过对比度检测技术的距离测量中，检 测对比度的变化以确定每个对象的聚焦位置，并检测对应于聚焦位置的距离作为到对象的距离。在对比度检测技术中普遍使用通过使用各种差分滤波器来检测像素的亮度值急 剧变化的像素位置的方法。通过这样的方法可获取对象的轮廓和图案。用来检测轮廓和图 案的差分滤波器在下文中被称为边缘检测滤波器。像素的亮度值是从灰度图像中的图像数 据中直接获取的，而像素的亮度值则是基于彩色图像中的多个亮度分量的线性组合来计算 的。通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无限远 距离的同时记录关于在图像中检测到的每个对象的轮廓或图案的位置，这允许获取关于图 像中包括的对象的轮廓或图案的距离信息以创建距离映射图。然而，因为例如缺少对象的轮廓上的像素之间的亮度差，所以在实际图像中每个 对象的轮廓并不是恒定地检测。另外，由于即使改变聚焦位置，在没有图案的区域中用边缘 检测滤波器仍然什么也检测不到，因此得到的距离映射图包括很多不确定的地带(即到对 象的距离未被限定的地带)。这种地带在下文中称为距离不确定地带。现在将描述估计距离不确定地带中的距离以获取整个图像的距离图像。为了计算 距离不确定地带中的距离，通常使用内插处理，该内插处理使用距离不确定地带周围的已
4知信息。换句话说，在对象的轮廓或图案上的位置观测到的已知的距离信息被用来估计关 于对象的内部区域(在下文中称为对象区域)中的距离不确定地带的距离信息。具体地，如在图2A中示出的示例中一样，对象A 21的图像由相机20拍摄。在图 像的拍摄中，通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无 限远距离的同时记录图像中关于检测到的对象的轮廓或图案的位置。这得到图2B中示出 的内插之前的距离图像22。通过对比度检测，在图2B中示出的内插之前的距离图像22中的对象A 21的轮廓 部分中用边缘检测滤波器可以检测边缘以提供距离信息。在内插之前的距离图像22中的 对象A 21的轮廓部分中的用不同灰度值表示的圆圈表示位置信息，其中像素的亮度值根 据距离值来设定。亮度值越高表示距离越小，而亮度值越低表示距离越大。在图2B中示出 的内插之前的距离图像22中的对象A 21的轮廓部分中的用不同灰度值表示的圆圈被示意 性地放大，而实际的距离信息可以以像素级别来获取。在图2B中的内插之前的距离图像22中，因为内部区域没有图案，所以用对比度 检测技术尽管能够获取关于对象A 21的轮廓部分的距离信息，但是不能够获取关于对象A 21的内部区域的距离信息。在此情况下，进行内插处理以使用轮廓部分中获取的距离信息 来估计内部区域中的距离值。由内插处理得到图2C中示出的内插之后的距离图像23。在内插处理中，对象区域被基于一定的标准来划分。例如，采用将图像中彼此接近 并且颜色相似的部分归到一个区域中的划分方法是有效的。这种划分方法的使用允许例如 以对象为单位的区域划分。例如，对例如设定为一个划分区域的区域中存在的距离不确定地带可以按以下方 式进行内插处理。假定在由对象的拍摄得到的原始图像中，在像素属性值Y(P)平滑地变化的图像 区域中距离值D (ρ)平滑地变化，而在像素属性值Y (ρ)急剧变化的图像区域中距离值D (ρ) 不连续地变化，其中像素属性值Y(P)表示由对象的拍摄得到的原始图像中的像素P的比如 亮度或颜色等属性值。基于以上假定来估计像素ρ的距离值D(p)，其中像素ρ是在内插之前的距离图像 中没有获取距离信息的像素。还假定在内插之前已获取了像素ρ周围的像素q的距离值D (q)。换句话说，像素 q对应于例如图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中的像素。如表达式(A)中所示，针对像素ρ估计的距离值D (ρ)可以通过像素ρ周围的像素 q的距离值D(q)和权重wM的线性累加来近似。“N(p)”标记像素ρ周围的像素的集合。^P) ^ Tw P,(A)在表达式㈧中，权重Wm是函数，其值随着由对象的拍摄得到的原始图像中的像 素P的像素属性值Y(P)和像素q的像素属性值Y(q)之间的差减小而增大。每个像素属性 值Y(P)和像素属性值Y(q)表示例如亮度值或颜色。例如，其中假定正态分布的表达式(B) 可以被用于计算权重
权利要求
1.一种图像处理装置，包括轮廓距离估计单元，获取关于图像中包括的区域的轮廓部分的距离信息；区域划分单元，基于像素属性值对图像中包括的区域进行划分；区域平面估计单元，通过使用关于所述区域划分单元的划分所产生的每个区域的所述 轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；异常数据判断单元，对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离 估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于 所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及区域内插单元，通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异 常数据而产生的所述距离信息来估计所述区域内的距离。
2.根据权利要求1所述的图像处理装置，还包括异常数据处理单元，保持被所述异常数据判断单元判断为针对所述图像中包括的第一 区域的所述异常数据的所述距离信息，其中，在第二区域中的所述异常数据的判断中，所述异常数据判断单元基于所述第二 区域中相对于所述区域平面的偏移程度来判断在所述异常数据处理单元中保持的数据是 否是所述异常数据，以及其中，如果判断在所述异常数据处理单元中保持的数据不是针对所述第二区域的所述 异常数据，则所述区域内插单元将所述异常数据处理单元中保持的数据应用于所述第二区 域的内插处理。
3.根据权利要求1或2所述的图像处理装置，其中，针对构成由所述区域划分单元划分的所述区域的平面，所述区域平面估计单元 计算在xyz三维空间中的平面定义式ax+by+cz+d = 0中的参数a、b、c和d。
4.根据权利要求1或2所述的图像处理装置，其中，针对构成由所述区域划分单元划分的所述区域的曲面，所述区域平面估计单元 计算在xyz三维空间中的曲面定义式ax2+by2+cz2+dxy+eyz+fzx+gx+hy+kz+m = 0中的参数 a 到h、k 和 m。
5.根据权利要求1或2所述的图像处理装置，其中，通过最小二乘法或稳健估计法，所述区域平面估计单元使用关于所述区域的所 述轮廓部分的所述距离信息来计算所述区域平面定义式。
6.根据权利要求1或2所述的图像处理装置，其中，所述区域平面估计单元创建关于所述区域上的所述距离信息的直方图，判断所 创建的直方图是否只包括大致相同的距离数据，以及，如果判断所述直方图只包括大致相 同的距离数据，则判断构成所述区域的所述区域平面具有相同的距离。
7.根据权利要求1或2所述的图像处理装置，其中，所述异常数据判断单元将所述区域平面估计单元计算的所述区域平面和所述轮 廓距离估计单元获取的所述距离信息在所述三维空间中的每个坐标位置之间的距离与预 定阈值进行比较，以将距离大于所述预定阈值的所述距离信息判断为所述异常数据。
8.根据权利要求1或2所述的图像处理装置，其中，所述异常数据判断单元计算所述区域平面估计单元计算的所述区域平面和所述轮廓距离估计单元获取的多个距离信息在所述三维空间中的所述坐标位置之间的距离的 平均值和标准差，以及，将每个距离信息和所述平均值之间的差与所述标准差进行比较，以 找出所述异常数据。
9.一种在图像处理装置中进行的图像处理方法，所述方法包括以下步骤 由轮廓距离估计单元获取关于图像中包括的区域的轮廓部分的距离信息； 由区域划分单元基于像素属性值对图像中包括的区域进行划分；由区域平面估计单元通过使用关于所述区域划分单元中的划分所产生的每个区域的 所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；由异常数据判断单元对所述区域平面估计单元计算的所述区域平面与由所述轮廓距 离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对 于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及由区域内插单元通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述 异常数据而产生的所述距离信息来估计所述区域内的距离。
10.一种使图像处理装置进行图像处理的程序，所述程序包括以下步骤 使轮廓距离估计单元获取关于图像中包括的区域的轮廓部分的距离信息； 使区域划分单元基于像素属性值对图像中包括的区域进行划分；使区域平面估计单元通过使用关于所述区域划分单元中的划分所产生的每个区域的 所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；使异常数据判断单元对所述区域平面估计单元计算的所述区域平面与由所述轮廓距 离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对 于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及使区域内插单元通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述 异常数据而产生的所述距离信息来估计所述区域内的距离。
全文摘要
本发明公开了图像处理装置、图像处理方法以及程序。一种图像处理装置包括轮廓距离估计单元，获取关于图像中包括的区域的轮廓部分的距离信息；区域划分单元，基于像素属性值划分图像中包括的区域；区域平面估计单元，通过使用关于由划分得到的每个区域的轮廓部分的距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；异常数据判断单元，将区域平面与由距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于区域平面具有高度偏移的距离信息判断为异常数据；以及区域内插单元，通过使用从距离信息中去除异常数据而得到的距离信息来估计区域内的距离。
文档编号G01C3/00GK101996403SQ20101025139
公开日2011年3月30日 申请日期2010年8月10日 优先权日2009年8月17日
发明者中村宪一郎 申请人:索尼公司