专利名称：测距相机装置的制作方法
技术领域：
本发明涉及用于识别成像区域中的对象的测距(ranging)相机装置。
背景技术：
图1例示在用于测量感兴趣的被摄体(SOI)的三维位置的测距相机装置中采用的三角测量的原理。该测距相机装置根据以下公式测量SOI的距离Z Z=(BXf)/d(1)其中，B是用于从两个不同观察点拍摄SOI的图像的两个相机的光轴中心(COA)之间的基线距离，f是相机的镜头和成像元件之间的焦距，d是两个相机拍摄的两个图像的相应点之间的距离(视差)。以此方式，可以容易地计算关于三维位置的信息。该测距相机装置仅能够对两个相机拍摄的两个图像中被摄体(subject)出现的范围来计算被摄体的三维位置。更具体地，该测距相机装置通过利用拍摄的图像的亮度信息来计算三维位置。当根据拍摄的图像计算视差时，相机从不同观察点拍摄的图像被划分成块，并且在亮度方面对块实行匹配处理。使用这样的块匹配处理的最简单迅速地方法是基于城市街区距离计算的方法，通过该方法，根据绝对差之和(SAD)方法的相应像素的绝对值的和来计算对应度(correspondence degree),如专利文献1中所述。需要通过使用车载相机拍摄在机动车前方的对象的画面而自动识别前方情况。专利文献2公开了使能够通过利用偏振比信息来识别单独利用传统的亮度信息难以识别的道路边缘的道路情况的技术。根据专利文献1的技术通过利用视差信息也使能够进行对前方情况的三维识别。因此，需要同时获得偏振信息和视差信息。当希望基于车载相机拍摄的图像通过拍摄前方的对象的画面进行对前方情况的自动识别并基于该图像控制车辆时，需要实时处理。在专利文献1中，因为通过对亮度信息(明亮度信息)进行SAD方法根据城市街区距离计算视差，因此如果用于获取亮度图像的相机不具有相同的灵敏度，则引起不匹配。如果存在不匹配，则视差的计算将受影响，导致测距错误。为了防止这样的错误，已经提出了各种匹配算法。一些算法涉及在匹配之前对图像的亮度信息进行归一化或者编码。但是， 这样的算法复杂并且处理速度可能降低。另一方面，从硬件的观点，可以采用将通过仅选择具有预定灵敏度的那些元件或通过校准步骤电学地控制成像元件的灵敏度的方法。但是， 这些方法需要用于维持相机的统一灵敏度的选择或调整步骤，导致当要批量生产测距相机装置时，成本增加。当通过将相机从不同观察点拍摄的亮度图像划分为块然后对块进行匹配来计算视差时，用于视差计算的块中的图像需要具有足够的亮度差。例如，如果因为图像太暗在图像中没有亮度差，则所有块将具有相同的特性，使得可能引起不匹配。为了避免这样的不匹配，曝光时间的持续可以延长或者可以对成像元件进行增益偏移处理以便它们可以在任何条件下以高灵敏度拍摄图像。但是，这导致成本和处理时间的增加。
当如专利文献2中所述单独利用偏振比信息时，前方环境的深度信息不可得，因此难以分离在二维图像中看起来重叠的对象。专利文献1 JP5-265547A专利文献2 JP2008-122217A专利文献3 :JP10-3;35758A
发明内容
通过本发明可以克服现有技术的缺点，在一个方面，本发明是一种测距相机装置， 其包括成像设备，被配置为通过对被摄体成像而产生具有相位差的偏振图像；以及处理单元，被配置为使用具有相位差的该偏振图像的偏振信息来进行视差计算。在另一方面，本发明提供了一种测距相机装置，其包括成像设备，被配置为通过对被摄体成像而输出具有相位差的第一偏振图像数据和具有相位差的第二偏振图像数据； 操作处理单元，该第一和第二偏振图像数据被馈送到该操作处理单元；存储器，连接到该操作处理单元；以及图像处理单元，连接到该存储器。该操作处理单元包括第一和第二偏振比信息处理单元以及视差计算单元。该第一偏振比信息处理单元被配置为从该成像设备接收第一偏振图像数据，并被配置为计算第一偏振比信息图像数据和第一亮度信息图像数据。 该第二偏振比信息处理单元被配置为从该成像设备接收第二偏振图像数据，并被配置为计算第二偏振比信息图像数据和第二亮度信息图像数据。该视差计算单元被配置为接收该第一和第二偏振比信息图像数据，并被配置为产生视差信息图像数据。该存储器被配置为存储来自该第一和第二偏振比信息处理单元的该第一和第二偏振比信息图像数据以及该第一和第二亮度信息图像数据、以及来自该视差计算单元的视差信息图像数据。该图像处理单元被配置为基于该存储器中存储的该第一和第二偏振比信息图像数据、该第一和第二亮度信息图像数据和该视差信息图像数据来识别被摄体，并被配置为基于该视差信息图像数据来计算被摄体的三维位置。
当结合随后的详细描述考虑时，通过参考附图可以获得对本发明的全面理解，附图中图1例示测量对象的三维位置的原理；图2例示根据本发明的实施例的测距相机装置；图3例示装备了测距相机装置的车辆；图4例示与根据本发明的实施例的成像元件有关的区域划分滤波器的布置；图5是区域划分滤波器的起偏器区域的结构的透视图；图6A是例示区域划分滤波器的第一起偏器区域的沟槽的方向的透视图；图6B是例示区域划分滤波器的第二起偏器区域的沟槽的方向的透视图；图6C是例示区域划分滤波器的第一和第二起偏器区域的相对布置的透视图；图7是用于实现同时输出亮度信息、偏振比信息和视差信息的三种数据的实时处理的结构的框图；图8例示用于同时输出三种数据的实时处理的流程；
图9A例示由安装在车辆上的左侧相机拍摄的亮度信息图像；图9B例示由安装在车辆上的右侧相机拍摄的亮度信息图像；图9C例示通过对亮度信息图像数据进行视差计算而获得的视差图像；图9D例示通过对偏振比信息图像数据进行视差计算获得的视差图像；图10例示根据本发明的另一实施例的测距相机装置；图11是图10的测距相机装置的区域划分滤波器的结构的透视图；图12例示根据本发明的另一实施例的测距相机装置；图13A是根据本发明的实施例的第一起偏器区域的透视图；以及图13B是根据本发明的实施例的第二起偏器区域的透视图。
具体实施例方式图2例示根据本发明的实施例的测距相机装置1。测距相机装置1包括成像设备
2、图像处理器3和图像处理计算机4。成像设备2包括第一成像单元21a和与第一成像单元21a间隔开预定距离的第二成像单元21b。图像处理器3包括操作处理单元31和存储器 32。图像处理器3通过处理由第一和第二成像单元21a和21b拍摄的图像来计算各个图像数据。处理计算机4包括MPU (微处理单元)41，其可以包括用于识别处理、偏振比信息控制处理和视差计算控制处理的软件。例如，处理计算机4可以被配置为基于由图像处理器3 提供的图像数据以高速确定道路情况或者多个三维对象的三维位置，标识在前方行进的汽车或者障碍，并进行发出碰撞警告的确定处理。图3例示装备了根据本发明的实施例的测距相机装置1的车辆5。根据本实施例， 成像设备2拍摄在车辆5以外的预定范围内的对象的图像以便识别和监视对象。为图像处理计算机4提供来自用于检测车辆的当前状态的转向传感器6和车轮角度传感器7的信号。如果图像处理计算机4确定识别的对象造成对车辆5的障碍，则图像处理计算机4可以致使在驾驶员的前方的显示器8上显示警告。优选地，被配置为控制传动器等(未示出) 的外部单元(未示出)可以连接到图像处理计算机4，使得可以自动控制车辆5以纺织与障碍碰撞。优选地，成像设备2可以安装在车辆5上的使得成像设备2不阻碍驾驶员的视野的位置处，比如在后视镜后面。尽管图3例示了分离地布置的成像设备2，，但是图像处理器
3、图像处理计算机4和成像设备2可以构成整体单元。回去参考图2，第一成像单元21a包括布置在印刷电路板^a上的第一防护罩部分 22a、第一镜头部分23a、第一区域划分滤波器2 和第一成像元件25a。第一区域划分滤波器2 包括被配置为传输S偏振分量或者P偏振分量的两个起偏器区域，如稍后将描述的。 因此，第一区域划分滤波器2 将经由第一镜头部分23a入射到其上的光分离为S偏振分量光和P偏振分量光。S和P偏振分量光然后入射在第一成像元件2 上。作为响应，第一成像元件2 将第一偏振原始图像数据27a输出到图像处理器3的操作处理单元31。第二成像单元21b类似地包括布置在印刷电路板26b上的第二防护罩部分22b、第二镜头部分23b、第二区域划分滤波器24b和第二成像元件25b。第二区域划分滤波器24b 包括被配置为传输经由第二镜头部分2 入射在第二区域划分滤波器24b上的光的S偏振分量和P偏振分量的两个起偏器区域。因此，第二区域划分滤波器24b将光分离为S偏振分量光和P偏振分量光。S和P偏振分量光然后入射在第二成像元件2 上。第二成像元件2 将第二偏振原始图像数据27b输出到图像处理器3的操作处理单元31。操作处理单元31包括第一和第二偏振比信息处理单元33a和33b以及视差计算单元34。第一偏振比信息处理单元33a根据以下公式(2)通过基于第一偏振原始图像数据 27a计算P偏振分量和S偏振分量的偏振比I3R来产生第一偏振比(下文中可以称为“PR”) 信息图像数据35a，并将该冊信息图像数据3 输出到视差计算单元34和存储器32。PR = R/S (2)其中P是P偏振分量，S是S偏振分量。计算冊以便检测获取的具有不同相位差的偏振分量之间的特性差。因此，可以根据以下公式⑶到(5)的任意一个来计算偏振比ra:PR = P-S (3)PR = (P/S) / (P+S) (4)PR = (P-S) / (P+S) (5)尽管公式C3)计算了差，但是使用具有相位差的偏振信息的计算结果统称为偏振比。公式(4)和(5)中的分母是归一化部分。或者，归一化可以基于P和S之间的差。 尽管在本实施例中在获得偏振比信息时利用了 P偏振信息和S偏振信息，但是可以利用圆偏振分量，因为仅需要存在相位差。第一偏振比信息处理单元33a根据以下公式(6)通过将P偏振分量和S偏振分量求和来产生第一亮度信息图像数据36a，并将该第一亮度信息图像数据36a输出到存储器 32。亮度信息图像数据=P+S (6)另一方面，第二偏振比信息处理单元3 通过基于第二偏振原始图像数据27b产生第二偏振比信息图像数据35b，并将该第二偏振比信息图像数据3 输出到视差计算单元；34和存储器32。第二偏振比信息处理单元3 还通过将P和S偏振分量求和来产生第二亮度信息图像数据36b，并将该第二亮度信息图像数据36b输出到存储器32。视差计算单元34使用该第一和第二偏振比信息图像数据3 和3 根据以下公式(7)计算图像的图像块中的亮度差的总和(“RSAD”)，由此获得对应性估计值。估计该对应性估计值使得该对应性估计值越小，块之间的对应性程度越高。该估计提供了被输出到存储器32的视差信息图像数据37。
权利要求
1.一种测距相机装置，包括成像设备，被配置为通过对被摄体成像而产生具有相位差的偏振图像；以及处理单元，被配置为使用具有相位差的该偏振图像的偏振信息来进行视差计算。
2.一种测距相机装置，包括成像设备，被配置为通过对被摄体成像而输出具有相位差的第一偏振图像数据和具有相位差的第二偏振图像数据；操作处理单元，该第一和第二偏振图像数据被馈送到该操作处理单元； 存储器，连接到该操作处理单元；以及图像处理单元，连接到该存储器，其中该操作处理单元包括第一和第二偏振比信息处理单元以及视差计算单元， 该第一偏振比信息处理单元被配置为从该成像设备接收第一偏振图像数据，并被配置为计算第一偏振比信息图像数据和第一亮度信息图像数据，该第二偏振比信息处理单元被配置为从该成像设备接收第二偏振图像数据，并被配置为计算第二偏振比信息图像数据和第二亮度信息图像数据，其中该视差计算单元被配置为接收该第一和第二偏振比信息图像数据，并被配置为产生视差信息图像数据，其中该存储器被配置为存储来自该第一和第二偏振比信息处理单元的该第一和第二偏振比信息图像数据以及该第一和第二亮度信息图像数据、以及来自该视差计算单元的视差信息图像数据，其中该图像处理单元被配置为基于该存储器中存储的该第一和第二偏振比信息图像数据、该第一和第二亮度信息图像数据和该视差信息图像数据来识别被摄体，并被配置为基于该视差信息图像数据来计算被摄体的三维位置。
3.根据权利要求2的测距相机装置，其中该操作处理单元被配置为同时输出该第一和第二偏振比信息图像数据、该第一和第二亮度信息图像数据以及该视差信息图像数据。
4.根据权利要求2的测距相机装置，其中该第一和第二偏振比信息处理单元通过分别利用第一和第二偏振图像数据的偏振比分别计算第一和第二偏振比信息图像数据。
5.根据权利要求2的测距相机装置，其中该第一和第二偏振比信息处理单元通过分别利用第一和第二偏振图像数据的差来分别计算第一和第二偏振比信息图像数据。
6.根据权利要求2的测距相机装置，其中该第一和第二偏振比信息处理单元通过分别利用通过对第一和第二偏振图像数据的偏振比归一化而获得的信息分别计算第一和第二偏振比信息图像数据。
7.根据权利要求2的测距相机装置，其中该第一和第二偏振比信息处理单元通过分别利用通过对第一和第二偏振图像数据的差归一化而获得的信息分别计算第一和第二偏振比信息图像数据。
8.根据权利要求2的测距相机装置，其中该成像设备需要以逐像素为基础获取第一和第二偏振图像数据。
9.根据权利要求2的测距相机装置，其中该成像设备获取图像中的多个区域的每个中的第一和第二偏振图像数据。
10.根据权利要求1或2的测距相机装置，其中该成像设备包括被配置为从彼此间隔开预定基线距离的两个不同位置对被摄体成像的成像设备中的至少两个。
全文摘要
一种测距相机装置，包括成像设备，其对被摄体成像并输出具有相位差的偏振图像数据；操作处理单元；存储器；以及图像处理单元。该操作处理单元包括第一和第二偏振比信息处理单元以及视差计算单元。该第一和第二偏振比信息处理单元接收偏振图像数据，并计算偏振比信息图像数据和亮度信息图像数据。该视差计算单元接收该偏振比信息图像数据，并产生视差信息图像数据。该偏振比信息图像数据、该亮度信息图像数据、以及该视差信息图像数据被存储在该存储器中。该图像处理单元基于该存储器中存储的数据来识别被摄体，并基于该视差信息图像数据来计算被摄体的三维位置。
文档编号G06T1/00GK102575931SQ20108004656
公开日2012年7月11日 申请日期2010年10月14日 优先权日2009年10月19日
发明者横田聪一郎 申请人:株式会社理光