专利名称：立体光学模块和立体摄像机的制作方法
技术领域：
本发明涉及一种可以安装在诸如车辆、船舶、航空器或机器人之类的运动物体上，或安装在诸如监控摄像机系统之类的非运动物体中的立体光学模块和立体摄像机。
背景技术：
常规地，采用与成像设备的成像光学系统相连的立体光学模块在两相隔开的位置处接收来自同一物体的光，并将各光导入成像设备的光学系统中，使得能够进行立体图像的成像(立体拍摄)，并且已经提出了各种结构的这种立体光学模块。
例如，已经提出了一种立体光学模块，其具有图案投影部，将预定图案投影到物体上(例如参见日本专利申请特开平第2000-236332号公报)，或者提出了一种立体光学模块，其中柱透镜或广角变换透镜可拆卸地设置在其前表面上(例如参见日本专利申请特开平第9-327042号公报)。此外，提出了一种利用图像引导获得双目视觉的内窥镜(例如参见日本专利申请特开平第4-016812号公报)。另外，在例如日本实用新型申请特开昭53-112426号公报中公开了一种立体光学模块的镜结构。此外，已经提出了一种三目立体适配器(例如参见日本专利申请特开第2001-305682号公报)。
此外，在传统的由Denso公司提出的雨滴传感器中，例如图26中所示，光从发射红外光或可见光的二极管(光投射LED)75投射至紧靠窗玻璃73的玻璃块74。该光被光投射透镜76会聚，并且通过采用反射镜77等，将该被会聚的光线在玻璃外表面上的反射光导入光接收透镜78。然后，由光接收透镜78来会聚该导入光，并且由诸如光电二极管的光接收传感器79来检测该经会聚的光线。此时，当雨滴已附着于窗玻璃73上时，光被散射从而光量发生变化，因此可以测量雨滴量。
然而，在上述公报中(即日本专利申请特开平第2000-236332号公报至日本专利申请特开第2001-305682公报中)，为了拍摄远处物体的广角图像，投射设备或镜子尺寸会变得较大，并且很难构成又小又轻的立体光学模块。
此外，在传统的雨滴传感器中，雨滴传感器必须紧靠玻璃表面放置，这导致空间或成本上受限。进而，当雨滴传感器是驾驶者视野内的障碍物时或当除了雨滴传感器外还安装有检测位于车辆前面的障碍物的立体光学模块时，存在遮挡立体光学模块的视野的问题或雨滴传感器对立体光学模块的安装位置的问题。
发明内容
本发明的目的是提供一种立体光学模块，其又小又轻，并能够以宽视角拍摄远处的物体。
此外，本发明的另一目的是提供一种具有不必考虑其安装位置等的雨滴传感器的立体摄像机。
为了实现这一目的，根据本发明第一方面的立体光学模块包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在第一半表面部分上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自中心；以及第二偏光机构，在第二半表面部分上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线，
其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且在垂直于所述基准线和所述光束对所述第一偏光机构的入射方向上，并且沿着该方向，所述第二偏光机构偏离所述第一偏光机构，所述第二空间区基本位于所述第二导光部后面且在垂直于所述基准线和所述光束对所述第二偏光机构的入射方向上，并且沿着该方向，所述第一偏光机构偏离所述第二偏光机构。
此外，为了实现上述目的，根据本发明第二方面的立体光学模块包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在位于第一半表面部分的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自的中心；第二偏光机构，在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及包装件，保护所述立体光学模块中的机构，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且夹在所述第一偏光机构和所述包装件之间，所述第二空间区基本位于所述第二导光部后面且夹在所述第二偏光机构和所述包装件之间。
此外，为了实现上述目的，根据本发明第三方面的立体光学模块包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在位于第一半表面部分的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自的中心；第二偏光机构，在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及包装件，从外面保护立体光学模块中的机构，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且被所述第一偏光机构、所述第二偏光机构和所述包装件包围，所述第二空间区基本位于所述第二导光部后面且被所述第一偏光机构、所述第二偏光机构和所述包装件包围。
进一步，为了实现本发明上述目的，根据本发明第四方面的立体光学模块包括第一光学透镜，用于生成从相对物体的第一视点看到的第一物体图像；第二光学透镜，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，包括反射从所述第一光学透镜进入的光的第一反射件和对由所述第一反射件反射的光再进行反射的第二反射件，以在位于第一半表面部的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一半表面部位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一光学透镜和所述第二光学透镜的各自中心；第二偏光机构，包括反射从所述第二光学透镜进入的光的第三反射件和对由所述第三反射件反射的光再进行反射的第四反射件，以在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二半表面部分位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及第三光学透镜，在所述成像元件上形成由所述第二反射件和所述第四反射件反射的光的图像，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区存在于相对所述第一反射件或所述第二反射件的所述第一方向上，所述第二空间区存在于相对所述第三反射件或所述第四反射件的所述第二方向上。
此外，为了实现上述目的，根据本发明第五方面的立体光学模块包括第一光学透镜，用于生成从相对物体的第一视点看到的第一物体图像；第一遮光件，位于所述第一光学透镜附近，并防止传送进入所述第一光学透镜的部分光束；第二光学透镜，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第二遮光件，位于所述第二光学透镜附近，并防止传送进入所述第二光学透镜的部分光束；第一偏光机构，包括反射从所述第一光学透镜进入的光的第一反射件和对由所述第一反射件反射的光再进行反射的第二反射件，以在位于第一半表面部分的成像元件上形成进入所述第一光学透镜的所述第一物体图像的全部或大部分的图像，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一光学透镜和所述第二光学透镜的各自的中心；第二偏光机构，包括反射从所述第二光学透镜进入的光的第三反射件和对由所述第三反射件反射的光再进行反射的第四反射件，以在位于第二半表面部分的成像元件上形成已进入所述第二光学透镜的所述第二物体图像的全部或大部分的图像，所述第二半表面部分位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及第三光学透镜，在所述成像元件上形成由所述第二反射件和所述第四反射件反射的光的图像，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区位于所述第一遮光件后面且在相对所述第一反射件或所述第二反射件的所述第一方向上，所述第二空间区位于所述第二遮光件后面且在相对所述第三反射件或所述第四反射件的所述第二方向上。
根据该第一方面至第五方面，由于在所述立体光学模块的未用空间上布置诸如成像元件的构件，因而可以宽视角拍摄位于远处的物体，并且进而可以降低尺寸和重量。
而且，为了实现上述目的，根据本发明第六方面的置于车辆内并通过窗玻璃观察前方的立体摄像机包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；以及水滴检测设备，基于由所述成像元件产生的所述立体图像数据，检测附着在所述窗玻璃表面的水滴量。
进一步，为了实现上述目的，根据本发明第七方面的置于车辆中并通过窗玻璃观察前方的立体摄像机包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；以及附着物判断设备，根据从所述成像元件输出的所述立体图像数据中的各图像数据进行距离计算，并在目标物体的距离落入预定范围内时判定在所述窗玻璃表面上存在附着物。
另外，为了实现上述目的，根据本发明第八方面的置于车辆中并通过窗玻璃观察前方的立体摄像机包括
立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；图像评估设备，具有第一图像评估序列和第二图像评估序列以基于从所述成像元件输出的所述立体图像数据执行图像评估，所述第一图像评估序列检测在所述窗玻璃表面上的水滴以进行图像评估，所述第二图像评估序列检测在所述窗玻璃前面的物体以进行图像评估；以及切换装置，用于切换所述图像评估设备的所述第一图像评估序列和所述第二图像评估序列以进行操作。
进一步，为了实现上述目的，根据本发明第九方面的置于车辆中并通过窗玻璃观察前方的立体摄像机包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生图像数据；以及图像评估设备，具有第一图像评估/计算部和第二图像评估/计算部以基于从所述成像元件输出的所述立体图像数据执行图像评估，所述第一图像评估/计算部检测在所述窗玻璃表面上的水滴以进行图像评估，所述第二图像评估/计算部检测在所述窗玻璃前面的物体以进行图像评估。
此外，为了达到上述目的，根据本发明第十方面的置于车辆中并通过窗玻璃观察前方的立体摄像机包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；发光设备，以光照射所述立体光学系统的多个视点中的第一视点的第一视场与所述窗玻璃交叠的区域中的所述窗玻璃表面；以及水滴检测设备，基于由所述成像元件产生的所述立体图像数据，检测附着在所述窗玻璃表面的水滴量。
而且，为了达到上述目的，根据本发明第十一方面的置于车辆中并通过窗玻璃观察前方的立体摄像机包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；水份检测设备，在所述成像元件输出的所述立体图像数据中，设置在所述立体光学系统的多个视点中的第一视点的第一视野与所述窗玻璃交叠的区域中的所述窗玻璃的表面上，并当基于与颜色随所检测的附着水份而变化的物质相对应的图像数据中的色彩信息检测到预定色彩信息时输出信号。
根据第六至第十一方面，因为由图像处理来检测雨滴，故不需要专用传感器，从而节省了空间。
图1是示出了根据本发明第一实施例的立体摄像机系统的基本结构的框图；图2是示出了第一实施例中的立体光学模块的电路结构的框图；图3A是示出了立体光学模块中的立体光学系统的结构的俯视图；图3B是立体光学模块的外观图；图4A是示出了立体光学模块的结构的剖视图；图4B是示出了在立体光学模块中的电路布置的俯视图；图5是示出了立体图像的示例的视图；图6是示出了在本发明第一实施例中的立体光学模块中的中央控制单元的电路结构的框图；图7是示出了根据第一实施例的立体摄像机系统安装在车辆上的示例的视图；图8A是示出了视野遮光板的第一变型的视图；图8B是示出视野遮光板的第二变型的视图；图9是示出了中央控制单元的变型的框图；图10是示出了在本发明的第二实施例中的立体光学模块的电路结构的框图；图11是示出了根据本发明第二实施例的中央控制单元的电路结构的框图；图12是示出了在本发明第三实施例中的立体光学模块的电路结构的框图；图13是示出了采用诸如DV格式或NTSC标准的视频格式的通信内容示例的视图；图14是在本发明第四实施例中的立体摄像机中的主操作序列的流程图；图15是示出了传感器检查序列的流程图；图16是校准数据校正序列的流程图；图17是驾驶支持序列的流程图；图18是示出了车辆间距离警告的显示示例的视图；图19是道路表面识别结果的显示示例；图20是躲避警告的显示示例；图21是车道识别结果的显示示例；图22是示出主操作序列的流程图的变型的流程图；图23是示出传感器检查序列的第一变型的流程图；图24是示出了传感器检查序列的第二变型的流程图；图25是示出了在本发明第五实施例中的立体摄像机系统的结构的框图；图26是传统雨滴传感器的框图；图27是示出了作为本发明第六实施例当检测雨滴时的立体图像示例的视图；图28是示出交叠区的视图；图29是示意性地示出了传统的对应点检索的视图；图30是示意性地示出了在第六实施例中当检测雨滴时的对应点检索的视图；图31是示出了当雨滴附着在交叠区以外的区域内时的立体图像示例的视图；图32是示出了在交叠区以外的区域内检测雨滴的技术的视图；图33是示出了采用光束投射仪对雨滴进行检测的视图；以及图34是示出雨滴检测涂层的示例的视图。
具体实施例方式
下面将参照附图对根据本发明的实施例进行说明。
图1是示出了根据本发明第一实施例的立体摄像机系统的基本结构的框图。这里，该立体摄像机系统被假设为可以安装在诸如车辆、船舶、航空器或机器人之类的运动物体中的系统。下面将参照图1至9对安装在车辆中的这种系统的示例进行说明。
即，如图1所示，该摄像机系统基本上由立体光学模块1、通信线路2和中央控制单元3构成。立体光学模块1对物体进行成像以获得立体图像，并对所获得的立体图像进行校正。通信线路2是立体光学模块1和中央控制单元3之间的通信线路。中央控制单元3基于从立体光学模块1通过通信线路2输入的立体图像对作为立体光学模块1的拍摄目标的物体进行评估。具体地，中央控制单元3基于输入的立体图像获得稍后描述的距离图像，并对该所获得的距离图像进行评估。
下面将详细说明这些结构。
首先说明立体光学模块1。图2是详细示出了该立体光学模块内部的框图。即，如图2所示，立体光学模块1由立体光学系统4、成像元件5、成像元件驱动电路6、校正信息存储器7、图像输出处理电路8、模块(M)侧通信接口9、作为水滴检测设备或附着物检测设备的雨滴传感器10、以及温度传感器11构成。
如图3A所示，立体光学系统4包括右视野遮光板19a和左视野遮光板19b、右前透镜单元20a和左前透镜单元20b、作为第一和第二反射件的右初级偏光镜21a和左初级偏光镜21b、作为第三和第四反射件的右次级偏光镜22a和左次级偏光镜22b、后透镜单元23、以及低通滤波器24，立体光学系统4根据在成像元件5上的未示出的物体来形成图像。
这里，如图3B所示，关于立体光学模块1的外观，立体光学模块1由其上形成有视野遮光板开口25a和25b的包装件26覆盖，并且光从这些视野遮光板开口25a和25b进入立体光学系统4。这里，包装件26是从外面保护立体光学模块的内机构的组件，并且它是具有遮挡外部光束功能、防尘功能、支撑内机构的功能等的覆盖件。
进一步，如图3A和3B所示，对于从位于固定距离处的未示出物体发出的、已从视野遮光板开口25a和25b进入立体光学系统4的光束，由视野遮光板19a和19b防止部分该光束透过，而剩余光束进入右前透镜单元20a和左前透镜单元20b。这里，视野遮光板19a和19b用作缩小各前透镜单元20a和20b的视野的孔径光阑。在第一实施例中，如图4A所示，视野遮光板19a遮挡前透镜单元20a的上半区，而视野遮光板19b遮挡前透镜单元20b的下半区。
应当注意的是具有视野遮光板19a和19b的各前透镜单元20a和20b的有效光轴(以下将称为光轴)并不与来自物体的光束中央(即当未设有视野遮光板19a和19b时的中央光轴)匹配。此外，如图4A所示，右前透镜单元20a和左前透镜单元20b的光轴不在同一平面上，它们是曲转的(twisted)。
来自物体的、已通过前透镜单元20a和20b进入的光束由初级偏光镜21a和21b反射。各初级偏光镜21a和21b具有可以反射透过各前透镜单元20a和20b的光束的尺寸。即，各初级偏光镜21a和21b具有基本等于或略大于前透镜单元20a的未被遮挡的区域的尺寸。此外，各初级偏光镜21a和21b在水平方向以45度角且在竖直方向朝向成像元件侧成几度角地倾斜放置。通过如此放置初级偏光镜21a和21b，由各初级偏光镜21a和21b反射的光束进入各次级偏光镜22a和22b。
次级偏光镜22a和22b在水平方向上基本垂直于初级偏光镜21a和21b倾斜放置且在竖直方向朝向成像元件侧成几度角地放置。通过如此放置次级偏光镜22a和22b，由各次级偏光镜22a和22b反射的光束进入后透镜单元23。如图4B所示，正如从上面所见，次级偏光镜22a和22b彼此垂直放置。也就是说，来自初级偏光镜21a的入射光束由次级偏光镜22a反射，并沿后透镜单元23的下方向偏转进入。另一方面，来自初级偏光镜21b的入射光束由次级偏光镜22b反射，并沿后透镜单元23的上方向偏转进入。
这里，第一偏光机构包括初级偏光镜21a和次级偏光镜22a，其具有将进入前透镜单元20a的光束引导至第一半表面部分的功能，第一半表面部分即成像元件5的下半区，该下半区位于垂直于基准线和光束入射方向的第一方向上，基准线连接前透镜单元20a的中央部分和前透镜单元20b的中央部分。
而且，第二偏光机构包括初级偏光镜21b和次级偏光镜22b，其具有将进入前透镜单元20b的光束引导至第二半表面部分的功能，第二半表面部分即成像元件5的上半区，该上半区位于与第一方向相对的第二方向上，第一方向与第二方向之间为基准线。
如此偏转的光束通过后透镜单元23进入低通滤波器24，并由低通滤波器除去其高频噪声分量。然后，通过右前透镜单元20a进入的光束成像在成像元件5的下半区上，而通过左前透镜单元20b进入的光束成像在成像元件5的上半区上。也就是说，通过视野遮光板19a和19b对视野的限制在成像元件上无交叠地形成上图像和下图像。于是，如图5所示的这种具有侧视差的立体图像被对齐并形成在成像元件的垂直方向上。于是，可通过单独采用一个立体光学模块来获得立体图像。
这里，由于各次级偏光镜22a和22b在竖直方向上相对成像元件5成几度角地放置，因此各图像被形成为与物空间倾斜。因此，为了在成像元件5上有效地形成入射光束的图像，优选地如图4A所示倾斜放置成像元件5。
通过图2的框图所示的成像元件驱动电路6的功能，如此形成在成像元件5上的立体图像作为模拟信号被顺序输出至图像输出处理电路8。这里，图像输出处理电路8的内部包括模数转换部12、C-Y转换部13、压缩处理部14、修正(rectification)处理部15、γ转换处理部16、阴影(shade)校正处理部17、以及帧缓冲存储器18。
进一步，如图4A和4B所示，图像输出处理电路8、雨滴传感器10以及温度传感器11被放置在作为未用空间的电路布置空间27a和27b中，即在视野遮光板19a和19b后面的次级偏光镜22a和22b的后表面侧的第一空间区和第二空间区。如图4A和4B所示，在右光学系统中，电路布置空间27a位于初级偏光镜21a和次级偏光镜22a上面，而在左光学系统中，电路布置空间27b位于初级偏光镜21b和次级偏光镜22b下面。如上所述，由于右侧前透镜单元20a的上半部被视野遮光板19a所遮挡，并且左侧前透镜单元20b的下半部被视野遮光板19b所遮挡，所以光学元件不能放置在这些视野遮光板19a和19b后面，从而提供了未用空间。因此，当电路(例如图像输出处理电路8和其它电路)设置在这样的未用空间中时，可以有效地利用立体光学模块中的未用空间，而不会阻碍对入射光的透射，这减小了立体光学模块尺寸。这里，可以设置在这些未用空间中的电路例如包括输出电信号的电信号输出电路、以及成像元件驱动电路、诸如存储校正数据的数字存储器(校正信息存储器)之类的外围电路、温度传感器、雨滴传感器、照度传感器、GPS天线、ETC卡系统和其它电路，并且上述图像输出处理电路也包括在这些电路中。而且，可以在这种未用空间中设置未示出的立体光学模块的电源电路或者机械件。作为该机械件，可以提供例如未示出的用于机械地调整立体光学系统的调整机构。此外，可以将调整进入立体光学系统的光量的未示出的ND滤波器构造为插入型，而上述未用空间可用作该ND滤波器的回缩空间。
下面将说明图2中所示的图像输出处理电路8的各部分。在图像输出处理电路8中，模拟信号的立体图像被模数转换部12转换为数字数据的数字立体图像数据。需要注意的是，在成像元件5的前表面上设置有未示出的光学滤色器，而且通过该光学滤色器，成像元件5输出对应于各颜色R、G和B的立体图像数据。在C-Y转换部13中，R、G和B的初级色彩信号被转换为亮度信号和色度信号。这是在压缩处理部14中将这些信号转换为运动JPEG(motion-JPEG)信号的预处理。接着，将这些信号存储在帧缓冲存储器18中。
将存储在该帧缓冲存储器18中的立体图像数据输入至阴影校正处理部17。阴影校正处理部17基于校正信息存储器7中存储的阴影校正数据进行阴影校正处理。然后，γ变换处理部16进行γ变换处理，以使得图像输入/输出特性适当，而修正处理部15基于存储在校正信息存储器7中的校准数据进行修正处理。
需要注意的是，修正处理是对图像进行处理以校正图像例如由于下述原因导致的畸变的处理在立体光学系统4中由光学元件等的机械位移产生的右图像和左图像的核线(epipolar line)的位移或透镜的变形。在这种处理中，例如检测对应于在左图像中选出的特征点的右图像中的点的位置，检测距离一直线(核线)(该对应点原则上应当位于该直线上)的位移量，并且进行对应于该经检测的位移的图像变形。以特定坐标对经过了如此修正处理的右图像和左图像(以下称为修正图像)进行归一化，然后将这些图像以如图5所示垂直排列的状态再次写入帧缓冲存储器18中。
此外，对于存储在校正信息存储器7中的校准数据，存储用于考虑立体光学模块的热变形等的多组校准数据。也就是说，将由温度传感器11检测到的温度值通过M侧通信接口9输入至图像输出处理电路8，而修正处理部15基于该输入温度选择存储在校正信息存储器7中的校准数据以执行修正处理，从而实现不受温度变化影响的处理。
然后，将再次写入帧缓冲存储器18中的数字立体图像数据输入至压缩处理部14，通过采用诸如运动JPEG的数据压缩方案对其进行数据压缩，然后通过M侧通信接口9将其输出至通信线路2。此外，雨滴传感器10和温度传感器11还与M侧通信接口9相连接，使得这些传感器的输出可以被输出到通信线2或图像输出处理电路8。
下面说明通信线路2。在第一实施例中，通信线路2具有多个USB通信线，通过这些USB通信线传输修正图像数据和控制立体光学模块所需的数据信号。这些通信线分别与立体光学模块1的M侧通信接口9和中央控制单元3的单元(u)侧通信接口28相连接。
这里，以运动JPEG格式压缩修正图像，并将其发送至USB信号线，还通过USB通信线传输例如环境信息(诸如由雨滴传感器10检测到的雨滴传感器信息、或由温度传感器11检测到的温度传感器信息、或物体光度信息)之类的信息。此外，通过通信线路2将这种信息发送至中央控制单元3。这里，因为由压缩处理部14对立体图像数据进行了压缩，所以可减少通信时的信息量并可增加图像数据之外的可发送/接收的数据的信息量。这里，通信线路2(即USB通信线)将修正图像数据、雨滴传感器信息、温度传感器信息和其它的数据以上述数字数据形式从立体光学模块1发送至中央控制单元3。这里，立体光学模块1包括温度传感器、雨滴传感器、校正信息存储器及其他产生预定数据以响应来自中央控制单元3的控制命令的器件。通信线路2是双向数字通信线路，可以从中央控制单元3通过该通信线路2将各种控制命令发送至立体光学模块1。尽管在第一实施例中略去了对控制命令的详细说明，但这些控制命令例如是立体光学模块1的电源控制命令(用于切换操作模式和节能模式的命令)、用于将温度传感器信息或雨滴传感器信息读出至中央控制单元侧的请求信号、或用于将存储在校正信息存储器7中的信息读出至中央控制单元3侧的请求信号。由此，通过采用单系统的通信线路可以有效地进行相互数据通信。
另外，作为第一实施例的变型，可以通过模拟通信线路传输修正图像数据。例如，由模块侧上的M侧通信接口9将成像元件5的输出转换为符合诸如NTSC格式的模拟图像信号，然后将其输出至通信线路2。在这种情况下，在立体光学模块中不需要压缩处理部14。作为该变型的特征，通信线路2必须具有两个系统，即模拟通信线路和数字通信线路，并且在放置通信线路的部分需要额外空间。此外，存在着例如需要通信连接器占据的额外空间的缺点，然而也有优点，即提高了图像数据传输速度。
此外，当通过模拟通信线路传输修正图像时，可通过采用用于字符广播的区域(在该区域中信息被重叠在空白信号(blanking signal)中)来传输除图像数据之外的控制数据。
下面将说明中央控制单元3。如图6所示，中央控制单元3由u侧通信接口28、图像输入设备29、帧存储器30、EPROM 31、距离图像计算单元32、以及基于距离图像进行物体识别等的环境判断单元和序列控制器(以下将称作环境判断单元)33。此外，中央控制单元3还具有图像输出设备34、指向输入设备36、音频输出设备37、音频输入设备40以及指示灯输出设备41。上述电路或设备通过总线彼此相连接，并且它们可彼此传送数据。
另外，图像输出设备34和指向输入设备36与显示输入设备35相连接。此外，音频输出设备37与扬声器38相连接，且音频输入设备40与麦克风39相连接。此外，指示灯输出设备41与指示灯42相连接。
通过通信线路2输入至中央控制单元3的修正图像经由u侧通信接口28和图像输入设备29被临时存储在帧存储器30中，然后被输入至距离图像计算单元32。
这里，由于输入至中央控制单元3的修正图像是根据运动JPEG标准压缩的数据，由图像输入设备29对该压缩数据进行解压和恢复。
距离图像计算单元32具有立体图像剪辑部43(其从立体图像中剪辑右图像和左图像)和视窗匹配部46。即，由立体图像剪辑部43对输入至距离图像计算单元32的修正图像进行剪辑以提供左图像44和右图像45。此外，在视窗匹配部46中对经剪辑的左图像44和右图像45进行视窗匹配，并且检测各对应点的位移，即视差量，从而产生视差图像47。然后，在距离图像生成部48中将该视差量转换为距离信息，并且基于该距离信息和存储在EPROM 31中的校准数据49生成距离图像。这里，“距离图像”一词指具有针对所捕获的物体图像的各像素的距离信息的图像。另外，该校准数据49为依照通过通信线路2输入的雨滴信息或温度传感器信息选出的距离信息校正数据。
之后，将所生成的距离图像发送至环境判断单元33。
环境判断单元33类似于通用个人计算机的控制设备或微型计算机，具有与通信总线相连的中央处理单元(CPU)50、主存储器(RAM)51、数字信号处理单元(DSP)52、硬盘(HDD)53和其他设备，并将环境判断单元33配置为实现评估距离图像的序列而以软件形式识别物体或其他各种序列控制。
即，当将距离图像输入环境判断单元33中时，CPU 50在RAM 51中展开并执行存储在HDD 53中的物体识别处理程序，并基于立体光学模块1中获得的二维修正图像或在距离图像计算单元32中获得的距离图像进行检测障碍物(例如道路上的行人、车辆、落物等)或识别特征环境信息(例如道路上的白线、防护栏、标志等)的处理。而且，CPU 50基于该识别处理结果例如通过控制图像输出设备34在显示输入设备35上显示识别结果、控制音频输出设备37通过采用从扬声器38发出嘟嘟声来通知车辆正在靠近、或者控制指示灯输出设备41打开指示灯42，来进行引起操作者(例如驾驶者)注意的与驾驶支持有关的控制。此外，相对地，在有来自操作者通过手动操作件(类似于显示输入设备35)或语音输入设备(类似于麦克风39)的命令的情况下，通过指向输入设备36或音频输入设备40取得该命令，并执行对应于该命令内容的控制。
如图7所示，当上述立体摄像机系统安装在车辆中时，连接到通信线路2的有雷达模块54，其上安装有雷达设备；车辆速度传感器模块55，其检测车辆速度；汽车导航模块56，将车辆位置通知给驾驶者等；引擎控制模块57，其控制引擎；侧摄像机模块58，其监控车辆两侧；内监控模块59，其监控车辆内部；制动传感器模块61，其控制制动器；后摄像机模块62，监控车辆后侧；负载检测模块63，检测车辆中的负载量；后超声雷达模块64，其上安装有超声雷达设备；和其他模块，以及立体光学模块1和中央控制单元3，从而各种车载模块可以彼此通信。应当注意的是传统模块可用作上述模块。
对于用作这种车内网络一部分的单元或模块之间的通信，可以采用例如蓝牙、IEEE 802.11或IEEE 802.1x作为无线通信技术。而且，还可以采用诸如USB、IEEE 1394或以太网的有线网络、诸如基于IP的语音技术(VoIP)的音频数据的传输协议、实时消息功能(RIC/SIP用户)及其他，并且可以构建一车内局域网，其中通过IPv6等将IP地址分配给各设备。另外，还可以采用符合诸如车辆内光网络标准“MOST”或“CAN”(不受车内噪声等的影响)的开放标准规范的通信总线。
如上所述，该第一实施例具有以下特定效果。
即，在该第一实施例中，立体光学模块所要求的图像处理(诸如修正、γ校正、阴影校正或分离成亮度信号和色差信号等)在立体光学模块中执行。结果，降低了中央控制单元侧的电路负载，并可简化中央控制单元侧的规格，从而提高了该系统的通用性。
进一步，由于数字图像数据被压缩然后被传输，可以以接近模拟通信情况下的帧速率来传输数字图像数据。
此外，由于在立体光学模块1中设置有温度传感器11，所以可以基于修正处理时的温度适当地执行校正。因此，将中央控制单元3中进行的视窗匹配的搜索区域限制到核线就足够好，从而实现了高速处理。
需要注意的是，当然可以以很多方式对该第一实施例中的各结构进行变型和修改。
例如，可以采用多个上述立体光学模块1。在这种情况下，可以将摄像机ID加入从各立体光学模块获得的修正图像中，使得可以清楚地识别哪个立体光学模块具有相应的修正图像。
此外，尽管在第一实施例中的立体光学模块1中包括执行诸如γ转换处理、C-Y转换处理或压缩处理的处理的处理电路，但这些功能并非必需的，能够进行与通用视频摄像机或数字静止照相机中的图像处理相等同的处理的处理电路就足够了。
另外，立体光学模块1的校正信息存储器7可以存储修正处理用的校正信息或阴影校正信息以及通过校准各立体光学模块如何附于车辆上而获得的校正信息。由此，可以除去中央控制单元中的EPROM 31，或降低存储容量。进一步，通过校准获得的来自中央控制单元3的信息可以被发送至立体光学模块1等，并且该信息可以存储在立体光学模块1中。此外，在中央控制单元3的距离图像计算单元32中所用的校准数据也可以存储在立体光学模块1的校正信息存储器7中，使得可以在距离图像计算时将该校准数据从立体光学模块1发送至中央控制单元3。
即，在该变型中，存储在校正信息存储器7中的部分校正信息(校准数据)用于立体光学模块中的图像处理和计算，并通过通信线2将任何其他校正信息发送至中央控制单元3，使得其可用于校正，例如在中央控制单元侧的距离计算。
而且，在中央控制单元3中，可以采用特定用途集成电路(ASIC)通过硬件导线连接实现各种处理电路，并且这些电路可以由例如可动态地重写的可重构处理器构成。
另外，中央控制单元3不仅可以执行对立体摄像机系统的控制，而且可以对来自温度传感器或雨滴传感器的信息、校正信息或剪辑区信息进行发送。无需指出这不仅可以应用于立体光学模块1、通信线路2和中央控制单元3，也可以应用于各车内模块间的通信。
进一步，各通信线路2、立体光学模块1和中央控制单元3可以通过光电耦合器彼此电绝缘，从而电路不受各种作用于导线的波尖噪声等的影响。
此外，作为通过通信线路2传输的视频的格式，除NTSC格式外，还可以采用PAL格式或SECAM格式，只要它是一种模拟格式。并且可以通过采用各种压缩格式(例如，用于静止图像的压缩方案的JPEG方案、用于运动图像或在数字格式的情况下的数字视频(DV)标准的压缩方案的MPEG方案)来进行传输。
此外，对于输入或显示，可以采用由用于车辆内设备的用户接口设计工具(诸如例如由微软(注册商标)公司出品的汽车UI工具包)配置的GUI或语音接口。
另外，尽管在图4A中各视野遮光板19a和19b具有可以覆盖各前透镜单元20a和20b一半的形状，但可以将具有方形开口部分25的视野遮光板19放置在偏离前透镜单元20的光轴的位置处，或者切除透镜本身的四边D来限制视野，从而获得等同于如图8所示地放置视野遮光板时的效果，以进一步有效地进行限制。
进而，如图9所示，中央控制单元3可被构成为具有立体光学系统校准设备65(其计算立体光学系统的校准数据66)或车辆系统校准设备67(其执行车辆系统校准，该校准测量车辆和立体光学模块1之间的位置关系并计算系统校准数据68)。
此外，尽管在校正信息存储器7中存储的校正信息是用于阴影校正处理或修正处理的校准数据，但当然可以加入图像剪辑区的信息或车辆的位置关系的校准数据。另外，校正信息存储器7可以放置在中央控制单元3侧。进一步，可以采用使得能够通过通信线路2适当进行读取和写入的结构。
下面将说明根据本发明的立体摄像机系统的第二实施例。需要注意的是以相似的标号指示与第一实施例中相同的结构，从而略去对其的说明。
即，在该第二实施例中，如图10所示，诸如修正处理部15、γ转换处理部16、阴影校正处理部17及其他电路的处理电路以及校正信息存储器7并不安装在立体光学模块1中，而是如图11所示将它们安装在中央控制单元3中。
结果，可以减小立体光学模块中的各电路的电路规模。即，抑制了在立体光学模块中产生的热，可以抑制由于在立体光学模块中的光学系统等的热变形导致的校准数据波动。此外，由于成像元件5可因其他发热元件的减少而有效冷却，所以可抑制热噪声的产生，从而将更好的立体图像输出至通信线路2。
需要注意的是，与第一实施例类似，当然可以多种方式对该第二实施例中的各结构进行变型和修改。
下面说明根据本发明的立体摄像机系统的第三实施例。需要注意的是，以类似的标号指示与第一和第二实施例中相同的结构，从而略去对其的说明。即，如图12中所示，通过将距离图像计算单元从图6中所示的根据第一实施例的中央控制单元中去除来获得在第三实施例中的中央控制单元。
即，在该第三实施例中，如图12所示，在立体光学模块中执行从开始到立体匹配处理的处理。因此，在立体光学模块1中还包括距离图像计算单元32。在这种情况下，将二维图像和用于物体识别的距离图像输出至通信线路2。第三实施例和第一实施例的差别在于图像数据是基于NTSC以模拟方案从立体光学模块中的M侧通信接口9中发送的。
如图13所示，在例如一个NTSC型画面中对齐并重新排列二维图像和距离图像，并将其作为视频信号输出。于是，可以以同步状态将距离图像和二维图像发送至中央控制单元3。进一步，当在例如用于文本广播中的信号区中对指示了右图像和左图像中哪一个被采用并作为基准图像输出的信息、由温度传感器11检测到的温度或由雨滴传感器10检测到的信息进行了编码并将其发送时，可以进行与图像同步的通信。
在如此地执行了通信后，中央控制单元3通过采用u侧通信接口28对经传输的图像进行解码，从而使得这些图像被处理为二维图像、距离图像和传感器信息，从而实现各种识别处理。具体地，中央控制单元3基于通过u侧通信接口28输入的距离图像数据对在环境判断单元33中的未示出物体进行评估。
需要注意的是，可以采用多个立体光学模块，并且例如当采用两个立体光学模块时，可以将表示各立体模块的摄像机ID的码和距离图像加入画面中上图像和下图像的每一个中，并且这些图像可与要发送至中央控制单元3的单个视频同步。
此外，在中央控制单元3中，可以通过专用ASIC的硬件导线连接实现各种处理电路，并且它们可以由可动态重写的可重构处理器构成。
另外，尽管在第三实施例中，通过采用NTSC型模拟信号线输出用于物体识别的二维图像和距离图像，但与第一实施例类似可以将它们作为数字数据输出至数字通信线。在这种情况下，可以通过采用诸如运动JPEG或MPEG的数据压缩方案来对这些图像进行数据压缩处理，并然后与第一实施例类似地将经处理的图像输出至通信线路2。
当如图7所示具体地安装在车辆中时，立体光学模块1、中央控制单元3、操作状态检测模块及其他模块可与通信线路2相连接，从而使得各种车辆内模块可以彼此配合工作。这里，作为操作状态检测模块，例如有车辆速度传感器模块55、引擎控制模块57、制动传感器模块61及其他诸如图7中所示的模块。进一步，如图7所示，有作为环境监控模块的雷达模块54、汽车导航模块56、侧摄像机模块58、内监控模块59、后摄像机模块62、负载检测模块63、后超声雷达模块64及其他模块。对于用作这种车辆网络一部分的单元或模块之间的通信，可以采用蓝牙、IEEE 802.11或IEEE 802.1x等作为无线通信技术。而且，还可以采用诸如USB、IEEE 1394或以太网的有线网络、诸如基于IP的语音技术(VoIP)的语音数据传输协议、实时消息功能(RIC/SIP用户)及其他技术，并且可以构建一车内局域网，其中通过IPv6等将工P地址分配至各设备。另外，还可以采用对应于诸如车辆内光网络标准“MOST”或“CAN”(不受车内噪声等的影响)的开放标准规范的通信总线。
另外，通信线路2、立体光学模块1和中央控制单元3可以通过光电耦合器彼此电绝缘，从而电路不受各种施加于导线的波尖噪声等的影响。
进一步，对于输入或显示，可以采用由用于车辆内设备的用户接口设计工具(诸如例如由微软(注册商标)公司出品的汽车UI工具包)配置的GUI或语音接口。
即，在该第三实施例中，不仅立体光学模块所要求的图像处理(例如对在立体光学模块中获得的立体图像数据的修正、γ校正、阴影校正或分离成亮度信号和色差信号)在立体光学模块中执行，而且距离图像的计算也在立体光学模块中执行。因此，与第一实施例相比，降低了中央控制单元侧的电路负载，并可进一步简化中央控制单元侧的规格，从而提高了中央控制单元的通用性。
下面将说明根据本发明的第四实施例。在第四实施例中，将给出关于立体摄像机系统的操作序列(执行该序列以更好地进行距离图像计算)的说明。需要注意的是，这里以用于车辆内应用的触发信号作为示例。另外，第四实施例示出的是根据第一实施例的立体摄像机系统的操作序列。无需指出，该序列同样可以应用于根据第二或第三实施例的结构中。
首先参照图14说明在立体摄像机系统中的主操作序列。即，当检测到由诸如驾驶者的操作者使门钥匙处于打开状态或将点火开关(ignition key)切换至开状态时，处于睡眠状态的中央控制单元3恢复(步骤S1)并被激活(步骤S2)。在激活同时，中央控制单元3启动立体光学模块1的图像输出处理电路8和成像元件5(步骤S3和S4)。这里，将激活立体光学模块1所要求的“激活命令”通过通信线路2从中央控制单元3发送至立体光学模块1。立体光学模块1响应于该“激活命令”，将未示出的内电源电路从节能模式切换至操作模式，并随后启动图像输出处理电路8和成像元件5。于是，开始成像。此外，同时，中央控制单元3启动图15中示出的传感器检查序列(步骤S5)。稍后将说明该传感器检查序列的细节。
当将没有问题的环境信息数据100作为传感器检查序列的结果输出至修正处理部15时，开始修正处理。即，修正处理部15基于该环境信息数据100或存储在校正信息存储器7中的校准数据101等执行修正处理(步骤S7)。进一步，通过通信线路2将进行了该修正处理的修正图像提供至中央控制单元3。需要注意的是，在中央控制单元3，例如环境判断单元33基于修正图像检查用于该修正处理并存储在帧存储器30中的校准数据101是否合适(步骤S8)，并且如果该校准数据101存在问题则将该修正图像从帧存储器30中删除以防止使用该图像。此外，执行稍后要说明的校准数据校正处理(步骤S9)，并且通过通信线路2将由该校正处理校正过的校准数据重写入立体光学模块1中的校正信息存储器7中，从而更新存储的校准数据101(步骤S10)。此外，在步骤S7处的修正处理中，采用该经更新的校准数据101执行修正处理。于是，总是以最新的和正确的校准数据执行修正处理。
如果基于进行了修正处理的修正图像判定该校准数据没有问题，则中央控制单元3中的距离图像计算单元32基于输入的修正图像进行视窗匹配处理(步骤S12)，生成距离图像，并将该所生成的距离图像输出至环境判断单元33(步骤S13，第二图像评估序列)。中央控制单元3中的环境判断单元33通过采用该距离图像执行稍后要描述的驾驶辅助(步骤S14)。
这里，当门钥匙被打开或将点火开关切换至关状态时，在步骤S15处的判断跳至“是”以记录当前校准数据(步骤S16)，中央控制单元3进入睡眠状态，并且立体光学模块1也停止其操作。这里，将用于停止立体光学模块1的操作的“操作停止命令”通过通信线路2从中央控制单元3发送至立体光学模块1。立体光学模块1响应于该“操作停止命令”执行预定操作，然后进入节能模式。
下面参照图15说明在图14中步骤S5处的传感器检查序列。这里，需要注意的是，将给出的说明假设立体光学模块1附于汽车后视镜上并且通过前窗玻璃对车体前方进行成像。
在该传感器检查中，中央控制单元3首先通过已知技术检测前窗玻璃上的灰暗沉积物(dull deposit)/露滴(步骤S21)，并判断在车辆的前窗玻璃上是否有灰暗沉积物或露滴(步骤S22)。如果在该判断中判定存在灰暗沉积物，则中央控制单元3打开未示出的除霜器来移除该灰暗沉积物(步骤S23)，并在显示输入设备35上进行灰暗沉积物警告显示(步骤S24)。而且，当通过除霜器的作用移除灰暗沉积物时，中央控制单元3在步骤S22的判断中判定不存在灰暗沉积物，并关闭灰暗沉积物警告显示(步骤S25)。
然后，中央控制单元3通过采用经通信线路2从雨滴传感器10发送的输出来检测雨滴(步骤S26，第一图像评估序列)，并判断在前窗玻璃上是否有雨滴(步骤S27)。如果在该判断中判定有雨滴，则中央控制单元3操作未示出的雨刷来开始移除雨滴(步骤S28)，并在显示输入设备35上进行下雨警告显示(步骤S29)。另外，当通过雨刷的作用移除雨滴时，中央控制单元3在步骤S27的判断中判定没有雨滴，并关闭下雨警告显示(步骤S30)。
然后，中央控制单元3通过采用温度传感器11来检测立体光学模块1的环境温度(步骤S31)，并判断所检测的温度是否在适于立体光学模块1操作的范围内(步骤S32)。如果在该判断中判定所检测的温度没有落入所述适当范围内，则中央控制单元3操作未示出的空调器来调节温度(步骤S33)，并在显示输入设备35上进行温度警告显示(步骤S34)。另外，当通过空调器的作用温度落入适当温度范围内时，中央控制单元3在步骤S32的判断中判定温度落入适当温度范围内，并关闭温度警告显示(步骤S35)。
在中央控制单元3操作的同时执行这些传感器检查。即，中央控制单元3判断是否输入了停止信号(步骤S36)，并当判定输入了停止信号时结束这些传感器检查。另一方面，当判定没有输入停止信号时，其通过通信线路2将诸如灰暗沉积物信息、雨滴传感器信息和温度传感器信息之类的环境信息数据100输出至立体光学模块1中的修正处理部15(步骤S37)，并且程序返回至步骤S21以继续传感器检查。这里，在第四实施例中，尽管以分时方式切换和执行第一图像评估序列和第二图像评估序列，但也可以由用户通过手动操作来切换。
需要注意的是，从传感器检查的流程图显见，仅当灰暗沉积物、露滴、雨滴和温度落入预定条件范围内时才输出环境信息数据100，因此即使由成像元件5捕获了立体图像也并不启动采用该环境信息数据100的修正处理。因此，在这种情况下，优选地采用显示输入设备35来进行警告显示，以通知驾驶者没有执行操作是由于没有获得预定条件而不是由于错误不能执行操作。
图16是示出了图14中步骤S9处的校准数据校正序列的流程图。
即，如图16所示，环境判断单元33首先判断由温度传感器11检测到的并通过通信线路2获得的诸如温度信息的环境条件是否已经改变(步骤S41)，并且例如当由于温度改变引起的热膨胀导致校准数据发生变化时，根据先前准备在EPROM 31或HDD 53中的温度分档(temperaturebracket)，从校准数据表102中读取对应于该温度的校准数据101，并通过通信线路2将读出的数据写入立体光学模块1的校正信息存储器7中(步骤S47)，从而更新校准数据101。
另选地，如果在步骤S41中判定环境条件没有改变，则获得具有已知形状的物体图像(在该示例中，为通过通信线路2从立体光学模块1提供的立体图像)(步骤S42)，对诸如立体光学模块1的附着位置的附着条件是否发生改变进行判断(步骤S43)，并且当附着条件已经改变时，根据该变化对校准数据进行校正(步骤S44)，并将经校正和更新的校准数据103加入校准数据表102中，并通过通信线路2将其写入立体光学模块1的校正信息存储器7中，从而对修正处理中采用的校准数据101进行更新。
进行这种校正可以经常以良好状态执行修正处理或视窗匹配。
图17是示出图14中步骤S14处的驾驶支持序列的示例的流程图。
即，当环境判断单元33进入该驾驶支持序列时，其采用常规图像(由立体图像剪辑部43剪辑出的一副图像)104和距离图像105作为输入来基于范围分布执行分段处理(步骤S52)，并随后执行引导车辆识别(步骤S54至S57)、道路表面识别(步骤S58至S59)、障碍物识别(步骤S61至S70)、车道识别(步骤S71至S73)等。
在引导车辆识别中，从常规图像104中提取通过由采用激光雷达等的雷达模块54检测从车辆反射的激光束而识别出的引导车辆，并将其与距离图像105的分段(segmentation)相匹配来识别引导车辆区域(步骤S54)，并提取该识别区域以及诸如引导车辆的车辆宽度等的信息，从而提取距该引导车辆的距离(步骤S55)，然后，检查距引导车辆的距离(步骤S56)，并当距引导车辆的距离不适宜(例如，太短)时，通过图像输出设备34在显示输入设备35上进行如图18所示的图像显示，从而执行车辆间距离警告(步骤S57)。
在道路表面检测中，在距离图像105中，在确保具有道路表面的位置处发现可从距离图像105中识别的平面(步骤S58)，并且该平面的范围被识别为具有与道路表面相同平面的平面。进一步，该道路表面被设定为基准表面(步骤S59)。当在各识别处理中采用该基准表面的数据106时，其可以用于对物体的识别、对引导车辆的识别、对车道的识别等。此时，如图19所示，可以通过图像输出设备34在显示输入设备35上显示经识别的平面。
在障碍物识别中，例如对从道路表面检测所检测出的平面上突起、并被距离图像105的分段处理所识别出的物体进行识别(步骤S61)，并且作为障碍物对其距离、尺寸等进行标识。据此，提取障碍物的距离(步骤S62)，对当前路线是否为碰撞路线进行判断(步骤S63)，并且在是碰撞路线的情况下通过图像输出设备34在显示输入设备35上进行躲避警告来催促操作者躲避(步骤S64)。然后，判断在步骤S62提取的距离是否为通过操作者(即驾驶者)本能制动操作可以使汽车停止的距离(步骤S65)，并且如果汽车可以安全停止则通过图像输出设备34在显示输入设备35上进行警告来催促操作者采用制动器(步骤S66)。另一方面，在汽车不能安全停止的距离的情况下，通过图像输出设备34从显示输入设备35指示操作者采用制动器，并且加速器踏板自动松开(步骤S67)。进一步，这里，如果可能进行躲避操作(步骤S68)，则作为紧急驾驶，采取安全措施，例如通过图像输出设备34在显示输入设备35催促转向(步骤S69)。
如果碰撞不可避免，则进行被动安全设备(例如气囊)的预先布置(步骤S70)。特别地，当汽车外的通信系统可操作时，则将诸如当前位置的事故报告、事故发生报告等配置为自动执行。
在车道识别中，根据常规图像104的亮度值来识别位于基准平面上的白线，或从距离图像105中识别突出基准平面固定高度的防护栏，从而识别车道(步骤S71)。于是，识别出了可行驶区域，检查汽车是否在车道内行驶(步骤S72)，并且当汽车将偏离车道时，如图21所示通过图像输出设备34在显示输入设备35中进行车道警告等的显示(步骤S73)。
需要注意的是，已经给出了在与图6所示的中央控制单元3相连的显示输入设备35的屏幕上显示警告的示例的说明，作为在第四实施例中的警告，但可以给出来自扬声器38的语音警告、打开指示灯42、或采用例如振动驾驶者的座椅来引起操作者注意的方法给出警告作为尽管未示出、但却是自然的变型。当类似步骤S64、S66和S67的紧急性很高时这是非常有效的，在操作者的眼睛从前方转移并不优选的情况下，尤其如此。
如上所述，根据第四实施例，可以在根据环境信息适当选择并校正校准数据时执行立体匹配。
需要注意的是，当然可以以很多方式来对该第四实施例中的各结构进行变型和修改。
例如，可以通过基于温度等从进行了表转换的多个校准数据表中进行选择来预先对校准数据进行校正。
此外，当传感器在传感器检查中发现问题时的对策并不限于第四实施例中说明的除霜器、雨刷和空调器，并且可以采用任何其他方法，例如采用灰暗沉积物禁止涂层或热线式加热器来取代除霜器，采用超疏水玻璃涂层或鼓风机来取代雨刷，或者采用peltiert设备或制冷风扇来取代空调器。
此外，可以以很多方式对图14中所示的操作序列流程图进行改变。例如，当在传感器检查中灰暗沉积物/露滴/雨滴/温度没有落入预定条件范围内时，可以输出环境信息数据100，并且当环境信息数据100中的环境信息条件不适宜时(步骤S87否)以及不能执行修正处理等时，可以激活传感器检查序列来停止距离图像输出处理且可通过图像输出设备34在显示输入设备35上显示处理不可能警告(步骤S88)，从而将事实通知操作者(例如驾驶者)。
另外，尽管在如图15所示的传感器检查序列中持续使用灰暗沉积物移除器或雨刷，但如图23所示当传感器信息指示状态良好时(步骤S105、S111和S117)，可以关闭除霜器、雨刷或空调器。进一步，可以周期性地输出环境信息数据(温度传感器信息等)(步骤S120)。
此外，已经给出对于在图15所示的传感器检查序列中全部处理串行执行的示例的说明，但可以如图24所示同时检查各环境条件(步骤S122、S128和S134)或者执行消除测量禁用状态的操作(步骤S123、S129和S135)。另外，可以由系统自动执行消除测量禁用状态的操作，并且可以将指示不能进行处理的消息显示给操作者。
另外，尽管在第四实施例中将灰暗沉积物、雨滴和温度表示为典型环境条件，但也可以采用雾、成像元件中的问题、白天和黑夜的变换、照度信息、落叶或鸟粪、污点或例如汽车内悬挂的吉祥物对窗玻璃的阻挡、或者诸如驶来的车辆的相位位置的信息作为环境信息。
此外，第四实施例还可以用于采用多个成像元件的立体摄像机中。
下面将说明根据本发明的第五实施例。将对于具有多个光学模块的系统来说明该第五实施例。各光学模块的结构基于第一至第四实施例。
即，如图25所示，多个立体光学模块1a和1b以及单目光学模块71a和71b与通信线路2相连接。连接到通信线路2的有中央控制单元3、操作状态检测模块72、环境监控模块60等。
这里，作为单目光学模块，有如图7所示的侧摄像机模块58或后摄像机模块62。此外，作为操作状态检测模块72，有如图7所示的引擎控制模块57或制动传感器模块61，或未示出的转向角检测模块、传输监控模块等。此外，作为环境监控模块60，有如图7所示的雷达模块54、车辆速度传感器模块55、汽车导航模块56、内监控模块59、负载检测模块63、后超声雷达模块64等。
这里，当将诸如各光学模块的摄像机ID或各光学模块中的校准数据的信息加入在各光学模块中获得的图像信息中，并且由中央控制单元3对所获得的信息进行发送/接收和判断时，可以判定哪个校准数据应用来处理各光学模块中的信息。
进一步，通信线路2是单系统通信线路，并且可以采用该通信线路2在包括中央控制单元3和立体光学模块1a的各单元之间有效地进行通信。即，在该通信中，中央控制单元3集中地对整个系统进行序列控制，并且中央控制单元3将包括数据请求命令的各种控制命令发送至各单元，同时各单元将请求的数据等返回至中央控制单元3。
此外，如图25所示，通过共享该通信线2可以减少车内导线。因此，可以获得诸如重量减少、噪声干扰影响下降的效果。
下面将说明根据本发明的第六实施例。该第六实施例是雨滴传感器10安装在立体光学模块中的实施例。
例如，如图26中所示，传统的雨滴传感器将发自发光二极管(光投射LED)75的红外光或可见光投射到紧靠窗玻璃73的玻璃块74。由光投射透镜76对该光进行会聚，并由反射镜77等将该会聚的光线在玻璃外表面上的反射光导入光接收透镜78。然后，由光接收透镜78对该导入光进行会聚，并且由诸如光电二极管的光接收传感器79对该经会聚的光线进行检测。此时，当雨滴附着于窗玻璃73上时，由于光被散射从而光量发生改变，因此可以测量雨滴量。
然而，在该传统雨滴传感器中，该雨滴传感器必须紧附于玻璃表面，这导致空间或成本上受限。进而，当雨滴传感器遮挡了驾驶者的视野时或当除了雨滴传感器还安装有检测位于车辆前面的障碍物的立体光学模块时，存在遮挡立体光学模块的视野的问题或雨滴传感器对立体光学模块1的安装位置的问题。
因此，根据第六实施例的雨滴传感器通过采用由立体光学模块1捕获的图像来检测雨滴。
在结合前述实施例所描述的立体光学模块1中，采用了这样的立体光学系统，其垂直地分离从一侧到另一侧较长的右视差图像和左视差图像并将它们形成在如图5所示的成像元件上，从而获得如图27所示的这种水平方向上较长的立体图像。这里，根据立体测量原理，通常远距离物体具有小视差，而近距离物体具有大视差。即，在结合前述实施例所描述的光学系统中，由于可以保证较大的可测量视差范围，所以与现有技术相比，考虑基线长度，可以在具有立体图像的区域内处理非常近的距离(例如对于十厘米及以上的基线长度，十几厘米到几十厘米的近距离)到无限远的距离。
图28是示出了具有第六实施例中使用的立体光学模块1的右和左两个视点的立体图像的视野角的视图。即，在第六实施例中，以如下方式放置立体光学模块1车辆的至少一个窗玻璃作为雨滴检测目标进入交叠区83，在交叠区83中右视点和左视点的视野角交叠。例如，在图27的示例中的雨滴检测搜索范围为这样距离范围(图中的阴影部分)，其中窗玻璃位于图28中所绘交叠区83内。
具体地，当考虑车辆内应用时，由于识别障碍物等时对远距离(即几米至几十或几百米)进行，所以此时的视差量较小。因此，在进行视窗匹配时，通常，在核线上的对应点的搜索宽度被缩短以提高处理速度。需要注意的是，在近距离的情况下搜索宽度增大，因此搜索对应点要更费时。
然而，当仅在近距离(特别地，类似于第六实施例，窗玻璃所在的几十厘米的区域)内进行视窗匹配时，可以保证较大的视差量。作为极端示例，只在图27中示出的雨滴检测搜索范围内进行搜索就可以检测到雨滴。
参照图29和30，给出对此更详细的说明，在对远距离到近距离内的物体进行连续距离测量来计算距离图像的情况中，当从画面结束处的基准点开始搜索时，必须在整个画面移动搜索视窗的同时进行视窗匹配。搜索需要时间，在距离测量特别受到时间限制的车辆内应用等中可能导致致命缺陷。
因此，在第六实施例中，第一图像评估序列(检测水滴或雨滴)和第二图像评估序列(检测诸如障碍物或车辆的物体)作为模式进行切换。即，在检测水滴或雨滴的模式中，如图29所示，在对应于基准图像80中的近距离的范围内进行视窗匹配。另一方面，在检测诸如障碍物或车辆的物体的模式中，限制搜索范围，并且执行对对应于例如3米到100米的视差量的搜索。由中央控制单元3作为图像评估设备执行这种处理。
此外，当具体地经常检测雨滴时，可以将在搜索图像81侧的搜索范围限制到对应于图30中所示的包括窗玻璃73的表面的受限距离区域(例如，与视窗形状或倾角匹配的较窄区域)的搜索范围(图中阴影部分)。即，可以如下方式补偿搜索范围的值将在右图像左端和左图像右端的雨滴搜索范围确定为搜索范围，并且可以基于第一图像评估序列来执行计算。如此限制搜索范围可以实现以更高速度基于视窗匹配的对雨滴的检测。
另外，如图30所示，当搜索范围随着窗玻璃73的倾斜而倾斜时，由于画面的上端具有较近距离，而画面下端具有比上端远的距离，所以可以在减小如图30中阴影部分所示的从对画面上端侧搜索到对画面下端搜索的搜索范围的补偿量的同时，执行视窗匹配。
如上所述，在第六实施例中，由限于近距离的视窗匹配来实现如雨滴传感器的功能可以检测玻璃上的雨滴或污点，而无需在中央控制单元3或立体光学模块1中加入新设备。
进一步，通过在具有小视差的范围内进行匹配来进行对常规障碍物的距离测量，并且并行地在具有大视差的范围内进行匹配来执行对雨滴的检测。另选地，可以通过以分时方式进行这种匹配在进行对障碍物的距离测量的同时实现雨滴检测功能。
需要注意的是，当然可以以很多方式对该第六实施例中的各结构进行变型和修改。
例如，检测窗玻璃表面上的水滴或雨滴的计算部和检测窗玻璃前面的诸如障碍物或车辆的物体的计算部可以不必构成为一个计算部，可以在中央控制单元3中分别设置检测窗玻璃表面上的水滴或雨滴的第一图像评估/计算部和检测窗玻璃前面的诸如障碍物或车辆的物体的第二图像评估/计算部。在这种情况下，将第一计算部和第二计算部构成为可根据各个情况进行切换。
进一步，尽管在第六实施例中给出了对所捕获图像被动地进行处理的示例的说明，但也可以与被动模式一起采用主动模式以固定周期向窗玻璃73发射具有特定波长的光，并基于从雨滴散射的光检测雨滴。在这种情况下，可以足够好地在时间系列上切换雨滴检测和距离测量，并将光束投射到立体光学模块的右视野和左视野之一。此外，在并行处理的情况下，可以足够好地在除交叠区外的区域(其为图31或32中所示的视野的外围部分)内拍摄一幅图像作为二维图像，并将光束发射器82(诸如图33中所示的发光设备)的光束(诸如红外光)投射到交叠区之外的区域上，从而检测雨滴。需要注意的是，即使在远距离内也不会发生交叠，可以向外打开会聚角来设定视点。此外，由于在立体测量中不采用交叠区以外的区域，可以将红外光仅投射到该视野范围内，从而检测雨滴。
另外，如图34所示，可以在对应于交叠区以外的区域的窗玻璃表面上采用雨滴检测涂层84，并且例如足够好地在窗玻璃73表面上提供一散射表面以提供磨砂玻璃，从而提高在雨滴附着部分的渗透性。进一步，例如可以通过粘上用于湿度判断的着色板来构造检测雨滴的雨滴检测设备。
此外，可以在窗上粘有疏水板和亲水板以进一步清晰地判断雨滴的有/无。
而且，通过在视野遮光板的视野部分中安装具有积极电力(positivepower)的特写镜头来处理更近距离拍摄，可以将聚焦区域限制到近距离，或至少在窗玻璃表面与立体摄像机系统之间的范围，以通过对二维图像的检测、采用红外光拍摄、对形状的提取、色彩检测等来检测雨滴。当在不用于距离测量的区域内执行这些类检测时，可以通过采用单一成像元件来实现对雨滴的检测，而不会不利地影响距离测量。
进一步，在投射红外光的情况下，可以通过之前移除置于拍摄交叠区以外的区域的成像元件上的红外线滤镜或用带通滤波器替代该部分来实现更有效的测量。
此外，尽管在第六实施例中，交叠区以外的区域内采用光投射或雨滴检测涂层，但如果画面外围部分不用于距离测量，则上述雨滴检测装置当然可以针对对应于该部分的画面外围处的窗玻璃而构造。
需要注意的是，在各前述实施例中，可以构造所谓的泛聚焦立体光学系统(其具有从窗玻璃附近到视野深度之前预定距离(例如，50到300米)的范围)，而不在立体光学系统中设置聚焦机构。在这种情况下，即使不提供聚焦机构，也可以基本聚焦在已附着于窗玻璃上的雨滴或附着物以及前面的障碍物两者上，从而同时识别附着物和障碍物的形状。
尽管上面已经基于实施例说明了本发明，但本发明并不限于前述实施例，而且当然可以在本发明范围内进行各种变型或应用。尽管在前述实施例中已经说明了车辆内立体摄像机系统，但即使在诸如机器人的运动物体中执行距离测量的情况下也可以采用本发明。
此外，前述实施例包括各阶段的发明，通过适当组合多个公开的构成要件可以获得多种多样的发明。例如，即使删除实施例中公开的一些构成要件，仍可以解决在“发明要解决的技术问题”部分描述的技术问题，并且当可获得在“发明效果”部分描述的效果时，也可以提供作为本发明的其中删除了该结构要件的结构。
权利要求
1.一种立体光学模块，其特征在于，包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在第一半表面部分上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自中心；以及第二偏光机构，在第二半表面部分上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且在垂直于所述基准线和所述光束对所述第一偏光机构的入射方向上，并且沿着该方向，所述第二偏光机构偏离所述第一偏光机构，所述第二空间区基本位于所述第二导光部后面且在垂直于所述基准线和所述光束对所述第二偏光机构的入射方向上，并且沿着该方向，所述第一偏光机构偏离所述第二偏光机构。
2.一种立体光学模块，其特征在于包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在位于第一半表面部分的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自的中心；第二偏光机构，在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部分位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及包装件，保护所述立体光学模块中的机构，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且夹在所述第一偏光机构和所述包装件之间，所述第二空间区基本位于所述第二导光部后面且夹在所述第二偏光机构和所述包装件之间。
3.一种立体光学模块，其特征在于，包括第一导光部，用于生成从相对物体的第一视点看到的第一物体图像；第二导光部，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，在位于第一半表面部分的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一物体图像是由从所述第一导光部进入的光束获得的，所述第一半表面部位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一导光部和所述第二导光部的各自的中心；第二偏光机构，在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二物体图像是由从所述第二导光部进入的光束获得的，所述第二半表面部位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及包装件，从外面保护所述立体光学模块中的机构，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区基本位于所述第一导光部后面且被所述第一偏光机构、所述第二偏光机构和所述包装件包围，所述第二空间区基本位于所述第二导光部后面且被所述第一偏光机构、所述第二偏光机构和所述包装件包围。
4.一种立体光学模块，其特征在于，包括第一光学透镜，用于生成从相对物体的第一视点看到的第一物体图像；第二光学透镜，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第一偏光机构，包括反射从所述第一光学透镜进入的光的第一反射件和对由所述第一反射件反射的光再进行反射的第二反射件，以在位于第一半表面部分的成像元件上形成所述第一物体图像的全部或大部分的图像，所述第一半表面部分位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一光学透镜和所述第二光学透镜的各自的中心；第二偏光机构，包括反射从所述第二光学透镜进入的光的第三反射件和对由所述第三反射件反射的光再进行反射的第四反射件，以在位于第二半表面部分的成像元件上形成所述第二物体图像的全部或大部分的图像，所述第二半表面部分位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及第三光学透镜，在所述成像元件上形成由所述第二反射件和所述第四反射件反射的光的图像，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区存在于对所述第一反射件或所述第二反射件的所述第一方向上，所述第二空间区存在于对所述第三反射件或所述第四反射件的所述第二方向上。
5.一种立体光学模块，其特征在于，包括第一光学透镜，用于生成从相对物体的第一视点看到的第一物体图像；第一遮光件，位于所述第一光学透镜附近，并防止传送进入所述第一光学透镜的部分光束；第二光学透镜，用于生成从相对物体的不同于所述第一视点的第二视点看到的第二物体图像；第二遮光件，位于所述第二光学透镜附近，并防止传送进入所述第二光学透镜的部分光束；第一偏光机构，包括反射从所述第一光学透镜进入的光的第一反射件和对由所述第一反射件反射的光再进行反射的第二反射件，以在位于第一半表面部分的成像元件上形成进入所述第一光学透镜的所述第一物体图像的全部或大部分的图像，所述第一半表面分部位于垂直于基准线和光束的入射方向的第一方向上，所述基准线连接所述第一光学透镜和所述第二光学透镜的各自的中心；第二偏光机构，包括反射从所述第二光学透镜进入的光的第三反射件和对由所述第三反射件反射的光再进行反射的第四反射件，以在位于第二半表面部分的成像元件上形成进入所述第二光学透镜的所述第二物体图像的全部或大部分的图像，所述第二半表面部分位于与所述第一方向相对的第二方向上，所述第一方向和所述第二方向之间为所述基准线；以及第三光学透镜，在所述成像元件上形成由所述第二反射件和所述第四反射件反射的光的图像，其中一构件置于第一空间区和第二空间区中的至少一个上，所述第一空间区位于所述第一遮光件后面且在相对所述第一反射件或所述第二反射件的所述第一方向上，所述第二空间区位于所述第二遮光件后面且在相对所述第三反射件或所述第四反射件的所述第二方向上。
6.根据权利要求1至3中的任一项所述的立体光学模块，其特征在于，所述第一导光部包括第一光学透镜，而所述第二导光部包括第二光学透镜。
7.根据权利要求1所述的立体光学模块，其特征在于，所述第一偏光机构包括第一反射件和第二反射件，而所述第二偏光机构包括第三反射件和第四反射件。
8.根据权利要求1所述的立体光学模块，其特征在于，所述构件为所述成像元件的外围电路。
9.根据权利要求8所述的立体光学模块，其特征在于，所述成像元件的外围电路为所述成像元件的驱动电路。
10.根据权利要求8所述的立体光学模块，其特征在于，所述成像元件的外围电路为对从所述成像元件输出的图像信号进行图像处理的图像处理电路。
11.根据权利要求8所述的立体光学模块，其特征在于，所述成像元件的外围电路为存储用于校正从所述成像元件输出的图像信号的校正数据的数字存储器。
12.根据权利要求1所述的立体光学模块，其特征在于，所述构件为温度传感器。
13.根据权利要求1所述的立体光学模块，其特征在于，所述构件为雨滴传感器。
14.根据权利要求1所述的立体光学模块，其特征在于，所述构件为照度传感器。
15.根据权利要求1所述的立体光学模块，其特征在于，所述构件为GPS天线。
16.根据权利要求1所述的立体光学模块，其特征在于，所述构件为ETC卡系统。
17.根据权利要求1所述的立体光学模块，其特征在于，所述构件为输出电信号的电信号输出电路。
18.一种立体摄像机，置于车辆上并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；以及水滴检测设备，基于由所述成像元件产生的所述立体图像数据，检测附着在所述窗玻璃表面的水滴量。
19.根据权利要求18所述的立体摄像机，其特征在于，以下述方式来放置所述立体光学系统所述窗玻璃放置在一区域中，在该区或中所述立体光学系统的多个视点中的第一视点的视野与所述立体光学系统的多个视点中的不同于所述第一视点的第二视点的视野相交叠。
20.一种立体摄像机，置于车辆内并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；以及附着物判断设备，根据从所述成像元件输出的所述立体图像数据中的各图像数据进行距离计算，并在目标物体的距离落入预定范围内时判定在所述窗玻璃表面上存在附着物。
21.根据权利要求20所述的立体摄像机，其特征在于，所述预定距离范围为对应于所述立体摄像机和所述窗玻璃之间的位置关系的距离范围。
22.根据权利要求21所述的立体摄像机，其特征在于，所述预定距离范围随与所述窗玻璃的形状或倾角相对应的所述立体摄像机的视野位置变化。
23.根据权利要求20所述的立体摄像机，其特征在于，所述附着物判断设备为检测附着于所述窗玻璃表面的水滴的水滴检测设备。
24.一种立体摄像机，置于车辆内并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从多个视点看到的所述物体图像，产生立体图像数据；图像评估设备，具有第一图像评估序列和第二图像评估序列以基于从所述成像元件输出的所述立体图像数据执行图像评估，所述第一图像评估序列检测在所述窗玻璃表面上的水滴以进行图像评估，所述第二图像评估序列检测在所述窗玻璃前面的物体以进行图像评估；以及切换装置，用于切换所述图像评估设备的所述第一图像评估序列和所述第二图像评估序列以进行操作。
25.根据权利要求24所述的立体摄像机，其特征在于，所述第一图像评估序列为在第一距离搜索范围内执行计算以检测附着于所述窗玻璃表面的水滴的序列，并且所述第二图像评估序列为在不同于所述第一距离搜索范围的第二距离搜索范围内执行计算以检测所述窗玻璃前面的物体的序列。
26.根据权利要求24所述的立体摄像机，其特征在于，所述第一图像评估序列在相对于从所述立体光学系统的多个视点中的第一视点看到的图像数据靠近所述立体光学系统中所述多个视点中的不同于所述第一视点的第二视点侧的预定图像区域和相对于从所述第二视点看到的图像靠近所述第一视点侧的预定图像区域之间执行计算。
27.根据权利要求24所述的立体摄像机，其特征在于，当在从所述立体光学系统的多个视点中的第一视点看到的图像数据和从所述立体光学系统的所述多个视点中的不同于所述第一视点的第二视点看到的图像数据之间进行计算时，所述第一图像评估序列提供对应于根据所述立体摄像机和所述窗玻璃的位置确定的距离的补偿以进行计算。
28.根据权利要求27所述的立体摄像机，其特征在于，所述补偿随与所述窗玻璃的形状或倾角相对应的所述立体摄像机的视野位置而变化。
29.根据权利要求25所述的立体摄像机，其特征在于，所述第一距离搜索范围随与所述窗玻璃的形状或倾角相对应的所述立体摄像机的视野位置而变化。
30.一种立体摄像机，置于车辆内并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；以及图像评估设备，具有第一图像评估/计算部和第二图像评估/计算部以基于从所述成像元件输出的所述立体图像数据执行图像评估，所述第一图像评估/计算部检测在所述窗玻璃表面上的水滴以进行图像评估，所述第二图像评估/计算部检测在所述窗玻璃前面的物体以进行图像评估。
31.根据权利要求30所述的立体摄像机，其特征在于，所述第一图像评估/计算部在第一距离搜索范围内进行计算以检测附着于所述窗玻璃表面的水滴，从而实现图像评估，以及所述第二图像评估/计算部在不同于所述第一距离搜索范围的第二距离搜索范围内进行计算以检测在所述窗玻璃前面的物体，从而实现图像评估。
32.一种立体摄像机，置于车辆内并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；发光设备，以光照射所述立体光学系统的多个视点中的第一视点的第一视野与所述窗玻璃交叠的区域中的窗玻璃表面；以及水滴检测设备，基于由所述成像元件产生的所述立体图像数据，检测附着在所述窗玻璃表面的水滴量。
33.根据权利要求32所述的立体摄像机，其特征在于，所述发光设备以光照射所述第一视野与所述窗玻璃交叠的区域内所述窗玻璃的表面，所述区域为所述第一视野的外围部分。
34.根据权利要求32所述的立体摄像机，其特征在于还包括物体检测设备，基于从所述成像元件输出的所述立体图像数据检测所述窗玻璃前面的物体；以及控制电路，当操作所述水滴检测设备时激活发光设备，并当操作所述物体检测设备时停用所述发光设备。
35.一种立体摄像机，置于车辆内并通过窗玻璃观察前方，该立体摄像机的特征在于，包括立体光学系统，用于生成从相对同一物体的多个视点看到的物体图像；成像元件，基于由所述立体光学系统产生的从所述多个视点看到的所述物体图像，产生立体图像数据；水份检测设备，在所述成像元件输出的所述立体图像数据中，设置在所述立体光学系统的多个视点中的第一视点的第一视野与所述窗玻璃交叠的区域中的所述窗玻璃的表面上，并当基于与颜色随所检测的附着水份而变化的物质相对应的图像数据中的色彩信息检测到预定色彩信息时输出信号。
36.根据权利要求18所述的立体摄像机，其特征在于，所述立体光学系统被构成为泛聚焦型。
全文摘要
在立体光学模块中，在基本位于前透镜单元(20a)后面且在初级偏光镜(21a)和次级偏光镜(22a)上面的电路布置空间(27a)和基本位于前透镜单元(20b)后面且在初级偏光镜(21b)和次级偏光镜(22b)下面的电路布置空间(27b)中的至少一个中设置一构件。
文档编号B60R21/00GK1798958SQ20048001490
公开日2006年7月5日 申请日期2004年5月28日 优先权日2003年5月29日
发明者三由贵史, 小坂明生, 岩城秀和, 荒井和彦 申请人:奥林巴斯株式会社