操作地耦接的处理器，与所述内壁和所述处理器热连通的导热材料。传感器提供传感器数据，处理器处理该传感器数据。导热材料将由所述处理器产生的热量通过所述内壁传导至外部表面，从而耗散由处理器产生的热量。
[0030]传感器也可以被设置于所述空腔内，而且可以包括第一成像器和第二成像器，两者都被例如，使用销和/或螺栓，安装于安装面上。第一成像器从第一视角获取环境的第一图像，第二成像器从与第一视角不同的第二视角获取环境的第二图像。
[0031]在一可替代的实施例中，传感器系统包括传感器、壳体以及处理器。壳体限定空腔和且包括限定至少一个外部表面的至少一个壁。处理器被设置于所述空腔内紧贴于所述至少一个壁上且与所述传感器可操作地耦接。在运行中，处理器产生热量，该热量通过与所述外部表面热连通的一个壁从而被耗散。
[0032]本发明的一实施例包括立体视觉系统和方法。在一实例中，立体视觉系统包括:壳体，被设置于所述壳体内的第一传感器阵列，被设置于所述壳体内的第二传感器阵列，以及被设置于所述壳体内的光源。在运行时，第一传感器阵列通过所述壳体内的第一开孔从第一视角获取所述环境的第一图像，第二传感器阵列通过所述壳体内的第二开孔从与第一视角不同的第二视角获取所述环境的第二图像。光源通过所述壳体内的第三开孔照明所述壳体外部的环境。在一些实施例中，立体视觉系统还包括第一透镜，被设置于第一开孔内且与所述第一传感器阵列光学连通，用于在所述第一传感器阵列上成像所述环境的第一部分，以及第二透镜，被设置于第二开孔内且与所述第二传感器阵列光学连通，用于在所述第二传感器阵列上成像所述环境的第二部分。
[0033]应当注意的是前述概念以及将在下面更加具体讨论的另外的概念(这些概念互相不冲突的情况下)的所有组合都将被认为是在此公开的本发明主题的一部分。尤其是，出现在本公开的权利要求书中的主题的所有组合都将被认为是本公开的本发明主题的一部分。还应当注意的是在此明确使用的也可能出现在通过引用方式合并进来的任何公开中的术语都应该具有与在此公开的特定概念最为相符的意思。
【附图说明】
[0034]本专利或专利申请档案包括至少一幅用彩色绘制的附图。基于请求和支付必要的费用后专利局可以提供带有彩色附图的本专利或专利申请的公开文本。
[0035]本领域技术人员可以理解这些附图主要是用于说明的目的，不是为了限制在此描述的发明主题的范围。这些附图不需要是成比例的，在一些情况下，本公开的发明主题的不同方面在图中可能被夸大地或者放大地显示以便于理解不同的特征。在附图中，相似的参考字符一般指的是相似的特征(例如，功能上近似和/或结构上近似的部件)
[0036]图1A示出了根据本发明的实施例的多传感立体视觉系统，其包括装配于框架上的立体视觉传感器和装配于激光扫描设备上的激光测距仪；
[0037]图1B是为图1A中示出的根据本发明的实施例的多传感立体视觉系统的框图；
[0038]图2A为根据本发明的实施例的立体传感头的透视图，其示出了用于使立体传感头与多传感立体视觉系统的激光测距仪和/或其它部件相对准的定位销；
[0039]图2B和2C为根据本发明的实施例的立体传感头的透视图，其不包括用于激光器组件的对准定位销或其它附件；
[0040]图3A-3D为根据本发明的实施例的立体传感头的剖视图，该立体传感头具有整体框架、用于光源和立体摄像机的分开的开孔和透镜、内导热壁以及用于将热量从电子器件导出的导热板；
[0041]图4A和4B为根据本发明的实施例的立体传感头内部的光学部件组和传感器组件的剖视图；
[0042]图5A_f5D为用于根据本发明的实施例的立体传感头的与电子组件相配合的光学组件的透视图；
[0043]图6A和6B分别为根据本发明的实施例的用于立体传感头的电子组件的主视图和仰视图；
[0044]图7A和7B分别为根据本发明的实施例的适用于多传感立体视觉系统的可选的立体传感头；
[0045]图8A-8D为根据本发明的实施例的激光扫描仪和动力传动系统的图；
[0046]图9A-9C示出了根据本发明的实施例的处理器(例如，现场可编程门阵列)，其被配置成利用全局或半全局块匹配算法来处理立体数据；
[0047]图10为用于说明立体传感器校准过程的流程图；
[0048]图11为用于说明激光传感器(LIDAR)校准过程的流程图；
[0049]图12为用于说明从激光到立体传感器的校准过程的流程图；
[0050]图13A-13D示出了通过立体成像系统中的左和右摄像机获取的四幅图像:由左摄像机获取的第一图像(图13A);由右摄像机获取的第一图像(图13B);由左摄像机获取的第二图像(图13C);由右摄像机获取的第二图像(图13D);
[0051]图14A示出了基于图13A和13B所示出了的图像的视差图；
[0052]图14B示出了基于图13C和13D所示出了的图像的视差图；
[0053]图15示出了由左和右图像(分别为左上和右上)在有和无输入图像信息(分别为左下和右下)时得到的视差图的合成；
[0054]图16A和16B分别示出了重叠在图14A和14B的视差图之上的图像数据；
[0055]图17A和17B分别示出了图14A和14B所示出的视差数据的3D投影；
[0056]图18A和18B分别示出了在有和无烟雾使传感器模糊时由激光点云数据和立体图像数据合成而成的图像。
【具体实施方式】
[0057]迄今为止，对于许多应用而言，3D立体系统和3D LIDAR系统太大、太重、且过于耗电。本发明的实施例从多个途径来解决这些问题，在一些实例中，其结果为足够小、足够轻且足够低耗电的3D传感器，该3D传感器可用于小型机器人、车辆、类人机器人以及其它在传感器尺寸、重量和耗电量上有限制的环境。与传统的传感器相比，例示的3D传感系统能够提供相似或者扩展的传感性能，而其包装尺寸差不多要小一个量级且仅消耗差不多十分之一的电量。在一些实施例中，降低的耗电量和减小的尺寸是通过使用嵌入式FPGA、集成式装配、紧凑且高效的散热设计、以及紧凑、低耗能和自保护的动力传动系
[0058]该发明的传感器的实例将LIDAR和立体数据融合为单一的数据流，其特别适用于大区域绘图(large area mapping)。LIDAR数据通常是准确的，但在一些时候不够密集，从而在环境中没有激光器位置的连续姿态估计的情况下难以拼接起来。立体数据通常足够密集，而且具有足够的帧速率来提供连续的姿态估计，无论是通过视觉测程法还是3D特征匹配和跟踪。另外，立体数据可以被用来检验和纠正LIDAR数据，反之亦然，结果可以得到在几何上更加精确、更加稳定、且鲁棒性更强的系统，其能够作为独立的设备存在。
[0059]多传感立体视觉系统
[0060]图1A和IB示出了例示的多传感立体视觉系统100，其包括通过紧凑的、质量轻的激光扫描机械装置300机械地耦接到LIDAR的立体传感头200。系统100还包括可见光和/或红外(IR)发光二极管(LED)400。如图1A所示，立体传感头200包括分别装配于视窗202a和202b ( 一并称为视窗202)之后的摄像机210a和210b ( 一并称为摄像机210)。立体传感头200还包括一对垂直安装的LED 400，每个LED 400安装在其自身各自的视窗内。
[0061]图1B为如图1A所示的立体视觉系统100的框图。除了摄像机210之外，立体视觉系统100还包括LED驱动模块410和处理模块500，这些模块直接通过适当的总线彼此可操作地耦接，还通过连接器102或者其它适当的总线耦接到一个或多个外部部件。LED驱动模块410包括保险丝兼滤波器412和12伏DC-DC转换器414，它们共同向主板500提供电能。多个LED驱动器402抽取经保险丝保护且经滤波的电能来分别驱动LED 400。处理模块500包括处理器510，其在图1B示为现场可编程门阵列(FPGA)、存储器(未图示)、数据连接512、辅助输入和输出514、惯性测量单元(HlU)元件516以及功率监控器518。如本领域技术人员已知的那样，处理模块500还包括其它元件，比如专用集成电路(ASIC)，其用于取代FPGA或者作为FPGA的补充。
[0062]图1B还示出了各摄像机210还包括各自的成像器212a和212b ( 一并称为成像器212)，比如CMOSIS CMV2000/4000传感器；各自的成像器印刷电路板(PCB) 214a和214b ( —并称为成像器PCB 214);以及各自的视窗216a和216b ( —并称为视窗216)。如图1B所示，摄像机210分别通过触发器和信号线路与处理单元500中的处理器510可操作地耦接。
[0063]立体摄像机组件
[0064]将印刷电路板(PCB)与传感器和光学组件进行销连接和对准(统一的光学边框/子组件)
[0065]制作立体系统的一项挑战是随着时间推移仍可以保证校正模型的精确性。透镜或成像器的任何移位都可能会导致光学畸变或偏移，那时校正模型将不再与该单元的属性相匹配。这将导致左右图像的特征匹配困难，并且使得到的视差图不具有准确性和完整性。
[0066]传统上，立体摄像机具有分别装配于同一外壳上的摄像机。两个摄像机之间的对准通过螺栓、定位销或两者并用来保持。各摄像机内部的透镜与成像器之间的对准也通过螺栓、定位销或两者并用来保持。在每个这些位置上，存在由于外部冲击而导致元件移位并失去校准准确性的可能。
[0067]所发明的立体摄像传感器单元包含多种设计手段来防止成像器和透镜的移位。首先，单个光学子框架被用来替代分立式的组件装配。这意味着两个成像器和两个透镜都被直接安装于单个的机械部件上。这将使得比传统的分立式装配更加准确地初始装配，且随着时间推移更加准确地对准。
[0068]例如，由于成像器都用螺栓直接地固定于光学子框架的单一表面上，因此成像器将保证彼此处于同一平面内。传统的分立式装配可能使得一成像器在另一成像器之前或之后，或者以轻微的角度倾斜。尽管这些装配误差可以被考虑到系统的校准模型中，并且从结果数据中消除这些影响，但是可能最好还是具有准确的透镜和成像器对准。
[0069]此外，随着时间推移，与分立式装配相比，光学子框架将保持更好的校准准确性。这是由于减少了透镜与成像器之间以及左和右透镜/成像器对之间的螺栓或定位销的数量。由于连接数量的下降，系统将变得更为坚固，并且随着时间推移装配和对准更加稳定。
[0070]图2A为立体传感头200的透视图，且示出了传感头的外部壳体204，壳体204可以用塑料、金属、或其它适当的材料制成。壳体204可以是模塑的或是由单件材料机械加工的或是由多件构成的。壳体204包括定位销206a和206b ( 一并称为定位销206)，其插入到位于激光扫描机构300上的接受器(未图示)之中，和/或其它的用于将立体传感头200对准到激光扫描机构300上的特征(图1A)。壳体204还可以限定密封通道208或其它的开孔，其用于从传感头200到外部电源、处理器、存储器、天线、通信接口、或者其它的电子和/或机械组件的布线。
[0071]图2B和2C示出了立体传感头250的视图，其不包括对准定位销或用于激光器组件的其它附件。像如图2A所示的立体传感头200那样，立体传感头250包括壳体254，其可以是模塑的或是由单件材料机械加工的或是由多件构成的。当装配好后，壳体254限定一空腔来容纳摄像机210、相连的电子器件(未图示)、摄像机210用的开孔、光源、电源/数据连接器102、以及LED连接器。
[0072]图7A和7B示出了一可选的立体视觉系统700，其具有与如图2A所示的壳体204相比更宽大的壳体704。壳体704可以由静态O形环所密封，在其后面板上具有氮气吹扫阀和/或压力阀。壳体704包括托架706，其具有硬体的、键锁(key locking)插入接口(也可在图2C中从窄壳体204的左和右后边缘看到)和用于精确定位的定位销。该壳体704还包括一对视窗702a和702b ( 一并称为视窗702)，其分别用于摄像机710a和710b ( 一并称为摄像机710)。这些摄像机710可以通过一个或多个柔性带状电线与处理器耦接，该柔性带状电缆连接到连接器720a和720b。如在其它的实施例中，视窗702可以由具有低光学畸变的抗冲击玻璃或塑料制成。然而在这种情况下，视窗702和摄像机710被分开得更开，以提供更宽的基线，这样反过来能够改进3D景深准确性和提高可用的范围。另外，壳体704容纳有四个LED阵列712，其位于视窗714之后，水平分布在摄像机710之间。这些LED阵列712可以提供可见光照明、IR照明、或可见光和IR组合照明用以改进成像保真度和精确聚焦调节。
[0073]导热板用于从现场可编程门阵列传导热量
[0074]系统最大的热产生源为处理器510，其可以包括主处理现场可编程门阵列(FPGA)或专用集成电路(ASIC)。如果不进行适当的冷却，处理器510可能会过热，并且如果系统在高环境温度下运行的话可能会导致实体损害。由于处理器510位于密封的壳体之内，因此从处理器510移除热量将具有挑战性。
[0075]图3A-3D示出了传感头200的剖视图。这些视图示出了电子装配600 (在图6A和6B中示出了更具体的细节)，其包括处理单元500、成像器212、以及成像器PCB 214。如图3A和3C所示，整体框架240将