用于机器人的多传感立体视觉的方法、系统和设备的制造方法
【专利说明】用于机器人的多传感立体视觉的方法、系统和设备
[0001]相关串请的交叉引用
[0002]本申请基于美国法典第35卷第119(e)节要求于2013年3月15日提交的、名称为“用于机器人的多传感立体视觉的方法、系统和设备”的美国临时申请第61/792，468号的优先权，该临时申请的全部内容通过引用方式并入本申请。
【背景技术】
[0003]三维(3D)传感在许多领域和环境下很有用处。其允许机器人、自动车辆、以及远程控制车辆安全行驶和穿过地形，避开静态障碍物如树木、建筑和陡降，以及动态障碍物如人、动物和车辆。3D传感还能够允许绘制机器人本地环境的地图和绘制更大周围区域的较大规模地图。在工业环境下，在此描述的三维传感器可以在机器周围建立静态的或适应性的安全防护帘，和/或计数或检查移动穿过自动装配线或生产线的部件。
[0004]高更新率的立体数据可以被用于感测待与之交互的近程障碍物、目标或物体。如果被安装作为人形机器人的“头部”，立体摄像机能够执行与人眼所做的完全一样的任务一一建立人形机器人前方的实时3D模型表示，以允许进行反应性抓取、路径规划、步骤规划、物体识别、物体跟踪以及许多其它方式的3D计算。
【发明内容】
[0005]本发明的实施例包括组合立体视觉/激光测距传感器，其适用于机器人、导航、机器视觉、制造业以及其它应用。在一些情况下，这些传感器包括具有扫描激光的立体摄像机，其被用于提供视频图像、立体图像以及从激光测距测量结果取得的图像。这些传感器可以被用于计算动作，由此随着传感器相对于其周围环境移动(或者周围环境变化)，激光图像可以被不断的“拼接在一起”形成整体地图。另外，立体摄像机和激光测距仪可以被用于“自检”彼此的距离数据。这允许传感器检测某些种类的故障，且在一些情况下允许传感器自校准。
[0006]两个传感器可以具有补偿(offsetting)能力:激光测距仪可以在长距离(例如，大约0.5米到大约30米)以高准确度运行，具有相当低的数据速率(例如，大约43，000点/秒)，且可以很好地感测所有或差不多所有的表面，但是在穿过空气中的障碍，比如灰尘，进行成像时可能会遇到一些麻烦。立体摄像机速度可以较快(例如，大于15，000，000点/秒)，在短距离上运行(例如，大约0.5米至大约5.0米，以7.0cm为基线)，当穿过空气中的障碍进行成像时表现更好，但是可能不能感测到无特征表面的距离。
[0007]在一些实施例中，激光脉冲在空间和时间上彼此同步且与外部时钟同步。另外，激光脉冲和摄像机图像可以相对于彼此准确地定时。这将有助于校准。这还使利用激光数据构建准确的3D模型成为可能，即使是在传感器运动的情况下:由摄像机图像进行的动作估计能够补偿在获取激光测距仪数据点期间传感器的移动。
[0008]传感器的实施例可以包括集成于单个单元的元件，建立该单个单元是为了耐受各种环境，包括极端温度、机械冲击、震动以及湿度。特别是，摄像机/透镜设计可以被构建成对抗由于温度变化和/或机械冲击引起的失准的漂移。类似的，用于处理传感器数据的立体算法和控制可以被调整成用于在具有挑战性的环境下运行，例如照明不足和糟糕的天气状况，以及灰尘和其它空气中的颗粒。
[0009]在一些实施方式中，包括那些适合于机器人应用的，传感器可以包括或可操作地耦接到惯性测量单元(MU)。耦接至頂U的传感器执行姿态估计软件来向用于导航等的机器人提供姿态解决方案。该姿态解决方案可以从源自MU、立体(例如，视觉测程法(visualodometry))、轮编码器(wheel encoder)、全球卫星定位(GPS)接收器和/或激光测距仪的数据中得出。
[0010]在一些实施例中，传感器内或与传感器耦接的处理器执行一个或多个校准算法，其使得传感器单元能够快速评估其校准的状态。如果该单元检测到失准时(例如，自动地)，那么它可以重新调整其校准参数，以在被称为“自愈(self healing)”的过程中“修正”该校准。该单元可以提醒用户有关自愈的信息而不需要用户的干预。
[0011]—个示例性的传感器单元可以无需目标就能够被(例如，自动地)校准。通常，摄像机和激光器系统使用特定的立于场景中的目标(例如，在三脚架上)来进行校准。例如，系统可以检测场景中的一个或多个“好的”机会目标，并且自动校准立体摄像机和激光测距仪这两者。
[0012]本发明的实施例包括用于估计环境中一个或多个物体的位置(包括系统自身的位置)的系统和方法。在一个实施例中，系统包括第一成像器、第二成像器以及与第一和第二成像器可操作地耦接的处理器。在运行中，第一成像器从第一视角获取环境的至少两幅参考图像，第二成像器从第二视角获取环境的至少两幅对比图像。处理器由至少两幅参考图像中的第一参考图像和至少两幅对比图像中的第一对比图像合成环境的第一视差图。处理器还由至少两幅参考图像中的第二参考图像和至少两幅对比图像中的第二对比图像合成环境的第二视差图。处理器至少部分地基于第一视差图来确定物体的位置的第一位置估计，并且至少部分地基于第二视差图来确定物体的位置的第二位置估计。
[0013]在一些情况下，处理器能够估计第一位置估计和第二位置估计之间的偏差。处理器还可以纠正第一位置估计和第二位置估计之间的偏差。例如，系统可以包括激光器用于使用激光照明物体，以及传感器用于检测由物体散射和/或反射的激光并且基于检测到的激光提供表示至所述物体的距离的距离信号。处理器可以通过将距离信号与第一位置估计、第二位置估计或第一和第二位置估计这两者进行比较，以确定第一位置估计与第二位置估计之间的偏差。
[0014]本发明的其它实施例包括用于对环境中的一个或多个特征进行成像的系统和方法。一个示例性的系统包括第一成像器、第二成像器以及与第一和第二成像器可操作地耦接的处理器。在运行中，第一成像器从第一视角获取环境的至少两幅参考图像，第二成像器从第二视角获取环境的至少两幅对比图像。处理器由至少两幅参考图像中的第一参考图像和至少两幅对比图像中的第一对比图像合成环境的第一视差图。处理器还由至少两幅参考图像中的第二参考图像和至少两幅对比图像中的第二对比图像合成环境的第二视差图。处理器可以在第一视差图和第二视差图中识别特征，还可以估计在第一视差图和第二视差图特征出现位置之间的偏差。
[0015]本发明的实施例还包括用于检测激光的扫描光束的失准(misalignment)的系统和方法。一典型系统包括激光器(laser)、与激光器光学连通和/或机械连接的扫描仪、传感器、以及与传感器可操作耦接的处理器。在运行中，激光器提供激光光束，扫描仪扫描激光光束以提供激光的扫描光束。传感器检测从环境中的至少一个物体散射和/或反射的激光，以便提供表示被检测到的激光的第一测量结果的第一信号和表示被检测到的激光的第二测量结果的第二信号。处理器基于第一信号生成环境的第一表征，并且基于第二信号生成环境的第二表征。处理器估计第一表征与第二表征之间的至少一个偏差，并基于第一表征与第二表征之间的至少一个偏差确定激光器、扫描仪以及传感器中的至少一个的失准。在一些情况下，处理器在确定所述激光器、所述扫描仪以及所述传感器中的至少一个的失准过程中，补偿(account for)激光器、扫描仪、和/或传感器中在第一测量结果与第二测量结果之间的移动。
[0016]在一些实施例中，传感器包括立体成像传感器，并且处理器被配置成基于所述第一表征和/或所述第二表征来校准所述立体传感器。在这些实施例中，处理器能够至少部分地基于所述第一表征来估计所述激光器、所述扫描仪以及所述立体成像传感器中的至少一个的第一三维位置。处理器还能够确定所述激光器、所述扫描仪以及所述立体成像传感器中的至少一个的第二三维位置估计，并且基于所述第一三维位置估计和所述第二三维位置估计来估计至少一个偏差。
[0017]本发明的另一个实施例中包括用于校准多传感立体视觉系统的方法，该多传感器立体视觉系统包括立体成像器和测距仪。在一个实施例中，该方法包括利用合适的处理器或其它计算装置通过由所述立体成像器提供的视差图来确定出现在所述视差图中的物体的第一三维位置估计。处理器通过由所述测距仪的测量结果来确定所述物体的第二三维位置估计。处理器确定第一三维位置估计与第二三维位置估计之间的偏差，例如，通过将所述第二三维位置估计的坐标投影到由所述视差图限定的空间上，并且确定所述第二三维位置估计的坐标与所述第一三维位置估计的坐标之间的距离。处理器基于在第一和第二三维位置估计中的偏差校准所述多传感立体视觉系统。
[0018]在一些情况下，处理器通过利用立体成像器获取从第一视角观察的场景的第一二维图像，并且利用立体成像器获取从第二视角观察的场景的第二二维图像来确定第一三维位置估计。处理器由所述第一二维图像和所述第二二维图像合成所述视差图。
[0019]测距仪的一些实施例包括激光测距仪。在这些实施例中，确定第二三维位置估计包括用激光照明所述物体，检测从所述物体散射和/或反射的激光，至少部分地基于检测到的激光确定所述第二三维位置。
[0020]本发明的另一实施例包括用于基于图像数据产生环境的视差图的处理单元。一个示例性的处理单元包括至少一个接口，用于从至少两个成像器接收图像数据；至少一个纠正处理模块，与所述至少一个接口可操作地耦接，用于纠正所述图像数据；至少一个立体处理模块，与所述至少一个纠正处理模块可操作地耦接，用于基于所述图像数据产生视差图。在一些情况下，所述纠正处理模块和/或所述立体处理模块在现场可编程门阵列中实现。
[0021]例如，接口可以包括第一接口和第二接口。在运行中，第一接口将所述图像数据的第一部分的第一串行表征转换成所述图像数据的第一部分的第一并行表征。第二接口将所述图像数据的第二部分的第二串行表征转换成所述图像数据的第二部分的第二并行表征。
[0022]立体处理模块可以基于半全局块匹配(sem1-global block matching, SGBM)算法、半全局匹配(sem1-global matching, SGM)算法以及立体块匹配(stereo blockmatching)算法中的至少一个来产生所述视差图。在一些情况下，立体处理模块搜索视差空间的动态可再配置部。该立体处理模块能够被动态地重新配置以便在不同的分辨率下处理图像数据。处理单元也可以动态地改变帧频，至少两台成像器按该帧频获取图像数据。
[0023]在一些实施例中，纠正模块包括至少一个存储器-到-存储器(memory-to-memory)模块。存储器-到-存储器模块可以包括前端、与所述前端可操作地耦接的延迟线、与所述延迟线可操作地耦接的后端。在运行中，前端从存储器中取得所述图像数据。延迟线将至少一个图像处理指令存储等于或大于所述存储器的延迟的时间。后端至少部分地基于从所述存储器中取得的所述图像数据产生纠正的输出。
[0024]一些处理单元还可以包括至少一个预处理模块，其与所述至少一个接口可操作地耦接，用于预处理所述图像数据的并行表征。例如，预处理模块可以对所述数据的并行表征进行滤波、柱状图生成、线性化、晕影修正、去马赛克、白平衡、和/或色彩空间转换中的至少一个。
[0025]本发明的又一实施例包括激光扫描系统和方法。一个示例性的激光扫描系统包括激光器，与所述激光器机械地耦接的主轴(spindle)，用于向主轴施加扭矩的齿轮，以及被压缩于所述齿轮与所述主轴之间的滑动离合器摩擦垫。在运行中，激光器产生激光光束。主轴使激光器绕第一轴旋转来扫描所述激光光束。齿轮向主轴施加扭矩。滑动离合器摩擦垫将由所述齿轮施加的所述扭矩的至少一部分传送到主轴，最多为阈值扭矩，并且在扭矩大于所述阈值扭矩时允许所述齿轮相对于所述主轴滑动。在一些情况下，所述阈值扭矩作为温度和施加于所述主轴的力的函数保持恒定。
[0026]激光扫描系统还包括壳体，其容纳所述主轴、所述齿轮、以及所述滑动离合器摩擦垫的至少一部分。另外，激光扫描系统还可以包括编码器，与所述主轴机械地耦接，用于测量所述主轴相对于所述壳体的位置。在一些情况下，齿轮为蜗轮，其与蜗杆相啮合，蜗杆用于驱动所述蜗轮且与电动机耦接，电动机旋转所述蜗杆来驱动所述蜗轮。激光扫描系统还包括顺应式电动机安装部，与所述电动机机械地耦接，用于允许电动机的轴向和径向的运动。激光扫描系统还包括滑环，与所述主轴机械地相耦接并且能够与所述激光器和电源进行电气连通，电源通过所述滑环与所述激光器进行电气连通，用于为所述激光器提供电力。
[0027]本发明的又一实施例包括立体视觉系统和方法。一个示例性的立体视觉系统包括整体框架，其限定至少一个安装面，而且可以由一单件材料组成，安装于安装面上的第一成像器，和安装于安装面上的第二成像器。立体视觉系统还可以包括处理器，与所述第一成像器和所述第二成像器可操作地耦接，以及柔性电缆，用于将所述第二成像器耦接到所述处理器。第一和第二成像器可以被设置在同一平面上，平行的平面上，或者相交的平面上。可以用一个或多个螺栓和销将第一和第二成像器固定到安装面上。
[0028]在运行中，第一成像器从第一视角获取环境的第一图像，第二成像器从不同于第一视角的第二视角获取所述环境的至少一个第二图像。处理器由第一图像和第二图像产生立体图像数据。
[0029]本发明的又一实施例包括传感器系统和方法。在一个例子中，传感器系统包括至少一个传感器，限定空腔和至少一个外部表面的壳体，被设置于所述空腔内的内壁且与所述至少一个外部表面热连通的内壁，被设置于所述空腔内且与所述至少一个传感器可