技术领域本发明涉及机器视觉系统。
背景技术：
本文提供的背景描述的目的是大致给出本发明的背景。目前指定的发明人的就该背景部分中描述的工作而言，以及在提交申请时可能不被认为是现有技术的说明书的一些方面，没有被明确地或暗示地承认为是对抗本发明的现有技术。成像系统用于制造环境，以自动地检查静止部件。成像系统试图确定与视野中的物体相关的三维(3D)信息，以用于质量检查、逆向工程、机器人和相似的系统。这种系统采用作为立体成像系统一部分的结构照明以在视野上投射光，捕获视野中物体的数字影像，并且采用几何方法和译码技术以使用数字影像计算影像深度。
技术实现要素：
包括数字摄像头的机器视觉系统可用于检查视野中的物体。用于检查物体的方法包括投射多个以数字方式产生的光图案在视野中的物体上，所述光图案包括第一和第二边界图案以及第一和第二空间图案。包括物体的多个影像经由数字摄像头捕获，其中每一个影像与投射的光图案中的一个相关。通过将第一和第二空间图案中的代码与基于第一和第二边界图案中的一个确定的边界匹配而在视野中找出空间单元。通过将第一和第二空间图案中的代码与基于第一和第二边界图案中的一个确定的边界匹配而在视野中找出空间单元。空间单元被译码且与边界匹配。基于与边界匹配的译码空间单元产生物体的三维(3D)点云数据。根据本发明一方面，提供一种采用包括数字摄像头的机器视觉系统检查视野中的物体的方法，包括：将多个以数字方式产生的光图案投射到视野中的物体上，其中以数字方式产生的光图案包括第一和第二边界图案以及第一和第二空间图案；经由数字摄像头捕获包括物体的多个影像，每一个影像与投射的光图案中的一个相关；通过将第一和第二空间图案的代码与基于第一和第二边界图案中的一个确定的边界匹配而在视野中找出空间单元；将空间单元译码；将译码的空间单元与边界匹配；和基于与边界匹配的译码空间单元产生物体的三维(3D)点云数据。优选地，其中捕获多个影像包括依序捕获多个二维(2D)影像，其中每一个2D影像与投射的光图案中的一个相关。优选地，其中将多个以数字方式产生的光图案投射到视野中的物体上包括依序投射以数字方式产生的光图案，所述光图案包括在视野中的物体上的第一和第二边界图案以及第一和第二空间图案。优选地，其中第一边界图案包括二进制条带图案，其包括多个名义垂直条带，其中条带图案的单元沿水平线在1的光值和0的光值之间交替。优选地，其中在高分辨率下条带图案的单元沿水平线在1光值和0光值之间交替。优选地，其中每一个单元具有4x4像素分辨率。优选地，其中第二边界图案包括二进制条带图案，其中第二投射图案的单元是与第一投射图案的单元光相逆的。优选地，其中第二投射图案是可选的。优选地，其中第一空间投射图案包括全屏空间投射图案，所述全屏空间投射图案包括沿名义垂直方向布置的多个投射图案组，每一个投射图案组包括沿直线水平布置的多个投射单元，每一个投射单元包括3x3投射单元块，3x3投射单元块包括对应于3x3投射单元块的随机产生的9位代码串，其中9位代码串的每一位具有1的光值或0的光值。优选地，其中在粗分辨率下每一个投射单元具有1的光值或0的光值。优选地，其中每一个投射单元具有8x8像素分辨率。优选地，其中第二空间投射图案包括与第一空间投射图案光相逆的空间投射图案。优选地，其中第二空间投射图案是可选的。根据本发明另一方面，提供一种采用机器视觉系统检查视野中的物体的方法，所述机器视觉系统包括二维(2D)数字摄像头和光投射器，该方法包括：响应于由视野中的物体产生的触发信号进行以下步骤：经由光投射器将多个以数字方式产生的光图案依序投射到视野中，其中以数字方式产生的光图案包括至少一个边界图案和至少一个空间图案；经由2D数字摄像头同步捕获多个影像，每一个影像与依序投射的光图案中的一个相关；通过将至少一个空间图案中的代码与基于至少一个边界图案确定的边界匹配而找出视野中的空间单元；将空间单元译码；将译码的空间单元与下层中的边界匹配；和基于与边界匹配的译码空间单元产生物体的三维(3D)点云数据。优选地，其中至少一个边界图案包括二进制条带图案，其包括多个名义垂直条带，其中条带图案的单元沿水平线在1的光值和0的光值之间交替。优选地，其中在包括4x4像素分辨率的高分辨率下条带图案的单元沿水平线在1的光值和0的光值之间交替。优选地，其中至少一个空间投射图案包括全屏空间投射图案，所述全屏空间投射图案包括沿名义垂直方向布置的多个投射图案组，每一个投射图案组包括沿直线水平布置的多个投射单元，每一个投射单元包括3x3投射单元块，3x3投射单元块包括对应于3x3投射单元块的随机产生的9位代码串，其中9位代码串的每一个位具有1的光值或0的光值。优选地，其中在包括8x8像素分辨率的粗分辨率下，每一个投射单元具有1的光值或0的光值。在下文结合附图考虑进行的对实施所附权利要求中限定的本发明的较佳模式中的一些以及其他实施例做出的详尽描述能容易地理解本发明的上述的特征和优点以及其他的特征和优点。附图说明现在将参考附图通过例子描述一个或多个实施例，附图中:图1示意性地示出了根据本发明的包括影像检测器(摄像头)、邻近的可控制光投射器、摄像头/投射器控制器和分析控制器的示例性视觉系统；图2示意性地显示了根据本发明的用于从采用数字摄像头捕获的影像而来的FOV产生3D点云的3D点云产生例程；图3-1示意性地显示了根据本发明的第一边界投射图案的实施例，其可通信到投射器，用于光学投影到FOV中，其包括多个名义垂直条带，名义垂直条带可被产生为第一二进制条带图案，其中影像位单元在1值(有光)和0值(没有光)之间交替；图3-2示意性地显示了根据本发明的第二边界投射图案的实施例，其可通信到投射器，用于光学投影到FOV中，其包括多个名义垂直条带，名义垂直条带可被产生为第一二进制条带图案，其中影像位单元在0值(没有有光)和1值(光)之间交替；图3-3示意性地显示了根据本发明的提供可通过9位编码的空间图案的3x3单元块形式的空间投射图案的一部分，每一个位对应于其中一个单元；图3-4示意性地显示了根据本发明的包含三排的投射图案组，所述三排由多个水平邻近的3x3单元块组合，其中3x3单元块每一个基于类似于参考图3-3所述的3x3空间图案的随机产生的9位代码串；和图3-5显示了根据本发明的第一全屏空间投射图案的示例，其通过将参考图3-4所示的投射图案组在投射器的投射分辨率进行重复而产生。具体实施方式现在参见附图，这些绘图仅用于示出某些示例性实施例的目的而不是对其的限制，图1示意性地示出了示例性视觉系统，其包括影像记录器(摄像头)10和邻近的可控制光投射器50，二者都信号连接到摄像头/投射器控制器20和分析控制器60。系统触发机构30信号连接摄像头10、投射器50和控制器20。摄像头10优选是数字影像记录装置，其能响应于通过触发机构30产生的触发信号捕获视野(FOV)35中的二维(2D)影像15。在一个实施例中不需要立体摄像头，因为具有如在本文所述的施加的或投射的图案的单个影像足以在FOV35中获得物体形状和深度。通过定义，影像是图示视野的任何视觉可察觉的绘图。在一个实施例中，影像可以涵盖来自可见光谱的视野中反射的光的全部或一部分，包括红-绿-蓝(RGB)反射、黑白反射、灰度反射或任何其他合适或期望反射。优选地，影像被捕获且记录在非瞬时存储介质中，例如在非瞬时数字数据存储介质中或在照片胶卷上。摄像头10可处于相对于FOV35的任何位置和取向。在一个实施例中，FOV35包括在可动平面45上取向的物体40，可动平面45处于与摄像头10和光投射器50相距预定距离22处。物体40为结构实体，具有一些特征结构，包括示例性空间尺寸、材料和表明反射率的表面光洁度等。在一个实施例中，物体40可以是组装厂中车辆上的部件或区域。在一个实施例中，可动平面45上取向的物体40被安装在第一传送系统42上，所述第一传送系统42以已知速率沿直线路径41传送物体40，且摄像头10和光投射器50被安装在第二传送系统12上，所述第二传送系统12以已知速率沿相应直线路径将它们传送固定距离。物体40、摄像头10和光投射器50被传送所沿着的直线路径41包括FOV35，且外部触发机构30监测FOV35。在一个实施例中，通过摄像头10捕获的2D影像15是8位灰度影像形式的位图影像文件，其图示FOV35。2D影像15的其他实施例可包括2D彩色影像或其他影像图示而没有限制，2D彩色影像由FOV的色调-饱和度-亮度(HSI要素)或红、绿、蓝(RGB)三元色图示。摄像头10包括影像获取传感器，其信号连接到摄像头/投射器控制器20，所述摄像头/投射器控制器20在2D影像15上执行数字信号处理(DSP)。影像获取传感器以预定分辨率在FOV35中捕获像素，且摄像头/投射器摄像头/投射器20产生FOV35的位图影像文件25，例如在预定分辨率下图示FOV35的8位像素位图。摄像头/投射器控制器20产生位图影像文件25，该位图影像文件25被通信到控制器20。位图影像文件25在一个实施例中是存储在非瞬时数字数据存储介质中的编码数据文件。位图影像文件25包括2D影像的数字图示，其可以包括具有投射的且上层施加的编码光图案的一个或多个物体40，且图示以摄像头10的原始分辨率捕获的FOV35的原始影像。参考图3-1到3-5描述示例性的上层施加的编码光图案。2D影像15包括在FOV35中所捕获的在其上投射了上层施加的编码光图案的物体40。摄像头10的影像获取传感器以名义标准分辨率，例如640x480像素，捕获FOV35的2D影像。替换地，摄像头10的影像获取传感器可以以名义高分辨率(例如1440x1024像素)或以另一合适分辨率捕获2D影像15。摄像头10的影像获取传感器优选捕获多个静态影像形式的2D影像15。2D影像15被转换为位图影像文件25，以用于存储和分析。光投射器50可以是任何已知的数字光处理(DLP)投射器装置，其配置为在已知投射分辨率下响应于数字输入信号产生光学影像。通过非限制性的例子，在一个实施例中，投射器可具有854x480像素的投射分辨率。摄像头/投射器控制器20以数字方式产生光图案55，光图案55被通信到光投射器50，该光投射器50将光图案55光学投影到FOV35中。参考图3-1到3-5详细描述投射到FOV35中的示例性光图案55。示例性视觉系统提供有一定结构的光摄像头系统，其包括光投射器50、摄像头10和摄像头/投射器控制器20。摄像头10具有通用目的IO(GPIO)端口，且光投射器50和摄像头/投射器控制器20采用视频图形阵列(VGA)连接器端口。控制器20的VGA端口连接到光投射器50的VGA端口以控制图案投射，且控制器20的VGA端口还连接到摄像头10的GPIO端口，以控制影像捕获的快门速度和起动。硬件连接使得光投射器50和摄像头10之间正时同步。响应于从触发器30到摄像头10的GPIO端口的外部触发信号31，摄像头10将其快门打开持续与优选曝光时间相关的预设快门时间。在一个实施例中，触发信号31具有至少1us的脉宽。摄像头快门速度包括小于10us的量级的延迟时间。预设快门时间针对适当曝光时间设置。在摄像头10关闭快门之后，可以具有大约1ms量级的延迟以用于数据捕获，此后数据被传输到控制器20。到控制器的数据传输时间为大约30ms，且是与摄像头型号有关的固定量，摄像头型号具有预定的影像捕获和传输率(帧每秒)。由此，在一个实施例中从触发器起动到数据传输结束的整个循环时间小于40ms。控制器、控制模块、模块、控制装置、控制单元、处理器和相似的术语是指一个或多个专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序或例程的中央处理单元(优选是微处理器)以及相关的存储器和存储装置(只读的、可编程只读的、随机存取的、硬件驱动的等)、组合逻辑电路、输入/输出电路和装置、适当的信号调制和缓冲器电路、和提供所述的包括数据存储和数据分析功能的其他部件中的任何一个或各种组合。软件、固件、程序、指令、例程、代码、算法和相似的术语是指任何控制器可执行的指令集，包括标准和查找表。图2示意性地显示了3D点云产生例程100，用于从采用数字摄像头捕获的影像产生来自FOV的3D点云，例如参考图1描述的视觉系统的实施例，其包括影像记录器(摄像头)10和邻近的可控制光投射器50，两者都信号连接到摄像头/投射器控制器20，所述摄像头/投射器控制器20信号连接到触发机构30和分析控制器60。表1作为符号表提供，其中标记数字的图框和相应功能如下所述，对应于3D点云产生例程100。表1总的来说，3D点云产生例程100包括数据捕获段110以及数据处理和译码段120。在一个实施例中，数据捕获段110花费大约180ms以执行从触发器开始时间直到用于投射图案的FOV的多个位图影像文件形式的数据被通信到数据处理和译码段120，且数据处理和译码段120花费大约80ms来执行，以产生3D点云数据。数据捕获段110如下执行。响应于触发事件112，摄像头/投射器控制器20将多个以数字方式产生的光图案55的形式的依序的消息通信到投射器50，用于光学投影到FOV35中-114。触发事件可通过物体(例如完全在FOV35中运动的物体40)或通过另一合适触发事件而引起。摄像头10同步捕获包括物体40的FOV35的位图影像文件，每一个光图案55被投射在物体40上-116。摄像头/投射器控制器20以依序方式以数字方式产生光图案55，这包括将光图案55中的一个通信到投射器50，用于光学投影到FOV35中，命令摄像头10打开摄像头10的快门持续曝光时间，且通过摄像头10捕获位图影像文件和将其通信到摄像头/投射器控制器20，用于与光图案55中的一个对应。该过程重复直到所有光图案55投射到FOV中且捕获FOV的相应位图影像文件。在一个实施例中，这包括投射四个光图案55和捕获四个依序的位图影像文件。图3-1到3-5每一个示意性地显示了光图案55的一个实施例，所述光图案55被发送到投射器50用于光学投影到FOV35中，分别包括第一和第二投射图案302和304以及第一空间图案330。图3-1示意性地显示了第一边界投射图案302的实施例，其可通信到投射器50，用于光学投影到FOV35中。在一个实施例中，第一边界投射图案302包括多个名义垂直条带，其可被产生为第一二进制条带图案305，其中影像位的单元沿名义水平方向在通过示例在单元301中所示的1值(有光)和通过示例在单元303中所示的0值(没有光)之间交替。在一个实施例中单元301、303等每一个具有4x4像素分辨率。在一个实施例中4x4像素分辨率称为精细或高分辨率图案。第一二进制条带图案305以此投射器分辨率重复经过每一个水平线，以形成第一边界图案302。由此，投射到FOV中的最终影像是在第一位置处的多个交替的黑条和白条。图3-2示意性地显示第二边界投射图案304的实施例，其可通信到投射器50，用于光学投影到FOV35中。在一个实施例中，第二边界投射图案304包括多个名义垂直条带，其可被产生为第二二进制条带图案308，其中影像位的单元是与第一边界投射图案302的影像位逆图，且由此沿名义水平方向在通过示例中单元307中所示的0值(没有光)和通过示例中单元309中所示的1值(光)之间交替。在一个实施例中，每一个单元307、309等图示了4x4像素分辨率。第二二进制条带图案308以此投射器分辨率重复经过每一个水平线，以形成第二边界图案304。由此，投射到FOV中的最终影像是在第二位置处的多个交替的黑条和白条。在一个实施例中，第一和第二边界投射图案302、304中的单个一个可以适于估计用于从2D影像构造三维(3D)点云的边界。采用第一和第二边界投射图案302、304二者改善识别精细边界的鲁棒性和准确性，所述精细边界包括共用边界和中间边界。图3-3示意性地显示了单元310的3x3空间图案形式的空间投射图案的一部分，其提供可通过9位编码的单元的空间图案，每一个位对应于单元中的一个，例如显示为单元311。在一个实施例中每一个单元具有8x8像素分辨率。8x8像素分辨率称为粗图案或粗分辨率图案。空间投射图案的该部分是随机产生的3x3空间图案的一个实施例。如所示的，单元310的每一个3x3空间图案可由9位代码串形式的二进制代码图示，其具有010111010的二进制值，其中对于对应的单元，0值表示没有光且1值表示有光。在最低有效位为单元310的3x3空间图案的左上角且最高有效位为单元310的3x3空间图案的右下角时，该二进制值被转化为186的十进制值。本领域技术人员可开发出用于所有可能组合的3x3空间图案和附随的二进制和十进制值。图3-4示意性地显示了包含三排的投射图案组320，其由沿名义水平线布置的多个水平邻近的单元321的3x3空间图案组合，如通过示例显示在单元321中的一个3x3空间图案，其中单元321的每一个3x3空间图案是基于随机产生的9位代码串，其类似于参考图3-3所述的单元310的3x3空间图案。每一个单元块中的每一个单元的尺寸为8x8像素。优选地，对于每一行中的任何其他随机产生的3x3单元块，不存在重复的代码。3x3单元块可在水平方向产生出自800像素的200个独特代码。在一个实施例中，需要至少9位来编码，以实现对称显示。随机产生图案和预定图案之间没有差别。然而，随机产生与3x3空间图案相关的图案比形成预定图案更容易执行。因为图案随机产生，所以图案必须在随后执行的译码算法120中存储且用作查找表。所述代码可针对前3行产生，即针对每一个投射图案组320产生，且随后重复以用于随后的行，直到全屏中的图案影像被填充，如参考图3-5所述的。图3-5显示了第一全屏空间投射图案330的示例，其通过将参考图3-4所示的投射图案组320沿名义垂直方向跨经投射器的投射分辨率进行重复而产生，所述投射分辨率在一个实施例中为854x480像素。在一个实施例中，每一个单元的尺寸可以是8x8像素或另一合适像素量，这取决于硬件系统的配置，考虑做功距离、投射器分辨率和摄像头分辨率。第二全屏空间投射图案(未示出)是参考图3-5所示的第三图案330的光逆图，即每一个0值单元被转化为1值单元且每一个1值单元被转化为0值单元。第三全屏投射图案330和第三图案330的光逆图形式的第四全屏投射图案被称为空间图案，且用于粗位图编码。再次参见图2，数据处理和译码段120包括针对投射图案的所有层评估FOV位图影像文件的过程，包括将图3-4所示的空间投射图案330中的外极线与一个或多个下层中的边界匹配，所述空间投射图案330包括第一和第二边界图案302和304，以找出FOV中的空间单元的中心-122。该步骤利用图3-1和3-2所示的具有4x4像素分辨率的高分辨率图案302、304，该分辨率为图3-4所示的空间投射图案330中的粗分辨率图案的8x8像素分辨率的一半，这允许与第一和第二边界图案302、304相关的高分辨率图案用于找出空间投射图案330中的外极线。这被执行以针对所有四个投射图案检测FOV的位图影像文件中的边界。在边界检测124之后将空间投射图案330的单元译码，以在投射图案的每一个层中形成区域。空间投射图案330的译码单元与第一和第二边界图案302和304中的边界匹配-126，且提供输出以用于3D三角划分(triangulation)，以产生3D点云-128。3D点云是系统输出且可从控制器20发送到用于在具体应用中使用的另一位置。为了将空间图案译码，使用查找表对3x3单元块评估和译码，所述查找表基于预产生的3x3空间图案，其中每一个3x3空间图案由二进制代码图示，二进制代码包括用于每一个单元的表明没有光的0值和表明有光的1值。空间投射图案330中每一个单元的每一个垂直边界在第一和第二边界图案302和304中具有共用边界。该信息可用于与边界匹配，且限定其二进制代码为0值(没有光)或1值(有光)。控制器沿外极线搜索数据，以选择3x3空间图案块以进行译码。在将空间投射图案330译码之后，第一和第二边界图案302和304中的边界得到译码值且细化其对应值(correspondencevalues)。这些边界与第一和第二边界图案302和304中的边界对准且使用包括边界的3x3块译码。外极线与极几何学有关，其是与位置对应有关的几何学，由此3D点和其在2D影像上的投射之间的几何关系导致通过观察3D情景的摄像头产生的影像点之间的约束，且基于摄像头可通过针孔摄像头模型近似的假设而获得这些关系。具体实施方式和附图或图支持和描述本发明，但是本发明的范围仅通过权利要求限定。尽管已经对执行本发明的较佳模式中的一些和其他实施例进行了详尽的描述，但是仍存在用于实践在所附的权利要求中限定的本发明的许多替换设计和实施例。