专利名称：基于结构光测量的方法
技术领域：
本文公开的主题涉及基于结构光的测量，以及更具体地，涉及用于确定从视频检验装置的探测器到对象的距离(“对象距离”)的、基于结构光的方法。
背景技术：
在广泛应用中使用视频检验装置。在诸如使用内窥镜的活体内部器官光学检查或者商业设备中的缺陷检查的一些应用中，有用的是使视频检验装置的用户能够确定探测器与被检查对象的距离，以便在那个对象上执行测量。为了实现这个任务和其它观察任务，当前的探测器采用多种方法。测量方法的一些示例包括立体式方法、阴影方法和投射点网格方法。立体系统一般使用特定光学系统，从两个有利位置来观察相同场景，依靠图像中的对象的表面细节来匹配两个图像。通过分析图像中的细微差别来确定对象距离。投射的点网格方法使用诸如激光器的光源，以将点投射到对象上。然后确定点之间的间距，或者然后确定图像中的点的位置，以便确定对象距离。阴影方法在光源与对象之间放置诸如线的单个不透明元件。该元件定位在由光源发射的光中，与光和光源的中心线成角度地偏置。如果该对象处于包含由该不透明元件投影的阴影的、光场的部分中，则当对象移动靠近或远离设备时，图像中的阴影的位置移位，并且因而能够用于确定对象距离。当前的测量方法各具有多种限制。例如，立体系统具有受到设备(包括其双焦点观察光学器件)的物理尺寸限制的基线间距。基线间距确定探测器的分辨率。增加基线间距能够在给定对象距离提供更好的准确性。此外，在立体系统中，必须在两个图像中识别被观察对象上的相同点，以便计算对象距离。许多表面缺乏唯一可识别的特征，这使对象距离的准确确定困难或者不可能。对于阴影测量方法，如果对象不在包含阴影的视场的部分中，则无法进行测量。此外，仅测量一个特定区域而不是大视场，因此未检测视场上的表面不规则性和视场中的对象的朝向。在许多立体测量系统和阴影测量系统中，使用两组光学器件。第一组光学器件用于观察对象，而第二组光学器件用于进行测量。往往包含在分离探针中的第二组光学器件在需要测量时必须与第一组相互交换。例如，在一种阴影测量系统中，相同的一般观察光源用于一般观察和用于测量。但是，必须安装分离的阴影测量针(tip)，以便在发现缺陷或其它可测量特征时通过该一般观察光源来执行测量。探针的这种相互交换耗费额外时间，并且有损于探测器的有效使用。此外，阴影测量光学器件显著阻塞光输出，以使得在使用阴影测量光学器件时，不太充分地照亮视场，这限制了观察距离。立体光学器件对于一般观察也是不期望的，因为图像分辨率和观察景深相对那些常规观察光学器件普遍降低。在其它实例中，涉及人的主观成分(例如，估计阴影或其它图案落在由显示器提供的图像中的哪里，等等)，限制了准确性并且阻止自动测量。另外，经常由于观察光学器件的设计和/或布置的复杂性，许多探测器或者探头组装件大或笨重。更小和/或更简单的观察光学器件使能够有更小的探测器和/或探针，具有在窄小空间中操纵的更大能力或者设计和/或并入附加功能性的更大空间。将有优势的是在检验期间确定到对象表面的距离，而没有上面系统的缺点。
发明内容
提供一种确定到对象表面的距离的方法，它避免了上面系统的缺点。在一个实施例中，公开一种用于确定从视频检验装置的探测器到对象的距离的、 基于结构光测量的方法。视频检验装置能够包括第一光发射器和第二光发射器，用于穿过具有至少一个阴影形成元件的开口将光发射到对象上，当光发射器激活时在对象上形成多个阴影。该方法能够包括在第一光发射器激活而第二光发射器停用时捕获对象的至少一个第一发射器图像，在第二光发射器激活而第一光发射器停用时捕获对象的至少一个第二发射器图像，确定至少一个第一发射器图像中的像素的第一多个亮度值，确定至少一个第二发射器图像中的像素的第二多个亮度值，确定至少一个第一发射器图像中的像素的第一多个亮度值与至少一个第二发射器图像中的像素的第二多个亮度值的明度比(brightness ratio)，以及使用该明度比确定对象距离。在一个实施例中，公开一种用于确定从视频检验装置的探测器到对象的距离的、 基于结构光测量的方法。视频检验装置能够包括第一光发射器和第二光发射器，其中第一光发射器能够穿过具有至少一个阴影形成元件的开口将光发射到对象上，当第一光发射器激活时在对象上形成至少一个阴影。该方法能够包括下列步骤在第一光发射器激活而第二光发射器停用时捕获对象的至少一个第一发射器图像，在第二光发射器激活而第一光发射器停用时捕获对象的至少一个第二发射器图像，确定至少一个第一发射器图像中的像素的第一多个亮度值，确定至少一个第二发射器图像中的像素的第二多个亮度值，确定至少一个第二发射器图像中的像素的第二多个亮度值与至少一个第一发射器图像中的像素的第一多个亮度值的明度比，以及使用该明度比确定对象距离。
通过参照某些实施例已经进行了对本发明的详细描述，从而能够以这种方式理解本发明的特征，某些实施例的一些在附图中示出。但是要注意，附图仅示出本发明的某些实施例，因此不认为是对其范围的限制，因为本发明的范围包含其它同样有效的实施例。附图不一定按照比例绘制，重点一般放在说明本发明某些实施例的特征上。因此，为了进一步理解本发明，可结合附图阅读并参照下面的详细描述，在附图中图1是本发明的一个实施例中的视频检验装置的框图。图2是使用两个光发射器和三个阴影形成元件的、本发明一个实施例中的、投射阴影图案的探头组装件和可拆卸的针可拆卸的针的机械配置的示意性顶视图。图3示出了本发明一个实施例中的、定位成距图2的可拆卸的针50mm的平坦白色对象的像素化(pixilated)图像，该图像在一般观察期间、通过图2的可拆卸的针和图1的视频检验装置来捕获。图4示出了本发明一个实施例中的、定位成距图2的可拆卸的针50mm的平坦白色对象的像素化图像的一行，该图像在第一光发射器激活期间被捕获。
图5示出了本发明一个实施例中的、定位成距图2的可拆卸的针50mm的平坦白色对象的像素化图像的一行，该图像在第二光发射器激活期间被捕获。图6示出了本发明一个实施例中的、各跨过一行像素的、图4的图像的明度轮廓和图5的图像的明度轮廓。图7示出了本发明一个实施例中的、图6中示出的明度轮廓的明度比。图8是描绘了本发明一个实施例中的、各包含图7中示出的明度比峰的、明度比峰像素的标识的示意图。图9示出了本发明一个实施例中的阴影形成元件，其中中心的阴影形成元件窄于两个外围的阴影形成元件。图10示出了在使用两个光发射器和三个阴影形成元件的本发明一个实施例中的、对于距可拆卸的针50mm的平坦白色对象的捕获的各图像的一行像素的明度轮廓，一个图像在第一光发射器激活期间被捕获且一个图像在第二光发射器激活期间被捕获，其中， 中心的阴影形成元件窄于外围的阴影形成元件。图11示出了本发明一个实施例中的、图10中示出的明度轮廓的明度比。附图不一定按照比例绘制，代替地，重点一般放在示出本发明的原理上。在附图中，相似的标号用于遍及多个视图指示相似的部件。
具体实施例方式图1是本发明一示例性实施例中的视频检验装置100的框图。将理解的是图1中示出的视频检验装置100是示例性的，并且本发明的范围并不限于任何具体视频检验装置 100或者视频检验装置100之内的组件的任何具体配置。视频检验装置100能够包括延长的探测器102，其包括插入管110以及设置在插入管110的远端的头部组装件120。插入管110能够是柔性管状截面，头部组装件120与探测器电子器件140之间的所有互连经过其中。头部组装件120能够包括用于引导来自对象的光并且将其聚焦到成像器124上的探测器光学器件122。探测器光学器件能够包括例如， 单透镜(lens singlet)或者具有多个组件的透镜。成像器124能够是用于得到目标对象的图像的固态CXD或CMOS图像传感器。头部组装件120还能够包括用于照亮目标对象的一般观察光源128。一般观察光源1 能够通过许多不同的方式来提供(例如，传送来自近端定位灯、LED或激光器的光，或者传送来自远端定位灯或LED的光的光纤束)。可拆卸的针或适配器130能放置在头部组装件120的远端上。可拆卸的针130能够包括针观察光学器件132(例如，透镜、窗口或光圈)，它们与探测器光学器件122结合工作，以引导来自目标对象的光并且将其聚焦到成像器口4上。如果用于视频检验装置100 的光源从针130或者用于将光从探测器102传递到目标对象的通光元件138发出，则可拆卸的针130还能够包括照明LED(未示出)。通过包含波导(例如，棱镜)以将照相机取景 (view)和光输出转到侧面，针130还能够提供用于侧面观察的能力。能够包含在针130中的元件还能够包含在探测器102本身中。成像器124能够包括在多个行和列中形成的多个像素，并且能够生成具有表示入射到成像器124的各像素上的光的模拟电压形式的图像信号。图像信号能够穿过成像器混合器126传播，成像器混合器126向成像器线束(harness) 112提供用于信号缓冲和调节的电子器件，成像器线束112提供用于成像器混合器1 与成像器接口电子器件142之间的控制和视频信号的导线。成像器接口电子器件142能够包括电源、用于生成成像器时钟信号的定时发生器、用于数字化成像器视频输出信号的模拟前端、以及用于将数字化的成像器视频数据处理成更有用视频格式的数字信号处理器。 成像器接口电子器件142是提供用于操作视频检验装置10的功能收集的探测器电子器件140的一部分。探测器电子器件140还能够包括校准存储器144，其存储用于探测器102和/或针130的校准数据。微控制器146还能够包含在探测器电子器件140中，用于与成像器接口电子器件142通信，以确定和设置增益及曝光设定、存储和读取来自校准存储器144的校准数据、控制传递给目标对象的光、以及与视频检验装置10的CPU 150通除了与微控制器146进行通信之外，成像器接口电子器件142还能够与一个或多个视频处理器160通信。视频处理器160能够从成像器接口电子器件142接收视频信号， 并且将信号输出到多种监视器(包括整体显示器170或外部监视器17 。整体显示器170 能够是内建于视频检验装置100的、用于向检验员显示多种图像或数据(例如，目标对象的图像、菜单、光标、测量结果)的IXD屏幕。外部监视器172能够是连接到视频检验装置100 的、用于显示多种图像或数据的、视频监视器或计算机类型监视器。视频处理器160能够向/从CPU 150提供/接收命令、状态信息、流播视频、静止视频图像和图形覆盖，并且可由FPGA、DSP或其它处理元件组成，它们提供诸如图像捕获、 图像增强、图形覆盖合并、失真校正、帧平均、缩放、数字变焦、覆盖、合并、翻转(flip)、运动检测、以及视频格式转换和压缩的功能。除了提供包括图像、视频、和音频存储及重新调用功能，系统控制，和测量处理的大量其它功能之外，CPU 150能够用于通过接收经由操纵杆180、按钮182、小键盘184、和/ 或麦克风186的输入，来管理用户接口。操纵杆180能够由用户操纵，以执行诸如菜单选择、 光标移动、滑块调整和探测器102的清晰度控制的操作，并且可包括按动按钮的功能。按钮 182和/或小键盘184也能够用于菜单选择和将用户命令提供给CPU 150 (例如，定格或保存静止图像)。麦克风186能够由检验员使用，以提供定格或保存静止图像的语音指令。视频处理器160还能够与视频存储器162通信，视频存储器162由视频处理器160 使用，以在处理期间对数据进行帧缓冲和暂时保持。CPU 150还能够与用于存储由CPU 150 执行的程序的CPU程序存储器152通信。另外，CPU能够与易失性存储器154(例如，RAM) 和非易失性存储器156 (例如，闪速存储器装置、硬盘驱动器、DVD、或者EPROM存储器装置) 通信。非易失性存储器156是用于流播视频和静止图像的主存储。CPU 150还能够与计算机I/O接口 158通信，计算机I/O接口 158提供到诸如USB、 火线、以太网、音频I/O、和无线收发器的外围装置和网络的多种接口。这个计算机I/O接口 158能够用于保存、重新调用、传送和/或接收静止图像、流播视频或音频。例如，USB “拇指驱动器”或压缩闪存存储卡能够插入计算机I/O接口 158中。另外，视频检验装置100能够配置成向外部计算机或服务器发送图像数据或流播视频数据的帧。视频检验装置100能够并入TCP/IP通信协议集，并且能够被并入到包括多个本地计算机和远程计算机(每个计算机也并入TCP/IP通信协议集)的广域网中。通过并入TCP/IP协议集，视频检验装置100 并入包括TCP和UDP的若干传输层协议以及包括HTTP和FTP的若干不同的层协议。
7
图2是使用两个光发射器211、212和三个阴影形成元件观9、四0、四1的、本发明一个实施例中的、投射阴影图案的探头组装件220和可拆卸的针230的机械配置的示意顶视图。参照图2，可拆卸的针230能够附连到探头组装件220的远端。可拆卸的针230内部封装的能够是一组针观察光学器件，其能够进一步由结构光投射光学器件和光接收光学器件组成。在一个实施例中，可拆卸的针230能够是来自探头组装件220的分离组件，可附连到探头组装件220并且从其中拆卸。在另一个实施例中，如前所述，可拆卸的针230的元件能够封装在探头组装件220内部或者否则与其集成在一起。此外，描述为封装在探头组装件220中的元件能够封装在可拆卸的针230中。为了描述简单，本文描述的实施例将可拆卸的针230称作可拆卸的，但是也设想在其中可拆卸的针230的元件与探头组装件220集成在一起的实施例。同样为了描述简单，针观察光学器件和结构光投射光学器件，或者它们的部分描述为完全封装在可拆卸的针230中。但是，按照上面描述的多个实施例，能够封装这些组件，包括在可拆卸的针230与探头组装件220之间分开它们。另外，虽然描述参考了视频检验装置100的探头组装件230，但是也能够使用另一种类似装置。结构光投射光学器件能够包括两个或更多个光发射器211、212以及一个或更多个阴影形成元件沘9、四0、四1。阴影形成元件沘9、四0、291和光发射器211、212能够在一般观察期间与探头组装件220集成在一起或者作为可拆卸的针230的一部分被附连，因此无需相互交换观察针而使用阴影形成元件观9、四0、291和光发射器211、212，来进行测量或者确定被观察对象206的空间关系。光发射器211、212能够是单个发光二极管(LED)、光纤、激光器、或者另一种发光源。光发射器211、212能够是单个或多个，细长的或者适当的各种形状。能够使用产生相当均勻输出的、任何小的高强度光发射器。本领域技术人员会认识到适当的备选方案。使用小光发射器211、212和更少光发射器211、212能够保留物理空间，允许小尺寸的可拆卸的针230，或者允许更大空间用于可拆卸的针230的进一步的复杂性。光发射器211、212能够相对于彼此和/或相对于可拆卸的针230稳固地适当定位。单个管芯((1化)286可包括光发射器211、212，因而固有地控制光发射器211、212的相对位置。光发射器211、212能够穿过可拆卸的针230的远端的开口 292发射光。开口 292 能够是开放窗口，或者是由玻璃、塑料、或另一种透光材料部分或完全封闭的窗口。光发射器211、212能够在一般观察期间充当光源，或者可能与通光元件238结合的备选一般观察光源2 能够在一般观察期间提供全光输出。在由光发射器211、212穿过开口 292发射的光中，能够定位一个或多个阴影形成元件观9、四0、四1。这些阴影形成元件观9、四0、四1能够定位在开口四2中或附近。在使用透光材料来封闭开口 292时，阴影形成元件观9、四0、291能够定位在透光材料上、与其附连、或与其集成。阴影形成元件观9、四0、291能够是固体物体，或者阴影形成元件能够绘制到透明窗口上。液晶显示器(IXD)也能够用于创建阴影形成元件观9、四0、四1。通过IXD， 操作员能够具有操纵阴影形成元件、改变尺寸、形状、暗度、位置和存在的更大控制权。在由图2示出的示例性实施例中，三个阴影形成元件观9、四0、四1能够配置成投射像线、长块(bar)或矩形(它们的暗度从长边向中心增加)等形状的阴影。但是，能够使用大于或等于一的、任何数量的阴影形成元件观9、四0、四1。由于图1是二维顶视图，所以阴影形成元件观9、四0、四1的深度(即，伸长的维度)不可见。在一个实施例中，阴影形成元件观9、四0、291能够比光发射器211、212的宽度更细。也许有可能使用宽度直到光发射器211、212的宽度两倍的阴影形成元件观9、四0、291来保持投射阴影的必要形状。在示出的示例性实施例中，阴影形成元件观9、四0、291的宽度大致等于光发射器211、212的宽度。 阴影形成元件观9、四0、291备选地能够具有多种形状和尺寸，以产生预期的宽度、长度或形状的阴影。阴影形成元件观9、四0、四1能够阻挡从光发射器211、212发射的光的一部分，使得作为光和影的图案的、投射的阴影图案201、202能够从探头组装件220和/或可拆卸的针230向前投射。能够每次一个地激活光发射器211、212。能够在第一光发射器211激活期间投射阴影图案201，并且能够在第二光发射器212激活期间投射阴影图案202。当激活光发射器211、212时，能够停用一般观察光源228。光发射器211、212和阴影形成元件观9、 290,291能够定位并配置成使得如果光发射器211、212同时发射光线，则投射的阴影图案 201、202具有光和影的交替区域。换言之，如果阴影图案201、202叠合，则叠合的阴影图案 201、202中的阴影可以不重叠。投射的阴影能够具有陡峭的边缘，或者投射的阴影能够平滑地过渡到光。但是，从陡峭的边缘或平滑过渡在X方向上接近阴影的中心，阴影的明度值减小。使用窄束光发射器211、212促进了相对窄的阴影。使用与光发射器211、212的宽度大致相同宽度或者在光发射器211、212的宽度的范围之内的窄阴影形成元件观9、四0、 291还帮助促进了不重叠的相对窄的阴影。当阴影形成元件观9、四0、291太宽时，投射的阴影可能也很大，并且来自一个光发射器211、212的、投射的阴影会与来自另一个光发射器211、212的、投射的阴影重叠。如果阴影形成元件观9、四0、四1与光发射器211、212相比太细，则光线能够成角度经过阴影形成元件观9、四0、291到达投射的阴影的中心或在其之前，使得投射的阴影弱或者没有清楚地定义。使阴影形成元件观9、四0、四1的宽度最大化为与光发射器211、212的宽度同样大促进了不重叠的、相对清楚且窄的阴影。光发射器能够通过常规方法供电。例如，如图2中示出的，光发射器211、212能够通过连接到光发射器211、212的第一组导线M0，来接收包括电功率的电信号。第一组导线 240能够端接于第一组电触点250，第一组电触点250还能够与封装在探头组装件220中的第二组电触点(未示出)连接或断开。这种布置使得可拆卸的针230能够可附连到探头组装件220并可从其分离。第二组电触点(未示出)能够连接到贯穿探头组装件220的头部延伸的第二组电导线(未示出)。导线导向了到驱动电路(未示出)和/或电源(未示出， 见图1)的上游。其它布线布置是本领域普通技术人员会认识到的。例如，在一个备选实施例中，双向驱动电路(未示出)能够与不平行的光发射器 211、212，单个导线MO以及必要时的单触点250 —起使用，以便驱动光发射器211、212。在这个实施例中，探头组装件220能够用于电接地。光接收光学器件接收从结构光投射光学器件投射并且从视场之内的对象206反射的光。当对象206处于探头组装件220前面时，投射的阴影图案201、202投射到对象206 上。光从对象206反射回来到探头组装件220处，其中光接收光学器件将光传递给探测器光学器件122和成像器124。在由图2示出的示例性实施例中，光接收光学器件包括透镜 234和棱镜236。透镜234能够定位在光发射器211、212和阴影形成元件观9、四0、四1的上方、下方或侧面。透镜234能够穿过棱镜236将图像聚焦到探测器光学器件122和成像器124。在示例性实施例中，透镜234对光发射器211、212和/或阴影形成元件观9、四0、 291的侧面偏移的距离能够确定基线间距。使用有限数量的光发射器211、212和阴影形成元件289、290、291和/或使用小光发射器211、211和小阴影形成元件289,290,291,能够留下额外空间，以进一步偏移透镜234，这增加了基线间距并且因此增加了视频检验装置100 的准确性和/或分辨率。棱镜236可适当成形，以便在适当方向中引导光。在图2中，棱镜236为梯形。此外，本领域技术人员会知道，装置中的针观察光学器件的布置能够部分依赖于可拆卸的针 230能够设计成与其附连和分离的或者可拆卸的针230的元件能够与其集成的、具体视频检验装置100而改变。例如，在一个备选实施例中，光发射器211、212和/或阴影形成元件 289,290,291能够驻留在光接收光学器件的两侧，潜在地允许使用更多光发射器211、212 和/或更多阴影形成元件观9、四0、四1，和/或潜在地提供更好的数据密度。在另一个实施例中，不存在透镜234和棱镜236，仅利用预先存在的视频检验装置100中预先存在的探测器光学器件122。投射的阴影图案201、202具有示出为从可拆卸的针230沿Z轴向外50毫米 ( 1.9685英寸)的对象距离的阴影投射轨迹，其中阴影投射到平坦不光滑白色表面上。 附图的二维空间表示了由上向下看到的视场。阴影轨迹由线221、222、231、232、M1、和M2 表示。线313、314表示视场的边缘。线221、231、和241表示了在第一光发射器211激活时由三个阴影形成元件观9、290和291投射的阴影。线222、232和242表示了在光发射器 212激活时由相同的三个阴影形成元件观9、290和291投射到视场中的阴影的中心。中心的阴影形成元件四0大致位于原点(0，0)。光发射器211、212沿Z轴位于原点的负距离方向上。备选地，能够考虑原点在另一个位置，例如，在光发射器211或212其中之一的位置处，或者在光发射器211、212之间的中心点处。如图2中可见，阴影的位置随着距可拆卸的针230的距离而变化，并且该变化能够是可预测的。因此，确定阴影在视场中哪里落在对象206上可使得能够确定在测量位置处的对象206的距离和放大率。已知诸如可拆卸的针230中的针观察光学器件的元件的几何形状，对象206的距离能够由视频检验装置100通过三角测量快速和自动地确定，而没有人的主观性。以这样的方式，视频检验装置100能够提供自动对象距离值和其它空间特性。但是，在通过光发射器211、212之一的照明期间捕获的图像中，阴影不一定或总是不能清楚地定义或者可识别。例如，由于引起反射光或者创建附加阴影的表面不规则性，以高准确性来定位阴影的边缘或中心可能是困难的。但是，能够更准确地定位视场中的对象206上的阴影位置或者阴影中的点。为了发起使得能够确定被观察对象206的、包括对象距离的空间特性的图像捕获序列，能够在一般观察光源2 激活而光发射器211、212停用时捕获一般观察图像300。图 3示出了本发明一个实施例中的、定位成距图2的可拆卸的针50mm的平坦白色对象206的像素化一般观察图像300的一行，一般观察图像300在一般观察期间通过图2的可拆卸的针和图1的视频检验装置100来捕获。仅为了说明的目的，像素化一般观察图像300包含 48行和64列像素。行和列能够大得多，例如但不限于640X480或1280X 10M。一般观察图像300能够使用一般观察光源2 来捕获，而没有投射阴影。但是，光发射器211、212的一个或多个能够备选地在一般观察期间使用。能够捕获多于一个的一般观察图像300，并且能够平均得到的值。各像素能够具有相关联的亮度(或明度)值(例如，0与255之间的灰度值)。为了继续图像捕获序列，能够在一般观察光源2 停用、第二光发射器212停用、 而第一光发器211激活时来捕获第一发射器图像400。图4示出了定位成距图2的可拆卸的针230 50mm的平坦白色对象206的像素化第一发射器图像400的一行，第一发射器图像 400在第一光发射器211激活和一般观察光源2 及第二光发射器212停用期间、使用图2 的可拆卸的针230来捕获。也能够捕获多个第一发射器图像400，并且能够平均获得自各第一发射器图像400的值。各像素能够具有相关联的亮度值(例如，0与255之间的灰度)。 在行Rl的图像像素C17、C37、和C57中捕获了投射的阴影图案201中的各阴影的中心。从各阴影的中心向外移动时各阴影逐渐变细，因此各像素中的明度值从各阴影的中心移向左边或者右边时增加。为了进一步继续图像捕获序列，能够在一般观察光源2 停用、第一光发射器211 停用、而第二光发射器212激活时来捕获第二发射器图像500。图5示出了定位成距图2的可拆卸的针23050mm的平坦白色对象206的像素化第二发射器图像500的一行，第二发射器图像500在第二光发射器212激活和一般观察光源2 及第一光发射器211停用期间、 使用图2的可拆卸的针230来捕获。也能够捕获多个第二发射器图像500，并且能够平均获得自各第二发射器图像500的值。各像素能够具有相关联的亮度值(例如，0与255之间的灰度)。在行Rl的图像像素C7、C27和C47中捕获了投射的阴影图案202中的各阴影的中心。从各阴影的中心向外移动时各阴影逐渐变细，因此各像素中的明度值从各阴影的中心移向左边或者右边时增加。一般观察光源2 和/或光发射器211、212能够在发起图像捕获序列之后紧接着地和/或自动地激活和/或停用，以便减少可拆卸的针230在图像捕获之间的移动并提高捕获同一视场的图像的能力。另外，如果使用附加的光发射器，则能够在每个附加光发射器唯一激活时捕获附加的图像。在一个实施例中，能够对于可拆卸的针230和视频检验装置100激活第一光发射器211，以便捕获第一光发射器图像400和第二光发射器图像500，因为第一光发射器211 能够从一个位置移动到第二位置，以捕获分离的发射器图像400、500。在另一个实施例中，第二光发射器212能够投射光，而无需阴影形成元件观9、 290,291投射阴影。在这种情况下，光发射器212能够定位成使得阴影形成元件观9、四0、 291不在从光发射器212投射的光路中。备选地，阴影形成元件观9、四0、291能够是可移动的，使得当需要在没有投射的阴影图案201、202的情况下从光发射器211、212之一捕获图像时，它们能够脱离光发射器211、212的路径。在另一个实施例中，对于可拆卸的针230和视频检验装置100仅激活第一光发射器211和一般观察光源228，以捕获图像。图6示出了均跨过表示视场中的X维距离的一行像素的、图4的第一发射器图像 400的明度轮廓611和图5的第二发射器图像500的明度轮廓612。在0至1的标度上来绘制明度，其中1为最亮。明度轮廓611表示在第一光发射器211激活期间捕获的第一发射器图像400的行Rl的亮度值。明度轮廓612表示在第二光发射器212激活期间捕获的
11第二发射器图像500的行Rl的亮度值。因此，明度轮廓谷621、631、和641表示在第一光发射器211激活期间捕获的第一发射器图像400的加阴影的区域，并且亮度轮廓谷622、632、 和642表示在第二光发射器212激活期间捕获的第二发射器图像500的加阴影的区域。在相应明度轮廓谷621、631和、641处的底部(base)表示了在第一光发射器211激活时的最暗点。在相应明度轮廓谷622、632、和642处的底部表示了在第二光发射器212激活时的最暗点。在与可拆卸的针230的50mm对象距离处，视场大致为80mm宽，从大约_40mm至大约 40mm。明度轮廓谷622、632、和642的底部分别在大约_38mm、_8mm、和21mm处。明度轮廓谷621、631和641的底部分别在大约-21mm、8mm、和38mm处。能够对于环境光来校准各投射的阴影图案201、202的明度。为了降低或抑制环境光的影响，能够在没有激活光发射器211、212且不带激活的一般观察光源228时捕获环境光图像，以使得能够确定和减去环境光明度。图7示出了在图2中描绘的本发明一个实施例中的、当被观察对象206距可拆卸的针230 50mm时的、一行像素的两个投射的阴影图案201、202的明度比曲线711、712。各跨过一行像素，明度比曲线711示出了图4的第一光发射器图像400的明度值与图5的第二发射器图像500的明度值的比，并且明度比曲线712示出了图5的第二发射器图像500的明度值与图4的第一发射器图像400的明度值的比。能够确定明度比曲线711、712，以便得到阴影中的更明确定义的点。能够通过将跨过视场中的投射的阴影图案201、202的整个宽度的明度轮廓611、612的每个除以明度轮廓611、612的另一个来确定明度比。能够通过将对于第二光发射器212激活时捕获的第二发射器图像500的行Rl中的各像素所得到的亮度值除以对于第一光发射器211激活时捕获的第一发射器图像400的行Rl中的各像素所得到的亮度值，来得到在各明度比峰721、731、和741处具有局部最大明度比极值的明度比曲线711。能够通过互逆除法(reciprocal division)来得到在各明度比峰722、732和742 处具有局部最大明度比极值的第二明度比曲线712。各曲线711、712在其中各阴影为最暗的各阴影的中心处呈现出陡峭的明度比峰。例如，明度比峰742相应于图6的明度轮廓谷 642和50mm处的图2的线232。明度比曲线711,712的明度比峰721、731、741、722、732、 742 一般能够是抛物线状的，而明度轮廓611、612的明度轮廓谷621、631、641、622、632、642 一般能够是线性的。当仅捕获具有阴影图案201的第一发射器图像400时，能够使用图像400的明度值和在没有投射阴影图案201、202的情况下的一般观察图像300或第二发射器图像500的明度值来计算相同的除法，以得到明度比的值。由于在没有阴影图案201、202的情况下的图像中的明度值会高，并且与明度轮廓谷621、631、641的底部处的低值相除的高值能产生高结果，因此仍然会发生陡峭的峰721、731、741。在示出的示例中，图6的ν形明度轮廓谷621、631、641、622、632、642是可易于识别的。但是，对于非平坦、非平滑、和/或非规则的表面，光由于表面外形和光吸收的变化而典型地不均勻反射，导致图像明度的大变化。创建图像中的暗线的、诸如线或裂纹的表面特征可能难以与阴影加以区分，或者可能改变阴影谷的视位置(apparent position)。阴影还可以因表面外形而变形。在这些情况下，图6的ν形明度轮廓谷621、631、641、622、632、 642可能难以直接识别。通过确定明度比得到的图7的各抛物线状曲线提供能够可更容易地和具体地识别的、更好定义的点。亮度比峰721、731、741、722、732、和742越陡峭，则由于它们陡峭度的问题而能够越易于辨别。对象距离还能够使用局部最小明度比极值来确定。例如，作为明度比峰721、731、 741之间的局部最小明度比极值的明度比谷751、761能够被辨别，并且用于确定对象距离。 明度比谷751、761能够与明度比峰732、742的相应的一个相关。例如，明度比谷751、761能够通过用于确定明度比峰732、742的、互逆除法来得到。同样地，能够与明度比峰721、731 的相应一个相关的各明度比谷752、762(例如，各明度比峰722、732、742之间的局部最小明度比极值)也能够是可辨别的，并且用于确定对象距离。当明度比谷751、761、752、762和 /或明度比峰721、731、741、722、732、742更密集地分组时，这些明度比谷751、761、752、762 能够是更容易地被识别的，这通过谷751、761、752、762创建了更陡峭、更窄的曲线。在确定明度比中，如上所述，被观察表面的反射率中的变化微小地影响结果明度比711、712，这是因为阴影图案201、202相等地受到影响。例如，如果被观察表面上的一个点反射20%的入射光，则反射具有入射强度1201的阴影图案201中的20%的光，产生 0. 2X1201的反射强度。还反射具有入射强度1202的阴影图案202中的20%的光，产生 0. 2X1202的反射强度。这些反射强度的比是0. 2X1201/(0. 2X1202)或1201/1202。因而，表面的反射比没有实质地影响明度比。虽然使用视频检验装置100检验的大多数区域几乎不具有环境光，但是在某些应用中可存在一些环境光。如果环境光的强度相对阴影区域中的投射图案的强度很大，则环境光可降低投射阴影的暗度。在这类情况下，明度比峰721、731、741、722、732、和742的值减少，这可降低检测明度比峰位置的可靠性和/或准确性(依赖于减少的水平)。为了中和这种影响，在一个实施例中，在光发射器211、212和一般观察光源2 禁用或停用时捕获一个或多个环境图像。然后，在确定明度比之前，从发射器图像400、500的像素明度值中减去环境图像的像素明度值。除非环境照明在捕获图像400、500的时间之间显著改变，否则极大降低了环境光的影响，导致更大的明度比峰。在一个实施例中，某个阈值峰值(例如，5) 以下的所有明度比峰能够被滤除，以去除可由入射光和/或暗度引起的任何峰。能够识别每个局部明度比极值像素(例如，包含明度比峰或明度比谷的各像素)。 图8是描绘了根据本发明一个实施例的、与单行像素Rl的明度比峰721、731、741、722、732、 742对应的明度比峰像素802的识别的示意图。能够分析各像素。行Rl示出在其中发生明度比峰721、731、741、722、732、742的明度比峰像素802，如图7中示例性示出的。包含明度比峰721、731、741、722、732、742的明度比峰像素802通过行Rl和列C7、C17、C27、C47、 C57中实心框来标识。在示例性实施例中，由于表面是平滑且平坦的，所以示出的实心框将在直的列中继续延伸穿过剩余行(假定阴影形成元件观9、四0、291足够长，以在表示的整个视场上、沿Y维投射阴影)。这些列表示X-Y平面中的投射的阴影图案201、202。非平坦和/或非平滑表面增加附加Z维度，其能够在这个X-Y表示(具有呈现为弯曲、间断或否则非笔直的线)中来捕获。X-Y平面能够被认为是从被观察对象206占据的三维空间折叠的二维平面。三维空间能够在透镜234的观察方向中折叠到像素的X-Y平面中。在这种情况下，由于对象206是平坦的，因此X-Y平面真正只是二维平面。阴影能够从可拆卸的针230来投射，使得对象206的任何Z维变化能够沿投射阴影的路径、作为阴影的 X维变化而被捕获。能够通过将明度比峰从图8中示出的实心明度比峰像素802向左或向右移位来指示阴影的X维变化。
因此，X-Y平面中的阴影位置能够用于确定阴影位置处的Z维对象距离。能够基于像素在X-Y平面中的明度比峰值的位置，基于光发射器211、212、阴影形成元件观9、四0、 291和/或其它针观察光学器件(例如，透镜234)的已知几何形状，来预测(例如，使用从元件的已知位置和角度的三角测量)距可拆卸的针230的、各阴影在Z维中的对象距离。例如，使用针观察光学器件的已知几何形状，如果当像素行R1、列C7所表示的实际位置处的被观察对象206距可拆卸的针23050mm时，已知在行R1、列C7的明度比峰像素802将包含与阴影轨迹222相关联的明度比峰值，则如果投射的阴影图案201、202产生的图像带有的明度比具有在位于行R1、列C7的像素的明度比峰值，并且确定该峰与阴影轨迹222相关联， 就能够确定对象206上由行R1、列C7所表示的位置处于距可拆卸的针230 50mm的对象距离处。采用各光发射器211、212捕获的发射器图像400、500能够与使用一般观察光源 228捕获的一般观察图像300相关。因此，对于使用光发射器211、212捕获的发射器图像 400,500中的特定像素确定的Z维对象距离也能够与一般观察光源2 激活期间捕获的一般观察图像300中的对应像素相关。继续图8的示例，由于由行R1、列C7处的明度比峰像素802和阴影轨迹222所表示的、对象206上的位置的对象距离已知为50mm，所以一般观察图像300上的行R1、列C7处的相同像素将具有50mm的对象距离。操作员能够使用对象 206的一般观察图像300来确定从可拆卸的针230到被观察对象206的对象距离或者对象 206上的具体位置处的被观察对象206的空间特性。结构光投射光学器件能够配置成产生密集分组的明度比峰。这种密集分组帮助得到更多数据点，以便获得对象206的更好表示。在存在明度比峰之间间隙的对象位置处的对象距离，能够基于与具有明度比峰的像素相邻的像素的像素数据来估计，和/或几乎没有或没有数据的区域的空间特性能够基于获得的数据来估计或者从获得数据进行内插。例如，一旦对于各明度比峰位置或者每个明度比峰像素802，已知X、Y、和Z坐标或行、列、Z坐标，则曲线拟合能够用于确定函数Z = f (X，Y)或Z = f (行，列)。列C7、C17、C27、C37、C47、 和C57中的阴影峰线的平直度与列C7、C17、C27、C37、C47、和C57中的线之间的常规间距相结合，以展现与列C7、C17、C27、C37、C47、和C57中的明度比峰像素802相关的每个位置处的均勻对象距离。在这些位置的这种均勻性指示平坦、平滑的表面。例如，如果沿列C17所表示的空间的整个长度展现出均勻的脊线(ridge)，则可假定脊线均勻地减小(subside) 到列C7和C27处获得的对象距离。当Z维中的对象206的距离改变时，不同的阴影能够呈现在具体像素处。在阴影区域之间的辨别对识别哪一个阴影区域用于确定对象距离是重要的。在一个实施例中，识别阴影区域能够通过投射与其它阴影区域不同的一个阴影区域来实现。例如，不是如图2中描绘的阴影形成元件观9、四0、291全部是相同宽度，而是一个阴影形成元件观9、四0、四1 能够比其它阴影形成元件更宽或更窄，由此投射与其它阴影不同的一个阴影。在图9中，例如，中心的阴影形成元件290窄于两个外围的阴影形成元件观9、四1。所有阴影形成元件 289,290,291 定位在开口 292 中。图10示出使用两个光发射器211、212和三个阴影形成元件观9、四0、四1的、本发明一个实施例中的、对于距可拆卸的针230 50mm的平坦白色对象206捕获的图像的一行像素的明度轮廓911、912，一个图像在第一光发射器211激活期间捕获以及一个图像在第二光发射器212激活期间捕获，其中，中心的阴影形成元件290窄于外围的阴影形成元件观9、 291.图10在50mm处与图6相同，除了图10中表示的、更窄的中心的阴影形成元件四0的效果之外。一个在第一光发射器211激活期间产生和成像以及另一个在第二光发射器212 激活期间产生和成像的、两个结果的中心阴影能够更窄，而且在中心不像其它阴影那么暗。 明度轮廓谷931和932表示这种有区别的质量。明度轮廓谷931和932不像明度轮廓谷 921、922、941和942那么深或那么宽，表示与明度轮廓谷931和932相关联的阴影不太暗 (例如，具有更大亮度)，并且更窄。能够在图11中描绘的对应的明度比中更强调这种有区别的阴影质量。图11示出作为图10中示出的明度轮廓911、912的比的明度比曲线1011、1012。 分别对应于明度轮廓谷931、932处的明度轮廓911、912的明度值的、两个明度比峰1031、 1032比其它明度比峰1021、1022、1041、1042短得多，并且因而能够用于确定哪一个阴影轨迹与各明度比峰相关联。可识别的明度比峰能够用于确定从可拆卸的针230到被观察对象 206的对象距离。也能够利用其它方法来在阴影区域之间区分。例如，在一个实施例中，图像明度、 照相机增益、照相机曝光和光发射器驱动参数能够用来基于假定的表面反射率估计对象距离。然后，该估计的对象距离能够进一步与已知的投射几何形状一起使用，以确定哪一个阴影区域在几何形状中使用，从而确定从可拆卸的针230到被观察对象206上的表面位置的正确距离。在另一个实施例中，能够从可拆卸的针230的不同位置投射另一个投射的阴影图案。投射的阴影图案201、202的相对位置能够用于区分诸如图8中描绘那些的、明度比峰线。本书面描述使用示例来公开本发明，包括了最佳模式，并且还使本领域技术人员能够实施本发明，包括制造和使用任何装置或系统以及执行任何并入的方法。本发明可专利的范围由权利要求定义，并且可包括本领域技术人员想到的其它示例。如果这类其它示例具有与权利要求的字面语言并无不同的结构元件，或者如果它们包括与权利要求的字面语言具有非实质差异的等同结构元件，则它们规定为在权利要求的范围之内。配件表100视频检验装置102延长的探测器110插入管112成像器线束120,220探头组装件122探测器光学器件124成像器126成像器混合器128，228 —般观察光源132针观察光学器件130,230可拆卸的针138,238 通光元件
140探测器电子器件142成像器接口电子器件144校准存储器146微控制器150 CPU152程序存储器154易失性存储器156非易失性存储器158 计算机 I/O 接口160视频处理器(一个或多个)162视频存储器170整体显示器172外部监视器180操纵杆182 按钮184小键盘186麦克风201,202 阴影图案206被观察对象211第一光发射器212第二光发射器221，222，231，232，241，242 表示阴影轨迹的线234 透镜236 棱镜240电导线250 触点286 管芯289，291外围的阴影形成元件290中心的阴影形成元件292 开口300 一般观察图像313，314表示视场边缘的线611，612 明度轮廓621,622,631,632,641,642 明度轮廓谷711,712明度比曲线721，722，731，732，741，742 明度比峰751，752，761，762 明度比谷802明度比峰像素911，912 明度轮廓
16
921,922,931,932,941,942 明度轮廓谷1011,1012明度比曲线1021，1022，1031，1032，1041，1042 明度比峰
权利要求
1.一种用于确定从视频检验装置(100)的探测器(102)到对象Q06)的距离的、基于结构光测量的方法，其中所述视频检验装置(100)具有第一光发射器011)和第二光发射器012)，用于穿过具有至少一个阴影形成元件(观9、四0、四1)的开口(四2)将光发射到所述对象(206)上，在所述光发射器(211、21幻被激活时在所述对象(206)上形成多个阴影， 所述方法包括步骤在所述第一光发射器011)激活而所述第二光发射器(21 停用时捕获所述对象 (206)的至少一个第一发射器图像G00)，其中，所述第一发射器图像(400)具有由所述至少一个阴影形成元件O89、290、291)形成的第一阴影；在所述第二光发射器(21 激活而所述第一光发射器011)停用时捕获所述对象 (206)的至少一个第二发射器图像(500)，其中，所述第二发射器图像(500)具有由所述至少一个阴影形成元件O89、290、291)形成的第二阴影；确定所述至少一个第一发射器图像G00)中的像素的第一多个亮度值； 确定所述至少一个第二发射器图像(500)中的像素的第二多个亮度值； 确定所述至少一个第一发射器图像G00)中的像素的所述第一多个亮度值与所述至少一个第二发射器图像(500)中的像素的所述第二多个亮度值的明度比；以及使用所述明度比来确定对象距离。
2.如权利要求1所述的方法，其中，使用所述明度比来确定所述对象距离的所述步骤还包括识别其中发生与所述第一阴影对应的至少一个明度比极值的、所述至少一个第一发射器图像G00)中的至少一个明度比极值像素，并且利用所述至少一个明度比极值像素的坐标来确定所述对象距离。
3.如权利要求2所述的方法，其中，所述至少一个明度比极值是明度比峰(721、722、 731、732、741、742、1021、1022、1031、1041、1042)，并且所述至少一个明度比极值像素是明度比峰像素(802)。
4.如权利要求2所述的方法，其中，所述至少一个明度比极值是明度比谷(751、752、 761、76幻，并且所述至少一个明度比极值像素是明度比谷像素。
5.如权利要求2所述的方法，还包括步骤确定所述至少一个第二发射器图像(500)中的像素的所述第二多个亮度值与所述至少一个第一发射器图像G00)中的像素的所述第一多个亮度值的明度比；识别其中发生与所述第二阴影对应的明度比极值的、所述至少一个第二发射器图像 (500)中的明度比极值像素；以及识别并且确定所述明度比极值像素的至少一个的对象距离。
6.如权利要求1所述的方法，还包括在一般观察光源(128、228)激活而所述第一光发射器(211)和所述第二光发射器(21 停用时捕获所述对象(206)的至少一个一般观察图像(300)，其中所述一般观察图像(300)没有由所述至少一个阴影形成元件(观9、四0、 291)形成的所述多个阴影的任何一个，并且其中，所述一般观察图像(300)在利用所述对象距离来执行测量时显示。
7.如权利要求1所述的方法，其中，基于多个第一发射器图像G00)的平均，来执行确定所述至少一个第一发射器图像G00)中的像素的第一多个亮度值的所述步骤。
8.如权利要求1所述的方法，其中，基于多个第二发射器图像(500)的平均，来执行确定所述至少一个第二发射器图像(500)中的像素的第二多个亮度值的所述步骤。
9.如权利要求1所述的方法，其中，所述至少一个第一发射器图像(400)中的像素的所述第一多个亮度值包括所述至少一个第一发射器图像G00)中的一行像素的亮度值。
10.如权利要求3所述的方法，其中，识别其中发生与所述第一阴影对应的至少一个明度比峰(721、722、731、732、741、742、1021、1022、1031、1032、1041、1042)的、所述至少一个第一发射器图像G00)中的所述至少一个明度比峰像素的所述步骤包括步骤确定阈值峰值；以及去除明度比低于所述阈值峰值的任何明度比峰(721、722、731、732、741、742、1021、 1022、1031、1032、1041、1042)。
11.如权利要求6所述的方法，其中，确定与所述至少一个第一发射器图像000)中的所述明度比极值像素对应的、所述至少一个一般观察图像(300)中的像素的对象距离的步骤，基于至少所述第一光发射器(211)和所述阴影形成元件O89、290、291)的已知几何形状。
12.如权利要求1所述的方法，还包括步骤在所述第一光发射器011)停用并且所述第二光发射器(21 停用时捕获所述对象 (206)的至少一个环境图像；确定所述至少一个环境图像中的像素的第三多个亮度值；从所述至少一个第一发射器图像G00)中的像素的所述第一多个亮度值中，减去所述至少一个环境图像中的像素的所述第三多个亮度值；以及从所述至少一个第二发射器图像(500)中的像素的所述第二多个亮度值中，减去所述至少一个环境图像中的像素的所述第三多个亮度值。
13.如权利要求6所述的方法，还包括步骤通过在与所述至少一个第一发射器图像 (400)中的所述明度比极值像素对应的所述至少一个一般观察图像(300)中的附近像素的对象距离之间进行内插，来确定所述第一发射器图像G00)的像素的对象距离。
14.如权利要求2所述的方法，其中，确定所述对象距离的步骤还包括使用所述明度比极值像素来确定多个对象距离，并且利用所述多个对象距离来估计非明度比极值像素位置处的对象距离。
15.如权利要求14所述的方法，其中，利用的所述步骤包括使用所述多个对象距离执行曲线拟合。
全文摘要
本发明名称为“基于结构光测量的方法”。一种确定到对象(206)的距离的方法能够使用包括第一光发射器(211)和第二光发射器(212)的视频检验装置(100)，其中第一光发射器(211)能够穿过具有至少一个阴影形成元件(289、290、291)的开口(292)发射光。该方法能够包括在第一光发射器(211)激活而第二光发射器(212)停用时捕获至少一个第一发射器图像(400)，在第二光发射器(212)激活而第一光发射器(211)停用时捕获至少一个第二发射器图像(500)，确定至少一个第一发射器图像(400)中的像素的第一多个亮度值，确定至少一个第二发射器图像(50)中的像素的第二多个亮度值，确定第二多个亮度值与第一多个亮度值的明度比，以及使用该明度比来确定对象距离。
文档编号G01C3/10GK102401646SQ20111021426
公开日2012年4月4日 申请日期2011年7月19日 优先权日2010年7月19日
发明者C·A·本达尔 申请人:通用电气公司