图像处理设备的制作方法

本发明涉及图像处理设备，其中该图像处理设备包括用光照射测量对象的照明装置和接收从测量对象反射的光的摄像装置，并且本发明特别是属于照明装置和摄像装置分离的结构的技术领域。

背景技术：

例如，在生产现场，为了使检查自动化并节省劳动力的目的，可以引入如日本特开2015-21764中所公开的图像处理设备。日本特开2015-21764的图像处理设备是能够获取包括检查对象的高度信息的距离图像、并基于该距离图像来进行图像处理的三维图像处理设备，并且包括头部和控制器。

头部是与用于投射用于测量形状的预定图案光的光投射装置和用于拍摄图案光已投射到的测量对象的图像的摄像装置一体地设置的。在该图像处理设备中，基于摄像装置所获取到的图案投影图像来生成距离图像，将该距离图像进一步转换成用亮度替换了该距离图像的各像素处的高度信息的灰度图像，并且基于该灰度图像来进行诸如边缘检测和预定区域的面积计算等的检查处理。

通常，拍摄图案光已投射到的测量对象的图像以获得高度信息的方法被称为图案投影法。作为图案投影法，已知有如下的相移法，其中在该相移法中，通过使照度分布例如以正弦形式改变所获得的图案光在相位上改变，然后每次都拍摄该图案光的图像。还已知有如下的空间编码法，其中在该空间编码法中，将用光照射的空间分成大量小空间，并且用一系列空间码编号对这些小空间进行编号以扩展测量容许高度的范围。

技术实现要素：

另一方面，使用相移法或空间编码法的图案投影法基于三角测距的原理，并且经常使用如下的设备，其中在该设备中，如日本特开2015-21764中的图像处理设备的头部那样，光投射装置和摄像装置被严格定位成使得这两者的相对位置不会移位。

然而，照明装置和摄像装置是一体的、并且照明装置和摄像装置的相对位置不会移位，这意味着在安装时不能单独安装照明装置和摄像装置。这大大降低了安装时的灵活性并且妨碍将图像处理设备引入所有的生产场所等。此外，还存在如下问题：在使用者已具有例如通用摄像装置的情况下，不能利用该摄像装置。

有鉴于此，可想到将照明装置和摄像装置分离，但在照明装置和摄像装置彼此分离的情况下，使用者需要通过其自身来设置位置以进行校准，使得在该设备的安装时可以进行使用三角测距的测量，由此安装期间对使用者的负担大。

本发明是有鉴于上述的点而作出的，并且本发明的目的是在形成安装时的灵活性高的设备结构的同时，在不会增大安装时对使用者的负担的情况下使得能够容易地安装设备并且进一步使得能够对测量对象的绝对形状进行测量。

为了实现上述目的，本发明是一种图像处理设备，用于对测量对象的高度进行测量，所述图像处理设备包括：照明装置，其包括：第一光投射单元，其配备有：第一光源，用于发射扩散光；以及第一图案光生成单元，用于通过接收从所述第一光源发射的扩散光来顺次生成具有不同图案的多个第一测量图案光，以用所述第一测量图案光来照射所述测量对象；第二光投射单元，其配备有：第二光源，用于发射扩散光；以及第二图案光生成单元，用于通过接收从所述第二光源发射的扩散光来顺次生成具有不同图案的多个第二测量图案光，以用所述第二测量图案光来照射所述测量对象；以及外壳，其在中心包括开口部，并且用于在所述第一光投射单元和所述第二光投射单元在所述开口部的圆周方向上彼此分离的状态下一体地支撑所述第一光投射单元和所述第二光投射单元；摄像装置，其与所述照明装置分开设置，用于经由所述外壳的所述开口部接收从所述测量对象所反射的所述第一测量图案光以生成多个第一图案图像，并且用于经由所述外壳的所述开口部接收从所述测量对象所反射的所述第二测量图案光以生成多个第二图案图像；角度图像生成单元，用于基于所述多个第一图案图像来生成各像素具有向所述测量对象的所述第一测量图案光的照射角度信息的第一角度图像，并且基于所述多个第二图案图像来生成各像素具有向所述测量对象的所述第二测量图案光的照射角度信息的第二角度图像；以及高度测量单元，用于根据所述角度图像生成单元所生成的所述第一角度图像中的各像素的照射角度信息和所述第二角度图像中的各像素的照射角度信息、以及所述外壳中的所述第一光投射单元和所述第二光投射单元的相对位置信息，来测量所述测量对象在所述照明装置的中心轴的方向上的高度。

利用该结构，在第一图案光生成单元接收从第一光源发射的扩散光的情况下，顺次生成具有不同图案的多个第一测量图案光，并用第一测量图案光照射测量对象，并且摄像装置接收从测量对象反射的第一测量图案光并生成多个第一图案图像。第二图案光生成单元接收从第二源发射的扩散光，顺次生成具有不同图案的多个第二测量图案光，并用第二测量图案光照射测量对象，并且摄像装置接收从测量对象反射的第二测量图案光并生成多个第二图案图像。

根据多个第一图案图像和多个第二图案图像，角度图像生成单元基于多个第一图案图像来生成各像素具有向测量对象的第一测量图案光的照射角度信息的第一角度图像，并且基于多个第二图案图像来生成各像素具有向测量对象的第二测量图案光的照射角度信息的第二角度图像。

由于外壳中的第一光投射单元和第二光投射单元的相对位置是已知的，因此不论摄像装置和照明装置之间的相对位置关系如何，都可以根据相对位置的相对位置信息、角度图像生成单元所生成的第一角度图像中的各像素的照射角度信息和第二角度图像中的各像素的照射角度信息来测量该测量对象在照明装置的中心轴的方向上的高度。这样使得无需与摄像装置和照明装置的安装有关的校准。

也就是说，根据本发明，在照明装置和摄像装置分开设置以可单独安装并提高安装时的灵活性的情况下，即使没有严格调整摄像装置相对于照明装置的位置，也可以测量该测量对象的绝对形状，使得安装时对使用者的负担不会增大。

在另一发明中，所述图案在一维方向上改变，并且所述第一光源包括多个发光二极管并且被配置成在与所述图案改变的方向平行的方向上排列。

利用该结构，可以由多个发光二极管形成在与图案改变的方向平行的方向上延伸的线状光源。注意，第二光源也可同样由多个发光二极管配置成。

在又一发明中，所述照明装置还包括：第三光投射单元，其配备有：第三光源，用于发射扩散光；以及第三图案光生成单元，用于通过接收从所述第三光源所发射的扩散光来顺次生成具有不同图案的多个第三测量图案光，以用所述第三测量图案光来照射所述测量对象；以及第四光投射单元，其配备有：第四光源，用于发射扩散光；以及第四图案光生成单元，用于通过接收从所述第四光源所发射的扩散光来顺次生成具有不同图案的多个第四测量图案光，以用所述第四测量图案光来照射所述测量对象，所述第三光投射单元和所述第四光投射单元在所述中心轴的圆周方向上彼此分离的状态下由所述外壳一体地支撑，所述摄像装置经由所述外壳的所述开口部接收从所述测量对象反射的所述第三测量图案光以生成多个第三图案图像，并且经由所述外壳的所述开口部接收从所述测量对象反射的所述第四测量图案光以生成多个第四图案图像，所述角度图像生成单元基于所述多个第三图案图像来生成各像素具有向所述测量对象的所述第三测量图案光的照射角度信息的第三角度图像，并且基于所述多个第四图案图像来生成各像素具有向所述测量对象的所述第四测量图案光的照射角度信息的第四角度图像，以及所述高度测量单元根据所述角度图像生成单元所生成的所述第三角度图像中的各像素的照射角度信息和所述第四角度图像中的各像素的照射角度信息、以及所述外壳中的所述第三光投射单元和所述第四光投射单元的相对位置信息，来测量所述测量对象在所述照明装置的中心轴的方向上的高度。

利用该结构，第三光投射单元和第四光投射单元用第三测量图案光和第四测量图案光照射测量对象，并且摄像装置接收从测量对象反射的第三测量图案光以生成多个第三图案图像，并且接收从测量对象反射的第四测量图案光以生成多个第四图案图像。根据多个第三图案图像和多个第四图案图像，角度图像生成单元基于多个第三图案图像来生成各像素具有向测量对象的第三测量图案光的照射角度信息的第三角度图像，并且基于多个第四图案图像来生成各像素具有向测量对象的第四测量图案光的照射角度信息的第四角度图像。

由于外壳中的第三光投射单元和第四光投射单元的相对位置是已知的，因此如上所述，不论摄像装置和照明装置之间的相对位置关系如何，都可以测量该测量对象在照明装置的中心轴的方向上的高度。

根据本发明，可以通过第三光投射单元和第四光投射单元从与利用第一光投射单元和第二光投射单元的测量图案光的照射方向不同的方向照射测量对象。因而，可以通过第三光投射单元和第四光投射单元用测量图案光来照射如在利用第一光投射单元和第二光投射单元的测量图案光的照射方向上产生阴影的部分，并且可以减少角度图像中的无效像素。

注意，第三光源和第四光源也可以包括多个发光二极管，并且被配置成在与光发射方向相交的方向上排列。

在又一发明中，配备有照射模式切换单元，所述照射模式切换单元能够在第一照射模式和第二照射模式之间切换，其中1-1)在所述第一照射模式中，通过所述第一光投射单元和所述第二光投射单元分别用所述第一测量图案光和所述第二测量图案光进行照射，以及1-2)在所述第二照射模式中，通过所述第一光投射单元、所述第二光投射单元、所述第三光投射单元和所述第四光投射单元分别用所述第一测量图案光、所述第二测量图案光、所述第三测量图案光和所述第四测量图案光进行照射。

利用该结构，可以在要在短时间内完成高度测量的情况下选择第一照射模式，并且在要以更高的精度进行高度测量的情况下选择第二照射模式。

在又一发明中，所述照射模式切换单元被配置成还能够切换为第三照射模式，在所述第三照射模式中，通过所述第三光投射单元和所述第四光投射单元分别用所述第三测量图案光和所述第四测量图案光进行照射。

利用该结构，通过使用第三照射模式，可以从与第一照射模式不同的方向用图案光照射测量对象，并且选择几乎不会形成图案光的阴影的照射方向。这使得减少了不能测量的盲点的数量并且提高了测量结果的可靠性。

在又一发明中，所述高度测量单元被配置为根据所述第一角度图像中的各像素的照射角度信息和所述第二角度图像中的各像素的照射角度信息、以及所述外壳中的所述第一光投射单元和所述第二光投射单元的相对位置信息，来生成表示所述测量对象的高度的第一高度图像，并且根据所述第三角度图像中的各像素的照射角度信息和所述第四角度图像中的各像素的照射角度信息、以及所述外壳中的所述第三光投射单元和所述第四光投射单元的相对位置信息，来生成表示所述测量对象的高度的第二高度图像，以及所述图像处理设备还包括图像合成单元，所述图像合成单元用于将所述第一高度图像和所述第二高度图像进行合成，以生成合成后高度图像。

也就是说，例如，如在利用第一光投射单元和第二光投射单元的测量图案光的照射方向上产生阴影的部分可能作为无效像素存在于第一高度图像中。同样，在利用第三光投射单元和第四光投射单元的测量图案光的照射方向上，在第二高度图像中可能存在无效像素。在本发明中，通过使用利用第一光投射单元和第二光投射单元的测量图案光的照射方向和利用第三光投射单元和第四光投射单元的测量图案光的照射方向之间的差异，可以对存在于第一高度图像中的无效像素和存在于第二高度图像中的无效像素进行相互插值，并且减少合成后高度图像中的无效像素。

在又一发明中，所述照明装置还包括光投射控制单元，所述光投射控制单元用于控制所述第一光投射单元和所述第二光投射单元，以顺次生成所述多个第一测量图案光和所述多个第二测量图案光。

根据本发明，在以彼此分离的方式设置照明装置和摄像装置以形成安装时的灵活性高的设备结构的同时，可以在不会增大安装时对使用者的负担的情况下容易地安装设备，并且进一步测量该测量对象的绝对形状。

附图说明

图1是示出本发明实施例的图像处理设备的系统结构示例的图；

图2是控制器的框图；

图3是摄像装置的框图；

图4是照明装置的平面图；

图5是沿着图4中的线v-v所截取的截面图；

图6a是沿着图4中的线vi-vi所截取的截面图，并且示出发光二极管在水平方向上排成一行的情况；

图6b是沿着图4中的线vi-vi所截取的截面图，并且示出发光二极管配置为在垂直方向上偏移的情况；

图7是照明装置的框图；

图8是示出用于从图案图像集生成中间图像和可靠度图像的过程的图；

图9是用于通过使用图像示例来说明用于从图案图像集生成中间图像和可靠度图像的过程的图；

图10是示出形成格雷码图案和相移图案的处理、以及相对相位和绝对相位之间的关系的图；

图11是示出照明装置和摄像装置的操作的时序图；

图12是在摄像装置并行地进行曝光(摄像)和数据传送的情况下的与图11相对应的图；

图13是进行高动态范围摄像(hdr)处理的情况下的时序图；

图14是在再同步照明装置和摄像装置的情况下的时序图；

图15是用于说明利用高度测量单元的高度测量方法的图；

图16是示出在测量对象为长方体盒的情况下、通过第一光投射单元投射图案光所获得的相移图案图像集的图；

图17是示出基于图16所示的相移图案图像集所获得的相对相位图像、以及与图16所示的相移图案图像集相对应的中间图像的图；

图18是示出在测量对象为长方体盒的情况下、通过第二光投射单元投射图案光所得到的相移图案图像集的图；

图19是示出基于图18所示的相移图案图像集所获得的相对相位图像、以及与图18所示的相移图案图像集相对应的中间图像的图；以及

图20是示出在测量对象为长方体盒的情况下的高度图像、以及显示截面轮廓的用户界面的图。

具体实施例

以下将参考附图来详细说明本发明的实施例。以下对优选实施例的说明从本质上仅仅是例示性的，并且并不意图限制本发明、其应用或其用途。

图1是示出根据本发明实施例的图像处理设备1的系统结构示例的图。图像处理设备1包括摄像装置2、照明装置3、控制器4、显示器5、控制台单元6和鼠标7，并且被配置为获得测量对象w的高度图像，以便能够基于该高度图像来测量该测量对象w的高度并对测量对象w进行各种检查。

在测量对象w放置在诸如带式输送机等的承载装置的放置面100上的状态下，对放置在放置面100上的测量对象w的高度进行测量或各种检查等。尽管在高度的测量期间测量对象w优选保持静止，但例如在摄像装置2的摄像次数少的情况或者一些其它情况下，可以在使测量对象w在测量对象w的运载方向上移动的同时进行高度测量或检查等。测量对象w可以正在线性移动或转动。

图像处理设备1可以经由信号线101a有线连接至可编程逻辑控制器(plc)101，但本发明不限于此，并且可以在图像处理设备1和plc101中内置传统上已知的通信模块，且图像处理设备1和plc101可以无线连接。plc101是用于顺次地控制运载装置和图像处理设备1的控制装置，并且可以使用通用plc。图像处理设备1也可以在没有连接至plc101的情况下使用。

显示器5例如是由液晶显示面板等构成的显示装置，并且构成显示部。在显示器5上，例如，可以显示用于操作图像处理设备1的操作用用户界面、用于设置图像处理设备1的设置用用户界面、用于显示测量对象的高度测量结果的高度测量结果显示用用户界面和用于显示测量对象的各种检查结果的测量结果显示用用户界面等。通过观看显示器5，图像处理设备1的使用者可以操作和设置图像处理设备1，可以掌握测量对象w的测量结果和检查结果等，并且可以进一步掌握图像处理设备1的操作状态。

如图2所示，显示器5连接至控制器4中的显示控制单元46，并且被配置为能够在显示控制单元46的控制下显示上述的用户界面和高度图像等。

控制台单元6是使用者操作图像处理设备1并输入各种信息所用的输入部，并且连接至控制器4。同样，鼠标7是使用者操作图像处理设备1并输入各种信息所用的输入部，并且连接至控制器4。控制台单元6和鼠标7是输入部的示例，并且输入部例如可以是显示器5上所设置的触摸面板画面等或者语音输入装置，或者可以通过组合多个这些组件来配置。在触摸面板画面的情况下，显示部和输入部可以由一个装置实现。

用于生成并存储控制器4的控制程序的通用个人计算机pc也可以连接至控制器4。此外，在个人计算机pc中，可以安装用于进行与图像处理有关的各种设置的图像处理程序，以便进行在控制器4中要进行的图像处理的各种设置。可选地，利用在个人计算机pc上运行的软件，可以生成用于定义图像处理的处理顺序的处理顺序程序。在控制器4中，根据该处理顺序来顺次执行各图像处理。个人计算机pc和控制器4经由通信网络连接，并且将在个人计算机pc上生成的处理顺序程序连同用于定义显示器5的显示方式的布局信息等一起存储在控制器4中。相反，可以从控制器4将处理顺序程序和布局信息等提取到个人计算机pc中并在个人计算机pc上进行编辑。注意，上述程序不仅可以在个人计算机pc中生成，而且还可以在控制器4中生成。

此外，控制器4可以利用专用硬件构造，但本发明不限于该结构。例如，可以使安装了专用图像处理程序、检查处理程序和高度测量程序等的通用个人计算机pc或工作站等用作控制器。在这种情况下，摄像装置2、照明装置3、显示器5、控制台单元6和鼠标7可以连接至个人计算机pc或工作站等。

尽管后面将说明图像处理设备1的功能，但图像处理设备1的所有功能可以由控制器4实现，或者可以由通用个人计算机pc实现。另外，图像处理设备1的一些功能可以由控制器4实现，并且其余功能可以由通用个人计算机pc实现。图像处理设备1的功能可以通过软件实现，或者可以通过与硬件组合实现。

用于使摄像装置2、照明装置3、显示器5、控制台单元6和鼠标7连接至控制器4的接口可以是专用接口或现有通信标准(诸如ethernet(以太网，产品名称)、usb等)，或者也可以使用推荐标准rs-232c。

表示测量对象w的高度的高度图像意味着表示测量对象w在图4所示的照明装置3中的开口部30a的(图1所示的)中心轴a的方向(图15的z轴方向)上的高度的图像，并且也可被视为距离图像。高度图像可被显示为以测量对象w的放置面100作为基准的高度，或者可被显示为在中心轴a的方向上与照明装置3的相对距离、以及各像素的灰度值根据高度而改变的图像。换句话说，高度图像也可被视为基于测量对象w的以放置面100为基准的高度来确定灰度值的图像，或者也可被视为基于在中心轴a的方向上与照明装置3的相对距离来确定灰度值的图像。高度图像也可被视为具有与以测量对象w的放置面100作为基准的高度相对应的灰度值的多值图像，或者也可被视为具有在中心轴a的方向上与照明装置3的相对距离相对应的灰度值的多值图像。此外，高度图像也可被视为通过针对亮度图像中的各像素将以测量对象w的放置面100作为基准的高度转换成灰度值所获得的多值图像，或者也可被视为通过针对亮度图像中的各像素将在中心轴a的方向上与照明装置3的相对距离转换成灰度值所获得的多值图像。

高度图像也可以是包括测量对象w的高度信息的图像，并且例如，通过将光学亮度图像作为纹理信息合成并贴附到距离图像所获得的三维合成图像也可被视为高度图像。高度图像不限于三维显示的图像，而且包括二维显示的图像。

作为如上所述的用于获得高度图像的方法，大致分成两个方法：一个方法是通过使用在用于获得正常图像的照明条件下拍摄到的图像来生成距离图像的被动方法(被动测量方法)；以及另一方法是用供高度方向上的测量用的光主动地照射测量对象w以生成距离图像的主动方法(主动测量方法)。在本实施例中，通过主动方法来获得高度图像，并且具体地使用图案投影法。

图案投影法是如下的方法：使要投射到测量对象w上的测量图案光(也简称为图案光)的图案的形状或相位等偏移以获取多个图像，并且分析所获取到的这多个图像以获得测量对象w的三维形状。存在包括例如相移法和空间编码法的多个类型的图案投影法，其中在该相移法中，使正弦条纹图案的相位偏移以获取多个(至少三个)图像，根据这多个图像针对各像素获得正弦相位，并且通过使用所获得的相位来获得测量对象w的表面的三维坐标；以及在该空间编码法中，使要投影到测量对象w上的图案自身针对各摄像而不同(例如，顺次投影按50％的黑白占空比使条带宽度变小到总宽度的一半、四分之一、八分之一、十六分之一、…的条带图案)，并且利用各图案来获取图案投影图像以获得测量对象w的高度的绝对相位。注意，将测量图案光“投射”到测量对象w上和用测量图案光“照射”测量对象w是同义的。

在根据本实施例的图像处理设备1中，通过组合上述的相移法和空间编码法来生成高度图像，但本发明不限于此，并且可以仅通过相移法来生成高度图像，或者可以仅通过空间编码法来生成高度图像。另外，可以使用其它传统上已知的主动方法来生成测量对象w的高度图像。

利用图像处理设备1的测量对象w的高度的测量方法的概要如下。首先，用照明装置3的第一光投射单元31和第二光投射单元32分别生成的第一测量图案光和第二测量图案光从不同方向照射测量对象w，摄像装置2接收从测量对象w反射的第一测量图案光以生成包括多个第一图案图像的第一图案图像集，并且摄像装置2接收从测量对象w反射的第二测量图案光以生成包括多个第二图案图像的第二图案图像集。之后，基于多个第一图案图像集来生成各像素具有向测量对象w的第一测量图案光的照射角度信息的第一角度图像，并且基于多个第二图案图像来生成各像素具有向测量对象的第二测量图案光的照射角度信息的第二角度图像。接着，根据第一角度图像中的各像素的照射角度信息和第二角度图像中的各像素的照射角度信息、以及第一光投射单元31和第二光投射单元32的相对位置信息，来生成表示测量对象w的高度的高度图像，并且从该高度图像获得测量对象w的高度。

尽管并非必不可少，但在图像处理设备1中，照明装置3除包括第一光投射单元31和第二光投射单元32之外，还包括第三光投射单元33和第四光投射单元34。因此，还可以用照明装置3的第三光投射单元33和第四光投射单元34分别生成的第三测量图案光和第四测量图案光从不同方向照射测量对象w。在这种情况下，摄像装置2接收从测量对象w反射的第三测量图案光以生成包括多个第三图案图像的第三图案图像集，并且摄像装置2接收从测量对象w反射的第四测量图案光以生成包括多个第四图案图像的第四图案图像集。之后，基于多个第三图案图像来生成各像素具有向测量对象w的第三测量图案光的照射角度信息的第三角度图像，并且基于多个第四图案图像来生成各像素具有向测量对象的第四测量图案光的照射角度信息的第四角度图像。接着，根据第三角度图像中的各像素的照射角度信息和第四角度图像中的各像素的照射角度信息、以及第三光投射单元33和第四光投射单元34的相对位置信息，来生成表示测量对象w的高度的高度图像，并且从该高度图像获得测量对象w的高度。

(相移法)

这里，将说明相移法。在相移法中，在将具有照度分布以正弦形式改变的图案的图案光顺次投射到测量对象上的情况下，投射正弦相位不同的三个以上的图案的图案光。根据与图案光的投射方向不同的角度，从针对各图案拍摄到的图像获得高度测量点处的各明度值，并且根据各明度值来计算图案光的相位值。根据测量点的高度，投射到测量点上的图案光的相位改变，并且观察到与通过在基准位置处反射的图案光所观察到的相位不同的相位的光。因此，计算测量点处的图案光的相位，并且通过使用三角测量原理将该图案光的相位代入几何关系表达式以计算测量点的高度，由此可以获得测量对象w的三维形状。根据相移法，可以通过减小图案光的周期来以高分辨率测量测量对象w的高度，但可以仅测量具有可测量的高度范围在相移量上处于2π内的低高度的对象(高度差小的对象)。因而，还使用空间编码法。

(空间编码法)

根据空间编码法，可以将用光照射的空间分成基本上呈扇状截面的大量小空间，并且可以用一系列空间码编号对这些小空间进行编号。因而，即使在测量对象w的高度大的情况下(即，即使在高度差大的情况下)，只要在高度处于用光照射的空间内，就可以根据空间码编号来计算高度。因此，还可以测量高度大的整个测量对象w的形状。如上所述，根据空间编码法，容许高度范围(动态范围)扩大。

(照明装置3的详细结构)

如图4～图6b所示，照明装置3包括外壳30、第一光投射单元31、第二光投射单元32、第三光投射单元33、第四光投射单元34和光投射控制单元35。

如图1所示，照明装置3和控制器4通过连接线3a连接，但照明装置3和控制器4可以无线地连接。

照明装置3可以是仅用于投射图案光的专用图案光投射装置，或者可以是也用作用于观察测量对象w的观察照明的装置。在照明装置3被设置成专用图案光投射装置的情况下，可以与专用图案光投射装置分开地或者与专用图案光投射装置一体地设置观察照明装置。对于观察照明装置，可以使用发光二极管、半导体激光器、卤素灯和hid等。

外壳30在平面图的中心部具有开口部30a，并且第一边部30a、第二边部30b、第三边部30c和第四边部30d在平面图中连续地形成接近矩形的形状。由于第一边部30a、第二边部30b、第三边部30c和第四边部30d呈线状延伸，因此开口部30a在平面图中也具有接近矩形的形状。

注意，外壳30的外形和开口部30a的形状不限于所示的形状，并且例如可以是圆形等。图1所示的开口部30a的中心轴a是穿过开口部30a的中心并且在与外壳30的下面垂直的方向上延伸的轴。在照明装置3被安装成使得外壳30的下面呈水平的情况下，开口部30a的中心轴a在垂直方向上延伸，但照明装置3可被安装成进入外壳30的下面倾斜的状态，并且在这种情况下，开口部30a的中心轴a倾斜。

开口部30a的中心轴a无需严格地穿过开口部30a的中心，并且根据测量对象w的大小等，该中心轴a也可以是穿过与开口部30a的中心相距约数mm的点的中心轴a。也就是说，可以将穿过开口部30a的中心及其附近的轴定义为中心轴a。中心轴a的延长线与放置面100相交。

在以下说明中，为方便起见，如图4所示，将第一边部30a侧称为照明装置3的左侧，将第二边部30b侧称为照明装置3的右侧，将第三边部30c侧称为照明装置3的上侧，并且第四边部30d侧是照明装置3的下侧，但这并未指定照明装置3在使用时的方向，并且照明装置3在使用时可以采用任何取向。

外壳30的第一边部30a、第二边部30b、第三边部30c和第四边部30d的内部呈中空。在第一边部30a的内部容纳有图5以及图6a和6b所示的第一光投射单元31。在第二边部30b、第三边部30c和第四边部30d的内部分别容纳有第二光投射单元32、第三光投射单元33和第四光投射单元34。第一光投射单元31和第二光投射单元32成对，并且第三光投射单元33和第四光投射单元34成对。在外壳30的内部还容纳有光投射控制单元35。

由于第一边部30a和第二边部30b被配置成以夹持中心轴a的状态彼此面对，因此第一光投射单元31和第二光投射单元32被配置成以中心轴a作为对称的中心而呈水平对称，并且在中心轴a的圆周方向上彼此分离。

由于第三边部30c和第四边部30d也被配置成以夹持中心轴a的状态彼此面对，因此第三光投射单元33和第四光投射单元34被配置成以中心轴a作为对称的中心而呈垂直对称，并且在中心轴a的圆周方向上彼此分离。在平面图中，四个光投射单元以中心轴a为中心顺时针地按第一光投射单元31、第三光投射单元33、第二光投射单元32和第四光投射单元34的顺序配置。

(第一光投射单元31和第二光投射单元32的结构)

如图5以及图6a和6b所示，第一光投射单元31包括：壳体31a；第一发光二极管(led)31b，其用作用于发射扩散光的光源；以及第一图案光生成单元(第一lcd)31d，用于通过接收从第一led31b发射的扩散光来顺次生成具有不同图案的多个第一测量图案光，以用所生成的图案光照射测量对象w。lcd是液晶显示器、即液晶面板，因此第一lcd31d是第一液晶面板。第一lcd31d与第一led31b相对应地布置。作为发光二极管，例如可以使用白色发光二极管。

第二光投射单元32是以与第一光投射单元31相同的方式配置成的，并且如图7所示，第二光投射单元32包括第二led32b和与第二led32b相对应地布置的第二图案光生成单元(第二lcd)32d。

以下将详细说明第一光投射单元31的结构。如图6a所示，设置第一光投射单元31的多个第一led31b，并且这多个第一led31b被配置成在与光发射方向相交的方向上排列。也就是说，在壳体31a的内部，在上部布置有沿着第一边部30a延伸的基板31c。如图5所示，基板31c从第一边部30a的宽度方向上的中心向外偏离。在基板31c的面向下的面上安装有多个第一led31b，并且多个第一led31b沿着第一边部30a排列。多个第一led31b可被配置成如图6a所示呈线状排列，或者可被配置成使得如图6b所示、相邻的第一led31b在垂直方向上偏移。光源不限于发光二极管，并且可以是发射扩散光的发光器。通过使多个第一led31b沿着第一边部30a排列，从第一led31b发射的光在第一边部30a的方向上变得几乎连续。

多个第一led31b可以在相同方向上发射光，并且在本实施例中，如图1中左下方的斜线所示，光被设置成从第一led31b的正下方发射并且相对于外壳30的开口部30a的中心轴a至少到达第二边部30b侧(照明装置3的右侧)。多个第一led31b的光的照射范围被设置得宽于摄像装置2的摄像视野。

将具体说明多个第一led31b的光发射范围。如图15所示，将第一光投射单元31和第二光投射单元32分离的方向定义为x方向，并且将垂直方向设置为z方向。照明装置3被布置成使得照明装置3的下面呈水平(平行于放置面100)，并且被安装成从测量对象w的放置面100向上偏离了“1”。假定x＝0是第一led31b的正下方，并且绘制从第一led31b延伸到(x,z)＝(0,0)的点c的直线d。此外，绘制从第一led31b延伸到(x,z)＝(1,0)的点e的直线f。此时，设置第一led31b的方向，使得多个第一led31b的光发射范围是直线d和直线f之间的区域，并且设计第一led31b的光源透镜。

如图7所示，第一光投射单元31设置有用于驱动第一led31b的第一led驱动电路(光源驱动电路)31e和用于驱动第一lcd31d的第一lcd驱动电路(液晶面板驱动电路)31f。第一led驱动电路31e是用于改变向第一led31b的供给电流值的电路，并且由光投射控制单元35控制。因此，第一led31b由光投射控制单元35经由第一led驱动电路31e控制。利用第一led驱动电路31e的电流值控制是自主访问控制(dac)控制。

第一lcd驱动电路31f是用于改变要施加至构成第一lcd31d的各区段的电压以改变各区段的液晶组成物的取向的电路。在本实施例中，作为图10所示的示例，构成第一lcd31d的区段的数量是64个，可以改变要单独施加至64个区段中的各区段的电压，并且针对各区段，可以在允许从第一led31b发射的光通过的状态和不允许该光通过的状态之间切换。第一lcd驱动电路31f由与第一led驱动电路31e共用的光投射控制单元35控制。因而，第一lcd31d由光投射控制单元35经由第一lcd驱动电路31f控制。另外，由于第一led驱动电路31e和第一lcd驱动电路31f由共用的光投射控制单元35控制，因此可以精确地使第一led驱动电路31e和第一lcd驱动电路31f同步。

光投射控制单元35所控制的第一lcd驱动电路31f驱动第一lcd31d，使得第一lcd31d可以通过接收从第一led31b发射的扩散光来顺次生成具有不同图案的多个第一测量图案光，以用所生成的光照射测量对象w。多个第一测量图案光包括空间编码法中使用的空间码(格雷码)所用的图案光和相移法中使用的具有周期性照度分布的图案光。

在图10的上侧示出利用第一lcd31d生成空间码所用的图案光的情况，并且在图10的下侧示出生成相移法中所使用的具有周期性照度分布的图案光的情况。在图10中，涂黑部分是不允许从第一led31b发射的扩散光通过的区段，并且白色部分是允许从第一led31b发射的扩散光通过的区段。另外，在图10中，构成第一lcd31d的64个区段被配置成在图10的水平方向上排列。

图10的上侧的生成空间码所用的图案光的情况示出生成按50％的黑白占空比使条带宽度变小到总宽度的一半、四分之一、…的条带图案的情况。通过以这种方式控制第一lcd31d，可以顺次生成空间码所用的图案光。

在图10的下侧的生成相移法所用的图案光的情况下，生成相位发生偏移的多个正弦条带图案。在该示例的情况下，通过二进制控制在lcd显示器上生成矩形波图案，但在该lcd上生成的矩形波图案在光照射面上变模糊，因此可以获得正弦图案。在该示例中，生成八个图案光。通过以这种方式控制第一lcd31d，可以顺次生成相移法所用的图案光。

也就是说，光投射控制单元35控制第一led31b和第一lcd31d，以便顺次生成与相移法和/或空间编码法相对应的多个图案光。在多个图案光中的一个图案光的投射完成时，投射下一图案光，并且通过重复该处理，投射了所有的图案光。后面将说明第一lcd31d的图案形成处理。

注意，空间码所用的图案光的数量和相移法所用的图案光的数量不限于所示的数量。

第二光投射单元32的第二led32b的光的光发射范围被设置为从第二led32b的正下方起相对于外壳30的开口部30a的中心轴a直到至少第一边部30a侧(照明装置3的左侧)为止的范围。也就是说，第二光投射单元32的第二led32b的光发射范围被设置成以外壳30的开口部30a的中心轴a作为对称的中心而与第一光投射单元31的第一led31b的光发射范围呈水平对称。

通过图1中的右下方的斜线表示第二led32b的光发射范围。

如图7所示，在第二光投射单元32中设置有用于驱动第二led32b的第二led驱动电路(光源驱动电路)32e和用于驱动第二lcd32d的第二lcd驱动电路(液晶面板驱动电路)32f，并且这两者由光投射控制单元35控制。由于以与第一lcd31d相同的方式驱动第二lcd32d，因此第二lcd32d可以通过接收从第二led32b发射的扩散光来顺次生成具有不同图案的多个第二测量图案光，以用所生成的光照射测量对象w。多个第二测量图案光包括空间码所用的图案光和相移法所用的图案光。

第一光投射单元31和第二光投射单元32在外壳30的开口部30a的中心轴a的圆周方向上彼此分离的状态下由外壳30一体地支撑，使得从第一光投射单元31发射的图案光和从第二光投射单元32发射的图案光具有基本相同的扩散角以在中心轴a上彼此相交。“一体地支撑”意味着第一光投射单元31和第二光投射单元32固定到外壳30，使得第一光投射单元31和第二光投射单元32之间的相对位置关系在安装或使用期间不会改变。因此，由于外壳30中的第一光投射单元31和第二光投射单元32的相对位置不会改变，因此例如如图15所示，在第一led31b的中心部和第二led32b的中心部之间的距离被设置为l的情况下，在安装或使用期间，第一led31b的中心部和第二led32b的中心部之间的距离也固定在l。第一led31b的中心部和第二led32b的中心部之间的距离是外壳30中的第一光投射单元31和第二光投射单元32的相对位置信息，并且可以预先存储到控制器4和摄像装置2中。

外壳30中的第一光投射单元31和第二光投射单元32的相对位置信息可以是第一led31b的中心部和第二led32b的中心部之间的直线距离，并且在从各led发射的光被镜等反射并且测量对象w被反射光照射的情况下，可以考虑光的路径长度来设置该距离。

由于第一lcd31d布置在照明装置3的左侧，因此从放置在放置面100上的测量对象w的左侧投射图案光。由于第二lcd32d布置在照明装置3的右侧，因此从放置在放置面100上的测量对象w的右侧投射图案光。第一lcd31d和第二lcd32d是将图案光从不同方向投射到测量对象w上的液晶面板。

(第三光投射单元33和第四光投射单元34的结构)

第三光投射单元33和第四光投射单元34是以与第一光投射单元31相同的方式配置成的，并且如图7所示，第三光投射单元33包括第三led33b和与第三led33b相对应地布置的第三图案光生成单元(第三lcd)33d，并且第四光投射单元34包括第四led34b和与第四led34b相对应地布置的第四图案光生成单元(第四lcd)34d。

第三光投射单元33的第三led33b的光发射范围和第四光投射单元34的第四led34b的光发射范围与第一光投射单元31的第一led31b的光发射范围和第二光投射单元32的第二led32b的光发射范围相同。具体地，第三光投射单元33的第三led33b的光发射范围被设置成从第三led33b的正下方起相对于外壳30的开口部30a的中心轴a直到至少第四边部30d侧为止的范围。第四光投射单元34的第四led34b的光发射范围被设置成从第四led34b的正下方起相对于外壳30的开口部30a的中心轴a直到至少第三边部30c侧为止的范围。因此，在将外壳30的开口部30a的中心轴a作为对称的中心时，第三光投射单元33的第三led33b的光发射范围和第四光投射单元34的第四led34b的光发射范围被设置成呈垂直对称。

如图7所示，在第三光投射单元33中设置有用于驱动第三led33b的第三led驱动电路(光源驱动电路)33e和用于驱动第三lcd33d的第三lcd驱动电路(液晶面板驱动电路)33f，并且这两者由光投射控制单元35控制。由于以与第一lcd31d相同的方式驱动第三lcd33d，因此第三lcd33d可以通过接收从第三led33b发射的扩散光来顺次生成具有不同图案的多个第三测量图案光，以用所生成的光照射测量对象w。多个第三测量图案光包括空间码所用的图案光和相移法所用的图案光。

在第四光投射单元34中设置有用于驱动第四led34b的第四led驱动电路(光源驱动电路)34e和用于驱动第四lcd34d的第四lcd驱动电路(液晶面板驱动电路)34f，并且这两者由光投射控制单元35控制。由于以与第一lcd31d相同的方式驱动第四lcd34d，因此第四lcd34d可以通过接收从第四led34b发射的扩散光来顺次生成具有不同图案的多个第四测量图案光，以用所生成的光照射测量对象w。多个第四测量图案光包括空间码所用的图案光和相移法所用的图案光。

第三光投射单元33和第四光投射单元34在外壳30的开口部30a的中心轴a的圆周方向上彼此分离的状态下由外壳30一体地支撑，使得从第三光投射单元33发射的图案光和从第四光投射单元34发射的图案光具有基本相同的扩散角以在中心轴a上彼此相交。因此，由于外壳30中的第三光投射单元33和第四光投射单元34的相对位置不改变，因此在预先将第三led33b的中心部和第四led34b的中心部之间的距离设置为预定值时，即使在安装或使用期间，第三led33b的中心部和第四led34b的中心部之间的距离也固定为预定值。第三led33b的中心部和第四led34b的中心部之间的距离是外壳30中的第三光投射单元33和第四光投射单元34的相对位置信息，并且可以预先存储到控制器4和摄像装置2中。

由于第三lcd33d配置在照明装置3的上侧，因此相对于放置在放置面100上的测量对象w从该方向投射图案光。由于第四lcd34d布置在照明装置3的下侧，因此相对于放置在放置面100上的测量对象w从该方向投射图案光。第三lcd33d和第四lcd34d是将图案光从不同方向投射到测量对象w上的液晶面板。

(光投射控制单元35的控制)

如图7所示，在本实施例中，第一led驱动电路31e、第二led驱动电路32e、第三led驱动电路33e、第四led驱动电路34e、第一lcd驱动电路31f、第二lcd驱动电路32f、第三lcd驱动电路33f和第四lcd驱动电路34f由共用的光投射控制单元35控制。因而，可以精确地使这些驱动电路同步。

光投射控制单元35控制第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d，以重复以下处理：到来自第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d中的任一个的多个图案光中的一个图案光的投射完成时为止，至少在接着要投射图案光的其它液晶面板上完成接着要投射的图案的形成处理，并且在利用该一个液晶面板的图案光的投射完成之后，将下一图案光投射在上述的其它液晶面板上。

具体地，如图14所示，将用于开始图案光的投射的触发信号和用于在图案光的投射期间与摄像装置2建立同步的再同步触发信号从控制器4输入到照明装置3的光投射控制单元35中。触发信号可以是从plc101输入的。例如，基于连接至plc101的光电传感器等的检测结果，可以将触发信号输入到光投射控制单元35中。生成触发信号的装置可以不是plc101，而可以是光电传感器等。在这种情况下，光电传感器等可以直接连接至光投射控制单元35，或者可以经由控制器4连接。

如图11所示，在输入了触发信号时，光投射控制单元35经由第一lcd驱动电路31f控制第一lcd31d，以将当前形成在第一lcd31d上的图案切换为与当前显示形式不同的图案a1。这里，为了切换第一lcd31d上的图案，第一led驱动电路31e通过已知方法来改变施加到构成第一lcd31d的各区段的液晶组成物的电压。从向液晶组成物的施加电压改变起直到液晶组成物改变其取向为止的时间长于后面所述的摄像装置2的摄像间隔。也就是说，为了将第一lcd31d上当前形成的图案切换为不同的图案，需要比摄像装置2的摄像间隔长的预定图案切换时间，并且需要用以从图案a1切换为图案a2的时间和用以从图案a2切换为图案a3的时间。在图11中的示出第一lcd～第四lcd的操作的部分中，涂有浅黑色的部分是形成接着要投影的图案所用的时间、即图案切换时间，并且白色部分示出图案形成完成的时间。

第二lcd32d同样需要用以顺次切换为图案b1、图案b2和图案b3的时间，第三lcd33d同样需要用以顺次切换为图案c1、图案c2和图案c3的时间，并且第四lcd34d同样需要用以顺次切换为图案d1、图案d2和图案d3的时间。

进行控制，使得在第一lcd31d上完全形成图案a1期间，与图案a1的形成同步地从第一led31b发射光，但不从第二led32b、第三led33b或第四led34b发射光。结果，仅将在第一lcd31d上正形成的图案a1作为图案光投射到测量对象w上，使得在第二lcd32d、第三lcd33d和第四lcd34d上形成的图案未被投射到测量对象w上。

在第一lcd31d上正形成图案a1的时间是用于在第二lcd32d上形成图案b1的图案切换时间的一部分。用于在第二lcd32d上形成图案b1的时间长于在第一lcd31d上正形成图案a1的时间。具体地，用于在第二lcd32d上形成图案b1的时间长于从之前开始的在第一lcd31d上形成图案a1的时间。

在投射到测量对象w上的图案a1的图案光的摄像完成时，在第二lcd32d上正完全形成图案b1期间，进行控制，使得与图案b1的形成同步地从第二led32b发射光，但不从第一led31b、第三led33b或第四led34b发射光。结果，仅将形成在第二lcd32d上的图案b1作为图案光投射到测量对象w上。

正在形成该图案b1的时间是用于在第三lcd33d上形成图案c1的切换时间的一部分。用于在第三lcd33d上形成图案c1的时间长于在第二lcd32d上正形成图案b1的时间，并且更具体地，用于在第三lcd33d上形成图案c1的时间长于从之前开始的在第一lcd31d上形成图案a1的时间。

在投射到测量对象w上的图案b1的图案光的摄像完成时，在第三lcd33d上完全形成图案c1期间，进行控制，使得与图案c1的形成同步地从第三led33b发射光，但不从第一led31b、第二led32b或第四led34b发射光。结果，仅将形成在第三lcd33d上的图案c1作为图案光投射到测量对象w上。

正在形成该图案c1的时间是用于在第四lcd34d上形成图案d1的切换时间的一部分。用于在第四lcd34d上形成图案d1的时间长于在第三lcd33d上正在形成图案c1的时间，并且具体地，用于在第四lcd34d上形成图案d1的时间在第一lcd31d上的图案a1的形成完成之前开始。

在投射到测量对象w上的图案c1的图案光的摄像完成时，在第四lcd34d上正完全形成图案d1期间，进行控制，使得与图案d1的形成同步地从第四led34b发射光，但不从第一led31b、第二led32b或第三led33b发射光。结果，仅将形成在第四lcd34d上的图案d1作为图案光投射到测量对象w上。正在形成该图案d1的时间的一部分是用于在第一lcd31d上形成下一图案a2的切换时间的一部分。

也就是说，在本实施例中，通过第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d中的一个液晶面板的多个图案光的顺次投射不是连续进行的，而是按照如下这样控制第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d：在通过一个液晶面板的第一个图案光的投射完成时，进行通过另一液晶面板的第一个图案光的投射，并且在通过该另一液晶面板的第一个图案光的投射完成时，进行通过又一液晶面板的第一个图案光的投射，并且在以这种方式在所有的液晶面板中完成第一个图案光的投射时，进行通过该一个液晶面板的第二个图案光的投射，并且在通过该一个液晶面板的第二个图案光的投射完成时，进行通过上述的另一液晶面板的第二个图案光的投射，并且在通过上述的另一液晶面板的第二个图案光的投射完成时，进行通过上述的又一液晶面板的第二个图案光的投射。因此，在不投射图案光的液晶面板中，可以准备接着要投射的图案的形成，以补偿液晶面板的慢响应速度。

尽管在上述示例中说明了通过所有的第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d投射图案光的情况，但本发明不限于此，并且也可以仅利用第一lcd31d和第二lcd32d投射图案光，并且仅利用第三lcd33d和第四lcd34d投射图案光。在仅利用第一lcd31d和第二lcd32d投射图案光的情况下，可以仅交替投射这些图案光，并且例如，重复以下：在通过第一lcd31d正在投射第一个图案光期间，在第二lcd32d上进行第一个图案形成处理，并且之后，在通过第二lcd32d正在投射第一个图案光期间，在第一lcd31d上进行第二个图案形成处理。这同样适用于仅通过第三lcd33d和第四lcd34d投射图案光的情况。

除了触发信号和再同步触发信号之外，还将图案光的形成信息从控制器4发送至光投射控制单元35，将所发送的图案光的形成信息暂时存储到光投射控制单元35中，并且基于该图案光的形成信息来控制第一led31b、第二led32b、第三led33b和第四led34b以及第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d。

图案光的形成信息包括例如照射模式、利用空间码所用的图案光的照射或不照射、空间码所用的图案光的具体图案和数量、利用相移法所用的图案光的照射或不照射、相移法所用的图案光的具体图案和数量、以及图案光的照射顺序等。照射模式包括：第一照射模式，其中仅通过第一lcd31d和第二lcd32d来进行利用图案光的照射，并且图案光被投射到测量对象w上；第二照射模式，其中通过所有的第一lcd31d、第二lcd32d、第三lcd33d和第四lcd34d来进行利用图案光的照射，并且图案光被投射到测量对象w上；第三照射模式，其中仅通过第三lcd33d和第四lcd34d来进行利用图案光的照射，并且图案光被投射到测量对象w上。

(摄像装置2的结构)

如图1等所示，摄像装置2与照明装置3分开设置。如图1所示，摄像装置2和控制器4通过连接线2a连接，但摄像装置2和控制器4可以无线连接。

摄像装置2构成图像处理设备1的一部分，因而也可被称为摄像单元。由于摄像装置2与照明装置3分开设置，因此可以单独安装摄像装置2和照明装置3。因此，可以改变摄像装置2的安装场所和照明装置3的安装场所，并且可以使摄像装置2的安装场所与照明装置3的安装场所分离。这大大提高了安装摄像装置2和照明装置3时的灵活性，以使得能够将图像处理设备1引入各生产现场等。

只要现场是可以使摄像装置2的安装位置和照明装置3的安装位置相同的现场，也可以将摄像装置2和照明装置3附接至同一构件，并且使用者可以根据现场以自由选择的方式改变安装状态。另外，摄像装置2和照明装置3可以附接至同一构件并一体地使用。

摄像装置2布置在照明装置3的外壳30的上方、即与图案光的发射方向的相对侧，以便观察外壳30的开口部30a。因此，经由照明装置3的外壳30的开口部30a，摄像装置2接收从测量对象w所反射的第一测量图案光以生成多个第一图案图像，并且接收从测量对象w所反射的第二测量图案光以生成多个第二图案图像。此外，在照明装置3包括第三光投射单元33和第四光投射单元34的情况下，经由照明装置3的外壳30的开口部30a，摄像装置2接收从测量对象w所反射的第三测量图案光以生成多个第三图案图像，并且接收从测量对象w所反射的第四测量图案光以生成多个第四图案图像。

如图3所示，摄像装置2包括构成光学系统的透镜21和包含用于接收从透镜21入射的光的受光元件的摄像元件22，并且透镜21和摄像元件22构成所谓的照相机。透镜21是用于在摄像元件22上形成测量对象w中的至少高度测量区域或检查目标区域的图像的构件。不必使透镜21的光轴与照明装置3中的外壳30的开口部30a的中心轴a一致。可以在照明装置3不会干扰摄像装置2所拍摄到的图像的范围内以自由选择的方式设置摄像装置2和照明装置3之间在中心轴a的方向上的距离，并且该距离被设计成具有高的安装灵活性。

作为摄像元件22，可以使用ccd或cmos传感器等。摄像元件22接收来自测量对象w的反射光以获取图像，并且将所获取到的图像数据输出至数据处理单元24。在该示例中，使用高分辨率的cmos传感器作为摄像元件22。还可以使用能够进行彩色摄像的摄像元件。除图案投影图像之外，摄像元件22还可以拍摄正常的亮度图像。在拍摄正常的亮度图像的情况下，仅需使照明装置3的所有led31b、32b、33b、34b都点亮并且控制所有的lcd31d、32d、33d、34d使得不形成图案光。在存在观察照明的情况下，通过使用该观察照明，可以拍摄正常的亮度图像。

除照相机之外，摄像装置2还包括曝光控制单元23、数据处理单元24、相位计算单元26、图像处理单元27、图像存储器28和输出控制单元29。数据处理单元24、相位计算单元26、图像处理单元27和图像存储器28连接至内置在摄像装置2中的共用的总线线路25，并且能够相互发送和接收数据。曝光控制单元23、数据处理单元24、相位计算单元26、图像处理单元27、图像存储器28和输出控制单元29可以由硬件配置或由软件配置。

(曝光控制单元23的结构)

将用于开始摄像的触发信号和用于在摄像期间与照明装置3同步的再同步触发信号从控制器4输入到曝光控制单元23中(参见图14)。设置输入定时，使得要输入到曝光控制单元23中的触发信号和再同步触发信号具有与要输入到照明装置3中的触发信号和再同步触发信号相同的定时。

曝光控制单元23是直接控制摄像元件22的单元，并且利用输入到曝光控制单元23中的触发信号和再同步触发信号来控制摄像元件22的摄像定时和曝光时间。将与摄像条件有关的信息从控制器4输入到曝光控制单元23中，并存储该信息。与摄像条件有关的信息包括例如摄像次数、摄像间隔(摄像之后直到进行下一摄像为止的时间)和摄像期间的曝光时间(快门速度)等。

曝光控制单元23通过输入从控制器4发送的触发信号来使摄像元件22开始摄像。在本实施例中，由于需要通过输入单个触发信号来生成多个图案图像，在摄像期间从控制器4输入再同步触发信号，并且可以通过输入再同步触发信号来进行与照明装置3的同步。

具体地，如图11的时序图所示，曝光控制单元23控制摄像元件22，使得在正将完全形成在第一lcd31d上的图案a1作为图案光投射到测量对象w上期间，摄像元件22进行摄像(曝光)。可以使曝光时间和正将图案a1作为图案光投射到测量对象w上的时间相同，但曝光开始的定时相对于开始图案光的投射的定时可能略微延迟。

之后，曝光控制单元23控制摄像元件22，使得在正将形成在第二lcd32d上的图案b1作为图案光投射到测量对象w上期间，摄像元件22进行摄像。在该摄像完成时，曝光控制单元23控制摄像元件22，使得在正将形成在第三lcd33d上的图案c1作为图案光投射到测量对象w上期间，摄像元件22进行摄像。之后，曝光控制单元23控制摄像元件22，使得在正将形成在第四lcd34d上的图案d1作为图案光投射到测量对象w上期间，摄像元件22进行摄像。通过重复该操作，按图案a1、b1、c1、d1、a2、b2、c2、d2、a3、...的顺序进行摄像。

在仅利用第一lcd31d和第二lcd32d投射图案光的情况下，按图案a1、b1、a2、b2、a3、b3、...的顺序进行摄像。在仅利用第三lcd33d和第四lcd34d投射图案光的情况下，按图案c1、d1、c2、d2、c3、d3、...的顺序进行摄像。

如图11的时序图所示，摄像元件22在每当摄像完成时，将图像数据传送至数据处理单元24。注意，图像数据可以预先存储在图3所示的图像存储器28中。也就是说，由于摄像元件22的摄像定时和控制器4的图像请求的定时不一致，因此图像存储器28用作用以吸收该偏差的缓冲器。

在图11的时序图中，在摄像和下一摄像之间，将图像数据传送至图3所示的数据处理单元24，但本发明不限于此，并且例如，如图12的时序图所示，可以并行地进行摄像和数据传送。在图12的时序图中，在用图案a1的图案光照射的测量对象w的摄像完成时，在正在进行用下一图案b1的图案光照射的测量对象w的摄像的情况下，将图案a1的图像数据传送至数据处理单元24。以这种方式，可以将前次拍摄到的图像数据在下一摄像时传送至数据处理单元24。

此外，如图13的时序图所示，可以多次拍摄利用图案a1的图案光照射的测量对象w的图像。在这种情况下，第一led31b可以仅在摄像元件22的摄像期间点亮。摄像元件22的曝光时间可被设置成使得第一摄像时间长于第二摄像时间，但也可被设置成使得第二摄像时间长于第一摄像时间。即使在拍摄利用其它图案的图案光照射的测量对象w的图像时，也可以多次进行摄像。这使得可以在将多个图案光中的一个图案光投射到测量对象w上期间、生成曝光时间不同的多个图像。将这些曝光时间不同的多个图像用于后面要说明的高动态范围处理。在多次对用图案a1的图案光照射的测量对象w进行摄像期间，第一led31b可以保持点亮。

(数据处理单元24的结构)

图3所示的数据处理单元24基于从摄像元件22输出的图像数据来生成多个图案图像集。在摄像元件22按图11所示的图案a1、b1、c1、d1、a2、b2、c2、d2、a3、...的顺序拍摄图像时，数据处理单元24生成包括图案a1、a2、...的图像的第一图案图像集，生成包括图案b1、b2、...的图像的第二图案图像集，生成包括图案c1、c2、...的图像的第三图案图像集，并且生成包括图案d1、d2、...的图像的第四图案图像集。图案a1、a2、...是从第一lcd31d投射的图案光，图案b1、b2、...是从第二lcd32d投射的图案光，图案c1、c2、...是从第三lcd33d投射的图案光，并且图案d1、d2、...是从第四lcd34d投射的图案光。因此，摄像装置2可以从测量对象w接收从液晶面板投射的多个图案光的反射光，并且可以生成与各个液晶面板相对应的多个图案图像集。

在仅通过第一lcd31d和第二lcd32d投射图案光的情况下，生成第一图案图像集和第二图案图像集。在仅通过第三lcd33d和第四lcd34d投射图案光的情况下，生成第三图案图像集和第四图案图像集。

数据处理单元24可以通过根据相移法的图案光的投射来生成相移图案图像集，并且可以通过根据空间编码法的图案光的投射来生成格雷码(gray)图案图像集。

根据相移法的图案光例如是通过使照度分布以正弦形式改变所获得的图案光，但可以是除该图案光以外的图案光。在本实施例中，根据相移法的图案光的数量被设置为8，但数量不限于此。另一方面，根据空间编码法的图案光是按50％的黑白占空比使条带宽度变小到总宽度的一半、四分之一、…的条带图案。在本实施例中，根据空间编码法的图案光的数量被设置为4，但数量不限于此。注意，该示例中所述的图案是使用格雷码作为空间码的情况，并且格雷码的目的不是通过使条带宽度减半来形成图案光，而是该图案仅仅是作为结果形成的。另外，格雷码是一种通过将到相邻码的汉明(hamming)距离设置为1来考虑抗噪性的编码方法。

如图9所示，在照明装置3的第一光投射单元31用根据空间编码法的四个图案光来照射测量对象w的情况下，数据处理单元24生成包括四个不同图像的格雷码图案图像集。在照明装置3的第一光投射单元31用根据相移法的八个图案光照射测量对象w的情况下，数据处理单元24生成包括八个不同图像的相移图案图像集。通过第一光投射单元31照射图案光所获得的格雷码图案图像集和相移图案图像集这两者是第一图案图像集。

同样，在照明装置3的第二光投射单元32用根据空间编码法的图案光照射测量对象w的情况下，生成格雷码图案图像集，并且在第二光投射单元32用根据相移法的图案光照射测量对象w的情况下，生成相移图案图像集。通过第二光投射单元32照射图案光所获得的格雷码图案图像集和相移图案图像集这两者是第二图案图像集。

同样，在照明装置3的第三光投射单元33将根据空间编码法的图案光照射到测量对象w的情况下，生成格雷码图案图像集，并且在将根据相移法的图案光照射到测量对象w上的情况下，生成相移图案图像集。通过第三光投射单元33照射图案光所获得的格雷码图案图像集和相移图案图像集这两者是第三图案图像集。

同样，在照明装置3的第四光投射单元34将根据空间编码法的图案光照射到测量对象w的情况下，生成格雷码图案图像集，并且在将根据相移法的图案光照射到测量对象w上的情况下，生成相移图案图像集。通过第四光投射单元34照射图案光所获得的格雷码图案图像集和相移图案图像集这两者是第四图案图像集。

各个图案图像集可被预先存储到图3所示的图像存储器28中。

如图3所示，数据处理单元24包括hdr处理单元24a。hdr处理是高动态范围摄像合成处理，并且在hdr处理单元24a中对曝光时间不同的多个图像进行合成。也就是说，如上述的图13所示，在改变曝光时间时多次拍摄正被照射图案a1的图案光的测量对象w的图像的情况下，获得曝光时间不同的多个亮度图像，并且通过合成这些亮度图像，可以生成具有比各亮度图像的动态范围宽的动态范围的图像。可以使用传统上已知的方法作为hdr合成方法。代替改变曝光时间，可以通过改变照射所用的光的强度来获得明度不同的多个亮度图像，并且可以合成这些亮度图像。

(相位计算单元26的结构)

图3所示的相位计算单元26是计算成为高度图像的原始数据的绝对相位图像的单元。如图8所示，在步骤s1中，获取相移图案图像集的各图像数据，并且通过使用相移法来进行相对相位计算处理。这可被表示为图10中的相对相位(解缠(unwrapping)前相位)，并且通过步骤s1的相对相位计算处理来获得相位图像。

另一方面，在图8的步骤s3中，获取格雷码图案图像集的各图像数据，并且通过使用空间编码法来进行空间码计算处理以获得条带编号图像。条带编号图像是在将用光照射的空间分成大量小空间的情况下、通过用一系列空间码编号对这些小空间进行编号而可以识别的图像。图10示出用于用一系列空间码编号进行编号的过程。

在图8的步骤s4中，进行绝对相位生成处理。在该绝对相位生成处理中，通过对在步骤s1中获得的相位图像和在步骤s3中获得的条带编号图像进行合成(解缠)来生成绝对相位图像(中间图像)。换句话说，由于可以基于通过空间编码法获得的空间码编号、通过相移法来对相位跳变进行校正(相位解缠)，因此可以在确保高度的宽动态范围的同时获得高分辨率的测量结果。

可以仅通过相移法进行高度测量。在这种情况下，由于高度的测量动态范围变窄，因此在高度的差异大而使得相位偏移了一个周期以上的测量对象w的情况下，无法正确地测量高度。相反，在高度的变化小的测量对象w的情况下，不进行通过空间编码法的条带图像的摄像或合成，因而存在相应地提高处理的速度的优点。例如，在测量高度方向上的差异小的测量对象w时，在无需取大的动态范围的情况下，即使在仅使用相移法时，也可以在维持高精确的高度测量性能的同时使处理时间变短。此外，在绝对高度已知的情况下，可以配置成能够仅通过空间编码法来测量高度。在这种情况下，可以通过增加代码来提高精度。

此外，在图8的步骤s2中，获取相移图案图像集的各图像数据，并且进行可靠度图像计算处理。在可靠度图像计算处理中，计算表示相位可靠度的可靠度图像。这是可用于无效像素的判断的图像。

相位图像、条带编号图像和可靠度图像可以预先存储在图3所示的图像存储器28中。

相位计算单元26所生成的绝对相位图像也可被视为各像素具有测量对象w的照射所用的测量图案光的照射角度信息的角度图像。也就是说，由于第一图案图像集(相移图案图像集)包括通过使正弦条纹图案的相位偏移所拍摄到的八个第一图案图像，因此通过使用相移法，各像素具有测量对象w的照射所用的测量图案光的照射角度信息。也就是说，相位计算单元26是基于多个第一图案图像来生成各像素具有测量对象w的照射所用的第一测量图案光的照射角度信息的第一角度图像的单元，并且由此可被称为角度图像生成单元。第一角度图像是通过将第一led31b照射测量对象w所利用的光的角度转换成图像而获得的图像。

同样，相位计算单元26可以基于多个第二图案图像来生成各像素具有测量对象w的照射所用的第二测量图案光的照射角度信息的第二角度图像，基于多个第三图案图像来生成各像素具有测量对象w的照射所用的第三测量图案光的照射角度信息的第三角度图像，并且基于多个第四图案图像来生成各像素具有测量对象w的照射所用的第四测量图案光的照射角度信息的第四角度图像。第二角度图像是通过将第二led32b照射测量对象w所利用的光的角度转换成图像而获得的图像。第三角度图像是通过将第三led33b照射测量对象w所利用的光的角度转换成图像而获得的图像。第四角度图像是通过将第四led34b照射测量对象w所利用的光的角度转换成图像而获得的图像。图9的中间图像的最上面的图像是第一角度图像，从最上面起的第二个图像是第二角度图像，从最上面起的第三个图像是第三角度图像，并且最下面的图像是第四角度图像。各角度图像中的看起来涂黑的部分是作为照明(各个led)的阴影的部分并且变为无角度信息的无效像素。

(图像处理单元27的结构)

图像处理单元27对图案图像、相位图像、条带编号图像和可靠度图像各自进行诸如伽玛校正、白平衡调整和增益校正等的图像处理。图像处理之后的图案图像、相位图像、条带编号图像和可靠度图像各自也可以预先存储在图像存储器28中。图像处理不限于上述处理。

(输出控制单元29的结构)

输出控制单元29是如下的单元：在接收到从控制器4输出的图像输出请求信号时，根据该图像输出请求信号，仅将图像存储器28内所存储的图像中的通过该图像输出请求信号指示的图像经由图像处理单元27输出到控制器4。在该示例中，图像处理之前的图案图像、相位图像、条带编号图像和可靠度图像各自预先存储在图像存储器28中，并且仅通过来自控制器4的图像输出请求信号所请求的图像经过图像处理单元27中的图像处理并被输出到控制器4。在使用者进行各种测量操作和检查操作时，可以输出图像输出请求信号。

在本实施例中，数据处理单元24、相位计算单元26和图像处理单元27设置在摄像装置2中，但本发明不限于此，并且可以设置在控制器4中。在这种情况下，将从摄像元件22输出的图像数据输出到控制器4以供处理。

(控制器4的结构)

如图2所示，控制器4包括摄像和光投射控制单元41、高度测量单元42、图像合成单元43、检查单元45、显示控制单元46和历史存储器47。

控制器4是与摄像装置2和照明装置3分开设置的。

(摄像和光投射控制单元41的结构)

摄像和光投射控制单元41将图案光的形成信息、触发信号和再同步触发信号按预定定时输出到照明装置3，并且将与摄像条件有关的信息、触发信号和再同步触发信号按预定定时输出到摄像装置2。输出到照明装置3的触发信号和再同步触发信号与输出到摄像装置2的触发信号和再同步触发信号同步。图案光的形成信息和与摄像条件有关的信息可以预先存储到例如摄像和光投射控制单元41或另一存储器(未示出)中。通过使用者进行预定操作(高度测量准备操作、检查准备操作)，图案光的形成信息被输出到照明装置3以暂时存储到照明装置3的光投射控制单元35中，并且与摄像条件有关的信息被输出到摄像装置2以暂时存储到曝光控制单元23中。在该示例中，由于照明装置3被配置为利用内置在照明装置3中的光投射控制单元35来控制led和lcd，因此照明装置3可被称为智能型照明装置。另外，由于摄像装置2被配置为利用内置在摄像装置2中的曝光控制单元23来控制摄像元件22，因此摄像装置2可被称为智能型摄像装置。

如上所述，在摄像装置2和照明装置3单独进行控制的情况下，随着摄像次数的增加，摄像定时和照明定时(图案光的投射定时)彼此偏离，并且摄像装置2所获得的图像变暗，这已成为问题。特别地，如上所述，在第一图案图像集包括总共十二个图像(相移图案图像集中的八个图像和格雷码图案图像集中的四个图像)并且第二图案图像集也以相同方式构成的情况下、并且在还进行hdr所用的摄像的情况下，摄像次数增加并且摄像定时和照明定时之间的偏差变得明显。

在该示例中，与照明装置3和摄像装置2同步地输出再同步触发信号，使得可以在摄像期间使照明装置3和摄像装置2同步。因此，即使摄像次数增加，摄像定时和照明定时之间的差异也变成极小而不会引起问题的程度，并且可以防止图像变暗。可以多次输出再同步触发信号。

摄像和光投射控制单元41包括照射模式切换单元41a。可以切换为以下的三个照射模式中的一个可自由选择的模式：第一照射模式，其中通过第一光投射单元31和第二光投射单元32分别进行用第一测量图案光和第二测量图案光的照射；第二照射模式，其中在通过第一光投射单元31和第二光投射单元32进行用第一测量图案光和第二测量图案光的照射之后，通过第三光投射单元33和第四光投射单元34分别进行用第三测量图案光和第四测量图案光的照射；以及第三照射模式，其中通过第三光投射单元33和第四光投射单元34分别进行用第三测量图案光和第四测量图案光的照射。可以通过使用者在观看显示器5的同时操作控制台单元6和鼠标7来切换照射模式。还可被配置成使得控制器4自动切换照射模式。

(高度测量单元42的结构)

高度测量单元42被配置成能够根据相位计算单元26所生成的第一角度图像中的各像素的照射角度信息和第二角度图像中的各像素的照射角度信息、以及照明装置3的外壳30中的第一光投射单元31和第二光投射单元32的相对位置信息，来测量测量对象w在照明装置3的中心轴a的方向上的高度。

以下将说明利用高度测量单元42测量高度的具体方法。如上所述，通过利用相位解缠生成角度图像，来确定来自针对各像素的照明的角度。第一角度图像是示出通过第一led31b照射测量对象w所利用的光的角度的图像，并且第二角度图像是示出通过第二led32b照射测量对象w所利用的光的角度的图像。第一led31b和第二led32b由外壳30一体地支撑，并且如上所述，将第一led31b和第二led32b之间的距离设置为l(图15所示的)。

在图15中，说明获得测量对象w中的任意点h处的高度的情况。假定第一led31b的正下方的位置为0°并且假定从第一led31b起的45°的方向为1。另外，假定图15的右方向为正并且假定其左方向为负。可以从与第一角度图像中的点h相对应的像素获得通过第一led31b照射点h所利用的光的角度，并且假定连接点h和第一led31b的直线的倾斜度为1/a1。可以从与第二角度图像中的点h相对应的像素获得通过第二led32b照射点h所利用的光的角度，并且假定连接点h和第二led32b的直线的倾斜度为-1/a2。a1、a2是相位。

z＝1/a1*x+0公式1

z＝-1/a2*(x-l)公式2

针对公式1和公式2求解z得出高度。

a1z＝x

a2z＝-x+l

z＝l/(a1+a2)

x＝a1*l/(a1+a2)

以这种方式，可以获得测量对象w上的各点处的高度。由于在上述各公式中不存在与摄像装置2的位置有关的变量，因此应当理解，在获得测量对象w上的各点处的高度时，摄像装置2的位置是无关的。然而，由于针对角度图像中的作为无效像素的像素不存在角度信息，因此不能获得该点处的高度。也就是说，所计算出的z坐标不是摄像装置2和测量对象w之间的距离，而是如从照明装置3观看到的到测量对象w的距离。与摄像装置2的安装位置无关地，确定基于照明装置3的安装位置所获得的z坐标。

尽管未示出，但是同样地，可以从与第三角度图像中的点h相对应的像素获得通过第三led33b照射点h所利用的光的角度，并且可以从与第四角度图像中的点h相对应的像素获得通过第四led34b照射点h所利用的光的角度，从而可以基于第三角度图像和第四角度图像来获得各像素处的高度。

例如，图9示出如下情况：高度测量单元42根据第一角度图像中的各像素的照射角度信息和第二角度图像中的各像素的照射角度信息、以及外壳30中的第一光投射单元31和第二光投射单元32的相对位置信息，生成了表示测量对象w的高度的第一高度图像，并且根据第三角度图像中的各像素的照射角度信息和第四角度图像中的各像素的照射角度信息、以及外壳30中的第三光投射单元33和第四光投射单元34的相对位置信息，生成了表示测量对象w的高度的第二高度图像。

第一高度图像使得能够掌握各像素处的高度，因而可以是在各种检查时要使用的检查对象图像。第二高度图像也使得能够掌握各像素处的高度，因而可以是在各种检查时要使用的检查对象图像。因此，高度测量单元42还可被视为基于多个中间图像来生成检查对象图像的检查对象图像生成单元。

在图9所示的情况下，首先，利用通过第一光投射单元31投射图案光所获得的第一图案图像集来生成第一角度图像，并且利用通过第二光投射单元32投射图案光所获得的第二图案图像集来生成第二角度图像。在第一角度图像中，由于第一光投射单元31从测量对象w的左侧用光照射测量对象w，因此在测量对象w的右侧形成阴影，并且该部分变为无效像素。另一方面，在第二角度图像中，由于第二光投射单元32从测量对象w的右侧用光照射测量对象w，因此在测量对象w的左侧形成阴影，并且该部分是无效像素。在利用第一角度图像和第二角度图像生成第一高度图像的情况下，在一个角度图像中作为无效像素的像素在第一高度图像中也是无效像素。

同样，利用通过第三光投射单元33投射图案光所获得的第三图案图像集来生成第三角度图像，并且利用通过第四光投射单元34投射图案光所获得的第四图案图像集来生成第四角度图像。在第三角度图像中，由于第三光投射单元33从测量对象w的上侧(该图的上侧)用光照射测量对象w，因此在测量对象w的下侧(该图的下侧)形成阴影，并且该部分是无效像素。另一方面，在第四角度图像中，由于第四光投射单元34从测量对象w的下侧用光照射测量对象w，因此在测量对象w的上侧(该图的上侧)形成阴影，并且该部分是无效像素。在利用第三角度图像和第四角度图像生成第二高度图像的情况下，在一个角度图像中作为无效像素的像素在第二高度图像中也是无效像素。为了尽可能多地减少无效像素的数量，在本实施例中，如图2所示，在控制器4中设置图像合成单元43。

在本实施例中已经说明了在控制器4中设置高度测量单元42的情况，但本发明不限于此，并且尽管未示出，但可以在摄像装置2中设置高度测量单元。

(图像合成单元43的结构)

图像合成单元43被配置为将第一高度图像和第二高度图像进行合成以生成合成后高度图像。结果，在第一高度图像中是无效像素但在第二高度图像中不是无效像素的部分在合成后高度图像中由有效像素表示，并且相反，在第二高度图像中是无效像素但在第一高度图像中不是无效像素的部分在合成后高度图像中由有效像素表示。这使得能够减少合成后高度图像中的无效像素的数量。相反，在希望获得具有高可靠度的高度的情况下，仅在第一高度图像和第二高度图像都有效并且这两者之间的差为预定值以下的情况下，这些图像的平均高度可被视为有效。

换句话说，通过从四个不同方向用图案光照射测量对象w，可以增加高度图像中的有效像素的数量，由此减少盲点并提高测量结果的可靠度。在通过来自两个方向的图案光的照射充分减少了无效像素的数量的测量对象w的情况下，可以生成仅一个高度图像。在这种情况下，还可被配置成使得使用者选择要生成第一高度图像和第二高度图像中的哪一个。在生成仅一个高度图像的情况下，存在测量时间缩短的优点。

合成后高度图像还使得能够掌握各像素处的高度，因而可以是在各种检查时要使用的检查对象图像。因此，图像合成单元43还可被视为用于生成检查对象图像的检查对象图像生成单元。

在本实施例中已经说明了在控制器4中设置图像合成单元43的情况，但本发明不限于此，并且尽管未示出，但图像合成单元可以设置在摄像装置2中。

(检查单元45的结构)

检查单元45是用于基于第一高度图像、第二高度图像和合成后高度图像中的任意图像来执行检查处理的单元。检查单元45设置了有无检查单元45a、外观检查单元45b和尺寸检查单元45c，但这是示例，所有这些检查单元都不是必不可少的，并且可以设置除这些检查单元以外的检查单元。有无检查单元45a被配置为能够通过图像处理来判断测量对象w的有无和附接至测量对象w的组件的有无等。外观检查单元45b被配置为能够通过图像处理来判断测量对象w的外形等是否是预先确定的形状。尺寸检查单元45c被配置为能够通过图像处理来判断测量对象w的各部分的尺寸是否是预先确定的尺寸、或者判断各部分的尺寸。由于这些判断的方法是传统上已知的方法，因此将省略详细说明。

(显示控制单元46的结构)

显示控制单元46被配置为：能够将第一高度图像、第二高度图像和合成后高度图像等显示在显示器5上，并且能够生成用于操作图像处理设备1的操作用用户界面、用于设置图像处理设备1的设置用用户界面、用于显示测量对象的高度测量结果的高度测量结果显示用用户界面、或者用于显示测量对象的各种检查结果的测量结果显示用用户界面等，并将所生成的用户界面等显示在显示单元5上。

(历史存储器47的结构)

历史存储器47例如可以包括诸如ram等的存储器装置。在历史存储器47中，可以预先存储从摄像装置2输出到控制器4的第一高度图像和第二高度图像、以及合成后高度图像等。通过控制台单元6或鼠标7的操作，可以读取历史存储器47中所存储的图像并将该图像显示在显示器5上。

(图像处理设备1的操作)

接着，将说明图像处理设备1的操作。图16～图20示出测量对象w是长方体盒并且从第一光投射单元31和第二光投射单元32投射图案光并测量该图案光的情况。

首先，在使用者将测量对象w放置在放置面100上并进行测量开始操作或检查开始操作时，从第一光投射单元31和第二光投射单元32各自顺次生成相移法所用的八个图案光，并且将这些图案光投射到测量对象w上。摄像装置2在投射各图案光的定时拍摄图像。图16所示的相移图案图像集是通过拍摄从第一光投射单元31投射到测量对象w上的图案光的图像而获得的图像。在基于图16所示的相移图案图像集来生成相位图像时，获得如图17的左侧所示的相位图像。在从相位图像生成中间图像时，获得如图17的右侧所示的图像。省略了格雷码图案图像的图示。

另一方面，图18所示的相移图案图像集是通过拍摄从第二光投射单元32投射到测量对象w上的图案光的图像而获得的图像。在基于图18所示的相移图案图像集来生成相位图像时，获得如图19的左侧所示的相位图像。在从相位图像生成中间图像时，获得如图19的右侧所示的图像。

在将图17的右侧所示的中间图像和图19的右侧所示的中间图像进行合成时，生成如图20的左侧所示的高度图像。可以通过如图20的右侧所示的用户界面将高度图像的垂直截面形状显示在显示器5上。

此外，在进行测量开始操作或检查开始操作时，从第三光投射单元33和第四光投射单元34各自顺次生成相移法所用的八个图案光，并且将这些图案光投射到测量对象w上。摄像装置2在投射各图案光的定时拍摄图像。

(实施例的作用和效果)

如上所述，根据本实施例，可以通过用于投射第一测量图案光的第一光投射单元31、用于投射第二测量图案光的第二光投射单元32、以及摄像装置2生成多个第一图案图像和多个第二图案图像。基于第一图案图像和第二图案图像，可以生成各像素具有向测量对象w的第一测量图案光的照射角度信息的第一角度图像和各像素具有向测量对象w的各个第二测量图案光的照射角度信息的第二角度图像。

由于照明装置3的外壳30中的第一光投射单元31和第二光投射单元32的相对位置是已知的，因此不论摄像装置2和照明装置3之间的相对位置关系如何，都可以根据该相对位置信息、第一角度图像中的各像素的照射角度信息和第二角度图像中的各像素的照射角度信息来测量测量对象w在照明装置3的中心轴a的方向上的高度。

也就是说，在照明装置3和摄像装置2分开设置以便可单独安装并且增加安装时的灵活性的情况下，即使没有严格调整摄像装置2相对于照明装置3的位置，也可以测量测量对象w的绝对形状，使得在安装时对使用者的负担不会增大。

控制各液晶面板，使得到从照明装置3内的多个液晶面板中的正在投射一个图案光的一个液晶面板的该一个图案光的投射完成时为止，在接着要投射图案光的另一液晶面板上完成接着要投射的图案的形成处理。因此，在一个液晶面板正在投射图案光期间，可以在未投射图案光的另一液晶面板上形成接着要投射的图案，因而向该一个液晶面板的图案光的投射一旦完成，就可以通过另一液晶面板立即投射该图案光。因而，即使在液晶面板的响应速度慢的情况下，也顺次生成多个图案光，使得能够缩短直到多个图案光的投射完成为止的时间。

上述实施例在所有方面都仅仅是示例，并且不应被限制性地解释。此外，落入与所附权利要求书的范围等同的范围内的所有变化和修改都在本发明的范围内。

例如，提供被配置成能够使计算机实现上述的各个处理和功能的程序，使得可以通过使用者的计算机来实现上述的各个处理和功能。

另外，尽管没有特别限制提供程序的形式，但存在例如通过使用诸如因特网等的网络来提供程序的方法以及提供存储有程序的记录介质的方法等。在这些提供方法中的任何提供方法中，通过将程序安装到使用者的计算机中，可以实现上述的各个处理和功能。

此外，作为用于实现上述的各个处理和功能的装置，包括以采用软件或固件等的形式可执行的状态安装的通用或专用装置。此外，上述的各个处理和功能的一部分可以通过诸如门阵列(fpga、asci)等的预定硬件以程序软件和实现硬件的一些要素的部分硬件模块的混合的形式来实现。

另外，上述的各个处理和功能也可以通过步骤的组合来实现，并且在这种情况下，使用者执行图像处理方法。

在上述实施例中，已经说明了图案光生成单元是液晶面板的情况，但本发明不限于此，并且图案光生成单元例如可以是使用数字微镜装置(dmd)的单元、或者使物理地形成有图案的掩模移动的单元。此外，光源不限于发光二极管。

产业上的可利用性

如上所述，根据本发明的图像处理设备能够用在例如测量测量对象的高度的情况或者检查测量对象的情况。