专利名称：表面检查用照明、拍摄系统以及数据结构的制作方法
技术领域：
本发明涉及适用于具有3维表面形状的检查对象物等的表面检查用照明、拍摄系统等。
背景技术：
在对检查对象物表面的伤痕、凹凸、印刷等进行检查时，一般使用具有照明装置和拍摄装置的表面检查用照明、拍摄系统(下面，有时也仅称为系统)。这样的系统的检查方法、即照明方式(照明的角度、照明的颜色、照明器材的种类等)或拍摄方式(相对于表面的拍摄角度、距离、拍摄装置的种类等)等，根据检查目的(伤痕、凹凸、有无印刷等)或检查对象物的形态(表面状态或形状等)等来规定。例如，对具有镜面表面的检查对象物的伤痕进行检查时，采用相对于表面倾斜地照射光、并从与表面垂直的方向拍摄的检查方法。另外，最近，如专利文献1所揭示的，有如下的系统，其通过机械手等移动自由地保持着具有复杂的3维形状的检查对象物，一边使该检查对象物的姿势或位置适当地变动，一边由带有照明器的拍摄装置对其进行拍摄。在该系统中，使用模型预先将检查对象物的表面分割为能够得到正反射光像的多个区域，再移动检查对象物，使其成为对各分割区域设定的拍摄以及照明的位置、姿势。然后，将如此被拍摄的图像数据发送至图像处理装置或通过记录介质存储，为了容易进行自动判别或目视判别，对该图像数据实施对应于所述检查方法或检查对象物的形态的适当的图像处理。以往，这里从系统送到图像处理装置的基本仅是图像数据(当然，有时也会添加识别各图像数据的标识符或拍摄日期和时间等的与图像处理没有直接关系的书目数据)。 然后，在图像处理装置侧，通过程序等对该图像数据实施预先确定的一定内容的图像处理。这样只发送图像数据即可是因为检查对象物、检查内容被预先确定，预先把握了在发送来的图像数据的哪个区域实施图像处理即可。换而言之，是因为这些系统与图像处理装置成为一体不可分的关系，以使得一个系统对应具有一个专用程序的图像处理装置。现有技术文献专利文献专利文献1 日本专利公开2007-240434号公报
发明内容
发明要解决的技术问题然而，对于具有复杂的3维形状或表面状态多样的检查对象物等，对应于其检查区域需要改变照明器材、拍摄装置的配置等，在各图像数据的检查内容、有效检查区域发生了变化的情况下，即使仍像以往那样仅将图像数据发送到图像处理装置侧，也不能确定其图像处理内容，并且也不能判断对于每个图像数据应当在哪个区域实施图像处理。又，按照现在的构成，难以提供对于各种表面检查用照明、拍摄系统都能够对应的通用的图像处理装置，如上所述，需要对于每个系统预备专用的图像处理装置。本发明是鉴于上述问题而提出的，其要解决的主要问题是即使对于每个图像数据检查内容、有效检查区域发生变化，或者即使表面检查用照明、拍摄系统自身变更，也可以在图像处理装置侧进行共通地图像处理。解决问题的技术手段即，本发明涉及的表面检查用照明、拍摄系统，其包括对检查对象物进行照明的照明装置、对所述检查对象物进行拍摄的拍摄装置以及信息处理装置，所述信息处理装置包括判断部，该判断部至少以所述检查对象物的表面形状、表示所述拍摄装置与检查对象物的相对位置以及姿势的位置关联信息、由所述拍摄装置侧确定的拍摄条件、以及所述照明装置向所述检查对象物的光照射状态作为判断参数，确定所述拍摄图像中的对检查有效的区域、即确定有效拍摄区域，并确定应对该有效拍摄区域施行的图像处理内容；数据发送部，该数据发送部将表示所述拍摄图像的拍摄图像数据、表示所述有效拍摄区域的有效拍摄区域数据、以及用于确定应对所述有效拍摄区域施行的图像处理的内容的图像处理确定数据发送至图像处理装置。为了使本发明的效果更加显著，并能够更高精度地进行表面检查，所述照明装置或者拍摄装置中的至少一方与检查对象物的相对位置能够变更，所述信息处理装置还包括数据存储部，其存储有表示所述检查对象物的表面形状的表面形状数据、表示所述位置关联信息的位置关联信息数据、表示所述拍摄条件的拍摄条件数据、以及表示所述光照射状态的光照射状态数据；和校正部，其根据存储于所述数据存储部的位置关联信息数据、表面形状数据以及拍摄条件数据，计算出应被拍摄的图像，并在该计算出的图像和拍摄图像存在偏差的情况下，校正所述位置关联信息数据、表面形状数据以及拍摄条件数据中的至少一方以降低该偏差。作为具体的实施方式可以例举如下所述位置关联信息至少包括拍摄装置距与拍摄轴交叉的检查对象物的表面的距离、即工作距离，所述拍摄条件包括涉及拍摄装置的镜头的参数即镜头参数、景深以及拍摄装置的视野中的至少一个，所述光照射状态至少包括拍摄面相对于照明光轴的角度。 所述判断参数还包括对检查对象物的表面检查内容的话，可以更加确切地确定图像处理。又，本发明涉及的图像处理用数据结构，其是从表面检查用照明、拍摄系统提供的用于在图像处理装置进行图像处理的数据结构，该表面检查用照明、拍摄系统包括对检查对象物进行照明的照明装置、对所述检查对象物进行拍摄的拍摄装置以及信息处理装置， 表示所述拍摄装置的拍摄图像的拍摄图像数据关联有，表示所述拍摄图像中的对检查有效的区域即有效拍摄区域的有效拍摄区域数据和确定应对所述有效拍摄区域施行的图像处理的内容的图像处理确定数据。发明的效果根据上述本发明。在表面检查用照明、拍摄系统侧，除了拍摄图像数据之外，可以确定该拍摄图像中的有效拍摄区域以及该有效拍摄区域所该实施的图像处理内容，并发送至图像处理装置，因此，在图像处理装置侧，可以不拘于表面检查用照明、拍摄系统的构成，通过共通的程序施行图像处理，其结果是能够推进图像处理装置的通用化、标准化。
图1是本发明的一实施方式的表面检查装置的整体示意图。图2是该实施形态的信息处理装置的功能框图。图3是该实施方式的检查对象物的CAD数据的概念图。图4是该实施方式的表面形状数据的概念图。图5是表示该实施方式的数据设定流程的流程图。图6是表示该实施方式的拍摄装置调整流程的流程图。图7是表示该实施方式的照明装置调整流程的流程图。图8是表示该实施方式的校正流程的流程图。图9是表示该实施方式的判断流程的流程图。
具体实施例方式下面，参照附图对本发明的一实施方式进行说明。如图1所示，本实施方式的表面检查用照明、拍摄系统100包括照明装置2 ；拍摄装置3 ；能够变更位置和姿势地支撑这些照明装置2和拍摄装置3的机械手41、42 ；以及信息处理装置5。通过从多个位置对检查对象物1照明并拍摄，检查该检查对象物1的一部分或者全部。下面，具体地对各部分进行说明。照明装置2例如使用LED，这里使用点光照射型LED，但并不限于此，也可以使用环型或半球型LED，光源也可以使用卤灯等。拍摄装置3是使用了镜头等的受光光学系统和对通过该受光光学系统的光进行接收并传感的CCD、CMOS传感器的、所谓的FA用拍摄装置。机械手41、42在其顶端支撑所述照明装置2和拍摄装置3，对其姿势和位置(其与本发明的位置意义相同)分别以3自由度共计6自由度来设定。信息处理装置5是具有CPU、存储器、I/O等所谓的计算机，通过存储在其存储器中的程序使CPU和其周边设备协动，由此，如图2所示，发挥数据储存部51、数据接收部52、位置调整部53、拍摄装置控制部54、照明装置控制部55、校正部56、判断部57、数据发送部58 等的功能。又，对于该信息处理装置5，从物理上来说，可以单独设置，也可以连同拍摄装置 3、照明装置2—体地设置。接下来，对该信息处理装置5的各部分进行说明，并兼对表面检查用照明、拍摄系统100的动作详细叙述。所述数据储存部51储存有表示检查对象物1的表面形状的表面形状数据。如图2 所示，该表面形状数据为表示例如作为最小单位的平面多边形(此处为例如四边形)的多边形的多边形数据的集合，如图3所示，各多边形数据为各角(这里为四边形因此为4点) 坐标数据和表示面方向(面的法线方向)的向量数据。又，表示表面状态的表面状态数据可以对应于各多边形数据。表面状态数据是指表示镜面和漫射面等表面粗糙度、痕纹的方向等的数据。
然后，如图5所示，首先通过操作者的输入等，确定想要对检查对象物进行表面检查的区域即检查对象区域。具体地说，数据接收部52接收由例如所述输入等确定了的检查对象区域，将所述表面形状数据中的检查对象区域的多边形数据的集合作为检查对象区域数据储存到数据储存部51中。又，同样根据输入等，确定关于拍摄装置3的能够调整的参数，例如所述检查对象区域的规定点与拍摄装置3的距离(也称为工作距离)、拍摄角度、拍摄倍率、光圈等。具体地说，数据接收部52接收例如所述输入等确定的拍摄装置相关参数，将这些参数存储到所述数据储存部51。进一步地，同样根据输入等，设定照明装置2的能够调整的参数，即照明装置2距检查对象区域的距离、照明光的角度、照明光的光质(光射出强度、光的颜色)等。具体地说，数据接收部52接收例如所述输入等规定的照明装置相关参数，将这些参数存储到该数据储存部51。此外，该数据储存部51中预先储存有各种的信息，例如拍摄装置3的镜头参数和景深等的相关数据。这样一来，数据储存部51存储有如下等数据(1)表示检查对象物1的表面形状的数据、即表面形状数据；(2)表示所述检查对象区域的数据、即检查对象区域数据；(3)表示拍摄装置3相对于检查对象物1的位置以及姿势、即表示确定位置以及姿势的工作距离以及拍摄角度的数据，也就是位置关联信息数据；(4)表示拍摄装置3侧确定的拍摄条件、 即表示拍摄倍率、光圈、镜头参数、景深、拍摄视野立体角等的数据，也就是拍摄条件数据； (5)表示确定所述照明装置2向所述检查对象物1的光照射状态的条件、即表示照明装置2 与检查对象区域的距离、照明光的角度、照明光的光质等的数据，也就是光照射状态数据。接下来，如图6所示，位置调整部53参照所述数据存储部51的表面形状数据，计算出所述检查对象区域的规定点(例如中心位置)的坐标。然后，该位置调整部53参照所述数据储存部51的位置关联信息数据，向所述机械手42输出控制信号，设定拍摄装置3相对于检查对象物1的相对位置以及姿势，以使得所述规定点与拍摄轴一致，并使该规定点距拍摄装置3的距离与位置关联信息数据所示的所述工作距离一致，并且该规定点处检查对象面的规定点的法线方向(这里特定为包含规定点的多边形数据的法线方向)与拍摄轴所构成的角度与位置关联信息数据所示的所述拍摄角度(这里，拍摄轴与所述法线方向一致，即为0度)一致。又，如图7所示，该位置调整部53参照所述数据存储部51的光照射状态数据，向所述机械手41输出控制信号，设定照明装置2相对于检查对象物1的相对位置和姿势，以使得所述规定点和照明装置2的距离为光照射状态数据所表示的距离，并且使得所述照明光的角度为光照射状态数据所表示的所述照明角度。另一方面，照明控制部55向照明装置2输出规定的指令信号，使该照明装置2射出的光设定成为所述光照射状态数据所示的光质和射出光强度。另外，拍摄装置控制部54向拍摄装置3输出规定的指令信号，使该拍摄装置进行设定以达到所述拍摄条件数据所示的拍摄倍率和光圈。接下来，如图8所示，校正部56基于储存于数据储存部51的位置关联信息数据、 拍摄条件数据以及表面形状数据，计算出应该映现在拍摄图像中的检查对象物的图像。然后，对确定计算图像的参数、即位置关联信息数据、拍摄条件数据以及表面形状数据进行校正，使得该计算图像与实际拍摄的拍摄图像相比的偏差最小。具体地说，校正部56通过参照边缘或特定标记等的检查对象物1的特异点，来比较所述计算图像数据和实际拍摄图像数据。然后，在存在偏差的情况下，对所述位置关联信息数据的值、拍摄条件数据中的表示例如镜头畸变等的镜头参数的值进行校正，或者在检查对象物1的形状、尺寸存在误差的情况下，对检查对象区域或其周边区域的表面形状数据进行校正，以保持一致性。然后，判断部57参照所述数据储存部51，以所述数据储存部51的数据所示的检查对象物1的表面形状、工作距离、拍摄角度、拍摄条件、光照射状态等作为判断参数，确定所述拍摄图像中检查有效的区域，即确定有效拍摄区域，并将其作为有效拍摄区域数据储存到数据储存部51。确定有效拍摄区域的具体方法可以例举如下。例如，根据镜头参数确定拍摄图像的周边的变形较大的部分，排除该周边区域。根据视野立体角的情况也是一样，排除视野外面的周边部分。又，从景深角度来考虑，根据表面形状数据判断出例如检查对象区域中存在大的凹陷或突出，使得该区域偏离景深的话，将该区域排除。而且，根据表面形状数据判断出所述检查对象区域中存在面的方向具有规定以上差异的区域，使得照射到该区域的光的角度超过容许范围的情况下，排除该区域。由此判断部57掩蔽判断为不适合作为图像进行检查的区域，将排除了这些被掩蔽的剩余的区域确定作为有效拍摄区域。然后，将表示该有效拍摄区域的数据，即有效拍摄区域数据储存到数据储存部51。又，该判断部57参照所述数据储存部51，根据所述数据储存部51的数据所示的、 涉及有效检查区域的表面形状、工作距离、拍摄角度、拍摄条件、光照射状态以及伤痕检查或文字识别等的检查内容等，确定应该在图像处理装置侧进行的一个或者多个图像处理的内容，将其作为图像处理确定数据储存到数据储存部51。图像处理的内容是指例如二值化、亮度调整、颜色成分的提取、对比度调整、伽玛校正、灰度化、噪音去除、晕色等这样的图像处理的种类。对于图像处理的内容，也可以在图像处理的种类上附加各图像处理的调整参数。例如，对于二值化，用于区分两个数值的阈值作为调整参数；对于对比度调整，输出像素值与输入像素值(像素值是指像素的浓度或亮度)的关系式作为调整参数。确定这样的图像处理内容的情况下，该判断部57基本上参照预先存储于存储器中的检查内容_图像处理种类的对应表等，确定图像处理种类。例如，检查内容是伤痕检查的情况下，该判断部57基本上将图像处理的种类确定为二值化，根据表面形状(也包括表面状态)、拍摄条件、光照射状态等确定此时的阈值等的调整参数。除此之外，也可能还包含亮度调整或对比度调整。另外，若检查内容为文字识别，则选择二值化、颜色成分的提取作为图像处理的种类。又，该图像处理的内容也可以根据操作者的输入来设定。另外，在有效拍摄区域不能覆盖所述检查对象区域的情况下，信息处理装置5使拍摄装置3和照明装置2的位置、姿势进行一次至多次的变化，通过在各位置每次拍摄的拍摄图像数据所包含的有效拍摄区域来覆盖所述检查对象区域。各有效拍摄区域的交叠量可以预先规定好。
这样拍摄的各拍摄图像数据通过数据发送部58，与有效拍摄区域数据和图像处理确定数据关联，并发送至图像处理装置。另一方面，图像处理装置将接收了的拍摄图像数据中的有效拍摄区域以外的部分掩蔽，对该有效拍摄区域中的图像实施图像处理确定数据所示的图像处理，进行画面输出， 或者根据情况自动进行对应于检查内容的判断，即自动判断有无伤痕或自动进行文字识别寸。如此构成的本实施方式的特征正在于，在表面检查用照明、拍摄系统100侧构筑了对所述拍摄图像数据关联有效拍摄区域数据和图像处理确定数据的数据结构。于是，在表面检查用照明、拍摄系统100侧，除了拍摄图像数据之外，可以确定该拍摄图像中的有效拍摄区域以及该有效拍摄区域所该实施的图像处理内容，并发送至图像处理装置，因此，在图像处理装置侧，可以不拘于表面检查用照明、拍摄系统100的构成，通过共通的程序施行图像处理，其结果是能够推进图像处理装置的通用化、标准化。又，本发明并不限于所述实施方式。例如，所述拍摄图像数据和有效拍摄区域数据以及图像处理确定数据并不需要一定同时发送，也可以赋予它们共通的标识符，以使其能够相互关联。另外，照明装置、拍摄装置并不一定相对于检查对象物能够相对移动，只要是能够使用本发明的数据结构的环境，对于任意的检查设备适用本发明都达到同等的效果。另外，本发明也能够适用于二维形状的简单的板等作为检查对象物。另外，本发明能够在不脱离其宗旨的范围进行各种变更。产业上的可利用性在表面检查用照明、拍摄系统侧，除了拍摄图像数据之外，可以确定该拍摄图像中的有效拍摄区域以及该有效拍摄区域所该实施的图像处理内容，并发送至图像处理装置， 因此，在图像处理装置侧，可以不拘于表面检查用照明、拍摄系统的构成，通过共通的程序施行图像处理，其结果是能够推进图像处理装置的通用化、标准化。符号说明100…表面检查用照明、拍摄系统1…检查对象物2…照明装置3…拍摄装置5…信息处理装置
权利要求
1.一种表面检查用照明、拍摄系统，其包括对检查对象物进行照明的照明装置、对所述检查对象物进行拍摄的拍摄装置以及信息处理装置，其特征在于，所述信息处理装置包括判断部，该判断部至少以所述检查对象物的表面形状、表示所述拍摄装置与检查对象物的相对位置以及姿势的位置关联信息、由所述拍摄装置侧确定的拍摄条件、以及所述照明装置向所述检查对象物的光照射状态作为判断参数，确定所述拍摄图像中的对检查有效的区域、即确定有效拍摄区域，并确定应对该有效拍摄区域施行的图像处理内容；数据发送部，该数据发送部将表示所述拍摄图像的拍摄图像数据、表示所述有效拍摄区域的有效拍摄区域数据、以及用于确定应对所述有效拍摄区域施行的图像处理的内容的图像处理确定数据发送至图像处理装置。
2.如权利要求1所述的表面检查用照明、拍摄系统，其特征在于，所述照明装置或者拍摄装置中的至少一方与检查对象物的相对位置能够变更，所述信息处理装置还包括数据存储部，其存储有表示所述检查对象物的表面形状的表面形状数据、表示所述位置关联信息的位置关联信息数据、表示所述拍摄条件的拍摄条件数据、以及表示所述光照射状态的光照射状态数据；和，校正部，其根据存储于所述数据存储部的位置关联信息数据、表面形状数据以及拍摄条件数据，计算出应被拍摄的图像，并在该计算出的图像和拍摄图像存在偏差的情况下，校正所述位置关联信息数据、表面形状数据以及拍摄条件数据中的至少一方以降低该偏差。
3.如权利要求1所述的表面检查用照明、拍摄系统，其特征在于，所述位置关联信息至少包括拍摄装置距与拍摄轴交叉的检查对象物的表面的距离、即工作距离，所述拍摄条件包括涉及拍摄装置的镜头的参数即镜头参数、景深以及拍摄装置的视野中的至少一个，所述光照射状态至少包括拍摄面相对于照明光轴的角度。
4.如权利要求1所述的表面检查用照明、拍摄系统，其特征在于，所述判断参数还包括对检查对象物的表面检查内容。
5.一种图像处理用数据结构，其是从表面检查用照明、拍摄系统提供的用于在图像处理装置进行图像处理的数据结构，该表面检查用照明、拍摄系统包括对检查对象物进行照明的照明装置、对所述检查对象物进行拍摄的拍摄装置以及信息处理装置，其特征在于，表示所述拍摄装置的拍摄图像的拍摄图像数据关联有，表示所述拍摄图像中的对检查有效的区域即有效拍摄区域的有效拍摄区域数据和确定应对所述有效拍摄区域施行的图像处理的内容的图像处理确定数据。
全文摘要
本发明涉及一种表面检查用照明、拍摄系统，为了即使对于每个图像数据检查内容、有效检查区域发生变化，或者即使表面检查用照明、拍摄系统自身变更，也可以在图像处理装置侧进行共通地图像处理，图形处理用数据结构是在表示拍摄装置的拍摄图像的拍摄图像数据上关联，表示所述拍摄图像中的对检查有效的区域即有效拍摄区域的有效拍摄区域数据和确定应对所述有效拍摄区域施行的图像处理的内容的图像处理确定数据。
文档编号G01B11/30GK102483380SQ201080039168
公开日2012年5月30日 申请日期2010年9月3日 优先权日2009年9月3日
发明者增村茂树 申请人:Ccs株式会社