光辉性颜料判定方法、光辉性颜料判定装置以及光辉性颜料判定程序与流程

1.本发明涉及根据包含光辉性颜料的被判定对象来判定所述光辉性颜料的光辉性颜料判定方法、光辉性颜料判定装置以及光辉性颜料判定程序。本技术基于2019年06月28日在日本技术的专利申请2019-121936号要求优先权，并在此引用其内容。


背景技术：

2.为了得到高设计性涂色，使用了铝片颜料、干涉性云母颜料等光辉性颜料(也称为光辉材料)的含光辉材料的涂膜大多被用于汽车外板等。
3.例如在进行汽车外板的修补涂装时，希望能够通过非破坏性的测量方法简便地识别出这种含光辉材料的涂膜的光辉材料种类及有无。
4.以往，为了根据包含光辉性颜料的涂膜判定所包含的光辉性颜料，进行基于视觉观察确认、显微镜观察的判定作业。但是，基于这样的判定作业的判定精度取决于观察者的经验、知识等，或者拍摄装置价格高昂或大规模，分析花费时间。
5.例如，在专利文献1中，记载了一种方法：基于对将变角分光反射率数据中的受光角设为变量的变角反射率数据进行数值处理而求出的变角指标及对将波长设为变量的分光反射率数据进行数值处理而求出的分光指标这两个指标的相关信息来识别光辉材料的种类。然而，近年来，为了进一步高设计性化，使用多种铝片颜料、干涉性云母颜料的光辉性颜料，或者成为珍珠清等复层构造，由于更加多种多种多样且存在复杂的规格，因此通过该方法进行识别变得困难起来。
6.另一方面，在专利文献2中，记载了光辉性颜料的鉴别方法等：使用将从拍摄包含光辉性颜料的涂膜而得到的图像提取出包含光辉性颜料的1个粒子的其附近部分的图像数据作为处理对象图像数据的图像特征量与光辉性颜料的信息建立关联的数据库。在数据库中，图像特征量与光辉性颜料的信息利用人工神经网络通过事先学习而建立关联。专利文献1所记载的光辉性颜料的鉴别方法等通过对照事先生成的数据库而能够容易地进行光辉性颜料的品牌等的判定或推断。然而，需要利用高倍率且昂贵的显微镜装置进行拍摄，需要拍摄多个包含光辉性颜料的一个粒子的其附近部分的图像数据作为处理对象图像数据，花费时间。另外，这样的显微镜装置通常不能方便地携带，十分不便。
7.专利文献3公开了一种计算机安装方法，包括：由目标涂料获取图像数据；使用所述处理器来执行图像分析以根据所述图像数据来判定至少一个亮点；使用所述处理器来执行色相分析以根据所述亮点判定闪光颜色；使用所述处理器来计算闪光颜色分布；以及使用所述处理器来生成在外观上与所述目标涂料相同或基本相似的涂料配方。该方法虽然能够使图像数据的获取变得简便，但为了能够尽可能地判别至少一个亮点。必须进行色相分析、计算闪光颜色分布，花费时间。另外，不适合复层涂膜等、复杂化的构成的涂膜的识别。
8.现有技术文献
9.专利文献
10.专利文献1：日本特开2003-294622号公报
11.专利文献2：日本特开2007-218895号公报
12.专利文献3：日本特表2017-535771号公报


技术实现要素：

13.发明要解决的技术问题
14.然而，近年来，对于涂膜所包含的光辉性颜料而言，使用新的材料的光辉性颜料、组合多个材料而成的光辉性颜料陆续被开发而使用。因此，与以往相比，判定涂膜所包含的光辉性颜料变得困难起来。因此，希望一种能够根据包含光辉性颜料的涂膜以更高精度判定所包含的光辉性颜料的判定方法等。
15.鉴于上述情况，本发明的目的在于提供能够比以往简单且以高的精度判定涂膜所包含的光辉性颜料的光辉性颜料判定方法、光辉性颜料判定装置及光辉性颜料判定程序。
16.用于解决技术问题的技术方案
17.为了解决上述课题，该发明提出了以下手段。
18.本实施方式的第一方式的光辉性颜料判定方法为根据包含光辉性颜料的被判定对象来判定所述光辉性颜料的方法，其中，具备：拍摄工序，通过拍摄元件拍摄所述被判定对象的反射面；提取工序，从拍摄到的反射图像提取图像特征量；以及判定工序，基于所述图像特征量，使用通过机器学习而学习了所述图像特征量与所述光辉性颜料的关系的学习完成模型来判定所述光辉性颜料的种类和/或含量，所述反射图像的实际视野尺寸为0.01cm2以上。
19.本实施方式的第二方式的光辉性颜料判定装置具备：图像输入部，通过拍摄元件拍摄被判定对象的反射面；提取部，从拍摄到的反射图像提取图像特征量；判定部，基于所述图像特征量，使用通过机器学习而学习了所述图像特征量与所述光辉性颜料的关系的学习完成模型来判定光辉性颜料的种类和/或含量；以及输出部，显示所述判定部的判定结果，所述反射图像的实际视野尺寸为0.01cm2以上。
20.本实施方式的第三方式的光辉性颜料判定程序为控制光辉性颜料判定装置的程序，所述光辉性颜料判定装置具备：具有实际视野尺寸为0.01cm2以上的拍摄元件的图像输入部、提取部及判定部，其中，使所述图像输入部通过所述拍摄元件拍摄被判定对象的反射面，使所述提取部从拍摄到的反射图像提取图像特征量，使所述判定部基于所述图像特征量，使用通过机器学习而学习了所述图像特征量与所述光辉性颜料的关系的学习完成模型来判定光辉性颜料的种类和/或含量。
21.发明效果
22.根据本发明的光辉性颜料判定方法、光辉性颜料判定装置以及光辉性颜料判定程序，能够比以往更简便且高精度地判定涂膜所包含的光辉性颜料。
附图说明
23.图1是本发明的第一实施方式的光辉性颜料判定装置的整体构成图。
24.图2是表示上述光辉性颜料判定装置的图像输入部的概要的图。
25.图3是通过上述图像输入部拍摄涂膜的反射面而得到的反射图像的一个例子。
26.图4是通过上述图像输入部拍摄涂膜的反射面而得到的反射图像的一个例子。
27.图5是通过上述图像输入部拍摄涂膜的反射面而得到的反射图像的一个例子。
28.图6是对逆定向反射角进行说明的图。
29.图7是上述光辉性颜料判定装置的计算机的构成图。
30.图8是上述计算机执行光辉性颜料的判定程序的情况下的计算机的功能框图。
具体实施方式
31.(第一实施方式)
32.参照图1至图8对本发明的第一实施方式进行说明。
33.[光辉性颜料]
[0034]
本实施方式涉及的光辉性颜料判定方法能够判定的光辉性颜料例如为气相沉积金属片颜料、铝片颜料、光干涉性颜料等。
[0035]
气相沉积金属片颜料是通过在基材上气相沉积金属膜，将基材剥离后，粉碎气相沉积金属膜而得到的颜料。作为上述金属的材质，虽未被特别地限定，但例如可举出铝、金、银、铜、黄铜、钛、铬、镍、镍铬、不锈钢等。
[0036]
作为能够用作上述气相沉积铝片颜料的市售品，例如，能够举出“metalure”系列(商品名，eckart公司制)、“hydroshine ws”系列(商品名，eckart公司制)、“decomet”系列(商品名，schlenk公司制)、“metasheen”系列(商品名，basf公司制)等。
[0037]
作为能够用作上述气相沉积铬片颜料的市售品，例如，能够举出“metalure liquid black”系列(商品名，eckart公司制)等。
[0038]
气相沉积铝片颜料也可以表面被二氧化硅处理的气相沉积铝片颜料。
[0039]
铝片颜料通常通过将铝在球磨机、立式球磨机(attritor mill)中且在研磨介质液的存在下使用助磨剂进行粉碎、研磨而制造，从涂料中的稳定性、形成的涂膜的完成性的方面来看，作为涂料用通常使用平均粒径(d50)为1～50μm左右、特别是5～20μm左右的铝片颜料。
[0040]
作为能够用作上述铝片颜料的市售品，例如，能够举出“alupaste”系列(商品名，东洋铝业株式会社制)等。
[0041]
铝片颜料也可以是表面被二氧化硅处理的铝片颜料。
[0042]
上述光干涉性颜料为对透明或者半透明的鳞片状基材涂覆了金属氧化物的颜料。作为该鳞片状基材，例如，能够举出天然云母、人工云母、氧化铝片、二氧化硅片、玻璃片等。该天然云母是指粉碎矿石的云母(mica)而得到的鳞片状基材。另一方面，上述人工云母是指对氟金云母(kmg3alsi3o
10
f2)、钾四硅云母(kmg
25
alsi4o
10
f2)、钠四硅云母(namg
25
alsi4o
10
f2)，na带云母(namg2lisi4o
10
f2)，lina带云母(limg2lisi4o
10
f2)等工业原料进行加热，在约1500℃的高温熔融、冷却进行结晶化而合成的物质，在与天然的云母相比的情况下，杂质较少，大小、厚度均匀。
[0043]
上述氧化铝片是指鳞片状(薄片状)氧化铝，是无色透明的。该氧化铝不需要是单一成分，也可以包含其他金属的氧化物。
[0044]
上述二氧化硅片是指鳞片状的二氧化硅。上述玻璃片是指鳞片状的玻璃。
[0045]
上述金属氧化物能够举出氧化钛、氧化铁等。能够根据涂覆上述鳞片状基材的金
属氧化物的厚度表现不同的干涉色。
[0046]
上述光干涉性颜料从得到储藏稳定性、及耐候性优异的涂膜等的观点来看，优选被表面处理。
[0047]
作为能够用作上述光干涉性颜料的市售品，例如，能够举出“iriodin”系列(商品名，merck japan公司制)、“xirallic”系列(商品名，merck japan公司制)等。
[0048]
[光辉性颜料判定装置100]
[0049]
图1是光辉性颜料判定装置100的整体构成图。
[0050]
光辉性颜料判定装置100具备图像输入部1、能够执行程序的计算机2以及lcd监视器等输出部3。
[0051]
图2是表示图像输入部1的概要的图。
[0052]
图像输入部1具有：照射作为被判定对象的涂膜f的光源11；和拍摄来自涂膜f的反射光的图像传感器12。本实施方式为一个例子，例如，也可以在光源11的位置配置图像传感器12，在图像传感器12的位置配置光源11。
[0053]
光源11只要照射白色光即可，例如为白色led、卤素灯等。例如光源11为revox slg-150u。
[0054]
图像传感器(拍摄元件)12接收从反射来自光源11的入射光的涂膜f的反射面得到的反射光。图像传感器12能够使用搭载于普通的数码相机等的图像传感器。根据光学条件可接受范围，可以使用透镜来聚集反射光，也可以不使用透镜而由图像传感器12接收反射光。例如，基于图像传感器12的图像获取尺寸为6
×
10mm，视野尺寸为15
×
40mm。此外，图像传感器12的图像获取尺寸、视野尺寸并不限于此。图像传感器12只要是通过图像输入部1拍摄涂膜f的反射面而得到的反射图像的实际视野尺寸为0.01cm2以上，则能够在之后的图像处理中拍摄足够的图像。从希望拍摄的反射图像的实际视野尺寸为0.01cm2以上的观点来看，作为图像传感器12能够使用普通的数码相机。在使用电子显微镜来获取反射图像无法在之后的图像处理中得到所需的实际视野尺寸的方面、以及不简便的方面上不适合。作为更加优选的实际视野尺寸，为0.5cm2以上，进一步为1cm2以上，作为上限未特别地限制，但可以是50cm2以下、10cm2以下。图像传感器12为拍摄元件的一个例子。拍摄元件例如为ccd模块、cmos模块、光电二极管阵列等。
[0055]
将由光源11照射的涂膜f的中心位置定义为“照射中心点o”。如图2所示，图像传感器12配置于在涂膜f的照射中心点o上沿法线方向n进行反射的反射光垂直射入图像传感器12的位置。
[0056]
图3至图5是通过图像输入部1拍摄涂膜f的反射面而得到的反射图像的一个例子。图3至图5是在向涂膜f的照射中心点o的入射光相对于法线方向n的入射角度分别为约25度、约45度、约75度的位置配置光源11，来拍摄涂膜f的反射面而得到的反射图像。通过改变光源11的位置，能够拍摄逆定向反射角不同的涂膜f的反射面。此外，反射图像也可以是通过多个图像传感器12拍摄从一个入射角度进光的涂膜f的反射面而得到的反射图像。
[0057]
图6是对逆定向反射角进行说明的图。
[0058]
逆定向反射角是指表示来自正反射方向的反射光的光路的倾斜的角，例如，照明角与样本法线方向成45
°
，受光角是通过来自正反射光角的角度表现的角度。例如，可举出在作为国际标准的astm e2194中被标准化的5个角度(有时表示为as15
°
、25
°
、45
°
、75
°
、
110
°
)。所述“as”为specular的缩写并且意味着来自正反射的角度。
[0059]
在本实施方式中，图像输入部1将拍摄到的反射图像作为rgb图像进行保存，并传送至计算机2。此外，拍摄到的反射图像的保存格式并不限于rgb图像格式，也可以是其他图像格式。
[0060]
图7是计算机2的构成图。
[0061]
计算机2是能够执行程序的处理装置，并具有处理器20、能够读取程序的存储器21、能够存储程序及数据的存储部22及输入输出控制部23。计算机2的功能通过处理器20执行提供给计算机2的程序而实现。
[0062]
图8是计算机2在执行光辉性颜料的判定程序的情况下的计算机2的功能框图。光辉性颜料的判定程序作为功能框具有区分部51、提取部52及判定部53。
[0063]
(图像变换处理)
[0064]
区分部51也可以在之后进行的基于区分部51的处理之前，将图像输入部1拍摄到的rgb图像格式的反射图像变换为hsv图像、lab图像(图像变换工序)。通过变换图像格式，能够在之后的处理中使易提取的图像特征量变化。另外，区分部51也可以将rgb图像格式的图像变换为单色图像、灰度图像而使用。另外，区分部51也可以变换为对rgb图像格式的图像、变换后的图像实施fft(快速傅里叶变换)、拉普拉斯变换、小波变换、卷积滤波等处理而得到的图像。
[0065]
(阈值处理)
[0066]
区分部51被输入图像输入部1拍摄到的反射图像，将反射图像中的反射面的区域通过基于亮度差的阈值处理，选择存在光辉性颜料的可能性高的明亮范围(存在范围e)。区分部51首先从反射图像中的反射面的区域，选择光辉性颜料的存在范围e作为图像特征量的提取对象。区分部51不求出反射图像整体的色相分布，通过阈值处理来确定光辉性颜料的存在范围e。
[0067]
提取部52从区分部51区分出的存在范围e提取图像特征量。提取的图像特征量包含与构成图像的像素数据相关的平均值、中值、众数值、最大值、最小值、四分位、百分位、标准偏差、偏度、峰度中的至少一种。此外，提取部52也可以将卷积人工神经网络、递归人工神经网络用于图像特征量的提取。
[0068]
(高亮度图像提取处理)
[0069]
提取部52也可以通过高亮度图像提取处理进一步分选光辉性颜料的存在范围e而提取图像特征量。提取部52例如提取(a)从光辉性颜料的存在范围e的像素集合中的、从距特定的rgb、hsv、lab坐标的距离在从最小至第10百分位以内指定的特定范围获取的像素或者像素集合的rgb值、亮度、色度、色相角、lab值、傅里叶变换值中选择的至少一种色彩值；和(b)从上述色彩值的平均值、中值、众数值、最大值、最小值、四分位、百分位、分散度、标准偏差、偏度、峰度中选择的至少一种统计量中的至少一种作为图像特征量。
[0070]
例如，提取部52从由在rgb坐标中距红、蓝的距离在从最小起第10百分位以内指定的特定范围获取的像素和/或像素集合提取至少一种图像特征量。通过选择易显现欲判定的光辉性颜料的特征的rgb、hsv、lab坐标以及基准色，能够适当地获取易显现光辉性颜料的特征的像素和/或像素集合。另外，通过从由存在范围e分选出的像素和/或像素集合提取图像特征量，与从存在范围e直接提取为图像特征量的情况相比，能够适当地获取反映出光
辉性颜料的特征的图像特征量。
[0071]
(聚类处理)
[0072]
提取部52也可以通过聚类处理进一步分选光辉性颜料的存在范围e而提取图像特征量。提取部52例如使用光辉性颜料的存在范围e的像素集合的rgb值、亮度、色度、色相角、lab值、傅里叶变换值中的至少一种来进行光辉性颜料的存在范围e的像素集合的聚类，并将通过聚类区分出的集群根据rgb值、亮度、色度、色相角、lab值、傅里叶变换值、距特定的颜色坐标的距离中的任一个进行排序，将区分出的集群的rgb值、亮度、色度、色相角、lab值、傅里叶变换值的平均值、中值、众数值、最大值、最小值、四分位、百分位、分散度、标准偏差、偏度、峰度中的至少一种提取为图像特征量。
[0073]
例如，提取部52使用k-平均演算法来进行聚类处理。聚类处理也可以是单链路法、全链路法、组平均法、沃德(ward’s)法、重心法、加权平均法、中值法、dbscan、optics、gaussian mixture(混合高斯模型)、birch法等。提取部52进行光辉性颜料的存在范围e的像素集合的聚类，从通过聚类区分出的集群选择例如rgb值最大的集群来提取图像特征量。通过从存在光辉性颜料的可能性高的集群提取图像特征量，从而能够适当地获取反映出光辉性颜料的特征的图像特征量。
[0074]
判定部53基于针对每个存在范围e提取出的图像特征量，使用作为学习了光辉性颜料与图像特征量的关系的学习结果的“学习完成模型m”来判定光辉性颜料。在本实施方式中，学习完成模型m由使用梯度提升的决策树(gradient boosting decision tree)构成。学习完成模型m的输入为提取部52提取出的图像特征量。学习完成模型m的输出为判定出的光辉性颜料的种类。判定出的光辉性颜料的种类被输出至输出部3。
[0075]
学习完成模型m被提供作为由光辉性颜料判定装置100的计算机2执行的光辉性颜料的判定程序的一部分的程序模块。此外，计算机2也可以具有执行学习完成模型m的专用的逻辑电路等。
[0076]
[学习完成模型m的生成]
[0077]
学习完成模型m基于后述的训练数据，通过事先学习而生成。学习完成模型m的生成可以由光辉性颜料判定装置100的计算机2实施，也可以使用运算能力比计算机2高的其他计算机来实施。
[0078]
通过基于作为公知技术的梯度下降法等的监督学习进行学习完成模型m的生成，并更新决策树的加权系数等。
[0079]
在本实施方式中，事先拍摄所包含的光辉性颜料为已知的涂膜而得到的反射图像为训练数据。在以下的说明中，将为了学习而事先拍摄的反射图像称为“学习用反射图像”。具体而言，学习用反射图像与涂膜所包含的光辉性颜料种类编码的组合为训练数据。
[0080]
训练数据希望改变学习用反射图像的拍摄条件，而准备尽可能多种多样的数据。特别是通过准备各种拍摄条件的训练数据，能够针对在各种条件下产生的噪声，提高s/n辨别能力，且生成能够进行鲁棒(robust)的光辉性颜料的判定的学习完成模型m。
[0081]
计算机2在事先学习中，与区分部51的处理同样地，从学习用反射图像通过基于亮度差的阈值处理而选择光辉性颜料的存在范围e作为图像特征量的提取对象。计算机2在事先学习中，与提取部52的处理同样地，从存在范围e提取图像特征量。在事先学习中提取的图像特征量的种类与提取部52提取的种类相同。
[0082]
计算机2以在事先学习中提取出的学习用反射图像的图像特征量为输入数据，通过监督学习生成输出光辉性颜料种类编码的学习完成模型m。
[0083]
[光辉性颜料判定装置100的动作]
[0084]
针对使用光辉性颜料判定装置100的光辉性颜料判定方法进行叙述。
[0085]
图像输入部1通过普通的数码相机拍摄逆定向反射角不同的涂膜(被判定对象)f的反射面(拍摄工序)。
[0086]
计算机2从在拍摄工序中拍摄到的反射图像中的反射面的区域，通过基于亮度差的阈值处理而选择光辉性颜料的存在范围e作为图像特征量的提取对象。计算机2从选择出的光辉性颜料的存在范围e提取图像特征量(提取工序)。计算机2也可以根据需要通过高亮度图像提取处理、聚类处理，进一步分选光辉性颜料的存在范围e而提取图像特征量。
[0087]
计算机2基于从存在范围e提取出的图像特征量，使用学习了光辉性颜料与图像特征量的关系的“学习完成模型m”来判定光辉性颜料的种类(判定工序)。此时，也可以基于学习完成模型m的输出的正确率，实施学习完成模型m的再学习。
[0088]
输出部3显示判定出的光辉性颜料的种类。
[0089]
根据本实施方式的光辉性颜料判定装置100，由于使用ccd、cmos等区域图像传感器、数码相机等普通的拍摄设备，因此不会需要特别大的空间、准备时间等而能够容易地实施，且拍摄出的图像相比于显微镜，实际视野尺寸足够大，因此能够高精度地进行光辉性颜料的判定。
[0090]
根据本实施方式的光辉性颜料判定装置100，通过基于亮度差的阈值处理，选择将图像特征量作为提取对象的光辉性颜料的存在范围e。能够不求出反射图像整体的色相分布，而简单地确定将图像特征量作为提取对象的光辉性颜料的存在范围e。
[0091]
根据本实施方式涉及的光辉性颜料判定装置100，根据需要通过高亮度图像提取处理、聚类处理，进一步分选光辉性颜料的存在范围e而提取图像特征量。通过从易显现光辉性颜料的特征的像素、集群提取图像特征量，能够比以往更简便且高精度地判定涂膜所包含的光辉性颜料。
[0092]
此外，光辉性颜料的判定程序被记录在计算机可读的记录介质中。使计算机系统读取并执行记录在该记录介质中的程序。此外，这里所说的“计算机系统”是指包括os、周边设备等硬件的计算机系统。另外，“计算机可读取的记录介质”是指软盘、光磁盘、rom、cd-rom等便携式介质、内置于计算机系统的硬盘等存储装置。进一步“计算机可读的记录介质”也可以包含：如经由因特网等网络、电话线路等通信线路发送程序的情况的通信线那样，在短时间动态地保存程序的介质，如在该情况下成为服务器、客户端的计算机系统内部的易失性存储器那样，在一定时间保存程序的介质。另外，上述程序也可以是用于实现前述功能的一部分的程序，进一步也可以是通过与已经记录在计算机系统中的程序的组合能够实现前述功能的程序，也可以是使用fpga(field programmable gate array，现场可编程门阵列)等可编程逻辑器件实现的程序。
[0093]
以上，参照附图对本发明的第一实施方式进行了详述，但具体的构成并不限于该实施方式，还包含不脱离本发明的主旨的范围内的设计变更等。另外，在上述的第一实施方式及以下所示的变形例中示出的构成要素能够适当地进行组合而构成。
[0094]
(变形例1)
[0095]
例如，在上述实施方式中，学习完成模型m由使用梯度提升的决策树构成，但学习完成模型的方式并不限于此。学习完成模型只要是根据图像特征量来决定光辉性颜料的种类并输出的模型即可，例如，也可以由线形回归、逻辑回归、简单感知器、mlp、人工神经网络、支持向量机、随机森林、高斯过程、贝叶斯网络、k近邻法、其他机器学习中使用的模型构成。
[0096]
(变形例2)
[0097]
例如，在上述实施方式中，在判定工序中判定了光辉性颜料的种类，但判定工序的方式并不限于此。判定工序例如也可以还结合光辉性颜料的含量的判定而实施。在该情况下，学习完成模型的输入为提取部52提取出的图像特征量，学习完成模型的输出为判定出的光辉性颜料的种类以及光辉性颜料的含量。学习完成模型学习了作为训练数据的学习用反射图像、涂膜所包含的光辉性颜料的种类编码及光辉性颜料的含量的组合。
[0098]
(第二实施方式)
[0099]
针对本发明的第二实施方式的光辉性颜料判定装置100b进行说明。在以下的说明中，针对与已经说明的内容共用的构成，标注相同的附图标记而省略重复的说明。光辉性颜料判定装置100b的图像输入部与第一实施方式不同。
[0100]
[光辉性颜料判定装置100b]
[0101]
光辉性颜料判定装置100b具备图像输入部1b、能够执行程序的计算机2以及lcd监视器等输出部3。
[0102]
图像输入部1b为能够从多角度进行拍摄的拍摄设备，例如，可举出x-rite公司的mat6、t12等测色机。例如，在使用x-rite公司的mat6的情况下，受光部的角度与法线方向n成15度，能够以拍摄角度为7种(逆定向反射角-45度、逆定向反射角-30度、逆定向反射角-15度、逆定向反射角15度、逆定向反射角45度、逆定向反射角80度及扩散光照射图像的1种)进行拍摄。图像输入部1b并不限于测色机，只要是通过内置的数码相机适当变更拍摄角度来拍摄反射面的拍摄设备即可。图像输入部1b内置的数码相机搭载第一实施方式的图像传感器12，拍摄的反射图像的实际视野尺寸为0.01cm2以上。图像输入部1b将拍摄逆定向反射角不同的反射面而得到的反射图像保存为rgb图像，并传送至计算机2。
[0103]
计算机2的区分部51被输入图像输入部1b拍摄到的多个反射图像，通过基于亮度差的阈值处理来选择存在范围e。以下的工序与第一实施方式相同。
[0104]
根据本实施方式的光辉性颜料判定装置100b，与第一实施方式的光辉性颜料判定装置100同样地，通过基于亮度差的阈值处理，选择将图像特征量作为提取对象的光辉性颜料的存在范围e。能够不求出反射图像整体的色相分布，而简单地确定将图像特征量作为提取对象的光辉性颜料的存在范围e。根据需要通过高亮度图像提取处理、聚类处理，进一步分选光辉性颜料的存在范围e而提取图像特征量。通过从易显现光辉性颜料的特征的像素、集群提取图像特征量，能够比以往更简便且更高精度地判定涂膜所包含的光辉性颜料。
[0105]
根据本实施方式的光辉性颜料判定装置100b，由于使用测色机作为图像输入部1b，因此与第一实施方式的光辉性颜料判定装置100相比，能够高精度地获取每个入射角度的反射图像，能够提取精度更高的图像特征量而用于判定。
[0106]
以上，参照附图对本发明的第二实施方式进行了详述，但具体的构成并不限于该实施方式，还包含不脱离本发明的主旨的范围内的设计变更等。另外，在上述的第二实施方
式及变形例中示出的构成要素能够适当地进行组合而构成。
[0107]
(第三实施方式)
[0108]
针对本发明的第三实施方式涉及的光辉性颜料判定装置100c进行说明。在以下的说明中，针对与已经说明的内容共用的构成，标注相同的附图标记而省略重复的说明。光辉性颜料判定装置100c在使用分光反射率的方面上与第二实施方式不同。
[0109]
[光辉性颜料判定装置100c]
[0110]
光辉性颜料判定装置100c具备图像输入部1c、能够执行程序的计算机2以及lcd监视器等输出部3。
[0111]
相对于第二实施方式的图像输入部1b，图像输入部1c还包括能够从多个测色角度测定分光反射率的测色计或者分光测色计。测色计或者分光测色计(也有时称为分光光度计)在识别颜色特性时使用的情况下，只要是在光谱的可视区域内能够以多个视角进行测色的装置则没有特别地限制。包含测色计或者分光测色计的图像输入部1c优选为便携式装置。图像输入部1c与第二实施方式同样地，由内置的数码相机的图像传感器12拍摄反射面。而且，图像输入部1c通过内置于测色计或者分光测色计的受光器获取分光反射率。图像输入部1c例如能够使用x-rite公司的mat6、t12等测色机。例如，在使用x-rite公司的mat6的情况下，受光器的角度与法线方向n成45度，能够以测色角度为6个角度(逆定向反射角-15度、逆定向反射角15度、逆定向反射角25度、逆定向反射角45度、逆定向反射角75度、逆定向反射角110度)测定分光反射率。
[0112]
在本实施方式中，图像输入部1c将在拍摄角度中拍摄到的反射图像保存为rgb图像，进一步测定与拍摄到反射面的拍摄角度对应的测色角度下的分光反射率(测定工序)。图像输入部1c可以同时进行反射图像的拍摄与分光反射率的测定，也可以分开进行。进一步，反射图像的拍摄与分光反射率的测定可以由不同的设备实施。例如，反射图像的拍摄可以使用第一实施方式的图像输入部1a、第二实施方式的图像输入部1b来实施。
[0113]
图像输入部1c将与rgb图像对应的分光反射率传送至计算机2。此外，被拍摄的反射图像的保存格式并不限于rgb图像格式，也可以是其他图像格式。图像输入部1c也可以拍摄单色图像、灰度图像，而不是rgb图像。
[0114]
图像输入部1c拍摄到的反射图像与第一实施方式同样地，用于图像特征量的提取。根据需要而对反射图像实施高亮度图像提取处理、聚类处理。
[0115]
图像输入部1c测定出的分光反射率用于分光反射特征量的提取。分光反射特征量为以下所例示的特征量。分光反射特征量也可以是两种以上的特征量的组合。
[0116]
(1)光谱的反射率或者反射强度的值、最大值、最大值、中值、四分位或者百分位；
[0117]
(2)光谱的反射率或者反射强度为最大值、最大值、中值、四分位、或者百分位的波长；
[0118]
(3)光谱的反射率或者反射强度的平均值、分散度、标准偏差、峰度、或者偏度；
[0119]
(4)通过针对光谱的反射率或者反射强度的卷积滤波、傅里叶变换或者小波变换而得到的值；
[0120]
(5)光谱的反射率或者反射强度的峰值波长、或者光谱的反射率或者反射强度的峰值间的差或比。
[0121]
判定部53基于针对每个存在范围e提取出的图像特征量、和从对应的分光反射率
提取出的分光反射特征量，使用作为学习了光辉性颜料、图像特征量及分光反射特征量的关系而学习结果的“学习完成模型m2”来判定光辉性颜料(判定工序)。分光反射特征量也可以是分光反射率本身。
[0122]
在本实施方式中，学习完成模型m2由使用梯度提升的决策树(gradient boosting decision tree)构成。学习完成模型m2的输入为提取部52提取出的图像特征量和分光反射特征量。学习完成模型m2的输出为判定出的光辉性颜料的种类。判定出的光辉性颜料的种类被输出至输出部3。
[0123]
学习完成模型m2基于训练数据，通过事先学习而生成。学习完成模型m2的生成可以由光辉性颜料判定装置100的计算机2实施，也可以使用运算能力比计算机2高的其他计算机来实施。
[0124]
在本实施方式中，事先拍摄所包含的光辉性颜料为已知的涂膜而得到的反射图像为训练数据。具体而言，学习用反射图像与涂膜所包含的光辉性颜料种类编码的组合为训练数据。
[0125]
计算机2在事先学习中，与区分部51的处理同样地，从学习用反射图像通过基于亮度差的阈值处理而选择光辉性颜料的存在范围e作为图像特征量和分光反射特征量的提取对象。计算机2在事先学习中，与提取部52的处理同样地，从存在范围e提取图像特征量和分光反射特征量。在事先学习中提取的图像特征量和分光反射特征量的种类与提取部52提取的种类相同。
[0126]
计算机2以在事先学习中提取出的学习用反射图像的图像特征量和分光反射特征量为输入数据，通过监督学习生成输出光辉性颜料种类编码的学习完成模型m。
[0127]
根据本实施方式的光辉性颜料判定装置100c，由于图像输入部1c具有测色计或者分光测色计，因此与第一实施方式的光辉性颜料判定装置100相比，能够获取每个入射角度的反射图像及分光反射率，因此能够在图像特征量的基础上提取分光反射率来用于判定。
[0128]
以下，基于实施例详细地对本发明进行说明，但本发明的技术范围并不限于这些实施例。
[0129]
＜实施例1＞
[0130]
(1)拍摄工序
[0131]
作为光辉材料颜料判定的被判定对象的涂膜f，从已有的调色设计出的汽车面涂层涂色的对照涂覆板，选择实色涂色及金属涂色。这里，金属涂色是指铝片、云母片等包含鳞片状颜料(光辉材料颜料)的涂色，实色涂色是指作为颜料不包含所述光辉材料的涂色。对照涂覆板是指将为了得到所述的实色涂色及金属涂色而进行了调整的涂料涂装于规定大小的基材，并进一步涂装透明涂料而得到的试验板。
[0132]
所使用的图像输入部1的拍摄视野为30mm
×
5mm，实际视野尺寸为0.01cm2以上。图像输入部1拍摄逆定向反射角约15度的涂膜f的反射面。图像输入部1将拍摄到的反射图像保存为rgb图像。
[0133]
(2)图像变换工序
[0134]
在实施例1中，未实施图像变换工序。
[0135]
(3)提取工序
[0136]
在实施例1中，未实施基于阈值处理的存在范围e的选择。从拍摄到的反射图像的
整体提取图像特征量。
[0137]
(4)判定工序
[0138]
在实施例1中用于判定的特征量为8个，为单角度整体图像的r值的最大值与标准偏差、单角度整体图像的g值的中值、最大值及标准偏差、单角度整体图像的g值的最大值、最小值及标准偏差的组合(特征量组合no.2-1)。
[0139]
另外，在实施例1中使用的学习完成模型m由使用梯度提升的决策树(gradient boosting decision tree)构成(机器学习模型no.1-3)。
[0140]
＜实施例2＞
[0141]
与实施例1相比仅记载不同的部分。
[0142]
(1)拍摄工序
[0143]
图像输入部1拍摄逆定向反射角约15度、25度、45度、75度、110度的涂膜f的反射面，并分别将反射图像保存为rgb图像。
[0144]
(4)判定工序
[0145]
在实施例2中用于判定的特征量为200个，为整体图像的b值的每个角度的最大值、整体图像的g值的每个角度的平均值的组合(特征量组合no.2-2)。
[0146]
＜实施例3＞
[0147]
与实施例2相比仅记载不同的部分。
[0148]
(3)提取工序
[0149]
在实施例3中，实施基于阈值处理的存在范围e的选择，从光辉性颜料的存在范围e提取图像特征量。
[0150]
(4)判定工序
[0151]
在实施例3中用于判定的特征量为200个，为阈值以下图像的g值的每个角度的最大值、整体图像的g值的每个角度的fft振幅的组合(特征量组合no.2-3)。
[0152]
＜实施例4＞
[0153]
与实施例3相比仅记载不同的部分。
[0154]
(2)图像变换工序
[0155]
在实施例4中，实施图像变换工序，rgb图像变换为hsv图像、lab图像。另外，也实施针对rgb图像的fft(快速傅里叶变换)。
[0156]
(3)提取工序
[0157]
在实施例4中，未实施基于阈值处理的存在范围e的选择。从拍摄到的反射图像的整体提取图像特征量。
[0158]
(4)判定工序
[0159]
在实施例4中用于判定的特征量为300个，为整体图像的s值的每个角度的第3四分位、整体图像的a值的每个角度的最大值、整体图像的b值的第3四分位的组合(特征量组合no.2-4)。
[0160]
＜实施例5＞
[0161]
与实施例4相比仅记载不同的部分。
[0162]
(3)提取工序
[0163]
在实施例5中，实施基于阈值处理的存在范围e的选择，从光辉性颜料的存在范围e
提取图像特征量。
[0164]
(4)判定工序
[0165]
在实施例5中用于判定的特征量为900个，为小于阈值的图像的a值的最大值的角度间之比、小于阈值的图像的a值的每个角度的最小值、阈值以上图像的v(亮度)值的平均值的角度间之比、整体图像的g值的第3四分位的角度间之比、整体图像的v(亮度)值的平均值的角度间之比的组合(特征量组合no.2-5)。
[0166]
＜实施例6＞
[0167]
与实施例5相比仅记载不同的部分。
[0168]
(4)判定工序
[0169]
在实施例6中用于判定的特征量为500个，为阈值以上图像的a值的每个角度的最大值、阈值以上图像的a值的每个角度的最小值、小于阈值的图像的a值的每个角度的平均值、阈值以上图像的l值的最小值的角度间之比的组合(特征量组合no.2-6)。
[0170]
＜实施例7＞
[0171]
与实施例6相比仅记载不同的部分。
[0172]
(4)判定工序
[0173]
在实施例7中用于判定的特征量为600个，为阈值以上图像的g值的每个角度的第1四分位、小于阈值的图像的a值的最大值的角度间之比、阈值以上图像的b值的平均值的角度间之比、小于阈值的图像的b值的每个角度的最大值的组合(特征量组合no.2-7)。
[0174]
＜实施例8＞
[0175]
与实施例7相比仅记载不同的部分。
[0176]
(4)判定工序
[0177]
在实施例8中用于判定的特征量为500个，为阈值以上图像的l值的每个角度的平均值、小于阈值的图像的a值的最大值的角度间之比、小于阈值的图像的b值的每个角度的标准偏差、阈值以上图像的a值的每个角度的第1四分位的组合(特征量组合no.2-8)。
[0178]
＜实施例9＞
[0179]
与实施例8相比仅记载不同的部分。
[0180]
(4)判定工序
[0181]
在实施例9中用于判定的特征量为800个，为小于阈值的图像的a值的每个角度的最小值、小于阈值的图像的a值的最大值的角度间之比、整体图像的r值的第1四分位的角度间之比、阈值以上图像的a值的每个角度的第3四分位、阈值以上图像的a值的标准偏差的角度间之比的组合(特征量组合no.2-9)。
[0182]
＜实施例10＞
[0183]
与实施例9相比仅记载不同的部分。
[0184]
(3)提取工序
[0185]
在实施例9中，在提取工序中实施聚类处理而分类为20个集群。选择各集群所包含的像素的色度的平均值最大的集群的hsv值。
[0186]
(4)判定工序
[0187]
在实施例10中用于判定的特征量为660个，为小于阈值的图像的a值的最大值的角度间之比、阈值以上图像的r值的第1四分位的角度间之比、小于阈值的图像的a值的每个角
度的最小值、每个拍摄角度的整体图像的h(色相)值的最大值、利用ward法将阈值以上图像聚类为20个集群而各集群所包含的像素的色度的平均值为最大的集群的hsv值的组合(特征量组合no.2-10)。
[0188]
＜实施例11＞
[0189]
与实施例9相比仅记载不同的部分。
[0190]
(3)提取工序
[0191]
在实施例11中，在提取工序中实施高亮度图像提取处理。获取距作为色相角为270度色度最大值的原色的距离为最近的像素和/或像素集合，并从获取到的像素和/或像素集合提取图像特征量。
[0192]
(4)判定工序
[0193]
在实施例11中用于判定的特征量为760个，为小于阈值的图像的a值的最大值的角度间之比、阈值以上图像的r值的第1四分位的角度间之比、阈值以上图像的a值的每个角度的最小值、整体图像的h(色相)值的最大值的角度间之比的组合(特征量组合no.2-11)。
[0194]
＜比较例1＞
[0195]
(1)拍摄工序
[0196]
在比较例1中，反射图像是利用电子显微镜拍摄作为被判定对象的涂膜f而得到的图像。利用电子显微镜获取到的反射图像的实际视野尺寸不足0.01cm2。
[0197]
＜比较例2＞
[0198]
与实施例2相比仅记载不同的部分。
[0199]
另外，在比较例2中使用的学习完成模型m由卷积人工神经网络(cnn)构成(机器学习模型no.1-2)。由卷积人工神经网络构成的比较例2的学习完成模型m包括从反射图像提取图像特征量的卷积层、池化层。
[0200]
[表1]
[0201][0202]
[表2]
[0203][0204]
表1及表2中示出实施例1～实施例11和比较例1～比较例2的详细内容与判定结果。
[0205]
若将实施例1与实施例2～实施例11进行比较，实施例2～实施例11的正确概率高。示出了拍摄多个不同的逆定向反射角的涂膜f的反射面而生成反射图像能够以更高的精度判定涂膜所包含的光辉性颜料。
[0206]
若将实施例2与实施例3进行比较，实施例3的正确概率高。另外，若将实施例4与实施例5进行比较，实施例5的正确概率高。示出了进行阈值处理能够以更高的精度判定涂膜所包含的光辉性颜料。
[0207]
若将实施例2与实施例4进行比较，实施例4的正确概率高。示出了进行图像变换处理易设定最佳的图像特征量，而能够以更高的精度判定涂膜所包含的光辉性颜料。
[0208]
若将实施例10与实施例5～实施例9进行比较，实施例10的正确概率高。示出了进行聚类处理能够以更高的精度判定涂膜所包含的光辉性颜料。
[0209]
若将实施例11与实施例5～实施例9进行比较，实施例11的正确概率高。示出了进行高亮度图像提取处理能够以更高的精度判定涂膜所包含的光辉性颜料。
[0210]
在比较例1中，利用电子显微镜获取到的反射图像的实际视野尺寸小于0.01cm2，无法在提取工序中提取用于判定的足够的图像特征量。
[0211]
若将比较例2与实施例1～实施例11进行比较，实施例1～实施例11的正确概率高。在比较例2中，图像特征量的提取通过卷积人工神经网络的卷积层、池化层而实施。考察为卷积人工神经网络擅长图像的边缘检测，而不擅长提取观测为点的光辉性颜料的图像特征量。
[0212]
接下来，针对与第三实施方式相关联的实施例12～实施例13进行说明。
[0213]
＜实施例12＞
[0214]
(1)拍摄工序
[0215]
与实施例1同样地，作为光辉材料颜料判定的被判定对象的涂膜f，从已有的调色设计出的汽车面涂层涂色的对照涂覆板，选择实色涂色及金属涂色。
[0216]
所使用的图像输入部1c的拍摄视野为30mm
×
5mm，实际视野尺寸为0.01cm2以上。图像输入部1c拍摄逆定向反射角约15度、45度的涂膜f的反射面。图像输入部1c将拍摄到的反射图像保存为灰度图像。
[0217]
(2)图像变换工序
[0218]
在实施例12中，实施图像变换工序，将灰度图像变换为l图像。另外，还实施针对灰度图像的fft(快速傅里叶变换)。
[0219]
(3)提取工序
[0220]
在实施例12中，实施基于阈值处理的存在范围e的选择，从光辉性颜料的存在范围e提取图像特征量。另外，在实施例12中，在提取工序中实施高亮度图像提取处理。获取距作为色相角为270度色度最大值的原色的距离为最近的像素和/或像素集合，从获取到的像素和/或像素集合提取图像特征量。此外，在实施例12中，未实施分光反射率的测定和从分光反射率提取分光反射特征量。
[0221]
(4)判定工序
[0222]
在实施例12中用于判定的特征量为248个，为由以下所示的(a)和(b)构成的特征量的组合(特征量组合no.2-12)。
[0223]
(a)针对以15度与45度拍摄到的反射图像的整体图像、仅提取明亮部分而得到的图像以及仅提取黑暗部分而得到的图像的l值的平均值、标准偏差、偏度、峰度、最大值、第95百分位、第90百分位、第75百分位、第50百分位、第25百分位、第10百分位、第5百分位、最小值、最大值与最小值之差、第95百分位与第5百分位之差以及根据以15度拍摄到的反射图像与以45度拍摄到的反射图像计算出的上述特征量之差与比
[0224]
(b)针对以15度与45度拍摄到的反射图像的整体图像、仅提取明亮部分而得到的图像以及仅提取黑暗部分而得到的图像的l值进行傅里叶变换而将获取到的功率谱的波长1～100像素、100～400像素、400～1000像素、1000～4000像素的范围求和而得到的值
[0225]
另外，在实施例12中使用的学习完成模型m由使用梯度提升的决策树(gradient boosting decision tree)构成(机器学习模型no.1-3)。
[0226]
＜实施例13＞
[0227]
与实施例12相比仅记载不同的部分。
[0228]
(5)测定工序
[0229]
在实施例13中，图像输入部1c测定与拍摄到反射面的拍摄角度对应的测色角度下的分光反射率。
[0230]
(3)提取工序
[0231]
在实施例13中，实施基于阈值处理的存在范围e的选择，从光辉性颜料的存在范围e提取图像特征量。另外，在实施例13中，在提取工序中实施高亮度图像提取处理。获取距作为色相角为270度色度最大值的原色的距离为最近的像素和/或像素集合，从获取到的像素和/或像素集合提取图像特征量。进一步，在实施例13中，从测定出的分光反射率提取分光反射特征量。提取出的分光反射特征量中包含与光谱的反射率相关的特征量。
[0232]
在实施例13中用于判定的特征量为403个，为由实施例12中所示的(a)、(b)及以下所示的(c)构成的特征量的组合(特征量组合no.2-13)。
[0233]
(c)相对于45度入射光，正反射光为0度的来自正反射的角度为15度、25度、45度、75度、110度的400～700nm的分光反射率。
[0234]
[表3]
[0235][0236]
表3中示出实施例12～实施例13的详细内容和判定结果。
[0237]
若将比较例2与实施例12进行比较，实施例12的正确概率高。示出了通过对灰度图像实施阈值处理、高亮度图像提取处理，而与对rgb图像的图像特征量的提取使用卷积人工神经网络的比较例2相比，能够以更高的精度判定涂膜所包含的光辉性颜料。
[0238]
若将实施例1～实施例2与实施例12进行比较，虽然使用灰度图像，但是实施例12的正确概率高。示出了即使在使用灰度图像的情况下，通过实施阈值处理、高亮度图像提取处理，也能够以较高的精度判定涂膜所包含的光辉性颜料。
[0239]
若将实施例12与实施例13进行比较，实施例13的正确概率高。示出了即使在使用灰度图像的情况下，通过在提取工序中使用与光谱的反射率相关联的分光反射特征量，也能够以更高的精度判定涂膜所包含的光辉性颜料。
[0240]
工业应用性
[0241]
本发明能够应用于评价被涂装的涂膜等的装置。
[0242]
附图标记说明
[0243]
100、100b、100c 光辉性颜料判定装置
[0244]
1、1b、1c 图像输入部
[0245]
11 光源
[0246]
12 图像传感器
[0247]
2 计算机
[0248]
51 区分部
[0249]
52 提取部
[0250]
53 判定部
[0251]
3 输出部。