分析装置及分析方法与流程

1.本发明涉及分析装置及分析方法。


背景技术：

2.专利文献1公开了具有如下单元的图像检查装置，该单元生成用于供神经网络学习的疑似不合格品图像。该图像检查装置提取合格品图像与不合格品图像的差分数据，并将对位置、大小进行转换得到的差分数据合成于合格品图像，由此制作多个图案的疑似不合格品图像。图像检查装置使神经网络将所生成的疑似不合格品图像作为不合格品的学习数据进行学习。图像检查装置基于神经网络来判定作为图像的被摄体的合格与否。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2005-156334号公报


技术实现要素：

6.发明所要解决的课题
7.然而，由专利文献1所记载的图像检查装置所生成的疑似不良图像有时包含可判断为良品的图像。专利文献1所记载的图像检查装置将疑似不良图像全部作为不合格品进行学习，因此图像检查装置的判定结果有可能与设想不同。另外，在专利文献1所记载的图像检查装置中，无法进行如下验证：即，差分数据所表示的不良状况为何种程度时应判断为合格品。
8.本发明的目的在于提供一种能够使判定装置的精度可视化的分析装置及分析方法。
9.用于解决课题的手段
10.本发明一个方面的分析装置使完成学习的判定装置的精度可视化，该完成学习的判定装置利用以物品为被摄体的图像输出表示所述物品为合格品的合格品标签和表示所述物品为不合格品的不合格品标签中的任意一方，其中，所述分析装置具有：取得部，其取得以所述合格品为被摄体的合格品图像和以所述不合格品为被摄体的不合格品图像的图像对；提取部，其基于所述图像对来提取所述不合格品的不良部位的图像区域；生成部，其使所述不良部位的图像区域的特征量变化，生成多个疑似不良部位的图像区域；合成部，其将所述多个疑似不良部位的图像区域分别与所述合格品图像合成，生成所述疑似不良部位的所述特征量不同的多个合成图像；图像输出部，其向所述判定装置输出所述多个合成图像；结果取得部，其从所述判定装置取得分别与所述多个合成图像对应的标签；以及显示控制部，其按照基于所述特征量的排列使表示分别与所述多个合成图像对应的所述标签的对象显示出来。
11.发明效果
12.根据本发明，能够使判定装置的精度可视化。
附图说明
13.图1是表示实施方式所涉及的分析装置和判定装置的功能的一个例子的框图。
14.图2的(a)为示出提取部的提取不良部位的图像区域的工序的一例的图。图2的(b)是表示生成部的生成疑似不良部位的图像区域的工序的一例的图。图2的(c)是表示合成部的生成合成图像的工序的一例的图。
15.图3是按照基于特征量的排列显示表示与多个合成图像分别对应的标签的对象的一例。
16.图4是按照基于特征量的排列显示表示与多个合成图像分别对应的标签的对象的另一例。
17.图5是表示图1所示的装置的硬件结构的一例的框图。
18.图6是分析方法的流程图。
19.图7是表示实施方式所涉及的分析装置以及判定装置的功能的其他例子的框图。
具体实施方式
20.以下，参照附图对本发明的实施方式进行说明。此外，在以下的说明中，对相同或相当的要素标注相同的符号，不重复进行重复的说明。
21.[分析装置的功能结构]
[0022]
图1是表示实施方式所涉及的分析装置10以及判定装置20的功能的一个例子的框图。图1所示的分析装置10是使判定装置20的精度可视化的装置。判定装置20预先进行学习，以便使用以物品为被摄体的图像来判定该物品的品质。学习完毕的判定装置20输出合格品标签和不合格品标签中的任意一方。标签是指识别预先设定的类别的信息。合格品标签表示物品为合格品，不合格品标签表示物品为不合格品。合格品是满足外观质量标准的物品，不合格品是不满足外观质量标准的物品。
[0023]
判定装置20具有发挥判定功能的模型m2。在判定装置20中，向模型m2输入对象图像d2，从模型m2输出标签l2。对象图像d2是将物品作为被摄体而成为判定装置20的判定对象的图像。标签l2是合格品标签和不合格品标签中的任意一方。所输出的标签l2可以被赋予给对象图像d2。赋予是指建立关联。例如，赋予既可以是将对象图像d2与标签l2的关联性记录在表格等中，也可以是以包含标签l2的方式变更对象图像d2的属性信息，还可以是在对象图像d2自身中嵌入标签l2。
[0024]
模型m2包括神经网络和参数。神经网络具有结合有多个神经元的结构。神经网络也可以是将多个神经元被分组得到的层连接而成的层级型的多层神经网络。神经网络由神经元的个数以及结合关系来定义。神经元间或层间的结合强度使用参数(权重系数等)来定义。在神经网络中，输入数据，基于多个神经元的运算结果以及参数，将数据的特征作为解而输出。模型m2使用教师图像等来学习参数，以便能够获得作为目的的能力。学习是指将参数调整为最佳值。模型m2也可以是在判定装置20的外部进行学习而得到的模型的复制。以下，以对模型m2输入以电子部件为被摄体的对象图像d2，并由模型m2输出与电子部件的品质相关的标签l2的情况为一例进行说明。在该情况下，外观品质基准根据电子部件的缺损、变色以及损伤的程度等来规定。
[0025]
分析装置10使学习完毕的判定装置20对合格品以及不合格品进行判定的精度可
视化。首先，分析装置10以使与不良部位相关的图像的预先决定的特征量的大小各自不同的方式，生成以电子部件为被摄体的多个图像。接着，分析装置10将所生成的多个图像输出到判定装置20，取得与多个图像分别对应的标签。然后，分析装置10使表示所取得的标签的对象按照基于特征量的排列显示于显示装置等。由此，注解者(作业者)能够确认不良部位的特征量的大小与标签的关联性。为了实现这样的功能，分析装置10具备取得部11、提取部12、生成部13、合成部14、图像输出部15、结果取得部16以及显示控制部17。
[0026]
取得部11取得图像对dp。图像对dp是将电子部件作为被摄体的2张图像。构成图像对dp的图像的被摄体是与输入到判定装置20的对象图像d2相同的物品。图像对dp的2张图像优选使用以同一视角拍摄到的图像。图像对dp由作为被摄体的电子部件为合格品的合格品图像和作为被摄体的电子部件为不合格品的不合格品图像构成。图像对dp可以从包含预先获取的合格品图像和不合格品图像的图像组中选择。可以对图像对dp赋予标签(tag)，也可以不赋予标签。
[0027]
提取单元12基于图像对dp提取不合格品图像中包含的不合格品的不良部位的图像区域。不良部位是电子部件有缺损的部位、变色的部位以及有损伤的部位等。不良部位是合格品图像和不合格品图像之间的不同部分。提取单元12基于合格品图像的数据与不合格品图像的数据之间的差分来提取不良部位的图像区域。
[0028]
图2的(a)是表示提取部12的提取不良部位的图像区域的工序的一例的图。在图2的(a)中，示出了合格品图像g1和包含不合格品部位的不合格品图像g2的图像对dp。在不合格品图像g2的电子零件中存在电子零件发生缺损的部位(不良部位的一例)。如图2的(a)所示，提取部12基于合格品图像g1与不合格品图像g2的每个像素位置的像素值的差分，提取不良部位的图像区域r。被提取部12作为对象的不良部位并不限定于电子部件的缺损。由于是基于合格品图像g1与不合格品图像g2之间的差分来提取不良部位，因此提取单元12可以在不考虑不良部位的类型(缺损、变色和损伤)的情况下提取不良部位。此外，不合格品图像g2也可以不是对实际存在不良部位的电子部件进行拍摄而得到的图像。例如，也可以将注解者操作pc的画图工具而在合格品图像g1上通过手动作业标记了不良部位的图像用于不合格品图像g2。通过使提取部12提取被注解者标记的不良部位，能够取得如下效果：将注解者自身的想法反映到不良部位。
[0029]
生成部13使不良部位的图像区域r的特征量变化而生成多个疑似不良部位的图像区域。疑似不良部位是模拟的不良部位，是通过基于图像区域r进行运算而生成的。不良部位的图像区域r的特征量取决于不良部位的种类。例如，电子部件的缺损及损伤的特征量为横向宽度、纵向长度、位置及面积等。电子部件的变色的特征量为横向宽度、纵向长度、位置、色相、彩度及亮度等。在此，位置是包含xy坐标空间中的xy方向(平行移动)以及θ方向(旋转方向)的概念。以下，以将电子零件的缺损的面积(宽度及长度)作为特征量而生成疑似不良部位的图像区域的情况为一例进行说明。
[0030]
图2的(b)是表示生成部13的生成疑似不良部位的图像区域的工序的一例的图。如图2的(b)所示，生成部13对作为不良部位的图像区域r而提取出的电子部件的缺损的图像进行放大或缩小。由此，生成多个疑似不良部位的图像区域p1～p4。生成部13通过变更放大率或缩小率，生成电子部件的缺损的面积不同的多个疑似不良部位的图像区域p1～p4。在图2的(b)所示的例子中，生成了4个图像区域p1～p4，但图像区域的个数并不限定于4个。
[0031]
合成部14将多个疑似不良部位的图像区域p1～p4分别与合格品图像g1合成，生成特征量不同的多个合成图像。合成部14在一个合格品图像g1中合成一个疑似不良部位的图像区域，生成一个图像数据。合成通过变更与疑似不良部位的图像区域对应的合格品图像g1的像素的像素值来进行。图2的(c)是表示合成部14的生成合成图像的工序的一例的图。合成部14对疑似不良部位的图像区域p2和合格品图像g1进行合成，生成合成图像d1。合成部14通过针对多个疑似不良部位的图像区域p1～p4的每一个进行合成，得到以具有各种面积的缺失的方式合成的多个合成图像。
[0032]
生成部13以及合成部14也可以通过与上述的方法不同的方法来生成合成图像。例如，生成部13能够使用不良部位的图像区域r来生成多个掩模。生成部13通过分别使用多个掩模从不合格品图像g2提取不良部位，能够生成多个疑似不良部位的图像区域p1～p4。在该情况下，多个疑似不良部位的图像区域p1～p4分别成为比不良部位的图像区域r窄的面积。合成部14能够将从不合格品图像g2提取出的多个疑似不良部位的图像区域p1～p4分别与合格品图像g1合成。
[0033]
图像输出部15将多个合成图像输出到判定装置20。判定装置20向模型m2输入合成图像，并输出标签l1。标签l1与标签l2同样，是模型m2基于合成图像所具有的缺口的面积而判定出的、表示合格品和不合格品中的任意一方的信息。判定装置20输出与多个合成图像分别对应的标签l1。
[0034]
结果取得部16从判定装置20取得与多个合成图像分别对应的标签l1。由此，针对每个合成图像，将该合成图像中的疑似不良部位的图像区域的特征量和与该合成图像对应的标签l1关联起来。
[0035]
显示控制部17使表示与多个合成图像分别对应的标签l1的对象按照基于特征量的排列显示于显示装置。对象是图形、图标、符号等。另外，显示控制部17也可以不变更多个合成图像的表现，而将原本的多个合成图像和对象显示于显示装置。并且，显示控制部17也可以不变更多个合成图像的表现，而将以期望的比例放大或缩小后的多个合成图像和对象显示于显示装置。显示装置是显示器等。
[0036]
图3是按照基于特征量的排列来显示表示与多个合成图像分别对应的标签的对象的一例。横轴是特征量，表示以规定的大小拍摄的电子部件的图像中的疑似不良部位的面积。疑似不良部位的面积以像素数(pixel)来表现。对象按照每个图像对，基于特征量的大小直线排列。在此，按照从对1到对8图示出表示与根据8种图像对dp生成的多个合成图像对应的标签的对象。在标签l1为合格品标签的情况下，对象被显示为白圈的对象。在标签l1为不合格品标签的情况下，对象被显示为黑圈的对象。例如，在对1的排列中，对与从左数第四个为止的对象对应的合成图像d1赋予合格品标签。对与从左数第五个以后的对象对应的合成图像d1赋予不合格品标签。在与图3的左侧显示的对象对应的合成图像d1中，电子部件的缺损的面积较小，接近合格品图像。在与图3的右侧显示的对象对应的合成图像d1中，缺口的面积大，接近不合格品图像。
[0037]
在图3中，关于疑似不良部位的面积这样的特征量，使对判定装置20的标签l1进行判定的阈值可视化。例如，可知对1的阈值存在于面积为100pixel的附近。由于针对每个对而对判断装置20的标签l1进行判断的阈值被可视化，因此还能够对对彼此的阈值进行比较。例如，对8的阈值位于大约600pixel到700pixel之间。与其他对1至对7的阈值相比，对8
的阈值突出地大。这样，在与其他阈值相比而突出的阈值的对被可视化的情况下，注解者显示与对8的阈值的前后的对象对应的合成图像d1，能够视觉确认阈值是否正确。
[0038]
图4是按照基于特征量的排列来显示表示与多个合成图像分别对应的标签的对象的另一例。横轴是第一特征量，表示以规定的大小拍摄的电子部件的图像中的疑似不良部位的面积。纵轴是第二特征量，表示以规定的大小拍摄的电子部件的图像中的疑似不良部位的宽度。疑似不良部位的面积及宽度以像素数(pixel)来表现。对象按照每个图像对，排列在以第一特征量和第二特征量为坐标轴的平面上。在图4的例子中，按照对11至对16的排列图示出了表示与根据6种图像对dp生成的合成图像d1对应的标签的对象。与图3同样地，在标签l1为合格品标签的情况下，对象被显示为空白的对象。在标签l1为不合格品标签的情况下，对象被显示为涂黑的对象。
[0039]
在图4中，关于疑似不良部位的面积以及宽度这2个特征量，使对判定装置20的标签l1进行判定的阈值可视化。在图4中，通过用线连接各对的阈值，使划分合格品和不合格品的区域被2维地可视化。例如，如果仅着眼于面积，则对15的阈值比其他阈值小。但是，通过利用二维区域使阈值可视化，针对15的阈值而着眼于宽度，则可以看出它不是突出的值。在观察到从划分合格品和不合格品的2维区域突出的阈值的情况下，注解者使与突出的阈值的前后的对象对应的合成图像d1显示出来，能够视觉辨认阈值是否正确。
[0040]
[分析装置的硬件结构]
[0041]
图5是表示图1所示的装置的硬件结构的框图。如图5所示，分析装置10构成为包括cpu(central processing unit：中央处理单元)101、ram(random access memory：随机存取存储器)102、rom103(read only memory：只读存储器)、图形控制器104、辅助存储装置105、外部连接接口106(以下接口记为“i/f”)、网络i/f107和总线108的、通常的计算机系统。
[0042]
cpu101由运算电路构成，统一控制分析装置10。cpu101将存储在rom103或辅助存储装置105中的程序读出到ram102。cpu101执行读出到ram102中的程序的各种处理。rom103存储在分析装置10的控制中使用的系统程序等。图形控制器104生成显示控制部17要显示的画面。辅助存储装置105具有作为存储装置的功能。辅助存储装置105存储执行各种处理的应用程序等。作为一个例子，辅助存储装置105由hdd(hard disk drive：硬盘驱动器)、ssd(solid state drive：固态硬盘)等构成。外部连接i/f106是用于将各种设备与分析装置10连接的接口。作为一个例子，外部连接i/f106连接判定装置20、显示器、键盘、鼠标等。网络i/f107基于cpu101的控制，经由网络与判定装置20等进行通信。上述的各结构部经由总线108以能够通信的方式连接。
[0043]
分析装置10可以具有上述以外的硬件。作为一例，分析装置10也可以具备gpu(graphics processing unit：图形处理单元)、fpga(field programmable gate array：现场可编程门阵列)、dsp(digital signal processor：数字信号处理器)等。分析装置10作为硬件不一定要收纳于1个壳体，也可以分为几个装置。
[0044]
图1所示的分析装置10的功能通过图5所示的硬件来实现。取得部11、提取部12、生成部13、合成部14、图像输出部15、结果取得部16以及显示控制部17通过由cpu101执行保存在ram102、rom103或辅助存储装置105中的程序，对存储在ram102、rom103或辅助存储装置105中的数据、或者经由外部连接i/f106或网络i/f取得的数据进行处理来实现。例如，与外
部连接i/f106连接的显示器显示显示控制部17要显示的画面。图1所示的判定装置20也由图5所示的硬件的一部分或全部构成。
[0045]
[分析装置的动作]
[0046]
图6是分析方法的流程图。分析装置10的分析方法包含取得处理(步骤s10)、提取处理(步骤s20)、生成处理(步骤s30)、合成处理(步骤s40)、图像输出处理(步骤s50)、结果取得处理(步骤s60)以及显示控制处理(步骤s70)。图6所示的流程图例如基于注解者的开始指示而开始。
[0047]
首先，作为取得处理(步骤s10)，分析装置10的取得部11取得由合格品图像g1和不合格品图像g2构成的图像对dp。
[0048]
作为提取处理(步骤s20)，分析装置10的提取部12提取不合格品图像g2所包含的不合格品的不良部位的图像区域r。例如，提取单元12基于合格品图像g1的数据与不合格品图像g2的数据之间的差分来提取不良部位的图像区域r。
[0049]
作为生成处理(步骤s30)，分析装置10的生成部13使不良部位的图像区域r的特征量变化而生成多个疑似不良部位的图像区域。作为一个例子，生成部13对作为不良部位的图像区域r而提取出的电子部件的不良部位的图像区域进行放大或缩小，从而生成疑似不良部位的图像区域。
[0050]
作为合成处理(步骤s40)，分析装置10的合成部14对疑似不良部位的图像区域和合格品图像g1进行合成，生成特征量不同的多个合成图像d1。作为一例，合成部14生成具有放大缩小后的各种面积的疑似不良部位的多个合成图像。
[0051]
作为图像输出处理(步骤s50)，分析装置10的图像输出部15将多个合成图像输出到判定装置20。
[0052]
作为结果取得处理(步骤s60)，分析装置10的结果取得部16从判定装置20取得与多个合成图像d1分别对应的标签l1。由此，针对每个合成图像，将该合成图像中的疑似不良部位的图像区域的特征量和与该合成图像对应的标签l1关联起来。
[0053]
最后，作为显示控制处理(步骤s70)，分析装置10的显示控制部17使表示与多个合成图像d1分别对应的标签l1的对象按照基于特征量的排列显示。作为一个例子，显示控制部17按照基于合成图像d1的特征量、即疑似不良部位的面积的排列来显示表示合格品标签和不合格品标签中的至少一方的对象。当显示控制处理(步骤s70)结束时，图6所示的流程图结束。
[0054]
[变形例]
[0055]
图7是表示实施方式所涉及的分析装置10以及判定装置20的功能的一个例子的框图。分析装置10也可以具备标识部18以及学习部19。
[0056]
标识部18根据用户操作对合成图像d1赋予对应的标识。用户是指分析装置10的使用者，包括注解者等。标识与标签l1、标签l2同样地，是表示合成图像是合格品或者合成图像是不合格品中的任一方的信息。标识部18具有受理用户的操作的功能。操作是指经由鼠标、键盘以及显示器等用户接口的、信息的输入输出。操作经由外部连接i/f106来实现。具体而言，用户操作是指用户赋予标识的指示，通过选择或输入来实现。标识部18赋予与合成图像d1相关联的标识。或者，将与合成图像d1相关联的合格品标识变更为不合格品标识，或者将不合格品标识变更为合格品标识。标识部18也可以基于变更阈值的用户操作，统一赋
予多个标识。在不经由判定装置20而新生成教师图像的情况下，标识部18可以基于用户操作向合成图像d1新赋予标识。
[0057]
以下，以赋予与图3的对8的对象相关联的合成图像d1的标识的情况为一例进行说明。在对8的排列中，对与从右边开始计数的最初的对象相关联的合成图像d1赋予了不合格品标签。对与从右边开始计数的第二个以后的对象相关联的合成图像d1赋予了合格品标签。对8的阈值位于大约600像素到700像素之间。在注解者确认了与从右边开始计数的第五个对象相关联的合成图像d1而判定其为不合格品的情况下，注解者对合成图像d1赋予不合格品标识。当对与从对8的右边开始计数的第五个对象对应的合成图像d1赋予了不合格品标识时，对与从对8的右边开始计数的第二个～第四个对象对应的合成图像d1也赋予不合格品标识。
[0058]
学习部19基于被标识部18赋予了标识的合成图像d1使判定装置20学习。作为一例，学习部19通过使成为模型m2的主(原始)的模型m1进行学习，来使判定装置20进行学习。
[0059]
模型m1具有包括与模型m2相同的神经网络和参数的结构。学习部19将被标识部18赋予了标识的合成图像d1作为教师图像来使模型m1学习。教师图像是指，对被摄体关联了正确的标识的、作为由判定装置20来判定的对象的数据。教师图像是由注解者赋予了正确的标识的合成图像d1。
[0060]
以下，将被赋予了与图3的对8的对象相关联的标签并且与对8对应的合成图像d1成为教师图像的情况作为一例进行说明。判定装置20的模型m2对与从对8的右边开始计数的第五个对象相关联的合成图像d1输出合格品标签。注解者对合成图像d1赋予不合格品标识。学习部19将被注解者赋予了不合格品标识的合成图像d1作为教师图像来使模型m1学习。模型m1学习与从对8的右边开始计数的第五个对象相关联的合成图像d1被判定为不合格品的情况。判定装置20的模型m2反映作为主模型的模型m1的学习结果。
[0061]
分析装置10也可以基于模型m1的学习效果来选定作为教师图像的合成图像d1。模型m1的学习的效果是指通过学习部19提高的、模型m1输出正确的标签l1的精度。模型m1的学习的效果基于规定的评价值来决定。
[0062]
规定的评价值基于构成图像对dp的合格品图像g1的全体特征量、构成图像对dp的不合格品图像g2的全体特征量、以及根据图像对dp生成的合成图像d1的全体特征量来计算。全体特征量可以是向模型m1或模型m2输入图像后的、输出层的一个层之前的层中的计算结果。在此，例示了对合成图像d1赋予合格品标签的情况。在这种情况下，通过考虑合格品标签的合成图像d1的全体特征量与合格品图像g1的全体特征量相似的程度(第一评价值)、和合格品标签的合成图像d1的全体特征量与不合格品图像g2的全体特征量不相似的程度(第二评价值)来决定规定的评价值。相似的程度可以通过能够供全体特征量进行描点的n维的特征空间中的两者的距离来评价。例如，合格品标签的合成图像d1的全体特征量与合格品图像g1的全体特征量之间的距离越短，则越增大第一评价值。例如，合格品标签的合成图像d1的全体特征量与不合格品图像g2的全体特征量之间的距离越大，则越增大第二评价值。规定的评价值能够通过第一评价值与第二评价值的组合(例如比)来决定。与合格品标签的例子同样，对于与被赋予了不合格品标签的合成图像d1对应的规定的评价值而言，也可以计算出第一评价值和第二评价值，并构成第一评价值和第二评价值的组合。
[0063]
以下，说明如下例子，即，通过组合的方式从包含取得部11预先取得的合格品图像
及不合格品图像的图像组中选择图像对dp的情况。学习部19将由标识部18赋予了标识的合成图像d1作为教师图像来使模型m1学习。学习部19将合成图像d1和作为合成图像d1的原始数据的图像对dp向模型m1输入来运算规定的评价值。如果基于规定的评价值判定为模型m1的学习是充分的，则学习部19结束学习。模型m1的学习是否为充分的判定例如通过规定的评价值与预先规定的阈值的大小关系来判定。如果没有判断出模型m1的学习是充分的，则学习部19基于根据其他组合的图像对dp生成的合成图像d1来使模型m1学习。学习部19使模型m1进行学习，直到基于规定的评价值判断为模型m1的学习是充分的为止。
[0064]
[实施方式总结]
[0065]
根据分析装置10，取得部11取得以合格品为被摄体的合格品图像g1和以不合格品为被摄体的不合格品图像g2的图像对dp。提取部12提取基于图像对dp的、不合格品的不良部位的图像区域r。在生成部13中生成使不良部位的图像区域r的特征量变化而得到的多个疑似不良部位的图像区域p1～p4。将多个疑似不良部位的图像区域p1～p4分别与合格品图像g1合成，在合成部14中生成特征量不同的多个合成图像。多个合成图像通过图像输出部15输出到判定装置20。由结果取得部16取得从判定装置20输出的与多个合成图像分别对应的标签l1。与多个合成图像分别对应的、表示标签l1的对象按照基于特征量的排列通过显示控制部17而被显示。这样，分析装置10能够使判定装置20的精度可视化。
[0066]
标识部18根据用户操作赋予与合成图像d1对应的标识。在该情况下，分析装置10能够基于用户操作生成准确的教师图像。
[0067]
学习部19基于被标识部18赋予了标识的合成图像d1使判定装置20学习。在该情况下，分析装置10能够基于用户操作，使判定装置20再次学习反映了用户的意向的教师图像。
[0068]
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述实施方式。在上述实施方式中，对分析装置10与判定装置20在物理上或逻辑上分离的结构进行了说明，但分析装置10与判定装置20也可以合并，在物理上或逻辑上一体化。即，分析装置10也可以是包括判定装置20的结构。模型m2不限于包含神经网络和参数的情况，也可以是通过支持向量机学习得到的模型。此外，模型m2也可以是基于当前的规则的判定器。并且，模型m2不限于神经网络和支持向量机，只要是决策树等对输入做出判定的模型即可，不限于上述。
[0069]
标号说明
[0070]
10
…
分析装置、11
…
取得部、12
…
提取部、13
…
生成部、14
…
合成部、15
…
图像输出部、16
…
取得部、17
…
显示控制部、18
…
标识部、19
…
学习部、20
…
判定装置。