图像处理装置、自动分析系统以及图像处理方法与流程

1.本发明涉及在具备免疫分析装置等的自动分析系统中判定收纳试样、试剂、反应溶液等采集对象的容器的状态或采集对象的状态的技术。


背景技术：

2.在具备免疫分析装置等的自动分析系统中，为了分析血液以及尿等试样的成分等，测定从使试样与试剂反应的反应溶液产生的显色、发光的状态。用于分析的试样、试剂、反应溶液等收纳于试管等容器中，通过分注探头等采集部从容器进行采集。在收纳作为采集部的采集对象的试样、试剂、反应溶液等的容器中，存在内径、长度不同的多个种类，期望在多个容器混合存在的状况下自动地判别容器的种类。
3.在专利文献1中公开了如下内容：通过将从开口部方向和侧面方向这两个方向分别拍摄容器而得到的图形与存储于存储器的标准图形进行比较，来判别容器的种类。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2004
‑
151025号公报


技术实现要素：

7.发明所要解决的课题
8.然而，在专利文献1中，为了判别容器的种类，需要从开口部方向和侧面方向这两个方向分别拍摄容器的多个照相机，从而花费硬件成本。另外，在专利文献1中，停留在判别容器的种类，没有考虑容器的倾斜、采集对象的量这样的容器或采集对象的状态的判定。
9.因此，本发明的目的在于提供一种能够根据由一个照相机取得的图像来判定容器或采集对象的状态的图像处理装置、自动分析系统以及图像处理方法。
10.用于解决课题的手段
11.为了达成上述目的，本发明提供一种图像处理装置，其具备：图像取得部，其取得上方图像，所述上方图像是从上方拍摄收纳采集对象的容器而得到的图像，所述采集对象包括试样、试剂、反应溶液；区域计算部，其根据所述上方图像计算所述容器的边缘区域或所述采集对象的上表面区域；以及状态判定部，其基于所述边缘区域或所述上表面区域来判定所述容器或所述采集对象的状态。
12.另外，本发明是具备所述图像处理装置的自动分析系统，该自动分析系统具备：采集部，其从所述容器采集采集对象；以及控制部，其基于所述状态判定部的判定结果来控制所述采集部。
13.另外，本发明是一种图像处理方法，该方法具备如下步骤：图像取得步骤，取得上方图像，该上方图像是从上方拍摄收纳采集对象的容器而得到的图像，所述采集对象包括试样、试剂、反应溶液；区域计算步骤，根据所述上方图像计算所述容器的边缘区域或所述采集对象的上表面区域；以及状态判定步骤，基于所述边缘区域或所述上表面区域来判定
所述容器或所述采集对象的状态。
14.另外，本发明是将图像分割为多个区域的图像处理方法，该方法具备如下步骤：在卷积处理以及池化处理中所使用的内核(kernel)的要素间插入预定数量的零来制作扩张内核；以及使用所述扩张内核来执行卷积处理以及池化处理。
15.发明效果
16.根据本发明，能够提供一种可根据由一个照相机取得的图像来判定容器或采集对象的状态的图像处理装置、自动分析系统以及图像处理方法。
附图说明
17.图1是表示自动分析系统的硬件结构的一例的图。
18.图2是实施例1的功能框图的一例。
19.图3是表示实施例1的处理流程的一例的图。
20.图4是表示区域分割处理结果的一例的图。
21.图5是说明计算容器的边缘区域的图。
22.图6a是表示用于判定容器的种类的表的一例的图。
23.图6b是表示用于根据容器的种类求出容器的长度等的表的一例的图。
24.图7是表示卷积(convolution)处理的概念的图。
25.图8是表示池化(pooling)处理的概念的图。
26.图9是表示基于fcn(fully convolutional networks，全卷积网络)的区域分割处理的一例的图。
27.图10是表示基于fcn的高分辨率区域分割处理的一例的图。
28.图11是表示卷积处理和扩张卷积(dilated convolution)处理中的内核的一例的图。
29.图12是表示池化处理和扩张池化(dilated pooling)处理中的内核的一例的图。
30.图13是表示扩张处理的概念的图。
31.图14是表示使用了扩张内核的区域分割步骤的一例的图。
32.图15是说明使用了扩张内核的区域分割的图。
33.图16是表示实施例2的处理流程的一例的图。
34.图17是对采集对象的上表面区域的计算进行说明的图。
35.图18a是表示非远心的上方图像的一例的图。
36.图18b是表示远心的上方图像的一例的图。
37.图18c是表示远心的斜方图像的一例的图。
38.图19是表示用于求出从容器的边缘到采集对象的上表面的距离的表的一例的图。
39.图20是表示实施例3的处理流程的一例的图。
40.图21a是说明基于非远心的上方图像的倾斜判定的图。
41.图21b是说明基于远心的上方图像的倾斜判定的图。
42.图22a是说明基于非远心的上方图像的倾斜角度的计算的图。
43.图22b是说明基于远心的上方图像的倾斜角度的计算的图。
44.图23是实施例4的功能框图的一例。
45.图24是表示实施例4的处理流程的一例的图。
46.图25是表示显示赋予训练信号的图像的列表的画面的一例的图。
47.图26是表示用于指定赋予训练信号的区域的操作画面的一例的图。
48.图27是表示用于赋予训练信号的操作画面的一例的图。
具体实施方式
49.以下，根据附图对本发明的图像处理装置、自动分析系统以及图像处理方法的优选实施例进行说明。另外，在以下的说明和附图中，对于具有相同功能和结构的构成要素赋予相同的附图标记，而省略重复说明。
50.实施例1
51.使用图1对本实施例的自动分析系统100的硬件结构的一例进行说明。自动分析系统100具备图像处理装置101、拍摄部111、控制部121、采集部122、分析部123。图像处理装置101是所谓的计算机，具体而言，具备输入部102、运算部103、存储器104、输出部105，与拍摄部111、控制部121连接。另外，图像处理装置101也可以设置在自动分析系统100以外的系统中。以下，对各部分进行说明。
52.拍摄部111是对容器112和收纳于容器112的采集对象113进行拍摄的装置，例如是照相机。容器112是试管等，在圆筒形状或锥形形状的一端具有底面，在另一端具有开口部。另外，容器112具有内径、长度不同的多个种类。采集对象113是血液及尿等试样、与试样反应的试剂、使试样与试剂反应的反应溶液等，是液体或粉末。拍摄部111为一个，设置在容器112的开口部侧、即容器112的上方，从容器112的上方拍摄容器112和采集对象113。将通过拍摄部111从容器112的上方拍摄到的图像称为上方图像。在拍摄部111上安装有远心或非远心的透镜。
53.输入部102是从拍摄部111或记录有上方图像的记录装置接收上方图像的数据、或接收操作者操作键盘或鼠标等而生成的操作信号的接口。上方图像可以是bmp、png、jpeg等静态图像，也可以是从mpeg、h.264等动态图像中以一定的间隔提取出的帧图像。
54.运算部103是执行图像处理装置101内的各种处理的装置，例如是cpu(central processing unit：中央处理单元)、fpga(field
‑
programmable gate array：现场可编程门阵列)等。对于由运算部103执行的功能，使用图2在后面叙述。
55.存储器104是保存运算部103执行的程序、参数、系数、处理结果等的装置，是hdd、ram、rom、闪存等。
56.输出部105是将运算部103的处理结果发送到外部的接口，例如对显示器、打印机等显示装置、记录处理结果的记录装置、控制其他装置的控制装置输出处理结果。在图1中，例示了向作为控制其他装置的控制装置的一例的控制部121输出处理结果的情况。
57.控制部121是基于从输出部105输出的处理结果来控制采集部122的动作的装置，具体而言是cpu(central processing unit：中央处理单元)等。
58.采集部122是通过控制部121从容器112对采集对象113进行采集的装置，例如是分注探头等。
59.分析部123是使用采集对象113进行分析的装置，例如是免疫分析装置等。将分析部123的分析结果显示于显示器等。
60.使用图2对本实施例的功能框图的一例进行说明。此外，这些功能可以由专用的硬件构成，也可以由在运算部103上运行的软件构成。本实施例具备图像取得部201、区域计算部202和状态判定部203。以下，对各部分进行说明。
61.图像取得部201取得由拍摄部111拍摄的上方图像212。上方图像212包括容器112的边缘213与内壁214、采集对象113的上表面215、混合物216、固定部217。混合物216是存在于采集对象113的内部、上表面的气泡、脂质等。固定部217是固定容器112的支架等。关于上方图像212所包含的各部分，还要参照侧视图211。
62.区域计算部202根据由图像取得部201取得的上方图像212，计算出各部的任一区域，例如容器112的边缘213的区域或采集对象113的上表面215的区域。为了计算区域，执行使用了图像的亮度值的阈值处理、使用了fcn(fully convolutional networks，全卷积网络)的区域分割处理等。
63.状态判定部203基于由区域计算部202计算出的任一区域，判定容器112、采集对象113的状态，例如容器112的种类、容器112的倾斜、采集对象113的量。
64.使用图3，对本实施例的处理流程的一例进行说明。在本实施例中，基于根据上方图像212计算出的容器112的边缘213的区域，判定容器112的种类。
65.(s301)
66.图像取得部201经由输入部102取得上方图像212。所取得的上方图像212可以是由拍摄部111拍摄的图像，也可以是记录在未图示的记录装置等中的图像。
67.(s302)
68.区域计算部202根据在s301中取得的上方图像212计算容器112的边缘213的区域。为了计算边缘213的区域，执行使用了上方图像212的亮度值的阈值处理、使用了fcn的区域分割处理等任意一个处理。对于使用了fcn的区域分割处理，使用图7～图15在后面叙述。
69.使用图4说明对上方图像212进行区域分割处理而得的区域分割像401的一例。区域分割像401由边缘区域402、内壁区域403、上表面区域404、背景区域405构成。边缘区域402是容器112的边缘213的区域。内壁区域403是容器112的内壁214的区域，是容器112的边缘213与采集对象113之间的区域。上表面区域404是采集对象113的上表面215的区域，混合物216也包含于上表面区域404。背景区域405是比边缘区域402靠外侧的整个区域，固定部217也包含在背景区域405中。
70.(s303)
71.状态判定部203基于在s302中的计算出的边缘区域402，判定容器112的种类。使用图5和图6对本步骤进行说明。
72.状态判定部203基于s302中的计算结果，制作边缘的二值化图像501。在边缘的二值化图像501中包含边缘区域402和边缘区域402以外的其他区域503。对边缘区域402赋予例如亮度值0，对其他区域503赋予亮度值255。
73.状态判定部203对边缘的二值化图像501应用索贝尔滤波器等来提取边缘区域402的边界，制作边缘的边界像502。容器112的边缘213为圆环形状，因此在边缘的边界像502中包含作为容器112的内壁侧的边界的内侧边界505和作为外壁侧的边界的外侧边界506。
74.状态判定部203对内侧边界505和外侧边界506进行椭圆拟合，计算出内侧边界505和外侧边界506的长径，将内侧边界505的长径设为容器112的内径，根据两者的长径使用下
式求出容器112的厚度。
75.[数式1]
[0076]
d＝(lo
‑
lc)/2
[0077]
其中，d是容器112的厚度，lo是外侧边界506的长径，lc是内侧边界505的长径。
[0078]
另外，使用长径而不使用短径的原因是为了降低容器112的倾斜的影响。即，随着容器112从直立状态倾斜，内侧边界505和外侧边界506的短径变短，与此相对，长径难以发生变化。椭圆拟合可以使用内侧边界505或外侧边界506的所有点，也可以使用从内侧边界505或外侧边界506任意提取的至少3个提取点508。在提取点508中，例如通过从对边缘区域402的各坐标进行算术平均而求出的重心507沿上下左右方向进行扫描，从而提取出到达内侧边界505或外侧边界506的点。
[0079]
状态判定部203通过将根据内侧边界505和外侧边界506的长径求出的容器112的内径和厚度与图6a所例示的表格进行对照，来判定容器112的种类。例如，在求出的容器112的内径为60像素、厚度为10像素的情况下，判定容器的种类为α。此外，所求出的内径和厚度相当于表中的哪个项目，也可以根据所求出的值与各项目的数值的差值的绝对值来判定。例如在求出的内径为98像素、厚度为6像素的情况下，从表中选择内径100像素和厚度6像素，判定容器112的种类为δ。
[0080]
此外，图6a所例示的表格是通过测量多个种类的容器112的内径、厚度而预先制作的，并保管于存储器104等。另外，表格中的空栏表示未知容器，在本步骤中求出的内径和厚度相当于空栏的情况下，判定上方图像212所包含的容器112是未知容器。
[0081]
(s304)
[0082]
输出部105输出在s303中判定出的容器112的种类。判定的结果例如被发送至控制部121，控制部121基于判定的结果来控制采集部122。例如，在判定容器112是未知容器的情况下，控制部121也可以使采集部122停止。在容器112为未知容器时，通过使采集部122停止，能够避免采集部122与容器112的碰撞。
[0083]
另外，控制部121也可以根据容器112的种类来调整采集部122的高度。例如，也可以基于通过将作为判定结果的容器112的种类与图6b所例示的表格进行对照而取得的容器112的长度，来调整采集部122的高度。此外，图6b所例示的表格是通过测量多个种类的容器112的内径、厚度、长度、有无锥形而预先制作的，并保管于存储器104等，根据需要进行参照。
[0084]
另外，输出部105可以将判定的结果向显示器、打印机输出，将容器112的种类提示给操作者，也可以在是未知容器的情况下显示催促容器112的变更的消息。而且，输出部105也可以向其他图像处理装置输出容器112的种类，并且也可以输出进行了与容器112的种类对应的校正处理的图像。与容器112的种类对应的校正处理例如是根据容器112的内径对图像尺寸进行标准化的处理，或者是根据容器112的种类来校正对比度的处理。
[0085]
通过以上说明的处理流程，图像处理装置101能够根据由一个拍摄部111取得的上方图像212来判定作为容器112的状态之一的容器112的种类。另外，自动分析系统100能够根据图像处理装置101的判定结果适当地控制采集部122，因此能够不降低检查效率地进行更准确的分析。
[0086]
在此，对使用了fcn的区域分割处理进行说明。fcn是dnn(deep neural network：
深度神经网络)之一，是通过由cnn(convolutional neural network：卷积神经网络)构成所有层而将图像按区域分割的区域分割处理。cnn由卷积(convolution)处理、池化(pooling)处理、激活(activation)处理这3个处理构成。卷积处理是根据输入数据制作特征量的映射的处理，池化处理是根据输入数据提取代表值的处理，激活处理是对输入数据应用非线性函数的处理。
[0087]
使用图7对卷积处理的动作的一例进行说明。如图7所示，在卷积处理中，一边使取得多个像素的亮度值的位置从输入数据ic的左上向右下滑动，一边进行对所取得的多个像素的亮度值乘以系数wc的乘法运算和相加系数bc的加法运算，由此算出输出数据oc。
[0088]
在数式2中示出了卷积处理的计算式的一例。
[0089]
[数式2]
[0090][0091]
其中，输入数据ic是具有通道ch、垂直方向位置y、水平方向位置x这3个维度的数据，输出数据oc是具有特征量编号d、垂直方向位置y、水平方向位置x这3个维度的数据。另外，乘法系数wc是具有特征量编号d、通道ch、垂直方向位置fy、水平方向位置fx这4个维度的系数，也被称为内核，加法系数bc是具有特征量编号d的维度的系数。另外，内核的大小由内核高度fy和内核宽度fx表示，内核每1次滑动的量由垂直方向步幅(stride amount)sy和水平方向步幅sx表示。
[0092]
另外，乘法系数wc和加法系数bc是将各区域被正确分割的图像即训练图像作为输入数据，通过使用随机梯度下降法等的机器学习而预先求出的，作为区域分割处理的系数而存储于存储器104。即，使用正确地表示多个上方图像212的各像素属于边缘区域402、内壁区域403、上表面区域404、背景区域405中的哪一个的训练信号来进行机器学习。
[0093]
使用图8对池化处理的动作的一例进行说明。如图8所示，在池化处理中，一边使从输入数据ip的左上向右下取得多个像素的亮度值的位置以一定的步长滑动，一边从所取得的多个像素的亮度值中提取出代表值，由此计算出输出数据op。代表值例如使用多个像素的亮度值的最大值、平均值，在本实施例中提取出的代表值是最大值。
[0094]
数式3表示池化处理的计算式的一例。
[0095]
[数式3]
[0096]
op(ch，y，x)＝max(ip(ch，y*sy+fy，x*sx+fx)
[0097]
where fy∈[0，fy]，fx∈[0，fx]
[0098]
其中，输入数据ip和输出数据op是具有通道ch、垂直方向位置y、水平方向位置x这3个维度的数据。另外，在池化处理中，也与卷积处理同样地，对所取得的多个像素的亮度值乘以被称为内核的系数，内核的大小由fy和fx表示，内核的步幅由sy和sx表示。另外，在池化处理中，设为sy＝fy、sx＝fx的情况较多，内核的全部要素为1。此外，将在池化处理中所使用的内核称为p内核，在卷积处理中所使用的内核称为c内核。
[0099]
激活处理是对卷积处理的输出数据oc、池化处理的输出数据op应用数式4、数式5的非线性函数，例如是识别某个像素是否为边缘区域402的处理。
[0100]
[数式4]
[0101][0102]
[数式5]
[0103]
relu(a)＝max(0，a)
[0104]
cnn将上述的卷积处理、池化处理、激活处理组合，得到特征量、识别结果。fcn是仅由cnn构成的区域分割器，能够输入任意尺寸的图像。
[0105]
图9表示基于fcn的区域分割处理的一例。输入图像901是被输入到fcn的图像，宽度和高度均为8像素。第1内核902表示各层中最初的处理对象区域。阴影部分表示处理对象位置。第2内核903表示各层中第2处理对象区域。第1内核902与第2内核903的偏差量由步幅sy、sx决定。
[0106]
第1层输出数据904是对输入图像901应用了卷积处理的结果，第2层输出数据905是对第1层输出数据904应用了池化处理的结果。另外，第3层输出数据906是将卷积处理应用于第2层输出数据905而得的结果，第4层输出数据907是将池化处理应用于第3层输出数据906而得的结果。并且，区域分割结果908表示第4层输出数据907对应于输入图像中的哪个位置的识别结果。此外，卷积处理和池化处理的内核大小fy、fx以及步幅sy、sx如图9所示。
[0107]
如图9所示，每当执行步幅为2以上的处理时，各层的输出数据的尺寸根据步幅而缩小。作为最终输出的第4层输出数据907缩小到2
×
2像素，应用于输入图像901上的只是区域分割结果908的黑方块所示的4处。即，仅得到了区域分割结果908的黑方格的识别结果，白方格部分是未获得识别结果的状态，成为低分辨率的区域分割处理。
[0108]
使用图10对高分辨率的区域分割处理进行说明。在图10中，将取得位置不同的图像输入到fcn，取得针对各图像的区域分割结果。即，输入第1输入图像1001、第2输入图像1002、第3输入图像1003、第4输入图像1004、
…
，取得第1区域分割结果1005、第2区域分割结果1006、第3区域分割结果1007、第4区域分割结果1008、
…
。另外，第1输入图像1001是与图9的输入图像901相同的图像，第2输入图像1002是将输入图像901向右滑动1像素后的图像，第3输入图像1003是将输入图像901向右滑动2像素后的图像，第4输入图像1004是将输入图像901向下滑动1像素后的图像。因像素的滑动，不存在像素的部分被亮度值0或相邻像素的亮度值填充。通过对所取得的多个区域分割结果进行整合，得到整合区域分割结果1009。通过图10的区域分割处理，虽然能够取得高分辨率的区域分割结果，但区域分割处理的次数增加，例如在图10的例子中为16次，因此处理时间也增加。
[0109]
因此，在本实施例中，通过扩张(dilated)处理变更fcn的卷积处理和池化处理中所使用的内核，通过1次区域分割处理取得高分辨率的区域分割结果。扩张处理是指在内核的要素间插入预定数量的零来扩大内核的处理，将扩张处理后的内核称为扩张内核或d内核。此外，使用d内核的卷积处理和池化处理被称为“扩张卷积(dilated convolution)处理”和“扩张池化(dilated pooling)处理”。
[0110]
使用图11来说明扩张卷积处理中的d内核的一例。c内核1101是用于卷积处理的内核的一例，由a至i这9个元素构成。dc内核1102是用于扩张卷积处理的内核的一例，在c内核1101的要素间分别插入1个零而构成。此外，将对所插入的零的数量加上1而得到的值称为
扩张量dy、dx，图11的dc内核1102为dy、dx＝2、2。
[0111]
在数式6中示出了扩张卷积处理的计算式的一例。
[0112]
[数式6]
[0113][0114]
在数式6中，若dy、dx＝1、1，则成为数式2。
[0115]
使用图12来说明扩张池化处理中的d内核的一例。p内核1201是用于池化处理的内核的一例，9个全部要素由1构成。dp内核1202是用于扩张池化处理的内核的一例，在p内核1201的要素间分别插入1个零而构成。关于扩张量dy、dx，与扩张卷积处理相同，图12的dp内核1202也是dy、dx＝2、2。
[0116]
在数式7中示出了扩张池化处理的计算式的一例。
[0117]
[数式7]
[0118]
0p(ch，y，x)＝max(ic(ch，y*sy+fy*dy，x*sx+fx*dx)
[0119]
where fy∈[o，fy]，fx∈[o，fx]
[0120]
在数式7中，若dy、dx＝1、1，则成为数式3。
[0121]
使用图13对扩张卷积处理和扩张池化处理进行说明。第1内核1301和第2内核1302是用于卷积处理或池化处理的内核。另外，第1d内核1303和第2d内核1304是用于扩张卷积处理或扩张池化处理的内核。内核大小fy、fx均为3，步幅sy、sx均为2。
[0122]
卷积处理或池化处理相当于将扩张量dy、dx均设为1的情况下的扩张卷积处理或扩张池化处理。此外，第1d内核1303和第2d内核1304的扩张量dy和dx均为2。
[0123]
另外，在各内核的处理范围内，有时包含输入数据外的区域。例如在第2内核1302的情况下，第1行相当于输入数据外的区域。在本实施例中，输入数据之外的区域被填充亮度值0。另外，将使用了扩张卷积处理和扩张池化处理的fcn称为dfcn(dilated fcn，扩张fcn)。
[0124]
使用图14说明将fcn模型变换为dfcn模型的处理流程的一例。在图14的处理流程中，输入fcn模型，输出计算垂直方向ky、水平方向kx像素单位的区域分割结果的dfcn模型。ky、kx越接近1则分辨率越高，越成为大的值则分辨率越降低，但处理速度变成高速。其中，ky、kx是fcn模型内的所有层的步幅的积psy、psx的约数的1个。另外，fcn模型由卷积层、池化层、激活层中的任一个构成。卷积层、池化层、激活层分别进行卷积处理、池化处理、激活处理。
[0125]
在s1401中，对变量l进行初始化。变量l表示成为处理对象的层的索引。
[0126]
在s1402中，判定层的类型。如果层的类型是卷积层或者池化层，则转移到s1403，如果是激活层，则转移到s1406。
[0127]
在s1403中，变换层的类型。如果第l层为卷积层，则变换为扩张卷积层，如果为池化层，则变换为扩张池化层。另外，变换后的扩张卷积层或扩张池化层的内核的尺寸、内核的种类数、内核的系数、池化尺寸等参数与变换前的卷积层或池化层的设定值相同。
[0128]
在s1404中，确定第l层的扩张量。对垂直方向的扩张量dy的决定顺序的一例进行说明。另外，关于水平方向的扩张量dx，也通过将下标从y替换为x来同样地决定。首先，计算
所输入的fcn模型的从第0层到第l
‑
1层的垂直方向的步幅sy的积psy。接着，求出步幅sy的积psy与区域分割结果的垂直方向的步长ky的最大公约数gcy。将步幅sy的积psy和最大公约数gcy代入到下式中，决定第l层的垂直方向的扩张量dy。
[0129]
[数式8]
[0130]
dy＝psy/gcy
[0131]
并且，通过下式更新步长ky。
[0132]
[数式9]
[0133]
ky＝ky/gcy
[0134]
在s1405中，确定第l层的步幅。对垂直方向的步幅sy的决定步骤的一例进行说明。另外，关于水平方向的步幅sx，也通过将下标从y替换为x来同样地决定。将1404中计算出的最大公约数gcy代入到下式中，决定第l层的垂直方向的步幅sy。
[0135]
[数式10]
[0136]
sy＝gcy
[0137]
在s1406中，变量l递增。即，将处理对象切换为下一层。
[0138]
在s1407中，判定是否完成了对所有层的变换处理。例如，如果变量l为构成fcn模型的层数以上，则判定为完成，否则判定为未完成。如果完成，则处理流程结束，如果未完成，则转移到s1402。
[0139]
通过以上的处理流程，能够将fcn模型变换为能够高速地得到高分辨率的区域分割结果的dfcn模型。
[0140]
图15表示基于dfcn的区域分割处理的一例。输入图像1501是输入到dfcn的图像，宽度和高度均为8像素。第1内核1502表示各层中最初的处理对象区域。阴影部分表示处理对象位置。第2内核1503表示各层中第2处理对象区域。
[0141]
第1层输出数据1504是对输入图像1501应用了扩张卷积处理的结果，第2层输出数据1505是对第1层输出数据1504应用了扩张池化处理的结果。另外，第3层输出数据1506是对第2层输出数据1505应用了扩张卷积处理的结果，第4层输出数据1507是对第3层输出数据1506应用了扩张池化处理的结果。由于通过各层的处理不会发生分辨率的降低，因此第4层输出数据1507成为具有与输入图像1501相同的分辨率的区域分割结果。
[0142]
为了通过fcn得到高分辨率的区域分割结果，如图10所示，需要对取得位置不同的每个图像进行区域分割处理，由于一部分处理重复，所以处理时间增加。在基于dfcn的区域分割处理中，在高分辨率的fcn中一次完成重复的处理，因此能够高速地得到高分辨率的区域分割结果。
[0143]
另外，在图14中说明了将fcn模型变换为dfcn模型的情况，但也可以从最初起构建dfcn模型。另外，也可以从将一定尺寸的输入图像作为识别对象的基于dnn的图像识别器变换为fcn，进而变换为dfcn。用于区域分割的机器学习可以通过基于dnn的图像识别器、fcn、dfcn中的任意模型来进行。
[0144]
实施例2
[0145]
在实施例1中，说明了基于根据上方图像212计算出的容器112的边缘区域402来判定容器112的种类的情况。由图像处理装置101输出的判定结果不限于容器112的种类。在本实施例中，对基于根据上方图像212算出的容器112的边缘区域402和采集对象113的上表面
区域404来判定采集对象113的量的情况进行说明。此外，本实施例的硬件结构和功能框图与实施例1相同，因此省略说明。
[0146]
使用图16，对本实施例的处理流程的一例进行说明。此外，s301～s303是与实施例1相同的处理，因此省略说明，对s303以后的s1604～s1606进行说明。
[0147]
(s1604)
[0148]
区域计算部202根据在s301中取得的上方图像212来计算采集对象113的上表面区域404。在上表面区域404的计算中，与s302同样地，执行使用了上方图像212的亮度值的阈值处理、使用了fcn或dfcn的区域分割处理等。
[0149]
(s1605)
[0150]
状态判定部203基于在s302中计算出的边缘区域402和在s1604中计算出的上表面区域404，判定采集对象113的量。使用图17和图18对本步骤进行说明。首先，使用图17对上表面区域404进行说明。
[0151]
状态判定部203基于s1604中的计算结果，制作采集对象113的上表面的二值化图像1701。在上表面的二值化图像1701中包含上表面区域404和上表面区域404以外的其他区域1704。上表面区域404例如被赋予亮度值0，其他区域1704被赋予亮度值255。
[0152]
状态判定部203对上表面的二值化图像1701应用索贝尔滤波器等来提取上表面区域404的边界，制作上表面的边界图像1702。上表面的边界图像1702包括上表面边界1705。状态判定部203对从上表面边界1705任意提取的至少3个提取点1706进行椭圆拟合，计算出上表面区域404的长径和短径。另外，即使容器112倾斜，上表面区域404的短径与长径相比也难以发生变化，因此在以后的处理中使用短径。
[0153]
使用图18对采集对象113的量的判定进行说明。此外，分别对拍摄部111的透镜为非远心的情况和远心的情况进行说明。在透镜是非远心的情况下，随着从拍摄部111到被拍摄物的距离变长，被拍摄物的大小变小，与此相对，在透镜是远心的情况下，无论从拍摄部111到被拍摄物的距离如何，被拍摄物的大小都相同。
[0154]
使用图18a对非远心的情况进行说明。图18a表示采集对象113为大量时和少量时的侧视图或上方图像，即大量时的侧视图1801和大量时的上方图像1802、少量时的侧视图1804和少量时的上方图像1805。从大量时的上方图像1802与少量时的上方图像1805的比较可知，大量时的上表面1803的面积比少量时的上表面1806的面积大。因此，状态判定部203基于上表面区域404的短径来判定采集对象113的量。
[0155]
具体而言，首先，将上表面区域404的短径与图19所例示的表格进行对照，求出从容器112的边缘213至采集对象113的上表面215为止的距离h。另外，图19的表格是通过测量在多个种类的容器112中收纳有不同量的采集对象113时的上表面区域404的短径或距离h而预先制作的，并保管在存储器104等中。接着，将基于边缘区域402判定的容器112的种类与图6b的表进行对照，求出容器112的长度g和内径d。然后，将距离h、长度g、内径d代入到下式中，求出采集对象113的量q。
[0156]
[数式11]
[0157]
[0158]
另外，数式11是容器112的内径d与距离h无关而固定的情况下的式子。在容器112具有锥形形状等，容器112的内径d根据距离h而变化的情况下，将距离h与内径d的关系预先保管于存储器104等，并根据需要进行参照，由此使用数式11来求出采集对象113的量q。
[0159]
使用图18b对远心的情况进行说明。在图18b中也与图18a同样地示出了大量时的侧视图1801和大量时的上方图像1802、少量时的侧视图1804和少量时的上方图像1805。从大量时的上方图像1802与少量时的上方图像1805的比较可知，在远心的情况下，大量时的上表面1803与少量时的上表面1806的面积相等，无法基于上表面区域404的短径来判定采集对象113的量。
[0160]
因此，在远心的情况下，如图18c所示，基于使拍摄部111倾斜而拍摄的上方图像来判定采集对象113的量。即，从大量时的上方图像1802与少量时的上方图像1805的比较可知，在采集对象113为大量时，与少量时相比，从边缘到上表面的距离1807短，因此基于从边缘到上表面的距离1807来判定采集对象113的量。具体而言，在将从边缘至上表面的距离1807设为h'，将拍摄部111相对于铅垂方向的倾斜角度设为ψ时，通过下式求出从容器112的边缘213至采集对象113的上表面215的距离h，进而通过数式11求出采集对象113的量q。
[0161]
[数式12]
[0162][0163]
此外，在容器112具有锥形形状等的情况下，与非远心的情况同样地，根据需要参照预先保管于存储器104等的距离h与内径d的关系，使用数式11求出采集对象113的量q。
[0164]
(s1606)
[0165]
输出部105输出在s1605中判定的采集对象113的量。判定的结果例如被发送至控制部121，控制部121基于判定的结果来控制采集部122。例如，在判定为采集对象113的量未达到预定的量的情况下，控制部121也可使采集部122停止。另外，输出部105也可将判定的结果输出至显示器或打印机，将采集对象113的量提示给操作者，也可以在采集对象113的量未达到预定的量的情况下，显示表示此意旨的消息。
[0166]
通过以上说明的处理流程，图像处理装置101能够根据由一个拍摄部111取得的上方图像212来判定作为采集对象113的状态之一的采集对象113的量。另外，自动分析系统100能够根据图像处理装置101的判定结果适当地控制采集部122，因此能够不降低检查效率地进行更准确的分析。
[0167]
实施例3
[0168]
在实施例1中对判定容器112的种类的情况进行了说明，在实施例2中对判定采集对象113的量的情况进行了说明。在本实施例中，对基于根据上方图像212计算出的容器112的边缘区域402和采集对象113的上表面区域404来判定容器112的倾斜的情况进行说明。此外，本实施例的硬件结构和功能框图与实施例1相同，因此省略说明。
[0169]
使用图20，对本实施例的处理流程的一例进行说明。此外，s301～s302是与实施例1相同的处理，s1604是与实施例2相同的处理，因此省略说明，对s1604以后的s2005～s2006进行说明。
[0170]
(s2005)
[0171]
状态判定部203基于在s302中计算出的边缘区域402和在s1604中计算出的上表面区域404，判定容器112的倾斜。在容器112的倾斜的判定中，进行有无倾斜的判定、或者倾斜角度的判定。
[0172]
使用图21对容器112有无倾斜的判定进行说明。在本实施例中，也分别对拍摄部111的透镜为非远心的情况和远心的情况进行说明。
[0173]
使用图21a对非远心的情况进行说明。图21a表示容器112直立时和倾斜时的侧视图或上方图像，即直立时的侧视图2101和直立时的上方图像2102、倾斜时的侧视图2105和倾斜时的上方图像2106。在直立时的上方图像2102和倾斜时的上方图像2106中，基于在s302中计算出的边缘区域402和在s1604中计算出的上表面区域404，求出边缘区域402的中心2103和上表面区域404的中心2104。
[0174]
从直立时的上方图像2102与倾斜时的上方图像2106的比较可知，直立时边缘区域402的中心2103与上表面区域404的中心2104一致，相对于此，倾斜时中心2103与中心2104不一致，随着倾斜变大，中心2103与中心2104的距离变大。因此，状态判定部203基于边缘区域402的中心2103与上表面区域404的中心2104的距离，判定容器112有无倾斜。即，在边缘区域402的中心2103与上表面区域404的中心2104的距离为预先确定的阈值以上时，判定为容器112倾斜，在小于阈值时，判定为未倾斜。
[0175]
使用图21b对远心的情况进行说明。在图21b中也与图21a同样地示出了直立时的侧视图2101和直立时的上方图像2102、倾斜时的侧视图2105和倾斜时的上方图像2106。另外，与非远心的情况同样地，求出边缘区域402的中心2103和上表面区域404的中心2104，在远心的情况下也基于中心2103与中心2104的距离来判定容器112有无倾斜。也可以在容器112具有锥形形状的情况下进行基于中心2103与中心2104的距离的容器112有无倾斜的判定。
[0176]
另外，除了边缘区域402的中心2103与上表面区域404的中心2104的距离以外，也可以基于容器112的内壁区域403等来判定容器112有无倾斜。例如，与容器112直立时相比，在倾斜时内壁区域403的形状发生变化，因此也可以使用内壁区域403的宽度、面积来判定容器112有无倾斜。另外，不限于内壁区域403，容器112的外壁区域也可以用于容器112有无倾斜的判定。
[0177]
使用图22对容器112的倾斜角度的判定进行说明。在本实施例中，也分别对拍摄部111的透镜为非远心的情况和远心的情况进行说明。
[0178]
使用图22a对非远心的情况进行说明。图22a示出了容器112倾斜时的侧视图2201和倾斜时的上方图像2202。为了在倾斜时的侧视图2201中求出容器112的倾斜角度，只要能够算出容器112的边缘213的中心2203与采集对象113的上表面215的中心2204的水平方向的距离和铅垂方向的距离即可。即，根据中心2203与中心2204的水平方向的距离即中心间水平距离2205和铅垂方向的距离即中心间铅垂距离2206，通过下式，求出容器112相对于铅垂方向的倾斜角度θ。
[0179]
[数式13]
[0180]
[0181]
其中，sh是中心间水平距离2205，h是中心间铅垂距离2206。
[0182]
但是，由拍摄部111拍摄的图像是倾斜时的上方图像2202，因此为了使用数式13求出容器112的倾斜角度θ，需要从倾斜时的上方图像2202取得中心间水平距离2205和中心间铅垂距离2206。首先，中心间铅垂距离2206即从容器112的边缘213至采集对象113的上表面215为止的距离h如实施例2中所说明的那样，通过将上表面区域404的短径与图19所例示的表格进行对照而求出。
[0183]
接着，根据倾斜时的上方图像2202求出中心间水平距离2205。在非远心的情况下，随着从拍摄部111至被拍摄物为止的距离变长，被拍摄物的大小变小，因此优选将采集对象113的上表面215上的长度校正为容器112的边缘213上的长度来进行处理。具体而言，倾斜时的上方图像2202中的边缘区域402的中心2207与上表面区域404的中心2208的距离即区域中心间距离2209优选基于上表面区域404的短径与边缘区域402的内径的比率来校正。例如，通过下式计算出作为中心间水平距离2205的sh。
[0184]
[数式14]
[0185][0186]
其中，f1是从透镜中心2210到上表面区域404的中心2208的距离即第1中心间距离2212，f0是从透镜中心2210到边缘区域402的中心2207的距离即第2中心间距离2211。另外，b0是边缘区域402的内径2213，b1是上表面区域404的短径2214。根据数式14，在将采集对象113的上表面215上的长度即第2中心间距离2211校正为容器112的边缘213上的长度之后，运算与第1中心间距离2212的差值，将其绝对值计算为中心间水平距离2205即sh。即，对根据从拍摄部111到被拍摄物的距离而变化的被拍摄物的大小进行校正，计算出作为中心间水平距离2205的sh。
[0187]
通过将计算出的sh和之前求出的距离h代入到数式13，求出容器112的倾斜角度θ。
[0188]
使用图22b对远心的情况进行说明。图22b也与图22a同样地示出了容器112倾斜时的侧视图2201和倾斜时的上方图像2202。在远心的情况下，中心间水平距离2205作为倾斜时的上方图像2202中的边缘区域402的中心2207与上表面区域404的中心2208的距离即区域中心间距离2209而求出。另外，中心间铅垂距离2206与实施例2同样地求出，因此将中心间水平距离2205和中心间铅垂距离2206代入到数式13，求出容器112的倾斜角度θ。
[0189]
另外，也可以如图18c那样一边使拍摄部111倾斜一边进行拍摄，将容器112的内壁区域403不再包含于上方图像时的拍摄部111的倾斜角作为容器112的倾斜角度θ。
[0190]
(s2006)
[0191]
输出部105输出在s2005中判定的容器112的倾斜。判定的结果例如被发送至控制部121，控制部121基于判定的结果来控制采集部122。例如，在判定为容器112倾斜、或判定为容器112的倾斜角度超过预定的阈值的情况下，控制部121也可以使采集部122停止。或者，也可以根据容器112的倾斜角度来调整采集部122的位置、倾斜。
[0192]
另外，输出部105可以将判定的结果向显示器、打印机输出，将容器112有无倾斜、倾斜角度提示给操作者，也可以在倾斜的容器112的数量的比率超过预先决定的阈值的情况下显示促使注意的消息等。进一步，输出部105也可以向其他图像处理装置输出容器112
的倾斜角度，还可以同时输出进行了与容器112的倾斜角度相应的校正处理的图像。与容器112的倾斜角度对应的校正处理是指，例如通过根据容器112的倾斜角度进行图像的坐标变换，来校正由容器112的倾斜引起的图像的变形的处理等。
[0193]
根据以上说明的处理流程，图像处理装置101能够根据由一个拍摄部111取得的上方图像212来判定作为容器112的状态之一的容器112的倾斜。另外，自动分析系统100能够根据图像处理装置101的判定结果适当地控制采集部122，因此能够不降低检查效率地进行更准确的分析。
[0194]
实施例4
[0195]
在实施例1至实施例3中，对基于根据上方图像212算出的容器112的边缘区域402、采集对象113的上表面区域404来判定容器112、采集对象的状态的情况进行了说明。图像处理装置101为了使用fcn、dfcn等高精度地对上方图像212进行区域分割处理，需要用于机器学习的适当的训练信号。在本实施例中，对高效地生成机器学习用的训练信号的情况进行说明。此外，本实施例的硬件结构与实施例1相同，因此省略说明。
[0196]
使用图23对本实施例的功能框图的一例进行说明。此外，这些功能可以由专用的硬件构成，也可以由在运算部103上运行的软件构成。本实施例具备图像取得部201、区域计算部202，并且具备似然取得部2301、图像选择/显示部2302、训练信号取得部2303、学习部2304。以下，对实施例1中说明的图像取得部201、区域计算部202以外的各部进行说明。
[0197]
似然取得部2301取得由区域计算部202计算出的各区域中的各像素例如是边缘区域402、内壁区域403、上表面区域404等中的哪一个区域的似然。另外，将似然规范化为按每个像素总和为1.0，各像素中的最大似然被称为最大似然。最大似然大的像素是相应区域的确信度高，最大似然小的像素的确信度低。
[0198]
图像选择/显示部2302例如基于图像中的各像素的最大似然，选择在训练信号的赋予中所使用的图像，将选择出的图像显示于显示器等。
[0199]
训练信号取得部2303从作为包含训练信号的图像的训练图像取得训练信号。通过操作者的操作、由其他图像处理装置进行的区域分割处理被赋予训练信号。
[0200]
学习部2304使用训练图像中所包含的训练信号进行机器学习，计算或更新区域计算部202在区域分割处理中使用的系数等参数。
[0201]
使用图24，对本实施例的处理流程的一例进行说明。在本实施例中，选择并显示分割后的各区域的确信度比较低的图像，使用操作者对所显示的图像赋予的训练信号来进行机器学习。
[0202]
(s2401)
[0203]
图像选择/显示部2302基于图像中的各像素的似然，从记录于记录装置等的图像组中选择用于赋予训练信号的图像，并显示于显示器等。例如，选择各像素的最大似然的平均值小于预定的阈值的图像、即各区域的确信度比较低的图像。
[0204]
使用图25，对在本步骤中显示的画面的一例进行说明。图25所示的画面是按容器112的每个种类表示在本步骤中选择出的多个图像中的已赋予训练信号的图像的张数和未赋予训练信号的图像的张数的图像列表。当通过鼠标的光标等选择图像列表中的任意单元、例如显示容器β的未完成的100的单元时，也可以显示与该单元对应的图像即包含容器β的图像。
[0205]
操作者能够根据本画面按照容器112的每个种类确认被赋予了训练信号的图像和未被赋予训练信号的图像的各张数，能够判断对包含哪个种类的容器112的图像赋予训练信号较好，因此能够实现赋予训练信号的作业的高效化。另外，所显示的图像列表并不限定于按照容器112的每个种类分类的图像列表。
[0206]
(s2402)
[0207]
训练信号取得部2303基于操作者的操作来取得针对在s2401中显示的图像的训练信号。使用图26和图27，说明在本步骤中所使用的画面的一例。
[0208]
图26所示的画面是用于指定赋予训练信号的区域的操作画面的一例，具有图像显示部2601、图像选择部2602、修正工具2603、保存按钮2604、读入按钮2605。
[0209]
在图像显示部2601中显示与图像选择部2602中的选择对应的图像。在图像选择部2602中，选择在图像显示部2601中显示的图像的条件。在图26中，在图像选择部2602中选择了原图像和区域分割结果，将区域计算部202对原图像进行区域分割后的结果显示在图像显示部2601中。
[0210]
在修正工具2603中，选择想要修正训练信号的区域。例如在利用修正工具2603选择了液面、即采集对象113为液体时的上表面的状态下，若选择了显示于图像显示部2601的图像的任意的像素，则所选择的像素被赋予上表面区域404的训练信号。图像显示部2601所显示的图像中的像素的选择通过鼠标等来进行。
[0211]
保存按钮2604是在保存修正后的训练信号时被按下的按钮。即，当按下保存按钮2604时，训练信号取得部2303取得经由修正工具2603赋予的训练信号。另外，对于未通过修正工具2603修正的像素，取得原来的训练信号。
[0212]
读入按钮2605是在选择其他图像时被按下的按钮。通过按下读入按钮2605，例如可以更新显示于图像显示部2601的图像，也可以显示图25所例示的画面。
[0213]
图27所示的画面是用于赋予训练信号的操作画面的一例，具有上方图像显示部2701、容器种类显示部2702、训练信号输入部2703、保存按钮2604、读入按钮2605。保存按钮2604和读入按钮2605具有与图26的画面相同的功能，因此省略说明。
[0214]
在上方图像显示部2701显示由拍摄部111拍摄的图像即上方图像212。在图27中，显示在采集对象113的上表面215浮起有气泡、脂质等混合物216的状态。
[0215]
在容器种类显示部2702中，与内径、厚度一起显示根据区域计算部202计算出的区域判定出的容器112的种类。另外，也可以显示容器112的长度、印字内容、印字位置、边缘周边的螺杆的有无、底面的肋等。另外，操作者也可以修正显示于容器种类显示部2702的各种信息。
[0216]
在训练信号输入部2703中，输入对上方图像显示部2701所显示的图像的任意区域赋予的训练信号。例如，对于上方图像显示部2701所显示的图像中的气泡、脂质等，输入与上表面区域404对应的训练信号。此外，训练信号输入部2703并不限定于图27所例示那样的文本框，也可以是单选按钮、下拉菜单那样的提示选项的形式。
[0217]
图26、图27所示那样的画面的使用成为操作者赋予训练信号的作业辅助，因此能够实现赋予训练信号的作业的高效化。
[0218]
(s2403)
[0219]
判别是否收集到一定数量以上的新的训练图像。如果收集到一定数量以上的训练
图像，则处理进入s2404，如果未达到一定数量，则处理返回到s2401。
[0220]
(s2404)
[0221]
学习部2304通过使用了一定数量以上的训练图像的机器学习来更新系数。系数的更新例如使用随机梯度下降法等。系数的初始值可以使用保存在存储器104中的系数，也可以使用随机数。
[0222]
(s2405)
[0223]
学习部2304实施更新后的系数的评价。例如，为了评价系数而预先准备带正解信息的图像组，对这些图像组分别实施使用了在s2404中更新后的系数和更新前的系数的区域分割处理，根据正解率是否上升来评价更新后的系数。
[0224]
(s2406)
[0225]
判别是否覆盖存储器104内的系数。在是否被覆盖的判别中，也可以使用s2405的评价结果。如果系数被覆盖，则处理进入s2407，如果没有被覆盖，则处理的流程结束。
[0226]
(s2407)
[0227]
学习部2304覆盖存储器104内的系数，或者保存更新前后的系数。
[0228]
通过以上说明的处理流程，对区域分割结果的确信度比较低的图像高效地赋予适当的训练信号，因此图像处理装置101能够高效地进行适当的机器学习。另外，也能够对气泡、异物等赋予适当的训练信号。通过适当的机器学习能够提高区域分割处理的精度，因此图像处理装置101能够更准确地判定容器112、采集对象113的状态，自动分析系统100能够进行更准确的分析。
[0229]
以上，对本发明的多个实施例进行了说明。本发明并不限定于这些实施例，包含各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细地进行了说明，并不限定于具备所说明的全部结构。另外，能够将某实施例的结构的一部分置换为其他实施例的结构。并且，也可以在某实施例的结构中添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。
[0230]
附图标记说明
[0231]
100：自动分析系统，101：图像处理装置，102：输入部，103：运算部，104：存储器，105：输出部，106：总线，111：拍摄部，112：容器，113：采集对象，121：控制部，122：采集部，123：分析部，201：图像取得部，202：区域计算部，203：状态判定部，211：侧视图，212：上方图像，213：容器的边缘，214：容器的内壁，215：采集对象的上表面，216：混合物，217：固定部，401：区域分割像，402：边缘区域，403：内壁区域，404：上表面区域，405：背景区域，501：边缘的二值化像，502：边缘的边界像，503：其他区域，505：内侧边界，506：外侧边界，507：边缘区域的重心，508：提取点，901：输入图像，902：第1内核，903：第2内核，904：第1层输出数据，905：第2层输出数据，906：第3层输出数据，907：第4层输出数据，908：区域分割结果，1001：第1输入图像，1002：第2输入图像，1003：第3输入图像，1004：第4输入图像，1005：第1区域分割结果，1006：第2区域分割结果。1007：第3区域分割结果，1008：第4区域分割结果，1009：整合区域分割结果，1101：c内核，1102：dc内核，1201：p内核，1202：dp内核，1301：第1内核，1302：第2内核，1303：第1d内核，1304：第2d内核，1501：输入图像，1502：第1内核，1503：第2内核，1504：第1层输出数据，1505：第2层输出数据，1506：第3层输出数据，1507：第4层输出数据，1701：上表面的二值化图像，1702：上表面的边界图像，1704：其他区域，1705：上表面
边界，1706：提取点，1801：大量时的侧视图，1802：大量时的上方图像，1803：大量时的上表面，1804：少量时的侧视图，1805：少量时的上方图像，1806：少量时的上表面，1807：从边缘到上表面的距离，2101：直立时的侧视图，2102：直立时的上方图像，2103：边缘区域的中心，2104：上表面区域的中心，2105：倾斜时的侧视图，2106：倾斜时的上方图像，2201：倾斜时的侧视图，2202：倾斜时的上方图像，2203：边缘的中心，2204：上表面的中心，2205：中心间水平距离，2206：中心间垂直距离，2207：边缘区域的中心，2208：上表面区域的中心，2209：区域中心间距离，2210：透镜中心，2211：第2中心间距离，2212：第1中心间距离，2213：边缘区域的内径，2214：上表面区域的短径，2301：似然取得部，2302：图像选择/显示部，2303：训练信号取得部，2304：学习部，2601：图像显示部，2602：图像选择部，2603：修正工具，2604：保存按钮，2605：读入按钮，2701：上方图像显示部，2702：容器种类显示部，2703：训练信号输入部。