机械学习装置和线圈制造装置的制作方法

本发明涉及机械学习装置以及包含这样的机械学习装置的线圈制造装置。

背景技术：

如日本特开平8-191029号公报和日本特开平7-75298号公报中公开的，线圈制造装置能够均匀地自动卷绕线材而形成单位线圈(以下有时简称为“线圈”)。所形成的一个单位线圈50，如图5A所示，插入到定子60的一个齿部。并且，如图5B所示，多个单位线圈50被插入配置到定子60的多个齿部。

在单位线圈的制造时，操作者手动将微小的动作条件赋予给线圈制造装置，由此形成单位线圈。此外，图6A和图6B是单位线圈的部分截面放大图。如图6A所示，通过均匀卷绕线材，提高了单位线圈的填充系数，因此提高了具备这样的单位线圈的电动机的转矩。与此相对地，如图6B所示，在未均匀卷绕线圈的情况下，填充系数和转矩降低。

此外，线圈制造装置中包含的卷线机包括工件旋转式卷线机和喷嘴式卷线机。工件旋转式卷线机使绕线管或铁芯相对于喷嘴旋转。此外，喷嘴式卷线机使喷嘴相对于绕线管或铁芯移动。

然而，在现有技术的线圈制造装置中，操作者需要进行试错来手动赋予微小的动作条件，因此花费工夫和工时。

技术实现要素：

本发明是鉴于上述情况而做出的，其目的在于提供一种不需要手动赋予微小的动作条件地，能够最佳地卷绕线圈的机械学习装置、以及具备这样的机械学习装置的线圈制造装置。

为了实现上述目的，根据第一个发明，提供一种机械学习装置，其能够与卷线机通信，学习通过卷线机形成线圈的动作，该机械学习装置具备：状态观测部，其观测由通过所述卷线机形成的线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项与通过卷线机的程序指示的所述线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及所述程序的执行时间指令值中的至少一项构成的状态变量；以及学习部，其将通过所述状态观测部观测到的所述线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项，与通过所述状态观测部观测到的所述线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及所述程序的执行时间指令值中的至少一项关联起来进行学习。

根据第二个发明，在第一个发明中，所述学习部包括：回报计算部，其根据通过所述状态观测部观测到的所述线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项来计算回报；以及函数更新部，其根据该回报计算部计算出的回报，更新从当前的所述状态变量中决定所述线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及所述程序的执行时间指令值中的至少一项的函数。

根据第三个发明，在第一个或第二个发明中，具备：意图决定部，其根据所述学习部的学习结果，从当前的所述状态变量中决定所述线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及所述程序的执行时间指令值中的至少一项的最佳值。

根据第四个发明，在第一个至第三个中的任一个发明中，在线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值在各自的允许范围以内时，所述回报计算部增大回报；在所述允许范围以外时，所述回报计算部减小回报。

根据第五个发明，在第一个至第四个中的任一个发明中，所述学习部利用多层构造来运算通过所述状态观测部观测到的状态变量，实时地更新所述函数。

根据第六个发明，在第一个至第五个中的任一个发明中，使用通过另一个机械学习装置的函数更新部更新后的函数来更新所述函数更新部的所述函数。

根据第七个发明，提供一种具备第一个至第六个中的任一个发明中的机械学习装置的线圈制造装置。

根据附图所示的本发明的典型实施方式的详细说明，可进一步明确本发明的这些以及其他的目的、特征和优点。

附图说明

图1是基于本发明的线圈制造装置的功能框图。

图2是放大地表示机械学习器的图。

图3是表示机械学习器的动作的流程图。

图4是表示程序执行时间与线圈的尺寸等的关系的图。

图5A是表示将一个单元线圈插入到铁芯中的状态的图。

图5B是表示插入了多个单元线圈的铁芯的图。

图6A是单元线圈的第一个部分断面放大图。

图6B是单元线圈的第二个部分断面放大图。

图7是表示神经元的模型的示意图。

图8是表示3层的神经网络模型的示意图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的附图中，对相同的部件赋予相同的参照符号。为了易于理解，这些附图适当变更了比例尺。

图1是根据本发明的线圈制造装置的功能框图。如图1所示，线圈制造装置1主要包括：卷线机10、和控制卷线机10的控制装置20。

在图1的下方示出了卷线机10。卷线机10包括：吐出线材2的喷嘴5、和线材2被卷绕的绕线管6。喷嘴5与绕线管6相对地旋转，线材2被卷绕在绕线管6上，由此制作线圈。

控制装置20是数字计算机，包含程序21，其指示：线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值，该程序21还指示程序21的执行时间指令值。通过后述的机械学习器30来决定这些指令值。

此外，控制装置20包括：尺寸检测部22，其检测所制作出的线圈的尺寸。尺寸检测部22例如是刻度尺、摄像机等。此外，控制装置20还包括：电阻检测部23，其检测所制作出的线圈的电阻；线材使用量检测部24，其检测在制作线圈中使用的线材2的使用量。此外，控制装置20还包括：执行时间测量部25，其检测为执行程序21而实际上所需要的程序执行时间实际值。

如图1所示，控制装置20还包括机械学习装置30。该机械学习装置30也可以设置于控制装置20之外。该情况下，设控制装置20与卷线机10彼此可通信地连接。

当参照放大地表示机械学习装置的图2时，机械学习装置30包括：状态观测部31，其观测由通过卷线机10形成的线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项，与通过卷线机10的程序21指示的线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值中的至少一项而构成的状态变量。状态观测部31可以一并依次存储观测到上述状态变量的时间。

此外，机械学习装置30还包括：学习部35，其将通过状态观测部31观测到的线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项，与通过状态观测部31观测到的线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值中的至少一项关联起来进行学习。

这里，学习部35可以进行有教师学习、无教师学习、半有教师学习、强化学习、转换(Transduction)、多任务学习等各种机械学习。以下，设学习部35通过Q学习(Q-learning)进行强化学习而继续说明。

这里，参照图2可知，机械学习器30相当于强化学习中的智能体。此外，尺寸检测部22、电阻检测部23、线材使用量检测部24以及执行时间测量部25检测环境的状态。

进行强化学习的学习部35包括：回报计算部32，其根据通过状态观测部31观测到的线圈的尺寸实际值、电阻实际值、线材使用量以及程序执行时间实际值中的至少一项来计算回报；函数更新部33(人工智能)，其根据回报计算部32计算出的回报，更新从当前的状态变量中决定线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值中的至少一项的函数例如行为价值函数(行为价值表)。当然，函数更新部33也可以更新其他的函数。

此外，机械学习装置30还包括：意图决定部34，其根据学习部35的学习结果，从当前的状态变量中决定线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值中的至少一项的最佳值。意图决定部34学习更佳的行为的选择(意图决定)。此外，意图决定部34也可以不包含在机械学习装置30中，而包含在控制装置20中。

图3是表示机械学习器的动作的流程图。以下，一边参照图1～图3，一边说明机械学习装置30的动作。当每次通过卷线机10制作一个线圈时，执行图3所示的内容。

首先，在图3的步骤S11中，选择线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值。从各自的预定范围中随机地选择这些指令值。

或者，例如对于线圈的尺寸指令值，可以首先选择预定范围内的最小值，接着，在下一个周期时选择增加了微小量后的值。对于其他的指令值也同样。可以重复图3的处理，以便选择线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及程序21的执行时间指令值的全部组合。

接着，在步骤S12中，通过尺寸检测部22检测线圈的尺寸实际值，并与预定的尺寸范围进行比较。这里，图4是表示程序执行时间与线圈的尺寸等之间的关系的图。图4的横轴表示程序执行时间的实际值，图4的纵轴表示线圈的尺寸实际值、电阻实际值、线材使用量。此外，图4中，直线A表示线圈的尺寸实际值，直线B表示线圈的电阻实际值，直线C表示线圈的线材使用量。此外，图4中示出了线圈的尺寸、电阻、线材使用量以及程序执行时间各自的预定范围。此外，图4中示出的曲线R表示回报。

如图4中如直线A所示，程序执行时间越长，线圈的尺寸实际值变得越大。并且，优选线圈的尺寸实际值包含在预定尺寸范围内，由此，提高填充系数。预定的尺寸范围是根据线圈的尺寸指令值而确定的值。后述的预定的电阻范围等也同样地。此外，设后述的线材使用量范围根据匝数指令值而确定。

此外，如直线B和直线C所示，电阻实际值和线材使用量分别程序执行时间越长而变得越大。并且，优选电阻实际值和线材使用量包含在各自的预定的电阻范围和预定的线材使用量范围内。此外，优选程序21的执行时间实际值包含在预定的执行时间范围内。

此外，如图4中曲线R所示，当线圈的尺寸实际值包含在预定的尺寸范围内时、电阻实际值包含在预定的电阻范围内时、以及线材使用量实际值包含在预定的线材使用量范围内时，回报增加。但是，当程序21的执行时间实际值变得大于预定执行时间时，回报急剧下降。以下所述的回报的增减，设为例如根据图4的内容来决定其增减量。

当再次参照图3时，在步骤S12中尺寸实际值包含在预定的尺寸范围内的情况下，在步骤S13中回报增加。与此相对地，在尺寸实际值未包含在预定的尺寸范围内的情况下，在步骤S20a中回报减少或保持原样。此外，优选尺寸实际值小，可以不存在尺寸范围的下限值。也就是说，对于尺寸实际值的情况，该尺寸实际值越小则回报的增加量变得越大。或者可以设为，在接近尺寸范围的中间值的情况下回报的增加量大，偏离尺寸范围的中间值越远则回报的减少量变得越大。

接着，在步骤S14中，判定通过电阻检测部23检测出的线圈的电阻实际值是否包含在预定的电阻范围内。然后，在电阻实际值包含在预定的电阻范围内的情况下，在步骤S15中回报增加，在电阻实际值未包含在预定的电阻范围内的情况下，在步骤S20b中回报减少或保持原样。此外也可以设为，在接近电阻范围的中间值的情况下回报的增加量大，偏离电阻范围的中间值越远则回报的减少量变得越大。

接着，在步骤S16中，判定通过线材使用量检测部24检测出的线材使用量实际值是否包含在预定的线材使用量范围内。然后，在线材使用量实际值包含在预定的线材使用量范围内的情况下，在步骤S17中回报增加，在线材使用量实际值未包含在预定的线材使用量范围内的情况下，在步骤S20c中回报减少或保持原样。此外，优选线材使用量实际值大，可以不存在线材使用量范围的上限值。也就是说，对于线材使用量实际值的情况，该线材使用量实际值越大则回报的增加量变得越大。或者也可以设为，在接近线材使用量范围的中间值的情况下回报的增加量大，偏离线材使用量范围的中间值越远则回报的减少量变得越大。

接着，在步骤S18中，判定通过执行时间测量部25检测出的执行时间实际值是否包含在预定的执行时间范围内。然后，在执行时间实际值包含在预定的执行时间范围内的情况下，在步骤S19中回报增加，在执行时间实际值未包含在预定的执行时间范围内的情况下，在步骤S20d中回报减少或保持原样。此外，优选执行时间实际值短，可以不存在执行时间范围的下限值。也就是说，对于执行时间实际值的情况，该执行时间实际值越小则回报的增加量变得越大。或者也可以设为，在接近执行时间范围的中间值的情况下回报的增加量大，偏离执行时间范围的中间值越远则回报的减少量变得越大。

通过回报计算部32来计算这样的回报的增减。此外，针对回报的增减的量，也可以设定为该值根据步骤而不同。此外，也可以省略步骤S12、S14、S16、S18中的至少一个判定步骤以及所关联的回报的步骤。

之后，在步骤S21中，函数更新部33更新行为价值函数。这里，学习部35所实施的Q学习是，在某环境状态s下学习选择行为a的价值(行为的价值)Q(s、a)的方法。并且，在某状态s时，选择Q(s、a)最高的行为a。在Q学习中，通过试错，在某状态s下取各种行为a，并使用此时的回报来学习正确的Q(s、a)。行为价值函数Q(s、a)的更新式由下式(1)表示。

这里，s_t、a_t表示时刻t时的环境和行为。通过行为a_t，环境变化为s_t+1，并根据该环境的变化来计算回报r_t+1。另外，带有max的项是在环境s_t+1下对选择了(此时已知的)Q值最高的行为a时的Q值乘以γ后的项。这里，γ是0<γ≤1(通常是0.9～0.99)的折扣率，α是0<α≤1(通常是0.1左右)的学习系数。

该更新式表示，如果基于a的下一个环境状态下的最佳行为的评价值Q(s_t+1、max a_t+1)大于状态s下的行为a的评价值Q(s_t、a_t)，则增大Q(s_t、a_t)，相反如果小于，则减小Q(s_t、a_t)。也就是说，使某状态下的某行为的价值接近基于其的下一个状态下的最佳行为的价值。换言之，学习部35更新线圈的尺寸指令值、电阻指令值、匝数指令值、卷绕速度指令值、张力指令值以及上述程序的执行时间指令值的各自的最佳值。

这样，在步骤S21中，函数更新部33使用上述式(1)来更新行为价值函数。然后，返回到步骤S11，选择线圈的另一个尺寸指令值、另一个电阻指令值、另一个匝数指令值、另一个卷绕速度指令值、另一个张力指令值以及程序21的另一个执行时间指令值，同样地更新行为价值函数。另外，也可以代替行为价值函数而更新行为价值表。

在强化学习中，作为智能体的学习部35根据环境的状况来决定行为。该情况下的行为是指，意图决定部34选择程序21上述各种指令值各自的新的值，并根据这些新的值来动作。并且，图2所示的环境，例如程序21的尺寸指令值、电阻指令值、匝数指令值以及执行时间指令值根据这些各种指令值的新值而发生变化。随着这样的环境变化，如上述那样，对机械学习器30赋予回报，机械学习器30的意图决定部34例如为了得到更高的回报而学习更佳的行为的选择(意图决定)。

因此，多次地重复进行图3所示的处理，由此提高行为价值函数的可靠度。并且，在步骤S11中，根据可靠性高的行为价值函数，例如以使Q值变高的方式选择尺寸指令值、电阻指令值、匝数指令值以及执行时间指令值，由此，能够更合适地决定更适合的尺寸指令值等。在图4所示的例中，机械学习器30的学习结果收敛于由虚线围住的区域Z中。

这样，能够将通过本发明的机械学习装置30的函数更新部33更新后的内容自动决定为形成线圈时的更适合的尺寸指令值、电阻指令值、匝数指令值以及执行时间指令值。并且，通过将这样的机械学习器30导入控制装置20中，能够自动调整尺寸指令值等。因此，能够自动吸收线圈架的个体差异、卷线的线材的个体差异、线材的批次间的尺寸差异引起的线圈的波动。此外，通过依照机械学习装置的学习结果，在制造线圈时，操作者无需手动赋予动作条件。因此，能够降低制造线圈时的工夫以及工时。其结果，提高了生产效率。

此外，在未图示的实施方式中，将与机械学习装置30具备相同结构的另一个机械学习装置30′并入到另一个卷线机10′的控制装置20′中。并且，控制装置20′与控制装置20可通信地连接。在这样的情况下，可以将通过另一个机械学习装置30′的函数更新部33′更新后的函数复制到机械学习装置30的函数更新部33。并且，可以使用该函数来更新函数更新部33的函数。在该情况下，可知能够利用可靠性高的学习结果。

此外，作为行为价值函数，可以使用利用后述的神经网络进行近似处理后的函数。在该情况下，可以利用多层构造来运算通过状态观测部31观测到的状态变量，实时地更新行为价值函数。由此，可知能够得到更适合的学习结果。此外，这种情况下，在图像数据等这样的“s”和“a”的信息量巨大时是特别有利的。

这里，图2所示的机械学习装置30等，虽然一部分重复，但是再次详细说明。机械学习装置30具有如下功能：从被输入到装置中的数据的集合中，通过解析而提取其中有用的规则或知识表现、判断基准等，输出其判断结果，并且进行知识的学习。该方法是多样的，大致划分为“有教师学习”、“无教师学习”、“强化学习”。此外，在实现这些方法的方面，有学习特征量本身的提取的、被称为“深层学习”的方法。

“有教师学习”是指通过将某输入和结果(标签，label)的数据的组大量地提供给学习装置，可以学习这些数据集中的特征，归纳地获得根据输入推定结果的模型，即其关系性。在本实施方式中，可以在根据线圈的前述的各种指令值推定线圈的尺寸实际值等的部分等中使用。可以使用后述的神经网络等算法来实现。

“无教师学习”是指通过仅将输入数据大量地提供给学习装置，学习输入数据进行了何种分布，即使不提供对应的教师输出数据，也能够学习对输入数据进行压缩/分类/整形等的装置的方法。可以将这些数据集中的特征在相似者之间进行聚类等。使用该结果，设置某基准来进行使其最佳化的输出分配，由此能够实现输出的预测。此外，作为“无教师学习”与“有教师学习”的中间性的问题设定，有称作“半有教师学习”的方法，其对应于存在仅一部分输入和输出的数据的组，除此之外仅是输入的数据的情况。在本实施方式中，在无教师学习中利用即使实际上不使机器人动作也能够取得的数据，由此能够高效率地进行学习。

如下这样设定强化学习的问题。

·卷线机及其控制装置观测环境的状态，决定行为。

·环境随着某规则而变化，进而自身的行为有时对环境赋予变化。

·每次行动时返回回报信号。

·想要最大化的是将来的(折扣)回报的合计。

·从完全不了解或不完全了解行为引起的结果的状态开始学习。卷线机实际上可以首次行动，取得其结果作为数据。也就是说，需要一边试错一边探索最佳的行为。

·为了模仿人的动作，也可以将事先学习的(前述的有教师学习、逆向强化学习这样的方法)状态设为初始状态，从良好的开始地点开始学习。

“强化学习”是指除了判定、分类之外，还学习行为，由此根据行为对环境的相互作用来学习合适的行为，即进行用于使将来得到的回报最大化的学习的方法。这表示在本实施方式中能够获得影响未来的行为。例如以Q学习的情况为例子继续说明，但是不限于Q学习。

Q学习是指在某环境状态s下学习选择行为a的价值Q(s、a)的方法。也就是说，在某状态s时选择价值Q(s、a)最高的行为a作为最佳行为即可。但是，最初，关于状态s和行为a的组合，完全不了解价值Q(s、a)的正确值。因此，智能体(行为主体)在某状态s下选择各种行为a，并对此时的行为a赋予回报。由此，智能体不断学习更佳的行为的选择即正确的价值Q(s、a)。

由于想要使作为行为的结果而在将来得到的回报的合计最大化，因此，目标是最终使Q(s、a)＝E[Σγ^tr_t](在按照最佳行为而发生了状态变化时取期待值。当然，这是未知的，因此必须一边探索一边学习)。这样的价值Q(s、a)的更新式，例如通过下式表示(与前述式(1)相同)。

这里，s_t表示时刻t时的环境状态，a_t表示时刻t时的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态变化而得到的回报。此外，带有max的项成为对在状态s_t+1下选择了此时已知的Q值最高的行为a时的Q值乘以γ而得的项。γ是0＜γ≤1的参数，被称为折扣率。α是学习系数，设为0＜α≤1的范围。

该式表示根据尝试a_t的结果而返回的回报r_t+1，更新状态s_t下的行为a_t的评价值Q(s_t、a_t)的方法。如果基于回报r_t+1+行为a的下一个状态下的最佳行为max a的评价值Q(s_t+1、max a_t+1)大于状态s下的行为a的评价值Q(s_t、a_t)，则使Q(s_t、a_t)增大，相反地，如果小于，则使Q(s_t、a_t)减小。也就是说，使某状态下的某行为的价值接近于基于作为结果即时返回的回报、和该行为的下一个状态下的最佳行为的价值。

Q(s、a)在计算机上的表现方法有，针对全部的状态行为对(s、a)，将其值作为表格(行为价值表)预先保持的方法、以及准备对Q(s、a)进行近似处理的函数的方法。后者的方法，通过利用随机梯度下降法等方法调整近似函数的参数，能够实现上述更新式。作为近似函数，可以使用后述的神经网络。

此外，作为有教师学习、无教师学习以及强化学习中的价值函数的近似算法，可以使用神经网络。神经网络例如由实现模仿图7所示的神经元模型的神经网络的运算装置以及存储器等构成。图7是表示神经元的模型的示意图。

如图7所示，神经元输出与多个输入x(这里以输入x₁～输入x₃作为一例)对应的输出y。对各输入x₁～x₃乘以与该输入x对应的权值w(w₁～w₃)。由此，神经元输出由下式表现的输出y。此外，输入x、输出y以及权值w全部是向量。

这里，θ是偏置，f_k是激活函数。

接着，参照图8说明组合上述神经元而构成的具有三层权值的神经网络。图8是表示具有D1～D3的三层权值的神经网络的示意图。

如图8所示，从神经网络的左侧输入多个输入x(这里，以输入x1～输入x3作为一例)，从右侧输出结果y(这里，以结果y1～结果y3作为一例)。

具体地，将输入x1～输入x3乘以所对应的权值来输入到3个神经元N11～N13的每一个中。将与这些输入相乘的权值汇总标记为w1。

神经元N11～N13分别输出z11～z13。这些z11～z13被汇总地标记为特征向量z1，并能够看作是提取了输入向量的特征量后的向量。该特征向量z1是权值w1与权值w2之间的特征向量。

将z11～z13乘以对应的权值而输入到2个神经元N21、N22的每一个中。将与这些特征向量相乘的权值汇总地标记为w2。

神经元N21、N22各自输出z21、z22。将这些汇总地标记为特征向量z2。该特征向量z2是权值w2与权值w3之间的特征向量。

将z21、z22乘以对应的权值而输入到3个神经元N31～N33的每一个中。将与这些特征向量相乘的权值汇总地标记为w3。

最后，神经元N31～N33分别输出结果y1～结果y3。

在神经网络的动作中存在学习模式和价值预测模式，在学习模式中，使用学习数据集来学习权值w，并使用该参数在预测模式中进行卷线机的行为判断(为了方便而写为预测，然而也可以是检测、分类、推论等多种任务)。

可以对在预测模式下实际上使卷线机动作而得的数据进行即时学习，并反映到接下来的行为中(在线学习)；也可以使用预先收集到的数据组而进行汇总的学习，以后一直利用该参数来进行检测模式(批量学习)。也可以是中间性的，每当数据以某程度发生积存时插入学习模式。

可以通过误差反向传播法(Back propagation)来学习权值w1～w3。误差信息从右侧输入并流向左侧。误差反向传播法是针对各神经元为了使输入了输入x时的输出y与真实的输出y(教师)之间的差值变小，对各自的权值进行调整(学习)的方法。

这样的神经网络可以在三层以上进一步增加层(称为深层学习)。还可以仅根据教师数据自动地获得阶段性地进行输入的特征提取并对结果进行回归的运算装置。

因此，本实施方式的机械学习装置30，为了实施上述Q学习，如图2所示这样，具备：状态观测部31、学习部35以及意图决定部34。然而，本发明中应用的机械学习方法并不限于Q学习。例如，在应用有教师学习的情况下，价值函数对应于学习模型，回报对应于误差。

发明效果

在第一次至第三发明中，能够提供一种操作者不手动赋予动作条件，就能够自动决定更合适的线圈的尺寸指令值等的机械学习装置。

在第四发明中，能够更适当地决定回报。

在第五发明中，能够得到合适的学习结果。

在第六发明中，能够将由某机械学习装置得到的学习结果并入到另一个机械学习装置中，能够利用可靠性高的学习结果等。

在第七发明中，能够自动地吸收线圈架的个体差异、卷绕的线材的个体差异、线材的批次间的尺寸差异引起的线圈的波动。此外，通过依照机械学习装置的学习结果，在制造线圈时操作者无需手动赋予动作条件。因此，能够降低制造线圈时花费的工夫以及工时。

利用典型的实施方式说明了本发明，然而如果是本领域技术人员则能够理解，在不脱离本发明的范围的情况下，能够进行前述的变更以及各种其他的变更、省略、追加。