用于估计作业车辆的动作的方法、系统、学习完毕的分类模型的制造方法、学习数据、以及学习数据的制造方法与流程

本发明涉及用于使用人工智能来估计作业车辆的动作的方法、系统、学习完毕的分类模型的制造方法、学习数据、以及学习数据的制造方法。

背景技术：

以往，已知通过计算机估计作业车辆正在进行的动作的技术。例如，液压挖土机进行挖掘、旋转或者卸土等动作。在专利文献1中，控制器根据来自液压挖土机中具有的传感器的检测值，判定液压挖土机的这些作业。例如，液压挖土机具有旋转速度传感器、压力传感器、以及多个角度传感器。旋转速度传感器检测发动机的旋转速度。压力传感器检测油压泵的排出压。多个角度传感器检测大臂角度、小臂角度、以及铲斗角度。控制器根据来自这些传感器的检测值，判定液压挖土机执行的作业。

现有技术文献

专利文献

专利文献1：日本特开2016－103301号公报

技术实现要素：

发明要解决的课题

但是，在上述的技术中，不能判定不具有传感器的作业车辆的动作。而且，即使作业车辆具有传感器，若作业车辆不具有与计算机的通信装置，则计算机也无法从作业车辆获取传感器检测到的信息。因此，在那种情况下，无法通过计算机判定作业车辆的动作。

而且，在为了管理作业现场配置的多个作业车辆而判定各作业车辆的动作的情况下，全部作业车辆未必都具有传感器、或者与计算机的通信装置。因此，不容易为了管理作业现场配置的多个作业车辆而判定各作业车辆的动作。

另一方面，近年来，正在研究通过由人工智能分析拍摄了人或物的动作的运动图像，计算机判定正在进行哪样的动作的技术。例如，作为处理运动图像的人工智能的模型，正在研究递归神经网络(rnn)等。若可以使用这样的人工智能技术，分析拍摄了作业车辆的动作的运动图像，则可以通过计算机容易地判定作业车辆的动作。但是，直接处理上述那样的运动图像的人工智能的模型由于识别精度等问题，在实用上仍然很困难。

本发明的目的是，使用人工智能，容易并且高精度地判定作业车辆的动作。

用于解决课题的手段

第1方式是通过计算机执行的方法，包含以下处理。第1处理是获取动作数据。动作数据是表示由时间序列地表示动作中的作业车辆的多个图像生成的作业车辆的动作变化的数据。第2处理是通过执行使用了学习完毕的分类模型的图像分类，从动作数据决定作业车辆的动作的分类。

第2方式是系统，包含学习完毕的分类模型和处理器。处理器被编程，以执行以下处理。处理器获取动作数据。动作数据是表示由时间序列地表示动作中的作业车辆的多个图像生成的作业车辆的动作变化的数据。处理器通过执行使用了分类模型的图像分类，从动作数据决定作业车辆的动作的分类。

第3方式是学习完毕的分类模型的制造方法，包含以下处理。第1处理是获取学习数据。学习数据包含动作数据以及对动作数据分配的作业车辆的动作的分类。动作数据是表示由时间序列地表示动作中的作业车辆的多个图像生成的作业车辆的动作变化的数据。第2处理是通过学习数据学习分类模型。

第4方式是用于学习分类模型的学习数据，包含动作数据和对动作数据分配的作业车辆的动作的分类。动作数据是表示由时间序列地表示动作中的作业车辆的多个图像生成的作业车辆的动作变化的数据。

第5方式是用于学习分类模型的学习数据的制造方法，包含以下处理。第1处理是获取时间序列地表示动作中的作业车辆的多个图像。第2处理的用户从多个图像生成表示作业车辆的动作变化的动作数据。第3处理是获取对动作数据分配的作业车辆的动作的分类。

第6方式是学习完毕分类模型的制造方法，包含以下处理。第1处理是获取动作数据。动作数据是表示由时间序列地表示动作中的作业车辆的多个图像生成的作业车辆的动作变化的数据。第2处理通过执行使用了学习完毕的第1分类模型的图像分类，从动作数据决定作业车辆的动作的分类。第3处理是通过包含动作数据和决定的作业车辆的动作的分类的学习数据，学习第2分类模型。

发明效果

在本发明中，从由多个图像生成的动作数据，决定作业车辆的动作的分类。因此，可以利用适于静止图像的分类的人工智能的分类模型，估计作业车辆的动作。由此，可以使用人工智能，容易并且高精度地判定作业车辆的动作。

附图说明

图1是表示实施方式的分类系统的示意图。

图2是表示分类系统的计算机的结构的示意图。

图3是表示计算机中实际安装的分类系统的结构的示意图。

图4是表示神经网络的结构的示意图。

图5是表示用于估计作业车辆的动作的处理的流程图。

图6是表示运动图像数据中包含的多个图像的一例子的图。

图7是表示使图6所示的运动图像数据中包含的第1～第3图像重合的重合图像的一例子的图。

图8是表示使图6所示的运动图像数据中包含的第2～第4图像重合的重合图像的一例子的图。

图9是表示运动图像数据中包含的多个图像的其它例子的图。

图10是表示使图9所示的运动图像数据中包含的第1～第3图像重合的重合图像的一例子的图。

图11是表示使图9所示的运动图像数据中包含的第2～第4图像重合的重合图像的一例子的图。

图12是表示运动图像数据中包含的多个图像的其它例子的图。

图13是表示使图12所示的运动图像数据中包含的第1～第3图像重合的重合图像的一例子的图。

图14是表示使图12所示的运动图像数据中包含的第2～第4图像重合的重合图像的一例子的图。

图15是表示输入到输入层的像素值的运算方法的一例子的图。

图16是表示学习系统的结构的示意图。

图17是表示实际安装了学习系统的计算机的结构的示意图。

图18是表示用于生成学习数据的处理的流程图。

图19是表示加工完毕图像的例子的图。

图20是表示用于通过学习数据学习分类模型的处理的流程图。

图21是表示变形例的分类系统的图。

图22是表示用于生成蒸馏模型的处理的流程图。

图23是表示变形例的动作数据的一例子的图。

图24是表示变形例的动作数据的运算方法的一例子的图。

具体实施方式

以下，参照附图说明实施方式。图1是表示实施方式的分类系统100的示意图。分类系统100是用于估计作业车辆1进行的动作的系统。如图1所示，分类系统100包含摄像机101和计算机102。

摄像机101被配置在作业车辆1所配置的作业现场。摄像机101从作业车辆1的外部拍摄作业车辆1，拍摄作业车辆1的运动图像。计算机102通过无线或者有线方式与摄像机101进行通信。摄像机101将表示拍摄的运动图像的运动图像数据发送到计算机102。计算机102也可以通过通信网络从摄像机101接收运动图像数据。计算机102也可以经由记录介质从摄像机101接收运动图像数据。

计算机102也可以被配置在作业现场。或者，计算机102也可以被配置在远离作业现场的管理中心。计算机102既可以是专门设计用于分类系统100的计算机，或者也可以是通用的pc(personalcomputer，个人计算机)。计算机102从摄像机101接收运动图像数据。计算机102通过使用人工智能的分类模型，决定作业车辆1的动作的分类。

分类系统100也可以具有多个摄像机101。多个摄像机101也可以拍摄多个作业车辆1的运动图像。计算机102也可以分别从多个摄像机101接收运动图像数据。

图2是表示计算机102的结构的示意图。如图2所示，计算机102包括：处理器103；存储装置104；通信接口105；以及i/o接口106。处理器103例如是cpu(centralprocessingunit，中央处理单元)。存储装置104包含以处理器103可读取被记录的程序以及数据等信息的方式进行记录的介质。存储装置104包含ram(randomaccessmemory，随机存取存储器)，或者rom(readonlymemory，只读存储器)等系统存储器、辅助存储装置。辅助存储装置例如可以是硬盘等磁记录介质、cd、dvd等光学记录介质、或者闪存等半导体存储器。存储装置104也可以被内置在计算机102中。存储装置104也可以包含可拆装地连接到计算机102的外部记录介质。

通信接口105例如是有线lan(localareanetwork，局域网)模块或者无线lan模块等用于进行通过通信网络的通信的接口。i/o接口106例如是usb(universalserialbus，通用串行总线)端口等用于与外部装置连接的接口。

计算机102通过i/o接口106与输入装置107以及输出装置108连接。输入装置107是用户用于进行对计算机102的输入的装置。输入装置107例如包含鼠标或者跟踪球等指针设备。输入装置107也可以包含键盘等用于文字输入的装置。输出装置108例如包含显示器。

图3是表示分类系统100的一部分结构的图。如图3所示，分类系统100包括：图像生成模块110和学习完毕的分类模型111。图像生成模块110和学习完毕的分类模型111被实际安装在计算机102中。图像生成模块110和学习完毕的分类模型111也可以被保存在计算机的存储装置104中。

在本实施方式中，模块以及模型也可以被实际安装在硬件、可在硬件上执行的软件、固件、或者它们的组合中。模块以及模型也可以包含被处理器执行的程序、算法、以及数据。模块以及模型的功能既可以被单一的模块执行，或者也可以被分散在多个模块中执行。模块以及模型也可以被分散配置在多个计算机中。

图像生成模块110由作业车辆1的运动图像数据d11，生成表示如后所述的重合图像的图像数据d12。重合图像是将时间序列地表示动作中的作业车辆1的一连串的多个图像重合在一起的图像。而且，这里所谓的“图像”意思是静止图像。所谓“一连串的多个图像”，不限于运动图像中包含的完全连续的帧的多个图像，而包含跳过了规定数的帧的多个图像。

分类模型111是用于图像分类的人工智能模型。分类模型111分析被输入的图像，输出与图像对应的分类。如后所述，计算机102对图像数据d12表示的重合图像，通过执行使用了人工智能的分类模型111的图像分类，决定作业车辆1的动作的分类。分类模型111输出表示所决定的动作的分类的输出数据d13。

分类模型111包含图4所示的神经网络120。例如，分类模型111包含卷积神经网络(cnn)等深度神经网络。

如图4所示，神经网络120包含输入层121、中间层122(隐藏层)、以及输出层123。各层121、122、123具有1个或者多个神经元。例如，输入层121的神经元的数目可以根据重合图像的像素数来设定。中间层122的神经元的数目可以适当设定。输出层123可以根据作业车辆1的动作的分类数设定。

相互邻接的层的神经元之间被耦合，各耦合中被设定权重(耦合载荷)。神经元的耦合数被适当设定即可。各神经元中被设定阈值，通过对各神经元的输入值与权重之积的和是否超过阈值，决定各神经元的输出值。

在输入层121中输入表示作业车辆1的动作的动作数据。动作数据是由时间序列地表示动作中的作业车辆的多个图像生成的数据，表示作业车辆的动作变化。关于动作数据在后叙述。在输出层123中，输出表示被分类的各动作的几率的输出值。分类模型111是学习完毕，使得在输入动作数据时，输出表示被分类的各动作的几率的输出值。通过学习得到的分类模型111的学习完毕参数被存储在存储装置104中。学习完毕参数例如包含神经网络120的层数、各层中的神经元的个数、神经元之间的耦合关系、各神经元间的耦合的权重、以及各神经元的阈值。

而且，各动作的分类也可以根据作业车辆1的种类来决定。例如，在作业车辆1为液压挖土机时，动作的分类可以包含“挖掘”、“旋转”、以及“卸土”。“旋转”可以包含“提升(hoist)旋转”和“下降旋转”。其中，也可以变更或者省略动作的一部分分类。或者，动作的分类也可以进一步包含其它分类。

图5是表示为了估计作业车辆1的动作，通过计算机102(处理器103)执行的处理的流程图。如图5所示，在步骤s101中，计算机102获取摄像机101拍摄的作业车辆1的运动图像数据d11。计算机102也可以实时获取摄像机101拍摄的运动图像数据d11。或者，计算机102也可以在规定时刻或者每隔规定时间获取摄像机101拍摄的运动图像数据d11。计算机102将运动图像数据d11保存在存储装置104中。

在步骤s102中，计算机102从运动图像数据d11选取表示作业车辆1的动作的一连串的多个图像。图6是表示运动图像数据d11的一例子(以下，记为“运动图像数据mv1”)中包含的多个图像的图。在图6中，仅例示运动图像数据mv1中包含的多个图像的一部分(图像f11－f14)。计算机102在运动图像数据mv1中包含的多个图像f11－f14之中选取规定帧数的图像。

在步骤s103中，计算机102使选取的多个图像重合，生成重合图像。重合图像是表示上述的作业车辆的动作变化的动作数据的一例子。计算机102通过使多个图像透过后相互重合，生成重合图像。重合图像是通过使从运动图像选取的多个图像相互重合而合成的静止图像。计算机102将表示重合图像的图像数据d12保存在存储装置104中。

图7是表示使图6所示的运动图像数据mv1中包含的第1～第3图像f11－f13重合的重合图像im11的一例子的图。图8是表示使图6所示的运动图像数据mv1中包含的第2～第4图像f12－f14重合的重合图像im12的一例子的图。图6所示的运动图像数据mv1是拍摄旋转中的作业车辆1而得到的数据。如图7以及图8所示，在重合图像im11、im12中，旋转中的作业车辆1的不同的多个姿态被表示在1张静止图像中。

图9是表示运动图像数据d12的其它例子(以下，记为“运动图像数据mv2”)中包含的多个图像的一部分的图。图9所示的运动图像数据mv2是拍摄卸土中的作业车辆1所得到的数据。图10是表示使图9所示的运动图像数据mv2中包含的第1～第3图像f21－f23重合的重合图像im21的一例子的图。图11是表示使图9所示的运动图像数据mv2中包含的第2～第4图像f22－f24重合的重合图像im22的一例子的图。如图10以及图11所示，在重合图像im21、im22中，卸土中的作业车辆1的不同的多个姿态被表示在1张静止图像中。

图12是表示运动图像数据d11的再一个例子(以下，记为“运动图像数据mv3”)中包含的多个图像的一部分的图。图12所示的运动图像数据mv3是拍摄挖掘中的作业车辆1所得到的数据。图13是表示使图12所示的运动图像数据mv3中包含的第1～第3图像f31－f33重合的重合图像im31的一例子的图。图14是表示使图12所示的运动图像数据mv3中包含的第2～第4图像f32－f34重合的重合图像im32的一例子的图。如图13以及图14所示，在重合图像im31、im32中，挖掘中的作业车辆1的不同的多个姿态被表示在1张静止图像中。

在步骤s104中，计算机102执行使用了学习完毕的分类模型111的图像分类。计算机102使用在步骤s103中生成的重合图像作为对分类模型111的输入数据，执行基于上述的神经网络120的图像分类。

例如，计算机102将重合图像中包含的像素值输入到神经网络120的输入层121中包含的各神经元。图15是表示输入到输入层121的像素值的运算方法的一例子的图。图15中，“image＿1”表示第1图像的像素值。“image＿2”表示第2图像的像素值。“image＿3”表示第3图像的像素值。而且，图15中表示的数值是例示，不限定于此。

如图15所示，计算机102通过合成第1～第3图像的像素值，生成输入到输入层121的动作数据。详细地说，计算机102计算在第1～第3图像中相互对应的像素的像素值的平均值。计算机102将算出的各像素的平均值(average＿pixel[0][0]等)输入到输入层121中包含的各神经元。而且，平均值也可以是加权平均。各像素值与各神经元的对应关系也可以适当设定。由此，计算机102得到作业车辆1的动作的各分类的几率作为输出数据d13。

在上述的液压挖土机的例子中，作业车辆1的动作的分类包含“旋转”、“卸土”以及“挖掘”。控制器得到表示”旋转”、“卸土”以及“挖掘”的各分类的几率的输出值。分类模型111是对于图7以及图8所示的表示旋转的重合图像，“旋转”的分类的输出值较高那样的学习完毕。分类模型111已学习完毕，使得对于图10以及图11所示的表示卸土的重合图像，“卸土”的分类的输出值较高。分类模型111已学习完毕，使得对于图13以及图14所示的表示挖掘的重合图像，“挖掘”的分类的输出值较高。

在步骤s105中，计算机102决定作业车辆1的动作的分类。计算机102根据输出数据d13表示的各分类的几率，决定作业车辆1的动作的分类。计算机102决定具有最高的几率的分类作为作业车辆1的动作。由此，计算机102估计作业车辆1执行的动作。

在步骤s106中，计算机102记录步骤s105中决定的分类中的作业车辆1的动作时间。例如，在作业车辆1进行旋转时，计算机102将动作的分类决定为“旋转”，同时记录旋转的动作时间。计算机102也可以由重合图像中使用的帧数，计算分类的动作时间。

在步骤s107中，计算机102生成包含动作的分类以及动作时间的管理数据。计算机102将管理数据记录在存储装置104中。

在以上说明的本实施方式的分类系统100中，计算机102由重合图像决定作业车辆1的动作的分类。因此，可以利用适于静止图像的分类的人工智能的分类模型111，估计作业车辆1的动作。由此，可以利用人工智能，通过计算机102容易并且高精度地判定作业车辆1的动作。

在分类系统100中，可以根据从作业车辆1的外部拍摄了作业车辆1的运动图像，估计作业车辆1的动作。因此，即使对于不具有特定的传感器或者通信装置等用于分类系统100的专用装备的作业车辆1，也可以容易并且高精度地判定动作。

在分类系统100中，由作业车辆1的运动图像决定动作的分类，同时记录该分类的动作时间作为管理数据。因此，通过拍摄作业车辆1的运动图像，可以通过计算机102容易并且自动地进行作业车辆1的作业的时间学习。而且，通过分别拍摄作业现场的多个作业车辆1的运动图像，通过分类系统100生成管理数据，可以通过计算机102容易并且自动地进行作业现场的多个作业车辆1的作业的时间学习。

接着，说明实施方式的分类模型111的学习方法。图16是表示进行分类模型111的学习的学习系统200的图。学习系统200包含学习数据生成模块211和学习模块212。

学习数据生成模块211由作业车辆的运动图像数据d21生成学习数据d22。学习模块212使用学习数据d22进行分类模型111的学习，将分类模型111的参数最佳化。学习系统200获取最佳化后的参数作为学习完毕参数d23。

图17是表示实现学习系统200的计算机202的结构的示意图。如图17所示，计算机202包括：处理器203；存储装置204；通信接口205；i/o接口206；输入装置207；以及输出装置208。计算机202的处理器203、存储装置204、通信接口205、i/o接口206、输入装置207、以及输出装置208与上述的计算机102的处理器103、存储装置104、通信接口105、i/o接口106、输入装置107、以及输出装置108大致相同，所以省略详细的说明。

学习数据生成模块211和学习模块212被实际安装在计算机202中。学习数据生成模块211和学习模块212被存储在存储装置204中。

图18是表示为了生成学习数据d22，由计算机202(处理器203)执行的处理的流程图。如图18所示，在步骤s201中，计算机202获取作业车辆的运动图像数据d21。计算机202也可以经由通信网络获取运动图像数据d21。或者，计算机202也可以经由外部记录介质获取运动图像数据d21。

在步骤s202中，计算机202从运动图像数据d21选取时间序列地表示作业车辆的动作的一连串的多个图像。在步骤s203中，计算机202使选取的多个图像重合，生成重合图像。步骤s202以及步骤s203的处理与上述的步骤s102以及步骤s103大致相同，所以省略详细的说明。

在步骤s204中，计算机202将作业车辆1的动作的分类分配给重合图像，生成学习数据。分类的分配可以是人使用输入装置207以手动方式来进行。在该情况下，计算机202也可以根据表示经由输入装置207输入的分类的分类数据，对重合图像分配作业车辆的动作的分类，生成学习数据。

在步骤s205中，计算机202在存储装置204中保存学习数据d22。学习数据d22包括在步骤s203中生成的重合图像、以及在步骤s204中对重合图像分配的作业车辆的动作的分类。

通过反复步骤s201中步骤s205的处理，计算机202从一个运动图像数据d21生成多个学习数据d22。而且，通过反复步骤s201至步骤s205的处理，计算机202从多个运动图像数据d21生成多个学习数据d22。

如图19所示，计算机202也可以将一个重合图像作为原始图像im41，通过对原始图像im41实施扩大、缩小、旋转、平行移动、左右反转、以及颜色的变更中的1个以上，生成多个加工完毕图像im42－im45。颜色的变更例如可以是饱和度、亮度或者对比度的变更。计算机202也可以对多个加工完毕图像im42－im45的每一个分配作业车辆1的动作的分类，保存作为学习数据d22。由此，可以准备大量并且多样的学习数据d22，提高分类模型111的学习的效果。

图20是表示为了通过学习数据d22学习分类模型111，通过计算机202(处理器203)执行的处理的流程图。如图20所示，在步骤s301中，计算机202获取学习数据d22。如上述那样，计算机202通过从运动图像数据d21生成学习数据d22，获取学习数据d22。

但是，计算机202也可以获取其它计算机生成的学习数据d22。在该情况下，计算机202也可以经由通信网络接收学习数据d22。或者，计算机202也可以经由外部记录介质接收学习数据d22。

在步骤s302中，计算机202通过学习数据d22进行分类模型111的学习。计算机202将学习数据d22中包含的重合图像设为输入数据，将作业车辆1的动作的分类作为教师数据，进行分类模型111的学习。

例如，计算机202将各重合图像的各像素值作为输入层121的输入使用，进行神经网络120的正向传播方向的运算处理。由此，计算机202得到从神经网络120的输出层123输出的输出值。接着，计算机202计算从输出层123输出的输出值与作为教师数据分配的分类表示的正确的输出值的误差。计算机202由算出的输出值的误差，通过反向传播，计算各神经元之间的耦合的加权、以及各神经元的阈值的各自的误差。然后，计算机202根据算出的各误差，进行各神经元之间的耦合的加权以及各神经元的阈值的更新。

对于多个重合图像，计算机202反复上述的处理，直至来自分类模型111的输出值与对应于被分配给重合图像的分类的值一致。由此，分类模型111的参数被最佳化，可以学习分类模型111。

而且，分类模型111的各种的参数的初始值也可以通过模板来提供。或者，参数的初始值也可以通过人工的输入以手动方式来提供。在进行分类模型111的再学习时，计算机202也可以根据成为进行再学习的对象的分类模型111的学习完毕参数d23，准备参数的初始值。

在步骤s303中，计算机202将通过学习而最佳化的参数作为学习完毕参数d23保存在存储装置104中。由此，计算机202结束分类模型111的学习。

上述的分类系统100的计算机102通过从学习系统200的计算机202获取分类模型111以及学习完毕参数d23，可以获取学习完毕的分类模型111。

而且，学习系统200的计算机202也可以通过定期地执行上述的分类模型111的学习，更新学习完毕参数d23。学习系统200的计算机202也可以将更新后的学习完毕参数d23转发到分类系统100的计算机102。分类系统100的计算机102也可以通过转发的学习完毕参数d23，更新分类模型111的参数。

以上，说明了本发明的一个实施方式，但是本发明不限于上述实施方式，在不脱离发明的宗旨的范围内能够进行各种变更。

也可以变更分类系统100、以及/或者学习系统200的结构。例如，分类系统100也可以包含多个计算机。上述的分类系统100进行的处理也可以分散在多个计算机中执行。例如，重合图像的生成和分类的决定也可以通过不同的计算机来执行。

图21是表示变形例的分类系统100的图。如图21所示，分类系统100也可以包含第1计算机102a和第2计算机102b。第1计算机102a和第2计算机102b也可以能够相互通信。例如，第1计算机102a和第2计算机102b也可以经由通信网络nt进行通信。

第1计算机102a也可以进行上述的运动图像数据d11的获取和重合图像的生成。第2计算机102b也可以从第1计算机102a获取重合图像。第2计算机102b也可以进行使用了上述的分类模型111的图像分类和作业车辆1的动作的分类。第1计算机102a也可以从第2计算机102b接收包含动作的分类和执行时间的管理数据。

学习系统200也可以包含多个计算机。上述的学习系统200进行的处理也可以在多个计算机中分散执行。例如，在上述的本实施方式中，计算机202执行学习数据的生成和分类模型111的学习。但是，学习数据的生成和分类模型111的学习也可以由不同的计算机来执行。即，学习数据生成模块211和学习模块212也可以实际安装在不同的计算机中。

也可以变更分类系统100的计算机102以及/或者学习系统200的计算机202的结构。例如，计算机102也可以包含多个处理器。计算机202也可以包含多个处理器。上述的处理的至少一部分不限于cpu，也可以通过gpu(graphicsprocessingunit，图像处理单元)等其它处理器执行。上述的处理也可以分散在多个处理器中执行。

在上述实施方式中，分类模型111包含神经网络120。但是，分类模型111不限于神经网络，例如也可以是支持矢量机等利用机器学习对静止图像进行高精度地分类的模型。

上述的分类模型111不限于使用上述的学习数据d21通过机器学习来学习的模型，也可以是利用该学习的模型而生成的模型。例如，分类模型111也可以是通过使用新的数据使学习完毕模型进一步学习，使参数变化，进一步提高精度的其它学习完毕模型(派生模型)。或者，分类模型111也可以是根据通过反复数据的输入输出而得到的结果，使学习完毕模型学习的其它学习完毕模型(蒸馏模型)。

图22是表示为了生成蒸馏模型而通过计算机202(处理器203)执行的处理的流程图。如图22所示，在步骤s401～s403中，计算机202从运动图像数据生成重合图像。步骤s401～s403的各处理与上述的步骤s201～s203相同，所以省略详细的说明。

在步骤s404中，计算机202执行使用了学习完毕的第1分类模型的图像分类。计算机202使用在步骤s403中生成的重合图像作为至第1分类模型的输入数据，执行基于神经网络的图像分类。在步骤s405中，计算机202决定作业车辆1的动作的分类。计算机202通过第1分类模型的图像分类，决定作业车辆1的动作的分类。步骤s404以及步骤s405的处理与上述的步骤s104以及步骤s105的处理相同。

在步骤s406中，计算机202将步骤s403中生成的重合图像和在步骤s405中决定的作业车辆1的动作的分类作为学习数据d22保存在存储装置204中。

在步骤s407中，计算机202通过学习数据d22进行第2分类模型的学习。在步骤s408中，计算机202将通过学习而最佳化的参数作为学习完毕参数d23保存在存储装置104中。步骤s407以及步骤s408的处理与上述的步骤s302以及步骤s303的处理相同。而且，计算机202也可以通过由其它计算机生成的学习数据d22进行第2分类模型的学习。

如以上那样，通过学习第2分类模型(蒸馏模型)，计算机102可以使用比第1分类模型简单的第2分类模型，决定作业车辆1的动作的分类。由此，可以减轻用于决定作业车辆1的动作的分类的计算机102的负担。

动作数据只要是表示从多个图像生成的作业车辆的动作的变化的数据即可，不限于重合图像，也可以是其它数据。动作数据也可以是多个图像中包含的表示一群图像的数据。图23是表示变形例的动作数据的图。如图23所示，动作数据也可以是连接了多个图像的连接图像im51。连接图像im51是将上述的运动图像数据mv1中包含的第1～第3图像f11－f13串联地连接的图像。在该情况下，如图24所示，计算机102也可以将第1～第3图像f11－f13的像素值串联地输入到输入层121。

通过这样的变形例，也可以与上述的实施方式一样，使用人工智能，通过计算机102容易并且高精度地判定作业车辆1的动作。但是，因为较多地输入背景等数据，所以不需要的数据因动作的判定而增加。因此，在变形例中，与使用重合图像的上述的实施方式相比，动作的判定精度恶化。换言之，在上述的实施方式中，通过使用重合图像，可以削减不需要的数据，由此可以提高判定精度。

动作数据只要包含从多个图像的像素值得到的值即可，也可以不限于图像。例如，在图15中，计算机102也可以计算像素值的平均值average＿pixel[0][0]，将计算的值立即输入到输入层121，将average＿pixel[0][0]初始化。计算机102也可以反复同样的处理，直至average＿pixel[2][2]。在该情况下，计算机102虽然不生成图像作为动作数据，但是可以生成通过合成多个图像的像素值而得到的值作为动作数据，输入到输入层121。

动作数据也可以是省略了多个图像中共同的部分的数据。例如，也可以从动作数据省略表示多个图像中共同包含的背景的像素值。计算机102也可以从多个图像中决定成为基准的图像，计算其它图像与成为基准的图像的差分。计算机102也可以由该差分生成动作数据，输入到输入层121。

也可以变更生成重合图像或者连接图像的方法。例如，在上述的实施方式中，通过使运动图像数据d11、d21中的3帧图像重合，生成重合图像。但是，在重合图像中重合的图像的帧数不限于3个，也可以比3个少或者比3个多。

计算机102、202也可以选取连续的帧的图像生成重合图像或者连接图像。或者，计算机102、202也可以跳过连续的帧的一部分来选取图像。例如，计算机102、202也可以从连续的多个帧，跳过1个帧或者或者多于1个的帧来选取图像。

计算机102、202也可以将多个图像进行灰度化来生成重合图像或者连接图像。计算机102、202也可以变更多个图像的一部分的浓度。即，计算机102、202也可以从具有不同的浓度的多个图像生成重合图像或者连接图像。计算机102、202也可以剪切选取的一部分图像来生成重合图像或者连接图像。

作业车辆不限于液压挖土机，也可以是推土机、轮式装载机、平地机或自卸卡车等其它车辆。分类模型111、学习完毕参数d23、以及/或者学习数据d22也可以对作业车辆的每个种类进行准备。或者，分类模型111、学习完毕参数d23、以及/或者学习数据d22也可以对多个种类的作业车辆是共同的。在该情况下，分类模型111也可以与作业车辆的动作一起估计作业车辆的种类。

也可以省略或者变更上述的处理的一部分。例如，可以省略记录动作时间的处理。也可以省略生成管理数据的处理。

工业适用性

按照本发明，可以使用人工智能，容易并且高精度地判定作业车辆的动作。

标号说明

100分类系统

111分类模型

103处理器

101摄像机

200学习系统