1.本发明涉及信息处理方法、程序以及信息处理装置。
背景技术：
：：2.深度学习在计算机视觉和语音识别领域取得了不俗的成果。例如，养殖场中自动统计条数已成为一个课题，期望通过使用深度学习的方法改善这样的问题。3.现有技术文献4.专利文献5.专利文献1：国际公开第2019/045091号技术实现要素：6.深度学习的解析精度取决于训练数据。但是，创建准确的训练数据并不容易。另外，在以鱼群等为对象的情况下，存在很多重叠而无法看见的个体，因此仅通过深度学习难以精确地推算需要的信息。7.因此，本公开的目的之一是提出一种能够容易地生成高精度的训练数据的信息处理方法、程序以及信息处理装置。另外，本公开的目的之一是提出一种能够精确地推算实际数据中包含的信息的信息处理方法、程序以及信息处理装置。8.根据本公开的一个方面，提供一种信息处理方法，由计算机执行，包括以下步骤：通过计算机绘图生成作为输入数据的模拟图像；根据在模拟中使用的参数信息生成标签信息；以及生成包括所述模拟图像和所述标签信息的正确数据。另外，根据本公开，提供一种使计算机执行所述信息处理方法的程序以及执行上述信息处理方法的信息处理装置。9.发明效果10.根据本公开，容易生成高精度的训练数据。附图说明11.图1是说明信息处理的概要的图。12.图2是表示图像元素的变化的图。13.图3是表示图像元素的变化的图。14.图4是表示图像元素的变化的图。15.图5是说明用于除去因反射像导致的噪声的机器学习的图。16.图6是说明用于除去因影子导致的噪声的机器学习的图。17.图7是表示群模型23的一例的图。18.图8是非喂食时的群的模拟图像。19.图9是喂食时的群的模拟图像。20.图10是非喂食时的群的拍摄图像。21.图11是喂食时的群的拍摄图像。22.图12是表示个体模型的一例的图。23.图13是表示个体的动作模拟的图。24.图14是表示在鱼塘中饲养的鲟鱼的图。25.图15是表示信息处理装置的一例的图。26.图16是表示群的个体数的推算处理的一例的图。27.图17是表示个体的跟踪的一例的图。28.图18是表示个体的识别方法以及异常行为的检测方法的一例的图。29.图19是表示信息处理方法的一例的流程图。30.图20是表示信息处理装置的硬件结构的一例的图。31.附图标记说明32.1信息处理装置；21分析模型；23群模型；24个体模型；25异常行为模型；29程序；ci拍摄图像；csi修正图像；flk群；ie图像元素；ob个体；si模拟图像；tid输入数据；tod正确数据。具体实施方式33.以下，根据附图对本公开的实施方式进行详细说明。在以下的各实施方式中，通过对相同的部位标记相同的符号从而省略重复说明。34.1.信息处理的概要35.图1是说明本公开的信息处理的概要的图。36.本公开提出了使用cg(computergraphics，计算机图形)的新型的训练数据生成方法以及填补cg图像与实际数据(拍摄图像)之间的差异的datadriven的方法。通过利用cg图像生成训练数据，能够大量生成高精度的训练数据。另外，通过生成与实际数据近似的cg图像，能够根据cg的参数精确地推算必要的信息。以下，对本公开进行详细说明。37.在本公开中，根据目标tg的拍摄图像ci，通过图像分析的方法进行目标tg的分析。本公开的信息处理的方法能够应用于水产业、农业、林业以及工业等广泛的领域。根据
技术领域：
：以及分析目的等适当设定分析对象。例如，在水产业领域中，养殖鱼的条数、生长状况、捕食动作以及异常行为等作为分析对象。在农业领域中，农作物的生长状况以及收获数量等作为分析对象。在林业领域中，树木的生长状况以及木材量等作为分析对象。在工业领域中，产品数量、有无不合格品等作为分析对象。38.以下，对将本公开的信息处理的方法应用于养殖鱼的跟踪、异常行为检测以及条数统计等的例子进行说明。39.2.训练数据的生成40.在本公开中，使用计算机模拟生成群flk以及个体ob的三维cg图像。生成的cg图像用作深度学习的训练数据。41.训练数据包括大量数据组。各数据组包括输入数据tid和正确数据tod。在本公开中，通过计算机绘图生成作为输入数据tid的模拟图像si。正确数据tod是通过在输入数据tid上附加标签信息来生成的。标签信息是表示正确(groundtruth)的信息。根据在模拟中使用的参数信息自动生成标签信息。42.根据学习目的确定模拟的对象。例如，在统计养殖鱼的条数时，进行群flk的模拟。在对养殖鱼进行个别跟踪时，进行个体ob的模拟。43.图1的例子是以跟踪养殖鱼为目的而生成个体ob的模拟图像si的例子。标签信息包括用于对个体ob进行分类的分类信息和个体ob的位置信息。分类信息例如包括个体ob的种类(鱼种等)以及形态特征(鳍的变形、缺损、身体的颜色、花纹等)等信息。位置信息例如包括表示个体ob的中心位置以及个体ob的存在范围的信息。位置信息例如使用三维坐标信息生成。在图1的例子中，个体ob的中心的坐标(bx,by,bz)以及与内含个体ob的最小限度的大小的长方体(boundarycube)的深度bd、宽度bw以及高度bh相关的信息表示为位置信息。根据个体ob的位置信息(表示存在范围的信息)，提取个体ob的大小信息。44.正确数据tod可以包括用于识别个体ob的图像元素ie。图像元素ie例如是表示boundarycube的框架元素。根据在模拟中使用的个体ob的位置信息自动生成图像元素ie。在图1的例子中，用boundarycube示出图像元素ie，但是图像元素ie不限于此。图像元素ie例如可以包括包围个体ob的框架元素或者用于利用颜色识别个体ob的颜色元素。45.图2至图4是表示图像元素ie的变化的图。46.图2的例子重新示出了图1所示的boundarycube。图3的例子是利用轮廓替换了个体ob的例子或者利用粗线将个体ob的轮廓镶边的例子。图4的例子是通过颜色区分多个个体ob的例子。图2的boundarycube以及图3的轮廓线相当于包围个体ob的框架元素。图4的颜色区分相当于颜色元素的赋予。在存在多个个体ob的情况下，框架元素的颜色可以按照个体ob而不同，也可以根据个体ob的分类信息而不同。47.3.深度学习48.返回图1，在本公开中，在dnn(deepneuralnetwork，深度神经网络)中进行将输入数据tid以及正确数据tod作为训练数据的机器学习(有教师学习)。如果将输入数据rid输入到完成学习的dnn，则生成在输入数据rid附加了标签信息以及图像元素ie的输出数据rod。49.例如，如果将拍摄图像ci输入dnn，则dnn从拍摄图像ci提取各个个体ob。dnn根据各个个体ob的特征生成各个个体ob的分类信息以及位置信息。dnn对于每个个体ob生成包括分类信息以及位置信息的标签信息。dnn根据各个个体ob的位置信息为每个个体ob生成图像元素ie。dnn生成在拍摄图像ci附加了各个个体ob的图像元素ie的修正图像cci。dnn在修正图像cci附加各个体ob的标签信息生成输出数据rod。50.4.噪声的除去51.图5以及图6是说明用于除去噪声的机器学习的图。52.为了提高dnn进行的图像解析的精度，能够进行用于除去拍摄图像ci中包含的噪声的机器学习。例如，如果在鱼塘中放置摄像头进行拍摄，则在水面ws和壁面wl附近移动的个体ob的反射像mir映现在水面ws和壁面wl。个体ob的影子sh投影在鱼塘的底部。这样的反射像mir以及影子sh成为噪声，有可能降低图像解析的精度。因此，在本公开中，例如，生成反射像mir以及影子sh的模拟图像si，生成使用了模拟图像si的训练数据。53.在图5的例子中，生成包括个体ob以及反射像mir的模拟图像si作为输入数据tid。正确数据tod是从输入数据tid中除去了反射像mir而得到的模拟图像si。如果将该输入数据tid以及正确数据tod用作训练数据，则获得从拍摄图像ci中除去反射像mir的dnn。在图5的例子中，在输入数据tid以及正确数据tod中包含个体ob，但是在这些数据中不必一定包含个体ob。例如，即使使用从上述的输入数据tid以及正确数据tod中删除了个体ob而得到的训练数据，也会生成除去反射像mir的dnn。54.在图6的例子中，生成包括个体ob以及影子sh的模拟图像si作为输入数据tid。正确数据tod是从输入数据tid中除去了影子sh的模拟图像si。如果将该输入数据tid以及正确数据tod用作训练数据，则获得从拍摄图像ci中除去影子sh的dnn。在图6的例子中，在输入数据tid以及正确数据tod中包含个体ob，但是在这些数据中不必一定包含个体ob。例如，即使使用从上述的输入数据tid以及正确数据tod中删除了个体ob而得到的训练数据，也会生成除去影子sh的dnn。55.5.模拟模型56.群flk以及个体ob的模拟图像si能够使用群模型23(参照图15)以及个体模型24(参照图15)生成。群模型23是基于群flk的统计特性的模拟模型。个体模型24是基于个体ob的形态特征的模拟模型。以下，对模拟模型的概要进行说明。57.5-1.群模型58.图7是表示群模型23的一例的图。59.群模型23是例如在规定了分类、对齐以及结合这三个动作规则的boids模型中组合了表示喂食时的捕食动作的捕食者模型而生成的。在捕食者模型中，在适用分离的动作规则的混杂区域ca的外侧设定促使朝向与密集方向相反的方向移动的排斥区域ra。捕食者模型是通过模拟个体ob如何获得呈现在个体ob视野中的饵料而生成的(fishvisionsimulation)。捕食者模型还能够用于根据个体ob的种类以及笼子内的密度实现饵料的最优化。60.在群模型23中，例如将个体ob的排列度、群形成度、视角、最快速度、饵料识别速度、对饵料的贪恋度、持续吃饵料的时间(到饱腹为止的喂食量)、一次啄食饵料的时间、吃饵料时的移动速度、混杂区域ca的大小以及排斥区域ra的大小等设定为群flk的参数。这些参数根据个体ob的种类和大小而变化。61.图8是非喂食时的群flk的模拟图像si。图9是喂食时的群flk的模拟图像si。图10是非喂食时的群flk的拍摄图像ci。图11是喂食时的群flk的拍摄图像ci。62.如图8以及图10所示，在非喂食时，群flk大概按照分离、对齐以及结合这三个动作规则动作。因此，在狭窄的范围内大量个体ob密集。如图9以及图11所示，在喂食时，群flk按照分离、对齐、结合以及排斥这四个动作规则动作。排斥的动作规则导致群flk扩散，因此群flk的密度下降。63.如图10所示，在密集的群flk中，重叠而看不见的个体ob较多，因此难以计数准确的个体数。因此，根据图8示出的模拟图像si推算个体数。通过调整模拟的参数来改变群flk的形状和大小等。因此，通过调整参数信息直到模拟图像si接近实际数据，能够推算高精度的个体数。64.如图11所示，在喂食时群flk的密度下降。因此，也可以根据喂食时的拍摄图像推算个体数。在该情况下，重叠而看不见的个体ob的数量变少，因此容易计数。即使在与图9示出的模拟图像si进行比较时，由于群flk并不密集，因此容易进行比较。65.5-2.个体模型66.图12是表示个体模型24的一例的图。67.根据个体ob的身体结构生成个体模型24。例如使用肌肉骨骼模型作为个体模型24。肌肉骨骼sbm是通过对具有标准形状以及大小的个体ob进行解剖，并分析个体ob的骨骼、肌肉相对于骨骼的附着方式而获得的。在图12中，示出了鲟鱼的肌肉骨骼sbm。根据肌肉骨骼sbm再现了个体ob的基准模型rm。根据基准模型rm派生生成一个以上的变异模型mm1～mmn(n为1以上的整数)。基准模型rm以及变异模型mm1～mmn分别为个体模型24。个体模型24用作个体ob的分类信息。68.变异模型是形态上存在异常的个体ob的三维模型。众所周知，通过养殖而出生的个体ob几乎都存在身体异常(例如，鳍弯曲、鳍的形状变异、有内脏疾病)。因此，作为个体ob的变异模型，例如生成胸鳍异常(例如，胸鳍弯曲)、背鳍异常(例如，背鳍弯曲)、尾鳍异常(例如，尾鳍弯曲)、以及轮廓变异(例如，与通常个体相比头部轮廓变异)相关的模型等。此外，变异模型不限于上述的模型。根据个体ob的种类和个体ob所在的环境等个别确定生成何种变异模型。69.图13是表示个体ob的动作模拟的图。70.通过动作模拟获得的动作特征量与个体模型24建立关联。在鲟鱼的例子中，通过流体模拟对每个个体模型24提取游泳方法的特征量(动作特征量)。个体ob的游泳方法根据个体ob具备的形态特征而变化。例如，具有身体异常的个体ob以弥补异常的方式游泳。因此，每个个体模型24的游泳方法的特征量不同。游泳方法的特征量能够用作识别个体ob的参数信息。表示个体ob的动作特征量的参数信息与个体模型24建立关联，用作分类信息。71.图14是表示在鱼塘中饲养的鲟鱼的图。72.养殖场中的鲟鱼几乎都有某种身体上的异常。例如，个体ob1～个体ob4的胸鳍、背鳍以及尾鳍的形状不同，轮廓也稍有不同。因此，能够向每条鲟鱼分配与身体异常对应的变异模型。即使是被分配了相同的变异模型的鲟鱼，其身体异常程度也各不相同。因此，表示个体ob的动作特征量的参数信息也因鲟鱼而不同。因此，如果通过动作模拟检测到各个个体ob的参数信息，则能够根据检测到的参数信息识别各个个体ob。73.6.信息处理装置的结构74.图15是表示适用本公开的信息处理的信息处理装置1的一例的图。75.信息处理装置1是服务器等专用或者通用的计算机系统。上文叙述的图像解析用的dnn包含在分析模型21中。信息处理装置1具有处理装置10和存储装置20。处理装置10例如具有输入数据生成部11、正确数据生成部12、图像解析部13、模拟部14、以及推算部15。76.模拟部14使用模型信息22中规定的模拟模型生成三维的模拟图像si。模拟图像si使用cg技术将模拟结果再现为从某个摄像头角度观察到的图像。在模型信息22中例如规定群模型23、个体模型24以及异常行为模型25等。异常行为模型25是表示个体ob的异常行为的模拟模型。模拟部14根据这些模拟模型来生成群flk以及个体ob的模拟图像si。77.输入数据生成部11生成模拟所需的参数信息并输出至模拟部14。输入数据生成部11使用模拟部14通过计算机绘图生成作为输入数据tid的模拟图像si。78.正确数据生成部12根据在模拟中使用的参数信息生成标签信息。正确数据生成部12生成包括模拟图像si和标签信息的正确数据tod。正确数据生成部12能够根据在模拟中使用的个体ob的位置信息生成用于识别个体ob的图像元素ie。在该情况下，正确数据生成部12生成在模拟图像si附加了图像元素ie的修正图像csi，在修正图像csi附加标签信息而生成正确数据tod。79.通过输入数据生成部11以及正确数据生成部12生成大量训练数据。根据将上述的输入数据tid以及正确数据tod作为训练数据的机器学习来生成分析模型21。分析模型21例如包括用于解析个体ob的分类信息以及位置信息的dnn、用于解析群flk的参数信息的dnn、用于解析个体ob的参数信息的dnn、用于除去反射像mir的dnn、以及用于除去影子sh的dnn等。这些dnn进行与所要求的功能对应的适当的学习。机器学习的方法多种多样，能够使用rnn(recurrentneuralnetwork，循环神经网络)、deepreinforcementlearning(深度强化学习)以及transformer等。80.图像解析部13使用分析模型21进行拍摄图像ci的图像解析。图像解析部13通过图像解析从拍摄图像ci提取标签信息。图像解析部13根据所提取的标签信息提取需要的参数信息。81.推算部15将利用图像解析部13提取的参数信息输出至模拟部14。推算部15利用模拟部14生成基于所提取的参数信息的模拟图像si。推算部15计算模拟图像si与拍摄图像ci之间的差。在差不满足预先设定的条件时，推算部15修正参数信息并生成模拟图像si。推算部15反复进行参数信息的修正和模拟图像si的生成，直到差满足上述条件。推算部15根据修正到满足上述条件的参数信息，推算需要的信息。82.存储装置20例如存储处理装置10所执行的程序29、分析模型21、以及模型信息22。程序29是使计算机执行本公开的信息处理的程序。处理装置10按照存储于存储装置20的程序29进行各种处理。存储装置20也可以用作临时存储处理装置10的处理结果的工作区域。存储装置20例如包括半导体存储介质以及磁存储介质等任意的非瞬时性存储介质。存储装置20例如包括光盘、光磁盘或者闪存而构成。程序29例如存储在能够通过计算机读取的非瞬时性的存储介质中。83.处理装置10例如是由处理器和存储器构成的计算机。在处理装置10的存储器中包括ram(randomaccessmemory，随机存储器)以及rom(readonlymemory，只读存储器)。处理装置10通过执行程序29而发挥作为输入数据生成部11、正确数据生成部12、图像解析部13、模拟部14以及推算部15的作用。84.7.个体数的推算处理85.图16是表示群flk的个体数的推算处理的一例的图。86.分析模型21具有dnna、dnnb、dnnc以及dnnd。dnna是用于除去反射像mir的dnn。dnnb是用于除去影子sh的dnn。dnnc是用于提取个体ob的位置信息以及分类信息的dnn。dnnd是用于提取群flk的参数信息的dnn。87.dnnd的训练用的模拟图像si是使用群模型23而生成的群flk的模拟图像。dnnd的训练数据的标签信息是根据适用于群模型23的群flk的参数信息而生成的。如果向dnnd输入群flk的拍摄图像ci，则提取群flk的参数信息。dnnc从拍摄图像ci提取各个个体ob的种类、位置以及大小等信息。dnna以及dnnb分离拍摄图像ci中包含的噪声分量(反射像mir、影子sh)。88.图像解析部13使用分析模型21从群flk的拍摄图像ci提取标签信息。图像解析部13基于所提取的标签信息提取群flk的参数信息。推算部15根据群flk的参数信息推算群flk中包含的个体ob的数量。89.在上述的推算步骤中，首先，推算部15根据与群flk的参数信息、个体ob的种类、位置以及大小相关的信息生成群flk的模拟图像si。推算部15修正群flk的参数信息直到群flk的模拟图像si与拍摄图像ci之间的差diff满足预先设定的条件。差diff是基于拍摄图像ci的特征量与模拟图像si的特征量之间的差而计算出来的。推算部15根据修正到满足上述条件的群flk的参数信息推算个体ob的数量。90.在推算步骤中生成的模拟图像si中包含个体ob的反射像mir和影子sh。反射像mir的数量以及影子sh的浓度有可能是用于获得摄像头的死角位置的群flk的信息的线索。因此，在差diff中还包含在模拟图像si中包含的反射像mir以及影子sh与在拍摄图像ci中包含的反射像mir以及影子sh之间的差。通过进一步考虑反射像mir和影子sh的差的信息，能够推算高精度的个体数。91.在图16的例子中，使用非喂食时的图像作为拍摄图像ci以及模拟图像si。但是，拍摄图像ci以及模拟图像si还能够作为喂食时的群flk的图像。在适用捕食者模型的喂食时，与未适用捕食者模型的非喂食时相比，群flk的密度低。因此，重叠而看不见的个体ob变少。因此，精确地检测出模拟图像si与拍摄图像ci之间的差，也提高了个体数的推算精度。92.此外，dnnc检测个体ob的种类和大小。因此，信息处理装置1也可以具备输入单元，该输入单元用于输入作为计数对象的种类和尺寸。由此，用户能够仅计数特定种类或者特定大小的个体ob。93.8.个体的跟踪94.图17是表示个体的跟踪的一例的图。95.分析模型21具有dnna、dnnb、dnnc以及dnne。dnne是根据通过dnnc提取的各个个体ob的位置信息以及分类信息而在各个个体ob附加图像元素ie的dnn。96.图像解析部13在分析模型21中应用拍摄图像ci，在呈现在拍摄图像ci上的各个个体ob附加图像元素ie。在图17的例子中，对于每个个体ob附加不同的颜色元素作为图像元素ie。个体ob的颜色根据个体ob的大小以及形状等而不同。从个体ob的位置信息提取个体ob的大小。从个体ob的分类信息(形态特征)提取个体ob的形状。图像解析部13根据附加在个体ob的图像元素ie检测多个个体ob，并单独跟踪各个个体ob。97.9.个体的识别以及异常行为的识别98.图18是表示个体的识别方法以及异常行为的检测方法的一例的图。99.分析模型21具有dnna、dnnb、dnnc以及dnnf。dnnf是用于提取个体ob的参数信息的dnn。100.dnnf的训练用的模拟图像si是使用个体模型24生成的个体ob的模拟图像。根据应用于个体模型24的个体ob的参数信息生成dnnf的训练数据的标签信息。如果向dnnf输入个体ob的拍摄图像ci，则提取与个体ob的形态特征(个体模型24)对应的参数信息。101.图像解析部13使用分析模型21从拍摄图像ci提取各个个体ob的标签信息。图像解析部13基于个体ob的标签信息对每个个体ob提取个体ob的参数信息。提取的个体ob的参数信息中例如包含适用于个体ob的肌肉骨骼模型的肌肉参数的参数信息、以及与个体模型24相关联的表示个体ob的动作特征量的参数信息。推算部15根据各个个体ob的参数信息识别各个个体ob。102.在上述的识别步骤中，首先，推算部15根据个体ob的参数信息生成个体ob的模拟图像si。推算部15修正个体ob的参数信息直到个体ob的模拟图像与拍摄图像ci之间的差满足预先设定的条件。差diff是根据拍摄图像ci的特征量与模拟图像si的特征量之间的差计算出来的。推算部15根据修正到满足上述条件的个体ob的参数信息识别个体ob。103.能够通过使用了个体ob的视网膜参数的模拟来识别异常行为。视网膜参数例如是表示从个体ob观察到的事件的发生方向与个体ob的移动方向之间的关系的参数。例如，在饵料落到个体ob的前方时，如果个体ob朝向与饵料所在的方向完全无关的方向移动，则能够推算个体ob存在异常。另外，有内脏疾病的鲟鱼有时对饵料不感兴趣，表现出如不自然地漂浮在水面附近这样的异常行为。在这样的情况下，将拍摄图像ci代入到异常行为模型25中并提取视网膜参数，通过将视网膜参数与预先设定的基准值进行比较，由此能够检测个体ob的异常。104.异常行为的检测还有助于检测因过度喂饵料导致的身体状况不佳。因此，还能够实现根据异常行为的检测结果调整喂食量或者使喂食量最优化。105.10.信息处理方法106.图19是表示本公开的信息处理方法的一例的流程图。107.在步骤s1中，输入数据生成部11通过cg生成作为输入数据tid的模拟图像si。108.在步骤s2中，正确数据生成部12根据在模拟中使用的参数信息生成标签信息。109.在步骤s3中，正确数据生成部12生成包括模拟图像si和标签信息的正确数据tod。110.在步骤s4中，处理装置10根据将输入数据tid以及正确数据tod作为训练数据的机器学习生成分析模型21。111.在步骤s5中，图像解析部13使用分析模型21从拍摄图像ci提取标签信息。112.在步骤s6中，图像解析部13从所提取的标签信息提取需要的参数信息。113.在步骤s7中，将利用图像解析部13所提取的参数信息输出至模拟部14。推算部15使用模拟部14生成基于所提取的参数信息的模拟图像si。114.在步骤s8中，推算部15计算模拟图像si与拍摄图像ci之间的差，在差不满足预先设定的条件的情况下，修正参数信息并生成模拟图像si。推算部15反复进行参数信息的修正和模拟图像si的生成，直到差满足上述条件。115.在步骤s9中，推算部15根据修正到满足上述条件的参数信息推算需要的信息。116.11.硬件结构117.图20是表示信息处理装置1的硬件结构的一例的图。118.信息处理装置1例如通过图20所示的计算机系统1000实现。计算机系统1000具有cpu1100、ram1200、rom1300、hdd1400、通信接口(i/f)1500、输入/输出接口(i/f)1600以及介质接口(i/f)1700。119.cpu1100根据储存在rom1300或者hdd1400中的程序而动作，进行各部的控制。rom1300储存计算机系统1000启动时由cpu1100执行的引导程序和依赖于计算机系统1000的硬件的程序等。120.hdd1400储存由cpu1100执行的程序以及由该程序使用的数据等。通信接口1500经由通信网nw从其他设备接收数据并发送至cpu1100，将cpu1100生成的数据经由通信网nw发送至其他设备。121.cpu1100经由输入/输出接口1600对显示器和打印机等输出装置以及键盘和鼠标等输入装置进行控制。cpu1100经由输入/输出接口1600从输入装置获取数据。另外，cpu1100将生成的数据经由输入/输出接口1600输出至输出装置。122.介质接口1700对储存在记录介质1800中的程序或者数据进行读取，并经由ram1200提供至cpu1100。cpu1100将该程序经由介质接口1700从记录介质1800装载到ram1200上，并执行装载的程序。记录介质1800例如是dvd(digitalversatiledisc，数字多功能光盘)、pd(phasechangerewritabledisk，相变可重写磁盘)等光学记录介质、mo(magneto-opticaldisk，磁光盘)等光磁记录介质、带介质、磁记录介质、或者半导体存储器等。123.例如，在计算机系统1000用作本公开的信息处理装置1发挥作用的情况下，计算机系统1000的cpu1100通过执行装载到ram1200上的程序而实现处理装置10的功能。在hdd1400储存有存储装置20内的数据。计算机系统1000的cpu1100从记录介质1800读取这些程序并执行，但是作为其他例子，也可以经由通信网nw从其他装置获取这些程序。124.12.效果125.如上文所述，本公开的信息处理方法具有输入数据生成步骤和正确数据生成步骤。输入数据生成步骤通过计算机绘图生成作为输入数据tid的模拟图像si。正确数据生成步骤根据在模拟中使用的参数信息生成标签信息，并生成包括模拟图像和标签信息的正确数据tod。本公开的程序29使计算机实现上述的信息处理。本公开的信息处理装置1实施上述的信息处理。126.根据该结构，根据在模拟中使用的参数信息生成正确数据tod的标签信息。因此，标签信息的精度较高。因此，容易生成高精度训练数据。127.本公开的信息处理方法具有分析模型生成步骤。分析模型生成步骤根据将输入数据tid以及正确数据tod作为训练数据的机器学习生成分析模型21。128.根据该结构，用于生成输入数据tid的cg的坐标信息等反映在标签信息中。因此，经由通过训练获得的分析模型21精确地提取呈现在拍摄图像ci上的个体ob的位置、形状、大小、以及群flk的参数信息等。129.本公开的信息处理方法具有标签信息提取步骤、参数信息提取步骤、模拟图像生成步骤、参数信息修正步骤以及推算步骤。标签信息提取步骤使用分析模型21从拍摄图像ci提取标签信息。参数信息提取步骤基于标签信息提取参数信息。模拟图像生成步骤根据参数信息生成模拟图像si。参数信息修正步骤修正参数信息直到模拟图像与拍摄图像ci之间的差满足预先设定的条件。推算步骤根据修正到满足上述条件的参数信息推算信息。130.根据该结构，使用分析模型21提取的参数信息根据模拟图像si与拍摄图像ci之间的差的信息进行修正。因此，获得与实际数据(拍摄图像ci)良好地匹配的参数信息。并且，由于根据修正后的参数信息推算需要的信息，因此提高了信息的推算精度。131.模拟图像si是使用基于群flk的统计特性的群模型23而生成的群flk的模拟图像。根据应用于群模型23的群flk的参数信息生成标签信息。132.根据该结构，根据群flk的拍摄图像ci精确地提取群flk的参数信息。133.本公开的信息处理方法具有标签信息提取步骤、参数信息提取步骤、以及推算步骤。标签信息提取步骤使用分析模型21从群flk的拍摄图像ci提取标签信息。参数信息提取步骤基于所提取的标签信息提取群flk的参数信息。推算步骤根据群flk的参数信息推算群flk中包含的个体ob的数量。134.根据该结构，精确地推算群flk的个体数。135.推算步骤具有模拟图像生成步骤、参数信息修正步骤以及固定数推算步骤。模拟图像生成步骤根据群flk的参数信息生成群flk的模拟图像si。参数信息修正步骤修正群flk的参数信息，直到群flk的模拟图像si与拍摄图像ci之间的差满足预先设定的条件。固定数推算步骤根据修正到满足上述条件的群flk的参数信息推算个体ob的数量。136.根据该结构，使用分析模型21提取的参数信息根据模拟图像si与拍摄图像ci之间的差的信息进行修正。因此，获得与实际数据(拍摄图像ci)良好地匹配的参数信息。并且，由于根据修正后的参数信息推算个体数，因此精确地推算个体数。137.群flk的模拟图像si是喂食时的群flk的模拟图像。138.根据该结构，在适用捕食者模型的喂食时，与未适用捕食者模型的非喂食时相比，群flk的密度低。因此，重叠而看不见的个体ob变少。因此，精确地检测出模拟图像si与拍摄图像ci之间的差，也提高了个体数的推算精度。139.模拟图像si是使用基于个体ob的形态特征的个体模型24而生成的个体ob的模拟图像。根据适用于个体模型24的个体ob的参数信息生成标签信息。140.根据该结构，从个体ob的拍摄图像ci精确地提取个体ob的参数信息。141.本公开的信息处理方法具有标签信息提取步骤、参数信息提取步骤、以及个体识别步骤。标签信息提取步骤使用分析模型21从拍摄图像ci提取各个个体ob的标签信息。参数信息提取步骤基于个体ob的标签信息对每个个体ob提取个体ob的参数信息。个体识别步骤根据各个个体ob的参数信息识别各个个体ob。142.根据该结构，精确地识别个体ob。143.识别步骤具有模拟图像生成步骤、参数信息修正步骤以及个体识别步骤。模拟图像生成步骤根据个体ob的参数信息生成个体ob的模拟图像si。参数信息修正步骤修正个体ob的参数信息直到个体ob的模拟图像si与拍摄图像ci之间的差满足预先设定的条件。个体识别步骤根据修正到满足上述条件的个体ob的参数信息识别个体ob。144.根据该结构，使用分析模型21提取的参数信息根据模拟图像si与拍摄图像ci之间的差的信息进行修正。因此，获得与实际数据(拍摄图像ci)良好地匹配的参数信息。并且，由于根据修正后的参数信息识别个体ob，因此个体ob的识别精度较高。145.个体ob的参数信息包括适用于个体ob的肌肉骨骼模型的肌肉参数的参数信息、以及表示个体ob的动作特征量的参数信息。146.根据该结构，根据个体ob的形态特征以及动作特征两者精确地识别个体ob。147.本公开的信息处理方法具有异常检测步骤。异常检测步骤将个体ob的拍摄图像ci代入到异常行为模型25中并检测个体ob的异常。148.根据该结构，能够掌握所识别的个体ob的健康状态。149.正确数据生成步骤具有图像元素生成步骤、修正图像生成步骤以及数据生成步骤。图像元素生成步骤根据在模拟中使用的个体ob的位置信息生成用于识别个体ob的图像元素ie。修正图像生成步骤生成在模拟图像si附加了图像元素ie的修正图像csi。数据生成步骤在修正图像csi附加标签信息并生成正确数据tod。150.根据该结构，在模拟图像si的适当位置精确地附加图像元素ie。另外，自动进行图像元素ie的附加工作，因此正确数据tod的生成工作变得容易。151.图像元素包括包围个体ob的框架元素或者利用颜色识别个体ob的颜色元素。152.根据该结构，明确地将个体ob从其他图像区域中划分出来。153.本公开的信息处理方法具有图像元素附加步骤和跟踪步骤。图像元素附加步骤在分析模型21中应用拍摄图像ci，在呈现在拍摄图像ci的各个个体ob附加图像元素ie。跟踪步骤根据附加在各个个体ob的图像元素ie单独跟踪各个个体ob。154.根据该结构，容易将图像元素ie作为线索进行跟踪。155.13.其他156.图示的各装置的各构成元素是功能概念性的，物理结构上不一定需要如图示那样构成。即，各装置的分布/集成的具体方式不限于图示的那些，可以根据各种负载和使用状况等，通过在任意单元中功能性地或者物理性地分布/集成它们中的全部或者一部分来构成。157.以上根据一些附图对本技术的实施方式进行了详细说明，但这是例示性的，能够以
发明内容栏中记载的方式为基础，根据本领域技术人员的知识，以各种变形、实施改良的其他方式实施本发明。158.在上述实施方式中，对使用cg的训练数据的生成方法进行了说明，但是该方法不限于上述的例子，有助于提高所有计算机视觉的识别率。使用cg的精巧的肌肉骨骼模拟的方法不限于鲟鱼，还能够应用于人以及马等。由此，能够将使用ai(artificialintelligence，人工智能)的上述方法广泛应用于各种各样的领域中。当前第1页12当前第1页12