设备控制系统的制作方法

本发明涉及设备控制系统(devicecontrolsystem)。

背景技术：

一般来说，在设备控制系统中，控制移动体、机器人等的运动体或者照明设备、空气调节设备等的电子设备等的受控设备，根据利用传感器得到的传感器信号，通过控制器进行自动控制，或者根据来自用户的指令进行手动控制。

例如，在一种悬浮移动系统中，对于作为受控设备的飞行体及其周边区域，利用将周边区域外部的空气的流动假设为稳定流的流固耦合分析(fluidstructureinteractionanalysis)计算飞行体机体的移动，确定飞行体的举动并预测其路径，进行翼片的驱动而接近目标路径(例如请参照专利文献1)。另外，例如，在作为受控设备的一种汽车中，根据各种传感器的传感器信号进行自动驾驶(例如请参照专利文献2)。进而，例如，在作为受控设备的一种作业机器人中，根据各种传感器的传感器信号，控制驱动器或电动机从而进行特定的动作。进而，例如，在智能住宅(smarthouse)中，根据各种传感器的传感器信号，控制宅内电子设备(照明设备、空气调节设备等)(例如请参照专利文献3)。

【现有技术文献】

【专利文献】

专利文献1：日本专利，特开2005-263073号公报

专利文献2：日本专利，特开2018-106438号公报

专利文献3：日本专利，特开2013-169104号公报

然而，在上述的系统中，是根据传感器信号控制受控设备，因此，存在着受控设备未被最优化控制的可能性。

例如，存在着控制中没有考虑未直接表达在传感器信号中的受控设备的状态信息、受控设备周边环境的状态信息等的可能性。

另外，例如，当按照特定的计算模型并根据传感器信号计算状态信息，并根据该状态信息进行控制时，存在着未考虑源于该计算模型的状态信息的计算值的误差的可能性。

技术实现要素：

本发明是鉴于上述问题而完成的，其目的在于得到一种：受控设备被适当地控制的控制系统。

本发明涉及的设备控制系统，具备：固定在某一环境区域内或在该固定移动的受控设备、设置于环境区域或受控设备且测量特定物理量并输出与所测量物理量对应的实际传感器信号的传感器部、以及根据实际传感器信号控制受控设备的控制器。控制器具备：(a)将受控设备和环境区域中的至少一者的特定的状态信息作为模拟条件，进行环境区域内的特定事件的模拟并推导出模拟结果，并且，根据模拟结果，虚拟地测量特定物理量并生成与实际传感器信号对应的虚拟传感器信号的模拟器、(b)根据实际传感器信号和虚拟传感器信号更新模拟条件的模拟条件更新部、以及(c)根据模拟条件和模拟结果中的至少一者，生成受控设备的控制信号的控制信号生成部。而且，直至实际传感器信号和虚拟传感器信号之间的传感器误差满足规定条件而收敛为止，反复地进行如下处理：(a)使模拟器进行模拟以及虚拟传感器信号的生成，(b)使模拟条件更新部进行模拟条件的更新。

本发明涉及的设备控制方法，包括：从传感器部取得实际传感器信号的步骤，其中，该传感器部设置于固定在某一环境区域内或在该环境区域内移动的受控设备或者环境区域且测量特定物理量并输出与所测量物理量对应的实际传感器信号；将受控设备和环境区域中的至少一者的特定的状态信息作为模拟条件，进行环境区域内的特定事件的模拟并推导出模拟结果的步骤；根据模拟结果，虚拟地测量特定物理量并生成与实际传感器信号对应的虚拟传感器信号的步骤；根据实际传感器信号和虚拟传感器信号更新模拟条件的步骤；根据模拟条件和模拟结果中的至少一者，生成受控设备的控制信号的步骤。而且，直至实际传感器信号和虚拟传感器信号之间的传感器误差满足规定条件而收敛为止，反复地进行模拟及虚拟传感器信号的生成、以及模拟条件的更新。

本发明涉及的设备控制程序，使计算机作为上述控制器进行工作。

(发明效果)

根据本发明，可以得到能够适当地控制受控设备的控制系统等。

本发明的上述或其他的目的、特征以及优点，在附图的基础上结合以下的详细说明将更加清楚。

附图说明

图1是表示本发明实施方式一涉及的设备控制系统的构成的图。

图2是表示图1中的受控设备和控制器的电气结构的框图。

图3是表示图2的控制器中实现的处理部的构成的框图。

图4是对实施方式一涉及的设备控制系统的动作进行说明的流程图。

图5是表示本发明实施方式二涉及的设备控制系统的构成的图。

图6是对实施方式二涉及的设备控制系统的动作进行说明的流程图。

图7是表示本发明实施方式三涉及的设备控制系统中的受控设备的立体图。

图8是对本发明实施方式三涉及的设备控制系统中的模拟进行说明的图。

图9是表示实施方式三中的环境区域env的另一例的立体图。

图10是表示本发明实施方式四涉及的设备控制系统中的受控设备的立体图。

图11是对本发明实施方式四涉及的设备控制系统中的模拟的一例进行说明的图。

图12是对本发明实施方式四涉及的设备控制系统中的模拟的另一例进行说明的图。

图13是表示本发明实施方式五涉及的设备控制系统中的受控设备的立体图。

图14是对本发明实施方式五涉及的设备控制系统中的模拟进行说明的图。

图15是表示本发明实施方式六涉及的设备控制系统中的受控设备的立体图。

图16是对本发明实施方式六涉及的设备控制系统中的模拟进行说明的图。

图17是对本发明实施方式六涉及的设备控制系统中的其他自律动作物体的模拟进行说明的图。

具体实施方式

以下，根据附图对本发明的实施方式进行说明。

【实施方式一】

图1是表示本发明实施方式一涉及的设备控制系统(devicecontrolsystem)的构成的图。图1中所示的设备控制系统具备受控设备1和控制器2。

受控设备1具备进行各种动作的动作部1a，该受控设备1是(a)固定在环境区域env内且按照电气控制驱动动作部1a的物体(至少一部分结构可动的运动体、控制电气设备的系统等)、或者(b)在环境区域env内移动且按照电气控制驱动动作部1a的物体(即移动体)。

另外，环境区域env是受控设备1所存在的空间，在此，该环境区域env的尺寸或形状预先被设定。关于环境区域env，其可以是静止型的，也可以是移动型的。例如，当受控设备1为移动体时，可以使环境区域env随着受控设备1的移动而进行移动，也可以使环境区域env与受控设备1的移动无关地处于静止状态。

另外，在图1中，为了方便说明，将受控设备1、环境区域env等图示为立方体，但是，受控设备1、环境区域env等的形状或尺寸并未特别限定。例如，环境区域env可以为包含在规定摄像机的视场内的区域的一部分(例如，离摄像机规定距离范围内的部分)。

进而，图1中所示的设备控制系统具备设置于受控设备1的传感器部11、以及设置于环境区域env内部(受控设备1外部)的传感器部31。传感器部11、31具备一个或多个传感器、信号处理电路以及通信电路等，该传感器部11、31利用传感器测量特定物理量(可直接或间间接地使用于受控设备1的控制中的物理量)，并利用信号处理电路、通信电路等输出与所测量物理量对应的实际传感器信号。

另外，控制器2是根据传感器部11、31的实际传感器信号控制受控设备1的电子设备。控制器2可以设置于受控设备1的外部，也可以设置于受控设备1的内部。另外，当控制器2设置于受控设备1的外部时，规定通信标准的数据通信电路分别设置于控制器2和受控设备1，以能够在控制器2和受控设备1之间进行无线或有线的数据通信。

图2是表示图1中的受控设备1和控制器2的电气结构的框图。

在图2中，受控设备1具备上述动作部1a、上述传感器部11以及控制部12。

动作部1a是(a)利用电力进行机械运动的内部设备(例如，电动机、驱动器(actuator)等)、(b)向环境区域env发出光、声、热等的、不进行机械运动而是进行电气工作从而对环境区域env起作用的内部设备(例如，照明、热源、音响输出装置等)等。控制部12是根据来自控制器2的控制信号对动作部1a进行电气控制的电子电路。

另外，关于传感器部11，如图2中所示，可以直接将实际传感器信号向控制器2发送，也可以由控制部12从传感器部11接收实际传感器信号并向控制器2发送。

另外，在图2中，控制器2具备运算处理装置21、存储装置22以及接口部23。

运算处理装置21是具备cpu(centralprocessingunit)、rom(readonlymemory)、ram(randomaccessmemory)等的计算机，该运算处理装置21通过从rom、存储装置22等中读出程序后下载至ram中，并由cpu执行该程序，能够作为各种处理部进行工作。运算处理装置21也可以具备用于高速进行后述模拟运算处理的、专用加速器芯片(acceleratorchip)、gpu(graphicsprocessingunit)等的专用运算电路。

存储装置22是闪存器、硬盘驱动器等的非易失性的存储装置，该存储装置22中存储有后述处理中所需的数据或程序。存储装置22中存储有设备控制程序(devicecontrolprogram)22a。另外，设备控制程序22a也可以存储于具有可移动性且计算机可读形式的记录介质(微型光盘等)中，并从该记录介质安装于存储装置22中。

接口部23是进行与受控设备1(具体为传感器部11、控制部12等)或传感器部31之间的连接(即，实际传感器信号、控制信号等的发送或接收)的电子电路。当控制器2配置于受控设备1的外部时，接口部23中包含上述的数据通信电路(外部设备接口、网络接口等)。另外，当设有外部的传感器部31时，接口部23利用这样的数据通信电路进行实际传感器信号用的无线或有线的数据通信。另外，当控制器2内置于受控设备1中时，接口部23具备例如控制器2的i/o(input/output)电路。

图3是表示图2的控制器2中实现的处理部的构成的框图。在控制器2中，运算处理装置21通过运行设备控制程序，作为模拟条件初始设定部41、模拟条件更新部42、模拟器43、控制信号生成部44以及控制部45进行工作。

模拟条件初始设定部41从实际传感器信号推导出模拟条件(后述的未知部分)的初始值。

例如，模拟条件初始设定部41具备机器学习(machinelearning)后的深度神经网络(deepneuralnetwork，以下称为dnn)，利用该机器学习后的dnn，推导出与多个实际传感器信号的值对应的、作为模拟条件(未知部分)的一个或多个状态信息的初始值。即，实际传感器信号的值成为机器学习后dnn的输入值，通过进行机器学习后dnn的运算处理，可以得到模拟条件的初始值。

另外，关于模拟条件初始设定部41中的dnn的机器学习，是利用多个学习数据进行，各学习数据是通过实验预先作为实际的实际传感器信号的值和模拟条件的测量值(或者，利用规定的模型等得到的值)的组合而得到。

另外，例如，在时间序列中的各时间步(timestep)中，为了生成控制信号而反复进行模拟(simulation)时，某一时间步中的模拟条件(未知部分)的初始值，可以是根据最近过去的一个或多个时间步的模拟条件(未知部分)的确定值推断出的值等。

模拟条件更新部42根据实际传感器信号和与其对应的虚拟传感器信号(后述)更新模拟器43的模拟条件。

另外，如图3中所示，模拟条件是模拟的运算处理中所要求的限制条件值，其包括：(a)预先固定设定的条件、利用传感器部11、31直接检测出的条件等的已知条件(以下，称为已知部分)、以及(b)已知条件以外的其他未知条件(以下，称为未知部分)。

模拟条件更新部42，对模拟条件的未知部分进行更新，对模拟条件的已知部分不进行更新。

在本实施方式中，模拟条件更新部42具备传感器误差计算部42a，该模拟条件更新部42根据实际传感器信号和与其对应的虚拟传感器信号(后述)之间的传感器误差，设定模拟器43的模拟条件并进行更新。传感器误差计算部42a作为传感器误差计算出传感器部11、31的实际传感器信号和与其对应的虚拟传感器信号(后述)之间的误差。另外，传感器部11、31中的传感器的数量并未特别限定，因此，实际传感器信号的数量与传感器部11、31中的传感器的数量相同，是一个或多个。

例如，模拟条件更新部42具备机器学习后的dnn，利用该机器学习后的dnn，推导出与多个实际传感器信号相关的传感器误差的值相对应的、模拟条件(未知部分)(或其修正量)。即，传感器误差的值成为机器学习后dnn的输入值，通过进行机器学习后dnn的运算处理，可以得到模拟条件的值。另外，例如，也可以构成为：作为针对该机器学习后dnn的输入，不使用传感器误差，而是使用实际传感器信号和虚拟传感器信号，从而得到模拟条件的值。另外，此时，作为针对机器学习后dnn的输入，也可以追加当前(即更新前)的模拟条件的值。

模拟条件更新部42中的dnn的机器学习，是利用多个学习数据进行。当作为针对dnn的输入而使用传感器误差时，各学习数据是通过实验，使用实际的实际传感器信号的值，预先作为与实际传感器信号的值对应的任意的误差(即，相对于任意的虚拟传感器信号的值的误差)和与该虚拟传感器信号的值对应的模拟条件的值(或其修正量)的组合而得到。另外，当作为针对dnn的输入而使用实际传感器信号和虚拟传感器信号时，各学习数据是通过实验，预先使用实际的实际传感器信号的值，将对实际传感器信号的值赋予任意误差后的值作为虚拟传感器信号的值，确定与该虚拟传感器信号的值对应的模拟条件的值(或其修正量)，并作为该实际传感器信号的值及虚拟传感器信号的值和该模拟条件的值的组合而得到。

模拟器43进行如下处理：(a)将受控设备1和环境区域env中的至少一者的特定状态信息作为模拟条件，进行环境区域env内的特定事件的模拟(物理模拟等)并推导出模拟结果，(b)根据该模拟结果，虚拟地测量特定物理量并生成与实际传感器信号对应的虚拟传感器信号。即，利用虚拟传感器对作为模拟结果而得到的事件进行测量时得到的值成为虚拟传感器信号，其中，该虚拟传感器模拟了传感器部11、31的各传感器的配置或规格。

另外，模拟条件中所使用的特定的状态信息，可以是连续值的变数，也可以是分类(class)等的离散值的变数。

控制信号生成部44按照上述模拟条件(即，上述已知部分和未知部分。关于未知部分，是通过反复计算得到的上述特定的状态信息的确定值)生成受控设备1的控制信号。

例如，控制信号生成部44利用规定的计算模型或专家系统(expertsystem)(利用基于规则库或知识库的推理机推断适当的解的系统)等，根据作为该模拟条件的特定状态信息的值生成受控设备1的控制信号。

控制部45控制实际传感器信号的取得、上述模拟的进行以及控制信号的输出等。另外，控制部45反复地进行以下(a)和(b)的处理，直至传感器误差收敛为止，其中，(a)使模拟器43进行模拟以及虚拟传感器信号的生成，(b)使模拟条件更新部42进行模拟条件的更新。

接下来，对实施方式一涉及的设备控制系统的动作进行说明。图4是对实施方式一涉及的设备控制系统的动作进行说明的流程图。

按照经由未图示的用户界面输入的规定的用户操作，控制部45开始该设备控制系统的工作，对模拟器43设定模拟条件的已知部分。另外，该已知部分是从传感器部11、31的实际传感器信号得到的数据、预先存储在存储装置22等中而被准备的数据等。

控制部45，首先，从传感器部11、31取得某一时点上的实际传感器信号(步骤s1)，模拟条件初始设定部41根据所取得的实际传感器信号确定模拟条件的初始值，并设定于模拟器43中(步骤s2)。然后，模拟器43根据模拟条件(未知部分)的初始值和模拟条件(已知部分)，进行规定的模拟运算处理，并推导出虚拟传感器信号的初始值。

接下来，传感器误差计算部42a作为传感器误差计算出所取得的实际传感器信号和当前的虚拟传感器信号之差(步骤s3)。

然后，控制部45判断该传感器误差是否满足规定的判断条件(步骤s4)，并且，当该传感器误差满足规定的判断条件时，结束模拟条件的反复更新，而当该传感器误差不满足规定的判断条件时，如下所述那样进行模拟条件的更新。例如，该判断条件是：所有实际传感器信号相关的误差的平方的总和或者平均小于规定的阈值。即，当模拟条件为适当的条件且虚拟传感器信号足够接近实际传感器信号时，结束模拟条件的反复更新。

当传感器误差不满足收敛条件时，对模拟条件更新部42输入所有实际传感器信号的传感器误差，利用dnn计算模拟条件的各值的修正量(或其更新后的值)，并且，根据该计算结果，更新模拟条件(未知部分)(步骤s5)。

然后，在每次更新模拟条件时，模拟器43进行上述的模拟运算处理(步骤s6)，并且，根据模拟结果，重新生成虚拟传感器信号(步骤s7)。

然后，返回步骤s3，传感器误差计算部42a生成重新生成的虚拟传感器信号和已取得实际传感器信号之间的传感器误差。然后，如上所述，反复地进行模拟条件的更新、模拟、虚拟传感器信号的生成以及传感器误差的计算，直至传感器误差满足上述判断条件为止(步骤s3～步骤s7)。

另一方面，当传感器误差满足上述判断条件时，控制部45在该时点上确定模拟条件的值，控制信号生成部44根据所确定模拟条件和与所确定模拟条件对应的模拟结果中的至少一者生成控制信号，并向受控设备1输出(步骤s8)。

例如，当受控设备1为进行机械动作的运动体时，如后所述那样，控制信号生成部44根据上述模拟条件和模拟结果中的至少一者，进行该运动体的姿态控制、该运动体的路径搜索等。

例如，当受控设备1是作为运动体的、载人或无人飞行体(无人驾驶飞机、直升飞机、飞机、飞行汽车等)、面上移动体(地球表面上的汽车、海面上的船舶等)等的移动体时，控制信号生成部44根据上述模拟条件和模拟结果中的至少一者，进行如下处理：(a)进行该移动体的路径搜索，生成与通过路径搜索得到的路径对应的控制信号，并向受控设备1输出，或者(b)根据控制信号进行该移动体的姿态控制。

例如，当受控设备1是作为运动体的作业机器人时，控制信号生成部44根据上述模拟条件和模拟结果中的至少一者，进行如下处理：(a)进行该作业机器人的可动部位的移动路径的搜索，生成与通过路径搜索得到的路径对应的控制信号，并向受控设备1输出，或者(b)根据控制信号进行该作业机器人的姿态控制。

然后，控制部45按照用户对未图示的用户界面进行的操作，判断是否结束对受控设备1动作的控制(步骤s9)，当判断为结束控制时，结束受控设备1的控制，而当判断为不结束控制时，返回步骤s1，取得下一个时点(下一个时间步)的实际传感器信号，对该实际传感器信号进行步骤s2及其之后步骤的同样的处理，并生成与该实际传感器信号对应的控制信号。

如此，传感器误差计算部42a、模拟条件更新部42以及模拟器43，对某一时点上的实际传感器信号反复地进行上述模拟条件的更新等，直至成立规定的判断条件而传感器误差收敛为止，并且，当传感器误差收敛时，模拟条件的值被确定，根据所确定的模拟条件的值生成控制信号。

如上所述，根据上述实施方式一，传感器部11、31设置于环境区域env或受控设备1，且测量特定物理量并输出与所确定物理量对应的实际传感器信号。控制器2根据该实际传感器信号控制受控设备1。然后，控制器2具备：(a)模拟器43，其将受控设备1和环境区域env中的至少一者的特定状态信息作为模拟条件，进行环境区域env内的特定事件的模拟并推导出模拟结果，并且，根据该模拟结果，虚拟地测量特定物理量并生成与实际传感器信号对应的虚拟传感器信号，(b)模拟条件更新部42，其根据实际传感器信号和虚拟传感器信号更新模拟条件，(c)控制信号生成部44，其根据模拟条件和模拟结果生成受控设备1的控制信号。然后，直至实际传感器信号和虚拟传感器信号之间的传感器误差收敛为止，反复地进行如下处理：(a)使模拟器43进行模拟以及虚拟传感器信号的生成，(b)使模拟条件更新部42更新模拟条件。

由此，能够得到利用基于上述模拟的反馈循环(feedbackloop)使实际世界和模拟结果足够接近状态下的模拟条件的确定值，从而能够根据作为模拟条件的确定值而得到的状态信息，适当地控制受控设备1。

【实施方式二】

图5是表示本发明实施方式二涉及的设备控制系统的构成的图。如图5中所示，在实施方式二涉及的设备控制系统中，当在环境区域env内，除了受控设备1之外，还存在其他自律动作物体61(即，不依靠控制器2的控制，而是自律地进行动作的物体)时，进行该其他自律动作躯体61的意图推理，并且，考虑到该意图推理的结果，生成受控设备1的控制信号。

即，控制信号生成部44是根据规定的控制模型(上述的计算模型或专家系统等)按照模拟条件生成控制信号并决定受控设备的动作，此时，在实施方式二中，控制信号生成部44进行如下处理：(a)当环境区域env内存在其他自律动作物体61时，在与该控制模型相同的控制模型中假设为自律动作物体61决定自身的动作，来推断自律动作物体61的动作，(b)考虑到所推断的自律动作物体61的动作，生成受控设备1用的控制信号。

具体而言，控制信号生成部44进行如下处理：(a)根据传感器部11、31的实际传感器信号、所确定的模拟条件、相对应的模拟结果等，推断出自律动作物体61的状态信息的值(相当于上述模拟条件)，(b)根据所推断的状态信心的值，利用其控制模型预测自律动作物体61的动作，(c)考虑到所预测的其他自律动作物体61的动作而生成控制信号，使得受控设备1的动作不会与其他自律动作物体61的动作发生冲突(物理碰撞等)。

此时，当自律动作物体61为与该受控设备1相同种类的物体时，可以构成为：控制信号生成部44将该自律动作物体61的状态信息作为上述的模拟条件，使模拟器43进行与该受控设备1相同的模拟并推导出模拟结果，并且，根据该模拟条件和模拟结果中的至少一者，利用上述的控制模型预测自律动作物体61的动作。

另外，当自律动作物体61为与该受控设备1不同种类的物体时，可以构成为：控制信号生成部44根据实际传感器信号、所确定的模拟条件、相对应的模拟结果等推断出与该自律动作物体61的类别对应的状态信息的值，将该自律动作物体61的状态信息作为上述的模拟条件，使模拟器43进行与该自律动作物体61的类别对应的模拟并推导出模拟结果，并且，根据该模拟条件和模拟结果中的至少一者，利用上述的控制模型预测自律动作物体61的动作。

接下来，对实施方式二涉及的设备控制系统的动作进行说明。图6是对实施方式二涉及的设备控制系统的动作进行说明的流程图。

在实施方式二中，控制信号生成部44进行图6中所示的处理，从而生成受控设备1用的控制信号。

在实施方式二中，在与实施方式一相同地确定模拟条件之后，控制信号生成部44判断环境区域env内是否存在其他自律动作物体61(步骤s21)。

例如，控制信号生成部44根据实际传感器信号(例如，通过传感器部11、31中的摄像机得到的可见拍摄图像信号)，判断环境区域env内是否存在其他自律动作物体61。另外，此时，控制信号生成部44也可以一并确定自律动作物体61的类别。

当判断为环境区域env内存在其他自律动作物体61时，控制信号生成部44根据传感器部11、31的实际传感器信号、上述模拟条件、上述模拟结果等，推断该自律动作物体61的状态信息(步骤s22)。

然后，控制信号生成部44将所推断的状态信息作为模拟条件，使模拟器43进行模拟(步骤s23)，并且，根据自律动作物体61用的模拟条件和模拟结果中的至少一者，推断自律动作物体61的动作(步骤s24)，并且，考虑到所推断的自律动作物体61的动作，生成受控设备1用的控制信号(步骤s25)。

另一方面，当判断为环境区域env内不存在其他自律动作物体61时，控制信号生成部44与实施方式一相同地生成控制信号(步骤s26)。

另外，关于实施方式二涉及的设备控制系统的其他构成和动作，与实施方式一相同，故省略其说明。

如上所述，根据上述实施方式二，控制信号生成部44进行如下处理：(a)当环境区域env内存在其他自律动作物体61时，在与受控设备1用的控制模型相同的控制模型中假设为其他自律动作物体61决定其他自律动作物体61的动作，来推断其他自律动作物体61的动作，(b)考虑到所推断的其他自律动作物体61的动作，生成受控设备1用的控制信号。

由此，能够考虑到其他自律动作物体61的动作，适当地控制受控设备1。

【实施方式三】

实施方式三涉及的设备控制系统，是实施方式一或二涉及的设备控制系统的一个具体例。图7是表示本发明实施方式三涉及的设备控制系统中的受控设备1的立体图。在实施方式三中，受控设备1是飞机、直升飞机、无人驾驶飞机、飞行汽车等的飞行体101。另外，该飞行体101可以是载人飞行体和无人飞行体中的任意一个。另外，该飞行体101可以是自动驾驶的飞行体、也可以是允许飞行员(驾驶员)的手动驾驶的半自动驾驶的飞行体。

在实施方式三中，传感器部11、31包括：(a)风速计及风压计、以及(b)具有ccd(charge-coupleddevice)、cmos图像传感器等的成像传感器的摄像机中的至少一者。该摄像机拍摄环境区域env的一部分(例如，飞行体101的前进方向部分)或全部。具体而言，在实施方式三中，传感器部11包括：(a)设置于飞行体101机体的机载风速计及机载风压计、(b)具有成像传感器的摄像机、(c)生成飞行体101前进方向的规定视场的距离图像的lidar或radar传感器、(d)检测飞行体101当前位置的位置检测传感器(例如，gps(globalpositioningsystem)传感器)、(e)转动体转速计、以及(f)检测飞行体101当前方向的陀螺传感器(gyrosensor)，并且，外部的传感器部31包括设置于结构物121等上的风速计及风压计。另外，作为机载风速计，使用例如热膜风速计(hotfilmanemometer)。

图8是对本发明实施方式三涉及的设备控制系统中的模拟进行说明的图。

在实施方式三中，模拟器43进行环境区域env内的流体模拟(fluidsimulation)。此时，使环境区域env内的流体为空气，利用将纳维尔-斯托克斯方程(navier–stokesequations)作为控制方程的有限元法、边界元法、差分法等或者粒子法等进行流体数值分析，由此，可以得到与例如图8中所示那样设定的模拟条件(环境区域env的边界条件等)对应的环境区域env内的风速分布和风压分布。此时，还一并分析源于转动体的旋转的飞行体101(或者，飞行体101的转动体)周边的规定局部区域中的空气的流动，由此，可以得到考虑了转动体的旋转的环境区域env内(尤其是飞行体101附近)的风速分布和风压分布。

另外，在上述的有限元法等的情况下，环境区域env通过网状物(mesh)被分割，离散地计算风速分布和风压分布。此时，也可以使环境区域env的规定局部区域以外的其他区域的网状物比规定局部区域的网状物粗。例如，可以构成为：将规定局部区域和环境区域env全域的网状物进行合成，形成粗糙度局部不同的网状物，并使用这样的网状物进行上述的流体数值分析。

在实施方式三中，模拟条件的已知部分是预先准备的数据或利用传感器直接测量的数据，在此，该模拟条件的已知部分，包括：环境区域env的三维地图(three-dimensionalmap)数据(环境区域env和环境区域env内的结构物121的形状数据)、飞行体101的规格数据(飞行体101的形状或推进力的强度等)、(飞行体101具有转动体时的)机体转动体状态数据(每单位时间的转速等)、机体姿态状态数据(机首的方向、俯仰、偏摆等)、机体位置数据等，并且，模拟条件的未知部分是动态地发生变化且无法通过传感器直接测量的数据，在此，该模拟条件的未知部分包括环境区域env的边界条件(边界上的各位置处的风速和风压)。

另外，关于该边界条件，为了减少自由度，在环境区域env的外缘的边界面上，可以使各面内的边界条件(风速和风压)固定。该情况下，自由度是：边界面的数量和风速、风压等的边界条件下的物理量的数量之乘积。

另外，当考虑流体的时间变化时，例如，模拟条件的已知部分中包含一个时间步前得到的模拟结果(环境区域env内的风速分布和风压分布)，根据该环境区域env内的风速分布和风压分布进行当前时间步的流体模拟。

另外，当不存在一个时间步前的模拟结果时，例如，根据所设定的边界条件，直至环境区域env内的风速分布和风压分布成为稳定状态为止，按照时间序列进行流体模拟，并且，将到达稳定状态的环境区域env内的风速分布和风压分布用作上述一个时间步前得到的模拟结果(环境区域env内的风速分布和风压分布)。

另外，在实施方式三中，与传感器部11的机载风速计及机载风压计、摄像机、lidar(laserimagingdetectionandranging)或radar传感器、以及传感器部31的机外风速计及机外风压计相对应地，作为虚拟传感器信号，生成虚拟机载风速计信号、虚拟机载风压计信号、虚拟可见拍摄图像信号、虚拟距离图像信号、虚拟机外风速计信号以及虚拟机外风压计信号。

虚拟机载风速计信号及虚拟机载风压计信号、以及虚拟机外风速计信号及虚拟机外风压计信号，与传感器部11、31(机载风速计及机载风压计、以及机外风速计及机外风压计)的规格相对应地，根据模拟结果的风速分布和风压分布被推导。虚拟可见拍摄图像信号例如是通过根据摄像机的规格(焦点距离等)，由摄像机(即飞行体101)的当前位置和方向确定摄像机视场，并根据三维地图数据确定映入摄像机视场的结构物121等的图像而得到。虚拟距离图像信号例如是通过根据lidar传感器或radar传感器(即飞行体101)的当前位置和方向，利用该当前位置和三维地图数据来确定到传感器视场内的物体为止的距离而得到。另外，关于作为实际传感器信号和虚拟传感器信号的图像信号，可以降低图像分辨率，或者实施各种图像处理(以下相同)。

另外，推断为某一测量位置处的风速及风压和边界条件之间某种程度的关联性，因此，期待通过上述的模拟条件更新部42的机器学习后的dnn，根据测量位置处的风速和风压的传感器误差，修正作为模拟条件的边界条件。

另外，存在产生上升气流或下降气流时特有的云的状态(云的形状、颜色等)，因此，推断为在可见拍摄图像中的云的状态和边界条件(这样的云存在位置的边界条件)之间存在着某种程度的关联性。因此，期待通过上述的模拟条件更新部42的机器学习后的dnn，根据测量位置处的可见拍摄图像的传感器误差，修正作为模拟条件的边界条件。

接下来，对实施方式三涉及的设备控制系统的动作进行说明。

在实施方式三中，控制器2从上述传感器部11、31取得实际传感器信号，并且，直至传感器误差收敛为止，反复地进行模拟条件(未知部分)的更新、流体模拟、虚拟传感器信号的生成以及传感器误差的计算，并确定模拟条件的值。

然后，在确定模拟条件的值之后，控制器2生成与所确定模拟条件的值对应的控制信号，并向飞行体101输出。

例如，控制器2通过根据所确定模拟条件中的边界条件数据和模拟结果的风速分布及风压分布进行路径搜索而确定适当的路径，生成沿着该路径飞行用的控制信号，并向飞行体101供给。

另外，在路径搜索中，例如，根据边界条件数据和模拟结果，路径被选择为：避开结构物121和大气状态差的位置(产生涡流的位置、存在上升气流或下降气流的位置)。

在此，对实施方式二中所示的自律动作物体61存在于环境区域env内的情况进行说明。该情况下，如实施方式二中所述，控制信号生成部44进行自律动作物体61的意图推理，并且，考虑到其结果，控制飞行体101的动作。

具体而言，例如如图7中所示，当作为其他自律动作物体61的飞行体161存在于环境区域env时，控制器2根据上述摄像机的可见拍摄图像信号，检测出环境区域env内的飞行体161。然后，当飞行体161与飞行体101为相同种类时(例如，两者均为无人驾驶飞机时)，控制器2的控制信号生成部44将所确定的作为模拟条件的边界条件设定为该自律动作物体61相关的模拟条件，并且，如实施方式二中所述那样，使模拟器43进行自律动作物体61相关的流体模拟(尤其是，自律动作物体61周边的局部区域中的流体模拟)。

然后，控制信号生成部44根据该流体模拟的结果，推断该飞行体161的动作(即，今后的飞行路线)，并且，考虑到所推断的飞行体161的飞行路线，(例如，以使两者不发生碰撞的方式)设定飞行体101的路径，并生成用于在该路径上飞行的控制信号。

图9是表示实施方式三中的环境区域env的另一例的立体图。另外，控制信号生成部44，也可以构成为：当生成飞行体101的姿态控制用的控制信号时，如图9中所示，将因为该飞行体101的驱动装置(螺旋桨等)发生的气流影响所及的区域设定于环境区域env中，将该飞行体101的较为附近的边界面上的边界条件作为模拟条件进行流体模拟，确定边界面的风(即，不受由飞行体101发出的气流影响的环境风)，生成与该环境风的风速、风压等对应的控制信号，并进行姿态控制。

另外，关于实施方式三涉及的设备控制系统的其他构成和动作，与实施方式一或二相同，故省略其说明。

另外，关于上述机体位置数据中的铅垂方向的位置(即高度)，当传感器部11的位置检测精度低时，可以将机体位置数据中的水平位置(维度经度)作为模拟条件的已知部分，将高度作为模拟条件的未知部分。

如上所述，根据上述实施方式三，能够根据模拟条件的确定值或与该模拟条件的确定值对应的模拟结果，适当地控制飞行体101。

【实施方式四】

实施方式四涉及的设备控制系统，是实施方式一或二涉及的设备控制系统的一个具体例。图10是表示本发明实施方式四涉及的设备控制系统中的受控设备1的立体图。在实施方式四中，受控设备1是在地球表面或水面上移动的汽车、摩托车、船舶等的面上移动体201，其沿着面进行二维移动。另外，图10中所例示的面上移动体201是汽车。另外，地球表面是三维空间内的平面或曲面。另外，面上移动体201的推进力可以使用电动机的动力，也可以使用内燃机的动力。

进而，在实施方式四中，受控设备1中的控制部12具有已知的自动驾驶方式的自动驾驶功能。在自动驾驶功能中，动作部1a(电动机或内燃机)被电子控制为：与周边的环境状态(相向而行的汽车的状态、接触地面状态等)相对应地，在目标路径上前进。因此，在实施方式四中，控制器2使用传感器部11、31按照下述方式识别本车的状态和周边的环境状态。

在实施方式四中，传感器部11、31包括具有成像传感器的摄像机。具体而言，在实施方式四中，传感器部11包括与实施方式三相同的具有成像传感器的摄像机以及lidar或radar传感器。摄像机输出可见拍摄图像信号。lidar或radar传感器输出距离图像信号。当面上移动体201为汽车时，传感器部11可以包括gps罗盘等的车体方向传感器、舵角传感器、测量车速矢量(车速的大小和方向)的车速传感器、偏航率传感器(yawratesensor)。另外，传感器部11还可以包括音响传感器(微音器等)、位置检测传感器(例如gps传感器)、陀螺传感器等。

(a)相向而行的移动体的移动模拟

图11是对本发明实施方式四涉及的设备控制系统中的模拟的一例进行说明的图。

在实施方式四中，例如，当根据基于实际传感器信号的可见拍摄图像和距离图像检测出环境区域env内的相向而行的移动体211(道路221上的相向而行的汽车等)时，模拟器43进行环境区域env内的相向而行的移动体的移动模拟。

在该移动模拟中，例如，设定图11中所示的模拟条件，根据三维地图数据、由例如位置检测传感器检测出的机体位置数据以及由可见拍摄图像及距离图像确定的相对距离数据，确定三维地图上的相向而行的移动体211的存在位置，确定该位置的路径形状(例如，平直道路、弯道、十字路口等的道路形状)，并且，以该相向而行的移动体211的状态，推断出相对于某一移动目标(向右转弯、向左转弯、一直前进、出发、停止等)，相向而行的移动体211处于何种位置(路径内的位置)以及取何种姿态(方向)。

另外，在实施方式四中，与传感器部11的摄像机、lidar或radar传感器相对应地，作为虚拟传感器信号，生成虚拟可见拍摄图像信号和虚拟距离图像信号。虚拟可见拍摄图像信号例如是通过根据摄像机的规格(焦点距离等)，由摄像机(即面上移动体201)的当前位置和方向确定摄像机视场，并根据三维地图数据和模拟结果确定映入摄像机视场的相向而行的移动体211、结构物、道路221等的图像而得到。虚拟距离图像信号例如是通过根据lidar传感器或radar传感器(即面上移动体201)的当前位置和方向，利用三维地图数据来确定到传感器视场内的物体(相向而行的移动体211、结构物等)为止的距离而得到。

然后，根据所确定的作为模拟条件的相向而行的移动体的动作目标数据，控制信号生成部44生成用于使面上移动体201不与相向而行的移动体211发生碰撞的、面上移动体201的控制信号。

(b)面上移动体201的车体状态模拟

图12是对本发明实施方式四涉及的设备控制系统中的模拟的另一例进行说明的图。

在实施方式四中，面上移动体201是汽车，模拟器43是在面上移动体201回头时进行车体状态模拟。

在该车体状态模拟中，设定例如图12中所示那样的模拟条件，根据车体规格数据、轮胎规格数据、由舵角传感器检测出的舵角数据、由车速传感器、陀螺传感器等检测出的车速矢量数据、由设置在车体上的gps罗盘等检测出的车体方向数据、以及由力矩传感器等检测出的力矩数据等，进行轮胎接触地面变形模拟以及模型分析(基于车体模型的侧滑力、偏航率(yawrate)等的各种物理量的导出)。

另外，在实施方式四中，与传感器部11的偏航率传感器相对应地，作为虚拟传感器信号而设定虚拟偏航率信号。

另外，在该实施方式四中，也可以将舵角传感器、车速矢量传感器、车体方向传感器、力矩传感器等的实际传感器信号用作对于模拟条件更新部42的输入(机器学习后的dnn的输入)。

然后，根据所确定的作为模拟条件的接触地面摩擦系数数据，控制信号生成部44生成面上移动体201的控制信号，以使面上移动体201示出所希望的举动。

接下来，对实施方式四涉及的设备控制系统的动作进行说明。

在实施方式四中，控制器2从上述传感器部11、31取得实际传感器信号，并且，直至传感器误差收敛为止，反复地进行模拟条件(未知部分)的更新、模拟(上述的移动模拟或车体状态模拟)、虚拟传感器信号的生成以及传感器误差的计算，并确定模拟条件的值。

然后，在确定模拟条件的值之后，控制器2生成与所确定模拟条件的值对应的控制信号，并向面上移动体201输出。

在移动模拟的情况下，控制器2根据所确定的相向而行的移动体211的动作目标，向面上移动体201输出用于以不妨碍相向而行的移动体211的动作的方式控制面上移动体201的控制信号，面上移动体201的控制部12按照该控制信号控制动作部1a以成为目标的行驶状态。

在车体状态模拟的情况下，控制器2根据所确定的接触地面摩擦系数数据，生成用于以不会使面上移动体201的举动变得不适当的方式控制舵角、力矩等的控制信号并向面上移动体201输出，面上移动体201的控制部12按照该控制信号控制动作部1a以成为目标的行驶状态。

另外，关于实施方式四涉及的设备控制系统的其他构成和动作，与实施方式一或二相同，故省略其说明。

如上所述，根据上述实施方式四，能够根据作为模拟条件的确定值而得到的状态信息，适当地控制面上移动体201。

【实施方式五】

实施方式五涉及的设备控制系统，是实施方式一或二涉及的设备控制系统的一个具体例。图13是表示本发明实施方式五涉及的设备控制系统中的受控设备1的立体图。在实施方式五中，受控设备1是人形作业机器人、人形护理支援机器人、安装型作业机器人、安装型护理支援机器人等的作业机器人301。图13中所例示的作业机器人301是人形护理支援机器人。

进而，在实施方式五中，作业机器人301对环境区域env内的作业对象进行特定作业，作业机器人301中的控制部12具有自动作业功能(或者，自动作业支援功能)。在自动作业功能(或者，自动作业支援功能)中，动作部1a(电动机或驱动器)被电子控制为能够与周边的环境状态相对应地进行目标作业。因此，需要识别周边的环境状态，因此，在实施方式五中，控制器2使用传感器部11、31按照下述方式识别周边的环境状态。

在实施方式五中，传感器部11包括具有成像传感器的摄像机。具体而言，在实施方式五中，传感器部11包括与实施方式三或四相同的、具有成像传感器的摄像机、以及lidar或radar传感器。另外，传感器部11也可以包括音响传感器(微音器(microphone)等)、机体姿态状态传感器(机器人关节的角度传感器等)、位置检测传感器(例如gps传感器)以及陀螺传感器。传感器部31例如也可以包括测量护理对象的重要数据(vitaldata)的传感器。

图14是对本发明实施方式五涉及的设备控制系统中的模拟进行说明的图。

在实施方式五中，模拟器43进行作业机器人301的作业区域模拟。在作业区域模拟中，可以构成为：(a)将作业对象识别数据(表示以作业机器人301(传感器部11)作为原点的局部坐标系中的作业对象的位置和姿态的数据)作为模拟条件(未知部分)，将作业对象所存在的房间或其房间内的结构物等的三维地图数据(以全局坐标系描述的形状数据)、表示作业机器人301的机体形状、可动关节的位置等的机器人机体规格数据、表示作业对象的形状或尺寸等的作业对象基本数据、表示作业机器人301的方向、关节的角度状态等的机体姿态状态数据、表示作业机器人301的当前位置的机体位置数据等作为模拟条件(已知部分)，(b)根据这些模拟条件，按照规定的计算模型，推导出全局坐标系中的作业机器人的位置和姿态。当作业对象为人类(被护理者)时，作业对象的姿态例如可以通过具有多关节的人体骨骼模型来表达。

另外，作业机器人301的方向，例如通过陀螺传感器得到。另外，作业机器人301的关节的角度状态，例如通过角度传感器得到。进而，作业机器人301的当前位置，例如通过gps等的位置检测传感器得到。

另外，在实施方式五中，与传感器部11的摄像机、以及lidar或radar传感器相对应地，作为虚拟传感器信号而生成虚拟可见拍摄图像信号和虚拟距离图像信号。虚拟可见拍摄图像信号例如是通过根据作业机器人301的摄像机的规格(焦点距离等)，由摄像机的当前位置和方向确定摄像机视场，并根据三维地图数据或作业对象基本数据确定映入摄像机视场的作业对象或结构物等的图像而得到。虚拟距离图像信号例如是通过根据作业机器人301的lidar传感器或radar传感器的当前位置和方向，利用三维地图数据来确定到摄像机视场内的物体为止的距离而得到。

接下来，对实施方式五涉及的设备控制系统的动作进行说明。

在实施方式五中，控制器2从上述的传感器部11、31取得实际传感器信号，并且，直至传感器误差收敛为止，反复地进行模拟条件(未知部分)的更新、作业区域模拟、虚拟传感器信号的生成以及传感器误差的计算，并确定模拟条件的值。

然后，在确定模拟条件的值之后，控制器2生成与所确定模拟条件的值对应的控制信号，并向作业机器人301输出。

例如，控制器2根据所确定的作业对象识别数据，向作业机器人301输出表示对作业对象进行特定作业用的动作模式(作业机器人301的移动、关节的动作等)的控制信号，并且，作业机器人301的控制部12根据该控制信号，以按照所指定的动作模式(例如当作业对象为被护理者时，为搂抱的动作模式等，或者，例如当作业对象为货物时，为抬起的动作模式等)进行动作的方式，控制动作部1a。

在此，对实施方式二中所示的其他自律动作物体61存在于环境区域env内的情况进行说明。该情况下，如实施方式二中所述，控制信号生成部44进行自律动作物体61的意图推理，并且，考虑到其结果，控制作业机器人301的动作。

具体而言，例如如图13中所示，当作为其他自律动作物体61的协作作业者361存在于环境区域env内时，控制器2根据上述摄像机的可见拍摄图像信号，检测出环境区域env内的协作作业者361。然后，控制器2的控制信号生成部44根据传感器部11、31的实际传感器信号(可见拍摄图像信号、距离图像信号等)、上述的模拟结果、三维地图数据等的其他已知的条件等，推断出该协作作业者361相关的作业对象识别数据。

另外，协作作业者361可以是人形机器人、也可以是安装了安装型机器人的作业者(人类)，还可以是未安装安装型机器人的作业者(人类)，但是，控制器2是假设为协作作业者361是与该作业机器人301相同的作业机器人而进行动作的推断。

然后，将所推断的作业对象识别数据作为模拟条件而进行相同的模拟，控制信号生成部44根据作业对象识别数据及其模拟结果推断该协作作业者361的动作，并且，考虑到所推断的协作作业者361的动作(例如，以不妨碍协作作业者361的动作的方式)，生成作业机器人301用的控制信号。

另外，关于实施方式五涉及的设备控制系统的其他构成和动作，与实施方式一或二相同，故省略其说明。

如上所述，根据上述实施方式五，能够根据作为模拟条件的确定值得到的状态信息，适当地控制作业机器人301。

【实施方式六】

实施方式六涉及的设备控制系统，是实施方式一或二涉及的设备控制系统的一个具体例。图15是表示本发明实施方式六涉及的设备控制系统中的受控设备1的立体图。在实施方式六中，受控设备1是智能住宅(smarthouse)、大厅(hall)等中设置的电气设备控制系统401。

进而，在实施方式六中，电气设备控制系统401控制设置于环境区域env内的电气设备412。该电气设备412相当于动作部1a，是对环境区域env起作用的照明设备、空气调节设备等的装置。

另外，在实施方式六中，例如，可以构成为：与作为动作部1a的电气设备412独立地设置一个框体413，在该框体413内配置控制部12和控制器2。该情况下，传感器部11是配置于该框体413的传感器部，传感器部31是与该框体413分离地配置于环境区域env内的传感器部。

电气设备控制系统401具有自动控制功能，其将动作部1a(电气设备412)电子控制为：与周边的环境状态相对应地成为目标状态。例如，在自动控制功能中，根据环境区域env内的温度分布，电气设备412(空气调节设备等)被自动控制为接近目标温度分布，并且，根据环境区域env内的照度分布，电气设备412(照明设备等)被自动控制为接近目标照度分布。因此，需要识别周边的环境状态，因此，在实施方式六中，控制器2使用传感器部11、31按照如下方式识别周边的环境状态。

在实施方式六中，传感器部11、31包括温度传感器和照度传感器。另外，在实施方式六中，传感器部11、31除了温度传感器和照度传感器之外，还可以包括具有成像传感器的摄像机、音响传感器(微音器(microphone)等)等。该摄像机拍摄环境区域env的一部分或者全部。

图16是对本发明实施方式六涉及的设备控制系统中的模拟进行说明的图。

在实施方式六中，模拟器43进行环境区域env内的热流体模拟(thermalfluidsimulation)和照度模拟，并推导出环境区域env内的温度分布和照度分布。在热流体模拟中，将环境区域env的边界条件(壁面或开口部处的温度、风速等)作为模拟条件(未知部分)，将环境区域env的三维地图数据、表示电气设备412(空气调节设备和发热设备)的各设定(动作状态)中的发热量或者风量(风速)的电气设备规格数据等作为模拟条件(已知部分)，并且，利用已知的数值模拟方法，推导出环境区域env内的温度分布和风速分布。在照度模拟中，将环境区域env的边界条件(窗户或开口部处的从外部入射的光量等)作为模拟条件(未知部分)，将环境区域env的三维地图数据、表示电气设备412(照明设备或发光设备)的各设定(动作状态)中的发光色和发光量的电气设备规格数据等作为模拟条件(已知部分)，并且，利用已知的数值模拟方法，推导出环境区域env的照度分布。

另外，在实施方式六中，与传感器部11、31的温度传感器和照度传感器相对应地，作为虚拟传感器信号，生成虚拟温度传感器信号和虚拟照度传感器信号。虚拟温度传感器信号例如是从根据热流体模拟的结果得到的温度传感器的设置位置中的温度，根据温度传感器的规格(相对于温度的电气特性等)来确定。虚拟照度传感器信号例如是从根据照度模拟的结果得到的照度传感器的设置位置中的照度，根据照度传感器的规格(相对于照度的电气特性等)来确定。

接下来，对实施方式六涉及的设备控制系统的动作进行说明。

在实施方式六中，控制器2从上述的传感器部11、31取得实际传感器信号，并且，直至传感器误差收敛为止，反复地进行模拟条件(未知部分)的更新、热流体模拟及照度模拟、虚拟传感器信号的生成、以及传感器误差的计算，并确定模拟条件的值。

然后，在确定模拟条件的值之后，控制器2生成与所确定的模拟条件和模拟结果对应的控制信号，并向电气设备控制系统401输出。

例如，控制器2根据所确定的环境区域env的边界条件，以使环境区域env内的温度分布和照度分布接近目标的方式确定各电气设备412的设定，并向电气设备控制系统401输出表示所确定的设定的控制信号。电气设备控制系统401的控制部12根据该控制信号将所指定的设定适用于各电气设备412中。

在此，对实施方式二中所示的其他自律动作物体61存在于环境区域env内的情况进行说明。该情况下，如实施方式二中所述，控制信号生成部44进行自律动作物体61的意图推理，并且，考虑到其结果，控制电气设备控制系统401的动作。

具体而言，例如如图15中所示，当作为其他自律动作物体61的人461存在于环境区域env内时，控制器2根据上述摄像机的可见拍摄图像信号检测出环境区域env内的人461。

图17是对本发明实施方式六涉及的设备控制系统中的其他自律动作物体的模拟进行说明的图。该情况下，自律动作物体是人，因此是与受控设备1(电气设备控制系统401)不同种类的自律动作物体。

如图17中所示，将根据上述模拟结果确定的人461周围的温度数据及流速数据、以及根据基于可见拍摄图像信号的可见拍摄图像确定的人体姿态数据作为模拟条件，进行规定的人体状态模拟，并且，作为模拟结果得到人461的感觉(热、冷等的温度感觉状态)。

然后，控制信号生成部44根据该模拟条件和模拟结果，且考虑人461的感觉等，生成电气设备控制系统401用的控制信号。例如，当模拟结果表示“热”这样的温度感觉状态时，控制信号生成部44为了降低人461的位置处的温度，生成用于降低电气设备控制系统401中的空气调节设备的设定温度的控制信号。

另外，关于实施方式六涉及的其他构成和动作，与实施方式一或二相同，故省略其说明。

如上所述，根据上述实施方式六，能够根据作为模拟条件的确定值而得到的状态信息，适当地控制电气设备控制系统401。

需要说明的是，关于上述实施方式，也可以在不脱离其主题的主旨和范围且不减弱其所意图的优点的范围内进行各种变更和修改，由于这些变更和修改对于本领域技术人员而言是显而易见的，因此这些变更和修改，也应该包含在本申请权利要求的保护范围内。

例如，在上述实施方式中的任意一个实施方式中，也可以构成为：传感器部11、31中的摄像机使用立体摄像机，从立体摄像机的拍摄图像信号得到可见拍摄图像信号和距离图像信号。另外，当传感器部11、31包含立体摄像机时，传感器部11、31也可以不包含lidar传感器或radar传感器。

另外，在上述实施方式中的任意一个实施方式中，也可以构成为：使模拟条件的已知部分的数据(例如，作为实际传感器信号测量的数据)包含于未知部分中。通过如此，即使例如因为传感器的状况不良等原因，实际传感器信号的值变得不适当，也能够从其他实际传感器信号得到适当值的数据。即，上述的dnn被机器学习为：当实际传感器信号的值变得不适当时，能够从其他实际传感器信号得到适当值的数据。另外，例如，当能够从摄像机的拍摄图像推断三维地图数据时，也可以将三维地图数据作为模拟条件的未知部分而不是已知部分。该情况下，需要预先准备三维地图数据或三维道路地图数据。

进而，在上述实施方式中的任意一个实施方式中，作为虚拟可见拍摄图像信号和实际传感器信号的可见拍摄图像信号，可以是被拍摄的具有灰度的可见图像的信号，也可以是通过对该可见图像进行边缘抽取而得到的边缘图像的信号。

进而，在上述实施方式中的任意一个实施方式中，可以将控制信号使用于模拟器43的模拟中。例如，当按照时间序列依次生成控制信号时，一个时间步前的控制信号使用于当前时间步的模拟中。由此，模拟的精度得以提高。

进而，在上述实施方式中的任意一个实施方式中，模拟器43中的模拟是一系列的多个时间步中进行的模拟，当按照时间序列生成多个时间步的虚拟传感器信号时，可以将循环神经网络(recurrentneuralnetwork)用作模拟条件更新部42中的上述机器学习后的dnn，其中，对该循环神经网络输入多个时间步的实际传感器信号和多个时间步的虚拟传感器信号(或者多个时间步的传感器误差(两者之差))。

进而，在上述实施方式中的任意一个实施方式中，实际传感器信号可以实时地从传感器部11、31向控制器2供给，也可以在传感器部11、31和控制器2之间暂时地缓存(buffering)。

(产业上的可利用性)

本发明能够使用于例如控制设备的系统中。