状态判定装置、学习装置、状态判定方法以及程序与流程

本申请基于2017年2月13日申请的日本申请号2017-024169号，这里引用其内容。

技术领域

本发明涉及状态判定装置、学习装置、状态判定方法及其程序。

背景技术：

以往，公知有如下技术：使用利用电极的静电电容根据物体与电极的距离而变化的情况的静电电容传感器，判定物体的有无或接近。静电电容传感器有时即使是绝缘体或透明的物体等也能够进行判定，用于判定广泛种类的物体。

在专利文献1中记载有如下的头枕位置调整装置：具有检测就座于座位上的人体与头枕之间的静电电容的检测电极，判定头部的头顶部位置和水平方向中心位置，适当地调整头枕的位置。

现有技术文献

专利文献

专利文献1：日本特开2009-50462号公报

技术实现要素：

发明要解决的课题

静电电容传感器有时根据电极对间的静电电容的变化来判定物体的有无或接近。但是，仅通过电极对间的静电电容的变化，有时无法详细地判定物体的状态。

例如，在将相互面对的平面导体作为电极对的情况下，能够判定在电极对间是否存在物体或者判定物体接近电极对的哪一侧。但是，在电极对之间存在物体的情况下，很难判定物体在平面导体的延伸方向上的位置。

因此，本发明的一个方式的目的在于提供一种状态判定装置等，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

用于解决课题的手段

本发明的一个方式的状态判定装置判定位于多个电极周边的物体的状态，其中，该状态判定装置具有：选择部，其从多个电极中选择多个电极对；静电电容图案计测部，其计测与由选择部选择出的多个电极对有关的静电电容图案；以及已学习的神经网络，其根据静电电容图案来判定物体的状态。

根据该方式，通过从多个电极中选择多个电极对来计测静电电容图案，判定位于多个电极周边的物体的状态，由此，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

在上述方式中，状态判定装置还具有配置取得部，该配置取得部取得多个电极的配置。此时，神经网络除了根据由静电电容图案计测部计测出的静电电容图案之外，还可以根据由配置取得部取得的多个电极的配置来判定物体的状态。

根据该方式，根据静电电容图案以及多个电极的配置来判定物体的状态，由此能够更详细地判定物体的状态。

在上述方式中，也可以是，状态判定装置还具有：电压施加部，其对多个电极中的由选择部选择出的多个电极对分别施加规定的电压；以及保护电极，其被配置成包围多个电极的至少一部分。电压施加部对多个电极中的由选择部选择出的电极对的一方和保护电极施加基准电位。

根据该方式，通过对电极对的一方和保护电极施加基准电位，电场被保护电极屏蔽，能够计测电极的两个面中的仅单面侧的静电电容图案，从而能够限制判定物体的状态的范围。

在上述方式中，状态判定装置还可以具有环境测定部，该环境测定部测定与由静电电容图案计测部计测多个电极对的静电电容图案时的环境相关的环境数据。此时，神经网络除了根据由静电电容图案计测部计测出的静电电容图案之外，还可以根据由环境测定部测定出的环境数据来判定物体的状态。

根据该方式，根据静电电容图案和环境数据判定物体的状态，由此进行考虑到静电电容图案的环境依赖性的状态判定，从而能够降低起因于测定环境变化的状态判定的误差。

在上述方式中，由环境测定部测定出的环境数据也可以包含湿度和电磁噪声中的至少任意一方。

根据该方式，进行考虑到特别对静电电容图案带来影响的湿度和电磁噪声的依赖性的状态判定，从而能够降低起因于湿度的变化和电磁噪声的强弱的状态判定的误差。

在上述方式中，神经网络也可以判定有无物体、物体的位置、物体的角度、物体的种类、物体的材质以及物体的分布中的至少任意一方。

根据该方式，通过判定有无物体、物体的位置、物体的角度、物体的种类、物体的材质以及物体的分布中的至少任意一方，能够更详细地判定物体的状态。

在上述方式中，多个电极也可以设置于机器人手。

根据该方式，能够判定由机器人手把持或操作的物体的状态，能够辅助机器人手的更精密的动作。例如，在把持物体的情况下，能够进行使机器人手的多个手指相对于物体均等地接近的动作。

在上述方式中，多个电极也可以设置于座椅。

根据该方式，对于就座于座椅上的人的状态，能够判定体格、姿势等的详细。例如，通过判定就座于汽车的座椅上的汽车的驾驶员的状态，能够判断驾驶员是否处于清醒状态。

在上述方式中，还可以具有用于进行神经网络的学习的学习装置。学习装置具有学习控制部，该学习控制部以如下方式进行控制：利用包含与从多个电极中选择出的多个电极对有关的静电电容图案在内的学习数据来进行神经网络的学习。

根据该方式，通过利用包含与物体相关的静电电容图案在内的学习数据进行学习，作为学习结果，可得到能够判定物体的状态的神经网络，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

在上述方式中，学习数据也可以包含与多个电极的配置相关的数据。

根据该方式，不固定多个电极的配置而相对于物体更灵活地配置多个电极，由此，可得到能够更详细地判定物体的状态的神经网络的学习结果。

在上述方式中，学习数据也可以包含与计测静电电容图案时的环境相关的环境数据。

根据该方式，利用包含与物体相关的静电电容图案和环境数据在内的学习数据进行神经网络的学习，即使在测定环境变化的情况下，也进行考虑到静电电容图案的环境依赖性的状态判定，可得到能够降低状态判定误差的学习结果。

在上述方式中，也可以是，学习装置利用学习数据和教师数据来进行神经网络的学习，教师数据包含表示物体的状态的图像或动态图像。

根据该方式，用户不需要将物体的状态数值化，将客观地表示物体的状态的图像或动态图像用作教师数据来进行神经网络的学习，可得到客观性高且通用性更高的神经网络的学习结果。

本发明的一个方式的状态判定方法判定位于多个电极周边的物体的状态，其中，该状态判定方法包含如下步骤：第一步骤，从多个电极中选择多个电极对；第二步骤，计测与在第一步骤中选择出的多个电极对有关的静电电容图案；以及第三步骤，根据在第二步骤中计测出的静电电容图案，通过已学习的神经网络来判定物体的状态。

根据该方式，从多个电极中选择多个电极对来计测静电电容图案，判定物体的状态，由此，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

本发明的一个方式的用于状态判定的程序用于使判定位于多个电极周边的物体的状态的状态判定装置具有的计算机作为选择部、静电电容图案计测部以及已学习的神经网络而发挥功能，该选择部从多个电极中选择多个电极对，该静电电容图案计测部计测与由选择部选择出的多个电极对有关的静电电容图案，该已学习的神经网络根据静电电容图案来判定物体的状态。

根据该方式，从多个电极中选择多个电极对来计测静电电容图案，判定物体的状态，由此，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

发明效果

根据本发明的一个方式，提供一种状态判定装置等，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的状态。

附图说明

图1是示出第一实施方式的状态判定系统的整体概念的图。

图2A是示出多个电极的配置例的图。

图2B是示出多个电极的配置例的图。

图3是示出第一实施方式的状态判定系统的具体的系统结构的一例的图。

图4是示出第一实施方式的状态判定装置的结构的框图。

图5是示出第一实施方式的学习装置的结构的框图。

图6是示出构成第一实施方式的状态判定系统的各装置的硬件结构的一例的框图。

图7是第一实施方式的学习数据生成装置中的学习数据生成处理的流程图。

图8是第一实施方式的学习装置中的学习处理的流程图。

图9是第一实施方式的状态判定装置中的物体识别处理的流程图。

图10是示出在第二实施方式中在机器人手设置有多个电极的情形的图。

图11是第二实施方式的状态判定装置的功能框图。

图12是示出在第三实施方式中在座椅设置有多个电极的情形的图。

具体实施方式

参照附图对本发明的实施方式进行说明。另外，在各图中，标注相同的标号的部分具有相同或同样的结构。在本说明书中，首先对第一实施方式进行说明，之后作为具体的实施例，主要对与状态判定装置的多个电极设置于机器人手的情况相关的第二实施方式和与状态判定装置的多个电极设置于座椅的情况相关的第三实施方式进行说明。但是，本发明的实施方式的状态判定装置的多个电极也可以设置在机器人手或座椅以外，本发明的结构并不限定于以下说明的实施方式的结构。

【第一实施方式】

图1是示出本发明的第一实施方式的状态判定系统1的整体概念的图。如该图所示，状态判定系统1具有电极连接部20、选择部30、静电电容图案计测部50、静电电容图案学习部60、静电电容图案识别部70以及识别结果输出部80，经由电极连接部20与电极组10的各电极11a、11b、11c、11d、11e、11f(以下，在不需要区分各电极时简称为“电极11”)连接。另外，本系统的结构不限于图示的结构，例如，也可以构成为状态判定系统1包含电极组10。另外，可以将各部中的任意多个部在物理上或逻辑上构成为一体，也可以将各部在物理上或逻辑上分成2个以上的要素而构成。

电极11能够使用具有规定的面积的金属等导体。如果电极有2个(电极对)，则通过将电极对与计测电路连接，能够计测其间的静电电容。作为电极11也可以使用透明的部件，在该情况下，通过在显示设备的表面具有透明的电极11，能够构成触摸面板。

选择部30从电极组10包含的多个电极11中选择任意两个电极。选择部30通过依次选择任意的电极对，能够依次选择多个电极对。例如，选择部30能够依次选择电极11a和电极11b这一对、电极11c和电极11d这一对、电极11e和电极11f这一对这样的3个电极对作为电极对。选择部30对电极对的选择可以按照预先存储在状态判定系统1的存储部中的电极对列表，也可以按照状态判定系统1的用户的输入，也可以随机进行。

静电电容图案计测部50根据针对由选择部30选择出的多个电极对的每一个电极对计测出的静电电容，计测与由选择部30选择出的多个电极对有关的静电电容图案。静电电容图案是指针对多个电极对计测出的一系列的静电电容的值。具体而言，如图1所示，对作为电极组10而具有6个电极11a～11f的情况进行说明。例如，在选择部30从6个电极11a～11f中依次选择电极11a和电极11b这一对、电极11c和电极11d这一对、电极11e和电极11f这一对这三组作为电极对时，能够分别对由选择部30选择出的电极对依次计测静电电容Cab、Ccd、Cef。根据针对这三组电极对计测出的一系列的静电电容(Cab、Ccd、Cef)，计测静电电容图案。

静电电容的计测方法可以采用任意的方法。例如，也可以通过计测充有规定的电荷时的电压来计测静电电容。或者，也可以构成LC发送电路，通过计测频率来计测静电电容。在电极11附近有物体的情况和没有物体的情况下，静电电容根据物体的介电常数而变化。因此，当物体接近任意电极对时，针对该电极对计测出的静电电容根据物体的介电常数而变化。因此，通过计测多个电极对的静电电容图案，能够判定在多个电极11周边是否存在物体，能够根据判定结果来检测物体的存在状态。

静电电容图案被捕捉为类似于图像的数据，如果图像是利用光捕捉物体的状态而得到的，则静电电容图案是通过静电电容捕捉物体的状态而得到的。针对由选择部30选择出的电极对，静电电容图案计测部150能够计测电极对间的静电电容。例如，在对由选择部30选择出的电极对施加交流电压的情况下，静电电容图案计测部50通过将在电极对间计测出的电压的频率与施加电压的频率进行比较，能够计测静电电容。

在静电电容图案计测部50中计测出的静电电容图案例如在多个电极11附近不存在物体的情况下，作为静电电容图案计测出位于电极11附近的空气的影响。与此相对，在存在物体的情况下，计测出受到物体的影响的静电电容图案。

静电电容图案学习部60通过将由静电电容图案计测部50计测出的静电电容图案作为学习数据来进行机器学习，获得识别静电电容图案的能力。

例如，对相对于多个电极11位于规定的位置的相同物体计测出的静电电容图案为大致相同的图案。此时，若物体向任意方向稍微移动，则静电电容图案稍微变化。因此，改变相同物体的位置，将根据大量计测出的数据构成的静电电容图案作为学习数据，由此能够学习到判定物体的位置的能力，检测物体的位置。

当改变相对于多个电极11位于规定的位置的相同物体的姿势进行计测时，在相同姿势的情况下为大致相同的图案。当物体的姿势稍微变化时，静电电容图案稍微变化。因此，改变相同物体的姿势，将根据大量计测出的数据构成的静电电容图案作为学习数据，由此能够学习到判定物体的姿势的能力，检测物体的姿势。

当物体相对于多个电极11移动时，计测出的图案根据移动而变化。组合移动前的静电电容图案和移动后的静电电容图案来进行学习，由此能够获得判定物体是否移动的能力，检测物体的移动。

当静电电容图案学习部60的学习完成时，构成静电电容图案学习部60的神经网络变为学习静电电容图案而获得规定的识别能力的状态。静电电容图案学习部60以使静电电容图案识别部70能够利用已获得的能力的方式对已学习的神经网络进行复制或转换等，生成用于重构已学习的神经网络的信息，并转交给静电电容图案识别部70。

静电电容图案识别部70利用静电电容图案学习部60的学习后得到的能力来识别静电电容图案，由此判定位于多个电极11附近的物体的存在状态。静电电容图案识别部70从静电电容图案学习部60接收用于重构已学习的神经网络的信息，重构已学习的神经网络。由此，静电电容图案识别部70能够判定物体的存在状态。即，通过向已学习的神经网络输入由静电电容图案计测部50计测出的静电电容图案并进行运算，判定物体的状态。例如，能够判定物体的存在状态的分类、有无物体的存在、物体的位置、物体的种类、物体的姿势、物体的材质以及物体的分布等状态。除此之外，还能够获得识别在静电电容图案上引起差异的物体的存在状态的各种能力，例如识别上述的变化的能力、分类变化的能力、预测变化的能力等。

识别结果输出部80输出通过向静电电容图案识别部70输入静电电容图案而判定的结果。例如，在判定有无存在的情况下，在能够判定识别对象的标识符(ID)的情况下，也可以输出该标识符。另外，也可以判定是否存在特定的对象，在检测有无特定的对象的情况下，输出表示“检测出对象”的信息。并且，也可以将识别出的状态可视化。例如，也可以通过显示表示物体的形状的图像来看清是什么样的物体。也可以通过将识别出的物体的姿势反映在图像中，看清物体的姿势。也可以通过在图像中反映识别出的运动来使运动可视化。

图2A和图2B是示出多个电极11的配置例的图。图2A是将电极11配置成纵横的矩阵状的例子。例如，在电极11排列成N×M个矩阵状的情况下，选择部30可以选择N×MC²个电极对。此时，选择部30也可以包含能够选择切换排列成矩阵状的多个电极11中的任意电极的开关矩阵。在组合纵向或横向相邻的电极等位于附近的两个电极11的情况下，强烈地受到位于这些电极附近的物体的介电常数的影响。另一方面，若选择位于远离的位置的两个电极11，则会受到大范围的物体的影响。

因此，当改变与特定的1个电极11i组合的电极来计测多个电极对的静电电容时，关于该特定的电极11i周边附近的空间，能够更详细地得到与物体的存在相关的信息。另外，当使用别的特定的一个电极11j时，关于别的空间，能够更详细地得到与物体的存在相关的信息。并且，如别的电极11k、11m、…那样依次使用特定的电极来计测多个电极对的静电电容，由此能够阶段性地更详细地得到与物体的存在相关的信息。

例如，从图2A所示的配置成5×5矩阵的电极中选择2个电极的组合有300种。当使用这些电极的组合来计测静电电容时，可得到300组静电电容数据。由这一系列的静电电容数据构成的静电电容图案反映了位于配置有多个电极11的矩形区域附近的物体的存在状态。另外，在构成静电电容图案时，可以使用从多个电极11中选择两个电极的全部组合(这里为300组)，也可以使用组合的一部分。

图2B是将由排列成矩阵状的多个电极11构成的第一电极组10a和第二电极组10b对置地配置的例子。选择部30可以从第一电极组中选择电极对，也可以从第二电极组中选择电极对，也可以选择跨越第一电极组和第二电极组的电极对。

在图2A的配置中，能够判定位于比较接近电极平面的空间中的物体的存在状态。与此相对，如图2B所示，在对置地配置两组电极的情况下，能够判定位于被两组电极组夹着的空间中的物体的存在状态。例如，通过从第一组和第二组中分别选择任意电极进行组合，容易计测位于远离电极平面的位置的物体的影响。

另外，不限于图2A和图2B的例子，电极对的组合并不一定需要全部使用，可以选择任意的组合。另外，电极数不过是一个例子，可以使用任意数量的电极。电极11的形状和大小可以是任意的，电极的设置位置也可以是任意的。例如，在汽车的车室内，能够以包围乘员的方式设置多个电极11。由此，能够判定位于车室内等被包围的空间中的物体的存在状态，容易判定立体的形状和状态。另外，能够根据要判定的空间的形状和物体的状态来设定电极11的位置和大小。也可以像后述的机器人手的事例那样，使用移动单元来改变电极11的位置、姿势。

图3是示出第一实施方式的状态判定系统1的具体的系统结构的一例的图。如该图3所示，状态判定系统1构成为与电极组10连接的状态判定装置100、学习装置200、学习数据生成装置300、学习数据库装置400能够经由网络N而相互连接。

状态判定装置100实质上包含图1所示的电极连接部20、选择部30、静电电容图案计测部50、静电电容图案识别部70以及识别结果输出部80，根据电极组10中包含的多个电极11的静电电容图案，判定位于多个电极11周边的物体的状态。

学习装置200实质上包含图1所示的静电电容图案学习部60。学习装置200通过使用包含存储在学习数据库装置400中的静电电容图案在内的学习数据进行机器学习来进行神经网络的学习，获得根据静电电容图案识别位于多个电极周边的物体的状态的能力。在学习装置200中获得的能力直接或经由学习数据库装置400转交给状态判定装置100。

学习数据生成装置300根据要获得的能力的种类而生成所需的学习数据和教师数据并存储在学习数据库装置400中。在图3所示的系统结构中，在学习数据生成装置300生成学习数据时，经由状态判定装置100取得电极组10中包含的多个电极11的静电电容图案和得到该静电电容图案时的电极11周边的物体的存在状态，例如，根据静电电容图案生成学习数据，根据此时物体的存在状态生成教师数据。

例如，在要获得对物体的存在状态进行分类的能力的情况下，能够对物体的多个存在状态分别以规定的变化来计测静电电容图案，并将其作为学习数据。即，将分别计测并记录与作为学习数据的对象的多个物体的存在状态对应的静电电容图案而得到的数据用作学习数据。关于教师数据，是针对各个静电电容图案将用于识别物体的存在状态的信息作为教师数据与学习数据相关联地记录。此时，可以将教师数据作为与学习数据不同的数据进行关联，也可以使学习数据包含教师数据。在只要能够将物体仅分类为多个组即可的情况下，也可以不包含教师数据。

在要获得对物体的存在状态的变化进行分类的能力的情况下，需要静电电容图案的时间序列的数据，因此例如生成包含表示变化的内容的教师数据在内的学习数据。在要获得预测物体的存在状态的能力的情况下，例如能够使用包含与存在状态的内容相关的教师数据在内的静电电容图案的时间序列数据来进行预测物体的存在状态的学习。

通过安装在学习数据生成装置300的学习数据生成程序，能够自动生成学习数据。例如，由于在基于深度学习的学习中需要许多数据，因此通过使从静电电容图案的取得到向学习数据库装置400的登记为止的一系列的作业自动化，能够大幅减少作业工时。例如，也可以对机器人指示使物体接近多个电极11的周边并变更该物体的位置和姿势的动作，通过与此时的物体的位置、姿势以及方向相对应地取得各种位置、姿势以及方向的静电电容图案，能够在人不进行作业的情况下自动地生成学习数据和教师数据。学习数据生成装置300也可以通过手动操作生成学习数据。另外，作为学习数据或教师数据，也可以组合可能与学习相关的任意信息。

另外，由于根据电极11与物体的位置关系来计测静电电容图案，因此电极11的配置可能会对学习结果产生影响。因此，学习数据也可以包含与电极的配置相关联的信息。另外，也可以是，状态判定装置100或学习装置200具有学习数据生成装置300具有的功能。在该情况下，通过将从状态判定装置100或学习装置200输出的数据存储在学习数据库装置400中，或者输入到或用于学习装置200，能够用作学习数据或教师数据。

学习数据库装置400具有记录学习数据生成装置300生成的学习数据和学习程序等与学习相关联的数据和程序以及它们的设定等的功能。学习数据生成装置300生成的学习数据和教师数据被转交给学习数据库装置400，作为与学习数据相关的信息进行记录。

图4是示出本实施方式中的状态判定装置100的结构的框图。该图4所示的结构中的电极连接部120、选择部130、静电电容图案计测部150以及神经网络输出部180分别具有与图1的电极连接部20、选择部30、静电电容图案计测部50以及识别结果输出部80相当的功能，因此省略说明。学习结果输入部171、控制部172、神经网络设定部173、神经网络输入部174、神经网络175具有与图1的静电电容图案识别部70相当的功能。

学习结果输入部171接收与作为学习装置200中的学习结果而获得的能力相关的信息，并输入到状态判定装置100。这里，输入从学习装置200输出的为了重构已学习的神经网络所需的数据。控制部172控制状态判定装置100的各结构中的处理，例如接受来自学习数据生成装置300的指示，将从电极组10取得的静电电容图案经由通信部190输出到学习数据生成装置300。另外，控制部172将从学习结果输入部171输入的为了重构已学习的神经网络所需的数据转交给神经网络设定部173。神经网络设定部173根据该数据重构神经网络175。由此，神经网络175能够再现作为学习装置200中的学习结果而获得的能力。

神经网络输入部174从静电电容图案计测部15取得静电电容图案，并输入到神经网络175。神经网络175对输入的静电电容图案进行运算，并输出运算结果。该运算结果相当于位于多个电极11周边的物体的存在状态的判定结果即物体的识别结果，从神经网络输出部180输出将该识别结果。另外，也可以代替神经网络而使用能够进行机器学习的任意的学习模块。作为神经网络175的运算结果，也可以判定物体的种类，输出分配给物体的种类的ID。

神经网络输出部180能够输出例如多个电极11周边的物体的存在状态的分类、有无物体的存在、物体的位置、物体的种类、物体的姿势、物体的材质、物体的分布等状态作为物体的识别结果。输出的识别结果并不限于此，除此之外，例如也可以输出物体的存在状态的变化、变化的分类、变化的预测等。另外，例如在存在形状、重量以及大小类似的多种物体(例如苹果和梨)的情况下，物体的种类是指其种类的区别。另外，神经网络输出部180也可以根据判定出的物体的存在状态生成图像或动态图像，将物体的存在状态可视化并提示给用户。

图5是示出本实施方式中的学习装置200的结构的框图。如该图5所示，学习装置200包含神经网络210、学习控制部220、学习结果提取部230、学习结果输出部240以及通信部250，它们可以经由网络(包含内部总线等)而相互连接。

神经网络210具有作为神经网络的功能，能够通过学习获得规定的能力。学习装置200使用记录在学习数据库装置400中的学习数据或教师数据来学习神经网络210，由此获得规定的能力。神经网络210也可以对输入层输入静电电容图案向量，从输出层输出表示物体的存在状态的向量。另外，也可以代替神经网络而使用能够进行机器学习的学习模块。

学习控制部220执行学习程序来控制学习装置200中的机器学习。学习控制部220以如下方式进行控制：通过执行学习程序，根据从用户接受的规定的学习委托执行学习，使用学习数据进行使神经网络210获得规定的能力的学习。例如，使用利用深度学习技术的学习程序来执行学习，由此能够使神经网络210获得规定的能力。作为神经网络210，为了学习物体的静态状态，可以使用卷积神经网络(Convolutional Neural Network：CNN)，该卷积神经网络有时用于图像识别。另外，为了学习物体的动态状态，也可以使用递归型神经网络(Recurrent Neural Network：RNN)。

学习结果提取部230提取神经网络210学习到的结果。学习结果输出部240经由通信部250将学习结果输出到外部。在本实施方式中，例如，作为学习结果，学习装置200能够获得判定物体的存在状态的能力。

学习装置200也可以通过在通常的计算机上执行规定的程序来实现。此时，由于学习处理的处理量多，因此可以使用具有高速动作的CPU的计算机。若使用GPU，则能够使重复运算处理高速化。通过使用机架安装有刀片计算机的服务器装置，能够使处理并行化而提高吞吐量。在接受来自多个委托者的委托的情况下，能够复用服务器装置来提高并行度。

图6是示出构成状态判定系统1的各装置的硬件结构的一例的框图。如该图6所示，状态判定装置100、学习装置200、学习数据生成装置300、学习数据库装置400等各装置可以应用具有CPU 610、ROM 620或RAM 630等存储器、存储各种信息的存储装置640、输入输出部650、通信部660以及连接它们的网络或总线的通用或专用的计算机。各装置例如可以通过CPU 610执行存储在存储器或存储装置640中的规定的程序来实现上述的功能块。程序通过CD-ROM等光盘、磁盘、半导体存储器等各种记录介质，或者经由通信网络等进行下载，由此能够安装或加载到构成各装置的计算机。

接下来，参照图7～图9对本实施方式的系统的处理流程进行说明。

图7是本实施方式的学习数据生成装置300中的学习数据生成处理的流程图。学习数据生成处理是在由状态判定装置100执行物体的识别处理之前进行的处理。首先，学习数据生成装置300生成包含与位于多个电极11周边的物体的存在状态相关的信息在内的教师数据(S10)。教师数据也可以包含与多个电极11的配置相关的信息。这里，与物体的存在状态相关的信息可以是由用户通过学习数据生成装置300的输入部(未图示)输入的信息。作为与物体的存在状态相关的信息，用户例如输入表示物体的位置、角度、种类、材质以及分布的数值。学习数据生成装置300可以由输入的数值构成表示与物体的存在状态相关的信息的向量并包含在教师数据中。另外，也可以由用户通过学习数据生成装置300的输入部输入与电极11的配置相关的信息。用户例如输入电极的大小和位置、角度、材质，学习数据生成装置300可以由这些数值构成表示与电极的配置相关的信息的向量并包含在教师数据中。另外，在预先对电极组10赋予与电极的配置相关的信息的情况下，也可以参照该信息。

教师数据也可以包含图像或动态图像作为与物体的存在状态相关的信息。通过用图像或动态图像表示物体的存在状态，用户不需要将物体的存在状态数值化，能够客观地表示物体的存在状态，能够进行客观性高的神经网络的学习，可得到通用性更高的神经网络的学习结果。

在多个电极11被设置成能够移动或能够旋转的情况下，用户、机器人或状态判定装置100根据学习数据生成装置300的指示，使各个电极11为教师数据的配置(S11)。通过不固定电极11的配置而将电极11相对于物体更灵活地配置，能够生成更详细地反映了物体的存在状态的学习数据。另外，在多个电极11被固定设置的情况下，也可以省略使各个电极11为教师数据的配置的步骤。

学习数据生成装置300将物体的存在状态设定为基于教师数据中包含的与物体的存在状态相关的信息的存在状态(S12)。接下来，学习数据生成装置300参照电极对列表，从电极组10中选择电极对(S13)。学习数据生成装置300例如对选择出的电极对施加规定的电压，计测静电电容(S14)，将计测出的静电电容记录在静电电容图案向量中(S15)。静电电容图案向量是元素包含计测出的静电电容的值的向量。

学习数据生成装置300判断是否残留有电极对列表中包含的电极对中的未被选择的电极对的组合(S16)。在残留有未被选择的电极对的组合的情况下(S16：“是”)，返回到步骤S13，选择新的电极对，对新的电极对进行静电电容的计测，并追加到静电电容图案向量中。在未被选择的电极对的组合未残留在电极对列表中的情况下(S16：“否”)，对得到的静电电容图案赋予教师数据(S17)。然后，学习数据生成装置300将得到的静电电容图案与教师数据相关联地记录在学习数据库装置400中(S18)。

学习数据生成装置300判断是否对物体的其他存在状态计测静电电容图案(S19)。在对物体的其他存在状态计测静电电容图案的情况下(S19：“是”)，学习数据生成装置300返回到步骤S10，对其他物体再次执行上述的处理。另一方面，在不对物体的其他存在状态计测静电电容图案的情况下(S19：“否”)，学习数据生成装置300判断是否存在电极组10的其他电极配置(S20)。在存在电极组10的其他电极配置的情况下(S20：“是”)，学习数据生成装置300对该其他电极配置再次执行以上说明的处理。另一方面，在没有电极组10的其他电极配置的情况下(S20：“否”)，学习数据生成装置300的学习数据生成处理结束。

根据本实施方式的学习数据生成装置300，能够相关联地生成包含针对电极组10计测出的与物体相关的静电电容图案在内的学习数据和包含与物体的存在状态相关的信息在内的教师数据。学习装置200通过使用包含静电电容图案在内的学习数据和教师数据进行学习，与利用单个电极对间的静电电容的变化的情况相比，能够获得更详细地判定物体的存在状态的能力。

图8是本实施方式的学习装置200中的学习处理的流程图。这里，假设在由学习数据生成装置300进行了学习数据生成处理之后执行学习处理进行说明，但不限于此，例如，也可以与学习数据生成装置300的学习数据生成处理并行地执行学习处理。首先，学习装置200访问学习数据库装置400(S30)，指定用于学习的学习数据(S31)。学习装置200依次读入包含于指定的学习数据中的静电电容图案，进行神经网络210的学习(S32)。神经网络210的学习例如可以是通过误差反向传播法执行的学习。学习装置200通过学习结果提取部230提取神经网络210学习的结果，通过学习结果输出部240经由通信部250将学习结果输出到学习数据库装置400或任意的外部存储装置(S33)。

最后，学习装置200判断是否还进行其他学习(S34)。在进行其他学习的情况下(S34：“是”)，指定不同的学习数据，再次执行神经网络的学习。在不进行其他学习的情况下(S34：“否”)，学习处理结束。

图9是本实施方式的状态判定装置100中的物体的识别处理的流程图。典型地，物体的识别处理是在学习装置200进行了神经网络的学习之后进行的处理。首先，状态判定装置100访问学习数据库装置400，通过学习结果输入部171输入由学习装置200输出的学习结果，通过神经网络设定部173构成神经网络175(S40)。由此，神经网络175能够再现作为学习装置200中的学习结果而获得的能力。

在多个电极11周边存在要识别的物体时，状态判定装置100从多个电极11中选择多个电极对，计测关于该物体的静电电容图案(S41)，神经网络输入部174向神经网络175输入静电电容图案(S42)。针对该输入，神经网络175进行运算(S43)，神经网络输出部180输出运算结果。状态判定装置100根据输出的运算结果来判定物体的存在状态，即生成物体的识别结果(S44)，并输出物体的识别结果(S45)。输出的识别结果例如是有无物体的存在、位置、种类、姿势、材质、分布等，但不限于此。

状态判定装置100判断是否结束物体的识别处理(S46)，在不结束物体的识别动作的情况下(S46：“否”)，更新静电电容图案，再次执行神经网络175对物体的识别处理。在结束物体的识别动作的情况下(S46：“是”)，结束物体的识别处理。

如以上详细说明的那样，根据本实施方式的状态判定装置100，从电极组10包含的多个电极11中选择多个电极对来计测静电电容图案，根据静电电容图案来判定物体的存在状态，由此，与利用单个电极对间的静电电容的变化的情况相比，能够更详细地判定物体的存在状态。

[第二实施方式]

接下来，作为第二实施方式，对将状态判定系统1应用于机器人手的实施方式进行说明。

图10是示出电极11设置于机器人手700的情形的图。如该图10所示，在本实施方式中，多个电极11和保护电极12设置于机器人手700。如后所述，状态判定装置100对设置于机器人手700的多个电极11计测静电电容图案，判定由机器人手700把持或操作的物体OB的存在状态。这里，典型地，机器人手700由多关节的臂部分和设置于臂部分前端的多关节的手部分构成。另外，将多个电极设置于机器人手700的方式只是例示，多个电极的设置部位不限于机器人手700，可以是任意的。

电极11由平面导体构成，设置于机器人手700的手掌侧。在本例中，电极11分别呈矩阵状排列设置在各指尖、各手指的第二关节与第三关节之间以及手掌上。保护电极12被配置成包围多个电极11的至少一部分，由平面导体构成。保护电极12设置在机器人手700的手掌侧，在本例中，以包围电极11的方式分别设置在各指尖、各手指的第二关节与第三关节之间以及手掌上。另外，该图所示的电极11和保护电极12的配置只是例示，电极11和保护电极12的配置是任意的。电极11越小，能够判定与越小的区域相关的物体OB的状态，电极11越大，能够判定与越大的区域相关的物体OB的状态。

在机器人手700的前方配置有物体OB。物体OB可以是任意的物体，也可以是液体或气体。物体OB也可以是人体等生物，也可以是工具等非生物。另外，物体OB可以是导电体、半导体以及绝缘体中的任意一种，可以是透明物体，也可以是不透明物体。

在机器人手700上设置多个电极11，根据多个电极11的静电电容图案来判定物体OB的状态，由此能够判定由机器人手700把持或操作的物体的状态，能够辅助机器人手700的更精密的动作。例如，在由机器人手700把持物体的情况下，能够以使机器人手700的多个手指相对于物体均等地接近的方式进行动作。

图11是第二实施方式的状态判定装置100的功能框图。状态判定装置100与电极11和保护电极12连接，具有选择部130、电压施加部140、静电电容图案计测部150、神经网络175、配置取得部161以及环境测定部162。另外，状态判定装置100作为物理结构具有输入部(键盘、鼠标等)、输出部(液晶显示设备等)、相当于硬件处理器的运算部(CPU、GPU等)、相当于存储器的存储部(HDD、SSD、半导体存储器等)。该图11所示的功能块表示使用状态判定装置100具有的物理结构而发挥的功能，并不一定与物理结构一一对应。

在本实施方式中，电极11和保护电极12设置于机器人手700，全部电极11和保护电极12被设置成能够移动且能够旋转。选择部130和静电电容图案计测部150具有与使用图4说明的相同的功能。

电压施加部140对由选择部130选择出的多个电极对施加规定的电压。电压施加部140对由选择部130选择出的电极对的一方和保护电极12施加基准电位。这里，基准电位可以是接地电位，但不限于此，也可以是任意的电位。电压施加部140可以对由选择部130选择出的电极对施加直流电压，也可以施加交流电压。

通过电压施加部140对电极对的一方和保护电极12施加基准电位，从而电场被保护电极12屏蔽，能够计测电极11的2个面中的仅单面侧的静电电容图案，能够限制判定物体OB的状态的范围。由此，例如不会受到机器人手700自身的影响、放置在机器人手700的手背侧的物体的影响，能够判定放置在机器人手700的手掌侧的物体OB的状态。另外，也可以通过对电极11的一部分施加基准电位，使电极11的一部分作为保护电极12而发挥功能。

配置取得部161取得多个电极11的配置。由于本实施方式的多个电极11设置于机器人手700，因此配置取得部161也可以取得机器人手700包含的各关节的角度，计算多个电极11在机器人手700上的配置。神经网络175是将由静电电容图案计测部150计测出的静电电容图案和由配置取得部161取得的多个电极11的配置作为输入数据，能够判定位于机器人手700周边的物体的存在状态的已学习的神经网络。

环境测定部162测定与由静电电容图案计测部150计测多个电极11的静电电容图案时的环境相关的环境数据。这里，环境数据是表征多个电极11所处的环境的物理量。环境数据尤其包含与导致静电电容变动的环境相关的数据。在本实施方式中，环境数据包含湿度和电磁噪声中的至少任意一方。湿度的变化和电磁噪声的强弱导致介电常数的变化、构成静电电容图案计测部150的电路的电状态的变化，成为计测出的静电电容变动的一个原因。神经网络175也可以将由静电电容图案计测部150计测出的静电电容图案和由环境测定部18测定出的环境数据作为输入数据，来判定物体的状态。判定结果由神经网络输出部180(在图11中未图示)输出。

环境测定部162也可以在由状态判定装置100执行状态判定处理的期间，继续测定环境数据。通过测定环境数据，能够进行考虑到静电电容图案的环境依赖性的状态判定，能够降低起因于测定环境变化的状态判定的误差。

在本实施方式中，环境测定部162测定湿度和电磁噪声作为环境数据。由此，能够进行考虑到对静电电容图案尤其带来影响的湿度和电磁噪声的依赖性的状态判定，能够降低起因于湿度的变化和电磁噪声的强弱的状态判定的误差。

在状态判定装置100的神经网络175中使用在学习装置200中以具有判定物体的存在状态的能力的方式学习到的已学习的神经网络。学习的方法与第一实施方式同样地能够使用由学习数据生成装置300生成且存储在学习数据库装置400中的学习数据来进行学习。

作为具体的一例，对于相对于机器人手700以规定的状态准备的物体OB，在将机器人手700设定为规定的配置，将多个电极11和保护电极12设定为规定的配置的基础上，学习数据生成装置300构成由选择出的多个电极对计测的静电电容图案，生成学习数据，并与教师数据相关联地保存在学习数据库装置400中。设定的电极的配置可以按照预先存储在学习数据生成装置300的存储部中的电极的配置列表，也可以按照学习数据生成装置300的基于用户的输入，也可以随机进行。学习数据生成装置300也可以将由配置取得部161取得的多个电极11的配置、由环境测定部162测定出的环境数据包含在学习数据或教师数据中。

学习装置200使用存储在学习数据生成装置300中的学习数据和教师数据进行机器学习，由此能够得到具有规定的能力的已学习的神经网络。例如，利用包含环境数据在内的学习数据进行机器学习，由此，即使在静电电容图案的计测环境变化的情况下，也能够进行考虑到静电电容图案的环境依赖性的状态判定，得到能够降低状态判定的误差的学习结果。

[第三实施方式]

接下来，作为第三实施方式，对将状态判定系统1应用于汽车等的座椅的实施方式进行说明。

图12是示出在第三实施方式中在座椅800设置有多个电极11的情形的图。在第三实施方式中，在座椅800设置有多个电极11而不具有保护电极12这一点上，与第二实施方式的状态判定系统不同。关于其他结构，第三实施方式的状态判定系统具有与第二实施方式的状态判定系统相同的结构。

在座椅800设置多个电极11，计测静电电容图案，通过已学习的神经网络判定物体的存在状态，由此，针对就座于座椅800的人的状态，能够判定体格、姿势等的详细。例如，通过判定就座于汽车的座椅上的汽车的驾驶员的状态，能够判断驾驶员是否处于清醒状态(驾驶员是否打瞌睡)。在判断为驾驶员未处于清醒状态的情况下，产生警告音等，从而能够防止事故。

本发明也可以通过与以上说明的第一实施方式、第二实施方式以及第三实施方式不同的结构来实施。例如，可以将多个电极11设置在机床等上，判定人或物的接近等，作为接触防止传感器来使用。另外，例如，可以将多个电极11设置在汽车的前玻璃上，作为判定由降雨引起的雨滴的状态的雨滴传感器来使用。在这种情况下，优选多个电极11由透明电极构成。另外，例如，可以将多个电极11设置在汽车的前面板或底面上，作为判定路面的状态的路面传感器来使用。另外，例如，可以将多个电极11设置在汽车的门把手上，判定接近门的手，判断是否是想要执行或解除锁门的手的动作，执行和解除锁门。另外，例如，可以将多个电极11设置在公共汽车的出入口周边或卡车的货箱出口周边，进行乘客或货物的状态判定。另外，例如，可以将多个电极11设置在汽车的内部，判定手的手势状态，进行音频设备的操作、门或后备箱的开闭以及电动车窗的开闭这样的指令。另外，例如，可以将多个电极11设置在汽车的外部，判定在车辆盗窃等违法行为中使用的工具或与违法行为相伴的动作，作为防盗传感器来使用。

以上说明的实施方式用于容易地理解本发明，并非用于限定地解释本发明。实施方式具有的各要素及其配置、材料、条件、形状以及尺寸等并不限于例示的，可以适当变更。另外，可以部分地置换或组合在不同的实施方式中示出的结构彼此。

另外，上述实施方式的一部分或全部也可以如以下的附记那样记载，但不限于以下。

(附记1)

一种状态判定装置，该状态判定装置具有至少一个存储器和与所述存储器连接的至少一个硬件处理器，其中，

所述硬件处理器从多个电极中选择多个电极对，计测与选择出的多个电极对有关的静电电容图案，根据计测出的静电电容图案，通过已学习的神经网络来判定物体的状态。

(附记2)

一种状态判定方法，判定位于多个电极周边的物体的状态，其中，

在该状态判定方法中，

通过至少一个硬件处理器从多个电极中选择多个电极对，

通过所述硬件处理器计测与选择出的多个电极对有关的静电电容图案，

所述硬件处理器根据计测出的静电电容图案，通过已学习的神经网络来判定物体的状态。