信息处理装置、信息处理方法及程序与流程

本公开涉及信息处理装置、信息处理方法及程序。

背景技术：

近年来，需要有效地检测图像内的物体的装置及方法。

例如，在专利文献1中公开了一种检测装置及检测方法，具备：多个单类分类部，从对象图像中识别有无物体；以及多类分类部，在由单类分类部识别出物体的情况下，将图像向其他单类分类部分类。

另外，例如在非专利文献1中公开了如下方法：输入对象图像并通过卷积滤波处理关于全部物体候选执行候选框的探索和分类。

在先技术文献

专利文献

专利文献1：日本特开2016－151805号公报

非专利文献

非专利文献1：weiliuet.al.，“ssd：singleshotmultiboxdetector”，arxiv：1512.02324v5[cs.cv]，29dec.，2016

技术实现要素：

发明所要解决的课题

但是，在现有技术中，用于物体的分类的处理量有时增大。例如，在专利文献1所记载的现有技术中，多次执行分类处理，因此处理量多，耗费时间。另外，在非专利文献1所记载的现有技术中，针对检测出的全部候选框进行non－maximumsuppression(非极大值抑制：nms)处理，因此如果候选框多则处理量也增大。

于是，本公开提供能够减少用于物体的分类的处理量的信息处理装置、信息处理方法及程序。

用于解决课题的手段

为了解决上述课题，本公开的一个方式所涉及的信息处理装置是具备处理器的信息处理装置，所述处理器取得输入图像，向执行分类似然性计算处理的机器学习模型输入所述输入图像并取得所述输入图像中的各物体候选的与多个类分别对应的似然性，关于所述各物体候选，使用与所述多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至所述第1类的第1判定，关于在所述第1判定中判定为不被分类至所述第1类的物体候选，分别执行判定是否被分类至所述其他类的第2判定，使用所述第2判定的结果来输出所述输入图像中映现的物体的分类结果。

另外，本公开的一个方式所涉及的信息处理方法是使处理器执行的方法，取得输入图像，向执行分类似然性计算处理的机器学习模型输入所述输入图像并取得所述图像中的各物体候选的与多个类分别对应的似然性，关于所述各物体候选，使用与所述多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至所述第1类的第1判定，关于在所述第1判定中判定为不被分类至所述第1类的物体候选，分别执行判定是否被分类至所述其他类的第2判定，使用所述第2判定的结果来输出所述输入图像中映现的物体的分类结果。

另外，本公开的一个方式能够作为使计算机执行上述信息处理方法的程序实现。或者，还能够作为存放了该程序的计算机可读取的非易失性的记录介质实现。

发明效果

根据本公开，能够减少用于物体的分类的处理量。

附图说明

图1是用于说明物体检测算法的一例的图。

图2是表示各候选框的与各类对应的似然性的计算结果的一例的图。

图3是用于说明现有技术的物体检测方法的流程图。

图4是表示实施方式所涉及的信息处理装置的功能构成的一例的框图。

图5是表示实施方式所涉及的信息处理装置的安装例的框图。

图6是表示实施方式所涉及的信息处理装置的动作的一例的流程图。

图7是表示机器学习模型的离线处理的一例的流程图。

图8是表示机器学习模型的离线处理的其他例的流程图。

图9是表示实施方式的变形例所涉及的信息处理装置的动作的一例的第1流程图。

图10是表示实施方式的变形例所涉及的信息处理装置的动作的一例的第2流程图。

具体实施方式

(得出本公开的知识)

以下，说明以往的物体检测方法。图1是用于说明物体检测方法的一例的图。在物体检测方法中使用的卷积网络(cnn：convolutionalneuralnetwork、卷积神经网络)例如是ssd(thesingleshotdetector：单发探测器)(参照非专利文献1)。图1的(a)是表示向cnn的输入图像的一例的图。图1的(a)所示的由虚线包围的区域表示物体区域。物体区域是物体被摄像的区域。另外，图1的(b)是表示将输入图像向cnn输入而得到的8×8特征图的图。图1的(c)是表示4×4特征图的图。图1的(b)及(c)所示的由一点虚线包围的区域表示候选框。另外，图1的(d)是表示cnn的一例的图。

在图1所示的物体检测方法中，将图1的(a)所示的输入图像向cnn输入。输入图像通过由不同种类的卷积滤波器构成的cnn被卷积，并被转换为各种尺寸的特征图。然后，如图1的(b)及(c)所示，针对各特征图上的各方格分配多个候选框(在此为4个候选框)。检测全部的特征图上的候选框(以下称为全部候选框)，最后，执行最大值检索(例如nms处理)，输出输入图像中的物体的检测结果。此外，如图1的(d)所示，在ssd中，将通过卷积滤波处理得到的特征图进一步向别的卷积滤波器输入并反复进行卷积。像这样，使用多个不同的卷积滤波器对特征图逐渐缩小地进行卷积，从而无论特征的大小如何，都能够检测各种规模的候选框。此外，图中的输出值是将物体区域和默认框的位置的偏移(例如中心的x坐标、中心的y坐标、宽度及高度的4维的参数)与类型得分(例如与各分类对应的似然性)建立了关联的数据。

图2是表示根据图1中说明的各特征图的输出值的一例的图。在此，以图1的(a)所示的输入图像的2个物体区域为例进行说明。输入图像中的2个物体区域分别对应于图1的(b)所示的8×8特征图上的2个候选框的集合。进而，图1的(c)所示的4×4特征图上的1组的图2所示的1组候选框的集合，对应于图1的(a)所示的汽车的物体区域。在图2中，示出了按每个候选框计算出的与行人、汽车、自行车、摩托车及背景这5类分别对应的似然性。如图2所示，在全部候选框的检测处理中，关于全部候选框计算各类的似然性，得到将各候选框的形状偏移与类型得分建立了关联的数据。此外，在图2所示的例子中，使用了被归一化的似然性，但也可以使用未被归一化的似然性。

接下来，说明nms处理。nms处理包含：第1处理，是将上述的处理流程中检测出的全部候选框向各类分类的分类处理；以及第2处理，将被分类的全部候选框之中重合的候选框综合为1个候选框。图3是表示现有技术中的分类处理的一例的流程图。图3所示的步骤s301的处理表示上述的全部候选框的检测处理。在步骤s301的处理中，计算输入图像中的各候选框的与多个类分别对应的似然性。如图3所示，在现有技术中，在步骤s301的处理之后，关于全部候选框执行分类循环的处理。全部候选如图2所示，还包含未映现检测对象的物体的背景的候选框。在现有技术中，关于背景的候选框，也执行与多个类对应的分类处理。例如，判定某个候选框的与汽车类对应的似然性(似然性[候选框])是否为汽车类的阈值(阈值[汽车])以上(步骤s302)。在该某个候选框的与汽车对应的似然性是汽车的阈值以上的情况下(步骤s302：是)，该某个候选框被追加至汽车类的列表(列表[汽车])(步骤s303)。另一方面，在该某个候选框的与汽车对应的似然性小于汽车的阈值的情况下(步骤s302：否)，该某个候选框不被追加至汽车类的列表。

接下来，判定其他1个候选框的与汽车类对应的似然性是否为汽车类的阈值以上(步骤s302)。在该某个候选框的与汽车对应的似然性是汽车的阈值以上的情况下(步骤s302：是)，该某个候选框被追加至汽车类的列表(步骤s303)。另一方面，在该某个候选框的与汽车对应的似然性小于汽车的阈值的情况下(步骤s302：否)，该某个候选框不被追加至汽车类的列表。

像这样，关于全部候选框，如果与汽车类对应的分类处理结束，则关于全部候选框，执行与汽车类以外的其他类(例如行人类)对应的分类处理。关于全部候选框，如果与多个类分别对应的分类处理(第1处理)结束，则关于全部候选框，执行第2处理。

在第2处理中，关于被检测出的全部候选框，在某个候选框与检测似然性比该某个候选框更高的候选框重合的情况下，在这些候选框的重合程度超过规定的阈值时，删除该某个候选框。也就是说，删除重合的候选框之中的除了具有最大似然性的候选框以外的候选框，由此将候选框综合为1个。

如上，在以往的物体检测方法中，关于全部候选框执行nms处理，因此最终阶段的判定处理的处理量多。进而，nms处理与卷积运算处理不同，难以通过专用的处理器实现高速化，而多由cpu(centralprocessingunit：中央处理单元)执行。另外，物体检测装置大多安装于车载网络等。安装于车载网络的cpu与安装于计算机的cpu相比，处理能力较低，因此nms处理耗费时间。

本申请发明人鉴于上述课题努力探讨，结果发现了：关于被检测出的全部候选框，基于与下述类(例如背景)对应的似然性，提取映现检测对象的物体的可能性高的候选框，由此能够减少处理量，其中与上述类对应的似然性相对于与其他类对应的似然性具有负相关关系。例如发现了：分类至背景类和背景以外的类，仅关于背景以外的类的候选框，也就是说，映现检测对象的物体的可能性高的候选框，执行判定是否被分类至其他类的判定处理，从而能够减少第2处理中的处理量。由此，想到了能够减少最终阶段的判定处理的处理量的信息处理装置及信息处理方法。

本公开的一个方式的概要如下所述。

本公开的一个方式所涉及的信息处理装置是具备处理器的信息处理装置，所述处理器取得输入图像，向执行分类似然性计算处理的机器学习模型输入所述输入图像并取得所述输入图像中的各物体候选的与多个类分别对应的似然性，关于所述各物体候选，使用与所述多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至所述第1类的第1判定，关于在所述第1判定中判定为不被分类至所述第1类的物体候选，分别执行判定是否被分类至所述其他类的第2判定，使用所述第2判定的结果来输出所述输入图像中映现的物体的分类结果。

像这样，关于各物体候选，使用相对于与其他类对应的似然性具有负相关关系的与第1类对应的似然性来执行第1判定，因此各候选框被高精度地分类至第1类及不是第1类的类中的某一个。仅关于被判定为不是第1类的物体候选，实施判定是否被分类至第1类以外的其他类的第2判定。因此，根据本公开的一个方式所涉及的信息处理装置，能够减少用于物体的分类的处理量。

另外，例如也可以是，所述处理器在所述第1判定中，判定所述各物体候选的与所述第1类对应的似然性是否为第1阈值以上。此时，例如也可以是，所述处理器进而关于所述各物体候选，执行判定是否被分类至所述其他类的第3判定，将比通过所述第3判定判定为被分类至所述其他类的物体候选的与所述第1类对应的似然性更大的值，决定为所述第1阈值。例如也可以是，所述处理器关于多个所述输入图像的所述各物体候选执行所述第3判定，将比通过关于多个所述输入图像的所述各物体候选的所述第3判定判定为被分类至所述其他类的物体候选的与所述第1类对应的全部似然性都更大的值，决定为所述第1阈值。

由此，基于第1阈值实施第1判定，因此在第1判定中被判定为不被分类至第1类的物体候选，包含被分类至第1类以外的其他类的全部物体候选。因此，根据本公开的一个方式所涉及的信息处理装置，通过执行第1判定，能够将输入图像中的全部物体候选高精度地分类至第1类和第1类以外的其他类。

另外，例如也可以是，所述第1类是背景类。

由此，根据本公开的一个方式所涉及的信息处理装置，能够关于映现检测对象的物体的可能性高的物体候选，执行判定是否分类至第1类以外的其他类中的哪一类的判定处理。

另外，例如也可以是，所述处理器从所述机器学习模型进而关于所述各物体候选取得候选框，在所述第2判定中，关于判定为不被分类至所述第1类的物体候选，分别判定与所述其他类对应的似然性是否为与所述候选框的尺寸相应的与所述其他类对应的阈值以上。

像这样，关于各物体候选与被输出的候选框的尺寸相应地使用与第1类以外的其他类对应的阈值，从而能够提高候选框的尺寸较大的物体候选的检测精度，并且关于候选框的尺寸较小的物体候选减少误检测。

另外，本公开的一个方式所涉及的信息处理方法是使处理器执行的方法，取得输入图像，向执行分类似然性计算处理的机器学习模型输入所述输入图像并取得所述图像中的各物体候选的与多个类分别对应的似然性，关于所述各物体候选，使用与所述多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至所述第1类的第1判定，关于在所述第1判定中判定为不被分类至所述第1类的物体候选，分别执行判定是否被分类至所述其他类的第2判定，使用所述第2判定的结果来输出所述输入图像中映现的物体的分类结果。

像这样，关于各物体候选，使用相对于与其他类对应的似然性具有负相关关系的与第1类对应的似然性来执行第1判定，因此各候选框被高精度地分类至第1类及不是第1类的类中的某一个。仅关于被判定为不是第1类的物体候选，实施判定是否被分类至第1类以外的其他类的第2判定。因此，根据本公开的一个方式所涉及的信息处理方法，能够减少判定处理的处理量。

另外，本公开的一个方式能够作为使计算机执行上述信息处理方法的程序实现。或者，还能够作为存放了该程序的计算机可读取的非易失性的记录介质实现。

以下，参照附图具体说明实施方式。

此外，以下说明的实施方式均示出概括性的或者具体性的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例，其意图不在于限定本公开。此外，关于以下实施方式中的构成要素之中的在独立权利要求中未记载的构成要素，作为任意的构成要素而被说明。

另外，各图是示意图，不一定严密地图示。从而，例如，在各图中比例尺等不必须一致。另外，在各图中，关于实质上相同的构成赋予相同的标记，省略或者简化重复的说明。

另外，在本说明书中，水平或者垂直等表示要素间的关系性的用语以及数值范围不是仅表示严密的含义的表现，而是意味着也包含实质上等同的范围、例如几％程度的差异的表现。

(实施方式)

[1.概要]

首先，说明实施方式所涉及的信息处理装置的概要。信息处理装置是用于检测图像内的物体的装置。例如，信息处理装置既可以是汽车、摩托车、自行车及电车(火车)等车辆、无人机等飞行体、或者飞机等移动体上搭载的相机系统的一个构成，也可以是防盗相机系统的一个构成。

信息处理装置使用训练完成的机器学习模型，输出图像中映现的物体的分类结果。机器学习模型例如是卷积滤波器网络(cnn)，使用教师数据被训练。关于信息处理装置的动作及机器学习模型的训练留待后述。

[2.功能构成]

接下来，关于信息处理装置的功能构成的一例，使用图4进行说明。图4是表示实施方式所涉及的信息处理装置100的功能构成的一例的框图。

如图4所示，信息处理装置100取得输入图像，将输入图像向输入部11输入。输入部11将输入图像向分类似然性计算部12输出。分类似然性计算部12例如是执行分类似然性的计算处理的机器学习模型。分类似然性计算部12计算输入图像中的各物体候选的与多个类分别对应的似然性。更具体而言，如图1的(d)中所说明的那样，分类似然性计算部12通过卷积滤波处理对输入图像进行卷积，提取各种尺寸的特征图。接下来，分类似然性计算部12关于各特征图上的被分配至各特征点的多个候选框，分别计算与多个类分别对应的似然性。即，分类似然性计算部12进行图1的(d)所示的全部候选框的检测处理。

第1提取部13提取多个类之中的被分类至第1类的物体候选(以下称为候选框)，将被分类至第1类以外的其他类(以下称为其他类)的候选框向第2提取部14输出。第2提取部14将被分类至其他类的候选框分别分类至各类，并向综合部15输出。即，第1提取部13及第2提取部14中的处理是图1的(d)中说明的non－maximumsuppression(非极大值抑制：nms)处理的第1处理。接下来，综合部15取得从第2提取部14输出的被分类至其他类的多个候选框，针对所取得的多个候选框执行nms处理的第2处理。综合部15删除重合的候选框之中的除了具有最大似然性的候选框以外的候选框，将候选框综合为1个。输出部16将综合后的候选框作为最终的检测结果输出。

[3.安装例]

接下来，说明信息处理装置100的安装例。图5是表示实施方式所涉及的信息处理装置100的安装例的框图。信息处理装置100具备处理器10和存储器20。例如，图4所示的信息处理装置100的多个构成要素由图5所示的处理器10及存储器20实现。

处理器10是能够对存储器20进行存取的电子电路，进行信息处理。例如，处理器10是使用存储器20对图像中的物体进行检测的专用或者通用的处理器。处理器10例如也可以是cpu。

另外，例如既可以由专用的硬件构成，也可以读出存储器20中记录的软件程序来执行。另外，软件程序既可以通过下载等被分发，也可以记录在半导体存储器等记录介质中被分发。

另外，处理器10也可以由多个电子电路构成，还可以由多个子处理器构成。另外，处理器10也可以起到图4及图5所示的信息处理装置100的多个构成要素之中除了用于存储信息的构成要素之外的多个构成要素的作用。

存储器20是存储供处理器10对图像中的物体进行检测的信息的专用或者通用的存储器。存储器20既可以是电子电路，也可以与处理器10连接，还可以被包含在处理器10中。

另外，存储器20也可以由多个电子电路构成，还可以由多个子存储器构成。另外，存储器20也可以是磁盘或者光盘等，也可以表现为存储装置或者记录介质等。另外，存储器20既可以是非易失性存储器，也可以是易失性存储器。

例如，存储器20起到图4及图5所示的信息处理装置100的多个构成要素之中用于存储信息的构成要素的作用。

另外，在存储器20中，既可以存储供物体检测处理使用的动态图像，也可以存储与供物体检测处理使用的动态图像对应的比特串。另外，在存储器20中，也可以存储用于处理器10对图像中的物体进行检测的程序。

另外，在信息处理装置100中，也可以不安装图4及图5所示的多个构成要素中的全部构成要素，也可以不进行上述多个处理中的全部处理。图4及图5所示的多个构成要素的一部分也可以被包含于其他装置，上述多个处理的一部分也可以由其他装置执行。另外，在信息处理装置100中，通过安装图4及图5所示的多个构成要素之中的一部分，进行上述多个处理的一部分，能够减少最终阶段的判定处理的处理量。

如上所述，图5所示的信息处理装置100的处理器10使用信息处理装置100的存储器20对图像中的物体进行检测。

例如，处理器10取得输入图像，向执行分类似然性计算处理的机器学习模型输入输入图像，并取得输入图像中的各物体候选(以下称为候选框)的与多个类分别对应的似然性。接下来，处理器10关于各候选框，使用与多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至第1类的第1判定。更具体而言，处理器10在第1判定中，判定各候选框的与第1类对应的似然性是否为第1阈值以上。

此外，上述的负相关关系，是与第1类对应的似然性和与其他类对应的似然性不同时高的关系。似然性不高，指的是似然性不为阈值以上。因此，关于各候选框，与第1类对应的似然性和与第1类以外的其他类对应的似然性不同时高。更具体而言，关于各候选框，在与第1类对应的似然性为阈值以上的情况下，与第1类以外的其他类对应的似然性比阈值小。因此，处理器10关于各候选框，使用相对于与其他类对应的似然性具有负相关关系的与第1类对应的似然性，进行分类处理，由此各候选框被高精度地分类至第1类及不是第1类的类中的某一个。

此外，第1类可以是与第1类以外的其他类相比在图像中的出现频度高的类。图像中的出现频度高，例如是在图像中被检测出的次数多，或者图像中的全部候选框之中似然性比阈值大的候选框的数量多。

例如，处理器10进而关于各候选框，执行判定是否被分类至其他类的第3判定，将比通过第3判定判定为被分类至其他类的候选框的与第1类对应的似然性更大的值，决定为第1阈值。例如，处理器10关于多个输入图像的各物体候选执行第3判定，将比通过关于多个输入图像的各物体候选的第3判定判定为被分类至其他类的物体候选的与第1类对应的似然性全部都更大的值，决定为第1阈值。由此，在第1判定中判定了各候选框的与第1类对应的似然性是否为第1阈值以上的情况下，通过第3判定判定为被分类至其他类的候选框全部被分类至不是第1类的类。因此，能够减少应该被分类至第1类以外的其他类的候选框被误分类至第1类的情况。

例如，第1类是背景类。在该情况下，处理器10将各候选框分类至背景类和不是背景的类。由此，在全部候选框之中，提取映现着检测对象的物体的可能性高的候选框。由此，关于未映现检测对象的物体的候选框，不需要执行进一步的分类处理，因此减少了分类处理中的处理量。另外，在全部候选框之中，仅关于映现着物体的可能性高的候选框，执行向背景以外的其他类分类的处理，因此分类处理的效率提高。

例如，处理器10关于在第1判定中判定为不被分类至第1类的候选框，分别执行判定是否被分类至其他类的第2判定。在此，在多个类中的第1类是在图像中出现频度高的类的情况下，与判定为不被分类至第1类的候选框的数量相比，判定为被分类至第1类的候选框的数量更多。因此，如果仅关于判定为不被分类至第1类的候选框分别执行第2判定，则与关于全部候选框执行第2判定的情况相比，处理量大幅减小。

接下来，处理器10使用第1判定及第2判定的结果，输出输入图像中映现的物体的分类结果。由此，能够将输入图像中映现的物体的分类结果简便而且迅速地输出。

在此，实现本实施方式的信息处理装置100的软件是如下的程序。

即，该程序也可以使计算机执行如下信息处理方法：取得输入图像，向执行分类似然性计算处理的机器学习模型输入输入图像并取得图像中的各物体候选的与多个类分别对应的似然性，关于各物体候选，使用与多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至第1类的第1判定，关于在第1判定中判定为不被分类至第1类的物体候选，分别执行判定是否被分类至其他类的第2判定，使用第2判定的结果，将输入图像中映现的物体的分类结果输出。

[4.动作]

[4－1.各候选框的分类处理]

接下来，说明信息处理装置100的动作。图6是表示实施方式所涉及的信息处理装置100的动作的一例的流程图。

首先，信息处理装置100取得输入图像(未图示)。接下来，如图6所示，信息处理装置100按输入图像中的每个候选框计算似然性(步骤s601)。更具体而言，信息处理装置100向执行分类似然性计算处理的机器学习模型输入输入图像，使其计算输入图像中的各候选框的与多个类分别对应的似然性。

接下来，信息处理装置100关于全部候选框，使用与多个类中的第1类对应的、且相对于与其他类对应的似然性具有负相关关系的似然性，执行判定是否被分类至第1类的第1判定。关于与第1类相关的定义，在上述的安装例中进行了说明，因此在此省略说明。以下，关于第1类是背景(bg：background)类的例子进行说明。

信息处理装置100判定各候选框的与背景类对应的似然性是否为背景的阈值以上(步骤s602)。在某个候选框的与背景类对应的似然性为背景的阈值以上的情况下(步骤s602：是)，该某个候选框被追加至背景(bg)类的列表。另一方面，在某个候选框的与背景类对应的似然性比背景的阈值小的情况下(步骤s602：否)，该某个候选框被追加至不是背景的(notbg)类的列表(步骤s603)。信息处理装置100关于全部候选框，执行上述的处理循环，从而将全部候选框分类至上述的2个类，也就是说背景(bg)类及不是背景的(notbg)类中的某一个。

接下来，信息处理装置100关于在第1判定(步骤s602)中判定为不被分类至背景类的候选框(也就是说，被追加至不是背景的类的列表的候选框)，分别执行判定是否被分类至其他类的第2判定(步骤s604)。具体而言，关于各候选框，判定与其他类分别对应的似然性是否为各类的阈值以上(步骤s604)。在某个候选框的与某个类对应的似然性(例如与汽车类对应的似然性)是汽车的阈值以上的情况下(步骤s604：是)，该某个候选框被追加至汽车类的列表(步骤s605)。另一方面，在该某个候选框的与汽车类对应的似然性比汽车的阈值小的情况下(步骤s604：否)，该某个候选框不被追加至汽车类的列表。

接下来，信息处理装置100例如在其他1个候选框的与汽车类对应的似然性是汽车的阈值以上的情况下(步骤s604：是)，该其他1个候选框被追加至汽车类的列表(步骤s605)。另一方面，在该其他1个候选框的与汽车类对应的似然性比汽车的阈值小的情况下(步骤s604：否)，该其他1个候选框不被追加至汽车类的列表。

像这样，在关于不是背景的类的列表中的全部候选框，执行了与1个类(在此为汽车类)对应的分类处理之后，执行与别的类(例如行人类)对应的分类处理。反复进行同样的处理，与不是背景的类的列表中的全部候选框对应的分类循环结束。

如上，根据本实施方式所涉及的信息处理装置100，首先，关于输入图像中的全部候选框，分别例如判定是否被分类至图像中出现频度最高的类(也就是说，相对于其他类的似然性具有负相关关系的似然性的类)。由此，例如能够将检测出的全部候选框分类至背景类和不是背景的类这2个类。背景类例如是图像中的出现频度高的类。信息处理装置100关于被分类至不是背景的类的各候选框，进行与背景类以外的其他类对应的分类处理，因此处理量得以减小。

[4－2.第1类的第1阈值的决定处理]

接下来，说明信息处理装置100所执行的作为第1类(在此为背景类)的似然性阈值的第1阈值的决定处理流程的一例。图7是表示实施方式中的机器学习模型的离线处理的一例的流程图。

如图6中所说明的那样，信息处理装置100向执行分类似然性计算处理的机器学习模型输入输入图像，计算输入图像中的各候选框的与多个类分别对应的似然性。机器学习模型被使用教师数据，训练输入图像中的候选框的检测、以及各候选框的与多个类分别对应的似然性的计算。

信息处理装置100例如在离线状态下，将规定的输入图像向机器学习模型输入，机器学习模型关于检测出的全部候选框，分别计算与多个类对应的似然性(未图示)。

接下来，信息处理装置100利用机器学习模型，开始分类循环。首先，信息处理装置100利用机器学习模型，关于全部候选框，针对多个类之中的1个类执行分类处理。例如，判定某个候选框的与背景类对应的似然性是否为背景的阈值以上(步骤s701)。在该某个候选框的与背景类对应的似然性是背景的阈值以上的情况下(步骤s701：是)，该某个候选框被追加至背景类的列表(步骤s702)。另一方面，在该某个候选框的与背景类对应的似然性比背景的阈值小的情况下(步骤s701：否)，该某个候选框不被追加至背景类的列表。

接下来，关于其他1个候选框，执行步骤s701的处理，在该其他1个候选框的与背景类对应的似然性是背景的阈值以上的情况下(步骤s701：是)，该其他1个候选框被追加至背景类的列表(步骤s702)。另一方面，在该其他1个候选框的与背景类对应的似然性比背景的阈值小的情况下(步骤s701：否)，该其他1个候选框不被追加至背景类的列表。

如上，关于全部候选框执行了与背景类对应的分类处理之后，关于全部候选框，执行与背景类以外的其他类(例如汽车类)对应的分类处理(第3判定的处理)。同样，在与汽车类对应的分类处理结束之后，关于全部候选框，执行与除了背景类及汽车类以外的其他类(例如行人类)对应的分类处理。像这样，关于全部候选框，执行与全部类对应的分类处理。

虽未图示，信息处理装置100将比通过上述一系列处理追加至背景类以外的其他类的列表中的各候选框的与背景类对应的似然性更大的值，决定为第1阈值。例如，第1阈值既可以是比被追加至其他类的列表中的各候选框的与背景类对应的似然性的平均值更大的值，也可以是比最大值更大的值。由此，信息处理装置100在第1判定中，能够不遗漏有映现物体的可能性的候选框，而分类至不是背景的类。

[4－3.决定的第1阈值的调整]

接下来，信息处理装置100使用通过图7所示的处理决定的第1阈值，针对输入图像中的全部候选框执行第1判定，判定第1阈值是否合适，基于判定结果，调整第1阈值的值。

图8是表示机器学习模型的离线处理的其他例的流程图。在图8所示的处理流程中，信息处理装置100关于输入图像中的全部候选框，执行判定与第1类(在此为背景类)对应的似然性是否为第1阈值以上的第1判定，将全部候选框分类至背景类及不是背景的类中的某一类。第1阈值是第1类(在此为背景类)的阈值。此外，在图7及图8所示的处理流程中，信息处理装置100将相同的输入图像向机器学习模型输入。

如图8所示，信息处理装置100利用机器学习模型，关于全部候选框，判定是否被分类至背景类。例如，判定某个候选框的与背景类对应的似然性是否为背景的阈值以上(步骤s801)。在该某个候选框的与背景类对应的似然性是背景的阈值以上的情况下(步骤s801：是)，该某个候选框被追加至背景类。另一方面，在该某个候选框的与背景类对应的似然性比背景的阈值小的情况下(步骤s801：否)，该某个候选框被追加至不是背景的(notbg)类(步骤s802)。

接下来，信息处理装置100关于其他候选框，分别执行同样的处理，分类至背景列表及不是背景的列表中的某一个。如果关于全部候选框结束执行了第1判定，则全部候选框的循环结束。

信息处理装置100判定在图7所示的处理流程中被分类至背景类以外的其他类的候选框是否全部通过图8所示的处理被追加至不是背景的类的列表。在被分类至其他类的候选框全部被追加至不是背景的类的列表的情况下，信息处理装置100也可以根据被追加至不是背景的类的列表中的候选框的数量与被分类至其他类的候选框的数量之间的差量，对第1阈值附加规定的余量。另一方面，在被分类至其他类的候选框之中，有未被追加至不是背景的类的列表中的候选框的情况下，信息处理装置100调整第1阈值。此时，信息处理装置100也可以基于判定为被分类至其他类的候选框之中未被追加至不是背景的类的列表中的候选框的数据，来调整第1阈值。

信息处理装置100在调整了第1阈值的情况下，使用调整后的第1阈值，执行图8所示的处理流程。然后，信息处理装置100再次判定在图7所示的处理流程中被分类至其他类的候选框是否全部包含在不是背景的类的列表中。像这样，信息处理装置100在离线状态下，使用规定的训练用数据执行机器学习模型的训练，决定合适的第1阈值。

(变形例)

接下来，说明变形例所涉及的信息处理装置。在此，以与实施方式所涉及的信息处理装置100的不同点为中心进行说明。

变形例所涉及的信息处理装置关于在第1判定中被判定为未分类至第1类(例如背景类)的候选框，分别与各候选框的尺寸相应地与其他类对应的阈值，判定各候选框的与其他类对应的似然性是否为该阈值以上，这点与实施方式所涉及的信息处理装置100不同。

图9是表示变形例所涉及的信息处理装置的动作的一例的第1流程图。图10是变形例所涉及的信息处理装置的动作的一例的第2流程图。

如图9所示，变形例所涉及的信息处理装置计算输入图像中的各候选框的与多个类分别对应的似然性(步骤s901)。接下来，信息处理装置关于全部候选框执行第1判定。例如，信息处理装置执行判定某个候选框的与背景对应的似然性是否为背景的阈值以上的第1判定(步骤s902)。在该某个候选框的与背景对应的似然性是背景的阈值以上的情况下(步骤s902：是)，该某个候选框被追加至背景类的列表。另一方面，在该某个候选框的与背景对应的似然性比背景的阈值小的情况下(步骤s902：否)，该某个候选框被追加至不是背景的(notbg)列表(步骤s903)。

接下来，执行判定其他1个候选框的与背景对应的似然性是否为背景的阈值以上的第1判定(步骤s902)。在该其他1个候选框的与背景对应的似然性是背景的阈值以上的情况下(步骤s902：是)，该其他1个候选框被追加至背景类的列表。另一方面，在该其他1个候选框的与背景对应的似然性比背景的阈值小的情况下(步骤s902：否)，该其他1个候选框被追加至不是背景的(notbg)类的列表(步骤s903)。

关于全部候选框，如果结束了上述的处理循环，则开始不是背景的类的列表中的候选框的分类循环处理(参照图10)。

虽未图示，变形例所涉及的信息处理装置与候选框的尺寸相应地决定与其他类对应的阈值。例如，候选框的尺寸越小，则设定越小的值的阈值。由此，能够减少信息处理装置对影像中较小地映现的物体误检测的情况。

如图10所示，首先，信息处理装置判定各候选框的尺寸。例如，信息处理装置判定通过图9所示的处理被追加至不是背景的类的列表中的各候选框的尺寸是否比h1(高度1)大且为h2(高度2)以下(步骤s1001)。此时，在第一个候选框的尺寸比h1大且为h2以下的情况下(步骤s1001：是)，判定该第一个候选框的与汽车类对应的似然性是否为汽车的阈值1以上(步骤s1002)。在该第一个候选框的与汽车类对应的似然性是汽车的阈值以上的情况下，该某个候选框被追加至汽车类的列表(步骤s1003)。另一方面，在该第一个候选框的与汽车类对应的似然性比汽车的阈值小的情况下(步骤s1002：否)，该第一个候选框不被追加至汽车类的列表。

接下来，判定第2个候选框的尺寸是否比h1大且为h2以下(步骤s1001)。在该第2个候选框的尺寸不是“比h1大且为h2以下”的情况下(步骤s1001：否)，判定该第2个候选框的尺寸是否比h2(高度2)大且为h3(高度3)以下(步骤s1004)。此时，在该第2个候选框的尺寸比h2大且为h3以下的情况下(步骤s1004：是)，判定该第2个候选框的与汽车类对应的似然性是否为汽车的阈值2以上(步骤s1005)。在该第2个候选框的与汽车类对应的似然性是汽车的阈值2以上的情况下(步骤s1005：是)，该第2个候选框被追加至汽车类的列表(步骤s1006)。另一方面，在该第2个候选框的与汽车类对应的似然性比汽车的阈值2小的情况下(步骤s1005：否)，该第2个候选框不被追加至汽车类的列表。

接下来，判定第3个候选框的尺寸是否比h1大且为h2以下(步骤s1001)。在该第3个候选框的尺寸不是“比h1大且为h2以下”的情况下(步骤s1001：否)，判定该第3个候选框的尺寸是否比h2(高度2)大且为h3(高度3)以下(步骤s1004)。此时，在该第3个候选框的尺寸不是“比h2大且为h3以下”的情况下(步骤s1004：否)，判定该第3个候选框的尺寸是否比h3(高度3)大且为h4(高度4)以下(步骤s1007)。此时，在该第3个候选框的尺寸比h3大且为h4以下的情况下(步骤s1007：是)，判定该第3个候选框的与汽车类对应的似然性是否为汽车的阈值3以上(步骤s1008)。在该第3个候选框的与汽车类对应的似然性是汽车的阈值3以上的情况下(步骤s1008：是)，该第3个候选框被追加至汽车类的列表(步骤s1009)。另一方面，在该第3个候选框的与汽车类对应的似然性比汽车的阈值3小的情况下(步骤s1008：否)，该第3个候选框不被追加至汽车类的列表。

像这样，如果关于被分类至不是背景的类的全部候选框，结束了与汽车对应的似然性阈值的判定处理，则关于除了背景类及汽车类以外的其他类，执行上述的分类处理。

(其他实施方式)

以上，关于1个或者多个方式所涉及的信息处理装置及信息处理方法，基于实施方式进行了说明，但本公开不限定于这些实施方式。只要不脱离本公开的主旨，对本实施方式施加了本领域技术人员想到的各种变形而得到的方式、以及组合了不同实施方式中的构成要素而构筑的方式，也包含在本公开的范围中。

例如，在上述的实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置分散处理来实现。另外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，或者也可以进行分散处理。

另外，本公开的整体性的或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。

另外，上述的各实施方式能够在权利要求书或者与其等同的范围中进行各种变更、改写、附加及省略等。

工业实用性

本公开能够作为能够减少分类处理中的处理量的信息处理装置等利用，例如，能够利用于自动驾驶的控制或者防盗相机系统中的人检测等。

附图标记说明：

10处理器

11输入部

12分类似然性计算部

13第1提取部

14第2提取部

15综合部

16输出部

20存储器

100信息处理装置。