信息处理装置和信息处理方法与流程

本发明涉及创建用于机器学习的学习数据的技术。本发明涉及一种信息处理装置及信息处理方法。

背景技术：

作为用于创建用于机器学习的学习数据的程序，使用了用于将要学习的正确答案信息(正确答案标签)添加到目标数据的注释工具。注释工具可以配备有例如用于减少用户在创建学习数据时的工作负荷的功能组(即，用于协助用户的功能组)。这种功能的示例包括通过使用基于初步机器学习为类似任务构建的训练模型而分析要注释的数据，来提取要添加为注释的信息的候选的功能。

作为与这种注释工具相关的技术的一个示例，日本专利第6074820号讨论了一种用于控制在显示候选时要添加为注释的信息(标签)的候选的显示顺序的技术。日本专利公开第2019-101535号讨论了用于确定要添加为注释的信息的技术的示例。

技术实现要素：

本发明的一个方面提供了一种信息处理装置，该信息处理装置包括：获得部，其用于获得分数的估计结果，所述分数表示第一候选和第二候选中的各个对于要作为注释添加到要注释的数据的标签的似然性；以及控制部，其用于控制如下的显示处理：该显示处理用于根据第一候选和第二候选中的各个的分数，通过输出单元显示第一显示信息和第二显示信息，第一显示信息指示与第一候选相关联的显示位置，第二显示信息指示与第二候选相关联的显示位置。

本发明的一个方面提供了一种信息处理方法，该信息处理方法包括：获得分数的估计结果，所述分数表示第一候选和第二候选中的各个对于要作为注释添加到要注释的数据的标签的似然性；以及控制如下的显示处理：所述显示处理用于根据第一候选和第二候选中的各个的分数通过输出单元显示第一显示信息和第二显示信息，第一显示信息指示与第一候选相关联的显示位置，第二显示信息指示与第二候选相关联的显示位置。

通过参照附图对示例性实施例的以下描述，本发明的其他特征将变得明显。

附图说明

图1是例示信息处理装置的功能构造的示例的框图。

图2是例示信息处理装置的硬件构造的框图。

图3是例示要由信息处理装置进行的处理的示例的流程图。

图4是例示要由信息处理装置进行的处理的示例的流程图。

图5示出了要由信息处理装置通过输出单元显示的画面的示例。

图6示出了要由信息处理装置通过输出单元显示的画面的另一示例。

图7示出了要由信息处理装置通过输出单元显示的画面的又一示例。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不对需要所有这些特征的发明进行限制，并且可以适当地组合多个这些特征。此外，在附图中，相同的附图标记被赋予相同或相似的构造，并且省略其冗余描述。

在通过将标签作为注释添加到目标数据来创建用于机器学习的学习数据的情况下，假定用户意外地选择错误的标签来添加的情况。如果在错误标签被意外地选择时生成的学习数据被用于机器学习，则使用基于机器学习构建的训练模型的输入数据的预测(或估计、鉴定、识别等)的准确性可能会降低。在这种情况下，具有低似然性的标签被意外地添加到目标数据作为表示数据的标签。因此，使用上述训练模型预测输入数据的准确性可能会降低。

根据本发明的示例性实施例，可以以优选的方式协助用户选择要被添加为注释的标签。

<注释概要>

监督学习是用于基于所谓的机器学习来训练机器学习模型(换句话说，构造机器学习模型)的技术的示例。在监督学习中，使用数据集来构建机器学习模型。数据集包括学习数据，其中要输入到学习模型的数据和要基于数据预测的正确答案标签相关联。如果数据集不存在或不足以构建机器学习模型，则通过注释操作来构建数据集，该注释操作用于例如在收集要输入的数据之后将正确答案标签作为注释添加到数据。可以使用具有用于协助用户进行将正确答案标签添加到数据的操作的功能的注释工具来促进用户在注释操作期间的操作。

在将目标数据呈现给用户之后，注释工具从用户接收正确答案标签的指定，该正确答案标签将作为注释添加到要注释的诸如图像或文档的数据(该数据在下文中也称为“目标数据”)中。注释工具通过将由用户指定的正确答案标签添加到目标数据作为注释，来生成要包括在数据集中的学习数据。

各种类型的注释工具包括使用基于初步机器学习构建的机器学习模型(以下也称为“训练模型”)的工具，以有效地进行将正确答案标签添加到目标数据的上述标签添加操作。作为具体示例，使用训练模型的工具使训练模型分析目标数据，从而使训练模型提取要作为注释添加到目标数据的标签的候选，并将所提取的标签的候选呈现给用户。这使得用户能够从注释工具呈现的标签的候选当中选择要作为正确答案标签添加到目标数据的候选。

这里假定要作为注释添加到目标数据的标签至少包括字符信息。

通过上述注释工具呈现一系列提取的候选的方法的示例包括，例如，以预定顺序呈现一系列候选的方法，以及以作为训练模型的预测结果而获得的分数的降序呈现一系列候选的方法。

相比之下，当以预定顺序呈现一系列提取的候选时，可以在靠近目标数据的位置处呈现与要注释的目标数据不太相关的标签的候选(换句话说，具有低似然性的标签的候选)。在这种情况下，假定用户被引导选择与目标数据不太相关的标签的候选作为要被添加作为对目标数据的注释的正确答案标签的情况。因此，如果在数据集中包括与目标模型不太相关的标签的学习数据，则使用数据集构建的机器学习模型的预测准确度可能低于应该达到的准确度。

当以作为训练模型的预测结果而获得的分数的降序呈现一系列提取的候选时，用户可能难以识别训练模型是否可以以一定程度的确定性提取候选。在这种情况下，假定用户可以简单地确定第一候选(例如，具有最高分数的候选)是适当的标签而无需太多考虑的情况。

在注释操作中，可以创建专用于特定领域的学习数据。在这种情况下，训练模型可能很难以高度的确定性进行预测。如果用户在没有太多考虑的情况下简单地将标签的第一候选确定为更适当的标签，并且在这种情况下选择第一候选，则可能会选择与目标数据不太相关的候选。即使在这种情况下，添加了与目标模型不太相关的标签的学习数据也包括在数据集中。因此，存在这样一种可能性，即机器学习模型的预测准确度可能低于预期达到的准确度。

因此，本公开提出了一种与注释工具相关的、能够协助用户以优选的方式进行用于选择要作为注释添加到目标数据的标签的操作的技术。

<功能构造>

将参照图1描述根据本发明示例性实施例的信息处理装置101的功能构造。信息处理装置101通过输出单元113向用户呈现各种类型的信息，并且基于由输入单元114从用户接收的操作识别来自用户的各种指令。

输入单元114接收来自用户的操作，并根据所接收的操作将控制信息发送到信息处理装置101。输入单元114由能够接收与注释操作相关的各种操作的各种输入设备来实现，诸如键盘、鼠标、轨迹球和手写板。

输出单元113基于从信息处理装置101输入的控制操作向用户呈现各种类型的信息。作为具体示例，输出单元113可以向用户呈现关于例如要注释的目标数据以及要作为对目标数据的注释添加的标签的候选的信息。输出单元113可以基于来自信息处理装置101的控制操作提供用于从用户接收指令的用户界面(ui)。输出单元113由诸如所谓的显示器的输出设备来实现。

现在将描述信息处理装置101的组件。信息处理装置101包括训练模型数据库(db)103、训练模型读取单元102、标签估计单元104、标签放置控制单元105、输出控制单元106、目标数据db108和目标数据读取单元107。信息处理装置101还包括输入接收单元109、注释添加单元110、先前注释数据db112和先前注释数据存储单元111。

训练模型db103是用于存储关于可以由信息处理装置101使用的训练模型的数据的存储区域。

在本示例性实施例中，训练模型db103由数据库实现。然而，训练模型db103的构造不受限制，只要关于可以由信息处理装置101使用的训练模型的数据可以存储在训练模型db103中即可。训练模型db103的具体示例可以包括存储设备，诸如硬盘驱动器(hdd)和固态驱动器(ssd)。在这种情况下，例如，可以以能够从诸如hdd和ssd的存储设备中的操作系统(os)的文件系统参照的格式存储关于训练模型的数据。

上述设备的条件类似于下面描述的目标数据db108和先前注释数据db112的条件。

训练模型读取单元102进行用于读取关于存储在训练模型db103中的训练模型的数据的处理。作为具体示例，由训练模型读取单元102读取的关于训练模型的数据被加载到信息处理装置101的预定存储区域(例如，图2所示的随机存取存储器(ram)213或辅助存储设备214)中。因此，信息处理装置101的各个组件(例如，下面描述的标签估计单元104)可以使用训练模型执行用于例如估计、鉴定和预测的各种处理。将关于训练模型的数据加载到上述存储区域中。

目标数据db108是用于存储要注释的数据(目标数据)的存储区域。

图1示出了作为单独组件的训练模型db103、目标数据db108和先前注释数据db112。然而，至少两个组件可以由单个设备实现。

参照图1，信息处理装置101包括训练模型db103、目标数据db108和先前注释数据db112。然而，这些组件中的至少一些可以配设在信息处理装置101的外部。在这种情况下，信息处理装置101可以经由网络访问外部设备，从而获得包括在信息处理装置101中而存储在上述组件(例如，目标数据db108)中的数据，并将获得的数据加载到预定存储区域中。

目标数据读取单元107进行用于从目标数据db108读取要注释的目标数据的处理。目标数据读取单元107将读取的目标数据输出到标签估计单元104和输出控制单元106。在本示例性实施例中，为了便于说明，假定目标数据读取单元107一次读取单条目标数据，并将读取的目标数据输出到标签估计单元104和输出控制单元106中的各个。然而，由目标数据读取单元107进行的处理不限于此。例如，目标数据读取单元107可以一次读取多条目标数据，并且可以将多条目标数据输出到标签估计单元104和输出控制单元106中的各个。

由目标数据读取单元107从目标数据db108读取的数据，即，要注释的目标数据，相当于“第二数据”的示例。

标签估计单元104基于目标数据和从训练模型读取单元102读取的训练模型，估计要作为注释添加到从目标数据读取单元107读取的目标数据的标签的候选。

具体地，标签估计单元104将目标数据输入到训练模型，从而从目标数据提取要注释的区域，并获得要作为各个区域的注释添加的标签的候选和各个候选的分数。在这种情况下，标签估计单元104不仅可以获得具有最高分数的候选，还可以获得多个候选(至少具有前两个分数的候选)和多个候选中的各个的分数。

标签的各个候选的分数是取决于预测、估计、鉴定或识别的确定性的信息，该确定性为包括在要注释的区域中的信息对应于由基于上述训练模型的标签指示的信息的确定性。换句话说，上述分数是指示包括在要注释的区域中的信息对应于由标签指示的信息的似然性的指数。在本示例性实施例中，假定在要注释的区域中指示的目标(对象)对应于由基于上述训练模型的标签指示的目标(对象)的预测(识别)的概率(确定性)被用作标签的各个候选的分数。用作上述分数的指数不限于上述概率，而是可以使用其他指数。

如上所述，标签估计单元104提取要添加的标签的候选作为目标数据中要注释的各个区域的注释，并估计各个提取的候选的分数。然后，标签估计单元104向标签放置控制单元105输出对于要注释的各个区域提取的一系列标签候选以及该系列标签候选中的各个的分数的估计结果。

标签放置控制单元105从标签估计单元104获得对于要注释的各个区域提取的一系列标签候选以及对于一系列标签候选中的各个的分数的估计结果。标签放置控制单元105根据对于各个要注释的区域的一系列提取的标签候选中的各个的分数的估计结果，控制用于通过输出单元113显示与一系列标签候选中的各个相关联的显示信息的处理。

作为具体示例，标签放置控制单元105可以根据一系列标签候选当中的第一候选的分数与第二候选的分数之间的比较结果，来控制用于显示至少与第一候选和第二候选中的各个相关联的显示信息的放置。与第一候选相关联的显示信息对应于“第一显示信息”的示例，并且与第二候选相关联的显示信息对应于“第二显示信息”的示例。

在这种情况下，标签放置控制单元105可以根据一系列标签候选中的至少一些的分数，考虑到对目标数据的注释难度，来控制用于显示候选的放置。

作为示例性实施例，下面将详细描述由标签放置控制单元105通过输出单元113显示与一系列标签候选中的各个相关联的显示信息的处理控制的示例。

在本公开中，“显示信息”对应于通过在诸如显示器的输出设备上显示信息而要呈现给用户的信息。显示信息的示例包括图标、文本信息和图像。换句话说，与各个候选相关联的显示信息的类型不受限制，只要可以通过输出单元113向用户呈现一系列标签候选中的各个即可。

在下面的描述中，为了便于解释，可以将“显示与各个候选相关联的显示信息”的描述表示为“显示各个候选”。换句话说，在以下描述中，除非另有说明，否则描述“显示各个候选”意味着“显示与各个候选相关联的显示信息”。这适用于其他类似的表达方式。例如，如果使用短语“放置各个候选”来解释信息在画面上的显示，除非另有说明，否则该短语意味着“放置与各个候选相关联的显示信息”。

标签放置控制单元105包括单词分布式表示计算构件115和单词相似度计算构件116。

单词分布式表示计算构件115针对各个标签候选来计算单词分布式表示。单词分布式表示是一种将单词表示为高维实数向量的技术。例如，具有相似含义的单词与相近向量相关联。为了计算单词分布式表示，使用诸如“word2vec”的神经网络来进行文本处理。

单词相似度计算构件116基于对一系列标签候选中的各个计算的单词分布式表示来计算一系列标签候选之间的语言相似度(以下也称为“单词相似度”)。

例如，如上所述计算的一系列标签候选之间的单词相似度用于如下的处理控制：该处理控制用于显示由标签放置控制单元105获得的一系列标签候选中的各个。

输出控制单元106基于由目标数据读取单元107读取的目标数据和由标签放置控制单元105获得的用于显示一系列标签候选中的各个的控制结果，生成在其上呈现与各个候选相关联的显示信息的画面。然后，输出控制单元106使输出单元113显示所生成的画面。

输出控制单元106基于来自下面描述的注释添加单元110的指令，将用户添加注释的结果反映在生成的画面上。

下面将作为示例性实施例详细描述由输出控制单元106生成的上述画面的示例。

输入接收单元109基于输入单元114从用户接收的操作，从输入单元114获得控制信息，并将获得的控制信息发送到注释添加单元110。

注释添加单元110基于来自用户的通过输入接收单元109的输入获得控制信息，并且基于该控制信息执行用于将标签作为注释添加到目标数据的处理。由注释添加单元110将标签作为注释添加到目标数据的处理可以根据目标数据的类型而随任务变化。

作为具体示例，在检测图像中拍摄的对象的任务的情况下，注释添加单元110执行用于鉴定要注释的图像中拍摄的对象(目标数据)在图像中的位置以及用于添加指示对象的标签的处理。

作为另一示例，在基于自然语言处理对文档进行分类的任务的情况下，注释添加单元110执行用于在文档上添加指示要注释的文档(目标数据)的类别的标签的处理。

如上所述，由注释添加单元110进行的用于向目标数据添加标签的处理的内容可以根据例如要注释的目标数据的类型以及添加标签作为注释的目的而适当地改变。

先前注释数据存储单元111将目标数据与关于由注释添加单元110作为注释添加到目标数据的标签的信息相关联，并将目标数据和该信息存储在先前注释数据db112中。存储在先前注释数据db112中的先前注释目标数据可以例如以可用于监督学习中的训练数据的数据格式来存储。存储在先前注释数据db112中的先前注释目标数据(例如，训练数据)对应于“第一数据”的示例。

<硬件构造>

将参照图2描述根据本示例性实施例的信息处理装置101的硬件构造的示例。如图2所示，根据本示例性实施例的信息处理装置101包括中央处理单元(cpu)211、只读存储器(rom)212以及ram213。信息处理装置101还包括辅助存储设备214、输出设备215、输入设备216和通信接口(i/f)217。cpu211、rom212、ram213、辅助存储设备214、输出设备215、输入设备216和通信i/f217经由总线218彼此连接。

cpu211是控制将由信息处理装置101执行的各种操作的中央处理单元。例如，cpu211可以控制信息处理装置101的整个操作。rom212存储例如可以由cpu211执行的控制程序和引导程序。ram213是cpu211的主存储器。ram213用作用于加载各种程序的工作区或临时存储区。

辅助存储设备214存储各种数据和各种程序。辅助存储设备214由能够临时或永久存储各种数据的存储设备实现。存储设备的示例包括以hdd和ssd为代表的非易失性存储器。

输出设备215是输出各种类型信息的设备。输出设备215向用户呈现各种类型的信息。在本示例性实施例中，输出设备215由诸如显示器的显示设备实现。输出设备215显示各种显示信息，从而将信息呈现给用户。作为另一示例，输出设备215可以由输出声音(诸如语音或电子声音)的声学输出设备来实现。在这种情况下，输出设备215输出诸如语音或电报的声音，从而向用户呈现信息。可以根据用于向用户呈现信息的介质适当地改变用作输出设备215的设备。图1所示的输出单元113可以通过例如输出设备215来实现。

输入设备216接收来自用户的各种指令。在本示例性实施例中，输入设备216的示例包括诸如鼠标、键盘和触摸面板的输入设备。输入设备216的其他示例可以包括声音收集设备，诸如麦克风，以收集用户发出的语音。在这种情况下，对所收集的语音执行各种类型的分析处理，诸如声学分析处理和自然语言处理，从而将由语音指示的内容识别为来自用户的指令。可以根据用于识别来自用户的指令的方法适当地改变用作输入设备216的设备。各种类型的设备也可以用作输入设备216。图1所示的输入单元114可以通过例如输入设备216来实现。

通信i/f217经由网络与外部装置通信。可以根据通信路径的类型或要应用的通信方法适当地改变用作通信i/f217的设备。

cpu211将存储在rom212或辅助存储设备214中的程序加载到ram213中并执行这些程序，从而实现图1所示的信息处理装置101的功能构造以及图3和4所示的流程图的处理。

<处理>

将参照图3和图4描述将由根据本示例性实施例的信息处理装置101进行的处理的示例。

现在将参照图3描述将由信息处理装置101执行的整个处理流程。

在步骤s301中，信息处理装置101执行各个功能的初始设置和要注释的目标数据的读取。信息处理装置101还读取用于控制要作为注释添加到目标数据的标签的候选的显示的训练模型。例如，信息处理装置101可以在注释操作开始时至少执行一次步骤s301的处理，并且可以在后续处理中使用各种设置参数和各种读取数据。

在步骤s302中，信息处理装置101通过使用读取的学习模型来估计要作为注释添加到读取目标数据的标签的候选。此时，信息处理装置101对于要注释的各个区域(例如，图像中作为被摄体而被拍摄的对象)获得至少包括第一候选和第二候选的一系列候选中的各个的分数。

在图3和4所示的示例中，为了便于解释，假定具有最高分数的候选对应于第一候选，而具有第二高分数的候选对应于第二候选。

然而，上述处理仅仅是示例，并不旨在限制由根据本示例性实施例的信息处理装置101进行的处理。例如，信息处理装置101可以分别管理关于第一候选和第二候选中的各个的信息和关于其他候选的信息。信息处理装置101还可以分别管理关于第一候选的信息和关于其他候选的信息。换句话说，用于管理关于各个候选的信息的方法不受限制，只要信息处理装置101可以识别出训练模型基于第一候选的分数与另一候选的分数之间的关系以一定的确定性预测第一候选即可。

在步骤s302中进行的处理对应于用于获得分数的估计结果的处理的示例，所述分数表示第一候选和第二候选中的各个对于要作为注释添加到目标数据的标签的似然性。

在步骤s303中，信息处理装置101基于各个要注释的区域的一系列提取的标签候选中的各个的分数的估计结果，控制用于显示一系列标签候选中的各个的处理。在图3和图4所示的示例中，为了便于解释，假定信息处理装置101控制用于显示一系列标签候选中的各个的放置。下面将参照图4详细描述步骤s303的处理。

步骤s303的处理对应于用于根据第一候选和第二候选中的各个的分数来控制如下处理的处理的示例，该处理控制用于通过输出单元113显示与第一候选相关联的第一显示信息和与第二候选相关联的第二显示信息的处理。

在步骤s304中，信息处理装置101基于控制用于显示一系列标签候选中的各个的放置的结果，生成在其上呈现与各个标签候选相对应的显示信息的画面，并使输出单元113显示该画面。

现在将参照图4详细描述图3中所示的步骤s303中进行的处理。图4中所示的一系列处理是基于以下概念来定义的：如果目标数据难以通过训练模型以高准确度预测，则用户也可能难以鉴定要作为注释添加的标签的候选。

换句话说，对于用户不能容易地确定的目标数据，用户可以通过详细检查候选以寻找要作为注释添加的标签来选择合适的候选。在这种情况下，重要的是，在维持数据集的质量方面，创建用户可以通过准确地区分由训练模型估计的第一候选和第二候选来选择要作为注释添加的标签的候选的情况。

考虑到上述情况，根据本示例性实施例的信息处理装置101控制用于显示各个候选的放置，以防止发生选择与用户想要的候选不同的候选的情况。作为具体示例，信息处理装置101根据第一候选与第二候选之间的分数差来控制候选彼此分开放置。因此，可以防止在用户想要选择与第一候选相关联的第一显示信息的情况下发生用户选择与第二候选相关联的第二显示信息的情况。

鉴于上述情况，下面将详细描述图3所示的步骤s303的处理。

在步骤s401中，信息处理装置101计算第一候选与第二候选之间的分数差，并确定该分数差是否超过阈值1。在步骤s401中进行的处理的确定中使用的阈值1对应于“第一阈值”的示例。

如果信息处理装置101确定第一候选与第二候选之间的分数差超过阈值1(步骤s401中的“是”)，则处理进行到步骤s402。在步骤s402中，信息处理装置101计算第一候选与另一候选之间的语言相似度。另一候选包括第二候选。

用于计算候选之间的语言相似度的方法的示例包括当各个候选由基于语言特征的向量(该向量在下文中也称为“单词向量”)表示时，计算对应于一系列候选的单词向量之间的距离的方法。作为用于将标签的各个候选转换为单词向量的方法，可以使用单词分布式表示技术，诸如“word2vec”。作为用于计算单词向量之间的距离的方法，例如，可以使用利用向量之间的余弦相似度的技术。

上述方法仅仅是示例，并且这些方法不受限制，只要可以计算多个候选当中的语言相似度即可。作为具体示例，可以收集关于单词之间的相似度关系的信息以构建词典(例如，辞典)，在该词典中关联具有高语言相似性的单词。可以使用词典来鉴定候选之间的相似度。

信息处理装置101控制用于显示候选的放置，使得与第一候选具有更高相似度的候选被放置在更靠近第一候选的位置。

例如，信息处理装置101可以基于一系列候选的单词向量之间的距离的计算结果来控制用于显示一系列候选的画面上的放置。如果第一候选与第二候选之间的语言相似度高，则可以将第二候选放置在第一候选旁边。选择已经由训练模型确定为具有最高确定性程度的第一候选可能是可接受的。然而，如果选择第二候选更合适，则可以容易地注意到第二候选的存在，因此可以选择更合适的标签。由于第一候选与第二候选之间的语言相似度高，因此即使在由于用户的对象鉴定知识或能力不足而导致标签选择准确性低的情况下，标签选择的准确性的下降也对训练数据的准确性几乎没有影响。

作为具体示例，信息处理装置101可以将第一候选放置在规定的放置位置当中的最左放置位置，并且可以从左侧按照到第一候选的单词向量之间的距离的升序，将关于各个候选的显示信息放置在其他放置位置。在这种情况下，信息处理装置101可以将第一候选放置在另一放置位置(例如，最右侧位置)，而不是将第一候选放置在最左侧位置。信息处理装置101还可以不时地随机改变放置位置。

作为另一示例，信息处理装置101可以控制将与各个候选相关联的显示信息显示在下拉列表中。在这种情况下，信息处理装置101可以将列表中要显示的显示信息的顺序与候选之间的距离相关联，从而呈现与各个候选相关联的显示信息的列表。

在步骤s403中，信息处理装置101确定第一候选与第二候选之间的分数差是否超过阈值2。假定阈值2是大于步骤s401中的确定所使用的阈值1的值。换句话说，第一候选与第二候选之间的分数差超过阈值2的情况对应于训练模型的估计结果指示第一候选的确定性极高于其他候选的确定性的情况。在步骤s403的处理中的确定所使用的阈值2对应于“第二阈值”的示例。

阈值1和阈值2可以由例如用户(诸如管理员)预先设置。作为另一示例，信息处理装置101可以根据从训练模型输出的分数的历史来更新阈值1和阈值2中的至少一个。在这种情况下，信息处理装置101可以在一系列注释操作中的预定时刻、在一系列注释操作开始之前的时刻或者在一系列注释操作结束之后的时刻执行上述更新处理。

如果信息处理装置101确定第一候选与第二候选之间的分数差超过阈值2(步骤s403中的“是”)，则处理进行到步骤s404。在这种情况下，从训练模型输出的第一候选的分数远高于其他候选的分数，因此用户极有可能选择第一候选。在步骤s404中，信息处理装置101相应地在默认设置中选择了第一候选的状态下控制各个候选的显示。

上述控制处理的应用使得可以节省用户选择候选的时间和劳力，并减少发生意外地选择另一候选的情况的可能性。因此，可以有效地进行用户的操作，并且可以防止数据集质量下降。

在完成步骤s404的处理时，信息处理装置101终止图4所示的一系列处理。

相比之下，如果信息处理装置101确定第一候选与第二候选之间的分数差不超过阈值2(步骤s403中的“否”)，则终止图4所示的一系列处理。

如果信息处理装置101确定第一候选与第二候选之间的分数差不超过阈值1(步骤s401中的“否”)，则处理进行到步骤s405。在这种情况下，从训练模型输出的第一候选和第二候选的分数是小的值，因此假定意外地选择了不是用户想要的候选的情况。在步骤s405中，信息处理装置101因此可以在画面上显示预定通知信息(例如，指示警告的信息)以吸引用户的注意。

在这种情况下，信息处理装置101可以显示指示警告的图标或消息作为通知信息，或者可以例如通过闪烁通知信息来控制通知信息的显示模式。信息通知方法不受限制，只要可以吸引用户的注意即可。作为具体示例，信息处理装置101可以使用声音或振动作为介质向用户通知信息。

在步骤s406中，信息处理装置101控制用于显示各个候选的放置，使得第一候选和第二候选在画面上彼此分开放置。在训练模型的预测的确定性低的情况下，如在执行步骤s406的处理的情况下，可能期望防止意外地选择与用户想要的候选不同的候选的情况的发生。在这种情况下，如上所述，第一候选和第二候选彼此分开放置，从而可以防止意外地选择用户不想要的候选的情况的发生。

在步骤s405中，即使当通过向用户通知吸引用户注意的通知信息而将第一候选和第二候选彼此分开放置时，也可以防止用户忽略第一候选和第二候选中的一个的情况的发生。

如上所述，执行步骤s406的处理的情况对应于训练模型的预测确定性低的情况。如果基于作为注释操作的结果获得的数据构建机器学习模型，则可能期望构建能够准确地区分注释目标的第一候选与第二候选的机器学习模型。为了构建能够如上所述准确地区分第一候选与第二候选的机器学习模型，因此可能期望防止意外地选择第一候选和第二候选中不是用户想要的一个的情况的发生。如上所述，在步骤s406的处理中，将第一候选和第二候选彼此分开放置，从而可以抑制由于用户操作中的失误引起的错误标记而导致的数据集的质量下降。

在步骤s407中，信息处理装置101确定要放置在第一候选和第二候选的各个的附近的其它候选。执行步骤s407的处理，以即使在用户想要选择第一候选和第二候选中的一个时意外地选择与用户想要的候选不同的候选的情况下，也减少数据集的质量下降的不利影响。

具体地，信息处理装置101控制候选，使得与第一候选具有高语言相似度的候选和与第二候选具有高语言相似度的候选分别被放置在第一候选附近和第二候选附近。在这种情况下，如在步骤s402中进行的处理中那样，信息处理装置101可以基于从训练模型输出的候选的分数，鉴定该候选的单词向量与第一候选的单词向量之间具有小的距离的候选，以及该候选的单词向量与第二候选的单词向量之间具有小的距离的候选。因此，信息处理装置101可以控制候选，使得候选的单词向量与第一候选的单词向量之间的距离越小，该候选越靠近第一候选放置。信息处理装置101还可以控制候选，使得候选的单词向量与第二候选的单词向量之间的距离越小，该候选越靠近第二候选放置。

以上参照图4详细描述了图3所示的步骤s303的处理。上述处理仅仅是示例，并且将由信息处理装置101执行的处理不受限制，只要可以根据第一候选与第二候选之间的分数差来控制与各个候选相对应的显示信息的显示(例如，显示信息的放置)即可。作为具体示例，如何提高数据集的质量或操作者犯错误的趋势可以根据注释操作的任务或操作者的学习水平而变化。在这种情况下，可以适当地改变如上所述的用于控制各个候选的显示的条件中的至少一些。

<示例性实施例>

信息处理装置101的上述硬件构造和功能构造对于以下示例性实施例是共同的。作为根据本示例性实施例的信息处理装置101的示例性实施例，将描述ui的示例。ui用于信息处理装置101以实现用于向用户呈现要作为对目标数据的注释添加的标签的候选的处理，以及用于从用户接收对标签的各个候选的指定的处理。

将参照图5描述根据第一示例性实施例的ui的示例。画面501是由信息处理装置101通过输出单元113呈现给用户的画面的示例。画面501向用户呈现要注释的目标数据，并且从用户接收用于对目标数据的注释操作的各种指令。

本示例性实施例示出了呈现给用户的画面的示例，假定在对象识别任务中进行图像注释操作以创建正确答案数据的情况。具体地，在根据本示例性实施例的注释任务中，假定用户通过使用矩形等指定区域来选择图像中作为被摄体而被拍摄的对象，并添加指示该对象的正确答案标签。

区域502是显示要注释的目标数据的区域。在图5所示的示例中，在区域502中显示图像作为目标数据。区域502从用户接收要在所显示的目标数据(例如，图像)中注释的区域的指定。

区域503、区域504和区域505是要在区域502中显示的目标数据中注释的区域。具体地，在图5所示的示例中，区域503、区域504和区域505是与在区域502中显示的图像中各自被拍摄为被摄体的对象相对应的区域。

在下面的描述中，为了便于解释，假定对应于区域503和区域504的各个对象表示“标准尺寸汽车”，而对应于区域505的对象表示“卡车”。信息处理装置101基于作为由用户添加的注释的正确答案标签来识别图像中拍摄的被摄体指示什么。信息处理装置101可以通过使用为对象识别构建的训练模型来识别作为图像中的对象拍摄的各个对象。在这种情况下，信息处理装置101可以获得该对象的对象名称和表示对象名称的似然性的分数(概率)作为来自训练模型的输出。

区域506、区域507和区域508是分别从用户接收标签的指定的区域，该标签要作为注释添加到在区域503、区域504和区域505中显示的对象。信息处理装置101使用训练模型，基于分别与区域503、区域504和区域505相对应的对象的估计结果，向区域506、区域507和区域508呈现要作为注释添加的标签的候选。在这种情况下，信息处理装置101可以基于使用训练模型对目标对象的估计结果，来动态地控制在区域506、区域507和区域508中呈现的一系列标签候选的放置以及用于呈现候选的ui的状态。

下面将描述其中信息处理装置101对于区域506、区域507和区域508中的各个控制一系列标签候选的放置和用于呈现候选的ui的状态的处理的具体示例。

现在将描述在区域506中用于控制一系列标签候选的放置和用于呈现候选的ui的状态的处理的示例。

区域506是其中呈现要作为注释添加到区域503中显示的对象的标签的候选的区域。信息处理装置101以70％的概率将对象估计为指示“标准尺寸汽车”的第一候选，并且以10％的概率将对象估计为指示“建筑物”的第二候选。这些是指示区域503中显示的对象的标签的候选。

在本示例性实施例中，指示由各个候选指示的对象的似然性的概率被用作从训练模型输出的标签的第一候选和第二候选中的各个的分数。上面参照图4描述的阈值1被设置为50％。上面参照图4描述的阈值2被设置为80％。

信息处理装置101计算第一候选的分数与第二候选之间的分数差。在区域506中呈现的候选的示例中，该分数差对应于70％和10％之间的差，即60％。该分数差可以被认为是指示训练模型估计第一候选的确定性程度的指数。这是由于第一候选与第二候选之间的大的分数差指示第一候选具有比第二候选的分数高得多的分数，且第二候选具有比第一候选的分数低得多的分数。

由于上述概率差60％超过阈值1(50％)，所以信息处理装置101在图4所示的步骤s401的条件确定中确定为“是”。

在步骤s402的处理中，信息处理装置101鉴定其单词向量在第一候选“标准尺寸汽车”与另一候选之间具有小的距离的另一候选。信息处理装置101控制该候选，使得第一候选的单词向量与另一候选的单词向量之间的距离越小，则该候选在区域506中越靠近第一候选放置。

也可能没有对应于单词“标准尺寸汽车”的单词向量的词汇表。在这种情况下，信息处理装置101可以使用例如分词库将单词“标准尺寸汽车”划分为单词“标准尺寸”和单词“汽车”，并且可以应用多个划分的单词的单词向量的平均值作为单词“标准尺寸汽车”的单词向量。

作为另一示例，信息处理装置101可以将多个划分单词中的任何一个的单词向量用作要划分的单词的单词向量。具体地，在这种情况下，信息处理装置101可以将单词“标准尺寸汽车”划分为单词“标准尺寸”和单词“汽车”，并且可以将单词“标准尺寸”和单词“汽车”之一的单词向量用作单词“标准尺寸汽车”的单词向量。

如上所述的技术的应用使得即使在候选未被设置为单词向量的词汇表的情况下，也可以将目标标签的候选设置为如图4所示的用于显示候选的处理的控制目标。

如上所述，在图4所示的步骤s402的处理中，例如，余弦相似度可以用作标签候选的单词向量之间的距离。

信息处理装置101提取具有前四个概率(分数)的候选，例如“标准尺寸汽车”、“建筑物”、“卡车”和“房屋”，作为要添加到区域503中显示的对象的标签的候选的估计结果。

如果上述一系列候选从左侧以概率降序放置，则具有第二高概率的“建筑物”被放置在具有最高概率的“标准尺寸汽车”旁边。当候选被如上所述放置时，存在这样一种可能性，即在用户想要选择“标准尺寸汽车”的状况下，由于用户操作失误，有可能选择单词“建筑物”，单词“建筑物”的含义与单词“标准尺寸汽车”的含义大不相同。因此，如果选择具有不同含义的候选，则会生成学习数据，该学习数据的标签指示含义与由假定添加的标签指示的单词的含义大不相同，这可能导致用于构建机器学习模型的数据集的质量显著下降。

考虑到上述情况，为了减少由用户选择失误引起的数据集质量下降的不利影响，在图4所示的步骤s402的处理中控制用于显示各个候选的放置。具体地，信息处理装置101控制用于显示各个候选的放置，使得候选的单词向量与第一候选的单词向量之间的距离越小，候选越靠近第一候选放置。

在区域506中呈现的候选的示例中，第一候选“标准尺寸汽车”的单词向量与另一候选的单词向量之间的距离以“卡车”、“房屋”和“建筑物”的顺序减小。在这种情况下，信息处理装置101将“卡车”放置在与第一候选“标准尺寸汽车”相邻的位置处。因此，即使例如在用户想要选择“标准尺寸汽车”的情况下意外地选择了与“标准尺寸汽车”相邻的候选，也选择了含义更接近“标准尺寸汽车”的“卡车”，从而可以减少数据集质量下降的不利影响。

通常，用于图像识别的卷积神经网络倾向于在网络的深度卷积层中识别图像的广泛特征。在卷积神经网络中，可以包括用于识别“车辆”的特征的卷积滤波器。在标记的情况下，如果在用户想要选择“标准尺寸汽车”的情况下意外地选择“卡车”，则可以在卷积神经网络的学习中学习“车辆”的特征，这与意外地选择“建筑物”的情况不同。也就是说，在意外地选择“卡车”的情况下，与在用户想要选择“标准尺寸汽车”的情况下意外地选择“建筑物”的情况相比，可以减少数据集质量下降的不利影响。

在图4所示的步骤s403的处理中，信息处理装置101将作为第一候选的分数与第二候选的分数差(60％)与阈值2(80％)进行比较。在这种情况下，该分数差(60％)小于或等于阈值2(80％)，因此信息处理装置101在步骤s403的条件确定中确定为“否”。

如上所述，控制一系列标签候选在区域506中的放置。

现在将描述在区域507中用于控制一系列标签候选的放置和用于呈现候选的ui的状态的处理的示例。

区域507是其中呈现要作为注释添加到显示在区域504中的对象的标签的候选的区域。信息处理装置101以95％的概率将对象估计为指示“标准尺寸汽车”的第一候选，并且以2％的概率将对象估计为指示“建筑物”的第二候选。这些是指示区域504中显示的对象的标签的候选。

与上述关于区域506的示例一样，阈值1被设置为50％，并且阈值2被设置为80％。

信息处理装置101计算第一候选与第二候选之间的分数差。在区域507中呈现的候选的示例中，该分数差对应于95％和2％之间的差，即93％。

由于概率差93％超过阈值1(50％)，所以信息处理装置101在图4所示的步骤s401的条件确定中确定为“是”。

在步骤s402的处理中，信息处理装置101鉴定其单词向量在第一候选“标准尺寸汽车”与另一候选之间具有小的距离的另一候选。信息处理装置101控制该候选，使得第一候选的单词向量与另一候选的单词向量之间的距离越小，在区域506中该候选被放置在距第一候选越近的位置。

信息处理装置101提取前四个概率(分数)，例如“标准尺寸汽车”、“建筑物”、“卡车”和“房屋”，作为要添加到区域504中显示的对象的标签的候选的估计结果。第一候选“标准尺寸汽车”的单词向量与另一候选的单词向量之间的距离按“卡车”、“房屋”和“建筑物”的顺序减小。

在图4所示的步骤s403的处理中，信息处理装置101将作为第一候选与第二候选之间的分数差(93％)与阈值2(80％)进行比较。在这种情况下，该分数差(93％)超过阈值2(80％)，因此信息处理装置101在步骤s403的条件确定中确定为“是”。

在步骤s403中的条件确定的结果指示“是”的情况下，可以认为训练模型以高确定性估计第一候选。在这种情况下，即使当用户进行标记处理时，用户也很可以以高确定性选择第一候选。因此，信息处理装置101控制各个候选的显示，使得在图4所示的步骤s404的处理中以默认设置选择第一候选的状态显示候选。

除了再次选择除第一候选之外的候选的情况之外，上述控制处理的应用可以节省用于选择候选的用户时间和劳动。控制处理的应用还可以降低发生意外地选择与用户想要的候选不同的另一候选的情况的可能性。因此，可以有效地进行用户的操作，并且可以以更优选的模式防止数据集质量的下降。

现在将描述在区域508中用于控制一系列标签候选的放置和用于呈现候选的ui的状态的处理的示例。

区域508是呈现要作为注释添加到显示在区域505中的对象的标签的候选的区域。信息处理装置101以40％的概率将对象估计为指示“标准尺寸汽车”的第一候选，并且以30％的概率将对象估计为指示“卡车”的第二候选。这些是指示区域505中显示的对象的标签的候选。

与上述关于区域506和区域507的示例一样，阈值1被设置为50％，阈值2被设置为80％。

信息处理装置101计算第一候选与第二候选之间的分数差。在区域507中呈现的候选的示例中，该分数差对应于40％和30％之间的差，即10％。

由于概率差10％小于或等于阈值1(50％)，所以信息处理装置101在图4所示的步骤s401的条件确定中确定为“否”。

在步骤s401中的条件确定的结果指示“否”的情况下，由训练模型估计的第一候选与第二候选之间的分数差不大，因此估计训练模型难以以高确定性进行预测(例如，鉴定对象)。在这种情况下，可能期望进行控制处理，以防止发生用户意外地选择用户不想要的候选的情况。

例如，类似于图4所示的步骤s405的处理，信息处理装置101可以在画面上显示预定的通知信息(例如，指示警告的信息)以引起用户的注意。作为具体示例，在图5所示的示例中，在区域508中显示用于吸引用户注意的标志和“需要注意”的消息作为通知信息。

在图4所示的步骤s406的处理中，信息处理装置101控制用于显示各个候选的放置，使得第一候选和第二候选在画面上彼此分开放置。在图5所示的示例中，控制第一候选“标准尺寸汽车”和第二候选“卡车”，使得第一候选和第二候选彼此分开放置。

在图5所示的示例中，为各个要注释的对象呈现多达四个标签候选。信息处理装置101将第一候选“标准尺寸汽车”放置在区域508的左端，并且将第二候选“卡车”放置在区域508的右端。图5所示的示例仅仅是示例，并且用于放置候选的方法不受限制，只要第一候选和第二候选彼此分开放置即可。作为具体示例，第一候选可以放置在区域508的右端处，而第二候选可以放置在区域508的左端处。作为另一实例，可以控制各个候选的放置，使得其它候选插入在第一候选与第二候选之间。作为又一实例，形成于第一候选与第二候选之间的空间可以经控制以比形成于第一候选或第二候选与邻近于第一候选或第二候选的另一候选之间的空间宽。

信息处理装置101控制候选，使得在该候选的单词向量与第一候选的单词向量之间具有小的距离(即，高语言相似度)的候选以及在该候选的单词向量与第二候选的单词向量之间具有小的距离的候选被分别放置在第一候选和第二候选附近。用于计算多个候选的单词向量之间的距离的方法类似于在步骤s402的处理中使用的方法。

与执行步骤s402的处理的情况类似，即使在用户想要选择第一候选和第二候选中的一个时意外地选择了与第一候选和第二候选不同的候选的情况下，如上所述的控制处理的应用也可以减少数据集质量下降的不利影响。

现在将描述按钮509和510。

按钮509从用户接收指令以取消对区域502中显示的目标数据的注释操作。当信息处理装置101检测到按钮509被按下时，可以再次将先前设置为注释操作的目标的另一目标数据设置为注释操作目标。

按钮510从用户接收指令以确认对区域502中显示的目标数据执行的注释操作。在检测到按钮510被按下时，信息处理装置101将目标数据与关于作为注释添加到目标数据的标签的信息相关联，并且将目标数据和该信息存储在先前注释数据db112中。如果存在未被设置为注释操作的目标的另一目标数据，则信息处理装置101可以使用另一个目标数据作为注释操作的新目标。

以上参照图5描述了根据第一示例性实施例的画面的示例。本示例性实施例主要基于以下两个技术概念提出了用于动态地控制要作为注释添加到目标数据的标签的各个候选的放置的技术的示例。第一技术构思是，可能期望采取措施来防止发生以下情况：当要处理不能通过训练模型以高确定性容易地预测的数据时，意外地选择不是用户想要的候选。第二个技术概念是，当要处理可以由训练模型以高确定性预测的数据时，可能期望使用户能够选择具有高确定性的候选，并且防止用户选择中的简单错误的不利影响。

如上所述，在用户将标签作为注释添加到目标数据的情况下，根据本示例性实施例的信息处理装置101可以协助用户以优选模式选择标签的候选。具体地，上述构造和控制处理的应用使得可以降低发生意外地选择与用户想要的标签候选不同的候选的情况的可能性。此外，即使当意外地选择用户不想要的候选时，也可以减少由于错误标记而导致的数据集质量下降的不利影响。当通过训练模型以高确定性估计标签的候选时，在默认设置中选择候选的状态下显示候选。由此可以有效地进行用户的操作，并且可以防止数据集的质量下降。

现在将描述根据第二示例性实施例的ui的示例。上述第一示例性实施例示出了当要处理不能通过训练模型以高确定性容易地预测的数据时，进行控制处理使得第一候选和第二候选彼此分开放置的示例。该示例基于以下假定：当要处理不能通过训练模型以高确定性容易地预测的数据时，用户也难以选择具有高确定性的候选，因此用户可以在检查一系列标签候选之后选择候选。

相比之下，在用户在短时间内进行用于将标签作为注释添加到大量数据的操作的情况下，用户可能在检查一系列标签候选之后不选择候选。

在第一示例性实施例中，如果信息处理装置101在图4所示的步骤s401中的条件确定中确定为“否”，则信息处理装置101识别出将处理以下数据：该数据不能通过训练模型以高确定性容易地预测。因此，信息处理装置101控制第一候选和第二候选彼此分开放置。

相比之下，当如上所述呈现一系列标签候选时，假定用户在不检查彼此分开放置的第一候选和第二候选的情况下，一目了然地选择似乎合理的候选。如果这种情况频繁发生，与目标模型不太相关的标签的大量学习数据将添加到数据集，这导致数据集质量的下降。

考虑到上述情况，在图4所示的步骤s406的处理中，根据本示例性实施例的信息处理装置101控制用于显示各个候选的放置，使得第一候选和第二候选彼此靠近。上述控制处理的应用使得用户能够容易地查看第一候选和第二候选两者。因此，可以至少防止出现用户仅检查候选中的一个并且选择该候选而不检查另一候选的情况。

在图4所示的步骤s406的处理中，考虑到例如注释操作的内容以及用户的技能和性格，可以适当地选择是应用根据本示例性实施例的处理还是应用根据第一示例性实施例的处理。

作为另一示例，信息处理装置101可以基于通过注释操作的统计选择信息来动态地选择是应用根据本示例性实施例的处理还是应用根据第一示例性实施例的处理。作为具体示例，假定当应用根据第一示例性实施例的处理时，信息处理装置101检测到具有位于左端的显示信息的第一候选较具有位于右端的显示信息的第二候选被更频繁地选择，具有统计优势。在这种情况下，假定用户可能更频繁地选择显示在左端的候选，信息处理装置101可以将在步骤s406中进行的处理改变为根据本示例性实施例的处理。

如上所述，根据本示例性实施例的信息处理装置101控制第一候选和第二候选在要处理不能通过训练模型以高确定性容易地预测的数据时被放置在彼此靠近的位置。因此，即使在用户在检查候选之后难以选择一系列标签候选的情况下意外地选择与用户想要的候选不同的候选的情况下，也可以减少数据集质量下降的不利影响。因此，根据本示例性实施例的信息处理装置101可以以更优选的模式保持由用户进行的注释操作的高操作速度，并且减少由于错误选择候选而导致的数据集质量下降的不利影响。

现在将参照图6描述根据第三示例性实施例的ui的示例。在上述第一示例性实施例和第二示例性实施例中，信息处理装置101将一系列标签候选以一维方式放置在画面上的预定位置处。在第三示例性实施例中，信息处理装置101根据候选之间的相似度(例如，单词相似度)灵活地控制用于显示一系列标签候选的放置。具体地，在图6所示的示例中，信息处理装置101根据多个候选之间的相似度来控制多个候选之间的间隔。

画面601是由信息处理装置101通过输出单元113呈现给用户的画面的示例。画面601上的区域602至区域608分别对应于图5所示的画面501上的区域502至区域508。画面601上的按钮609和按钮610分别对应于画面501上的按钮509和按钮510。除了在区域606、区域607和区域608中显示的信息的内容之外，画面601与画面501基本相同。因此，本示例性实施例集中于用于在区域606、区域607和区域608中显示信息的控制处理，并且画面601的其他组件与画面501的其他组件基本相同，因此省略其详细描述。

区域606是其中呈现要作为注释添加到区域603中显示的对象的标签的候选的区域。在区域606中显示显示信息的一系列候选与在图5所示的区域506中的那些类似，除了“卡车”和“房屋”彼此分开放置。具体地，根据本示例性实施例的信息处理装置101根据第一候选(标准尺寸汽车)的单词向量与各个其他候选(卡车、房屋和建筑物)的单词向量之间的距离来控制与候选相对应的显示信息之间的距离。在图4所示的步骤s402的处理中计算单词向量之间的距离。

在图6所示的示例中，假定“标准尺寸汽车”的单词向量与“卡车”的单词向量之间的距离小，并且“标准尺寸汽车”的单词向量与“房屋”与“建筑物”中的各个的单词向量之间的距离大于“标准尺寸汽车”的单词向量与“卡车”的单词向量之间的距离。“房屋”的单词向量与“建筑物”的单词向量之间的距离小。

在区域606中，根据“标准尺寸汽车”的单词向量与“房屋”和“建筑物”中的各个的单词向量之间的距离，“卡车”因此被放置在“标准尺寸汽车”旁边，而“房屋”和“建筑物”被放置为与“标准尺寸汽车”分开。此外，由于“房屋”的单词向量与“建筑物”的单词向量之间的距离小，因此“房屋”和“建筑物”被放置在彼此靠近的位置处。

区域607是其中呈现要作为注释添加到显示在区域604中的对象的标签的候选的区域。

与图5所示的区域507中显示的一系列标签候选类似，在区域607中显示的一系列标签候选中，第一候选“标准尺寸汽车”具有极高的分数，因此区域604中显示的对象很可能对应于第一候选“标准尺寸汽车”。因此，在默认设置中选择第一候选的状态下显示第一候选“标准尺寸汽车”。类似于在区域606中显示的一系列标签候选，在区域607中显示的一系列标签候选中，根据多个候选的单词向量之间的距离来控制与多个候选相关联的显示信息之间的距离。

区域608是其中呈现要作为注释添加到区域605中显示的对象的标签的候选的区域。

与在图5所示的区域508中显示的一系列标签候选类似，在区域608中显示的一系列标签候选中，第一标签候选“标准尺寸汽车”具有最高分数，并且第一标签候选“标准尺寸汽车”与第二标签候选“卡车”之间的分数差小。因此，在区域608中显示用于引起用户注意的标志和“需要注意”的消息作为通知信息。选择“标准尺寸汽车”、“小型汽车”、“公共汽车”和“卡车”作为要在区域608中显示的一系列标签候选。由于这些候选是交通工具，因此这些候选的单词向量之间的距离相对较小。因此，信息处理装置101控制用于显示各个候选的放置，使得根据候选的单词向量之间的距离将一系列标签候选放置在彼此靠近的位置处。

如上所述，根据本示例性实施例的信息处理装置101根据候选的单词向量之间的距离来控制一系列标签候选之间的距离。因此，由于在含义上彼此相差较远的多个候选彼此分开放置，因此可以降低发生意外地选择与用户想要的候选不同的候选的情况的可能性。

现在将描述根据第四示例性实施例的ui的示例。在上述第一至第三示例性实施例中，将作为注释添加到目标数据的标签的一系列候选以一维方式放置在预定方向上(例如，在横向方向上)。相比之下，根据本公开示例性实施例的信息处理装置101控制用于显示一系列标签候选的放置的方法不限于在预定方向上以一维方式放置候选的方法，并且可以应用各种放置方法。因此，在第四示例性实施例中，将参照图7描述当信息处理装置101显示一系列标签候选时以二维方式放置一系列候选的示例。

画面701是由信息处理装置101通过输出单元113呈现给用户的画面的示例。画面701上的区域702至区域708分别对应于图5所示的画面501上的区域502至区域508。画面701上的按钮709和按钮710分别对应于画面501上的按钮509和按钮510。除了在区域706、区域707和区域708中显示的信息的内容与画面501的内容不同之外，画面701与画面501基本相同。因此，第四示例性实施例集中于用于在区域706、区域707和区域708中显示信息的控制处理，并且画面701的其他组件与画面501的其他组件基本相同，因此省略其详细描述。

区域706是其中呈现要作为注释添加到区域703中显示的对象的标签的候选的区域。在区域706中，以三行和三列的矩阵显示一系列标签候选。

对于在区域703中显示的对象，与图5中所示的区域503指示的对象类似，作为训练模型的标签候选的估计结果，估计指示对象对应于“标准尺寸的汽车”的概率(分数)最高。基于上述前提，根据本示例性实施例的信息处理装置101将含义接近单词“标准尺寸汽车”的含义的候选放置在区域706中的“标准尺寸汽车”附近。在以二维方式表示多个候选之间的语义距离的情况下，例如，可以使用曼哈顿距离的概念。

区域707是其中呈现要作为注释添加到区域704中显示的对象的标签的候选的区域。

与在图5所示的区域507中显示的一系列标签候选类似，在区域707中显示的一系列标签候选中，第一候选“标准尺寸汽车”具有极高的分数，因此由区域704指示的对象很可能对应于第一候选“标准尺寸汽车”。因此，在默认设置中选择第一候选的状态下显示第一候选“标准尺寸汽车”。

区域708是呈现要作为注释添加到区域705中显示的对象的标签的候选的区域。

与在图5所示的区域508中显示的一系列标签候选类似，在区域708中显示的一系列标签候选中，第一标签候选“标准尺寸汽车”具有最高分数，并且第一标签候选“标准尺寸汽车”与第二标签候选“卡车”之间的分数差小。换句话说，训练模型估计在区域705中显示的对象对应于“标准尺寸汽车”的概率高，并且在区域705中显示的对象对应于“卡车”的概率也高。因此，在区域708中显示用于引起用户注意的标志和“需要注意”的消息作为通知信息。在一系列标签候选中，“标准尺寸汽车”放置在区域708的左上端，“卡车”放置在区域708的右下端，使得“标准尺寸汽车”和“卡车”以最大曼哈顿距离放置。控制除了“标准尺寸汽车”和“卡车”之外的候选的放置，使得具有更高单词相似度的候选被放置在更靠近“标准尺寸汽车”和“卡车”中的各个的位置处。

如上所述，根据本示例性实施例的信息处理装置101放置一系列标签候选的方法不仅限于在预定方向上以一维方式放置标签候选的方法。例如，候选可以以二维方式放置。如上所述的控制处理的应用使得可以在画面内有效地显示大量候选。

如上所述，根据本示例性实施例的信息处理装置101通过使用训练模型的估计结果来控制要作为注释添加到目标数据的标签的候选的显示。如上所述的控制处理的应用使得可以降低发生与用户想要的候选不同的候选被意外地选择的情况的可能性。

即使用户由于操作中的失误等而意外地选择了错误候选，也控制候选的放置，使得例如选择具有相似含义的候选，从而可以减少由于错误标记而导致的数据集质量下降的不利影响。

通常，如果用于机器学习的学习数据没有被适当地标记，则机器学习模型的泛化性能趋于恶化。相比之下，根据本示例性实施例的信息处理装置101可以降低发生用户可能进行错误标记的情况的可能性。因此，可以预期，可以获得降低机器学习模型的泛化性能下降的可能性的有利效果。

以上参照图1描述的信息处理装置101的功能构造仅仅是示例。信息处理装置101的构造不受限制，只要可以实现信息处理装置101的功能即可。

例如，信息处理装置101的各个功能可以由彼此协作操作的多个设备来实现。在这种情况下，信息处理装置101的一些功能和信息处理装置101的其他功能可以由不同的设备实现。作为具体示例，用于估计要作为注释添加到目标数据的标签的候选的功能和用于控制一系列标签候选的显示的功能可以由不同的设备实现。信息处理装置101的至少一些功能上的处理负荷可以分配给多个设备。

用于将多个设备彼此连接的网络的类型不受限制，只要多个设备能够发送和接收信息和数据即可。设备安装的位置不受限制。

安装在计算机中以使用计算机实现根据本示例性实施例的处理的程序代码对应于本发明的示例性实施例之一。根据上述示例性实施例的功能可以通过以下处理来实现：其中基于包括在由计算机读取的程序中的指令，通过在计算机上运行的os等来执行实际处理的一部分或全部。

上述示例性实施方式和实施例的任何组合也包括在本发明的示例性实施方式中。

上述示例集中于将具有前两个分数的候选用作第一候选和第二候选的情况，但是并不旨在限制根据本示例性实施例的信息处理装置101的处理。换句话说，第一候选和第二候选是要呈现给用户的候选，并且候选不限于具有前两个分数的候选，只要是具有不同分数的候选即可。

上述示例集中于使用机器学习模型来获得要作为对目标数据的注释添加的标签的一系列候选以及表示一系列候选中的各个的似然性的分数的情况。然而，用于获得一系列标签候选和表示各个标签候选的似然性的分数的方法不受限制，只要可以获得一系列候选和分数即可。作为具体示例，如果目标数据指示图像，则可以通过分析图像来提取特征量，并且可以基于特征量的提取结果来获得要添加到图像中拍摄的被摄体的标签的候选以及各个候选的分数。当目标数据指示文档时，可以对文档进行自然语言处理，诸如语法分析或语义分析，从而获得要添加到文档中包括的信息(例如，单词或从句)的标签的候选以及各个候选的分数。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd))、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的变型例以及等同的结构和功能。