注释显示辅助设备及辅助注释显示的方法
【技术领域】
[0001]本发明涉及一种注释显示辅助设备及辅助注释显示的方法。
【背景技术】
[0002]已经有技术通过指示诸如“羊”或“猫”的预定视觉概念是否存在于每一个图像中的图像分类器来对图像分类。所述图像分类器通过使用包括包含该视觉概念的肯定图像和不包含该视觉概念的否定图像的训练集的学习算法来建立。作为通用的学习算法，支持向量机(SVM)算法是已知的，其中所得到的分类器是在图像特征(诸如从图像中提取的直方图的高维向量)空间中定义分离超平面的线性分类器。
[0003]此外，美国专利第7，890，443号公开了用于训练弱分类器的“多实例修剪”(MIP)或者组合分类器的“特征”。
[0004]然而，难以使每个用户准备训练集。例如，手动准备较大集合的肯定图像和否定图像以表示视觉概念是耗时的。因此，限制了每个用户可以组装的视觉概念的量。
[0005]为了解决这个问题，已经提出了一种技术，其中使用谷歌图像搜索(GIS)得到肯定图像，为每个肯定图像计算描述符，使用肯定图像描述符和具有预先计算的描述符的否定图像的池来训练线性SVM分类器以获得权重向量，并且通过该分类器对数据集排序(K.Chatfield 和 A.Zisserman，“VISOR:Towards On-the-Fly Large-Scale ObjectCategory Retrieval”，亚洲计算机视觉会议，2012年)。
[0006]然而，由于网络的普遍性以及一些词汇的歧义，由GIS返回的肯定集合有时对视觉概念(搜索词)的代表性较差。出于这个原因，每一个用户仍然需要通过标记出对视觉概念代表性较差的图像来手动校正返回的肯定图像。因此，仍然需要解决难以准备训练集的上述问题以便提高图像分类结果的质量。
【发明内容】
[0007]本发明是鉴于上述问题做出的，并提供了辅助用户容易地准备用于对图像进行分类的训练集的技术。
[0008]根据一个实施例，提供了一种注释显示辅助设备，包括:显示处理单元，用于显示关于搜索词可能包括在第一分组中的图像；输入接受单元，用于接受来自用户的、在由显示处理单元显示的图像之中的关于该搜索词应包括在第二分组中的图像的选择；以及注释添加单元，基于由用户选择的要被包括在第二分组中的图像，检测由显示处理单元显示的图像之中的、除了由用户选择的要被包括在第二分组中的图像以外的、可能属于该第二分组的图像，用于对该图像添加注释；其中，所述显示处理单元显示由该注释添加单元检测为可能属于该第二分组的图像的注释，所述注释指示该图像可能属于该第二分组。
[0009]根据另一实施例，提供了一种辅助注释显示的方法，包括:显示关于搜索词可能包括在第一分组中的图像；接受来自用户的、在所述显示中显示的图像之中的关于该搜索词应包括在第二分组中的图像的选择；以及基于由用户选择的要被包括在第二分组中的图像，检测在所述显示中显示的图像之中的、除了由用户选择的要被包括在第二分组中的图像以外的、可能属于该第二分组的图像，用于对该图像添加注释；以及显示在所述检测中被检测为可能属于该第二分组的图像的注释，所述注释指示该图像可能属于该第二分组。
[0010]注意，上述要素的任意组合，以及在方法、设备、系统等之中做出的本发明中的表述的任何互换，都作为本发明的实施例而是有效的。
【附图说明】
[0011]与附图一起阅读时下面的详细描述，本发明的其它目的、特征和优点将变得更加明显。
[0012]图1是示出一实施例的注释显示辅助设备的功能结构的示例的方框图；
[0013]图2是示出该实施例的注释显示辅助设备的硬件结构的示例的方框图；
[0014]图3是示出由该实施例的显示处理单元显示的屏幕的示例的视图；
[0015]图4是示出由该实施例的显示处理单元显示的屏幕的另一示例的视图；以及
[0016]图5是示出该实施例的处理的示例的流程图。
【具体实施方式】
[0017]将在这里参照说明性实施例来描述本发明。本领域技术人员将认识到，使用本发明的教导可以实现许多替代实施例，并且本发明不限于出于解释目的示出的实施例。
[0018]应注意的是，在附图的说明中，相同的组件被给予相同的附图标记，并且不再重复说明。
[0019]图1是示出一实施例的注释显示辅助设备100的功能结构的示例的方框图。
[0020]注释显示辅助设备100能够经由诸如因特网等的网络400与包括诸如谷歌图像搜索(GIS)等的图像搜索引擎的外部图像搜索系统300通信。
[0021]在详细描述注释显示辅助设备100的功能结构之前，先说明注释显示辅助设备100的硬件结构。
[0022]图2是示出该实施例的注释显示辅助设备100的硬件结构的示例的视图。这里，说明了注释显示辅助设备100是诸如智能电话、移动电话等的移动终端的示例。
[0023]注释显示辅助设备100包括电源系统251、包含处理器253、存储器控制器254和外围接口 255的主系统252、存储单元256、外部端口 257、高频电路258、天线259、音频电路260、扬声器261、麦克风262、传感器263、包括显示控制器265、光学传感器控制器266和输入控制器267的1/0(输入/输出)子系统264、触摸面板显不系统268、光学传感器269和输入单元270。虽然没有详细示出，但传感器263可包括接近传感器、全球定位系统(GPS)电路、加速器、陀螺仪、磁力计、光度传感器等。
[0024]可替换地，注释显示辅助设备100可以是诸如个人计算机等的终端设备。
[0025]回到图1，注释显示辅助设备100包括输入接受单元12、显示处理单元14、注释添加单元18、图像获取单元16和图像数据存储器20。
[0026]输入接受单元12接受注释显示辅助设备100的用户的各种输入操作。具体地，所述输入接受单元12接受来自用户的视觉概念的文本说明(在下文称为“搜索词”)。例如，当用户希望获得关于羊的图像时搜索词可以是“羊”。
[0027]图像获取单元基于用户输入的搜索词使用外部搜索引擎获得可能包括在第一分组中的图像。
[0028]图像获取单元16基于搜索词获得(下载)关于由外部图像搜索系统300搜索和定位的搜索词可能包括在第一分组中的图像。在本实施例中，第一分组是对于搜索词为肯定的一组图像(下文中称为“对于搜索词的肯定图像”)。因此，具体地，图像获取单元16基于搜索词获得(下载)对于由外部图像搜索系统300搜索和定位的搜索词可能为肯定的图像(下文中称为“对于搜索词的可能为肯定的图像”)。
[0029]显示处理单元14在诸如触摸面板显示系统等的显示单元上显示各种信息项。具体地，显示处理单元14显示由图像获取单元16获取的对于搜索词可能为肯定的图像的列表。
[0030]输入接受单元12接受来自用户的、在由显示处理单元14显示的图像之中的关于该搜索词应包括在第二分组中的图像的选择。在本实施例中，第二分组是对于搜索词为否定的一组图像(下文中称为“对于搜索词的否定图像”)。因此，具体地，输入接受单元12接受在由显示处理单元14显示的可能为否定的图像之中的对于来自用户的该搜索词为否定的图像的选择。
[0031]例如，显示处理单元14可以以复选框(check box)分别显示对于该搜索词可能为肯定的图像。然后，用户可以通过手动地标记或勾选伴随不包括由所述搜索词等所限定的视觉概念的图像的复选框来选择对于该搜索词的否定图像。当用户勾选复选框时，显示处理单元14可以例如在伴随着的图像上显示诸如十字标记的否定图标，以指示它实际上是否定图像。
[0032]注释添加单元18基于用户选择的否定图像在显示处理单元14显示的剩余可能为肯定的图像中检测对于该搜索词可能为否定的图像(下文中称为“对于搜索词可能为否定的图像”)。此时，注释添加单元18可以执行使用所选择的否定图像作为因果图像以自动检测由显示处理单元14显示的剩余可能为肯定的图像是否被建议为对于该搜索词可能为否定图像的算法。此时，注释添加单元18也可以使用基于相似性的比较、基于分类的比较等。
[0033]在使用基于相似性的比较的情况下，注释添加单元18将每个由显示处理单元14显示的剩余可能为肯定的图像与所选否定图像进行比较。该比较可使用局部描述符来进行，诸如跟随有匹配描述符的几何验证的尺度不变特征变换(SIFT)。
[0034]在使用基于分类的比较的情况下，注释添加单元18例如使用所选否定图像作为否定图像、使用剩余可能为肯定的图像作为肯定图像来建立图像分类器。
[0035]显示处理单元14在由注释添加单元18检测的可能为否定的图像上显示注释以指示该图像对于该搜索词可能是否定的。例如，指示该图像可能为否定的该注释可以是诸如问号的否定的建议图标。
[0036]因此，用户能够通过参考伴随由显示处理单元14显示的图像的否定的建议图标来容易地选出对于该搜索词的另一否定图像。输入接受单元12接受来自用户的对于该搜索词的否定图像的选择。
[0037]当用户选择对于该搜索词的否定图像时，结果被存储在图像数据存储器20。具体地，图像获取单元16获取的每个图像的图像数据、搜索词和指示相应的图像是否被用户选择作为对应该搜索词的否定图像的信息被彼此相对应地存储在图像数据存储器20中。
[0038]另外，当图像获取单元16新获取对于由外部图像搜索系统300搜索并定位的搜索词可能为肯定的图像时，注释添加单元18可以将新获取的可能为肯定的图像与存储在图像数据存储器20中的图像进行比较。然后，注释添