图像识别装置及图像识别方法

图像识别装置及图像识别方法
【专利摘要】提供一种高精度地确定图像中所映现的显示物体的种类的图像识别装置等。变更物体选择单元（103）选择成为修正识别结果的对象的变更物体，并将除此以外的确定物体确定为识别候选中具有最大可靠度的识别候选，配对物体选择单元（104）从上述确定物体中选择上述变更物体的配对物体，识别处理单元（105）基于上述配对物体的配对信息列表来确定上述变更物体。
【专利说明】图像识别装置及图像识别方法

【技术领域】
[0001] 本发明涉及识别图像中所映现的显示物体的种类的图像识别装置及图像识别方 法。

【背景技术】
[0002] 对于包含在图像中的物体及字符串等进行的识别，一般称作图像识别。特别地，将 基于包含在图像中的物体的形状、颜色、动作等来确定该物体的种类的图像识别，称作一般 物体识别。
[0003] 近年，与包含一般物体识别的图像识别相关的研究正在增加，正在追求实现高精 度的图像识别。然而，还未实现能够确定图像识别结果正确的物体那样的高精度的图像识 别装置。
[0004] 因此，正在开发用于提高图像识别精度的各种技术。
[0005] 例如，在专利文献1中，记载有基于图像信息来识别字符串并进一步修正所得出 的字符识别结果的识别装置。
[0006] 详细地讲，在专利文献1所述的技术中，首先，对包含在图像信息中的字符串，进 行图像识别处理，由此推定该字符串内的各字符的候选字符。接着，通过组合上述候选字 符，生成作为上述字符串的候选的候选字符串。此后，通过将上述候选字符串与单词登录信 息内的单词进行对照，来确定包含在图像信息中的上述字符串。
[0007] 由此，该专利文献记载了上述识别装置能够以低负荷的处理来识别字符。
[0008] 另外，在专利文献2中记载有这样的字符识别结果的修正方法：参照包含在频繁 出现词汇表中的字符串，对字符的OCR (Optical Character Recognition:光学字符识别） 读取结果即字符串进行修正。在该文献中公开的技术中，从上述OCR读取结果提取一部 分作为样本，进而从上述样本中提取与预先准备的频繁出现词汇表的登录词汇类似的字符 串。接着，生成对所提取的字符串和预先准备的登录词汇建立对应关联关系得到的勘误表。 此后，利用所生成的勘误表来修正上述OCR读取结果。
[0009] 现有技术文献
[0010] 专利文献
[0011] 专利文献1 :日本特开2010-9440号公报（2010年1月14日公开）
[0012] 专利文献2 :日本特开2000-11095号公报（2000年1月14日公开）


【发明内容】

[0013] 然而，在上述专利文献1及专利文献2中记载的技术均是从图像中识别出字符串 来修正识别结果的技术，至此还未公开不仅从图像中识别出字符串而且还识别出任意的显 示物体进而修正其识别结果的技术。本发明是鉴于上述问题而做出的，其目的在于，提供一 种高精度地确定图像中所映现的显示物体的种类的图像识别装置等。
[0014] 为了解决上述问题，本发明的一个技术方案的图像识别装置，用于识别图像中所 映现的显示物体的种类，获取分别具有可靠度的一个或多个识别候选，该可靠度表示作为 上述显示物体的种类的识别结果的确切程度，该图像识别装置的特征在于，具有：变更物体 选择单元，其从上述显示物体中，选择出一个或多个变更物体，并且，在上述一个或多个识 别候选中，将具有最大可靠度的识别候选的种类，确定为确定物体的种类，所述变更物体成 为需要对上述识别结果进行修正的对象，所述确定物体不是需要对上述识别结果进行修正 的对象；配对物体选择单元，其从上述显示物体中的上述确定物体中，选择与上述变更物体 配对的配对物体；识别处理单元，其基于表示与上述配对物体的种类建立有对应关系的物 体种类的配对信息列表，来修正上述变更物体的识别结果，由此确定上述变更物体。
[0015] 另外，为了解决上述问题，本发明的一个技术方案的图像识别方法，用于识别图像 中所映现的显示物体的种类，获取分别具有可靠度的一个或多个识别候选，该可靠度表示 作为上述显示物体的种类的识别结果的确切程度，该图像识别装置的方法在于，包括：变更 物体选择步骤，从上述显示物体中，选择出一个或多个变更物体，并且，在上述一个或多个 识别候选中，将具有最大可靠度的识别候选的种类，确定为确定物体的种类，所述变更物体 成为需要对上述识别结果进行修正的对象，所述确定物体不是需要对上述识别结果进行修 正的对象；配对物体选择步骤，从上述显示物体中的上述确定物体中，选择与上述变更物体 配对的配对物体；识别处理步骤，基于表示与上述配对物体的种类建立对应关系的物体种 类的配对信息列表，来修正上述变更物体的识别结果，由此确定上述变更物体。
[0016] 根据上述的各结构，为了修正变更物体的识别结果，从确定物体中选择与该变更 物体配对的配对物体。此时,如何选择变更物体的配对物体是任意的。
[0017] 针对上述配对物体，例如具有配对信息的列表，该配对信息是指，与基于与该配对 物体映现在同一图像中的频度而建立了对应关系的物体相关的信息。
[0018] 因此，通过参照上述配对信息列表，能够高精度地在与配对物体处于同一图像中 的被识别出的变更物体的种类。
[0019] 进而，在本发明的图像识别装置中，上述变更物体选择单元，从上述显示物体中， 可以选择上述一个或多个识别候选的最大可靠度低于规定阈值的显示物体，作为上述变更 物体。
[0020] 根据上述结构，一个或多个识别候选的可靠度均低于规定阈值的显示物体是变更 物体。另一方面，上述一个或多个识别候选的可靠度中的至少某一个识别候选的可靠度在 上述阈值以上的显示物体是确定物体。并且，基于从上述确定物体中选择出的配对物体的 配对信息列表来确定上述变更物体。
[0021] 在此，上述最大可靠度是上述一个或多个识别候选的各可靠度中最大的可靠度。
[0022] 上述阈值可以是这样的值，S卩，在某个显示物体的识别候选具有低于上述阈值的 可靠度的情况下，不能确切地确定上述显示物体就是上述识别候选的值。
[0023] 由此，选择因任何识别候选的可靠度都低于上述阈值而不存在能够确切地确定就 是识别候选的显示物体，作为变更物体，由此能够修正该显示物体的识别结果。
[0024] 进而，在本发明的图像识别装置中，上述变更物体选择单元，从上述显示物体中， 可以选择上述一个或多个识别候选的最大可靠度最低的显示物体，作为上述变更物体。
[0025] 根据上述结构，在图像中显示的各显示物体的一个或多个识别候选中，对具有最 大的可靠度而被认为最能够确定该显示物体的各最优识别候选进行比较。并且，选择上述 最优识别候选的值最低的显示物体，作为变更物体。
[0026] 因此，能够在图像中显示的所有的显示物体中，将最难以确定是哪个识别候选的 显示物体，设定为变更物体。
[0027] 进而，在本发明的图像识别装置中，在上述图像中存在多个确定物体的情况下，上 述配对物体选择单元可以选择在与上述变更物体最近的位置显示的确定物体，作为上述配 对物体。
[0028] 根据上述结构，在与变更物体最近的位置显示的确定物体成为配对物体。在此，可 认为在图像中位于与变更物体最近的位置的确定物体，在拍摄了该图像的空间内与上述变 更物体最接近，或者虽然不最近接也位于上述变更物体附近。
[0029] 因此，上述确定物体是与上述变更物体具有强烈的关联性的物体的可能性高，因 而在上述确定物体的配对信息列表中包含上述变更物体的准确的确定结果的可能性高。
[0030] 因此，如上述结构那样，通过选择在图像中位于与变更物体最接近的位置的确定 物体作为上述配对物体，基于上述配对物体的配对信息列表，能够提高准确地确定上述变 更物体的可能性。
[0031] 进而，在本发明的图像识别装置中，在上述图像中存在多个确定物体的情况下，上 述配对物体选择单元可以选择上述可靠度最高的确定物体作为上述配对物体。
[0032] 根据上述结构，上述配对物体是可靠度最高的确定物体。因此，可认为作为上述配 对物体的确定物体是在全部的确定物体中准确确定的可能性最高的确定物体。
[0033] 因此，基于准确确定的可能性最高的配对物体的配对信息列表，来修正上述变更 物体的识别结果，并确定上述变更物体。由此，能够提高准确确定上述变更物体的可能性。 [0034] 进而，在本发明的图像识别装置中，在上述图像中存在多个确定物体的情况下，上 述配对物体选择单元可以从上述多个确定物体中选择数量最多的同一种类的确定物体中 的某一个确定物体，作为上述配对物体。
[0035] 根据上述结构，在与至少某一个确定物体的确定结果相对应的识别候选中，搜索 出作为最多的确定物体的识别候选的识别候选。并且，选择与作为上述搜索的结果而检测 出的识别候选相对应的确定物体，作为配对物体。
[0036] 上述配对物体，是与至少某一个确定物体的确定结果相对应的识别候选，并且是 在上述识别候选中最多的确定物体的识别候选。
[0037] 因此，在上述确定物体中，与上述配对物体的确定结果同一物体的可能性高的确 定物体多。这意味着准确确定了上述配对物体的可能性高。
[0038] 所以，基于准确确定的可能性最高的配对物体的配对信息列表，修正上述变更物 体的识别结果，由此确定上述变更物体。由此，能够提高准确地确定上述变更物体的可能 性。
[0039] 进而，在本发明的图像识别装置中，上述识别处理单元可以针对上述变更物体的 识别候选，从上述可靠度高的识别候选开始，按照上述可靠度从大到小的顺序，搜索与该识 别候选相对应的配对信息是否包含在上述配对信息列表在，在检测出与该识别候选相对应 的配对信息的情况下，确定上述变更物体作为该配对信息。
[0040] 根据上述结构，从可靠度高的识别候选开始，按照上述可靠度从大到小的顺序，搜 索在配对物体的配对信息列表中是否包含与该识别候选相对应的配对信息。这样，在相对 应的配对信息存在于上述配对信息列表中的全部识别候选中，检测出相对应的配对信息的 识别候选的可靠度最高。
[0041] 因此，在相对应的物体存在于上述配对信息列表中的识别候选中，将可靠度最高 的识别候选确定为上述变更物体。
[0042] 由此，与在相对应的配对信息存在于上述配对信息列表中的识别候选中将可靠度 第二高以下的识别候选确定为上述变更物体的结构相比，能够更加提高准确地确定上述变 更物体的可能性。
[0043] 进而，在本发明的图像识别装置中，上述识别处理单元可以在上述配对信息列表 中从优先级高的配对信息开始，按照优先级从高到低的顺序，搜索与该配对信息相对应的 识别候选是否包含在上述变更物体的识别候选中，在检测出与该配对信息相对应的识别候 选的情况下，确定上述变更物体作为该配对信息。
[0044] 在此，就配对信息列表中的配对信息的优先级而言，可以基于在数据库中的同一 图像中具有上述配对信息列表的配对物体与该配对信息一同映现的频度的高低，来决定配 对信息列表中的配对信息的优先级。
[0045] 或者，可以经验性地或一般性地基于与具有上述配对信息的配对物体组合配置的 频度的高低，来决定配对信息列表中的配对信息的优先级。
[0046] 根据上述结构，在配对信息列表中从优先级高的配对信息开始，按照优先级从高 到低的顺序，在变更物体的全部识别候选中搜索是否包含有与该配对信息相对应的识别候 选。这样，在上述配对信息列表中，在相对应的识别候选包含在上述变更物体的识别候选中 的物体中，检测出的相对应的识别候选的配对信息的优先级最高。
[0047] 因此，在相对应的识别候选包含在上述变更物体的识别候选中的配对信息中，将 上述变更物体确定为优先级最高的配对信息。
[0048] 由此，与在相对应的识别候选包含在上述变更物体的识别候选中的配对信息中将 优先级第二高以下的配对信息确定为上述变更物体的结构相比，能够更加提高准确地确定 上述变更物体的可能性。
[0049] 进而，在本发明的图像识别装置中，上述识别处理单元可以参照上述配对信息列 表，以使与包含在上述配对信息列表中的配对信息相对应的识别候选的可靠度变大的方 式，对上述变更物体的识别候选的可靠度进行加权，之后将上述变更物体确定为上述变更 物体的识别候选中的可靠度最高的识别候选。
[0050] 根据上述结构，在检测出与包含在配对信息列表中的配对信息相对应的识别候选 的情况下，对该识别候选的可靠度进行加权，以代替将变更物体确定为该识别候选的方式。
[0051] 因此，通过进行加权来增加与在配对信息列表中包含的配对信息相对应的识别候 选的可靠度，由此能够增加上述变更物体为该识别候选的确切程度。
[0052] 此外，可以根据在配对信息列表中包含的配对信息的优先级，来变更对与上述配 对信息相对应的识别候选的可靠度赋予的权重。由此，对配对信息列表中的与优先级越高 的配对信息相对应的识别候选，越能够将可靠度增加得大。
[0053] 进而，在本发明的图像识别装置中，在由上述变更物体选择单元选择了多个变更 物体的情况下，上述识别处理单元可以从上述多个变更物体中，从上述一个或多个识别候 选的最大可靠度最高的变更物体开始按顺序确定变更物体。
[0054] 根据上述结构，能够从可靠度高的变更物体开始按顺序进行确定。
[0055] 因此，例如，在确定了可靠度最高的第一变更物体之后，确定可靠度第二高的第二 变更物体时，能够利用之前确定的上述第一变更物体作为上述第二变更物体的配对物体。
[0056] 在此，最大可靠度越高的变更物体，是具有其最大可靠度的识别候选的确切程度 越高。因此，可以认为对于最大可靠度越高的变更物体，准确确定的可能性越高。相反地说， 可以认为对于最大可靠度越低的变更物体，准确确定的可能性越低。
[0057] 另外，可以认为先确定准确确定的可能性较高的变更物体之后利用该物体作为配 对物体来确定准确确定的可能性较低的变更物体的方法，与先确定准确确定的可能性较低 的变更物体之后利用该物体作为配对物体来确定准确确定的可能性较高的变更物体的方 法相比，准确确定双方的变更物体的可能性更高。
[0058] 所以，可认为与从最大可靠度低的变更物体开始按顺序进行确定的结构相比，上 述结构准确确定多个变更物体的可能性更高。
[0059] 进而，在本发明的图像识别装置中，上述识别处理单元在上述图像中不存在上述 确定物体的情况下，可将上述变更物体确定为该变更物体的可靠度最高的识别候选。
[0060] 根据上述结构，将某个变更物体确定为可靠度最高的识别候选。例如，可以将具有 最大可靠度最高的识别候选的变更物体确定为确定物体。
[0061] 由此，在图像中，包含至少一个确定物体。然后，能够利用上述确定物体作为配对 物体，如上述那样确定变更物体。
[0062] 此外，在上述配对信息列表中可以包含如下的配对信息列表，该配对信息列表是 指，在过去拍摄得到的图像中，在同一图像中映现的频度高于规定数的二个显示物体中的 一个显不物体与另一个显不物体相互建立了对应关系的配对信息列表。
[0063] 在上述结构中，例如，首先利用高性能的图像识别装置，对实现了数据库化的多个 图像进行一般物体识别。由此，识别并确定在上述多个图像上显示的显示物体。
[0064] 接着，利用显示物体的确定结果，提取在同一图像上映现的二个显示物体。由此， 求出某二个显示物体映现在同一图像中的频度。
[0065] 此后，提取在规定张数以上的同一图像中映现的二个显示物体，并将其纳入到将 其中一个显不物体与另一个显不物体相互建立了对应关系的配对信息列表中。
[0066] 这样，能够将在同一图像中映现的频度在规定次数以上并且可认为可以配对配置 或组合使用的二个显示物体，纳入到将其中的一个显示物体与另一个显示物体相互建立了 对应关系的配对信息列表中。
[0067] 本发明的各技术方案的图像识别装置可以通过计算机来实现，在该情况下，通过 使计算机作为上述图像识别装置所具备的各单元进行动作，来用计算机实现上述图像识别 装置的图像识别程序及记录有该图像识别程序的计算机能够读取的记录介质，也包含在本 发明的范围内。
[0068] 本发明的图像识别装置，用于识别图像中所映现的显示物体的种类，获取分别具 有可靠度的一个或多个识别候选，该可靠度表示作为上述显示物体的种类的识别结果的确 切程度，该图像识别装置具有：变更物体选择单元，其从上述显示物体中，选择出一个或多 个变更物体，并且，在上述一个或多个识别候选中，将具有最大可靠度的识别候选的种类， 确定为确定物体的种类，所述变更物体成为需要对上述识别结果进行修正的对象，所述确 定物体不是需要对上述识别结果进行修正的对象；配对物体选择单元，其从上述显示物体 中的上述确定物体中，选择与上述变更物体配对的配对物体；识别处理单元，其基于表示与 上述配对物体的种类建立有对应关系的物体种类的配对信息列表，来修正上述变更物体的 识别结果，由此确定上述变更物体。
[0069] 另外，本发明的图像识别方法，用于识别图像中所映现的显示物体的种类，获取分 别具有可靠度的一个或多个识别候选，该可靠度表示作为上述显示物体的种类的识别结果 的确切程度，该图像识别装置的方法在于，包括：变更物体选择步骤，从上述显示物体中，选 择出一个或多个变更物体，并且，在上述一个或多个识别候选中，将具有最大可靠度的识别 候选的种类，确定为确定物体的种类，所述变更物体成为需要对上述识别结果进行修正的 对象，所述确定物体不是需要对上述识别结果进行修正的对象；配对物体选择步骤，从上述 显示物体中的上述确定物体中，选择与上述变更物体配对的配对物体；识别处理步骤，基于 表示与上述配对物体的种类建立对应关系的物体种类的配对信息列表，来修正上述变更物 体的识别结果，由此确定上述变更物体。
[0070] 根据本发明的一个技术方案，发挥能够高精度地确定图像中所映现的显示物体的 种类这样的效果。

【专利附图】

【附图说明】
[0071] 图1是示出了本发明的第一实施方式的图像识别装置的结构的功能框图。
[0072] 图2是示出了图像的一个例子的图，是说明对图像中的一般物体进行识别的一个 例子的图。
[0073] 图3是示出了图像的一个例子的图，是说明利用图1所示的图像识别装置进行的 一般物体识别的图。
[0074] 图4是说明利用图1所示的图像识别装置进行的一般物体识别的另一图。
[0075] 图5是示出了利用图1所示的图像识别装置进行的一般物体识别的流程的流程 图。
[0076] 附图标记的说明
[0077] 1图像识别装置
[0078] 103变更物体选择单元
[0079] 104配对物体选择单元
[0080] 105识别处理单元

【具体实施方式】
[0081] (第一实施方式）
[0082] 下面，利用图1至图5,详细说明本发明的实施方式。
[0083] 首先，利用图1，说明本实施方式的图像识别装置1的结构。图1是示出了图像识 别装置1的结构的功能框图。
[0084] 如图1所示，图像识别装置1具有图像获取部101、一般物体识别单元102、变更物 体确定单元10、输出部106及存储部107。
[0085] 图像获取部101，从图像识别装置1的外部，例如从图像拍摄装置或图像数据库等 中获取图像。图像获取部101将这样获取的图像输出至一般物体识别单元102。
[0086] 一般物体识别单元102对由图像获取部101输出的图像执行一般图像识别。详细 地讲，一般物体识别单元102对包含在上述图像中的各物体，基于形状、颜色、动作等，来识 别该物体的种类。由一般物体识别单元102识别出的物体一般具有一个或多个识别候选。 某一物体的各识别候选，具有该物体就是该识别候选的确切程度即可靠度。
[0087] 图2示出了作为由一般物体识别单元102执行一般图像识别的对象的图像的一个 例子。在该图中，由一般物体识别单元102识别出用椭圆形包围的八个物体。另外，一般物 体识别单元102针对八个物体中的每个物体输出识别候选。
[0088] 变更物体确定单元10对由一般物体识别单元102识别出的物体的识别结果进行 修正。详细地讲，变更物体确定单元10对所识别出物体的识别结果的可靠度低的变更物 体，修正其识别结果，由此将该变更物体确定为确切程度更大的物体。此外，在后面详细说 明变更物体确定单元10。
[0089] 输出部106将变更物体确定单元10对图像的处理结果输出至外部。例如，输出部 106可以向各种图像应用程序输出上述处理结果。
[0090] 存储部107中存储有与物体建立了对应关系的配对信息的列表即配对信息列表。 [0091](关于配对信息）
[0092] 对于与物体建立了对应关系的配对信息，不特别进行限制，但例如可以如下决定。
[0093] 在存储在数据库中的拍摄图像中，进行一般物体识别，针对同一图像中存在较多 的两个确定物体，其中一个确定物体成为另一个确定物体的配对信息。
[0094] 此外，在执行上述一般物体识别时，优选地，利用高性能（图像识别能力比图像识 别装置1更高）的图像识别装置，对上述数据库中的图像进行图像识别。由此，可准确地确 定图像中的物体，因而能够利用准确确定的确定物体来决定配对信息。在此，在生成配对信 息时，基本上不存在需要迅速执行处理的要求，因而能够如上述那样利用高性能的图像识 别装置。
[0095] 或者，可以对于一般性地或经验性地组合使用或成对配置的情况多的二个物体， 将一个物体设定为另一个物体的配对信息。
[0096] 在上述结构中，在桌子的配对信息列表中，例如包括椅子及人。另外，在PC (个人 计算机)的配对信息列表中，例如包括键盘及鼠标。另外，在狗的配对信息列表中，例如包括 饲料、项圈及狗绳。
[0097] (变更物体确定单元10)
[0098] 如图1所示，变更物体确定单元10包括变更物体选择单元103、配对物体选择单元 104及识别处理单元105。
[0099] 在此，依次详细说明变更物体确定单元10的各结构要素。
[0100] (L变更物体选择单元103)
[0101] 变更物体选择单元103,从由一般物体识别单元102在图像中识别出的物体中，选 择成为要变更识别结果的对象的物体(下面，称为变更物体)。
[0102] 在图3中，对各物体，示出了一般物体识别单元102的识别结果。例如，对物体5， 示出了识别候选(桌子、猫、狗）和表示各识别候选的可靠度的分数（800、300、300)。
[0103] 在第一实施例中，变更物体选择单元103通过设定规定的阈值，将表示识别候选 的可靠度的分数(参照图3)的最大值在规定的阈值以下的显示物体设定为变更物体。例如， 在上述阈值为500的情况下，在图3所示的图像中，物体4 (最大分数450)及物体6 (最大 分数400)为变更物体。
[0104] 此时，变更物体选择单元103将除了变更物体(物体4、物体6)以外的各物体，确定 为各物体的具有最大分数的识别候选。下面，将所确定的物体称为确定物体。
[0105] 此外，在整个图像中，超过上述阈值的显示物体连一个都不存在的情况下，或者， 在图像中，在与分数最大的显示物体相距规定距离的范围内，显示物体连一个都不存在的 情况下，变更物体选择单元103可以仅将分数最大的显示物体的确定为确定物体，将除此 以外的显示物体确定为变更物体。
[0106] 在第二实施例中，变更物体选择单元103通过对由一般物体识别单元102识别出 的全部物体的具有最大分数的识别候选之间进行比较，来确定分数最低的识别候选，并将 具有该识别候选的物体确定为变更物体。在该采用该结构的情况下，在图3所示的图像中， 最大分数为400的物体6成为变更物体。
[0107] (2.配对物体选择单元104)
[0108] 配对物体选择单元104,选择与由变更物体选择单元103选择出的变更物体配对 的物体(下面，称为配对物体)。一个变更物体的配对物体，是从与该变更物体同一的图像中 的确定物体中选择出的一个或多个确定物体。
[0109] (配对物体选择处理的具体例）
[0110] 下面，示出配对物体选择单元104进行的配对物体选择处理的实施例。
[0111] [第一实施例]
[0112] 在配对物体选择方法的一个实施例中，配对物体选择单元104从图像中的存在于 变更物体周围的确定物体中，选择具有分数最大的识别候选的物体，作为上述变更物体的 配对物体。
[0113] [第二实施例]
[0114] 在配对物体选择方法的另一实施例中，配对物体选择单元104在图像中选择与变 更物体最接近的确定物体，作为配对物体。
[0115] 由此，能够优先选择处于与变更物体最近的位置而被认为与变更物体之间的关联 性大的确定物体，作为配对物体。
[0116] 例如，在图3中，在物体6为变更物体的情况下，首先选择在图像中与物体6最近 的物体5作为配对物体。此外，在利用物体5作为配对物体而未能确定物体6的情况下，接 着，可以重新选择在图像中与物体6第二接近的物体2作为配对物体。
[0117] [第三实施例]
[0118] 在配对物体选择方法的又一实施例中，在变更物体的周围存在多个确定物体的情 况下，配对物体选择单元104从上述多个确定物体中选择数量最多的确定物体，作为上述 配对物体。
[0119] 例如，在图3所示的图像中，假设物体1?物体5是确定物体，物体6是变更物体。 在此，已对物体1?物体5分别确定如下：物体1为人，物体2为人，物体3为桌子，物体4 为椅子，物体5为桌子。
[0120] 因此，在物体1?物体5中，与二个物体相对应的"人"（物体1、物体2)及"桌子" ((物体3、物体5))的数量最多。因此，物体1、物体2、物体3或物体5成为配对物体。
[0121] 例如，配对物体选择单元104可以通过参照物体1、物体2、物体3及物体5的可靠 度，来将具有最高可靠度的物体决定为配对物体。
[0122] [第四实施例]
[0123] 在配对物体选择方法的另一实施例中，在图像中存在多个变更物体的情况下，配 对物体选择单元104从识别候选的最大分数大的变更物体开始，按照最大分数从大到小的 顺序对各变更物体选择配对物体。即，在存在具有分数较高的识别候选的第一变更物体和 具有分数较低的识别候选的第二变更物体的情况下，与第二变更物体的配对物体相比，配 对物体选择单元104更先选择第一变更物体的配对物体。其理由如下。
[0124] 第一，具有分数高的识别候选的变更物体，具有由一般物体识别单元102准确识 别出的识别候选的可能性高。因此，与具有分数较低的识别候选的第二变更物体相比，具有 分数较高的识别候选的第一变更物体被识别处理单元105更加准确确定的可能性更高。
[0125] 第二，在由配对物体选择单元104先选择了具有分数高的识别候选的第一变更物 体的配对物体的情况下，在选择第二变更物体的配对物体之前，已经确定了第一变更物体。 因此，配对物体选择单元104在选择第二变更物体的配对物体时，能够将已确定的第一变 更物体用作第二变更物体的配对物体。
[0126] 因此，如上所述，与第二变更物体相比，第一变更物体被准确确定的可能性更高。 并且，在准确确定了第一变更物体的情况下，在已确定的第一变更物体所具有的配对信息 中，包含用于准确确定第二变更物体的信息的可能性更高。
[0127] 因此，在选择第二变更物体的配对物体时，在选择了已确定的第一变更物体作为 配对物体的情况下，识别处理单元105基于已确定的第一变更物体所具有的配对信息能够 准确确定第二变更物体的可能性高。
[0128] 另一方面，在配对物体选择单元104先选择了具有分数较低的识别候选的第二变 更物体的配对物体的情况下，错误确定第二变更物体的可能性高。另外，在选择第一变更物 体的配对物体时(错误确定了第二变更物体之后)，在选择了已确定的第二变更物体作为配 对物体的情况下，考虑到识别处理单元105难以基于已确定的第二变更物体所具有的配对 信息准确确定第一变更物体。
[0129] 根据上面的说明可知，在图像中存在多个变更物体的情况下，优选地，从识别候选 的最大分数大的变更物体开始按照最大分数从大到小的顺序进行确定。
[0130] 因此，配对物体选择单元104从识别候选的最大分数大的变更物体开始，按照最 大分数从大到小的顺序选择配对物体。
[0131] 例如，在图3所示的图像中，假设物体4及物体6是变更物体。此时，物体4的最 大分数（450)大于物体6的最大分数（400)。
[0132] 因此，首先，对物体4执行配对物体处理。此后，在确定了物体4之后，利用物体4 作为配对物体，或者不利用物体4作为配对物体，来对物体6执行配对物体处理。
[0133] (识别处理单元105)
[0134] 识别处理单元105从存储部107获取配对物体的配对信息，并利用上述配对信息 来确定变更物体。
[0135] (变更物体确定处理的具体例）
[0136] 下面，示出了识别处理单元105进行的变更物体确定处理的实施例。
[0137] [第一实施例]
[0138] 在变更物体确定处理的一个实施例中，识别处理单元105从分数高的识别候选开 始，按照分数从大到小的顺序，搜索与变更物体的识别候选相对应的配对信息是否包含在 配对物体的配对信息列表中。此后，识别处理单元105将在上述搜索中检测出的识别候选 确定为变更物体的识别结果。
[0139] 在本实施例中，利用图4进行说明。在此，该图的物体5及物体6是与图3所示的 物体5及物体6相同的物体。
[0140] 例如，在图4中，假设变更物体是物体6,配对物体是物体5。并且，如图所示，物体 5包括具有"椅子"、"笔盒"、"铅笔"、"橡皮"等的配对信息列表L，作为配对信息。
[0141] 在采用该结构的情况下，识别处理单元105搜索物体6的分数最高的识别候选即 "狗"是否包含在作为配对物体的物体5的配对信息列表L中。在配对信息列表中包含"狗" 的情况下，识别处理单元105确定为变更物体是"狗"。
[0142] 另一方面，在配对信息列表中不包含"狗"的情况下，识别处理单元105搜索物体6 的分数第二高的识别候选即"椅子"是否包含在物体5的配对信息列表L中。之后的处理 与上述同样地进行。
[0143] [第二实施例]
[0144] 在变更物体确定处理的另一实施例中，识别处理单元105从包含在配对物体的配 对信息列表中的最上面的配对信息开始，按照从上到下的顺序，搜索该配对信息是否包含 在变更物体的识别候选中。识别处理单元105将在上述搜索中检测出的识别候选确定为变 更物体。
[0145] 例如，在图4中，在变更物体是物体6,配对物体是物体5的情况下，识别处理单元 105搜索物体5的配对信息列表L中的优先级最高的配对信息即"椅子"是否包含在变更物 体即物体6的识别候选中。而且，由于包含有作为物体6的识别候选的"椅子"，因而将物体 6确定为"椅子"。
[0146] 此外，在物体6的识别候选中不包含"椅子"的情况下，搜索物体5的优先级第二 高的配对信息的"笔盒"是否包含在物体6的识别候选中。之后的处理与上述同样地进行。
[0147] 通过上面的处理，在图4所示的例子中，通过将作为变更物体的物体6确定为"椅 子"，将一般物体识别单元102针对物体6的识别结果(最大分数的"狗"）修正为"椅子"。
[0148] [第一变形例；分数的加权（weighting)]
[0149] 在上述第一实施例或第二实施例中，识别处理单元105在检测出与配对信息相对 应的识别候选之后，可以取代将变更物体确定为该识别候选的方式，而进行分数变更来增 加该识别候选的分数(例如增加到1. 5倍)。
[0150] 在采用该结构的情况下，识别处理单元105在进行上述分数变更之后，将分数最 高的识别候选确定为变更物体。
[0151] 例如，在图3中，通过将所检测出的"椅子"的分数增加到1. 5倍，将350变更为 525。其结果，在"狗"（分数：400)、"椅子"（分数：525)、"人"（分数：300)中，将分数变得 最高的"椅子"确定为变更物体6。
[0152] 此外，识别处理单元105在执行变更物体确定处理之前，也可以预先减少变更物 体的识别候选。具体而言，识别处理单元105在执行变更物体确定处理之前，可以从变更物 体的识别候选中去掉不超过规定的阈值的识别候选。
[0153] 例如，在图3中，示出了作为物体6的识别候选的"狗"（分数：400)、"椅子"（分 数：350)及"人"（分数：300)。在此，若将分数的阈值设定为325,则从上述识别候选中去 掉"人"，从而剩下作为物体6的识别候选的"狗"及"椅子"。另外，若将分数的阈值设定为 375,则从上述识别候选中去掉"人"及"椅子"，从而仅剩下作为物体6的识别候选的"狗"。
[0154] (变更物体确定处理的流程图）
[0155] 下面，利用图3及图5,说明变更物体的变更物体确定处理。图5是示出了识别方 法的流程的流程图。
[0156] 如图5所示，首先，从外部向图像获取部101输入图3所示的图像（S101)。接着， 由一般物体识别单元102对上述图像执行一般物体识别，获取图像中的物体1?物体6和 这些物体各自的识别候选（S102)。
[0157] 此后，变更物体选择单元103基于可靠度(分数）来选择变更物体（S103)。详细地 讲，变更物体选择单元103从图像中的物体1?物体6中，选择出识别候选的最大分数在阈 值以下的物体作为变更物体。
[0158] 变更物体选择单元103判断在图像中是否有变更物体（S104)。在判断为图像中没 有变更物体的情况下（S104 :"否")，识别处理单元105输出将全部显示物体确定为各显示 物体的具有最大分数的识别候选而得到的结果（S107)。
[0159] 另一方面，在判断为图像中有变更物体的情况下（S104:"是")，配对物体选择单 元104分别选择各变更物体的配对物体（S105)。
[0160] 此后，识别处理单元105基于配对物体的配对信息列表及识别候选的可靠度(分 数）来确定变更物体（S106)。
[0161] 若未剩下变更物体（S104 :"否")，则输出部106将识别处理单元105得出的各显 示物体的确定结果输出至外部(例如，图像应用程序）（S107)。
[0162] (与专利文献1所述的发明之间的差异）
[0163] 在专利文献1所述的以往技术中，基于登录有多个单词的单词登录信息中所包含 的字符的出现次数，对各候选字符进行加权，并根据其结果来从候选中去掉候选字符。
[0164] 因此，专利文献1所述的技术与本申请发明的变更物体确定单元10不同，并不基 于可靠度(分数）及阈值来评价识别候选。
[0165] 因此，变更物体确定单元10能够通过调整分数来变更识别候选的可靠度，并且能 够通过变更阈值来削减识别候选，另一方面，在专利文献1所述的技术中，不能利用可靠度 和/或阈值来评价识别候选。
[0166] 本发明并不限定于上述的各实施方式，在权利要求书表示的范围内能够进行各种 变更，将在不同实施方式中分别公开的技术单元进行适当组合而得到的实施方式也包括在 本发明的技术的范围内。进而，通过将在各实施方式中分别公开的技术单元进行组合，能够 形成新的技术特征。
[0167] (软件构成的实现例）
[0168] 最后，图像识别装置1的各功能块，特别是变更物体确定单元10能够由集成电路 (1C芯片）上所形成的逻辑电路以硬件方式实现，也能够利用CPU (central processing unit :中央处理单元）以软件方式实现。
[0169] 在后者的情况下，图像识别装置1具有执行实现各功能的控制程序的命令的CPU、 存储上述程序的ROM (read only memory:只读存储器)、展开上述程序的RAM (random access memory :随机存取存储器）及存储上述程序及各种数据的存储器等的存储装置(记 录介质）等。并且，本发明的目的能够通过以下方式来实现：对上述图像识别装置1供给记 录介质，由计算机(或CPU、MPU (micro processor unit:微处理单位)）读出并执行介质所 记录的程序编码，其中，上述记录介质以该计算机能够读取的方式记录有实现上述功能的 软件，即，记录有图像识别装置1的控制程序的程序编码(执行形式程序、中间编码程序及 源程序)。
[0170] 作为上述记录介质，能够使用非临时性的有形的介质（non-transitory tangible medium :非临时性有形介质)，例如能够使用磁带类的记录介质、盘类记录介质、卡类记 录介质、半导体存储器类记录介质或逻辑电路类记录介质等，其中，上述磁带类记录介质 为磁带、盒式记录带等，上述盘类记录介质包括软盘（floppy，注册商标)、硬盘等磁盘及 CD-ROM (compact disc read only memory :只读光盘）、MO (magneto optical :磁光盘）、 MD (MiniDisc :迷你光盘)、DVD (digital versatile disk :数字多功能光盘)、Q)-R (⑶ Recordable :可录式光盘）等光盘，上述卡类记录介质为IC卡(包括存储卡)、光卡等，上述 半导体存储器类记录介质为掩模型存储器（mask ROM)、EPROM (erasable programmable read-only memory:可擦除可编程只读存储器）、EEPR0M (electrically erasable and programmable read only memory:电可擦可编程只读存储器，注册商标)、闪存ROM等，上 述逻辑电路类记录介质为PLD (Programmable logic device :可编程逻辑控制器)、FPGA (Field Programmable Gate Array :现场可编程门阵列）等逻辑电路类等。
[0171] 另外，能够以与通信网络相连接方式来构成图像识别装置1，并且通过通信网络 供应上述程序编码。该通信网络只要能够传送程序编码即可，并不特别地限定。可以利 用例如互联网（internet)、企业内部互联网（intranet)、外联网（extranet)、LAN (local area network:局域网）、ISDN (integrated services digital network:综合业务数字 网）、VAN (value added network :加值网络）、CATV (community antenna television :有 线电视）通信网、虚拟专用网（virtual private network)、电话线路网，移动体通信网及卫 星通信网等。另外，构成该通信网络的传送介质也只要是能够传送程序编码的介质即可， 并不限定于特定的结构或种类的介质。例如，也能以有线方式和无线方式利用，其中，上述 有线方式有 IEEE (institute of electrical and electronic engineers :电机及电子工 程师协会）1394、USB、电力线传输、电缆TV线路、电话线及ADSL (asynchronous digital subscriber loop :非对称数字用户环路)线路等，上述无线方式有如IrDA (infrared data association :红外数据协会)及遥控器的红外线、Bluetooth (蓝牙，注册商标)、IEEE802. 11 无线、HDR (high data rate :高速数据传送)、NFC (Near Field Communication :近距离无 线通讯技术)、DLNA (Digital Living Network Alliance:数字生活网络联盟)、移动电话 网、卫星线路及地面波数字网等。此外，在本发明中，上述程序编码也能够以由电子传送体 现的内嵌在载波中的计算机数据信号的方式实现。
[0172] 产业上的可利用性
[0173] 本发明能够用于识别图像中所映现的显示物体的图像识别装置等中。
【权利要求】
1. 一种图像识别装置，用于识别图像中所映现的显示物体的种类，获取分别具有可靠 度的一个或多个识别候选，该可靠度表示针对上述显示物体的种类的识别结果的确切程 度，该图像识别装置的特征在于，具有： 变更物体选择单元，其从上述显示物体中，选择出一个或多个变更物体，并且，在上述 一个或多个识别候选中，将具有最大可靠度的识别候选的种类，确定为确定物体的种类，所 述变更物体成为需要对上述识别结果进行修正的对象，所述确定物体不是需要对上述识别 结果进行修正的对象； 配对物体选择单元，其从上述显示物体中的上述确定物体中，选择与上述变更物体配 对的配对物体； 识别处理单元，其基于表示与上述配对物体的种类建立有对应关系的物体种类的配对 信息列表，来修正上述变更物体的识别结果，由此确定上述变更物体。
2. 如权利要求1所述的图像识别装置，其特征在于， 上述变更物体选择单元，从上述显示物体中，选择上述一个或多个识别候选的最大可 靠度低于规定阈值的显示物体，来作为上述变更物体。
3. 如权利要求1所述的图像识别装置，其特征在于， 上述变更物体选择单元，从上述显示物体中，选择上述一个或多个识别候选的最大可 靠度最低的显示物体，来作为上述变更物体。
4. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述变更物体选择单元，在上述图像中不存在上述确定物体的情况下，将上述变更物 体确定为该变更物体的可靠度最高的识别候选。
5. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述配对物体选择单元，在上述图像中存在多个确定物体的情况下，选择上述可靠度 最高的确定物体来作为上述配对物体。
6. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述配对物体选择单元，在上述图像中存在多个确定物体的情况下，选择在与上述变 更物体最近的位置显示的确定物体来作为上述配对物体。
7. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述配对物体选择单元，在上述图像中存在多个确定物体的情况下，从上述多个确定 物体中，选择数量最多的同一种类的确定物体中的任意一个确定物体，来作为上述配对物 体。
8. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述识别处理单元，在上述变更物体的识别候选中，从上述可靠度高的识别候选开始， 按照顺序搜索与该识别候选相对应的配对信息是否被包含在上述配对信息列表中，在检测 出与该识别候选相对应的配对信息的情况下，将上述变更物体确定为该配对信息。
9. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述识别处理单元，在上述配对信息列表中，从优先级高的配对信息开始，按照顺序搜 索与该配对信息相对应的识别候选是否被包含在上述变更物体的识别候选中，在检测出与 该配对信息相对应的识别候选的情况下，将上述变更物体确定为该配对信息。
10. 如权利要求1至3中任一项所述的图像识别装置，其特征在于， 上述识别处理单元，参照上述配对信息列表，以使与包含在上述配对信息列表中的配 对信息相对应的识别候选的可靠度变大的方式，对上述变更物体的识别候选的可靠度进行 加权，之后将上述变更物体确定为上述变更物体的识别候选中的可靠度最高的识别候选。
11. 一种图像识别方法，用于识别图像中所映现的显示物体的种类，获取分别具有可 靠度的一个或多个识别候选，该可靠度表示针对上述显示物体的种类的识别结果的确切程 度，该图像识别装置的方法在于，包括： 变更物体选择步骤，从上述显示物体中，选择出一个或多个变更物体，并且，在上述一 个或多个识别候选中，将具有最大可靠度的识别候选的种类，确定为确定物体的种类，所述 变更物体成为需要对上述识别结果进行修正的对象，所述确定物体不是需要对上述识别结 果进行修正的对象； 配对物体选择步骤，从上述显示物体中的上述确定物体中，选择与上述变更物体配对 的配对物体； 识别处理步骤，基于表示与上述配对物体的种类建立对应关系的物体种类的配对信息 列表，来修正上述变更物体的识别结果，由此确定上述变更物体。
【文档编号】G06K9/78GK104102930SQ201410109852
【公开日】2014年10月15日 申请日期:2014年3月24日 优先权日:2013年4月12日
【发明者】田中清明 申请人:欧姆龙株式会社