从场景图像中自动提取路牌图像的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及信息处理领域，具体涉及从场景图像中自动提取路牌图像的方法和装 置。
【背景技术】
[0002] 近年来，具有摄像功能的移动装置越来越普及，从而非常便于拍摄自然场景图像。 路牌作为一种常见的信息指示牌而广泛出现在各种场景中。例如，游客可能通过拍摄包括 路牌的图像来读取地址，然后翻译地址文本。通过带有提取功能、识别功能和翻译功能的移 动装置能够自动进行整个过程。在这种过程中，路牌图像提取是重要的步骤，这将决定最终 的性能。
[0003] 因此，需要一种能够更好地提取路牌图像的技术。
【发明内容】
[0004] 在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理 解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关 键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念， 以此作为稍后论述的更详细描述的前序。
[0005] 本发明的一个主要目的在于，提供一种从场景图像中自动提取路牌图像的方法和 装直。
[0006] 根据本发明的一个方面，提供了一种从场景图像中自动提取路牌图像的方法，该 方法包括：从场景图像中识别至少一个标志字符；根据包含至少一个标志字符的标志字符 图像区域来估计标志字符颜色和路牌图像的路牌背景颜色；根据标志字符颜色和路牌背景 颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为 同一类别且其他颜色被分为同一类别的多值化场景图像；以及根据多值化场景图像中的围 绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。
[0007] 根据本发明的另一个方面，提供了一种从场景图像中自动提取路牌图像的装置， 该装置包括：识别部，被配置为从场景图像中识别至少一个标志字符；估计部，被配置为根 据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背 景颜色；多值化部，被配置为根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以 得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一 类别的多值化场景图像；以及提取部，被配置为根据多值化场景图像中的围绕至少一个标 志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。
[0008] 另外，根据本发明的又一个方面，还提供了用于实现上述方法的计算机程序。
[0009] 此外，根据本发明的又一个方面，还提供了至少计算机可读介质形式的计算机程 序产品，其上记录有用于实现上述方法的计算机程序代码。
[0010] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。
【附图说明】
[0011] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似 的技术特征或部件将采用相同或类似的附图标记来表示。
[0012] 图1是示出根据本发明的实施例的从场景图像中自动提取路牌图像的方法的流 程图；
[0013] 图2是示出根据一个示例的识别标志字符的步骤的流程图；
[0014] 图3示意性地示出了三个场景图像；
[0015] 图4示意性地示出了以不同模式来识别标志字符的图；
[0016] 图5示意性地示出了所获得的标志字符图像区域；
[0017] 图6示意性地示出了经多值化的场景图像；
[0018] 图7示意性地示出了提取出的路牌图像区域；
[0019] 图8示意性地示出了经透视校正的路牌图像区域；
[0020] 图9示意性地示出了最终得到的路牌图像；
[0021] 图10是示出根据本发明的实施例的从场景图像中自动提取路牌图像的装置的配 置框图；
[0022] 图11是示出根据本发明的实施例的识别部的配置框图；
[0023] 图12是示出根据另一个实施例的从场景图像中自动提取路牌图像的装置的配置 框图；
[0024] 图13是示出根据本发明的实施例的估计部的配置框图；
[0025] 图14是示出根据又一个实施例的从场景图像中自动提取路牌图像的装置的配置 框图；
[0026] 图15是示出根据本发明的再一个实施例的从场景图像中自动提取路牌图像的装 置的配置框图；以及
[0027] 图16是示出可以用于实施本发明的从场景图像中自动提取路牌图像的方法和装 置的计算设备的举例的结构图。
【具体实施方式】
[0028] 下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描 述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应 当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知 的部件和处理的表示和描述。
[0029] 以下将参照图1至图9来描述从场景图像中自动提取路牌图像的方法100。
[0030] 图1是示出根据本发明的实施例的从场景图像中自动提取路牌图像的方法100的 流程图。
[0031] 如图1所示，在步骤S102中，从场景图像中识别至少一个标志字符。
[0032] 图3示意性地示出了三个场景图像。场景图像例如可以是由移动终端(例如，手 机、个人数字助理（PDA)、平板计算机或佩戴式移动终端等等）拍摄的图像。在该场景图像 中可以包括路牌图像，还可以包括路牌周围的场景，例如，街道、建筑物和植被等等。路牌是 具有某一位置、地点或建筑的地址信息的指示牌。
[0033] 根据发明人的观察和研究，一般情况下，在特定地理区域内的路牌通常具有特定 的标志字符。例如，路牌通常具有作为标志字符的阿拉伯数字"〇"到"9"。在图3所示的场 景图像中，在图（3a)中出现了"100"，在图（3b)中出现了"99"，在图（3c)中出现了"118"。 但是，应当理解到，标志字符不限于阿拉伯数字，还可以是在路牌中常出现的其他字符，例 如"街"、"路"、"street (街)"、"block (街区）"或"No."等等。
[0034] 在标志字符是数字的情况下，可以用数字分类器来识别作为标志字符的数字。例 如，数字分类器可以是用于将对象分类为数字或非数字的分类器。此外，数字分类器还可以 是具有数字光学字符识别（OCR)引擎的分类器，其可以用于将对象分类为"0"、"1"、……、 "9"。如果使用具有数字OCR引擎的分类器，则识别置信度可以被视为该识别对象是相应数 字的概率。在这种情况下，可以通过设置阈值并对识别置信度与该阈值进行比较来提取相 应的候选数字。
[0035] 在步骤S104中，根据包含至少一个标志字符的标志字符图像区域来估计标志字 符颜色和路牌图像的路牌背景颜色。
[0036] 标志字符图像区域是包含所识别的标志字符以及该标志字符周围区域在内的图 像区域。因此，标志字符图像区域中的标志字符的颜色可以被估计作为标志字符颜色，而该 标志字符周围区域的颜色可以被估计