用于从给定图像中识别目标铭板图像的内容的装置和方法
【技术领域】
[0001] 本发明涉及一种用于从给定图像中识别目标铭板图像的内容的装置和方法。
【背景技术】
[0002] 自动检测与识别数字图像中的铭板内容是光学字符领域的重要技术，他能帮助用 户查询维护相关铭板信息。图1给出了一个基于铭板图像检测与识别来对电线柱进行维护 的示例。用户首先在手持设备的预览窗口获取图像，然后检测并识别图像中的铭板内容，最 后用户可以检索历史维护信息、将维护过程上传到服务器，等等。但是，由于铭板位置、铭板 内容多变性及低质量图像的影响，快速、正确的检测并识别出铭板中的内容是非常具有挑 战的任务。大部分传统的方法把车牌的检测与识别作为重点，而并不关注具有各种各样的 布局和内容的一般意义上的铭板的检测与识别。
[0003] 例如，专利文献No. US8447112中揭示的技术试图从车辆图像中提取至少一个车 牌位置，然后通过预先设定的置信度阈值来确定车牌和置信度。专利文献No. US8483440中 揭示的技术根据输入车牌图像选择一个特定的模板图像来验证车牌检测识别结果。专利文 献公开No. US02110228085中揭示的技术利用摄像机、多通滤波器、发光二级管和光照控制 板来检测识别车牌图像。传统的车牌检测方法不能用于电线柱上的铭板及其它类型铭板的 检测与识别，并且也不能用于多语言类型和多布局类型的铭板图像的检测与识别。
[0004] 针对现有技术中存在的缺陷，提出本申请。
【发明内容】
[0005] 在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理 解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关 键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念， 以此作为稍后论述的更详细描述的前序。
[0006] 本发明的一个主要目的在于提供一种用于从给定图像中识别目标铭板图像的内 容的方法，以克服或减轻现有的问题。
[0007] 根据本发明的另一个方面，提供了一种用于从给定图像中识别目标铭板图像的内 容的装置，所述装置包括：候选铭板图像获取模块，其被配置成从所述给定图像中获取所述 目标铭板图像的一个或多个候选铭板图像；目标铭板图像确定模块，其被配置成利用预先 定义的所述目标铭板图像的布局，检测每个候选铭板图像，从而确定目标铭板图像以及目 标铭板图像的内容的位置，所述布局包括：文本行的数量、每个文本行的属性、文本行之间 的相对位置；及识别模块，其被配置成识别所述目标铭板图像的内容。
[0008] 根据本发明的一个方面，提供了一种用于从给定图像中识别目标铭板图像的内容 的方法，所述方法包括：从所述给定图像中获取所述目标铭板图像的一个或多个候选铭板 图像；利用预先定义的所述目标铭板图像的布局，检测每个候选铭板图像，从而确定目标铭 板图像以及目标铭板图像的内容的位置，所述布局包括：文本行的数量、每个文本行的属 性、文本行之间的相对位置；及识别所述目标铭板图像的内容。
[0009] 另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
[0010] 此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其 上记录有用于实现上述方法的计算机程序代码。
[0011] 根据本发明的实施例，能够更快速、准确地从给定图像中识别目标铭板图像的内 容。
[0012] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其它优 点将更加明显。
【附图说明】
[0013] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似 的技术特征或部件将采用相同或类似的附图标记来表示。
[0014] 图1示出了一个基于铭板图像检测与识别来对电线柱进行维护的示例；
[0015] 图2是示意性地示出根据本发明的实施例的用于从给定图像中识别目标铭板图 像的内容的方法的流程图；
[0016] 图3示出了基于闭合路径LSD线段的检测例子；
[0017] 图4示出了候选连通分量识别与噪声去除的例子；
[0018] 图5是示意性地示出根据本发明的实施例的用于从给定图像中识别目标铭板图 像的内容的装置的框图；
[0019] 图6是示意性地示出根据本发明的实施例的目标铭板图像确定模块的一个实施 例框图；
[0020] 图7是示意性地示出根据本发明的实施例的候选连通分量获取单元的一个实施 例框图；
[0021] 图8是示意性地示出根据本发明的实施例的识别模块的一个实施例框图；
[0022] 图9是示意性地示出根据本发明的实施例的候选铭板图像获取模块的一个实施 例框图；
[0023] 图10示出了可以用于实施本发明的用于从给定图像中识别目标铭板图像的内容 的方法和装置的计算设备的举例的结构图。
【具体实施方式】
[0024] 下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描 述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应 当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知 的部件和处理的表示和描述。
[0025] 图2是示意性地示出根据本发明的实施例的用于从给定图像中识别目标铭板图 像的内容的方法的流程图。以下参照图2来描述根据本发明的实施例的用于从给定图像中 识别目标铭板图像的内容的方法。
[0026] 在步骤S201中，从给定图像中获取目标铭板图像的一个或多个候选铭板图像。
[0027] 具体地，可以通过直线段检测算法对给定图像进行检测，从而获取多个直线段，并 且将由构成封闭路径的直线段集合所限定的部分作为候选铭板图像。
[0028] 例如，首先使用直线段检测（LSD)算法提取图像中存在的水平和垂直线段，为 了提高直线段检测算法的有效性，LSD大小自适应于原图像大小，LSD图像大小范围为 [s lsd，maxS]，
[0029] 其中：slsd= s img/r，simg是输入图像大小，r为缩放比例。
[0030]
[0031] 对于检测到的线段集合= ，我们定义闭合路径
!；中_是偏差向量。 ε
[0032] 如果存在一个LSD线段集合五=元『2,..1}使
，那么这个线段集 合五= {/；,/2，…乙丨被聚集成一个闭合路径，这些闭合路径线段的外接矩形框被定位为候选铭 板图像。图3给出了基于闭合路径LSD线段的检测例子。附图标记1和2指示出被检测出 来的候选铭板图像。
[0033] 在步骤S202中，利用预先定义的目标铭板图像的布局，检测每个候选铭板图像， 从而确定目标铭板图像以及目标铭板图像的内容的位置。
[0034] 目标铭板图像的布局可以包括：文本行的数量、每个文本行的属性、文本行之间的 相对位置。文本行的属性可以进一步包括：文本行的方向、文本行包括的字符数量及每个字 符的字符类型。字符类型可以是数字、字母、片假名、平假名、符号、汉字等铭板中的各种类 型的字符。用户可以预定义想要识别的铭板布局P layciut，
[0035] Playout= {Ntl，{tl!，tl2,…，tlN}，rl}公式 2
[0036] 其中：Ntl是文本行数量，{tl d tl2, ···，tlN}是铭板中的文本行，rl表示所有文本行 的相对位置关系。
[0037] 具体地，对于每个候选铭板，可以利用Adaptive Sauvola算法提取连通分量。通 过与每个字符类型对应的每个类型的识别引擎（例如MQDF引擎）对一个候选铭板图像的 连通分量进行识别，从而获取候选连通分量。每种类型MQDF引擎可以选择^/队个具有较 高置信度的识别结果并按降序排列，其中，T。是总共候选个数，为N t字符类型数。然后，根 据连通分量属于预定的字符类型的概率，确定关键连通分量和非关键连通分量。具体地，如 果连通分量属于预定的字符类型的概率中的最大值大于预定阈值T h，则将该连通分量作为 关键连通分量，否则作为非关键连通分量。对所有关键连通分量计算关键连通分量的属性 的平均值m和偏差σ。关键连通分量的属性包括大小、前景灰度值及笔划宽度中的至少一 个。然后，基于对所有关键连通分量计算出的关键连通分量的属性的平均值和偏差，确定候 选连通分量。具体地，如果非关键连通分量的属性值落在由平均值和偏差（即，m±k 〇)构 成的范围之外，则该非关键连通分量为噪声连通分量，剩余的连通分量和关键连通分量为 候选连通分量。例如，图4给出了候选连通分量识别与噪声去除的例子，其字符类型为数字 和片假名。如图4所示，根据计算结果，由附图标记3表示的连通分量为关键连通分量，由 附图标记4表示的非关键连通分量的属性值落在由平均值和偏差（即，m±k〇)构成的范 围之内，所以由附图标记3表示的关键连通分量和由附图标记4表示的非关键连通分量为 候选连通分量。其它的非关键连通分量则作为噪声连通分量。
[0038] 然后，基于目标铭板图像中的文本行的属性