br>[0028] 上述漫画图像版面的识别方法中，进一步地，所述识别方法在步骤32)所述拟合出 四边形之后还包括多边形验证过程，通过设置分辨率约束、面积约束和边长约束，针对所述 拟合出四边形进行多边形验证，当多边形验证通过时，拟合出的四边形是一个分镜。
[0029] 上述漫画图像版面的识别方法中，进一步地，步骤5)所述推断方法包括Gra地化ts 图割算法、置信传播算法和Move-making算法。
[0030] 上述漫画图像版面的识别方法中，进一步地，步骤52)所述二元势能2(p,q)eN〇(2) (yP，yq，x;w)中，当N表示节点互斥时，二元势能0(2)(yP，yq，x;w)通过式2计算得到： O /'=/=〇
[0031] 妒'^."，.V""Y:W) ='己 (式2) ，0 j，/ 二 I'y 二 0 INF V "二.V"二 I
[0032] 当表示节点相邻时，二元势能〇(2)(7。，79，义;《〇通过式3计算得到：
[0034] 式2或式3中，yP为节点的标记值;X表示节点的特征集合;W是能量函数的参数。
[0035] 上述漫画图像版面的识别方法中，进一步地，步骤6)所述阅读顺序检测过程根据 多边形之间的几何位置关系识别得到分镜阅读顺序，具体是:将输入的多边形或分镜通过 两个多边形或分镜横向和纵向的交叠情况进行排序;所述两个多边形或分镜横向和纵向的 交叠情况包括:两个多边形或分镜在竖直方向没有交叠的情况、两个多边形或分镜在竖直 方向有交叠但水平方向无交叠的情况和两个分镜水平竖直方向均有交叠的情况。
[0036] 本发明还提供一种实现上述漫画图像版面的识别方法的漫画图像版面自动识别 系统，包括分镜识别与提取模块和后处理模块;所述分镜识别与提取模块包括前景背景分 割模块、轮廓检测模块、直线段检测模块和分镜查找模块；
[0037] 前景背景分割模块，用于获得漫画页面的背景区域，并将前景和背景区域进行二 值化，得到二值化的图像；
[0038] 轮廓检测模块，用于对二值化的图像进行轮廓追踪，得到所述黑白二值图的轮廓； 得到轮廓之后，对轮廓进行多边形拟合；
[0039] 直线段检测模块，用于识别漫画图像中的直线段，并且记录所述直线段的位置信 息；
[0040] 分镜查找模块，包括两个子模块多边形形成模块和构造求解能量函数模块;所述 多边形形成模块根据直线段检测模块检测的结果，对直线段进行拼接形成多个四边形;所 述构造求解能量函数模块用于根据形成的多个多边形构造能量函数，通过优化能量函数判 断形成的多边形是否是分镜；
[0041] 后处理模块，包括分镜补全模块和阅读顺序检测模块;所述分镜补全模块用于补 全一些完全没有包围框的分镜;所述阅读顺序检测模块通过将所述分镜识别与提取模块得 到的结果作为输入，根据多边形之间的几何位置关系，将所述多边形代表的分镜进行排序， 得到排序后的分镜。
[0042] 此外，上述漫画图像版面自动识别系统还可包括多边形验证模块，该模块对形成 的多边形进行修正和排除。该模块可W通过设定规则筛选识别出的分镜从而实现自动的多 边形验证。
[0043] 与现有技术相比，本发明的有益效果是：
[0044] 漫画图像理解或识别是要识别出漫画图像中的每个分镜，辨识出运些分镜之间的 关系，即识别获得阅读顺序。本发明借鉴当前自然图像理解方法，充分利用能量最小化模型 及其图切分优化算法，提供一种基于能量最小化的漫画图像版面理解识别方法，该方法可 W自动识别出组成分镜边框的多边形(大多数为四边形），并且根据识别出的多边形之间的 几何位置关系判断分镜之间的阅读顺序，从而完成漫画版面理解识别。通过对用户输入的 漫画图像进行自动分析，从而获取漫画版面中的分镜，并且根据识别的分镜之间的几何位 置关系判定其阅读顺序，从而使得漫画图像能更好地在移动设备上阅读。本发明提供的方 法和系统可W有效地处理较为复杂的漫画版面，能够自动理解漫画版面，解决了目前方法 不能处理复杂布局版面的问题，提升处理效率和用户体验;而且，提供的方法和系统具有高 效、通用的优点，尤其可W丰富移动设备用户的阅读体验。
【附图说明】
[0045] 图1为一幅典型的漫画页面扫描图像(简称为漫画图像)和分成的子图像示意图；
[0046] 其中，（a)为一幅示例漫画图像；（b)为该漫画图像被分成独立的子图像1~7,每个 子图像包括多边形边框和由多边形边框包围的部分；（C)为将漫画图像按分镜依序在手机 上展示的结果。
[0047] 图2为本发明实施例提供的漫画图像版面自动识别系统的系统结构图。
[004引图3为本发明实施例提供的漫画图像版面识别方法的流程框图。
[0049] 图4为水平直线段和垂直直线段T形交叉和L形交叉的示意图；
[0050] 其中，（a)为T形交叉；（b)为L形交叉。
[0051 ]图5为分镜紧凑性说明的示意图；
[0052] 其中，(a)为松散的分镜;（b)为紧凑的分镜。
[0053] 图6为本发明实施例中应用的一幅漫画图像。
[0054] 图7为本发明实施例中对漫画图像的前景和背景进行分割时连通分量的捜索结果 示意图，
[0055] 其中，图中的不同灰度分别表示不同连通分量。
[0056] 图8为本发明实施例中对漫画图像的前景和背景进行二值化后得到的图像。
[0057] 图9为本发明实施例中从二值化图像中识别出的轮廓示意图；
[0058] 其中，图中的不同灰度分别表示不同轮廓，轮廓中注明了轮廓的编号;cl~^为识 别出的轮廓的编号。
[0059] 图10为本发明实施例进行分镜识别得到的最终结果示意图；
[0060] 其中，不同编号代表不同的分镜，当分镜没有进行排序时，展示顺序为n、f2、巧、 f 4、巧；当所有分镜进行排序后，展示顺序为巧、f 2、f 4、f 3、n。
【具体实施方式】
[0061] 下面结合附图，通过实施例进一步描述本发明，但不W任何方式限制本发明的范 围。
[0062] 本发明提供一种漫画图像版面的识别方法和自动识别系统，充分利用能量最小化 模型及其图切分优化算法，自动识别出组成分镜边框的多边形(大多数为四边形），并且根 据识别出的多边形之间的几何位置关系判断分镜之间的阅读顺序，从而完成漫画版面理解 识别。本发明可W有效地处理较为复杂的漫画版面，提升处理效率并丰富移动设备用户的 阅读体验。
[0063] 下面针对将漫画图像作为漫画图像版面理解系统的输入的应用场景，叙述漫画版 面自动理解的的具体实施流程。本发明中，所述的漫画内容主要是由漫画书逐页扫描得到 的漫画图像。用户首先获得图像格式的漫画电子文件(例如：jpg、png等格式的文件），运些 文件是由纸质漫画逐页扫描得到或是由漫画出版商提供的图像格式的漫画包(将漫画图像 逐页编号并压缩成为zip, rar等格式的压缩文件包），并且将运些漫画图像逐页输入系统。 因此，漫画图像可W是由漫画书籍进行逐页扫描得到，也可W是漫画出版商提供的漫画图 像包(漫画包是将漫画图像逐页编号并压缩成为.zip或.rar等格式的压缩文件包，将该压 缩文件解压之后即可获得逐页的漫画图像）。例如，图1为一幅典型的漫画页面扫描图像(下 文简称为漫画图像)和分成的子图像示意图；其中，（a)为一幅示例漫画图像；（b)为该漫画 图像被分成的多个独立的子图像，每个子图像包括多边形边框和由多边形边框包围的部 分；（C)为将漫画图像按分镜依序在手机上展示的结果。
[0064] 本实施例中，用户U的设备(个人电脑、手持设备等)需要先安装实现了本发明提供 的漫画图像版面识别方法的客户端软件，相关功能模块被部署到该客户端软件中。图2为本 发明实施例提供的漫画图像版面自动识别系统的系统结构图。漫画图像版面自动识别系统 包括五大模块:前景背景分割，轮廓检测，直线段检测，分镜查找模块，W及后处理模块。前 面四个模块共同构成"分镜的识别与提取"模块，另外有一个独立的功能模块一一多边形验 证模块。
[0065] 本发明提供的漫画图像版面识别方法和自动识别系统工作时的总体流程是：用户 U在获取漫画图像文件之后，将漫画图像依次输入系统，并且发出漫画版面分析的请求，进 行漫画图像的版面理解工作。系统的前景背景分割模块响应该请求，将漫画图像二值化为 前景和背景图像;接着系统的轮廓检测模块提取出二值图的轮廓，初步判断轮廓是否是分 镜;对于轮廓检测模块不能判断的轮廓，直线检测模块识别轮廓中的直线段，运些直线段主 要是组成分镜边框的直线段;然后，直线段识别结果被发送到分镜查找模块，将被识别的直 线段进行预处理，去除冗余的直线段进行拼接，得到由多边形代表的分镜，并且构造、求解 能量函数，根据解的结果判断多边形是否是分镜;所有形成的多边形都会送到多边形验证 模块，用户U可W查看并可对多边形检测的结果进行筛选，发送给阅读顺序检测模块;根据 分镜之间的相对几何位置进行排序，最后将漫画图像连同分镜的位置W及阅读顺序返回给 用户U。
[0066] 图3为本发明实施例提供的漫画图像版面识别方法的流程框图。本实施例的具体 步骤如下：
[0067] 1)前景背景分离过程是将输入图像转换为灰度图像，进行广度优先捜索得到背景 区域，将其他所有区域当作前景区域，并将漫画图像二值化为黑白二值图：
[0068] 用户U获取漫画图像文档之后，将其输入已安装好的实现本发明的客户端软件中。 首先自动检测漫画图像的背景。前景背景分离模块首先将输入图像转换为灰度图像，接着 从左上角的像素点开始进行广度优先捜索，如果准备捜索的像素点与当前像素点