专利名称：基于分割线的漫画帧识别与自动排序方法
技术领域：
本发明设计一种基于分割线的漫画帧识别与自动排序方法，属于图像数据处理领域。
背景技术：
像电子书一样，电子漫画不但具有方便经济、自动排好序的优点，而且具有动跃感，现在逐渐发展并流行起来，尤其在青少年消费市场中非常受欢迎。而在手机或PDA上阅读电子漫画随着上下键的翻动产生动漫画的效果，备受读者亲睐。但是漫画的阅读不同于电子书，因为手机与PDA屏幕大小的限制，以及为了在手机上阅读时使故事情节具有先后顺序，需要把每张漫画分割成更小的图片，而又不影响阅读。目前已经出现了很多电子漫画服务，但这些工作大部分都是通过人工来识别分割漫画页中的漫画巾贞。现阶段，国内外对电子漫画的研究还比较少。Masashi YAMADA等人提出了 一种按角度对漫画帧以及漫画帧中对话框内容进行排序的方法，主要着重于排序结果的正确性，没有提到如何有效的处理分割线不完整的漫画帧。Takamasa Tanaka、Kenji Shoji and Fubito Toyama提出了一种用树结构 来表示漫画巾贞,通过用梯度密度函数识别直线对漫画帧进行布局分析。这个方法可以解决分割线不完整，即有对话框截断分割线的情况， 但不能实时应用。还有些其它方面的漫画图片处理工作得到了研究，如Syeda-Mahmood等人提出了一种在漫画图片中文本识别的方法，使得漫画中对话框中的文字被单独放出来阅读，这对于电子漫画也是非常重要的，但能真正得到实际的应用还需进一步的研究工作。
发明内容
本发明要解决的技术问题是针对一般漫画分割线特点，通过判断漫画帧之间的分割线所具有的特点对漫画帧进行识别，并且根据漫画帧的排布特点提出了利用二叉树与漫画帧结合的排序方法，简单易懂、执行效率高。为解决上述技术问题，本发明提供了一种基于分割线的漫画帧识别与自动排序方法，其特征在于，作如下定义a、漫画帧每页漫画中不能再分割的最小图片单元；b、漫画段由至少两个相连的漫画帧组成的四边形；该方法包括以下步骤A、对给定的漫画页作预处理，包括a、对所述漫画页二值化，得到二值化图像；b、对所述二值化图像作轮廓检测，得到漫画页的前景图像；B、对前景图像作直线检测，获取前景图像中包含的直线；C、定义直线检测后获取的四边形结构体为coma，coma为漫画帧或漫画段，漫画分割从最大的coma开始,若coma满足下列条件之一,则判定coma不可分割并且coma对应的图片为漫画帧，执行步骤G，否则执行步骤D ;
a、coma内部没有直线；b、coma内部最大前景图像面积与coma面积比值小于阈值m,其中O < m < O. 25 ;c.coma内部最大前景图像区域像素数量与coma内部所有像素数量的比值小于阈值 n，其中 O < η < O. 2 ;d、coma内部最大前景图像区域与coma对应的长、宽比值小于阈值p，0. 08 < p
<0. 2 ；D、从直线检测获取的直线中选出分割线，所述分割线必须满足以下条件a、所述分割线只与coma中相对的两条边相交，与其他边没有交点；
b、所述分割线与coma的交点在coma的边缘线上；E、对所述分割线按其权重的降序一一筛选，选出与其他直线交点个数不超过3的分割线，定义为标准分割线；F、在所述标准分割线两侧各HW像素点的宽度范围内，选出与其它直线不相交、或最多只与两条直线有交点的直线，从这些直线中再选出一条与前景图像交点数最少的直线作为coma的最分割位置，定义为最佳分割线；如果选不出符合条件的最佳分割线，返回步骤E，按照所述分割线的权重选择下一条符合要求的最佳分割线；G、采用二叉树数据结构按照漫画的阅读顺序储存经过分处理的coma ；H、按照最佳分割线对漫画页作第一次分割后，用同样的方法对分割而产生的漫画段继续分割并储存新产生的coma，直到不存在可分割的coma为止，一页漫画的分割完成。采用无参数和非监督的图像分割阈值选择方法对所述漫画页二值化，通过选择一个阈值来把小于阈值的像素值设置为0，大于这个阈值的像素值设置为I。对轮廓检测后得到的漫画页前景图像，在直线检测之前作细化处理，将前景图像中线条宽度大于I个像素的线条细化成只有一个像素宽。判断coma内部是否有直线的方法是如果直线落入coma内部的像素量小于直线像素总量的一半，则认为这条直线不在coma内部，否则认为该直线在coma内部。米用Kernel-based Hough transform方法作直线检测，并确定分割线的权重。二叉树储存从右到左阅读顺序的漫画coma方法如下定义一颗二叉树,二叉树与漫画coma的关系为一个coma为二叉树的一个节点,根节点为一页漫画，中间节点为漫画段，叶子节点为漫画帧；若最佳分割线把coma分为左右两个部分，则将最佳分割线右面的coma作为左子树,最佳分割线左面的coma作为右子树； 若最佳分割线把coma分为上下两个部分，则把最佳分割线上面的coma作为左子树，最佳分割线下面的coma作为右子树；若某个coma无最佳分割线,则该coma对应的图像为漫画中贞， 没有子节点，不再对其分割；按照上述方法将每个coma均储存在二叉树中，得到的二叉树所有叶子即为所有的漫画巾贞，漫画帧的阅读顺序为从左到右对应叶子的排列顺序。二叉树储存从左到右阅读顺序的漫画coma方法如下定义一颗二叉树,二叉树与漫画coma的关系为一个coma为二叉树的一个节点,根节点为一页漫画，中间节点为漫画段，叶子节点为漫画帧；若最佳分割线把coma分为左右两个部分，则将最佳分割线左面的coma作为左子树,最佳分割线右面的coma作为右子树； 若最佳分割线把coma分为上下两个部分，则把最佳分割线上面的coma作为左子树，最佳分割线下面的coma作为右子树；若某个coma无最佳分割线,则该coma对应的图像为漫画帧，没有子节点，不再对其分割；按照上述方法将每个coma均储存在二叉树中，得到的二叉树所有叶子即为所有的漫画巾贞，漫画帧的阅读顺序为从左到右对应叶子的排列顺序。漫画预处理中，二值化、轮廓检测、图像细化然后是直线检测，使得直线检测速度更快；在分割过程中通过权重选取分割线并选择最佳分割线，提高了分割线选取的准确率； 利用二叉树数据结构来对构成一幅漫画的每一帧储存并排序，操作方便快捷，实用性强；整个方案快速、准确、高效。
图I为本发明的流程图；图2(a)为漫画分割示意图；图2(b)为二叉树储存漫画帧原理图；图3为最佳分割线选取示意图； 图4为试测试结果统计表。
具体实施例方式下面结合附图对本发明作进一步说明。如图I所示为本发明的流程图，包括以下步骤A、对给定的漫画页作预处理，包括a、对所述漫画页二值化，得到二值化图像；b、对所述二值化图像作轮廓检测，得到漫画页的前景图像；B、对前景图像作直线检测，获取前景图像中包含的直线；C、定义直线检测后获取的四边形结构体为coma, coma为漫画巾贞或漫画段,漫画分割从最大的coma开始,若coma满足下列条件之一,则判定coma不可分割并且coma对应的图片为漫画帧，执行步骤G，否则执行步骤D ;a、coma内部没有直线；b、coma内部最大前景图像面积与coma面积比值小于阈值m,其中O < m < 0. 25 ;c.coma内部最大前景图像区域像素数量与coma内部所有像素数量的比值小于阈值 n，其中 O < η < 0. 2 ;d、coma内部最大前景图像区域与coma对应的长、宽比值小于阈值p，0. 08 < p
<0. 2 ；D、从直线检测获取的直线中选出分割线，所述分割线必须满足以下条件a、所述分割线只与coma中相对的两条边相交,与其他边没有交点；b、所述分割线与coma的交点在coma的边缘线上；E、对所述分割线按其权重的降序一一筛选，选出与其他直线交点个数不超过3的分割线，定义为标准分割线；F、在所述标准分割线两侧各HW像素点的宽度范围内，选出与其它直线不相交、或最多只与两条直线有交点的直线，从这些直线中再选出一条与前景图像交点数最少的直线作为coma的最佳分割位置，定义为最佳分割线；如果选不出符合条件的最佳分割线，返回步骤E，按照所述分割线的权重选择下一条符合要求的最佳分割线；
G、采用二叉树数据结构按照漫画的阅读顺序储存经过分割处理的coma，此处的 coma既包括进行分割的coma,也包括分割后产生的coma,还包括不可分割的coma ；H、按照 最佳分割线对漫画页作第一次分割后，用同样的方法对分割而产生的漫画段继续分割并储存新产生的coma，直到不存在可分割的coma为止，一页漫画的分割完成。 其中，定义如下，漫画帧每页漫画中不能再分割的最小图片单元。漫画段由至少两个相连的漫画帧组成的四边形。利用二叉树存储漫画帧结构，与人在判断漫画排序具有相同的原理。一颗二叉树对应一页漫画。根节点用来存储一整页漫画，首先把漫画分为两部分，放在根节点的左右子树中。对每棵子树的部分继续分割，直到最后全部分割完成。最后的结果，即分割完成的漫画帧保存在二叉树的叶子节点中。如图2(a)所示，直线a、b、c、d为四条最佳分割线把漫画分为(I)、(2)、(3)、(4)、
(5)五个漫画帧，图2(b)所示的二叉树按如下方法储存上述五个漫画帧首先把整一幅漫画看成树根，表示为A，A由两部分组成，即最佳分割线a上面的部分以及下面的部分，分别用B、C表示。采用递归的方法，B被最佳分割线c分为左右的E、D两部分，C被最佳分割线 d分为上下的F、G两部分，F、G不可再分是树叶。最后最佳分割线c把E分成最后的上下 M、N两片树叶。我们可以用括号的形式来表示一颗二叉树，即(A(B(D，E(M，N))，C(F，G)))我们采用二叉树数据结构来按照漫画的排序存储漫画每一帧，可以对漫画直接排序。此处我们用日本漫画排布(阅读顺序为从右到左，从上到下)规则举例，我们用二叉树按照如下规则存放每一帧(a)、如果最佳分割线为上下线需把最佳分割线上面的部分作为左子树，例如图 2(b)中的B、F、M部分都在左子树部分；把最佳分割线下面的部分作为右子树，例如图2(b) 中的C、G、N部分都在右子树部分。(b)、如果最佳分割线为左右线的话需把最佳分割线右面的部分作为左子树，例如图2(b)中的D部分；把最佳分割线下面的部分作为右子树，例如图2(b)中的E部分。按照上述规则存放的二叉树的所有叶子为最终的分割结果，并且已经从左到右排好顺序。图2(b)中二叉树的所有叶子结点为最终的分割结果，阅读顺序为D、M、N、F、G，按照帧的排序正好为⑴⑵⑶⑷(5)。如果漫画的阅读习惯为从右到左(改为从左到右)， 如国产漫画，利用同样的方法分割排序即可，只需对左右最佳分割线两边的漫画帧储存位置调换即可。如图3所示，直线χ为我们找到的标准分割线，但是为了避免把漫画的内容损坏， 我们在其右边的空白的地方直线I处将其分割开来，y为最佳分割线。最佳分割线位置的选择在当前直线左右(或上下)HW的范围内，与当前标准分割线平行的直线组中，把与其他直线交点数量超过2个的直线过滤掉，这样剩下的直线都是与其他直线不相交、或只与一条或两条直线有交点的线。在这些直线中，再选一条与前景像素相交点数最少的直线作为最佳分割线。对备选分割线分别规定三种情况下的分割比的阈值，其中分割比指的是分割线的实际长度与分割线的理论长度之比。如图3中直线m、n由于中间没被截断，其实际长度与理论长度一致，分割比为I。若出现分割线中间被截断的情况， 则分割比小于I。定义备选分割线的分割比，与其他直线没有交点的分割线分割比定义为 RATIO,与其他直线只有一个交点的分割线分割比定义为RATI01，与其他直线有两个交点的分割线分割比定义为RATI02。如果备选的分割线与其他直线没有交点，那么我们选一条与前景相交最少的、分割比超过RATIO的分割线作为最佳分割线。如果备选的分割线与其他直线只有一个交点，那么我们选一条与前景相交最少的、分割比超过RATIOl的分割线作为最佳分割线。如果备选分割线与其他直线有两个交点，那么我们选一条与前景相交最少的、 分割比超过RATI02的分割线作为最佳分割线。其中RATIO的范围为O. 45-0. 55, RATIOl范围为O. 7-0. 8,RATI02范围为O. 5-0. 6。最佳分割线的具体位置确定后，我们可以按照这个位置分割。如果没有一个符合以上要求的分割位置，那么返回继续选择标准分割线。选中的分割线以及被排除掉的分割线标记为已使用，更新可使用的分割线列表。漫画图片预处理具体方法如下二值化本发明用到的所有图片都是二值化后的图片，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图 像。在本发明中用到的所有图像都是二值化后的漫画图片。本发明运用了按照一定规则从灰度直方图提取最佳阈值的方法对图像进行二值化，方法如下本发明对图像的二值化用了 NOBUYUKI OTSU提出的一个无参数和非监督的图像分割阈值选择方法[9]。通过选择一个阈值来把小于阈值的像素值设置为0，大于这个阈值的像素值设置为1，这样就是一幅图片的二值化。我们运用的方法可以最大化灰度级分类结果的分离性，通过这个评判标准可以获得一个最佳的阈值。 过程非常简单，仅仅利用灰度直方图的O阶与I阶累积矩，由于二值化采用的是现有技术， 具体方法不再赘述。轮廓检测图像预处理中，往往需要对目标边缘作跟踪处理，也叫轮廓跟踪。顾名思义，轮廓跟踪就是通过顺序找出边缘点来跟踪边界的。在分割线的选取中，需要判断分割线与前景图像的交点数量，本发明对二值化后的漫画图像做轮廓检测，检测漫画中的前景图像，在判断前景图像与分割线交点的时候，为分割线的选取起到了重要作用。更重要的是轮廓检测后从轮廓中进行直线检测，从而省去了所有点进行检测的步骤，只需对轮廓上的像素进行计算，为直线检测减少了大量的计算。由于采用的为现有技术，不再细述。图像细化图像细化一般作为一种图像预处理技术出现，目的是提取源图像的骨架，即是将原图像中线条宽度大于I个像素的线条细化成只有一个像素宽，形成“骨架”，形成骨架后能比较容易的分析图像，如提取图像的特征。细化基本思想是“层层剥夺”，即从线条边缘开始一层一层向里剥夺，直到线条剩下一个像素的为止。图像细化大大地压缩了原始图像地数据量，并保持其形状的基本拓扑结构不变，从而为图像的特征抽取等应用奠定了基础。本发明在轮廓提取后对图像进行细化使得我们计算前景与分割线交点的数量大大减小，同时因为所有分割线与前景图像的交点是成比例的减少，并不会影响到我们对分割线判断的情况。直线检测采用如下技术，因为是现有技术，这里只作简要介绍漫画中的分割线是决定漫画分割情况关键所在。漫画的分割需要首先检测出直线，然后通过直线的特点来判断是否为分割线，以及具体怎样分割。如果检测出来的直线过少，就会使漫画被“漏分”， 检测出来的直线过于多或是不准确，会使分割过程做大量的判断工作，容易导致“错分”。所以找出一种适合的直线检测方法来正确的检测出分割线会使得分割过程大大简化并且准确。Hough变换是图像处理中从图像中识别几何形状的基本方法之一，即它可以检测已知形状的目标，而且受噪声和曲线间断的影响小。Hough直线检测技术因为它针对噪声和错误数据的健壮性被广泛使用，但是计算成本较高，所以对较大的图片不能实时的执行。本发明采用了一种改进后的Hough直线检测方法。由 Leandro A. F. Fernandes和Manuel M. Oliveira 提出的Kernel-based Hough transform(KHT)方法来检测直线。本方法由于先把大约共线的像素组成簇集，然后在选取其中最吻合的直线，比Hough直线检测法开销要小的多，但正确率却更高。本发明的直线检测是在图像二值化后，对图像进行轮廓检测，然后对轮廓做了细化处理的基础上进行的，所以本发明中的直线检测速度将更快。对于有些不规则的图片，本发明设计了人工辅助的方法来使得图片分割更精确。 采用优先检测人工直线的方法对手动添加的直线进行判断。测试结果其中实验结果见图4，成功了 184张，失败了 16张，过分2张，少分13 张，错分I张，达到了 92%的成功率。计算机用时926秒，即每张需要时间4. 633秒。效率为O. 215张/秒。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1.一种基于分割线的漫画帧识别与自动排序方法，其特征在于，该方法包括以下步骤 A、对给定的漫画页作预处理,包括 a、对所述漫画页二值化，得到二值化图像； b、对所述二值化图像作轮廓检测，得到漫画页的前景图像； B、对前景图像作直线检测，获取前景图像中包含的直线； C、定义直线检测后获取的四边形结构体为coma，coma为漫画帧或漫画段，其中漫画帧指每页漫画中最小图片单元，漫画段指由至少两个相连的漫画帧组成的四边形；漫画分割从最大的coma开始,若coma满足下列条件之一，贝U判定coma不可分割并且coma对应的图片为漫画帧，执行步骤G，否则执行步骤D，其中漫画帧指每页漫画中最小图片单元； a、coma内部没有直线； b> coma内部最大前景图像面积与coma面积比值小于阈值m; C、coma内部最大前景图像区域像素数量与coma内部所有像素数量的比值小于阈值n ； d> coma内部最大前景图像区域与coma对应的长、宽比值小于阈值p ; D、从直线检测获取的直线中选出分割线，所述分割线必须满足以下条件 a、所述分割线只与coma中相对的两条边相交，与其他边没有交点； b、所述分割线与coma的交点在coma的边缘线上； E、对所述分割线按其权重的降序一一筛选，选出与其他直线交点个数小于等于3的分割线，定义为标准分割线； F、在所述标准分割线两侧各HW像素点的宽度范围内，选出与其它直线不相交、或最多只与两条直线有交点的直线，从这些直线中再选出一条与前景图像交点数最少的直线作为coma的最佳分割位置，定义为最佳分割线；如果选不出符合条件的最佳分割线，返回步骤E，按照所述分割线的权重选择下一条符合要求的最佳分割线； G、采用二叉树数据结构按照漫画的阅读顺序储存coma，此处的coma既包括进行分割的coma,也包括分割后产生的coma,还包括不可分割的coma ； H、按照最佳分割线对漫画页作第一次分割后，用同样的方法对分割而产生的漫画段继续分割并储存新产生的coma,直到不存在可分割的coma为止,一页漫画的分割完成。
2.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于采用无参数和非监督的图像分割阈值选择方法对所述漫画页二值化，通过选择一个阈值来把小于阈值的像素值设置为0，大于这个阈值的像素值设置为I。
3.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于对轮廓检测后得到的漫画页前景图像，在直线检测之前作细化处理，将前景图像中线条宽度大于I个像素的线条细化成只有一个像素宽。
4.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于所述阈值m的范围为0 <m<0. 25。
5.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于所述阈值n的范围为其中0 < n < 0. 2。
6.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于所述阈值P的范围为0. 08 < P < 0. 2。
7.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于判断coma内部是否有直线的方法是如果直线落入coma内部的像素量小于直线像素总量的一半，贝1J认为这条直线不在coma内部,否则认为该直线在coma内部。
8.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于采用Kernel-based Hough transform方法作直线检测、并确定分割线的权重。
9.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于采用二叉树数据结构存储从右到左阅读顺序coma的方法为 定义一颗二叉树，二叉树与漫画coma的关系为一个coma为二叉树的一个节点，根节点为一页漫画，中间节点为漫画段，叶子节点为漫画帧；若最佳分割线把coma分为左右两个部分，则将最佳分割线右面的coma作为左子树,最佳分割线左面的coma作为右子树；若最佳分割线把coma分为上下两个部分，则把最佳分割线上面的coma作为左子树，最佳分割线下面的coma作为右子树；若某个coma无最佳分割线,则该coma对应的图像为漫画巾贞,没有子节点，不再对其分割；按照上述方法将每个coma均储存在二叉树中，得到的二叉树所有叶子即为所有的漫画帧，漫画帧的阅读顺序为从左到右对应叶子的排列顺序。
10.根据权利要求I所述的基于分割线的漫画帧识别与自动排序方法，其特征在于采用二叉树数据结构储存从左到右阅读顺序的漫画coma方法为 定义一颗二叉树，二叉树与漫画coma的关系为一个coma为二叉树的一个节点，根节点为一页漫画，中间节点为漫画段，叶子节点为漫画帧；若最佳分割线把coma分为左右两个部分，则将最佳分割线左面的coma作为左子树,最佳分割线右面的coma作为右子树；若最佳分割线把coma分为上下两个部分，则把最佳分割线上面的coma作为左子树，最佳分割线下面的coma作为右子树；若某个coma无最佳分割线,则该coma对应的图像为漫画巾贞,没有子节点，不再对其分割；按照上述方法将每个coma均储存在二叉树中，得到的二叉树所有叶子即为所有的漫画帧，漫画帧的阅读顺序为从左到右对应叶子的排列顺序。
全文摘要
本发明根据漫画构成文法提出了一种对漫画方格进行自动识别、抽取与排序的方案，从而减少大量的手动分割工作。同时分割后的漫画方格可以放在屏幕较小的手机或PDA上阅读，使漫画阅读方便、简单、生动。本发明通过检测漫画图片中的直线，针对漫画帧、漫画分割线以及漫画帧排布的特点提出了一种迭代分割法对漫画帧进行识别并排序，然后利用二叉树结构储存分割的漫画帧。经过实验证明该方法能把大多数漫画的漫画帧，即漫画方格识别分割出来，并按故事情节的先后顺序排列。
文档编号G06F17/30GK102708371SQ20121012016
公开日2012年10月3日 申请日期2012年4月23日 优先权日2012年4月23日
发明者伍星, 何中市, 李佳, 焦丽敏, 田玉芳 申请人:重庆大学