专利名称：一种从图像中抽取信息的方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种从图像中抽取信息的方法及装置。
背景技术：
随着移动终端，例如手机的普遍使用，越来越多的用户利用移动终端进行阅读。一般移动终端的显示屏幕都比较小，这样，将计算机中存储的漫画移植到手机上时，需要对漫画进行整体缩小处理，但整体缩小会使得漫画中的对白框中的对白文字失真甚至无法辨认，因此，就需要先抽取对白框以及其中的对白文字，然后进行特殊处理，使得缩小后图像中的对白文字清晰可读。此外，在出版漫画外文图书时，也会遇到需要替换原有的对白文字的问题。因此，对于漫画图像而言，对白框和对白文字的抽取是十分必要的。现有技术中，一般借助图形处理工具Photoshop人工将对白文字以及对白框从漫画图像中抽取出来，并对抽取出来的对白框进行手动的填补和修复。可见，这种方法效率很低，并且，由于人为因素，抽取出的对白框以及对白文字的完整性以及准确度都不够高。
发明内容
本发明实施例提供一种从图像中抽取信息的方法及装置，用以提高对白框及对白文字的抽取效率。本发明实施例提供一种从图像中抽取信息的方法，包括对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域；根据所述对白框候选区域的特征信息，从所述对白框候选区域中确定对白框区域；将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界；将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到对白框。本发明实施例提供一种从图像中抽取信息的装置，包括候选区域确定单元，用于对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域；对白框区域确定单元，用于根据所述对白框候选区域的特征信息，从所述对白框候选区域中确定对白框区域；边框边界确定单元，用于将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界；对白框抽取单元，用于将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到对白框。本发明实施例中，对图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域，根据每个对白框候选区域的特征信息，从对白框候选区域中确定对白框区域，将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界，将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到。这样，实现了在图像中自动检测对白框，提高了抽取效率。
图1为本发明实施例中从图像中抽取信息的流程图；图2为本发明实施例中边框比例与膨胀次数的变化趋势图；图3为本发明另一实施例中从图像中抽取信息的流程图；图4为本发明实施例一中的图像示意图；图5为本发明实施例一中从图像中抽取信息的流程图；图6为本发明实施例一中从图像中抽取出的对比文字；图7为本发明实施例一中填充颜色后的对白框；图8为本发明实施例中从图像中抽取信息的装置结构图；图9为本发明另一实施例中从图像中抽取信息的装置结构图。
具体实施例方式本发明实施例提供一种从图像中抽取信息的方法，这里，信息包括对白框，或者对白文字。参见图1，本发明实施例中从图像中抽取信息的过程包括步骤101 对图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域。本发明实施例中，图像可能是灰度像，也可能是彩色图像。并且图像中的对白框的背景底色有可能是亮色，也可能是暗色。例如彩色图像中，对白框的背景底色可能会是白色、黄色、蓝色等这些亮色中一种或多种的组合，当然，对白框的背景底色可能会是黑色，紫色，红色等这些暗色中一种或多种的组合。而灰度像中，对白框的背景底色可能会是白色，或者会是黑色。从而，确定对白框候选区域包括首先，从图像中选择一个区域为待选区域，然后对待选区域的图像进行二值化处理，获取该待选区域中每个像素点对应的值，并根据每个像素点对应的值，进行背景底色连通域检测，获得一个或多个二值化后的背景底色连通区域，最后，从获得的二值化后的背景底色连通区域选择设定个数的面积较大的二值化后的背景底色连通区为对白框候选区域。 本实施例中，可以而采用高斯差分(Difference of Gaussian，DoG)滤波算子进行二值化处理。另外，当图像是彩色图像时，在对待选区域的图像进行二值化处理之前，还需对待选区域的图像进行灰度处理，然后对灰度处理后的图像进行二值化处理。这样，不论是彩色图像，还是灰度像，经过二值化处理后，图像中的对白框的背景底色为白色或黑色，即本发明实施例中，当图像的背景底色为亮色时，经过二值化处理后，其对应的二值化后的背景底色为白色，当图像的背景底色为暗色时，经过二值化处理后，其对应的二值化后的背景底色为黑色。并且，对白框的背景底色、对白文字的颜色、以及
7对白框的边框的颜色都一致均一。本发明实施例中，确定对白框候选区域还可以包括从图像中选择一个区域为待选区域，并对待选区域的图像进行二值化处理后，对该待选区域中的非背景底色区域进行形态学闭操作，然后进行背景底色连通域检测，获得一个或多个二值化后的背景底色连通区域，最后，从获得的二值化后的背景底色连通区域选择设定个数的面积较大的二值化后的背景底色连通区为对白框候选区域。这里，形态学闭操作可以使用5X5的方形算子进行了 1次常规闭操作，即先膨胀再腐蚀，这样，可以将连接对白框边框细小的断裂，从而，为连通域检测做准备。即本发明实施例中，从图像中选择一个区域为待选区域，并对待选区域的图像进行二值化处理后，还包括当背景底色为亮色时，其对应的二值化后的背景底色为白色，则对所述待选区域中的黑色区域进行形态学闭操作，当背景底色为暗色时，其对应的二值化后的背景底色为黑色，则对所述待选区域中的白色区域进行形态学闭操作。其中，从图像中选择一个区域为待选区域可以是人工从图像中选择一个区域作为待选区域，或者，直接根据经验，将图像中某一部分作为待选区域，例如，图像的右上部分。 这样，待选区域可能是整幅图像，也可能该图像中的一个部分。对待选区域进行通域检测后，当获得多个二值化后的背景底色连通区域时，则可以从中选择设定个数的面积较大的二值化后的背景底色连通区域作为对白框候选区域。当只获得一个二值化后的背景底色连通区域时，则直接将该二值化后的背景底色连通区域作为对白框候选区域。从获得的二值化后的背景底色连通区域选择设定个数二值化后的背景底色连通区为对白框候选区域包括将每个二值化后的背景底色连通区域的面积进行比较，将面积较大的设定个数的二值化后的背景底色连通区域确定为对白框候选区域。例如，获得的二值化后的背景底色连通区域有20个，将面积较大的前10个二值化后的背景底色连通区域作为对白框候选区域。当然，本发明实施例中，还可以从获得的二值化后的背景底色连通区域中任意选择设定个数的二值化后的背景底色连通区域为对白框候选区域。步骤102 根据每个对白框候选区域的特征信息，确定每个对白框候选区域对应的特征参数。每个对白框候选区域，也即是每个二值化后的背景底色连通区域都有自己的特征信息，特征信息包括面积，中心、凸凹度、以及对称度。其中，这样，可以根据每个对白框候选区域的特征信息，以及待选区域的特征信息，采用公式[1]，确定每个对白框候选区域对应的特征参数。该特征参数用于表示对白框候选区域的面积、中心位置，以及形状等方面的特征。
权利要求
1.一种从图像中抽取信息的方法，其特征在于，包括对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域；根据每个对白框候选区域的特征信息，从所述对白框候选区域中确定对白框区域；将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界；将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到对白框。
2.如权利要求1所述的方法，其特征在于，所述对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域包括对所述待选区域的图像进行二值化处理，获取所述待选区域中每个像素点对应的值；根据每个像素点对应的值，进行连通域检测，获得至少一个二值化后的背景底色连通区域；比较每个二值化后的背景底色连通区域的面积，将面积较大的设定个数的二值化后的背景底色连通区域确定为对白框候选区域。
3.如权利要求2所述的方法，其特征在于，对所述待选区域的图像进行二值化处理之前,还包括对所述待选区域的图像进行灰度处理。
4.如权利要求2或3所述的方法，其特征在于，所述获取所述待选区域中每个像素点对应的值之后，进行连通域检测之前还包括当背景底色为亮色时，对所述待选区域中的黑色区域进行形态学闭操作，当背景底色为暗色时，对所述待选区域中的白色区域进行形态学闭操作。
5.如权利要求1所述的方法，其特征在于，所述根据每个对白框候选区域的特征信息， 从所述对白框候选区域中确定对白框区域包括根据每个对白框候选区域的特征信息，确定每个对白框候选区域的特征参数；当对白框候选区域对应的特征参数满足设定的条件时，确定该对白框候选区域为对白框区域。
6.如权利要求5所述的方法，其特征在于，所述确定每个对白框候选区域的特征参数包括根据公式T =-VlQ-IK^ + △广(Λ + Δ)，确定每个对白框候选区域对应的特征参数，其 a 1中，T为对白框候选区域对应的特征参数，α为对白框候选区域的面积与所述待选区域的面积比；d为对白框候选区域的中心与所述待选区域的中心的距离；Ω为对白框候选区域的凸凹度；λ为对白框候选区域的对称度；ηι，n2,以及Δ为调节因子；贝U，所述当对白框候选区域对应的特征参数满足设定的条件时，确定该对白框候选区域为对白框区域包括将最小特征参数对应的对白框候选区域确定为对白框区域。
7.如权利要求4所述的方法，其特征在于，从所述对白框候选区域中确定对白框区域之后，将所述对白框区域的边界进行逐步膨胀之前，还包括根据未进行形态学闭操作之前所述待选区域中每个像素点对应的值，进行背景底色连通域检测，获取与所述对白框区域对应的初始背景底色连通区域；将所述初始背景底色连通区域与所述对白框区域进行差值运算，得到至少一个连通域；根据所述对白框区域的面积确定第一阈值，将每个连通域的面积与所述第一阈值，以及预设的第二阈值进行比较，当连通域的面积小于等于第一阈值，且大于等于第二阈值时， 确定该连通域为丢失的对白框的尖角区域，将所述尖角区域补充到所述对白框区域得到修正后的对白框区域。
8.如权利要求1或7所述的方法，其特征在于，确定所述对白框区域的边框边界包括 将所述对白框区域的边界膨胀设定次数；根据膨胀所述设定次数后所有新增像素点的灰度值，确定所述对白框区域对应的灰度阈值；根据每次将对白框区域的边界膨胀后的边框比例，确定该对白框区域的边框边界，其中，当背景底色为亮色时，所述边框比例为膨胀后新增像素点中灰度值小于所述对白框区域对应的灰度阈值的像素点的比例，当背景底色为暗色时，所述边框比例为膨胀后新增像素点中灰度值大于所述对白框区域对应的灰度阈值的像素点的比例。
9.如权利要求8所述的方法，其特征在于，所述确定所述对白框区域对应的灰度阈值包括根据膨胀所述设定次数后所有新增像素点的灰度值，统计预估区域的灰度直方图，将获得OTSU阈值作为所述灰度阈值，其中，所述预估区域由所有新增像素点组成。
10.如权利要求8所述的方法，其特征在于，所述确定该对白框区域的边框边界包括 Ni根据公式A ，获取每次将对白框区域的边界膨胀后的边框比例，其中，P i为边框比例，Ni表示第i次膨胀时新增的像素点个数，当背景底色为亮色时，Nb1表示Ni个像素点中灰度值小于所述对白框区域对应的灰度阈值的像素点个数，当背景底色为暗色时，Nb1表示这些Ni个像素点中灰度值大于所述对白框区域对应的灰度阈值的像素点个数；判断本次膨胀后的边框比例是否小于设定的阈值，若是，确定本次膨胀后的新增像素点为该对白框区域的边框边界，否则，确定本次膨胀是否为所述设定次数中的最后一次膨胀，若是，确定本次膨胀后的新增像素点为该对白框区域的边框边界。
11.如权利要求1所述的方法，其特征在于，将所述边框边界以及该边框边界包含的区域确定为对白框完整区域之后，还包括使用OTSU阈值对所述对白框完整区域进行灰度分割，确定所述对白框完整区域中文字的灰度值范围；确定所述对白框完整区域中满足对应灰度值范围的像素点的位置，则将所述图像中相应位置的像素点作为对白文字进行抽取。
12.如权利要求11所述的方法，其特征在于，将图像中相应位置的像素点作为对白文字进行抽取后，还包括将所述图像中与所述对白文字对应的区域进行颜色填充，所述颜色为所述图像中与所述对白框完整区域对应的区域中其他区域的平均颜色值。
13.—种从图像中抽取信息的装置，其特征在于，包括候选区域确定单元，用于对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域；对白框区域确定单元，用于根据每个对白框候选区域的特征信息，从所述对白框候选区域中确定对白框区域；边框边界确定单元，用于将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界；对白框抽取单元，用于将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到对白框。
14.如权利要求13所述的装置，其特征在于，所述候选区域确定单元包括获取子单元，用于对所述待选区域的图像进行二值化处理，获取所述待选区域中每个像素点对应的值；检测子单元，用于根据每个像素点对应的值，进行连通域检测，获得至少一个二值化后的背景底色连通区域；确定子单元，用于比较每个二值化后的背景底色连通区域的面积，将面积较大的设定个数的二值化后的背景底色连通区域确定为对白框候选区域。
15.如权利要求14所述的装置，其特征在于，所述候选区域确定单元还包括 灰度处理子单元，用于对所述待选区域的图像进行灰度处理。
16.如权利要求14或15所述的装置，其特征在于，所述候选区域确定单元还包括形态学闭操作子单元，用于当背景底色为亮色时，对所述待选区域中的黑色区域进行形态学闭操作，当背景底色为暗色时，对所述待选区域中的白色区域进行形态学闭操作。
17.如权利要求13所述的装置，其特征在于，所述对白框区域确定单元包括特征参数确定子单元，用于根据每个对白框候选区域的特征信息，确定每个对白框候选区域的特征参数；确定子单元，用于当对白框候选区域对应的特征参数满足设定的条件时，确定该对白框候选区域为对白框区域。
18.如权利要求17所述的装置，其特征在于，所述特征参数确定子单元，还用于根据公式T =」「I Ω -11 ( / + Δ广(Λ + Δ)，确定每个对a 1白框候选区域对应的特征参数，其中，T为对白框候选区域对应的特征参数，α为对白框候选区域的面积与所述待选区域的面积比；d为对白框候选区域的中心与所述待选区域的中心的距离；Ω为对白框候选区域的凸凹度；λ为对白框候选区域的对称度；ηι，n2,以及Δ 为调节因子；所述确定子单元，还用于将最小特征参数对应的对白框候选区域确定为对白框区域。
19.如权利要求16所述的装置，其特征在于，所述对白框区域确定单元还包括 获取子单元，用于根据未进行形态学闭操作之前所述待选区域中每个像素点对应的值，进行背景底色连通域检测，获取与所述对白框区域对应的初始背景底色连通区域；差值子单元，用于将所述初始背景底色连通区域与所述对白框区域进行差值运算，得到至少一个连通域；补充子单元，用于根据所述对白框区域的面积确定第一阈值，将每个连通域的面积与所述第一阈值，以及预设的第二阈值进行比较，当连通域的面积小于等于第一阈值，且大于等于第二阈值时，确定该连通域为丢失的对白框的尖角区域，将所述尖角区域补充到所述对白框区域得到修正后的对白框区域。
20.如权利要求13或19所述的装置，其特征在于，所述边框边界确定单元包括灰度阈值子单元，用于将所述对白框区域的边界膨胀设定次数，根据膨胀所述设定次数后所有新增像素点的灰度值，确定所述对白框区域对应的灰度阈值；确定子单元，用于根据每次将对白框区域的边界膨胀后的边框比例，确定该对白框区域的边框边界，其中，当背景底色为亮色时，所述边框比例为膨胀后新增像素点中灰度值小于所述对白框区域对应的灰度阈值的像素点的比例，当背景底色为暗色时，所述边框比例为膨胀后新增像素点中灰度值大于所述对白框区域对应的灰度阈值的像素点的比例。
21.如权利要求20所述的装置，其特征在于，所述灰度阈值子单元，还用于根据膨胀所述设定次数后所有新增像素点的灰度值，统计预估区域的灰度直方图，将获得OTSU阈值作为所述灰度阈值，其中，所述预估区域由所有新增像素点组成。
22.如权利要求20所述的装置，其特征在于，所述确定子单元，还用于根据公式A ，获取每次将对白框区域的边界膨胀后的边框比例，其中，P i为边框比例，Ni表示第i次膨胀时新增的像素点个数，当背景底色为亮色时，Nb1表示Ni个像素点中灰度值小于所述对白框区域对应的灰度阈值的像素点个数，当背景底色为暗色时，Nb1表示这些Ni个像素点中灰度值大于所述对白框区域对应的灰度阈值的像素点个数，并判断本次膨胀后的边框比例是否小于设定的阈值，若是，确定本次膨胀后的新增像素点为该对白框区域的边框边界，否则，确定本次膨胀是否为所述设定次数中的最后一次膨胀，若是，确定本次膨胀后的新增像素点为该对白框区域的边框边界。
23.如权利要求13所述的装置，其特征在于，所述装置还包括灰度值范围确定单元，用于使用OTSU阈值对所述对白框完整区域进行灰度分割，确定所述对白框完整区域中文字的灰度值范围；对白文字抽取单元，用于确定所述对白框完整区域中满足对应灰度值范围的像素点的位置，则将所述图像中相应位置的像素点作为对白文字进行抽取。
24.如权利要求23所述的装置，其特征在于，还包括填充单元，用于将所述图像中与所述对白文字对应的区域进行颜色填充，所述颜色为所述图像中与所述对白框完整区域对应的区域中其他区域的平均颜色值。
全文摘要
本发明公开了一种从图像中抽取信息的方法及装置，用以提高对白框及对白文字的抽取效率。该方法包括对所述图像中的待选区域进行背景底色连通域检测，确定至少一个背景底色连通区域为对白框候选区域；根据每个对白框候选区域的特征信息，从所述对白框候选区域中确定对白框区域；将所述对白框区域的边界进行逐步膨胀，确定所述对白框区域的边框边界；将所述边框边界以及该边框边界包含的区域确定为对白框完整区域，在所述图像中与所述对白框完整区域对应的区域进行抽取得到对白框。
文档编号G06K9/46GK102194118SQ20101011706
公开日2011年9月21日 申请日期2010年3月2日 优先权日2010年3月2日
发明者蒋小森, 薛涛, 袁梦尤 申请人:方正国际软件(北京)有限公司