图像处理装置和图像处理方法
【专利摘要】本发明涉及图像处理装置和图像处理方法，该图像处理装置具备输入图像的输入单元、从被输入的图像中检测出彩色标记部分的检测单元、确定由被彩色标记部分规定的边以及交点构成的图像上的闭合区域的确定单元、和提取出所确定的闭合区域内的图像的提取单元，上述确定单元具有：找出由彩色标记部分规定的边及其交点的单元；将从交点延伸出的边的条数作为次数，按每个交点进行记录的单元；找出次数为2以上的交点通过边的连结成为闭合区域的单元；减去找出的闭合区域中包含的交点的次数的单元；和将次数为1以下的交点从处理对象中除去的单元。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置和图像处理方法。
【背景技术】
[0002]在用户所持的原稿上，用户对有兴趣的文章进行用标记笔圈起来进行标记，如果使用扫描仪将其输入到装置中，则装置对输入图像中包含的彩色标记部分的位置、坐标进行识别，如果能够仅提取出由彩色标记围起的图像区域作为局部图像，则能够仅提取出对用户有用的信息，这样的装置是有用的。在专利文献I?3中公开了这样的装置。
[0003]专利文献I (US6351559B1)公开了以下技术:
[0004]“用户从扫描得到的原稿图像中提取包围的区域。利用检测分析过滤器除去与用户标注的标记相似的小文字、图表。”
[0005]专利文献2 (日本特开平5-328101)公开了以下技术:
[0006]“对原稿提取出利用标记指定的包围区域的图像，对提取出的图像实施指定的图像处理。”
[0007]专利文献3 (日本特开2000-115522)公开了以下技术:
[0008]“在由于包围线的不清晰而无法识别包围区域的情况下，进行线的加粗处理、插补处理。”
[0009]但是，若发生了彩色标记部分的位置、坐标未被准确识别那样的情况，则破坏了使用的方便性。尤其在利用彩色标记区域中包含了多个包围框的情况下，存在该多个包围框的一部分有重叠那样的情况(参照图4)，容易发生误识别这样的课题。
【发明内容】
[0010]本发明的目的在于，提供一种抑制在对包围框区域进行图像识别时的误识别，实现便于使用的装置。并且，即使标记线缺少一部分也能够正确地识别。
[0011]为了实现上述目的，本发明涉及的图像处理装置具备输入图像的输入单元、从被输入的图像中检测出彩色标记部分的检测单元、确定由被彩色标记部分规定的边以及交点构成的图像上的闭合区域的确定单元、和提取出所确定的闭合区域内的图像的提取单元，该图像处理装置的特征在于，上述确定单元具有:检索由彩色标记部分规定的边以及交点的单元；将从交点延伸出的边的条数作为次数，按每个交点进行记录的单元；找出次数为2以上的交点通过边而连结的闭合区域的单元；减去找出的闭合区域中包含的交点的次数的单元；和将次数为I以下的交点从处理对象中除去的单元。
[0012]而且，在上述的图像处理装置中，上述确定单元具有:提取出彩色标记部分的水平线以及垂直线的单元；将不满足尺寸阈值的线除去的单元；和将接近的多条线连结的单
J Li ο
[0013]另外，为了实现上述目的，本发明涉及的图像处理方法具备输入图像的输入步骤、从被输入的图像中检测出彩色标记部分的检测步骤、确定由被彩色标记部分规定的边以及交点构成的图像上的闭合区域的确定步骤、和提取出所确定的区域内的图像的提取步骤，其中，上述确定步骤具有:检测由彩色标记部分规定的边以及交点的步骤；将从交点延伸出的边的条数作为次数，按每个交点进行记录的步骤；找出次数为2以上的交点通过边的连接成为闭合区域的步骤；将找出的闭合区域中包含的交点的次数减去的步骤；和将次数为I以下的交点从处理对象中除去的步骤。
【专利附图】
【附图说明】
[0014]图1表示整体的系统构成。
[0015]图2表示图像处理装置中的处理的概要。
[0016]图3表示二值化步骤的详细内容。
[0017]图4表示输入图像的例子。
[0018]图5表示将图4的输入图像的全部像素二值化后的图像。
[0019]图6表示线检测步骤的详细内容。
[0020]图7A表示水平以及垂直扫描宽度的提取。
[0021]图7B是表示连结分量的生成的图。
[0022]图7C是表示根据连结分量生成线段的图。
[0023]图7D是表示边列表的图。
[0024]图7E是表示交点列表的图。
[0025]图8是表示根据图4所示的图像生成的图表的例子的图。
[0026]图9是表示候补区域提取步骤的处理的过程的图。
[0027]图10是表示作为由al?a4围起的包围区域的图。
[0028]图11是表示作为由a2、a3、a5、a6、a7围起的包围区域的图。
[0029]图12是表示文字区域和照片区域的区域分离的图。
【具体实施方式】
[0030]图1表示整体系统构成。
[0031]本装置的系统包括:读取原稿，向信息处理装置输出图像数据的原稿读取装置(相当于图像输入单元)；和提取出输入图像的以彩色标记部分圈起来的区域的图像的图像处理装置。根据利用者的请求，对由图像处理单元提取出的图像利用其他的图像编辑软件在图像处理单元内进行编辑、利用打印装置进行打印、向信息处理装置发送、保存到信息记录装置中。
[0032]另外，作为图像输入装置的例子，在图像经由通信线路被发送给图像处理装置的情况下，通信接口相当于图像输入装置，在盘等记录介质中保存的图像被输入的情况下，CD驱动器等记录介质读取装置相当于图像输入装置。
[0033]图2表示图像处理装置中的处理的概要。
[0034]按照按①二值化步骤、②线检测步骤、③图表构建步骤、④候补区域提取步骤、⑤区域分离步骤的顺序对输入的图像进行处理。
[0035]图3表示二值化步骤的详细内容。
[0036]针对输入图像中包含的像素(pixel) P，在差量计算步骤中计算出R值、G值、B值的差量(R=G间的差量，G=B间的差量，R=B间的差量)，在差量评价步骤中进行评价，当任意差量超过阈值时，像素被检测为彩色标记点，设定“I”作为与像素P对应的二值化处理后的值。当任意差量都为阈值以下时，判定为像素为灰色而不是彩色标记点，该情况下，设定“O”作为与像素P对应的二值化处理后的值P，。
[0037]图4表示输入图像的例子。图像内的虚线是用标记笔(mark pen)写入的、基于彩色标记的包围线。
[0038]图5表示将图4的输入图像的全部像素二值化后的图像。P '被设定为I的部分以白色表现，P ,被设定为O的部分以黑色表现。
[0039]作为上述以外的方法，还可以根据用户的设定，检测出特定的颜色作为彩色标记。该情况下，例如在R值、G值、B值分别表示了如处于对被指定的特定颜色进行表示的规定范围内那样的值时，判定为彩色标记。
[0040]其中，由于上述处理需要处理时间，所以在开始全部的处理之前，可以先将对输入图像暂时转换为低分辨率的图像后，再进行上述处理(例如从300dpi转换到100dpi)。只要在确定了包围区域的位置、坐标后，将其应用到原分辨率的输入图像中的坐标位置，提取包围区域的图像即可。
[0041]图6表示线检测步骤的详细内容。
[0042]以下，按照A?E的顺序进行处理。
[0043]A.水平以及垂直扫描宽度(Run Length)的提取(参照图7A)
[0044]从二值化图像中分别提取出水平扫描宽度和垂直扫描宽度。扫描宽度的生成可利用公知的生成方法。例如是以下那样的方法。
[0045]水平扫描宽度的提取
[0046]水平扫描宽度是在水平方向上连续延伸的二值化值为“I”的像素列。为了提取出水平扫描宽度，从二值化图像的最左上的坐标(O，O )的像素开始向右方向扫描，以最初为“I”的像素为起点，在其右方相邻的连续多个像素为“I”时、且一个扫描宽度的长度连续了规定阈值以上的情况下，将其提取为水平扫描宽度。即，对长度未达到阈值的扫描宽度设定“ O ”。阈值例如为8像素。
[0047]在最上段的I列的扫描完成后，进行下一列的扫描，并依次进行处理，直到扫描到最下段的列为止处理完成。准备接下来的处理，针对各扫描宽度，预先将两端的XY坐标记录为列表。
[0048]通过这样处理，从图7A左上的状态开始，如图7A右上所示那样仅提取出8像素以上的长度的水平扫描宽度。
[0049]垂直扫描宽度的提取
[0050]同样，垂直扫描宽度是在垂直方向上连续延伸的二值化值为“I”的像素列。与水平扫描宽度的处理同样，从二值化图像的坐标(0，0)的像素向下方扫描，以最初为“I”的像素为起点，在向下相邻的连续多个像素为“I”时、且连续了规定阈值以上的情况下，将其提取为垂直扫描宽度。阈值同样为8像素。
[0051]在最左I列的扫描完成后，进行向右一列的扫描，并依次进行处理，直至扫描到最右侧的列为止处理完成。准备接下来的处理，预先将扫描宽度的两端的XY坐标记录为列表。[0052]通过这样处理，从图7A左上的状态开始，如图7A右下所示那样仅提取出8像素以上的垂直扫描宽度。
[0053]通过如以上那样进行处理，能够有效地除去不需要的斜线的彩色标记部分。
[0054]B.比规定值长的扫描宽度的除去
[0055]由于能够根据所记录的扫描宽度的XY坐标计算出长度，所以在扫描宽度的长度为第2阈值以上的情况下将其从扫描宽度的列表中除去。第2阈值例如为500像素。
[0056]C.连结分量的生成(参照图7B)
[0057]连结分量的生成可利用公知的生成方法。
[0058]例如，在根据水平扫描宽度生成连结分量时，对于水平扫描宽度的两端的XY坐标在Y方向上将一条关注线夹在中间的上下线的扫描宽度而言，如果其两端的X坐标相对关注线的水平扫描宽度的两端的坐标的X坐标在规定的范围内，则可视为关注线的该水平扫描宽度、和X坐标成为范围内的水平扫描宽度在Y方向上连结。规定的范围例如可设为3像素。这样，一边顺次错移关注线一边对全部的水平扫描宽度检测X方向的连结部分来生成连结分量，并记录成列表。
[0059]在图7B的例子中表示了从坐标的范围(XI，Yl)至(X2，Y2)的范围内包含的水平扫描宽度由于两端的X坐标在规定的范围内，所以作为一个水平连结分量CPl被记录在列表上。
[0060]水平连结分量如上述那样通过对沿水平方向延伸的关注线的上下方向进行检查而生成，垂直扫描宽度的连结分量的生成也同样通过对沿垂直方向延伸的关注线的左右方向进行检查而生成，并记录为列表。
[0061]D.根据连结分量生成线段(参照图7C)
[0062]根据水平连结分量、垂直连结分量分别生成线段。
[0063]多数情况下，由于连结分量具有粗细度，所以为了使水平连结分量成为一条线段，将各水平连结分量的上下方向的宽度Yl?Y2生成为它们的中间值Y3的线段，并被列表化成线段名为LNl?η、端部的坐标为(XI，Υ3) (Χ2，Υ3)而保存。
[0064]垂直连结分量也被同样地生成线段。
[0065]Ε.丧失线的探索
[0066]在多个线段中，将端部接近的线彼此结合。例如将2条水平线段中Y坐标近似相等、X坐标接近的线结合。
[0067]或者，将2条垂直线段中X坐标近似相等、Y坐标接近的线结合。如此将线段的端部彼此结合来登记为一条新线并列表化。
[0068]将通过D.的步骤而生成的水平及垂直的线段和通过之前的结合而新登记的线全部作为接下来的图表(graph)构建步骤中的图表的边,边名El?η、坐标的信息被登记到边列表中(参照图7D)。
[0069]③图表构建步骤的详细说明如下。
[0070]参照边列表，提取出多个边的端部的坐标一致的点作为交点。然后，将在该交点处端部的坐标一致的边与其条数(次数)登记到交点列表中。如此生成交点列表(参照图7Ε、图 10s010)。
[0071]图表可由交点列表以及边列表规定。[0072]图8以根据图4所示的图像生成的图表为例进行了表示。
[0073]图9表示候补区域提取步骤的处理的过程。
[0074]sOlO:表示处理前的图表的状态。针对各交点al?a7，将从交点延伸出的边的数目记载为次数。由于从交点al、a4、a5、a6、a7延伸出的边的数目为2条,所以次数为2,由于a2、a3延伸出的边的数目为3条,所以次数为3。
[0075]在开始以下的处理之前，预先将次数为I的交点从图表中除去。
[0076]s 100:从图表上选择成为回转的起点的交点。例如，选择全部交点中位于最左侧的交点中的进而位于最上侧的位置的交点、即al为起点。
[0077]首先从起点al向右方沿着边开始回转,移到至下一个交点a2。在每次到达下一个交点时从次数中减去I，并直接前进到下一个交点、或者如果不存在向前进方向的边，则向右方将行进方向改变90。，移动至下一个交点。关于在行进方向是否存在边，可参照交点列表中登记的“延伸出的边”，根据边列表中登记的坐标得到边向哪个方向延伸。
[0078]例如由于从al向右方前进到达交点a2后不能直接前进，所以向右90。改变方向后，移动至下方的交点a3。
[0079]sllO:如此在交点间移动,如al — a2 — a3 — a4这样地移动并返回至起点al来完成回转，作为由al?a4围起的包围区域提取出图10所示的图像。
[0080]sl20:每当完成一次回转，便从图表中除去次数变为I的交点。这里，由于al、a4的次数变为I所以被除去，而留下了交点a2、a3、a5、a6、a7。
[0081]sl30:从图表上选择成为回转的起点的交点。选择全部交点中位于最左的交点中的、进而位于最上的位置的交点、即a5。
[0082]再次进行回转，作为由a2、a3、a5、a6、a7围起的包围区域，提取图11所示的图像。
[0083]sl40:由于a5、a6、a3、a7、a2的次数变为1，所以将这些交点除去，因已经不存在要处理的交点，故完成处理。
[0084]⑤区域分离步骤的详细内容如下。
[0085]在区域分离步骤中，进行识别是文字区域还是照片区域并加以分离的处理。
[0086]作为识别方法，可利用公知的方法。例如可利用在文字图像中由于文字部分的像素与背景的像素的浓度差大，所以具有区域内的像素间的浓度差大的位置(边缘部分)这一特征，而照片图像由于浓度变化平稳，所以具有区域内的像素间的浓度差小的特征。
[0087]图12对例子进行了表示。为了使处理简单，设利用灰度等级(256灰度)进行处理。如果是彩色图像，则假设为转换成256灰度的灰度等级后的图像，当在8X8的区域内最高浓度的像素与最低浓度的像素的浓度差比规定值大时，将该8X8区域判定为文字图像区域。规定值例如设为150。在图12左边的例中，8X8区域中包含的像素由于最高浓度为255、最低浓度为0，浓度差超过150，所以判定为文字图像区域。另外，在图12右边的例中，由于最高浓度为200、最低浓度为160，浓度差为40未超过150，所以判定为照片图像区域。如此识别文字区域或照片区域，从在④候补区域提取步骤中提取出的图像最终仅输出文字区域的图像。
[0088]通过这样处理，假设即使输入图像中包含彩色照片，也能够抑制将彩色照片提取为用标记围起的区域这一不良情况。
【权利要求】
1.一种图像处理装置，具备输入图像的输入单元、从被输入的图像中检测出彩色标记部分的检测单元、确定由被彩色标记部分规定的边以及交点构成的图像上的闭合区域的确定单元、和提取出所确定的闭合区域内的图像的提取单元，该图像处理装置的特征在于， 上述确定装置具有: 找出由彩色标记部分规定的边以及交点的单元； 将从交点延伸出的边的条数作为次数，按每个交点进行记录的单元； 找出次数为2以上的交点通过边而连结的闭合区域的单元； 减去找出的闭合区域中包含的交点的次数的单元；和 将次数为I以下的交点从处理对象中除去的单元。
2.根据权利要求1所述的图像处理装置，其特征在于， 上述确定装置具有: 提取出彩色标记部分的水平线以及垂直线的单元； 将不满足尺寸规定阈值以外的线除去的单元；和 将接近的多条线连结的单元。
3.一种图像处理方法，具备输入图像的输入步骤、从被输入的图像中检测出彩色标记部分的检测步骤、确定由被彩色标记部分规定的边以及交点构成的图像上的闭合区域的确定步骤、和提取出所确定的区域内的图像的提取步骤，该图像处理方法的特征在于， 上述确定步骤具有:检测由彩色标记部分规定的边以及交点的步骤； 将从交点延伸出的边的条数作为次数，按每个交点进行记录的步骤； 找出次数为2以上的交点通过边的连接成为闭合区域的步骤； 将找出的闭合区域中包含的交点的次数减去的步骤；和 将次数为I以下的交点从处理对象中除去的步骤。
【文档编号】G06K9/46GK103577816SQ201210258772
【公开日】2014年2月12日 申请日期:2012年7月24日 优先权日:2012年7月24日
【发明者】张庆久, 乐宁 申请人:夏普株式会社