图像区域检测方法、记录介质及其装置的制作方法

专利名称：图像区域检测方法、记录介质及其装置的制作方法
技术领域：
本发明涉及一种用于通过图像输入装置输入包括嵌入了规定代码的 图像的印刷图像并且在所输入的图像上检测嵌入了代码的四边形区域的 图像区域检测技术。
背景技术：
近年来，已经开发出在数字数据或印刷图像中嵌入不可见代码的技 术。为了从嵌入了规定代码(在下文中简称为"代码")的输入图像(该 输入图像是使用诸如包括在移动电话中的照相机或扫描仪的图像输入装 置拍摄的)中读取代码信息，确定嵌入了代码的四边形区域的四个角的 坐标，并且基于所确定的四个角的坐标进行解码。在用于检测四个角的坐标的传统图像区域检测方法(诸如在日本专利申请公报第2005-277732号和第2005-182164号中公开的方法)中，以 如下方式来进行该检测将开始进行图像区域检测的初始坐标设置在输 入图像的外周区域中，并且由此检测四边形区域的边；之后获得四个角 的坐标以用于区域检测。在用于检测四边形区域的四个角的传统技术中，从输入图像的外周 区域开始执行对四边形区域的边的搜索。因此，当存在包括应检测的四 边形区域的另一四边形区域时，会检测到外侧四边形区域，而未检测到 应检测的内部四边形区域，这是成问题的。发明内容本发明的一个目的在于，即使在一四边形区域被另一四边形区域包 含时也能够正确地检测到该四边形区域。本发明的另一目的在于，允许 诸如移动终端的处理能力低的装置高速检测四个角的坐标。
在本发明中提供了一种图像区域检测方法，该图像区域检测方法用 于在第二图像中检测四边形区域，所述第二图像是通过拍摄四边形的第 一图像而获得的，并且所述第二图像包括作为与所述第一图像相对应的 图像区域的所述四边形区域，所述图像区域检测方法包括以下步骤在从设置为初始点的多个像素向所述第二图像的外周进行扫描时相 邻像素之间的像素值差超过阈值的情况下，将一个像素检测为过渡点， 所述初始点位于距所述第二图像的中心的一定范围内；假定存在逐个地从各个过渡点检测线中获得的过渡点的组合，所述 过渡点检测线朝向相同方向并且是基于在所述第二图像上沿四个方向执 行的过渡点检测的一组过渡点检测线的成员，所述四个方向为两个垂直 方向和两个水平方向，则按基于所述过渡点的各个组合创建四边形的边， 并且从沿各方向创建的所述边之中将最靠近所述初始点的那些边检测为所述四边形的边的候选项；以及基于由已检测到的四个候选边形成的四边形，确定检测到的边是否 是误检边，并且当确认所述边是误检边时，执行对边的候选项的再检测。在本发明中提供了一种记录介质，该记录介质记录有图像区域检测 程序，该图像区域检测程序用于使计算机执行用于在第二图像上检测四 边形区域的处理，所述第二图像是通过拍摄四边形的第一图像而获得的， 并且所述第二图像包括作为与所述第一图像相对应的图像区域的所述四边形区域，所述记录介质包括过渡点检测处理，在从设置为初始点的多个像素向所述第二图像的 外周进行扫描时相邻像素之间的像素值差超过阈值的情况下，将一个像素检测为过渡点，所述初始点位于距所述第二图像的中心的一定范围内；四边候选项检测处理，假定存在逐个地从各个过渡点检测线中获得 的过渡点的组合，所述过渡点检测线朝向相同方向并且是基于在所述第 二图像上沿四个方向执行的过渡点检测的一组过渡点检测线的成员，所 述四个方向为两个垂直方向和两个水平方向，则按基于所述过渡点的各 个组合创建四边形的边，并且从沿各方向创建的所述边之中将最靠近所述初始点的那些边检测为所述四边形的边的候选项；以及
边再检测控制处理，基于由已检测到的四个候选边形成的四边形， 确定检测到的边是否是误检的，并且当确认所述边是误检边时，执行对 边的候选项的再检测。在本发明中提供了一种图像区域检测装置，该图像区域检测装置用 于在第二图像中检测四边形区域，所述第二图像是通过拍摄四边形的第 一图像而获得的，并且所述第二图像包括作为与所述第一图像相对应的 图像区域的所述四边形区域，所述图像区域检测装置包括过渡点检测单元，在从设置为初始点的多个像素向所述第二图像的 外周进行扫描时相邻像素之间的像素值差超过阈值的情况下，将一个像 素检测为过渡点，所述初始点位于距所述第二图像的中心的一定范围内； 四边候选项检测单元，假定存在逐个地从各个过渡点检测线中获得 的过渡点的组合，所述过渡点检测线朝向相同方向并且是基于在所述第 二图像上沿四个方向执行的过渡点检测的一组过渡点检测线的成员，所 述四个方向为两个垂直方向和两个水平方向，则按基于所述过渡点的各 个组合创建四边形的边，并且从沿各方向创建的所述边之中将最靠近所 述初始点的那些边检测为所述四边形的边的候选项；以及边再检测控制单元，基于由己检测到的四个候选边形成的四边形， 确定检测到的边是否是误检边，并且当确认所述边是误检边时，执行对 边的候选项的再检测。在本发明中提供了一种图像区域检测方法，该图像区域检测方法用 于在第二图像中检测四边形区域，所述第二图像是通过拍摄四边形的第 一图像而获得的，并且所述第二图像包括作为与所述第一图像相对应的 图像区域的所述四边形区域，所述图像区域检测方法包括以下步骤在从用作初始点的多个像素向所述第二图像的外周区域进行扫描时 相邻像素之间的像素值差超过阈值的情况下，将一个像素检测为过渡点， 所述初始点位于距所述第二图像的中心的一定范围内；假定存在逐个地从各个过渡点检测线中获得的过渡点的组合，所述 过渡点检测线朝向相同方向并且是基于在所述第二图像上沿四个方向执 行的过渡点检测的一组过渡点检测线的成员，所述四个方向为两个垂直
方向和两个水平方向，则按基于所述过渡点的各个组合创建四边形的边， 并且从沿各方向创建的所述边之中将最靠近所述初始点的那些边检测为 所述四边形的边的候选项；以及基于由已检测到的四个候选边形成的四边形，确定检测到的边是否 是误检边，并且当确认所述边是误检边时，执行对边的候选项的再检测。通过以上构造，可以通过采用从包括在图像中的四边形区域的内部 点开始的过渡点检测(边缘检测)来检测四边形区域的边。因此，即使 另一四边形布置在背景区域(目标四边形区域之外)上，也能够正确地 检测到目标四边形区域。因此，不会错误地检测到背景区域中的四边形。 另外，能够在各方向上仅对少量的线执行边缘检测，这提高了边缘检测 的速度。在以上的图像区域检测方法中，在执行对边的候选项的再检测时 检验由针对所述边而检测到的四个候选项形成的四边形的形状，并且由此确定在所述四条边中是否存在误检边，并且当存在误检边时，确定该误检边；以及检验由所述四条边形成的四边形的四个角的区别特征，并且由此确定在所述四条边中是否存在误检边，并且当存在误检边时，确定该误检边。通过以上构造，当检测到所述边时，检验由检测到的四条边形成的四边形的四个角和形状，并且可将由经由边和角的检验而确定为正确边的四条边形成的区域当作目标四边形区域进行处理。在以上的图像区域检测方法中，在执行对边的候选项的再检测时 当确定了所述误检边时，将基于比所述误检边更靠近所述第二图像的外周的最接近组合中的过渡点而创建的边进一步检测为所述边的候选项。通过以上构造，当存在误检边时，能够检测所述边的下一候选项。 以上的图像区域检测方法还包括当不存在误检边时，检测由所述四条边形成的四边形的四个角的坐标。
通过以上构造，确定形成所述四边形区域的边，并且可将所确定的 边的交点当作四个角的坐标进行处理。 在以上的图像区域检测方法中在计算同一条过渡点检测线上的相邻像素之间的像素值差时，当检 测到过渡点时，按对应像素的各分量的特定顺序计算所述差。通过以上构造，可以提高过渡点检测处理的速度以及检测效率。 在以上的图像区域检测方法中边的候选项是基于所述各个组合中的过渡点而创建的近似线，所述 近似线与根据其而创建了所述近似线的过渡点的距离在特定容许量内， 并且当检测所述四条边的候选项时，所述近似线是最靠近所述初始点的 近似线。通过以上构造，即使存在成直线的多个过渡点(边缘)组合，也能 够减少目标四边形区域的边的候选项。 在以上的图像区域检测方法中确定在所述四条边中是否存在误检边，该确定是在检验所述四边形 的形状时基于由针对所述边而检测到的四个候选项形成的四边形的内角 是否在特定范围内而作出的。通过以上构造，即使倾斜地拍摄所述第一图像从而使所述第二图像 中的四边形区域为梯形，也能够检测到形成所述四边形区域的边。在以上的图像区域检测方法中由所述四条边形成的四边形的四个角中的每个角的区别特征是所述 四个角中的每个角的形状或设置在所述四边形区域的四个角中的每个角 处的特定标记，所述特定标记用以在对所述四个角的特殊性的检验中确 定所述第一图像。通过以上构造，可以确认由检测到的四条边成的四个角是否实际上 与对应于所述第一图像的所述四边形区域的四个角相同。如上所述，在本发明中，基于在具有特定宽度的线上、从内部点开 始朝向输入图像中的四边形区域的外周执行的边缘检测的结果，来执行 沿四个方向(垂直和水平方向)的边检测，并且检验由检测到的四条边 角。由此，当存在误检边时，对比该误检边 更靠近外周的边进行再检测，从而能够高速形成该四边形区域。


图1示出了根据本发明的图像区域检测程序的结构；图2示出了纸张的布置，该布置包括要在其中根据本发明检测预定 区域的图像；图3示出了根据本实施方式的输入图像的示例； 图4A示出了本发明的原理；图4B以简化方式示出了与图4A所示相同的样本； 图5示出了根据本发明的边的错误检测；图6示出了对首先嵌入的代码执行的根据本实施方式的解码处理的 实施例；图7示出了根据本实施方式的代码嵌入区域检测处理(S12)的处理 流程(实施例1);图8示出了根据本实施方式的代码嵌入区域检测处理(S12)的处理 流程(实施例2);图9示出了根据本实施方式的过渡点检测的实施例；图IO示出了根据本实施方式的过渡点检测的另一实施例(在存在三 个分量的情况下)；图11示出了根据本实施方式的边检测的实施例；图12示出了根据本实施方式的四边候选项检测处理(S22)的详细 处理流程；图13更详细地示出了图12所示的针对各条边的边候选项检测处理;图14示出了根据本实施方式的形状检验的实施例；图15详细示出了根据本实施方式的形状检验处理(S24)的处理流程；图16示出了根据本实施方式的四角检验的实施例；
实施例(部分l);图17B示出了根据本实施方式的设置在四边形的四个角处的标记的实施例(部分2);图18示出了根据本实施方式的四角检验(S26)的详细处理流程；图19示出了根据本实施方式的边再检测的实施例；图20示出了根据本实施方式的边再检测处理(S28)的详细处理流 程；以及图21示出了根据本实施方式的执行图像区域检测程序的计算机硬 件环境的构造的框图。
具体实施方式
图1示出了根据本发明的图像区域检测程序的结构。该图像区域检 测程序1检测所拍摄图像中的四边形图像区域。该图像区域检测程序包 括如下步骤过渡点检测处理(Sl)、四边候选项检测处理(S2)、形状 检验处理(S3)、四角检验处理(S4)、边再检测处理(S5)、再检测控制 处理(S6)、以及四角坐标检测处理(S7)。在过渡点检测处理(Sl)中，通过沿四个方向(垂直和水平方向) 从初始点(其位于距输入图像中心坐标的一定范围内)向外周进行搜索， 来检测像素值的变化满足预定条件的过渡点(边缘(edge))。另外，在过渡点检测处理(Sl)中，在同一个检测点处可以按照预 定顺序来选择分量，并且当检测到过渡点时，在该点处的检测终止。由 此，执行过渡点检测处理，直到按照多个颜色分量(构成像素的颜色分 量)的优先级顺序检测了过渡点。在四边候选项检测处理(S2)中，基于过渡点的检测结果来单独检 测各个方向上最内侧的边。具体地讲，在四边候选项检测处理(S2)中， 在过渡点检测处理(Sl)中沿各个方向检测到的过渡点的组合之中，与 过渡点的各个坐标的距离在规定容许量内的并且最靠近初始点的近似线 是四边形区域的边的候选项(换言之，通过组合多个内部过渡点来确定 所述边)。由此，可以基于所获得的多个内部过渡点的组合来确定所述边。 在形状检验处理(S3)中，对由在四边候选项检测处理(S2)中检测到的四条边组成的四边形的形状进行检验。此外，在形状检验处理(S3 )中，确定是否存在四条边的错误检测，并且当存在错误检测时，确定误检边。具体地讲，基于由在四边候选项检测处理(S2)中检测到的四条边中的两条边之间相交而形成的角的位置以及所述角的内角是否在一定 范围内，来确定相应的四边检测是否是错误检测。由此，能够基于四个 角的角度来确定误检边。在四角检验处理中(S4)，中，对由检测到的四条边形成的四边形的 四个角就是目标四边形的四个角的可能性进行检验。基于该检验结果来 确定这四条边中是否存在误检边，并且当存在误检边时，确定哪条边是 被误检的。可以例如基于对四边形的四个角的检测或对为了确定四个角 而设置的标记的检测是否成功终止，来确定是否存在误检边。由此，可 以基于设置在四个角处的标记或者这些角是目标四边形的角的可能性， 来确定误检边。在边再检测处理(S5)中，沿着存在误检边的方向新检测到一个外 部边，基于形状检验处理(S3)和四角检验处理(S4)的确定结果以及 上面的过渡点检测的结果来进行该新检测。在再检测控制处理(S6)中，确定各条边中的任一边是否是误检的， 基于由检测到的四条边的候选项形成的四边形来进行该确定。当确定至 少一条边为误检边时，再次执行对该边的候选项的检测。具体地讲，执 行形状检验处理(S3)、四角检验处理(S4)以及边再检测处理(S5)， 直到确认了在形状检验处理(S3)或四角检验处理(S4)中不存在误检 边为止。在四角坐标检测处理(S7)中，基于在再检测控制处理(S6)中最 终确定的不包括误检边的四条边来检测四边形区域。 在下文中将解释本发明的原理。图2示出了包括一图像的纸张上的布置，在本发明中要在该图像上 检测预定区域。输入图像11包括四边形区域12，并且围绕该四边形区域 12的外周存在具有一定宽度的空白(margin) 13。此外，在空白13之外
存在没有设计或布局限制的背景区域14。图3示出了本实施方式中的输入图像的示例(该图像引用自JIS X9201 CMYK/SCID)。图3所示的通过拍摄纸张而获得的输入图像11包括 要在其上检测所述区域的四边形区域12、空白13以及背景区域14。当 包含四边形区域12的四边形15包括在背景区域14中时，传统的检测方 法会导致将该背景区域(由附图标记15指示的四边形区域)检测为作为 检测目标的四边形区域的错误检测。图4A示出了本发明的原理。图4B以简化方式示出了与图4A所示 相同的样本。图5示出了边的错误检测。在本发明中，通过采用如图4A 和4B所示的边缘检测从四边形区域12中的内部点开始执行边检测；因 此，即使当背景区域14包括四边形15时，也可在检测四边形15之前检 测到正确的四边形区域12，从而可以避免将四边形15误检为检测目标。另外，当在四边形区域12中从内部点向外周执行边的检测时，如图 5所示，取决于图像的图案，会导致错误地检测到不是四边形区域的边的 边。因此，当检测到边时，对由检测到的四条边形成的四边形的形状以 及由检测到的四条边形成的角进行检验。当通过以上两种检验确定检测 到的边为正确的边时，将这四条边形成的区域当作临时四边形区域进行 处理。如果一边被确定为是误检的，则检测该边的比该误检边更接近输 入图像的外周的下一候选项，从而使四边形被改动。由此，在目标四边 形区域的内部或外部不会导致错误检测，从而能够正确地检测四个角的 坐标。接下来，更加详细地解释用作再检测控制功能的组成要素的过渡点 检测处理(Sl)、形状检验处理(S3)、四角检验处理(S4)以及边再检 测处理(S5)。首先，解释过渡点检测处理(S1)。如上所述，在过渡点检测处理(S1) 中，在该图像上从内部点向外周执行边缘检测。当假定目标四边形区域 的四条边的像素值与空白的像素值之间存在大于特定值的差时，通过采 用获得关注像素的值与该关注像素周围的像素的值之间的差这种边缘检
测方法，来确定四条边的位置。然而，当对输入图像上的所有像素执行该边缘检测时，需要大量的 计算。在传统技术中，仅从输入图像的外周开始对少量的线执行边缘检 测，并且当检测到边缘时，改变检测方向，并且沿着检测到的边缘来执 行边缘检测以确定边。如果在到达四条边之前执行的边缘检测的数量小， 则该方法允许高速处理。然而，当从内部点向外周执行边缘检测时，将 目标四边形区域中的图案检测为边缘，并且边缘检测的数量增加，从而 处理速度下降。因此，在本发明中，为了实现高速边检测，当从内部点开始沿四个 方向(垂直和水平方向)执行边缘检测时，仅对各搜索方向上少量的线 (例如，五条线)执行边缘检测。接下来，解释四边候选项检测处理(S2)。在构成空白的像素的值与构成目标四边形区域的四条边的各像素的值之间存在大于特定值的差；因此，不管在边上的哪个点执行边缘检测，都能够检测到边缘。因此，从自多条线中逐个提取的边缘的组合之中选择其坐标近似成 直线的边缘的组合。然后，即使在存在成直线的边缘的多个组合的情况 下，也形成四边形区域的四条边上的边缘的正确组合。由此，可以基于 边缘检测结果来减少四边形区域的边的候选项。接下来，解释形状检验处理(S3)。当在(S2)中检测到的四条边正 确时，由这四条边形成的四个角的角度位于在利用照相机拍摄四边形图 像的情况下假定的梯形的变形范围内。因此，检验这四个角的角度是否 在容许量范围内，并且当所述角度在容许量范围之外时，确定误检概率 最高的边。具体地讲，当存在具有角度都在容许量范围之外的两个角的一条边 时，将该边确定为误检边。当存在各自具有角度在容许量之外的一个或 两个角的两条边时，将相对于对边的角度较大的边确定为误检边。当存 在容许量范围之外的角度并且不满足以上两个条件中的任一个时，假定 该四边形区域是相对于输入图像不倾斜地拍摄的，并且将相对于输入图 像的四条边之一的角度最大的边确定为误检边。由此，准确地确定了误
检边，并且提高了四边形区域的检测准确度。接下来，解释四角检验处理(S4)。对由检测到的四边形成的四边形 区域的四个角的区别特征(四个角的形状等)或是否存在指示四个角的 位置的标记进行检验。当存在错误检测时，由误检边形成的角的检验失 败。然后，将具有检验失败的角的边确定为误检边。通过准确地确定误 检边，提高了四边形区域的检测准确度。接下来，解释边再检测处理(S5)。图5示出了由Tl、 Bl、 Ll和 Rl形成的四边形区域。当在形状检验处理(S3)和四角检验处理(S4) 中确定了误检边R1时，将处于与边缘检测线(在其上检测到该误检边的 起点的边缘)相同的方向上并且在朝向中心的方向上紧邻误检边的边当 作新的边候选项进行处理。这样，检测到由T1、 Bl、 L1和R2形成的新 的四边形区域。由此，能够检测到四个角的坐标，而不会导致错误地检 测到目标四边形区域内的四边形。在下文中解释一种实施方式，其中，正确检测嵌入了代码的四边形 区域，而不需要检测布置在背景区域上的四边形。图6示出了在本实施方式中对首先嵌入的代码执行的解码处理的实 施例。CPU (中央处理单元)从计算机中的记录单元(其中该记录单元 记录有图像区域检测程序)读取该图像区域检测程序，并且执行图6所 示的流程图中的处理。通过利用照相机、扫描仪等拍摄嵌入了代码的图像来产生电子图像 数据。在图像获取处理(S11)中，获得所拍摄的图像作为输入图像。接下来，在代码嵌入区域检测处理(S12)中，在遵从处理流程的同 时，针对输入图像确定图像的嵌入了指定代码的四边形区域的四个角的 坐标。在嵌入代码读取处理(S13)中，基于四个角的所述坐标，从矩形图 像中提取嵌入代码。接下来，参照图7和图8来解释代码嵌入区域检测处理(S12)的详 细处理流程(实施例1和实施例2)。图7示出了本实施方式(实施例1)中的代码嵌入区域检测处理(S12)
的处理流程。首先，在(S11)中，沿四个方向(垂直和水平方向)对在 (S11)中获得的图像数据执行过渡点检测(边缘检测)。基于检测到的过渡点(边缘)来检测四条边的候选项(S22)。接下来，执行再检测控制处理(S23)。在再检测控制处理(S23)中， 对在(S24)到(S28)中执行的处理进行控制。下文详细解释再检测控 制处理(S23)。首先，对由在(S22)中检测到的四条边的候选项形成的四边形的形 状进行检验(S24)。当在(S24)中确定了错误检测时(在S25中为"是")， 进行边的再检测(S28)，并且再次检验形状(S24)。当在(S24)中确定 四边形的形状正确并且不存在错误检测时(在S25中为"否")，对四个 角进行检验(S26)。当确定在对四个角的检验过程(S26)中发生错误检测时(在S27中 为"是")，进行边的再检测(S28)。重复S24至S27的处理，直到确定 不存在误检边为止。图8示出了本实施方式(实施例2)中的代码嵌入区域检测处理(S12)的处理流程图。该流程图是加入了四角坐标(四条边之间的交点)检测 处理(S29)的图7所示的流程图。当确定不存在误检边时(在S27中为 "否")，将此刻的四个角的坐标确定为四边形区域的四个角的坐标。接下来，解释了图7和图8所示的流程图中的各个处理。[沿四个方向的过渡点检测(S21)]图9示出了本实施方式中的过渡点检测的实施例。当搜索点处的像 素(当前正在执行边缘检测的点处的像素)与该搜索点周围的像素之间 的像素值差超过特定阈值时，通过利用四边形区域12的四条边与四边形 区域12周围的空白13之间存在像素值差这一事实，将该搜索点处的像 素当作过渡点(边缘)进行处理。在图9中，边缘检测线上的实心圆表 示像素值从"暗"变"亮"的边缘(过渡点)。沿四个方向从四边形区域12上的内部点向输入图像11的外周执行 过渡点检测(边缘检测)。例如，假定四边形区域12包围输入图像11的 中心，则将输入图像ll的中心周围的区域设置为沿四个方向进行边缘检 测的初始坐标。如图9所示，对四个方向(垂直和水平方向)中的每个 方向上的例如五条线执行边缘检测。为了通过减少所检测边缘的数量来准确地执行检测，还可以仅检测 包括平像素的边缘，假定在输入图像11中该平像素的宽度小于空白13 的宽度的话(换言之，仅检测被检测到并且之后具有规定宽度的区域的 边缘，其中在搜索位置处的像素与该像素周围的另一像素之间几乎不存 在像素值差)。图IO示出了本实施方式中的过渡点检测的另一实施例(在存在三个分量的情况下)。根据该实施例，可以提高过渡点检测的处理速度以及检 测效率。每个像素由R (红色)、G (绿色)以及B (蓝色)这三个分量组成。 因此，在图10所示的处理流程中，针对各个分量检测过渡点(边缘)。 为了便于对该流程图进行解释，假定作为搜索目标的像素的坐标是XI (x， y)，并且例如在边缘检测线上在右向方向上紧邻该像素的像素的坐标是 X2 (x-l,y)。首先，检测XI和X2的分量1的过渡点(边缘)(S21-l)。在检测 过渡点(边缘)时，当分量1的像素值差超过预定阈值时，将此刻的像 素当作过渡点(边缘)进行处理。当在S21-l中检测到过渡点时，换言之，当XI的分量1与X2的分 量1之间的像素值差超过阈值时(在S21-2中为"是")，记录该过渡点 的位置(S21-9)。随后，该处理进行到S21-7。当在S21-1中没有检测到过渡点时，换言之，当X1的分量1与X2 的分量1之间的像素值差没有超过阈值时(在S21-2中为"否")，检测 XI的分量2和X2的分量2的过渡点(边缘)(S21-3)。当在S21-3中检测到过渡点时，换言之，当XI的分量2和X2的分 量2之间的像素值差超过阈值时(在S21-4中为"是")，记录该过渡点 的位置(S21-9)。随后，该处理进行到S21-7。
X1的分量3和X2的分量3的过渡点(边缘)(S21-5)。当在S21-5中检测到过渡点时，换言之，当XI的分量3与X2的分量3之间的像素值差超过阈值时(在S21-6中为"是")，记录该过渡点的位置(S21-9)。随后，该处理进行到S21-7。当在S21-5中没有检测到过渡点时，换言之，当XI的分量3与X2的分量3之间的像素值差没有超过阈值时(在S21-6中为"否")，确定搜索点(即，XI的位置)是否已经到达输入图像11的末端(S21-7)。 当在S21-7中确定搜索点(XI的位置)尚未到达输入图像11的末端时(在S21-7中为"否")，将搜索点X1沿着边缘检测线向右移动1个像素，从而XI是(x+l， y)并且X2是(x, y)。对新的XI和X2再次执行S"-l的处理。当在S21-7中确定搜索点(XI的位置)已经到达输入图像11的末 端时(在S21-7中为"是")，该处理流程终止。 [四边候选项检测处理(S22)]图11示出了本实施方式中的边检测的实施例。当通过对右向方向的 五条线进行边缘检测而检测到的坐标接近于四边形区域的边时，认为这 些坐标沿着图9所示的边近似成直线。因此，将在各方向上的各条边缘检测线上检测到的过渡点的坐标(边 缘坐标)组合，通过采用最小二乘法根据该组合的过渡点的坐标来计算 近似线，并且将其过渡点坐标与该近似线的距离小于特定距离的另一近 似线检测为边候选项。如图11所示，当存在右边的多个候选项时，从最靠近边缘检测的初 始点的候选项开始，将优先级顺序确定为R1、 R2、和R3，并且将R1采 用为四边形区域的右边。沿四个方向(垂直和水平方向)执行以上处理，从而检测出四条边 作为上边、下边、左边和右边。由此，检测到临时四边形区域。参照图 11和图12来解释该处理。图12示出了本实施方式中的四边候选项检测处理(S22)的详细处 理流程。在图12中，对上边、下边、左边和右边执行图13所示的边候
选项检测(S22-l、 S22-2、 S22-3以及S22-4)。可以按任意顺序执行S22-l 到S22-4的这些处理。图13更详细地示出了图12所示的对各条边的边候选检测处理。首 先，在沿各个方向检测到的过渡点的坐标的组合之中获取最内侧的过渡 点(最靠近输入图像ll的中心的过渡点)的坐标，并且选择过渡点的这 些坐标的组合(S22-nl，其中n二l至4)。接下来，通过采用最小二乘法根据所选择的过渡点的坐标的组合， 来计算近似线(S22-n2)。接下来，确定各过渡点坐标与该近似线之间的长度是否在容许量范 围内(S22-n3)。当各过渡点坐标与该近似线之间的长度大于容许量范围 时(在S22-n3中为"否")，选择紧邻最靠近中心的边上的当前组合的过 渡点坐标的组合(S22-n4)，并且执行S22-n2中的处理。当选择过渡点坐 标的组合时，能够通过用相同边缘检测线上紧邻最靠近中心的边上的当 前过渡点的过渡点的坐标来替换满足"各过渡点坐标与近似线之间的长 度大于容许量范围"的过渡点的坐标，来选择新的过渡点组的坐标(换 言之，通过替换各个坐标而产生新的过渡点组合)。此外，紧邻(在最靠 近中心的边上)用作近似线的起点的过渡点组的坐标的过渡点坐标的组 合可以是该新的坐标组(换言之，通过替换当前选择的各个组合来产生 近似线)。当各过渡点坐标小于等于容许量范围时(在S22-n3中为"是")，将 该近似线确定为边候选项(S22-n5)。 [形状检验处理(S24)]图14示出了本实施方式中的形状检验的实施例。在形状检验处理 (S24)中，获得由形成临时四边形区域的边T1、 Bl、 Ll以及R1形成 的四个角的角度a、 b、 c和d。假定嵌入了代码的图像的各个角的角度(应该为90度)的变化范围 (由照相机相对于用照相机拍摄的图像的倾斜所导致)例如在80度和 IOO度之间。基于这种假定，如果检测到的边之间相交的角度在80度和 100度之间的范围内，则确定该角度在满足形状检验要求的四边形区域的
角的容许量范围内。
当存在不在该容许量范围内的角度时，角度检验被确定为失败，并 且确定包括该角度的两条边之一是误检边。
此外，当对另一角度的角度检验失败并且存在这两个角度所共有的 边时，将该边确定为误检边。
当存在检验失败的角度并且无法减少误检角度的候选项时，基于相 对于对边的平行关系以及相对于输入图像的平行关系，确定作为误检边 的概率最高的边。随后，再次进行检测。
在图14中，由Ll和Tl形成的角度a、以及由L1和B1形成的角度 b在四边形的容许量范围内，因此对这些角度的角度检验是成功的。相反， 由Tl和Rl形成的角度c、以及由Bl和Rl形成的角度d不在该容许量 内，因此将R1确定为误检边，这是因为对包括在该边的角度的角度检验 失败。参照图15来解释该处理。
图15详细示出了根据本实施方式的形状检验处理(S24)的处理流 程。首先，计算由四条边形成的四边形的四个角的角度(S24-l)。
接下来，确定这四个角的所有角度是否都在容许量范围内或者是否 存在不是包括在一条边中并且在容许量范围之外的两个角度(条件1-1)。 当满足条件1-1时(在S24-2中为"是")，确定不存在错误检测(S24-6)。
当不满足条件1-1时(在S24-2中为"否")，确定是否存在包括在一 条边中并且在容许量范围之外的两个角度(条件1-2)。当满足条件1-2 时(在S24-3中为"是")，将对应边确定为误检边(S24-7)。
当不满足条件1-2时(在S24-3中为"否")，确定是否存在在容许量 之外的一个或三个角度(条件1-3) (S24-4)。当满足条件1-3时(在S24-4 中为"是")，基于相对于对边的角度的计算来确定误检边(S24-8)。具体 地讲，基于相对于对边的平行关系，确定作为误检边概率最高的边(当 相对于对边的角度大于规定角度时)。
当不满足条件1-3时(在S24-4中为"否")，确定所有角度是否都在 容许量范围之外(条件1-4) (S24-5)。当满足条件1-4时(在S24-5中为 "是")，通过计算输入图像的角度来确定误检边(S24-9)。具体地讲，基
于分别相对于形成该四边形的边以及形成该输入图像的框的边的平行关 系，确定作为误检边概率最高的边。
当不满足条件1-4时(在S24-5中为"否")，或者当S24-6至S24-9 的处理终止时，该处理流程终止。 [四角检验(S26)]
图16示出了根据本实施方式的四角检验的实施例。通过检验四个 角，确定在四边形区域12中在四条边之中是否存在误检边，以及由这四 条边形成的四边形是否正确。
在该四角检验中，对嵌入有代码或在四个角设置有标记的四边形的 区别特征(例如，形成该四边形的各个角的L形图案)进行检测。
图17A和17B示出了本实施方式中的设置在四边形的四个角处的标 记的实施例。基于是否存在诸如示出的十字的区别特征，对这四个角进 行检验。当存在不具有区别特征的角时，四角检验被确定为失败，并且 将这两个相邻边之一确定为误检边。此外，当对另一角的四角检验失败 并且存在由两个误检角所共用的边时，将该边确定为误检边。当存在检 验失败的角并且无法确定误检边时，与形状检验的情况相似，基于其相 对于对边的平行关系以及其相对于输入图像的平行关系，来确定作为误 检边概率最高的边。随后，再次执行边检测。
图18示出了本实施方式中的四角检验(S26)的详细处理流程。首 先，检测四边形的四个角的区别特征(S26-l)。例如通过确定每个角的形 状是否为L形或者四个角中的每个角是否具有诸如十字(图17B)的规 定标记，来执行区别特征的检测。
接下来，确定对四个角的区别特征的检测是否成功或者对没有都包 括在一条边中的两个角的区别特征的检测是否失败(条件2-1)。当满足 条件2-l时(在S26-2中为"是")，确定不存在错误检测(S26-6)。
当不满足条件2-1时(在S26-2中为"否")，确定对包括在一条边中 的两个角的区别特征的检测是否失败(条件2-2)。当满足条件2-2时(在 S26-3中为"是")，将对应边确定为误检边(S24-7)。
当不满足条件2-2时(在S26-3中为"否")，确定对一个或三个角的
区别特征的检测是否失败(条件2-3) (S26-4)。当满足条件2-3时(在 S26-4中为"是")，基于相对于对边的角度的计算来确定误检边。具体地 讲，基于其相对于对边的平行关系来确定误检概率最高的边(当相对于 对边的角度大于规定角度时)。
当不满足条件2-3时(在S26-4中为"否")，确定对所有角度的区别 特征的检测是否都失败(条件2-4) (S26-5)。当满足条件2-4时(在S26-5 中为"是")，通过计算相对于输入图像的角度来确定误检边(S26-9)。具 体地讲，基于分别相对于形成该四边形的边以及形成输入图像的框的边 的平行关系，来确定误检概率最高的边。
当不满足条件2-4时(在S26-5中为"否")，或者当S26-6至S26-9 中的处理终止时，该处理流程终止。
图19示出了本实施方式中的边再检测的实施例。如图19所示，当 在形状检验处理(S24)中或在四角检验处理(S26)中确定存在错误检 测并且确定了作为误检边的边R1时，将紧邻边R1的、比边R1更靠近 外周并且通过边检测处理检测到的边R2当作新边进行处理，并且将临时 四边形修改为由T1、 Bl、 L1和R2形成的四边形。
图20示出了本实施方式中的边再检测处理(S28)的详细处理流程。 首先，记录发生了错误检测的过渡点的坐标组合(S28-l)。接下来，获得 紧邻(在最靠近中心的边上)在S28-l中记录了坐标的过渡点并且位于 对应边缘检测线上的过渡点的坐标，并且选择这些过渡点的组合 (S28-2)。
接下来，通过采用最小二乘法，根据所选择的过渡点坐标的组合来 计算近似线(S28-3)。
接下来，确定各过渡点坐标与该近似线之间的长度是否在容许量内 (S28-4)。当各过渡点坐标与该近似线之间的长度大于容许量范围时(在 S28-4中为"否")，选择紧邻最靠近中心的边上的当前组合的过渡点坐标 的组合(S28-2)，并且执行S28-3中的处理。当选择过渡点坐标的组合时， 可以通过用相同边缘检测线上紧邻最靠近中心的边上的当前过渡点的过
渡点的坐标来替换满足"各过渡点坐标与近似线之间的长度大于容许量 范围"的过渡点的坐标，来选择一个新的过渡点坐标组；此外，紧邻(在 最靠近中心的边上)用作近似线的起点的过渡点组的坐标的过渡点坐标 的组合可以是该个新的过渡点坐标组。
当各过渡点坐标与该近似线之间的长度小于等于容许量时(在S28-4 中为"是")，将该近似线确定为边候选项(S28-5)。
图21示出了执行本实施方式中的图像区域检测程序的计算机的硬 件环境的构造的框图。在图21中，计算机20包括CPU 22、只读存储 器(ROM)单元23、随机存取存储器(RAM)单元26、通信接口 (在 下文中称作为I/F) 24、记录单元27、输出I/F 21、输入I/F 25、可移动 记录介质读取装置28、所有以上部件所连接的总线29、连接到输出I/F 21 的输出装置30以及连接到输入I/F 25的输入装置31 。
作为记录单元27，可使用诸如硬盘、磁盘、闪速存储器单元等的各 种类型的记录装置。基于在以上实施方式中解释的以上流程图的程序被 记录在记录单元27或ROM单元23中。另外，阈值、用于形状检测的图 案以及在以上实施方式中使用的区别特征检测被记录在记录单元27中。
例如，根据本实施方式的程序可以被记录在记录单元27中，通过网 络32或通信I/F 24由程序提供方提供该程序。另外，该程序能够由CPU 22执行，记录在可买到的可移动记录介质中，并且由可移动记录介质读 取装置28读取。作为可移动记录介质，可以使用诸如CD-ROM、软盘、 光盘、磁光盘和IC卡的各种类型的记录介质，并且由可移动记录介质读 取装置28来读取记录在这种记录介质中的程序。
另外，作为输入装置31，可以使用键盘、鼠标、电子照相机、麦克 风、扫描仪、传感器、写字板等。另外，作为输出装置30，可以使用显 示装置、打印机、扬声器系统等。另夕卜，网络32可以是诸如互联网、LAN、 WAN、专用线路、有线网络、无线网络、公共线路网络等的通信网络。
根据用于检测嵌入了代码的图像的图像区域检测方法的传统技术， 区域检测会根据背景区域的设计和布置而失败。然而，根据基于本发明 的图像区域检测方法，能够不受背景区域的设计或布置的影响地正确检
测到目标区域，从而提高了包括嵌入了代码的图像的纸张的设计和布置 的自由度。另外，较小量的计算允许区域的高速检测；因此，本发明还
可以应用于诸如PDA (个人数字助理)或移动电话的处理能力低的装置。
在本实施方式中，已经解释了这样的实施例，其中，在第二图像上 检测与嵌入了代码的第一图像相对应的四边形区域。然而，本发明的范 围不限于该实施例，并且当利用四个角的区别特征来检测第一图像时， 第一图像不必包括嵌入于其中的代码。
本发明的范围不限于以上实施方式，并且在不脱离本发明的精神的 情况下可以采用各种构造和形式。
通过应用本发明，即使必须检测的四边形包括在另一四边形中时， 也可以正确地检测到作为检测目标的在内四边形。另外，通过应用本发 明，即使诸如移动终端的处理能力低的装置也能够高速检测四个角的坐标。
权利要求
1、一种图像区域检测方法，该图像区域检测方法用于在第二图像中检测四边形区域，所述第二图像是通过拍摄四边形的第一图像而获得的，并且所述第二图像包括作为与所述第一图像相对应的图像区域的所述四边形区域，所述图像区域检测方法包括以下步骤在从设置为初始点的多个像素向所述第二图像的外周进行扫描时相邻像素之间的像素值差超过阈值的情况下，将一个像素检测为过渡点，所述初始点位于距所述第二图像的中心的一定范围内；假定存在逐个地从各个过渡点检测线中获得的过渡点的组合，所述过渡点检测线朝向相同方向并且是基于在所述第二图像上沿四个方向执行的过渡点检测的一组过渡点检测线的成员，所述四个方向为两个垂直方向和两个水平方向，则按基于所述过渡点的各个组合创建四边形的边，并且从沿各方向创建的所述边之中将最靠近所述初始点的那些边检测为所述四边形的边的候选项；以及基于由已检测到的四个候选边形成的四边形，确定检测到的边是否是误检边，并且当确认所述边是误检边时，执行对边的候选项的再检测。
2、 如权利要求l所述的图像区域检测方法，其中，在执行对边的候 选项的再检测的情况下检验由针对所述边而检测到的四个候选项形成的四边形的形状，并 且由此确定在所述四条边中是否存在误检边，并且当存在误检边时，确定该误检边；以及检验由所述四条边形成的四边形的四个角的区别特征，并且由此确 定在所述四条边中是否存在误检边，并且当存在误检边时，确定该误检 边。
3、 如权利要求2所述的图像区域检测方法，其中，在执行对边的候选项的再检测的情况下当确定了所述误检边时，将基于比所述误检边更靠近所述第二图像 的外周的最接近组合中的过渡点而创建的边进一步检测为所述边的候选 项。
4、 如权利要求l所述的图像区域检测方法，该图像区域检测方法还 包括该步骤当不存在误检边时，检测由所述四条边形成的四边形的四个角的坐标。
5、 如权利要求l所述的图像区域检测方法，其中 在计算同一条过渡点检测线上的相邻像素之间的像素值差的情况下，当检测到过渡点时，按对应像素的各分量的特定顺序计算所述差。
6、 如权利要求l所述的图像区域检测方法，其中 边的候选项是基于所述各个组合中的过渡点而创建的近似线，所述近似线与根据其而创建了所述近似线的过渡点的距离在特定容许量内， 并且当检测所述四条边的候选项时，所述近似线是最靠近所述初始点的 近似线。
7、 如权利要求2所述的图像区域检测方法，其中 确定在所述四条边中是否存在误检边，该确定是在检验所述四边形的形状时基于由针对所述边而检测到的四个候选项形成的四边形的内角 是否在特定范围内而作出的。
8、 如权利要求2所述的图像区域检测方法，其中由所述四条边形成的四边形的四个角中的每个角的区别特征是所述 四个角中的每个角的形状或设置在所述四边形区域的四个角中的每个角 处的特定标记，所述特定标记用以在对所述四个角的特殊性的检验中确 定所述第一图像。
9、 一种记录介质，该记录介质记录有图像区域检测程序，该图像区 域检测程序用于使计算机执行用于在第二图像上检测四边形区域的处 理，所述第二图像是通过拍摄四边形的第一图像而获得的，并且所述第 二图像包括作为与所述第一图像相对应的图像区域的所述四边形区域， 所述记录介质包括过渡点检测处理，在从设置为初始点的多个像素向所述第二图像的 外周进行扫描时相邻像素之间的像素值差超过阈值的情况下，将一个像 素检测为过渡点，所述初始点位于距所述第二图像的中心的一定范围内； 四边候选项检测处理，假定存在逐个地从各个过渡点检测线中获得 的过渡点的组合，所述过渡点检测线朝向相同方向并且是基于在所述第 二图像上沿四个方向执行的过渡点检测的一组过渡点检测线的成员，所 述四个方向为两个垂直方向和两个水平方向，则按基于所述过渡点的各 个组合创建四边形的边，并且从沿各方向创建的所述边之中将最靠近所 述初始点的那些边检测为所述四边形的边的候选项；以及边再检测控制处理，基于由已检测到的四个候选边形成的四边形， 确定检测到的边是否是误检的，并且当确认所述边是误检边时，执行对 边的候选项的再检测。
10、 如权利要求9所述的记录介质，其中，所述边再检测控制处理 包括形状检验处理，基于由针对所述边而检测到的四个候选项形成的四 边形的形状，来确定在所述四条边中是否存在误检边，并且当存在误检 边时，确定该误检边；以及四角检验处理，基于由针对所述边而检测到的四个候选项形成的四 边形的四个角的区别特征，来确定在所述四条边中是否存在误检边，并 且当存在误检边时，确定该误检边。
11、 如权利要求10所述的记录介质，其中，所述边再检测控制处理还包括边再检测处理，当确定了所述误检边时，将基于比所述误检边更靠 近所述第二图像的外周的最接近组合中的过渡点而创建的边检测为所述 边的候选项。
12、 如权利要求9所述的记录介质，其中，所述记录介质还包括 四角坐标检测处理，当不存在误检边时，检测由所述四条边形成的四边形的四个角的坐标。
13、 如权利要求9所述的记录介质，其中在计算同一过渡点检测线上的相邻像素之间的像素值差时，所述过 渡点检测处理按特定顺序计算像素的各分量的像素值差。
14、 如权利要求9所述的记录介质，其中在所述四边候选项检测处理中，边的候选项是基于所述各个组合中 的过渡点而创建的近似线，所述近似线与根据其而创建了所述近似线的 过渡点的距离在特定容许量内，并且所述近似线是最靠近所述初始点的 近似线。
15、 如权利要求10所述的记录介质，其中在所述形状检验处理中，基于由针对所述边而检测到的四个候选项 形成的四边形的内角是否在特定范围内，来确定在所述四条边中是否存 在误检边。
16、 如权利要求IO所述的记录介质，其中在所述四角检验处理中，由所述四条边形成的四边形的四个角的区 别特征是所述四个角中的每个角的形状或设置在所述四边形区域的四个 角中的每个角处的特定标记，所述特定标记用以确定所述第一图像。
17、 一种图像区域检测装置，该图像区域检测装置用于在第二图像 中检测四边形区域，所述第二图像是通过拍摄四边形的第一图像而获得 的，并且所述第二图像包括作为与所述第一图像相对应的图像区域的所 述四边形区域，所述图像区域检测装置包括过渡点检测单元，在从设置为初始点的多个像素向所述第二图像的 外周进行扫描时相邻像素之间的像素值差超过阈值的情况下，将一个像 素检测为过渡点，所述初始点位于距所述第二图像的中心的一定范围内；四边候选项检测单元，假定存在逐个地从各个过渡点检测线中获得 的过渡点的组合，所述过渡点检测线朝向相同方向并且是基于在所述第 二图像上沿四个方向执行的过渡点检测的一组过渡点检测线的成员，所 述四个方向为两个垂直方向和两个水平方向，则按基于所述过渡点的各 个组合创建四边形的边，并且从沿各方向创建的所述边之中将最靠近所述初始点的那些边检测为所述四边形的边的候选项；以及边再检测控制单元，基于由已检测到的四个候选边形成的四边形， 确定检测到的边是否是误检边，并且当确认所述边i误检边时，执行对 边的候选项的再检测。
18、 如权利要求17所述的图像区域检测装置，其中，所述边再检测 控制单元包括形状检验单元，基于由针对所述边而检测到的四个候选项形成的四 边形的形状，来确定在所述四条边中是否存在误检边，并且当存在误检 边时，确定该误检边；以及四角检验单元，基于由针对所述边而检测到的四个候选项形成的四 边形的四个角的区别特征，来确定在所述四条边中是否存在误检边，并 且当存在误检边时，确定该误检边。
19、 如权利要求18所述的图像区域检测装置，其中，所述边再检测控制单元还包括边再检测单元，当确定了所述误检边时，将基于比所述误检边更靠 近所述第二图像的外周的最接近组合中的过渡点而创建的边检测为所述 边的候选项。
20、 如权利要求17所述的图像区域检测装置，该图像区域检测装置还包括四角坐标检测单元，当不存在误检边时，检测由所述四条边形成的 四边形的四个角的坐标。
全文摘要
本发明提供了图像区域检测方法、记录介质及其装置。使用根据本发明的图像区域检测方法，基于在具有特定宽度的线上、从内部点开始朝向输入图像中的四边形区域的外周执行的边缘检测的结果，来执行沿四个方向(垂直和水平方向)的边检测，并且检验由检测到的四条边形成的四边形的形状和四个角。由此，当存在误检边时，对比该误检边更靠近外周的边进行再检测，从而能够高速形成该四边形区域。
文档编号H04N1/00GK101155238SQ20071016166
公开日2008年4月2日 申请日期2007年9月27日 优先权日2006年9月27日
发明者酒井宪一郎, 野田嗣男, 铃木源太 申请人:富士通株式会社