彩色图表检测装置、彩色图表检测方法以及彩色图表检测用计算机程序的制作方法
【专利摘要】本发明提供一种从具有按照规定的排列配置的多个调色板的彩色图表所映现出的图像，对该彩色图表进行检测的彩色图表检测装置。该彩色图表检测装置针对至少三个以上的规定数量的调色板，分别从图像提取具有与该调色板相当的颜色成分的像素，将规定数量的调色板中至少三个调色板设为第一组，在从针对该第一组所包含的调色板分别提取出的像素中按各个调色板选择出的像素的组合按照调色板的规定的排列并排的情况下将该组合所包含的像素检测为存在第一组的对应的调色板映现的可能性的候补像素，基于候补像素来求得表示与该候补像素对应的调色板的图像上的颜色的颜色信息以及表示该调色板的图像上的位置的位置信息。
【专利说明】彩色图表检测装置、彩色图表检测方法以及彩色图表检测用计算机程序
【技术领域】
[0001]本发明涉及例如对在图像映现的彩色图表进行检测的彩色图表检测装置、彩色图表检测方法以及彩色图表检测用计算机程序。
【背景技术】
[0002]以往，为了对图像的颜色进行修正而利用了彩色图表。彩色图表具有多个调色板，在各调色板附加有相互不同的颜色。按每个调色板，在彩色图表所映现的图像中对该调色板所映现的区域的颜色与实际的调色板的颜色进行比较，从而对在生成图像时产生的色调变化进行测定。而且，以消除该色调变化的方式对图像进行颜色修正，从而使映现在图像的被拍摄体的色调成为自然的色调。
[0003]为了进行适当的颜色修正，需要对各调色板在图像上的位置进行确定。以往，用户通过视觉辨认显示于显示器的图像，对彩色图表的各调色板在图像上映现的区域进行确定，从而将指定各个调色板映现的位置以及范围的信息输入执行颜色修正的装置。但是，用户自身指定调色板的位置以及范围这对用户而言是烦杂的。因此，提出有用于对映现在图像的彩色图表进行检测的各种技术(例如，参照专利文献I?3)。
[0004]例如，在专利文献I中公开有对彩色图表映现的图像进行模式匹配来对彩色图表的位置进行检测的内容。
[0005]另外，在专利文献2中公开有将取样得到的图像信号转换成色度信号，对该色度信号的分布形状进行调查，从而对是否为彩色图表图像进行判定的技术。
[0006]另外，在专利文献3中提出有从拍摄配置有颜色参照模式的二维码得到的图像对其颜色参照模式进行确定，从而提取该颜色信息并利用于颜色修正的技术。
[0007]专利文献1:日本特开2002-152768号公报
[0008]专利文献2:日本特开平6-70345号公报
[0009]专利文献3:日本特开2010-226580号公报
[0010]然而，模式匹配的运算量较大。特别地，若不存在对彩色图表的位置进行确定的信息，则对彩色图表进行检测的装置以扫描图像整体的方式一边改变与相对于图像的彩色图表对应的模板的位置一边对匹配度进行调查。因此，用于对彩色图表的位置进行确定的运算量变得庞大。另一方面，在便携式电话机之类的便携终端或者数字照相机对彩色图表进行检测的情况下，因功率消耗等的制约，优选运算量尽量少。另外，在便携终端或者数字照相机中，能够利用于彩色图表的检测的硬件资源也有限，因此运算量越多，彩色图表的检测所需的时间也越长，从而用户的便利性降低。
[0011]另外，专利文献2所公开的技术基于颜色分布的统计量来对彩色图表是否映现进行判定，不对彩色图表在图像上的位置进行确定。并且，彩色图表往往与其他的被拍摄体一同被拍摄，在上述那样的情况下，彩色图表在图像上中占据的区域比其他的被拍摄体或者背景所占据的区域小。从上述那样的图像求得的颜色分布的形状与其说是被彩色图表左右还不如说是被其他的被拍摄体或者背景的颜色分布所左右，因此专利文献2所公开的技术存在无法对彩色图表是否映现进行准确地判定的担忧。
[0012]另外，在专利文献3所公开的技术中，为了对彩色图表在图像上的位置进行确定，而预先对形状明确的二维码进行检测。但是，在该技术中，需要在二维码设置彩色图表，仅通过彩色图表本身无法对彩色图表在图像上的位置进行检测。另外，彩色图表具有的各个调色板具有矩形之类的通常的形状，调色板本身一样。因此，作为彩色图表具有的特征的形状，仅在各调色板的角部周围存在差别，上述的角部往往也包含于与彩色图表一同被拍摄的被拍摄体。因此，若欲基于彩色图表的形状特征从图像对该彩色图表进行检测，则存在无法获得充分的检测精度的担忧。
【发明内容】
[0013]因此，本说明书的目的在于提供一种能够抑制运算量并且对映现在图像的彩色图表进行检测的彩色图表检测装置。
[0014]根据一个实施方式，提供一种从具有按照规定的排列被配置的多个调色板的彩色图表映现的图像对该彩色图表进行检测的彩色图表检测装置。该彩色图表检测装置具有:调色板颜色像素提取部，调色板颜色像素提取部针对多个调色板中至少三个以上的规定数量的调色板分别从图像提取具有与该调色板相当的颜色成分的像素；组合检测部，组合检测部将规定数量的调色板中至少三个调色板设为第一组，在从针对该第一组所包含的调色板分别提取出的像素中按每个调色板选择出的像素的组合按照调色板的规定的排列并排的情况下，将该组合所包含的像素检测为存在第一组的对应的调色板映现的可能性的候补像素；以及调色板信息计算部，调色板信息计算部基于候补像素，来求得表示与该候补像素对应的调色板在图像上的颜色的颜色信息以及表示该调色板在图像上的位置的位置信息。
[0015]本发明的目的以及优点通过权利要求书中被特别指出的元件以及组合来实现并且达成。
[0016]上述通常的叙述以及下述详细的叙述均是例示性并且说明性的例子，希望理解为不如权利要求书那样对本发明进行限定。
[0017]本说明书所公开的彩色图表检测装置能够抑制运算量并且对映现在图像的彩色图表进行检测。
【专利附图】
【附图说明】
[0018]图1是组装有彩色图表检测装置的拍摄装置的构成图。
[0019]图2是表不彩色图表的一个例子的图。
[0020]图3是基于第一实施方式的彩色图表检测装置的构成图。
[0021]图4是表示彩色图表信息的一个例子的图。
[0022]图5(A)是表不彩色图表映现的图像的一个例子的图。图5(B)是表不从图5(A)所示的图像提取的、表示具有与附加了绿色的调色板相当的颜色成分的像素的集合的调色板候补区域图像的图。图5(C)是表示从图5(A)所示的图像提取的、表示具有与附加了红色的调色板相当的颜色成分的像素的集合的调色板候补区域图像的图。图5(D)是表示从图5(A)所示的图像提取的、表示具有与附加了黄色的调色板相当的颜色成分的像素的集合的调色板候补区域图像的图。
[0023]图6㈧?图6 (C)分别是表示从拍摄彩色图表得到的图像针对三个调色板提取出的像素的集合的调色板候补区域图像的示意图。图6(D)是将在图6(A)?图6(C)所示的调色板候补区域图像中提取出的像素表示成一个图像的示意图。
[0024]图7是组合检测处理的动作流程图。
[0025]图8(A)是表示从彩色图表选择的调色板的组合的一个例子的图，图8(B)是彩色图表映现的图像的不意图。
[0026]图9 (A)是表示针对生成为相对于包含三个调色板kl?k3的调色板的组合的组合检测处理的结果的调色板k2而生成的输出图像的一个例子的图。图9(B)是表示针对生成为相对于包含调色板k2的其他调色板的组合的组合检测处理的结果的调色板k2而生成的输出图像的其他的一个例子的图。图9(C)是表示图9(A)所示的输出图像与图9(B)所示的输出图像的积图像的一个例子的图。
[0027]图10是基于第一实施方式的彩色图表检测处理的动作流程图。
[0028]图11是基于第二实施方式的彩色图表检测装置的构成图。
[0029]图12是外推处理的动作流程图。
[0030]图13是基于第三实施方式的彩色图表检测装置的构成图。
[0031]图14是基于第三实施方式的彩色图表检测处理的动作流程图。
[0032]图15是通过实现基于各实施方式或者其变形例的彩色图表检测装置的各部分的功能的计算机程序动作，作为彩色图表检测装置动作的计算机的构成图。
【具体实施方式】
[0033]以下，参照附图，对基于几个实施方式的彩色图表检测装置进行说明。
[0034]该彩色图表检测装置从彩色图表映现的图像，分别提取具有与包含彩色图表所包含的多个调色板中特定调色板的几个调色板相当的颜色的区域。而且该彩色图表检测装置将与包含特定调色板的调色板组合的各个调色板的颜色相当的区域中的、与调色板的排列一致的区域检测为实际上存在调色板映现的可能性的区域。而且该彩色图表检测装置针对包含特定调色板的多个组合进行相同的处理，将针对全部组合检测为存在该特定调色板映现的可能性的区域判定为该特定调色板映现的区域。
[0035]图1是组装有基于各实施方式或者其变形例的彩色图表检测装置的拍摄装置的简要构成图。拍摄装置I例如是搭载了照相机的便携式电话机、或者数字照相机。如图1所示，拍摄装置I具有:照相机模块2、操作部3、显示部4、存储部5、彩色图表检测装置6以及控制部7。并且，为了将拍摄装置I与计算机或者电视之类的其他机器连接，拍摄装置I也可以具有与通用串行总线等串行总线规格适应的接口电路(未图示)。另外，控制部7与拍摄装置I的其他各部分例如被总线连接。
[0036]照相机模块2具有:图像传感器，其具有配置为二维状的固体拍摄元件的阵列；以及拍摄光学系统，其使被拍摄体的像在该图像传感器上成像。而且照相机模块2根据从控制部7通知的光阑直径以及快门速度对被拍摄体进行拍摄，生成该被拍摄体的像映现的图像。而且照相机模块2使该图像存储于存储部5。在本实施方式中，在被拍摄体包含有彩色图表。
[0037]另外，在本实施方式中，被生成的图像是以RGB色彩体系表示，在各颜色中具有8位灰度的彩色图像。
[0038]此外，表示各颜色成分的灰度的位数不限定于8位，例如，也可以为4位或者10位。另外，成为彩色图表检测对象的图像也可以是以其他色彩体系表示的彩色图像。
[0039]图2是表示彩色图表的一个例子的图。在图2所示的彩色图表200中，横6列X纵4列地排列有合计24个调色板201。各个调色板201分别具有矩形形状,并附加有相互不同的颜色。而且，纵向邻接的两个调色板的中心间距是a，另一方面横向邻接的两个调色板的中心间距是b。
[0040]操作部3例如具有用于供用户操作拍摄装置I的各种操作按钮或者拨码开关。而且操作部3根据用户的操作将用于设定拍摄或者聚焦的开始等控制信号或者快门速度、光阑直径等设定信号发送至控制部7。
[0041]显示部4例如具有液晶显示装置之类的显示装置，显示从控制部7接收的各种信息或者由照相机模块2生成的图像。此外，操作部3与显示部4例如也可以使用触摸面板显不器而一体地形成。
[0042]存储部5例如具有能够读写的易失性或者非易失性半导体存储器电路。而且存储部5对从照相机模块2接收的图像进行存储。另外，存储部5通过来自彩色图表检测装置6的读取要求将图像转发给彩色图表检测装置6，另外存储部5也可以对从彩色图表检测装置6接收的各调色板的颜色信息以及位置信息进行存储。并且，在彩色图表检测装置6具有的各功能通过在控制部7具有的处理器上执行的计算机程序来实现的情况下，也可以对该计算机程序以及在彩色图表检测处理中利用的各种的数据进行存储。
[0043]彩色图表检测装置6从由照相机模块2生成的图像对彩色图表进行检测。而且彩色图表检测装置6将该图像上彩色图表的各调色板的位置信息以及颜色信息通知给控制部7。此外，对彩色图表检测装置6的详细进行后述。
[0044]控制部7具有至少一个处理器及其周边电路，而对拍摄装置I整体进行控制。例如，控制部7根据从操作部3接收的设定信号以及被拍摄体的曝光量对快门速度或者光阑直径进行设定。另外控制部7也可以对由照相机模块2生成的图像执行边缘强调或者对比度强调之类的处理。或者，控制部7也可以对该图像基于从彩色图表检测装置6接收的特定调色板映现的区域的颜色信息对颜色修正处理进行调整。
[0045]以下，对彩色图表检测装置6的各构成要素进行说明。图3表示彩色图表检测装置6的构成图。彩色图表检测装置6具有:存储器10、颜色转换部11、调色板颜色像素提取部12、组合检测部13、综合判定部14以及调色板信息计算部15。
[0046]彩色图表检测装置6具有的上述各部分形成为集成与其各部分对应的电路的一个集成电路。另外，彩色图表检测装置6具有的上述各部分也可以分别形成为独立的电路。
[0047]存储器10例如具有读取专用非易失性的半导体存储器电路以及能够读写的易失性半导体存储器电路。而且存储器10对彩色图表检测装置6从图像检测彩色图表所使用的各种数据，例如针对成为检测对象的彩色图表的信息以及表示用于检测调色板的调色板组合的信息等进行存储。另外，存储器10对在彩色图表检测处理的执行过程中所获得的各种中间计算结果，例如表示具有与各个调色板相当的颜色的像素的集合亦即调色板候补区域的调色板候补区域图像进行存储。此外，对上述的各种信息以及调色板候补区域图像的详细进行后述。
[0048]颜色转换部11将由照相机模块2生成的图像的色彩体系从RGB色彩体系转换成HSV色彩体系。为此，颜色转换部11根据下式对图像的各像素的值进行转换。
[0049][式I]
'G-B
60X.———if MAX = R
MAX — MtN
B ~~ R
[0050]/7 = ^ 60 X——:-+120 if MAX = Ci⑴
MAX-MIN
R-G
60 K ^^^^ + 240 if MAX = B
、 MAX — MIN
r ? o MAX —MlN
[0051]S =...................................................................MAJC
[0052]V = MAX
[0053]此处，R、G、B分别表示转换前的像素的红色成分、绿色成分以及蓝色成分。另外，MAX、MIN分别表示转换前的像素的红色成分、绿色成分以及蓝色成分中的最大值以及最小值。而且，H、S、V分别表示转换后的像素的色相、彩度以及明度。
[0054]颜色转换部11将以HSV色彩体系表示的图像输出至调色板颜色像素提取部12。
[0055]此外，在彩色图表检测装置6读入的图像最初以HSV色彩体系表示的情况下，也可以省略颜色转换部11。
[0056]调色板颜色像素提取部12针对每个调色板从以HSV色彩体系表示的彩色图表所映现的图像提取具有与该调色板的颜色相当的颜色成分的像素，生成表示该提取出的像素的集合亦即调色板候补区域的调色板候补区域图像。
[0057]为此，调色板颜色像素提取部12参照存储于存储器10的彩色图表信息，对该彩色图表信息所示的、检测对象调色板的H、S、V各自的成分的代表值进行确定。
[0058]图4是表不彩色图表信息的一个例子的图。在该例中，彩色图表信息400表不为I维矢量。而且在前端的要素401储存有横向邻接的两个调色板的中心间距b相对于纵向邻接的两个调色板的中心间距a的比，即调色板的纵横比(b/a)。从要素401的下一个开始，以五个要素为一组，例如按光栅扫描顺序储存各调色板的信息。例如，在与要素401后续的五个要素分别储存有左上端的调色板I的H成分的代表值H(I)、S成分的代表值S (I)、V成分的代表值V(l)、与从彩色图表上的左端开始的调色板的配置顺序以及从上端开始的调色板的配置顺序。
[0059]调色板颜色像素提取部12以各成分的代表值为中心设定检测范围。例如，调色板颜色像素提取部12针对H成分，以距H成分的代表值土 10度的范围为检测范围。相同地，调色板颜色像素提取部12针对S成分，以距S成分的代表值±50的范围为检测范围，针对V成分，以距V成分的代表值±80的范围为检测范围。此外，检测范围只要根据照相机模块2的特性适当地设定为调色板在图像上映现的像素的各成分包含于其检测范围内即可，也可以相对于各成分的代表值不对称。
[0060]调色板颜色像素提取部12针对成为检测对象的调色板，按图像的各像素来判定该像素的各成分是否包含于针对该调色板设定的检测范围内。而且在像素的任意成分均包含于检测范围的情况下，调色板颜色像素提取部12针对成为检测对象的调色板提取该像素。
[0061]调色板颜色像素提取部12为了表示针对成为检测对象的调色板提取的各像素，生成调色板候补区域图像。调色板候补区域图像例如是尺寸与彩色图表映现的图像相同的灰色图像或者2值图像，将与被提取的像素相同位置的像素的值设为‘I’，将其他的像素的值设为‘O’。
[0062]图5(A)是表示彩色图表映现的图像的一个例子的图。在图5(A)中，在图像500映现有成为检测对象的彩色图表501。在彩色图表501包含附加绿色的调色板502、附加红色的调色板503、以及附加黄色的调色板504。
[0063]图5 (B)表示从图5 (A)所示的图像500提取的、表示具有与附加绿色的调色板502相当的颜色成分的像素的集合的调色板候补区域图像510。相同地，图5(C)表示从图5(A)所示的图像500提取的、表示具有与附加红色的调色板503相当的颜色成分的像素的集合的调色板候补区域图像520。另外，图5(D)表示从图5(A)所示的图像500提取的、表示具有与附加黄色的调色板504相当的颜色成分的像素的集合的调色板候补区域图像530。在各调色板候补区域图像510?530中，以白色表示的像素表示被提取的像素。如图5(B)?图5(D)所示，在各调色板候补区域图像中，提取出了成为检测对象的调色板502?504映现的像素。另外，在各调色板候补区域图像中，可知还提取出了具有与附加于成为检测对象的调色板的颜色接近的颜色的背景映现的像素。
[0064]调色板颜色像素提取部12将针对各调色板生成的调色板候补区域图像存储于存储器10。
[0065]彩色图表具有的调色板的排列预先决定，因此即便在图像上，各调色板映现的像素也应该与其排列适应。另一方面，往往在彩色图表以外映现在图像的图表也具有与某调色板的颜色相似的颜色。于是，还提取出与具有与该调色板的颜色相似的图表映现的像素。但是，上述像素与调色板的排列无关地并排。
[0066]参照图6 (A)?图6 (D)对该情况进行说明。图6 (A)?图6 (C)分别是表示从拍摄了从左按顺序以调色板kl、k2、k3的顺序并排的彩色图表的图像针对调色板kl?k3提取的像素的集合的调色板候补区域图像610?630的示意图。在调色板候补区域图像610中，提取调色板kl映现的区域611与具有和调色板kl的颜色相似的颜色的背景部分映现的区域612。同样地，在调色板候补区域图像620中，提取调色板k2映现的区域621与具有和调色板k2的颜色相似的颜色的背景部分映现的区域622。另外在调色板候补区域图像630中，提取调色板k3映现的区域631与具有和调色板k3的颜色相似的颜色的背景部分映现的区域632。
[0067]图6 (D)是将在调色板候补区域图像610?630中提取的像素表示成一个图像640的示意图。从调色板kl?k3映现的区域611、621以及631分别取出的任意像素615、625、635按照其调色板kl?k3的排列从左到右按顺序并排。另一方面，从背景部分映现的区域612,622以及632分别取出的任意像素616、626、636以与调色板kl?k3的排列不同的顺序并排。因此,可知在区域612、622以及632调色板kl?k3未映现。
[0068]因此，组合检测部13针对包含三个以上的调色板的调色板的组合、即调色板的组从按每个调色板提取的像素分别各选择一个像素，对已选择的像素是否遵从上述调色板的排列进行调查。由此，组合检测部13对针对该组合所包含的各调色板提取的像素中的、实际上存在调色板映现的可能性的像素进行检测。
[0069]此外，从拍摄装置I至彩色图表的距离未知，因此图像上彩色图表的尺寸以及调色板之间的距离不详。但是，某两个调色板之间的距离与其他两个调色板之间的距离的比不取决于从拍摄装置I至彩色图表的距离，是不变的。
[0070]因此，组合检测部13基于从与所注目的调色板的组合所包含的调色板中的两个调色板对应的调色板候补区域分别选择的像素之间的距离与调色板之间的距离之比，对其他的调色板映现的像素的位置进行推断。而且组合检测部13在已推断的位置的像素包含于其他调色板的调色板候补区域的情况下，判定为该已选择的像素以及已推断的位置的像素的调色板映现的可能性较高。
[0071]图7是通过组合检测部13执行的组合检测处理的动作流程图。
[0072]组合检测部13针对包含三个以上调色板的调色板组合，从各个调色板候补区域图像中，从调色板候补区域所包含的像素数量较少的一方开始按顺序选择两个调色板候补区域图像(步骤S101)。例如，在图6(A)?图6(C)所示的各调色板候补区域图像中，与调色板kl对应的调色板候补区域图像610和与调色板k3对应的调色板候补区域图像630所包含的像素的数量较少。因此，选择调色板候补区域图像610与调色板候补区域图像630。由此，要选择的像素的组数最小，因此组合检测部13能够抑制运算量的增加。
[0073]组合检测部13从已选择的两个调色板候补区域图像的调色板候补区域分别各选择一个像素为未选择的像素的组(步骤S102)。然后组合检测部13根据已选择的两个像素的位置关系和与包含上述两个像素的区域对应的调色板的排列，对组合所包含的剩余的调色板在图像上的位置进行推断(步骤S103)。
[0074]此处，对根据已选择的两个像素计算图像上剩余的调色板映现的像素的推断位置的方法进行说明。
[0075]首先，组合检测部13求得表示在图像上沿横向移动一个调色板大小的量的矢量(xUyl)以及表示在图像上沿纵向移动一个调色板大小的量的矢量(x2、y2)。其中，矢量的各要素xl、x2、yUy2分别以像素单位来表示。
[0076]在以彩色图表的横向成为与图像的横向平行的方式配置有彩色图表的情况下，从已选择的两个像素，根据下式来计算(xl、yl)以及(x2、y2)。
[0077][式2]
[0078](j2-jl) = xlX {Ph(k2)-Ph(kl)}(2)
[0079]yl = O
[0080]x2 = O
[0081 ] (i2-1 I) = y2X {Pv (k2) -Pv (kl)}
[0082]其中，(jl、il)分别表示针对调色板kl选择的像素的横向的坐标与纵向的坐标。另外，(j2、i2)分别表示针对调色板k2选择的像素的横向的坐标与纵向的坐标。另夕卜，Ph(kl)、Ph(k2)分别表示从调色板kl、k2的彩色图表上的左端开始的调色板数。而且Pv(kl)、Pv(k2)分别表示从调色板kl、k2的彩色图表上的上端开始的调色板数。
[0083]接下来，参照附图对彩色图表的横向与图像的横向不是平行的情况进行说明。
[0084]图8 (A)是表示从彩色图表800选择的调色板的组合的一个例子的图，图8 (B)是彩色图表800映现的图像810的示意图。在该例子中，选择从彩色图表800的左端数第二列且从上端数第二行的调色板kl{Ph(kl) = UPv(kl) = I}、从左端数第六列且从上端数第三行的调色板k2{Ph(k2) =5、Pv(k2) =2}、以及从左端数第四列且从上端数第四行的调色板k3{Ph(k3) =3、Pv(k3) =3}。而且，根据针对调色板kl的调色板候补区域所包含的像素与针对调色板k2的调色板候补区域所包含的像素对调色板k3映现的像素的位置进行推断。
[0085]此处,矢量(xl、yl)与表示调色板kl、k2之间的错位量的矢量(j2_jl、i2_il)所成的角Θ以下式来表示。
[0086][式3]
[0087]Θ = atan ([ {Pv (k2) -Pv (kl)} X a]
[0088]/ [ {Ph (k2) -Ph (kl)} X b]
[0089]= atan (qX a/b)
[0090](3)
[0091]q = {Pv (k2)-Pv (kl)} / {Ph (k2)-Ph (kl)}
[0092]其中，在{Ph(k2)-Ph(kl)}= 0 的情况下，
[0093]atan (qX a/b) = π /2
[0094]以(3)式表示的矢量(xl、yl)以及(j2-jl、i2_il)与角度Θ的关系如图8(B)所示即便在以彩色图表800倾斜的状态映现的图像810上也成立。另外，若将调色板kI与k2之间的距离设为L，则kl、k2之间的横向的距离、纵向的距离分别成为
[0095]L X cos (atan (q X a/b))
[0096]LX sin (atan (qX a/b))。
[0097]因此，沿横向、纵向移动一个调色板大小的距离分别成为以kl、k2之间的横向的调色板数以及纵向的调色板数除去上述横向距离以及纵向距离的值。另外，在图像810上，L相当于像素(jl、il)与像素(j2、i2)之间的距离。因此下式成立。
[0098][式4]
[0099]sqrt{(j2_jl)*(j2_jl) + (i2_il)*(i2_il)}cosΘ = xlX {Ph (k2)-Ph (kl)}
[0100]sqrt{(j2_jl)*(j2_jl) + (i2_il)* (i2_il)}sin Θ = ylX {Ph (k2)-Ph (kl)}
[0101](4)
[0102]sqrt{(j2_jl)*(j2_jl) + (i2_il)*(i2_il)}cosΘ = χ2 X {Pv(k2)-Pv (kl)}
[0103]sqrt {(j2_jl) * (j2_jl) + (i2_il) * (i2_il)} sin Θ = y2X {Pv (k2) -Pv (kl)}
[0104]因此，在{Ph(k2)-Ph(kl)}不是0的情况下，矢量(xl、yl)以下式来计算。
[0105][式5]
[0106]X I = sqrt{(j2-jl)*(j2-jl) + (i2-1l)*(i2_il)}/{Ph(k2)-Ph(kl)}X cos(atan(qXa/b))
[0107]y I = sqrt{(j2-jl)*(j2-jl) + (i2_il)*(i2-1l)}/{Ph (k2) -Ph (kl)} X sin (atan (qX a/b))
[0108](5)
[0109]另外，在{Ph(k2)-Ph(kl)}为0的情况下，矢量(xUyl)以下式来计算。
[0110][式6]
[0111]xl = y2Xb/a
[0112]yl = -x2Xb/a
[0113](6)
[0114]另外,在{Pv(k2)_Pv(kl)}不是0的情况下,矢量(x2、y2)以下式来计算。
[0115][式7]
[0116]X 2 = sqrt{(j2-jl)*(j2-jl) + (i2-1l)*(i2_il)}/{Pv(k2)-Pv(kl)}X cos(atan(qXa/b))
[0117]y 2 = sqrt{(j2-jl)*(j2-jl) + (i2-1l)*(i2-1l)}/{Pv (k2) -Pv (kl)} X sin (atan (qX a/b))
[0118](7)
[0119]另外，在{Pv(k2)-Pv(kl)}为0的情况下，矢量(x2、y2)以下式来计算。
[0120][式8]
[0121]x2 = -ylXa/b
[0122]y2 = xlX a/b
[0123](8)
[0124]因此，调色板k3映现的像素的推断位置(j、i)以下式来计算。
[0125][式9]
[0126]j = xlX {Ph (k3) -Ph (kl)} +x2 X {Pv (k3) -Pv (kl)}
[0127]i = ylX {Ph (k3) -Ph (kl)} +y2 X {Pv (k3) -Pv (kl)}(9)
[0128]
[0129]此外，当在组合包含有四个以上的调色板的情况下，组合检测部13也同样地只要根据(9)式，在与已选择的两个像素对应的调色板以外的剩余的各个调色板求得该调色板映现的像素的推断位置即可。
[0130]若再次参照图7，则组合检测部13判定已推断的位置(j、i)的像素是否包含于针对组合的剩余调色板的调色板候补区域(步骤S104)。此外，当在组合包含有四个以上的调色板的情况下，组合检测部13在每个剩余调色板，判定与该调色板对应的推断位置的像素是否包含于该调色板候补区域。若已推断的位置(j、i)的像素全部包含于调色板候补区域(步骤S104 —是)，则已选择的两个像素以及已推断的位置的像素分别成为存在调色板映现的可能性的候补像素。因此组合检测部13在表示存在与调色板对应的可能性的候补像素的输出图像中，将该已选择的两个像素以及已推断的位置的像素的值改写成表示存在调色板映现的可能性的值(例如‘I’)(步骤S105)。此外，输出图像例如是与调色板映现的图像相同尺寸的2值图像，在初始状态下，将全部像素设定为表示调色板未映现的值(例如‘O’)。输出图像在每个调色板生成一个。
[0131]另一方面，若即便是已推断的位置的像素的任意一个也不包含于调色板候补区域(步骤S104—否)，则在已选择的两个像素以及已推断的位置的像素中的至少任意一方，调色板不映现的可能性较高。在该情况下，组合检测部13未改写输出图像。
[0132]然后，组合检测部13针对已选择的两个调色板候补区域图像判定是否存在未选择的像素的组(步骤S106)。若存在未选择的像素的组(步骤S106 —是)，则组合检测部13反复步骤SlOl以下的处理。
[0133]另一方面，若不存在未选择的像素的组(步骤S106 —否)，则组合检测部13将各调色板的输出图像写入存储器10 (步骤S107)。
[0134]组合检测部13也可以改变调色板的组合，执行多次上述组合检测处理。此时，优选至少两个组合包含同一调色板。例如，设定三种组合，第一个组合G(I)包含调色板k(a)、k (b)、k (c)，第二个组合G (2)包含调色板k (a)、k (d)、k (e)，第三个组合G (3)包含调色板k(b)、k(f)、k(g)。在该情况下，通过组合G(I)与G(2)，对存在调色板k(a)映现的可能性的候补像素进行调查，通过组合G(I)与G(3)，对存在调色板k(b)映现的可能性的候补像素进行调查。
[0135]另外，在本实施方式中，组合检测部13将检测图像上的颜色以及位置的调色板包含于任意组合。
[0136]另一方面，包含于一个组合的调色板的数量越多，将调色板以外的图表映现的像素检测为候补像素的可能性越低。因此，包含于一个组合的调色板的数量越多，越能够减少执行组合检测处理的组合的数量。例如，若包含于一个组合的调色板的数量为彩色图表具有的调色板的总数的1/2以上，则组合检测部13只要仅针对一个组合执行组合检测处理即可。
[0137]组合检测部13按照每个执行组合检测处理的组合，来生成包含于该组合的每个调色板的输出图像，并将其输出图像存储于存储器10。
[0138]综合判定部14按照每个调色板，求得针对该调色板生成的多个输出图像的相同位置的像素的积。而且综合判定部14将该积成为‘I’的像素判定为该调色板映现的像素。
[0139]再次参照图6(A)?图6(D)。在图6(B)所示的调色板候补区域图像620中，在以虚线围起的位置也存在具有与调色板k2的颜色相似的颜色的背景部分映现的区域623。在该情况下，从背景部分映现的区域612、623以及632分别取出的任意像素616、627、636也以与调色板kl?k3的排列相同的顺序并排。因此，若针对仅包含调色板kl?k3的组合执行组合检测处理，则区域612、623以及632也被判定为存在调色板kl?k3映现的可能性。
[0140]图9 (A)是表示针对生成为相对于包含调色板kl?k3的调色板组合的组合检测处理的结果的调色板k2生成的输出图像的一个例子。另外图9(B)表示针对生成为相对于包含调色板k2的其他调色板组合的组合检测处理的结果的调色板k2生成的输出图像的其他的一个例子。而且图9(C)表示图9㈧所示的输出图像与图9(B)所示的输出图像的积图像。
[0141]在该情况下，如图9(A)所示，例如在相对于调色板k2的输出图像900中，不仅在区域621，在区域623也提取为存在调色板映现的可能性的像素的集合。但是，若针对包含调色板k2的其他调色板的组合进行组合检测处理，则例如如图9(B)所示的输出图像910那样，区域621被提取，但区域623未被提取的可能性增高。
[0142]因此，通过输出图像900与输出图像910求得相同位置的像素之间的积，从而如图9(C)所示的积图像920那样，实际上仅提取调色板k2映现的区域621的可能性增高。其结果，调色板的检测精度提闻。
[0143]综合判定部14按每个调色板，将表示针对该调色板生成的多个输出图像的积的积图像作为表示该调色板映现的像素的调色板检测信息输出至调色板信息计算部15。此夕卜，针对仅生成一个输出图像的调色板，综合判定部14将该一个输出图像保持原样地作为调色板检测信息输出至调色板信息计算部15。
[0144]此外，在组合检测部13仅针对一个组合执行组合检测处理的情况下，也可以省略综合判定部14。
[0145]调色板信息计算部15按每个调色板，参照从综合判定部14接收的调色板检测信息求得表示图像上该调色板的颜色的颜色信息以及表示在图像上的位置的位置信息。为此，调色板信息计算部15针对调色板检测信息所示的、调色板映现的像素的H成分、S成分、V成分分别将平均值或者中央值计算为该调色板的颜色信息。另外，调色板信息计算部15按每个调色板求得调色板检测信息所示的调色板映现的像素的重心，并将该重心设为调色板的位置信息。
[0146]调色板信息计算部15按每个调色板，将调色板的识别信息和颜色信息以及位置信息输出一起至控制部7。此外，调色板的识别信息例如能够作为在彩色图表上按从左上端的调色板开始的光栅扫描顺序的调色板的编号。
[0147]图10是通过彩色图表检测装置6执行的彩色图表检测处理的动作流程图。
[0148]彩色图表检测装置6从存储部5读入彩色图表映现的图像(步骤S201)。然后颜色转换部11将该图像从RGB色彩体系转换成HSV色彩体系(步骤S202)。
[0149]调色板颜色像素提取部12从转换了色彩体系的图像，针对彩色图表所包含的多个调色板中的三个以上的规定数量的调色板分别提取具有与该调色板相当的颜色的像素(步骤S203)。然后调色板颜色像素提取部12按每个调色板生成表示具有该调色板的颜色的像素的集合亦即调色板候补区域的调色板候补区域图像。
[0150]组合检测部13对包含三个以上的调色板的至少一个调色板的组合执行组合检测处理(步骤S204)。然后组合检测部13按该组合所包含的每个调色板来生成输出图像。
[0151]综合判定部14按每个调色板，求得针对该调色板生成的多个输出图像之间的每个像素的积，从而在包含该调色板的全部的组合中，提取判定为该调色板映现的像素(步骤S205)。然后综合判定部14按每个调色板，将表示已提取的像素的位置的调色板检测信息通知给调色板信息计算部15。
[0152]调色板信息计算部15按每个调色板，针对该调色板映现的像素的H成分、S成分、V成分分别将平均值或者中央值计算为该调色板的颜色信息。另外，调色板信息计算部15将调色板映现的像素的重心的坐标计算为调色板的位置信息(步骤S206)。然后调色板信息计算部15将各调色板的识别信息和颜色信息以及位置信息一起输出至控制部7。然后，彩色图表检测装置6结束彩色图表检测处理。
[0153]如以上进行了说明那样，该彩色图表检测装置利用与调色板的排列有关的信息，对具有与各调色板相当的颜色的像素中的、与调色板的排列一致的像素进行检测。因此，即便彩色图表的位置不详，该彩色图表检测装置也能够对彩色图表的各个调色板准确地进行检测。另外，该彩色图表检测装置还可以不对图像整体进行模式匹配那样的运算量较多的处理，因此能够减少运算量。
[0154]接下来，对基于第二实施方式的彩色图表检测装置进行说明。基于第二实施方式的彩色图表检测装置按照调色板的排列，从通过组合检测确定的调色板的位置对未成为组合检测的对象的未检测调色板的位置进行确定，从而对该未检测调色板进行检测。
[0155]图11表示基于第二实施方式的彩色图表检测装置61的构成图。彩色图表检测装置61具有:存储器10、颜色转换部11、调色板颜色像素提取部12、组合检测部13、综合判定部14、调色板信息计算部15以及外推部16。
[0156]彩色图表检测装置61具有的上述的各部分形成为集成有与该各部分对应的电路的一个集成电路。另外，彩色图表检测装置61具有的上述的各部分也可以分别形成为独立的电路。
[0157]在图11中，对彩色图表检测装置61具有的各构成要素标注与图3所示的基于第一实施方式的彩色图表检测装置6具有的对应的构成要素的参照编号相同的参照编号。基于第二实施方式的彩色图表检测装置61与基于第一实施方式的彩色图表检测装置6相比，在具有外推部16这点不同。因此以下，对外推部16以及相关部分进行说明。
[0158]外推部16将通过调色板信息计算部15求得重心的多个调色板中的、两个调色板的重心位置的坐标分别设为(jl、il)、(j2、i2)，并输入(5)式或者(6)式。由此，外推部16对图像上的横向调色板一个大小的移动量(xl、yl)进行计算。相同地，外推部16将该两个调色板的重心位置的坐标(jl、il)、(j2、i2)输入(7)式或者(8)式，从而对图像上的纵向调色板一个大小的移动量(x2、y2)进行计算。
[0159]接下来，外推部16根据(9)式对未检测的任意调色板k的检测范围的中心位置的坐标(j、i)进行计算。其中，在该情况下，O)式的Ph(k3)、Pv(k3)成为该未检测的调色板k的彩色图表上的从左端开始的调色板数以及从上端开始的调色板数。
[0160]外推部16基于根据(9)式计算出的检测对象的调色板k的检测范围的中心位置的坐标(j、i)，并根据下式，对图像上的调色板k的检测范围进行设定。
[0161][式10]
[0162]Xl = j+min(xl/2+x2/2, xl/2_x2/2，-xl/2+x2/2, _xl/2_x2/2)
[0163]Xr = j+max(xl/2+x2/2, xl/2_x2/2，-χ1/2+χ2/2, _χ1/2_χ2/2)
[0164]Yt = i+min(yl/2+y2/2, yl/2-y2/2, -yl/2+y2/2, -yl/2-y2/2)
[0165]Yb = i+max(yl/2+y2/2, yl/2-y2/2, -yl/2+y2/2, -yl/2-y2/2)
[0166](10)
[0167]其中，函数min(a、b、c、d)是输出参数a、b、c、d中的最小值的函数。另外，函数max(a、b、c、d)是输出参数a、b、C、d中的最大值的函数。而且)(l、Xr分别是检测范围的左端以及右端的坐标，Yt、Yb分别是检测范围的上端以及下端的坐标。
[0168]外推部16在针对成为检测对象的调色板的调色板候补区域所包含的像素中，将检测范围所包含的像素检测为该调色板映现的像素。而且外推部16求得已检测的像素的重心，将该重心设为调色板的位置信息。并且，外推部16将针对已检测的像素的H成分、S成分、V成分的各自的平均值或者中央值计算为该调色板的颜色信息。而且外推部16将调色板的识别信息和该调色板的位置信息以及颜色信息一起输出至控制部7。
[0169]图12是通过外推部16执行的外推处理的动作流程图。该外推处理例如以与图10所示的彩色图表检测处理的步骤S206后续的方式被执行。
[0170]外推部16基于在步骤S206中检测的调色板中的两个调色板的重心，对横向调色板一个大小的移动量(xl、yl)以及纵向调色板一个大小的移动量(x2、y2)进行计算(步骤S301)。而且外推部16将未检测的调色板的某一个设定为要注目的调色板(步骤S302)。
[0171]外推部16基于移动量(xl、yl)以及(X2、y2)和要注目的调色板与检测完毕的调色板的排列，对图像上要注目的调色板的检测范围的中心进行决定(步骤S303)。然后外推部16基于检测范围的中心，以要注目的调色板整体包含于检测范围的方式对该检测范围进行设定(步骤S304)。
[0172]外推部16将针对要注目的调色板的调色板候补区域所包含的像素中的、检测范围所包含的像素检测为该要注目的调色板映现的像素(步骤S305)。外推部16基于已检测的像素的重心以及各颜色成分求得该要注目的调色板的位置信息以及颜色信息(步骤S306)。然后外推部16将该调色板的识别信息和位置信息以及颜色信息一起输出至控制部7。
[0173]然后，外推部16对是否存在未检测的调色板进行判定(步骤S307)。若存在未检测的调色板(步骤S307 —是)，则外推部16反复步骤S302以下的处理。另一方面，若不存在未检测的调色板(步骤S307 —否)，则外推部16结束外推处理。
[0174]根据该实施方式，彩色图表检测装置能够以比组合检测处理少的运算量，来求得在组合检测处理中未检测的调色板的位置信息以及颜色信息。
[0175]此外，根据变形例，外推部16对在检测范围内检测的像素执行标记处理，从而也可以从相互邻接的检测出的像素的集合中检测最大的集合。而且外推部16也可以仅基于该最大的集合所包含的像素，来求得颜色信息以及位置信息。由此，即便在与成为检测对象的调色板的颜色接近的颜色的调色板处于(包含与检测对象的调色板邻接的其他调色板)该调色板附近的情况下，外推部16也能够仅对成为检测对象的调色板映现的像素更加适当地进行检测。
[0176]接下来，对基于第三实施方式的彩色图表检测装置进行说明。基于第三实施方式的彩色图表检测装置生成调色板候补区域图像的缩小图像，并对该缩小图像进行组合检测处理，从而实现运算量的减少。
[0177]图13表示基于第三实施方式的彩色图表检测装置62的构成图。彩色图表检测装置62具有:存储器10、颜色转换部11、调色板颜色像素提取部12、组合检测部13、综合判定部14、调色板信息计算部15、区域尺寸计算部17、区域尺寸设定部18、缩小图像生成部19以及内插部20。
[0178]彩色图表检测装置62具有的上述各部分形成为集成有与该各部分对应的电路的一个集成电路。另外，彩色图表检测装置62具有的上述各部分也可以分别形成为独立的电路。
[0179]在图13中，对彩色图表检测装置62具有的各构成要素标注与图3所示的基于第一实施方式的彩色图表检测装置6具有的对应的构成要素的参照编号相同的参照编号。基于第三实施方式的彩色图表检测装置62与基于第一实施方式的彩色图表检测装置6相比，在具有区域尺寸计算部17、区域尺寸设定部18、缩小图像生成部19以及内插部20这点不同。因此以下，对区域尺寸计算部17、区域尺寸设定部18、缩小图像生成部19、内插部20及其相关部分进行说明。
[0180]区域尺寸计算部17针对各调色板候补区域图像，对具有与对应的调色板相当的颜色的像素进行标记处理，对每个独立的调色板候补区域标注不同的标签。而且区域尺寸计算部17在标注了各个标签的每个调色板候补区域，将属于该调色板候补区域的像素数求得为该调色板候补区域的尺寸。而且区域尺寸计算部17按每个调色板候补区域生成使标签与该区域的尺寸建立对应的尺寸表，并将该尺寸表储存于存储器10。例如,若再次参照图6(A)，则在调色板候补区域图像610中，对区域611与区域612分别标注不同的标签。而且区域611所包含的像素数成为区域611的尺寸，区域612所包含的像素数成为区域612的尺寸。
[0181]区域尺寸设定部18按每个缩小图像以该缩小图像来设定成为检测对象的调色板候补区域的尺寸的上限值与下限值。例如，使用成为缩小率1/8(长度单位)的第一缩小图像、成为缩小率1/4(长度单位)的第二缩小图像、成为缩小率1/2(长度单位)的第三缩小图像以及成为缩小率1/1的第四缩小图像。彩色图表检测装置62使用各缩小图像，检测相对于彩色图表映现的原来的图像的像素数具有最大Cmax%?Cmin%的宽度的彩色图表。此时，在缩小率为1/8的第一缩小图像中，针对一个调色板检测对象尺寸的上限值以{Cmax/100XTotal/N}被给予,另一方面,检测对象尺寸的下限值以{Cmax/lOOXTotal/N}/4被给予。其中，N是彩色图表所包含的调色板的总数。另外，Total是彩色图表映现的原来的图像的像素数。另外，在缩小率为1/4的第二缩小图像中，针对一个调色板的检测对象尺寸的上限值以{CmaX/100XTotal/N}/4被给予，检测对象尺寸的下限值以{CmaX/100XTotal/N}/16被给予。并且，在缩小率为1/2的第三缩小图像中，针对一个调色板检测对象尺寸的上限值以{CmaX/100XTotal/N}/16被给予，检测对象尺寸的下限值以{CmaX/100XTotal/N}/64被给予。最后，在缩小率为1/1的第四缩小图像，即原来的图像中，针对一个调色板检测对象尺寸的上限值以{Cmax/100XTotal/N}/64被给予，检测对象尺寸的下限值以{Cmin/100XTotal/N}被给予。
[0182]例如，在将Cmax设为100%、将Cmin设为O %的情况下，在第一缩小图像中，成为检测对象的尺寸为(原来的图像的像素数/N)?(原来的图像的像素数/N)/4。另外在第二缩小图像中，成为检测对象的尺寸为(原来的图像的像素数/N)/4?(原来的图像的像素数/N)/16。同样地，在第三缩小图像中，成为检测对象的尺寸为(原来的图像的像素数/N)/16?(原来的图像的像素数/N)/64。而且在第四缩小图像中，对于成为检测对象的尺寸而言，具有比(原来的图像的像素数/N)/64少的像素数的调色板候补区域成为检测对象。
[0183]缩小图像生成部19生成各个调色板候补区域图像的缩小图像。例如，缩小图像生成部19首先生成第一缩小图像。此时，缩小图像生成部19参照每个调色板候补区域的任意像素的标签与尺寸表，在该标签与具有被区域尺寸设定部18设定的检测对象尺寸的调色板候补区域相当的情况下，在缩小图像所对应的像素储存‘I’。而且缩小图像生成部19将针对各调色板候补区域图像的第一缩小图像分别存储于存储器10。
[0184]彩色图表检测装置62对第一缩小图像执行组合检测部13以及综合判定部14的处理。由此，在彩色图表的尺寸包含于图像整体的尺寸至面积比为图像1/4的尺寸的范围内的情况下，对彩色图表的各调色板进行检测。另外，在该情况下，各调色板的输出图像的尺寸也为与第一缩小图像相同的尺寸。在该情况下，在缩小图像生成部19删除具有从检测对象尺寸的上限或者下限脱离的尺寸的调色板候补区域，并且要处理的像素数变小为1/8 X 1/8 = 1/64。因此，能够减少图7所示的组合检测处理的步骤S102?S106的处理的执行次数。
[0185]若基于第一缩小图像而被检测的像素的数量为对检测对象尺寸的下限值乘以缩小率(1/8)的数以上，则内插部20使该各像素的纵向坐标以及横向坐标分别成为8倍，从而求得原来的尺寸的图像的坐标。而且内插部20将被检测的各像素的坐标通知给调色板信息计算部15。调色板信息计算部15按每个调色板从被检测的像素求得位置信息以及颜色信息。而且彩色图表检测装置62结束彩色图表检测处理。
[0186]另一方面，在被检测的像素的数量不足对检测对象尺寸的下限值乘以缩小率(1/8)的数的情况下，判断为在具有检测对象尺寸的调色板候补区域实际上调色板未映现。因此彩色图表检测装置62将缩小率(1/M)(长度单位)的分母M形成1/2倍。
[0187]区域尺寸设定部18对在第二缩小图像中使用的图像尺寸、检测对象尺寸的上限值{Cmax/lOOX (原来的图像的像素数)/N}/4、以及下限值{Cmax/lOOX (原来的图像的像素数)/N}/16进行设定。
[0188]然后，缩小图像生成部19针对各调色板候补区域图像，生成缩小率成为1/4(长度单位)，仅表示具有被区域尺寸设定部18设定的检测对象尺寸的调色板候补区域的第二缩小图像。而且缩小图像生成部19将针对各调色板候补区域图像的第二缩小图像存储于存储器10。
[0189]彩色图表检测装置62对第二缩小图像也同样地执行组合检测部13、综合判定部14以及内插部20的处理。由此，在彩色图表的尺寸包含于图像整体的1/4至面积比为图像1/16的尺寸的范围的情况下，对彩色图表的各调色板进行检测。在该情况下，在缩小图像生成部19删除具有从检测对象尺寸的上限或者下限脱离的尺寸的调色板候补区域，并且要处理的像素数缩小为原来的图像的1/4X 1/4= 1/16。因此，能够减少图7所示的组合检测处理的步骤S102?S106的处理的执行次数。
[0190]若基于第二缩小图像而被检测的像素的数量为对检测对象尺寸的下限值乘以缩小率(1/4)的数以上，则内插部20使该各像素的纵向坐标以及横向坐标分别形成四倍，从而求得原来的尺寸的图像的坐标。而且内插部20将被检测的各像素的坐标通知给调色板信息计算部15。调色板信息计算部15按每个调色板从被检测的像素求得位置信息以及颜色信息。而且彩色图表检测装置62结束彩色图表检测处理。
[0191]另一方面，在被检测的像素的数量不足对检测对象尺寸的下限值乘以缩小率(1/4)的数的情况下，判断为在具有检测对象尺寸的调色板候补区域实际上调色板未映现。因此彩色图表检测装置62使缩小率(1/M)(长度单位)的分母M形成1/2倍。然后，缩小图像生成部19针对各调色板候补区域图像，生成缩小率成为1/2 (长度单位)，仅表示具有通过区域尺寸设定部18对第三缩小图像设定的检测对象尺寸的调色板候补区域的第三缩小图像。而且缩小图像生成部19将针对各调色板候补区域图像的第三缩小图像存储于存储器10。
[0192]彩色图表检测装置62对第三缩小图像也执行组合检测部13、综合判定部14以及内插部20的处理。由此，在彩色图表的尺寸包含于图像整体的1/16至面积比为图像1/64的尺寸的范围的情况下，对彩色图表的各调色板进行检测。
[0193]若基于第三缩小图像而被检测的像素的数量为对检测对象尺寸的下限乘以缩小率(1/2)的数以上，则内插部20使该各像素的纵向坐标以及横向坐标分别形成2倍，从而求得原来的尺寸的图像的坐标。而且内插部20将被检测的各像素的坐标通知给调色板信息计算部15。调色板信息计算部15按每个调色板从被检测的像素求得位置信息以及颜色信息。而且彩色图表检测装置62结束彩色图表检测处理。
[0194]另一方面，在被检测的像素的数量不足对检测对象尺寸的下限值乘以缩小率(1/2)的数的情况下，判断为在具有检测对象尺寸的调色板候补区域实际上调色板未映现。因此彩色图表检测装置62将缩小率(1/M)(长度单位)的分母M形成1/2倍。然后，彩色图表检测装置62使用实际图像尺寸的第四缩小图像，并且，仅以具有通过区域设定部18对第四缩小图像设定的检测对象尺寸的调色板候补区域设为对象，执行组合检测部13、综合判定部14以及内插部20的处理。由此，对比图像整体的1/64的尺寸小的彩色图表的各调色板进行检测。
[0195]图14是通过基于第三实施方式的彩色图表检测装置62执行的彩色图表检测处理的动作流程图。
[0196]彩色图表检测装置62从存储部5读入彩色图表映现的图像(步骤S401)。然后颜色转换部11将该图像从RGB色彩体系转换成HSV色彩体系(步骤S402)。
[0197]调色板颜色像素提取部12从转换了色彩体系的图像，针对彩色图表包含的多个调色板中的三个以上的规定数量的调色板分别提取具有与该调色板相当的颜色的像素(步骤S403)。然后调色板颜色像素提取部12按每个调色板生成表示具有该调色板的颜色的像素的集合亦即调色板候补区域的调色板候补区域图像。
[0198]区域尺寸计算部17针对各调色板候补区域图像，对具有与对应的调色板相当的颜色的像素进行标记处理，对每个独立的调色板候补区域标注不同的标签。而且区域尺寸计算部17在标注了各个标签的每个调色板候补区域，将属于该调色板候补区域的像素数求得为该调色板候补区域的尺寸(步骤S404)。然后区域尺寸计算部17按每个调色板候补区域生成使标签与其区域的尺寸建立对应的尺寸表，并将该尺寸表储存于存储器10。
[0199]区域尺寸设定部18以缩小图像来设定成为检测对象的调色板候补区域的尺寸的上限值与下限值(步骤S405)。
[0200]缩小图像生成部19对各调色板候补区域图像分别生成仅表示具有包含于检测对象尺寸的上限值与下限值的范围内的尺寸的调色板候补区域的缩小率(1/M)的缩小图像(步骤 S406)。
[0201]组合检测部13使用缩小图像，对至少一个调色板的组合执行组合检测处理(步骤S407)。然后组合检测部13按该组合所包含的每个调色板生成输出图像。
[0202]综合判定部14按每个调色板求得相对于该调色板生成的多个输出图像之间的每个像素的积，从而在包含该调色板的全部的组合中，提取判定为该调色板映现的像素(步骤S408)。然后综合判定部14按每个调色板将表示已提取的像素的位置的调色板检测信息通知给内插部20。
[0203]内插部20将对检测对象尺寸的下限乘以缩小率(1/M)的数以上的像素包含于调色板检测信息，或者判定缩小率(1/M)是否为1(步骤S409)。若与成为检测对象的尺寸的下限值相当的数量的像素不包含于调色板位置信息，并且缩小率(1/M)不是I (步骤S409 -否)，则彩色图表检测装置62使M降低1/2 (步骤S410)。然后，彩色图表检测装置62反复步骤S405以下的处理。
[0204]另一方面，若将与成为检测对象的尺寸的下限值相当的数量的像素包含于调色板位置信息，或者缩小率(1/M)为1(步骤S409 —是)，则内插部20将调色板位置信息所包含的各像素的纵向以及横向的坐标形成M倍(步骤S411)。然后内插部20将上述像素的坐标通知给调色板信息计算部15。
[0205]调色板信息计算部15按每个调色板，将针对被通知的像素的H成分、S成分、V成分各自的平均值或者中央值计算为该调色板的颜色信息。另外，调色板信息计算部15将调色板映现的像素的重心的坐标计算为调色板的位置信息(步骤S412)。然后调色板信息计算部15将各调色板的颜色信息以及位置信息输出至控制部7。然后，彩色图表检测装置62结束彩色图表检测处理。
[0206]基于第三实施方式的彩色图表检测装置对缩小图像执行组合检测处理等，因此能够减少调查是否与调色板的排列一致的像素的组合的数量。作为其结果，该彩色图表检测装置能够减少运算量。
[0207]此外，根据第三实施方式的变形例，缩小图像生成部19也可以对由颜色转换部11作成的HSV色彩体系的图像生成第一缩小图像。在该情况下，对第一缩小图像执行调色板颜色像素提取部12、组合检测部13以及综合判定部14的处理。而且在对调色板映现的像素进行检测之前，缩小图像生成部19使缩小率依次降低，生成第二缩小图像和第三缩小图像，从而对该缩小图像执行上述各部分的处理。
[0208]另外，根据其他的变形例，基于第三实施方式的彩色图表检测装置也可以具有基于第二实施方式的外推部。
[0209]另外，根据上述各实施方式的变形例，组合检测部13也可以在图7所示的组合检测处理的步骤S105中，将调色板候补区域图像的已选择的两个像素以及已推断的位置的像素的值设为‘2’。由此，即使不与调色板候补区域图像独立地生成输出图像，组合检测部13也能够对存在调色板映现的可能性的像素与不存在可能性的像素进行区别。然后若在步骤S106中不存在未选择的像素的组，则组合检测部13从与要注目的调色板的组合所包含的各调色板对应的各个调色板候补区域图像的像素中具有正值的像素的值减去I。由此，与输出图像同样地，调色板候补区域图像也考虑调色板的排列，仅具有调色板映现的可能性的像素具有‘I’的值。
[0210]通过进行上述处理，彩色图表检测装置也可以不与调色板候补区域图像独立地生成输出图像，因此能够减少存储器10的存储器容量。
[0211]另外，组合检测部13也可以将对一个调色板的组合进行组合检测处理的调色板候补区域图像利用于其他调色板的组合。由此，在第二次以后的组合检测处理中，从调色板候补区域删除考虑调色板的排列从而判断为调色板未映现的像素，因此能够减少在组合检测处理中被调查的像素的组的数量。
[0212]另外，在该情况下，在综合判定部中进行的处理也一并执行，因此针对调色板组合的全部组合检测处理结束时的调色板候补区域图像与综合判定部输出的积图像相同。因此，也可以省略综合判定部。作为其结果，也能够减少彩色图表检测处理整体的运算量。
[0213]另外，根据其他的变形例，组合检测部13也可以从全部调色板候补区域图像中，从调色板候补区域所包含的像素的数量较少的一方按顺序选择两个调色板候补区域图像。而且组合检测部13也可以对包含与该两个调色板候补区域图像对应的两个调色板的组合进行组合检测处理。由此，组合检测部13能够将调查是否与调色板的排列一致的像素的组的数量设为最小，因此能够更加减少运算量。
[0214]基于上述的实施方式或者其变形例的彩色图表检测装置的各部分的功能也可以通过在处理器上执行的计算机程序来实现。上述计算机程序也可以以记录于磁记录介质、光记录介质之类的计算机可读取记录介质的形式来提供。
[0215]图15是实现基于上述的实施方式或者其变形例的彩色图表检测装置的各部分的功能的计算机程序动作，从而作为彩色图表检测装置动作的计算机的构成图。
[0216]计算机100具有:用户界面部101、通信接口部102、存储部103、存储介质访问装置104以及处理器105。处理器105例如经由总线连接用户界面部101、通信接口部102、存储部103以及存储介质访问装置104。
[0217]用户界面部101例如具有键盘、鼠标等输入装置与液晶显示器之类的显示装置。或者，用户界面部101也可以具有触摸面板显示器之类的、将输入装置与显示装置一体化的装置。而且用户界面部101例如根据用户的操作，将选择成为对彩色图表进行检测的对象的图像的信号以及使彩色图表检测处理开始的操作信号输出至处理器105。
[0218]通信接口部102也可以具有用于将计算机100与拍摄装置(未图示)连接的通信接口及其控制电路。上述通信接口例如能够形成Universal Serial Bus(通用串行总线、USB)。
[0219]并且，通信接口部102也可以具有用于与按照以太网(注册商标)等的通信规格的通信网络连接的通信接口及其控制电路。
[0220]在该情况下，通信接口部102从连接于通信网络的其他机器取得彩色图表映现的图像，并使该图像存储于存储部103。另外，通信接口部102也可以将从处理器105接收的彩色图表的各调色板的识别信息、位置信息以及颜色信息经由通信网络输出至其他的机器。
[0221]存储部103例如具有可读写半导体存储器与读取专用半导体存储器。而且存储部103对用于执行在处理器105上执行的彩色图表检测处理的计算机程序以及在该彩色图表检测处理的中途所获得的中间计算结果等进行存储。另外，存储部103对从通信接口部102接收的图像、或者通过处理器105检测出的彩色图表的各调色板的识别信息、位置信息以及颜色信息等进行存储。
[0222]存储介质访问装置104是例如访问磁盘、半导体存储卡以及光存储介质之类的存储介质106的装置。存储介质访问装置104例如读入存储于存储介质106的在处理器105上执行的、彩色图表检测处理用的计算机程序，并转发给处理器105。
[0223]处理器105执行基于上述实施方式或者变形例的彩色图表检测处理用计算机程序，从而求得图像上彩色图表的各调色板的位置信息以及颜色信息。而且处理器105将各调色板的识别信息、位置信息以及颜色信息保存于存储部103，或者经由通信接口部102输出至其他机器。
[0224]此处所列举的全部的例子以及确定的用语意图在于实现有助于读者理解本发明以及促进该技术的由本发明人贡献的概念的教导性的目的，应该解释为不限定于与表示本发明的优越性以及劣等性有关的本说明书的任意例子的构成、上述确定的被列举的例子以及条件。本发明的实施方式详细地进行了说明，但应理解为能够在不脱离本发明的主旨以及范围内进行各种变更、置换以及修正。
[0225]附图标记的说明
[0226]I…拍摄装置；2…照相机模块；3…操作部;4…显不部;5…存储部;6、61、62…彩色图表检测装置；7…控制部；10…存储器；1L...颜色转换部；12…调色板颜色像素提取部；13…组合检测部；14…综合判定部；15…调色板信息计算部；16…外推部；17…区域尺寸计算部；18...区域尺寸设定部；19...缩小图像生成部；20…内插部；100…计算机；101...用户界面部;102…通信接口部;103…存储部;104…存储介质访问装置;105…处理器;106…存储介质。
【权利要求】
1.一种彩色图表检测装置，从具有按照规定的排列配置的多个调色板的彩色图表映现的图像对该彩色图表进行检测，其特征在于，具有: 调色板颜色像素提取部，所述调色板颜色像素提取部针对所述多个调色板中至少三个以上的规定数量的调色板分别从所述图像提取具有与该调色板相当的颜色成分的像素； 组合检测部，所述组合检测部将所述规定数量的调色板中至少三个调色板设为第一组，在从针对该第一组所包含的调色板分别提取出的像素中按每个调色板选择出的像素的组合按照所述规定的排列并排的情况下，将该组合所包含的像素检测为存在所述第一组的对应的调色板映现的可能性的候补像素；以及 调色板信息计算部，所述调色板信息计算部基于所述候补像素，来求得表示与该候补像素对应的调色板在所述图像上的颜色的颜色信息以及表示该调色板在所述图像上的位置的位置信息。
2.根据权利要求1所述的彩色图表检测装置，其特征在于， 将所述规定数量的调色板中至少三个调色板设为第二组，并且在所述第一组以及所述第二组均包含第一调色板， 所述组合检测部在从针对所述第二组所包含的调色板分别提取的像素中按每个调色板选择出的像素的组合按照所述规定的排列并排的情况下，将该组合所包含的像素检测为存在与所述第二组对应的调色板映现的可能性的候补像素， 所述彩色图表检测装置还具有综合判定部，所述综合判定部将针对所述第一组检测出的所述第一调色板的候补像素中针对所述第二组检测为所述第一调色板的候补像素的像素判定为所述第一调色板映现的像素。
3.根据权利要求1或2所述的彩色图表检测装置，其特征在于， 所述组合检测部根据从针对所述第一组所包含的所述至少三个调色板中被提取的像素的数较少的一方开始按顺序两个调色板提取的像素分别选择出的第一像素以及第二像素与所述规定的排列，对所述第一组内其他的调色板在所述图像上的位置进行推断，在该推断出的位置的像素为针对该其他的调色板提取的第三像素的情况下，将所述第一像素、第二像素以及第三像素分别设为所述第一组所包含的各调色板的所述候补像素。
4.根据权利要求1?3中任一项所述的彩色图表检测装置，其特征在于， 还具有外推部，所述外推部根据所述第一组所包含的第二调色板以及第三调色板在所述图像上的位置与所述规定的排列，对所述多个调色板中未被包含于所述第一组的未检测调色板在所述图像上的位置以及范围进行推断，基于具有与该推断出的位置以及范围所包含的所述未检测调色板相当的颜色的像素，来求得表示该未检测调色板在所述图像上的颜色的颜色信息。
5.根据权利要求1?4中任一项所述的彩色图表检测装置，其特征在于， 还具有生成缩小图像的缩小图像生成部，所述缩小图像是以规定的缩小率缩小所述图像以及表示通过所述调色板颜色像素提取部针对所述规定数量的调色板分别提取的像素的集合的调色板候补区域图像中的任意图像而得到的， 所述组合检测部基于所述缩小图像针对所述第一组所包含的调色板分别对所述候补像素进行检测， 在针对所述第一组所包含的调色板分别未检测出规定像素数以上的候补像素的情况下，所述缩小图像生成部使所述缩小率降低来进一步生成所述缩小图像，所述组合检测部基于以该降低后的缩小率生成的缩小图像针对所述第一组所包含的调色板分别对所述候补像素进行检测。
6.根据权利要求1?5中任一项所述的彩色图表检测装置，其特征在于， 所述组合检测部使所述规定数量的调色板中从通过所述调色板颜色像素提取部提取的像素的数量较少的一方开始按顺序两个调色板包含于所述第一组。
7.一种彩色图表检测方法，从具有按照规定的排列配置的多个调色板彩色图表映现的图像对该彩色图表进行检测，其特征在于，包括: 针对所述多个调色板中的至少三个以上的规定数量的调色板分别从所述图像提取具有与该调色板相当的颜色成分的像素， 将所述规定数量的调色板中的至少三个调色板设为第一组，在从针对该第一组所包含的调色板分别提取的像素中按每个调色板选择出的像素的组合按照所述规定的排列并排的情况下，将该组合所包含的像素检测为存在所述第一组的对应的调色板映现的可能性的候补像素， 基于所述候补像素，来求得表示与该候补像素对应的调色板在所述图像上的颜色的颜色信息以及表示该调色板在所述图像上的位置的位置信息。
8.一种彩色图表检测用计算机程序，用于使计算机执行，其特征在于， 从具有按照规定的排列配置的多个调色板的彩色图表映现的图像，针对所述多个调色板中的至少三个以上的规定数量的调色板分别提取具有与该调色板相当的颜色成分的像素， 将所述规定数量的调色板中的至少三个调色板设为第一组，在从针对该第一组所包含的调色板分别提取的像素中按每个调色板选择出的像素的组合按照所述规定的排列并排的情况下，将该组合所包含的像素检测为存在与所述第一组对应的调色板映现的可能性的候补像素， 基于所述候补像素，来求得表示与该候补像素对应的调色板在所述图像上的颜色的颜色信息以及表示该调色板在所述图像上的位置的位置信息。
【文档编号】G06T7/00GK104247410SQ201280071928
【公开日】2014年12月24日 申请日期:2012年3月30日 优先权日:2012年3月30日
【发明者】皆川明洋, 胜山裕, 武部浩明, 堀田悦伸 申请人:富士通株式会社