图案提取设备、图像投影设备、图案提取方法和程序的制作方法
【专利摘要】提供即使存在图像图案的有缺陷的特征点时也能够通过对有缺陷的特征点插值而提取所有特征点的图案提取设备、图案提取方法和程序。本发明的图案提取设备基于被投影的图像图案的捕捉图像提取要被插值的特征点，并且通过使用位于要被插值的特征点附近的附近特征点对要被插值的特征点插值。此外，本发明的图案提取设备将附近特征点划分为组，计算组的外推坐标，并且考虑到外推的重要性而计算要被插值的特征点的坐标。
【专利说明】图案提取设备、图像投影设备、图案提取方法和程序
【技术领域】
[0001]本发明涉及已投影图像的失真校正，更具体地，涉及提取被包括在已投影图像图案中的特征点(特性点)的图案提取设备、图像投影设备、图案提取方法和程序。
【背景技术】
[0002]传统上，当由诸如投影仪的投影设备将图像投影到屏幕上时，取决于投影设备和屏幕之间的相对位置关系，已投影图像可能失真为梯形形状(梯形失真)。此外，由于屏幕表面的局部凹陷和凸起或者扭曲，已投影图像可能非线性失真。
[0003]为了校正这样的失真，已经有已知的技术，其中通过数字相机捕捉屏幕的图像，包括布置的特定图形的图像图案被投影在该屏幕上，基于从实际捕捉的图像提取的特征点的位置与该特征点的相应理想位置之间的差来计算失真，并且通过校正该失真来校正该图像。
[0004]作为这样的传统技术的例子，专利文献I公开了一种图像校正设备，其中包括以相等间隔布置的特征点的图案(特征点图案)被投影在屏幕上并且被捕捉，通过使用在所捕捉的图像中包括的特征点的坐标计算由于投影引起的失真量，并且基于所计算的失真量来校正已投影图像。
【发明内容】
[0005]本发明要解决的问题
[0006]但是，在专利文献I公开的图像校正设备中，在捕捉投影在屏幕上的特征点图案的图像的情况下，如果环境条件不满意，则所捕捉的图像的质量可能降低。因此，可能变得难以检测应该存在于所捕捉的图像中的所有特征点。例如，在如图1所示的质量降低的图像中，本应存在于栅格交叉处的相应栅格点中的特征点可能丢失(遗漏或不可检测)。因而，可能变得难以计算在特征点丢失的位置处的失真量，并且可能不能完全校正图像。
[0007]考虑到以上传统技术问题做出本发明，并且本发明可以提供即使在图形图案中的一些特征点遗漏时也可以通过对遗漏的特征点插值而使用所有特征点的图案提取设备、图像投影设备、图案提取方法和程序。
[0008]用于解决问题的手段
[0009]为了解决上述问题，根据本发明的实施例的图案提取设备基于图像图案的捕捉图像提取要被插值的特征点，并且通过使用位于要被插值的特征点附近的特征点对要被插值的特征点插值。
[0010]本发明的效果
[0011]根据本发明，通过使用上述配置，可能变得即使在图像图案中的一些特征点遗漏时也能够通过对遗漏的特征点插值而提取所有特征点。
【专利附图】
【附图说明】
[0012]图1是示出作为传统技术中的问题的遗漏节点的图；
[0013]图2是示出根据本发明的实施例的图案提取设备的配置的图；
[0014]图3例示根据实施例的校正图案；
[0015]图4是例示由根据本发明的实施例的图案提取设备执行的处理的流程图；
[0016]图5是示出要在本发明的实施例中使用的状态值的表；
[0017]图6是示意性示出在本发明的实施例中使用的外推的图；
[0018]图7是示意性示出根据本发明的实施例的插值处理的图；
[0019]图8是示出要在本发明的实施例中使用的状态值的表；
[0020]图9是示意性示出参考图8所述的根据实施例的插值处理的图；
[0021]图10是示出由根据本发明的实施例的图案提取设备进行的处理的流程图；
[0022]图11是示意性示出参考图10所述的根据实施例的插值处理的图；
[0023]图12是示出执行根据本发明的实施例的程序的信息处理装置的图；
[0024]图13是示意性示出根据本发明的另一实施例的插值处理的图；
[0025]图14是示出根据本发明的实施例的图13的插值处理的流程图；
[0026]图15是示意性示出根据实施例使用多个捕捉的图像对校正图案的特征点插值的处理的图；
[0027]图16是示意性示出根据另一实施例使用多个捕捉的图像对校正图案的特征点插值的处理的另一个图；以及
[0028]图17是示出通过将上限设置为与参考特征点的附近区域对应的距离来指定附近特征点的方法的图。
【具体实施方式】
[0029]参考以下描述的实施例描述本发明。但是，应该注意，本发明不限于以下描述的实施例。图2是示出根据本发明的实施例的图案提取设备的配置的图。
[0030]图案提取设备200是插值并提取被包括在投影在屏幕等上的校正图案的所捕捉图像中的特征点的设备。在此实施例中，图案提取设备200可以实现为诸如专用集成电路(ASIC)的半导体器件，并且可以并入到诸如投影仪的图像投影设备中。
[0031]图案提取设备200使用在所捕捉图像中包括的特征点的坐标，对在所捕捉图像中有缺陷的特征点插值，并且提取所有的特征点。为此，图案提取设备200包括插值控制部分201、插值目标提取部分202、插值部分203、状态更新部分204以及存储部分205。图案提取设备200中所包括的功能部件可以通过使用半导体集成电路而实现。
[0032]插值控制部分201是控制插值目标提取部分202、插值部分203、状态更新部分204和存储部分205的功能部件，以便对在校正图案中的特征点插值，该特征点在所捕捉的图像中是有缺陷的，以及以便提取所有特征点。
[0033]插值目标提取部分202是提取要作为插值处理的目标的特征点的功能部件。插值部件203是对要插值的特征点的坐标进行插值的功能部件。状态更新部分204是更新要存储在状态缓冲器207中的指示校正图案的特征点的状态的状态信息的功能部件。
[0034]存储部分205包括坐标数据缓冲器206和状态缓冲器207。坐标数据缓冲器206存储作为从所捕捉图像获取的校正图案的特征点的坐标信息的坐标。状态缓冲器207存储从所捕捉图像获取的校正图案的特征点的状态信息。此外，被包括在以下描述的校正图案中的图案不限于是诸如黑色圆圈的圆形图案的图案。即，校正图案中的图案可以是任何其他图案(例如图形或图像)，只要可以(成功)提取位于原始图像的坐标处的图案即可(即，只要原始图案中的图案的正确位置已知以便与观察的数据(图像数据)中的相应特征点比较即可)。这样的图案可以是包括例如矩形图形、人的轮廓以及诸如山的自然对象的图形的图像。
[0035]图3是示出根据实施例的校正图案的图。校正图案300是要由投影仪投影在屏幕上以便校正已投影图像中的失真的图像图案。在校正图案300中，在M乘N矩阵中的栅格上以相等间隔布置黑色圆圈。
[0036]校正图案302是在投影仪投影校正图案300时投影在屏幕上的图像图案。当与校正图案300比较时，校正图案302的形状变形为具有梯形形状并且校正图案302的黑色圆圈的位置可能不规则地偏移。
[0037]使用诸如数字相机的图像捕捉设备来捕捉校正图案302的图像，并且从所捕捉的图像中提取作为特征点的黑色圆圈。这样做，获取了特征点的坐标。此外，在以下，处于所捕捉的图像中并且与栅格的第i行第j列(0<i< (M-1)，0 ( j ( (N-1))中的栅格点对应的特征点的坐标被表示为(x[i，j],y[i, j])。而且，作为特征点的状态信息的状态值被表示为 S[i, j] ο
[0038]图4是示出有根据实施例的图案提取设备执行的根据实施例的处理的流程图。在图4中，处理开始于步骤S400。在步骤S401中，插值控制部分201初始化分别存储在存储部分205的坐标数据缓冲器206和状态缓冲器207中的坐标数据和状态值。
[0039]具体地，插值控制部分201将被包括在所捕捉图像中的校正图案的特征点的坐标与校正图案中的已知特征点的坐标比较，并且确定与已知特征点对应的特征点是否存在于所捕捉图像中。然后，插值控制部分201依据相应特征点是否存在于所捕捉图像中而不同地初始化特征点的坐标和状态值，如公式I所示。
[0040]情况1:相应特征点存在。
[0041](x[i, j], y[i, j])=相应特征点的(x坐标，y坐标)
[0042]S[i，j] = 1(已确认)
[0043]情况2:不存在相应特征点
[0044](x[i, j], y[i, j]) = (0, 0)
[0045]S[i, j] = 0(未确认)公式 I
[0046]
[0047]当相应特征点存在时(即，当所捕捉图像的特征点存在时)，所捕捉图像的特征点的坐标被设置为相应特征点的已知坐标。另一方面，当不存在相应特征点时(即，当所捕捉图像的特征点有缺陷(遗漏)时)，所捕捉数据的特征点的坐标被设置为(0，0)。
[0048]此实施例的状态值可以具有如图5所示的值。状态值“O”表示未确认的状态，其中特征点未被插值。状态值“I”表示确认的状态，其中子从初始状态起特征点已经存在。状态值“ 2 ”表示特征点被插值的状态。
[0049]在步骤S402，插值目标提取部分202参考状态缓冲器207，并且提取“未确认的”特征点(即，具有状态值s [i，j] = O的特征点)。在步骤S403中，插值部分计算在步骤S402中提取的未确认的特征点的坐标。
[0050]在此实施例中，如图6所示，位于要被插值的特征点(PO)附近的八个特征点(Pl到P8)被划分成组。然后，计算各组的外推(extrapolat1n)坐标。在考虑了外推的重要性之后，从外推坐标得出要被插值的特征点(PO)的坐标。这样做，未确认的特征点被插值。
[0051]更具体地，插值部分203计算包括特征点P1、P2和P4的组“a”的外推坐标(xa, ya)、包括特征点P2、P3和P5的组“b”的外推坐标(xb, yb)、包括特征点P4、P6和P7的组“c”的外推坐标(xc，yc)、包括特征点P5、P7和P8的组“d”的外推坐标(xd, yd)、以及作为指示外推的重要性的信息的相应标记Fa、Fb、Fe和Fd。
[0052](I)组 “a，，
[0053]i)当特征点P1、P2和P4存在并且状态是未确认时
[0054](xa, ya) = (x2+x4_xl, y2+y4-yl)
[0055]Fa = I
[0056]ii)否则
[0057](xa, ya) = (O, O)
[0058]Fa = O
[0059](2)组 “b”
[0060]当特征点P2、P3和P5存在并且状态是未确认时
[0061](xb, yb) = (χ2+χ5-χ3, y2+y5-y3)
[0062]Fa = I
[0063]ii)否则
[0064](xb, yb) = (O, O)
[0065]Fa = O
[0066](3)组 “c”
[0067]当特征点P4、P6和P7存在并且状态是未确认时
[0068](xc, yc) = (x4+x7_x6, y4+y7-y6)
[0069]Fa = I
[0070]ii)否则
[0071](xc, yc) = (O, O)
[0072]Fa = O
[0073](4)组 “d”
[0074]当特征点P5、P7和P8存在并且状态是未确认时
[0075](xd, yd) = (x5+x7_x8, y5+y7-y8)
[0076]Fa = I
[0077]ii)否则
[0078](xd, yd) = (0,0)
[0079]Fa = 0公式 2
[0080]
[0081]在此,符号(xl, yl) > (x2, y2)、(x3, y3)、(x4, y4)、(x5, y5)、(x6, y6)、(x7, y7)和(x8, y8)分别表示特征点Pl到P8的坐标。当在要被插值的特征点附近存在特征点并且这些特征点的状态不是“未确认”(即，外推重要)时，值“I”被设置给标记Fa、Fb、Fe和Fd。另一方面，当因为例如要被插值的特征点位于捕捉图像的边缘部分(例如上部或下部边缘部分)所以在要被插值的特征点附近不存在特征点时，值“O”被设置给标记Fa、Fb、Fe和Fd0
[0082]此外，插值部分203可以通过使用以下公式3得到特征点的插值坐标。
[0083]x[i，j] = (xa+xb+xc+xd) / (Fa+Fb+Fc+Fd)
[0084]y [i, j] = (ya+yb+yc+yd) / (Fa+Fb+Fc+Fd)公式 3
[0085]
[0086]此外，当所有外推都不重要时(即，当Fa = Fb = Fe = Fd = O时)，假设不计算要被插值的特征点(PO)的插值坐标。
[0087]接下来，在步骤S404中，状态更新部分204将在先前的步骤S403中被插值的特征点的状态值更新为指示该特征点已经被插值的值(S[i，j] = 2)。
[0088]在步骤S405中，插值控制部分201参考在状态缓冲器207中存储的特征点的状态值，并且确定是否存在未确认的特征点。当确定存在未确认的特征点时(步骤S405中的是)，处理回到步骤S402，并且重复地执行步骤S402到步骤S405的处理，直到不存在未确认的特征点。
[0089]另一方面，当确定不存在特征点时(步骤S405中的否)，处理分支到步骤S406。在步骤S406中，插值控制部分201基于以下公式4计算差值处理的置信度等级“C”。
[0090]D = 1000X (插值的特征点的数量)/(MXN)
[0091]C = MAX{100-D, 0}公式 4
[0092]
[0093]其中“C”和“D”是变量，MAX {}表示输出括号“ {} ”中的最大值的函数。
[0094]例如，当被插值的特征点与所有特征点的比率是I %时，置信度等级“C”是90 %。此外，当被插值的特征点与所有特征点的比率是2%时，置信度等级“C”是80%。置信度等级“C”以及特征点的坐标的数据可以作为图案提取结果输出到外部设备。
[0095]图7示意性示出根据上述的实施例的插值处理。根据图7的实施例，在初始状态下存在三个未确认的特征点700、701和702。在这些特征点之中，能够使用附近的特征点对特征点701和702进行插值。因此，在第一插值处理中，这些特征点701和702被插值。在插值之后的特征点711和712的状态值被设置为指示特征点被插值的状态的值(即，S[i，j]=2)。
[0096]作为第一插值的结果，计算特征点711的坐标。因而，变得能够对未确认的特征点700进行插值。通过进行第二插值处理，未确认的特征点700被插值。在插值之后的特征点720的状态值被设置为指示特征点被插值的状态的值(即S[i，j] = 2)。在图7的实施例中，在第二插值处理之后，没有未确认的特征点。因此，处理结束。
[0097]如上所述，根据实施例，即使在由于所捕捉图像的质量降低导致校正图案的一些特征点有缺陷时，也变得能够计算有缺陷的特征点的坐标，使得可以完全提取所有特征点。因而，变得能够完善地计算在所捕捉图像中出现的校正图案与要投影的原始校正图案之间的失真量。
[0098]此外，在此实施例中，可以与特征点的坐标一起获取置信度等级。基于置信度等级的值(水平)，用户可以关注插值的可靠性或准确性，以便可以进一步改善可用性。而且，变得能够基于特征点的置信度等级水平使用另一图像处理算法来提取特征点。
[0099]图8示出在根据另一实施例的图案提取设备中使用的其他状态值。在下文中，参考图8和图9，描述在此实施例中的状态值的使用与参考图2到图7所述的实施例中的状态值的使用之间的差别。
[0100]在图8的实施例中，存在可以设置为状态值的值“O”到“3”。状态值“O”表示其中特征点未被插值的未确认的状态。状态值“I”表示其中自从初始状态起特征点已经存在的确认的状态。状态值“2”表示其中使用具有状态值“I”的特征点对特征点插值(插值“A”)的状态。状态值“3”表示其中使用已经被插值的特征点对特征点插值(插值“B”的状态。)
[0101]在此实施例中，在图4的步骤S403中，为了计算未确认的特征点的坐标，插值部分203参考在状态缓冲器207中存储的外推中所使用的特征点的状态值，确定在特征点之中是否存在已经被插值的特征点，并且将确定结果与要被插值的特征点相关联并存储。
[0102]接下来，在步骤S404中的状态值的更新处理中，状态更新部分204基于由插值部分203存储的确定结果来确定在外推中使用的附近特征点之中是否存在已经被插值的特征点。
[0103]当确定在外推中使用的附近特征点之中没有已经被插值的特征点时，状态更新部分204将在先前的步骤S403中插值的特征点的状态值更新为指示插值“A”的值(即S[i，j]=2)。另一方面，当确定在外推中使用的附近特征点之中存在已经被插值的特征点时，状态更新部分204将在先前的步骤S403中插值的特征点的状态值更新为指示插值“B”的值(即 S[i, j] = 3) ο
[0104]接下来，在步骤S406中的置信度等级的计算处理中，插值控制部分201基于以下公式5计算置信度等级“C”。
[0105]DA = 1000X (具有插值“A”状态的插值的特征点的数量)/(MXN)
[0106]DB = 2000 X (具有插值“B”状态的插值的特征点的数量)/(ΜXN)
[0107]C = MAX{100-DA-DB, 0}公式 5
[0108]
[0109]其中“C”、“DA”和“DB”是变量，并且MAX{}表示输出括号“ {} ”中的最大值的函数。
[0110]例如，当具有插值“A”状态的插值的特征点与所有特征点的比率是I %时，置信度等级“C”是90 %。当具有插值“B”状态的插值的特征点与所有特征点的比率是I %时，置信度等级“C”是80%。S卩，如上所述，已经使用插值的特征点对具有插值“B”状态的特征点插值。因此，具有插值“B”状态的特征点的置信度等级可能低于具有插值“A”状态的特征点的置信度等级。如上所述，在此实施例中，当特征点被插值时，可能变得能够取决于被用于插值的特征点的状态而计算插值处理的可靠性和准确度。
[0111]图9示意性示出根据参考图8所述的此实施例的插值处理。在图9的此实施例中，在初始状态下存在三个未确认的特征点900、901和902。在这些特征点之中，使用附近特征点对特征点901和902进行外推。因此，在第一插值处理中，那些特征点901和902可以被插值。此外，可以不使用具有插值“A”状态或者插值“B”状态的任何特征点来进行第一插值处理。因此，在插值之后的特征点911和912的状态是插值“A” (即S[i，j] = 2)。
[0112]作为在第一插值处理中的特征点911的坐标的计算结果，变得能够对未确认的特征点900进行插值。因而，通过进行第二插值处理，未确认的特征点900可以被插值。在第二插值处理中，由于使用在第一插值处理中已经被插值的特征点911，所以在插值之后的特征点920的状态是插值“B”(即S[i，j] =3)。在图9的实施例中，在第二插值处理之后，没有剩余的未确认的特征点。因此，插值处理结束。
[0113]图10是由根据此实施例的图案提取设备进行的处理的流程图。在以下，参考图10和图11，描述在此实施例中的状态值的使用与在参考图8和9所述的实施例中的状态值的使用之间的差别。
[0114]在图10的处理中，处理开始于步骤S1000。在步骤S1001中，插值控制部分201通过使用公式I初始化分别在存储部分205的坐标数据缓冲器206和状态缓冲器207中存储的坐标和状态值。
[0115]在步骤S1002中，插值目标提取部分202参考状态缓冲器207，并且提取未确认的特征点(即其中s[i，j] = O的特征点)以及具有插值“B”状态(即S[i，j] = 3)的特征点。在步骤S1003中，类似于图4中的步骤S403，插值部分203计算在步骤S1002中提取的未确认的特征点以及具有插值“B”状态的特征点的坐标。
[0116]在步骤S1003，在具有插值“B”状态的特征点的计算中，插值部分203基于以下公式6计算差“DP”，该差是在之前的插值处理中计算的具有插值“B”状态的特征点的坐标(xp，yp)与在此插值处理中计算的具有插值“B”状态的特征点的坐标(x，y)之间的差。
[0117]DP = SQRT{ (x-xp) ~2+(y_yp) ~2}公式 6
[0118]
[0119]其中，“ SQRT {} ”表示平方根~ ”表示幂。
[0120]此外，在步骤S1003中，类似于图8的实施例，在特征点的坐标的计算中，插值部分203参考在状态缓冲器207中存储的在外推中使用的特征点的状态值，确定已经被插值的特征点是否被包括在这些特征点中，并且将确定结果与要被插值的特征点相关联并存储。
[0121]接下来，在以下的更新状态值的步骤S1004中，状态更新部分204使用由插值部分203存储的确定结果，并且确定在外推中使用的附近特征点之中是否存在已经被插值的特征点。当确定在外推中使用的附近特征点之中没有已经被插值的特征点时，状态更新部分204将在先前的步骤S1003的处理中被插值的特征点的状态值更新为指示插值“A”状态的值(即 S[i, j] = 2)。
[0122]另一方面，当确定在外推中使用的附近特征点之中存在已经被插值的特征点时，状态更新部分204进一步确定差DP是否小于或等于阈值DT。优选地，阈值DT可以是指示等于使用确认的特征点的插值中的置信度等级的置信度等级的值。
[0123]当差DP小于或等于阈值DT时，状态更新部分204将在先前的步骤S1003中已经被插值的特征点的状态值更新为指示插值“A”状态的值(即S[i，j] = 2)。另一方面，当确定差DP大于阈值DT时，状态更新部分204将在先前的步骤S1003中已经被插值的特征点的状态值更新为指示插值“B”状态的值(即S[i，j] = 3)。
[0124]在步骤S1005中，插值控制部分201使用公式5并计算差值处理的置信度等级“C”。在此实施例中，即使当在外推中使用的附近特征点包括已经被插值的特征点时，如果通过先前的插值处理获取的坐标接近通过此插值处理获取的坐标，则可以认为实现了稳定的收敛，并且可以给出更高的置信度等级“C”。
[0125]在步骤S1006中，插值控制部分201确定置信度等级“C”是否大于或等于阈值T或者置信度等级“C”是否与作为先前的出租车里的置信度等级的置信度等级“Cp”相同。阈值T可以基于期望的插值可靠性和准确度而任意设置。此外，假设置信度等级“Cp”的初始值被设置为不可能作为置信度等级的值(例如999)。
[0126]当确定置信度等级“C”小于阈值T并且置信度等级“C”不同于置信度等级“Cp”时(步骤S1006中的否)，处理前进(分支)到步骤S1007。在步骤S1007中，插值控制部分201将在步骤S1005中获取的置信度等级“C”的值设置为置信度等级“Cp”的值。然后，处理回到步骤S1002。另一方面，当确定置信度等级“C”大于或等于阈值T或者置信度等级“C”等于置信度等级“Cp”时(步骤S1006中的是)，处理在步骤S1008中结束。
[0127]在此实施例中，当置信度等级“C”大于或等于某个置信度等级值时或者当置信度等级“C”收敛于某个置信度等级时，插值处理可以终止。但是，根据另一实施例，当置信度等级“C”达到由用户指定的置信度等级时，插值处理可以终止。
[0128]图11示意性示出公交车框图10所述的实施例的插值处理。在图11的实施例中，存在六个未确认的特征点1100到1105。在这些特征点之中，可以通过使用各自的附近特征点仅对特征点1100、1102、1103和1105进行外推。因此，对这些特征点1100、1102、1103和1105进行插值。在各自的插值处理中，不使用已经被插值的特征点。因此，在插值处理之后的特征点1100、1102、1103和1105的状态是插值“A” (即S[i, j] = 2)。
[0129]由于计算了特征点1100、1102、1103和1105的坐标，所以可以进一步对未确认的特征点1101和1104进行外推。因此，通过进行第二插值处理，未确认的特征点1101和1104被插值。作为第二差值处理的结果，由于使用在第一插值处理中已经被插值的特征点，使用在插值之后的特征点1121和1124的状态是插值“B” (即S[i，j] = 3)。
[0130]接下来，如上所述，因为特征点1121和1124的状态是插值“B”(即S[i，j] =3)，所以对他重点1121和1124进行另外的插值处理。在对他重点1121进行的插值中，尽管使用已经被插值的特征点，但是因为此插值的差DP小于阈值DT，所以在插值之后的特征点1131的状态是插值“A”(即S[i，j] =2)。另一方面，在对特征点1124进行的插值中，因为此插值的差DP大于阈值DT，所以在插值之后的特征点1134的状态维持在插值“B”(即S[i, j] = 3) ο
[0131]接下来，由于特征点的状态是插值“B”(即S[i，j] = 3)，所以对特征点1134进行另外的插值。在此插值中，尽管使用已经被插值的特征点，但是因为在此实施例的插值中差DP小于或等于阈值DT，所以特征点1144的状态变为插值“A” (即S[i, j] = 2)。
[0132]在图10和11的实施例中，不仅可以对未确认的特征点而且可以对具有插值“B”状态的特征点(即具有较低置信度等级的特征点)重复地进行插值处理。因此，可能变得能够改进差值处理的可靠性。
[0133]图12示出根据实施例的包括图案提取设备的信息处理装置。信息处理装置1200可以是包括例如桌面计算机、平板型计算机和膝上型计算机的计算机。信息处理装置1200包括处理器1201、只读存储器(ROM) 1202、随机存取存储器(RAM) 1203、硬盘设备(HDD) 1204、外部设备连接接口 1205和网络接口 1206。
[0134]处理器1201是执行由信息处理装置1200进行的处理的设备。可以使用诸如中央处理单元(CPU)和微处理器单元(MPU)的各种处理器作为处理器1201。ROM 1202是存储诸如B1S的引导程序的非易失性存储器。
[0135]RAM 1203是提供用于程序执行的空间的非易失性存储器。信息处理装置1200通过在诸如WINDOWS (注册商标)系列、Mac (注册商标)OS、UNIX (注册商标)、LINUX (注册商标)等的操作系统的控制下加载并执行以诸如汇编、C、C++、Java(注册商标)、JAVASCRIPT (注册商标)、PERL、RUBY、PYHON等的程序语言描述的根据实施例的程序来在信息处理装置1200上实现上述功能部件。
[0136]硬盘设备1204是存储根据本发明的实施例的程序以及各种数据的大规模非易失性存储器。根据实施例的程序可以存储在诸如CD-ROM、MO、软盘、EEPROM、EPROM等的要安装的设备可读记录介质中。此外，根据实施例的程序还可以经由网络安装。硬盘设备1204可以存储被包括在校正图案的所捕捉图像中的特征点的坐标数据。
[0137]网络接口 1206是连接到外部网络的接口并且是诸如LAN线缆连接器、模块线缆连接器等的物理接口。图案提取结果可以经由网络接口 1206传送到外部设备。
[0138]外部设备连接接口 1205是连接到诸如鼠标和键盘的输入设备、显示设备、打印设备、图像捕捉设备等的接口，并且是诸如USB端口的物理接口。被包括在所捕捉图像中的校正图案的特征点的坐标数据可以从经由外部设备连接接口 1205连接的诸如数字相机的图像捕捉设备获取。图案提取结果可以经由外部设备连接接口 1205输出到显示设备和打印设备。
[0139]图13示意性示出根据本发明的另一实施例的插值处理。在图13的实施例中，使用校正图案1300，其中不在网格交叉点上布置其特征点。
[0140]校正图案1300是要由诸如投影仪的投影设备投影的图像图案。校正图案1310是由投影设备从校正图案1300投影的图像图案。在校正图案1310中，作为特征点的黑色圆圈的位置不规则地偏移，并且一个特征点是有缺陷的(遗漏)。
[0141]在此实施例中，图案提取设备200指定校正图案1300的与有缺陷的特征点1311对应的特征点1321(下文中可以称为“参考特征点”)，并且进一步指定位于该参考特征点1321附近的附近特征点1322、1323和1324。然后，图案提取设备200通过使用参考特征点1321以及附近特征点1322、1323和1324的指定的坐标以及位于有缺陷的特征点1311附近的附近特征点1332、1333和1334的坐标来计算有缺陷的特征点1311的坐标。
[0142]图14是示出参考图13所述的插值处理的流程图。在图14的处理中，处理开始于步骤S1400。在步骤S1401中，插值控制部分201或者插值目标提取部分202将被包括在要投影的校正图案中的特征点与被包括在已投影的校正图案中的特征点比较，并且制定在其之间不对应的特征点(即参考特征点)。
[0143]在步骤S1402中，插值部分203指定在该参考特征点附近的多个特征点(附近特征点)。在此实施例中，插值部分203可以通过使用参考特征点的坐标以及被包括在原始校正图案中的特征点的坐标计算被包括在原始校正图案中的特征点与参考特征点之间的欧几里得距离来指定附近特征点。
[0144]在步骤S1403中，插值部分203通过使用参考特征点的坐标、在参考特征点附近的分级特征点的坐标、以及在有缺陷的特征点附近的附近特征点的坐标来计算有缺陷的特征点的坐标。
[0145]具体地,插值部分203通过将在参考特征点附近的附近特征点的坐标(xa, ya)、(xb, yb)和(xc, yc)以及在有缺陷的特征点附近的附近特征点的坐标(Xa, Ya)、(Xb, Yb)和(Xe, Yc)代入以下公式7中来计算仿射系数“a”、“b”、“c”、“d”、“e”和“f”。此外，插值部分203可以通过将得到的仿射系数应用于公式7中并且代入参考特征点的坐标(xd，yd)来计算有缺陷的特征点的坐标(Xd，Yd)。
[0146]X = a*x+b*y+e
[0147]Y = c*x+d*y+f公式 7
[0148]
[0149]在步骤S1404中，插值控制部分201通过使用在步骤S1401中的比较结果来确定是否存在另一有缺陷的特征点。当确定存在另一有缺陷的特征点时(步骤S1404中的是)，处理回到步骤S1401以计算该有缺陷的特征点的坐标。另一方面，当确定没有其他的有缺陷的特征点时(步骤S1404中的否)，处理在步骤S1405中结束。
[0150]在此实施例中，更靠近参考特征点的较高等级的特征点被用作附近特征点。但是，在另一实施例中，作为例如第一、第二和第四等级的特征点的任意等级的特征点可以用作附近特征点。此外，在此实施例中，使用三个特征点来对有缺陷的特征点插值。但是，在另一实施例中，可以使用四个或更多附近特征点来对有缺陷的特征点插值。
[0151]此外，在此实施例中，当指定在参考特征点附近的附近特征点时，不设置(使用)在特征点与参考特征点之间的距离的上限而指定那些附近特征点，其中通过该距离确定特征点位于参考特征点附近。但是，在另一实施例中，可以通过设置(使用)距离的上限而指定附近特征点，其中通过该距离可以指定特征点位于参考特征点附近。
[0152]图17示出通过设置距离的上限来指定附近特征点的方法，其中通过该距离可以将特征点指定为在参考特征点附近的附近特征点。在下文中，参考图17，描述了通过设置距离的上限指定附近特征点并且对有缺陷的特征点插值的方法，其中通过该距离可以将它重点指定为在参考特征点附近的附近特征点。
[0153]在图17的实际投影的校正图案1700中，存在三个有缺陷的特征点。如参考图14所述的，插值部分203指定与有缺陷的特征点对应的参考特征点。在此实施例中，假设首先指定参考特征点1701。
[0154]此外，插值部分203确定在离作为范围的中心的参考特征点1701预定距离1702的范围内没有缺陷(遗漏)的特征点的预定数目。在此实施例中，任意的欧几里得距离可以被用作该预定距离。
[0155]如图17所示，在离作为范围的中心的参考特征点1701预定距离1702的范围内仅有一个没有缺陷的特征点。因此，插值部分203不对与该参考特征点1701对应的有缺陷的特征点插值，并且对另一有缺陷的特征点进行差值处理。
[0156]接下来，插值部分203指定与另一有缺陷的特征点对应的参考特征点1703。如图17所示，在离作为中心的参考特征点1703预定距离1704的范围内存在三个没有缺陷的特征点1705、1706和1707。因此，插值部分203通过使用这三个特征点的坐标以及参考特征点1703的坐标来对于该参考特征点1703对应的有缺陷的特征点插值。以相同的方式，插值部分203通过使用没有缺陷的特征点1707、1709和1710的坐标以及参考特征点1708的坐标对与该参考特征点1708对应的有缺陷的特征点插值。
[0157]此外，插值部分203通过使用存在于离作为范围的中心的参考特征点1701预定距离1702的范围内的特征点1710以及插值的特征点1720和1721对与参考特征点1701对应的有缺陷的特征点插值。因此，在图17的实施例中，插值的特征点1720和1721的状态信息指示插值“A”，并且插值的特征点1722的状态信息指示插值“B”。
[0158]图15示意性示出根据实施例通过使用多个捕捉图像对校正图案的特征点插值的处理。在下文中，参考图15，描述了其中使用捕捉图像中的两个来对校正图案的特征点插值的处理。此外，在另一实施例中，可以使用捕捉图像中的三个或更多。
[0159]第一捕捉图像1500是由图像捕捉设备产生的校正图案的捕捉图像。第二捕捉图像1510是从与第一捕捉图像1500相同的位置但是在诸如不同的曝光时间以及不同的白平衡设置的不同条件下捕捉的相同的校正图案的捕捉图像。
[0160]在另一实施例中，可以通过校正伽马值改变第一捕捉图像的色调来产生第二捕捉图像。此外，当通过对第一捕捉图像数字化而进行插值时，可以通过改变用于数字化的阈值而获得要被插值的图像。
[0161]在第一捕捉图像1500中，应该在区域1503、1505和1506中的特征点是有缺陷的(遗漏的)。在第二捕捉图像1510中，应该在区域1514和1516中的特征点是有缺陷的(遗漏的)。
[0162]在图15的实施例中，插值控制部分201或者插值目标提取部分202通过使用被包括在第一捕捉图像1500中的特征点的坐标信息和被包括在第二捕捉图像1510中的特征点的坐标信息提取应该在有缺陷的部分1526中的要被插值的特征点。
[0163]在图15的实施例中，作为特征点1522的坐标，使用特征点1502的坐标以及特征点1512的坐标的平均值。此外，作为特征点1523和1525的坐标，分别使用特征点1513和1515的坐标。此外，作为特征点1528的坐标，使用特征点1508的坐标以及特征点1518的坐标的平均值，并且作为特征点1529的坐标，使用特征点1509的坐标以及特征点1519的坐标的平均值。
[0164]插值部分203通过使用如上所述可以用于计算的在有缺陷的部分1526中的特征点附近的特征点的坐标计算有缺陷的部分1526中的特征点的坐标。
[0165]如上所述，在此实施例中，通过使用多个捕捉图像提取插值目标，可能变得能够减少要被插值的特征点的数目并且改进插值的准确度。
[0166]图16示意性示出根据另一实施例使用多个捕捉图像对校正图案的特征点插值的另一方法。在此实施例中，图案提取设备200不仅包括图2的功能部件而且包括坐标校正部分，该坐标校正部分校正被包括在所捕捉图像中的特征点的坐标和/或由插值部分203计算的特征点的坐标。再现位置，参考图16，描述了通过使用捕捉图像中的两个来对校正图案的特征点插值的方法。此外，在另一实施例中，可以使用捕捉图像中的三个或更多。
[0167]第一捕捉图像1600是由图像捕捉设备产生的校正图案的捕捉图像。第二捕捉图像1620是从与第一捕捉图像1600相同的位置但是在诸如不同曝光时间和不同白平衡设置的不同条件下捕捉的相同的校正图案的捕捉图像。
[0168]在另一实施例中，如在图15的实施例中那样，可以通过校正伽马值改变第一捕捉图像的色调而产生第二捕捉图像。此外，当通过对第一捕捉图像数字化而进行插值时，可以通过改变用于数字化的阈值而获得要被插值的图像。
[0169]图像1610是通过对第一捕捉图像1600插值而产生的图像。在图16的实施例中，通过对第一捕捉图像1600进行的第一插值处理而对有缺陷的部分1603和1607插值，并且获取特征点1613和1617的坐标。此外，通过第二插值处理，有缺陷的部分1605被插值，并且获取特征点1615的坐标。
[0170]图像1630是通过对第二捕捉图像1620插值而产生的图像。在图16的实施例中，通过对第二捕捉图像1620进行的第一操作处理而对有缺陷的部分1622、1624和1627插值，并且获取特征点1632、1634和1637的坐标。此外，通过第二插值处理，有缺陷的部分1623和1626被插值，并且获取特征点1633和1636的坐标。此外，通过第三插值处理，有缺陷的部分1625被插值，并且获取特征点1635的坐标。
[0171]坐标校正部分通过使用第一捕捉图像的特征点的坐标、第二捕捉图像的特征点的坐标、通过对第一捕捉图像插值获取的特征点的坐标和/或通过对第二捕捉图像插值获取的特征点的坐标来校正该校正图案的特征点的坐标。
[0172]更具体地，如果在两个捕捉图像之间彼此对应的两个特征点不是有缺陷的(遗漏的)，则坐标校正部分使用这两个特征点的平均值作为校正值。例如，坐标校正部分计算单元步骤特征1600的特征点1601以及第二捕捉图像1620的特征点1621的平均值以获取特征点1641的校正值。
[0173]此外，如果在两个捕捉图像之间彼此对应的特征点中的仅一个有缺陷(遗漏)，坐标校正部分使用没有缺陷的特征点的坐标作为校正值。例如，坐标校正部分使用第一捕捉图像的特征点1602、1604和1606的坐标分别作为特征点1642、1644和1646的校正值。
[0174]此外，如果在两个捕捉图像之间彼此对应的两个特征点都有缺陷(遗漏)，则坐标校正部分通过对被插值的特征点的坐标加权平均来计算校正值。
[0175]例如，如像特征点1643那样，对第一捕捉图像1600进行插值处理一次，并且对第二捕捉图像1620进行插值处理两次。在此情况下，坐标校正部分可以通过将第一捕捉图像1600的特征点1613的坐标乘以加权值(2/3)、将第二捕捉图像1620的特征点1633的坐标乘以加权值(1/3)并且对乘积求和来计算校正值。
[0176]关于特征点1645，对第一捕捉图像1600进行插值处理一次，并且对第二捕捉图像1620进行插值处理三次。在此情况下，坐标校正部分可以通过将第一捕捉图像1600的特征点1615的坐标乘以加权值(3/5)、将第二捕捉图像1620的特征点1635的坐标乘以加权值(2/5)并且对乘积求和来计算校正值。这样做，可能变得能够通过对目前为止已经被插值更少次数的特征点(即具有较高可靠性的特征点)的坐标放置较高的权重来进行校正。
[0177]关于特征点1647，对第一捕捉图像1600进行插值处理一次，并且对第二捕捉图像1620进行插值处理一次。在此情况下，坐标校正部分可以通过将第一捕捉图像1600的特征点1617的坐标乘以加权值(1/2)、将第二捕捉图像1620的特征点1637的坐标乘以加权值(1/2)并且对乘积求和来计算校正值。
[0178]在此实施例中，通过对被插值的特征点的坐标加权平均来获取校正值。但是，在另一实施例中，可以使用已经被插值更少次数的特征点的坐标作为校正值。此外，在另一实施例中，可以通过使用三个或更多捕捉图像来校正特征点的坐标。在此情况下，作为要在特征点的坐标的加权平均中使用的加权值，可以使用任意的值。例如，当使用三个捕捉图像时，可以按照插值次数的升序使用值“3/6 ”、“2/6”和“1/6”作为要在特征点的加权平均中使用的加权值。此外，在描述中，使用圆形图案(例如黑色圆圈)。但是，本发明不限于在此所述的圆形图案。即，例如，也可以使用任何其他适当的图案作为用于实行本发明的图案。
[0179]尽管为了完整和清楚的公开关于具体实施例描述了本发明，但是所附权利要求并不因此受限，而是将被理解为包含了正当地落在在此所述的基本教导内的对本领域技术人员可能发生的所有修改和替换构成。
[0180]本申请基于2012年5月21日提交的日本专利申请第2012-115526号、2013年3月7日提交的日本专利申请第2013-045300号以及2013年3月15日提交的日本专利申请第2013-052976号，并且要求它们的优先权的权益，其全部内容通过引用合并于此。
[0181]参考标记的描述
[0182]200:图案提取设备
[0183]201:插值控制部分
[0184]202:插值目标提取部分
[0185]203:插值部分
[0186]204:状态更新部分
[0187]205:存储部分
[0188]206:坐标数据缓冲器
[0189]207:状态缓冲器
[0190]现有技术文献
[0191][专利文献I]日本公开的专利申请公开第2010-028411号
【权利要求】
1.一种用于提取图像图案的图案提取设备，该图案提取设备包括: 插值目标提取单元，配置为基于被投影的图像图案的捕捉图像提取要被插值的特征点；以及 插值单元，配置为通过使用位于所述要被插值的特征点附近的附近特征点对所述要被插值的特征点插值。
2.根据权利要求1所述的图案提取设备， 其中该插值单元配置为将所述附近特征点划分为组，计算所述组的外推坐标，并且考虑到所述外推的重要性而计算要所述被插值的特征点的坐标。
3.根据权利要求1或2所述的图案提取设备，还包括: 更新单元，配置为更新指示所述特征点的状态的状态信息， 其中所述插值目标提取单元配置为通过使用所述状态信息来提取所述特征点。
4.根据权利要求1到3的任意一项所述的图案提取设备，包括: 置信度等级计算单元，配置为计算由所述插值单元执行的插值的置信度等级。
5.根据权利要求1到4的任意一项所述的图案提取设备， 其中所述插值单元配置为对所述要被插值的特征点重复地进行插值。
6.根据权利要求1所述的图案提取设备， 其中所述插值单元配置为通过使用被包括在要被投影的图像图案中的并且与作为所述要被插值的特征点的有缺陷的特征点对应的特征点的坐标、被包括在所述要被投影的图像图案中的并且位于与所述有缺陷的特征点对应的特征点附近的特征点的坐标、以及位于所述有缺陷的特征点附近的附近特征点的坐标，来计算被包括在所述要被投影的图像图案中的并且要被插值的所述有缺陷的特征点的坐标。
7.根据权利要求1到6的任意一项所述的图案提取设备， 其中所述插值目标提取单元配置为通过使用被投影的图像图案的多个捕捉图像来提取所述要被插值的特征点。
8.根据权利要求1到6的任意一项所述的图案提取设备， 其中所述插值目标提取单元和所述插值单元配置为对被投影的图像图案的多个捕捉图像的每个进行处理， 其中该图案提取设备还包括校正单元，所述校正单元配置为通过使用被包括在捕捉图像中的特征点的坐标以及由所述插值单元计算的特征点的坐标的至少一个，来校正所述要被插值的特征点的坐标和被包括在捕捉图像中的特征点的坐标的至少一个。
9.根据权利要求1到8的任意一项所述的图案提取设备， 其中所述插值单元配置为设置位于离所述要被插值的特征点预定距离的范围内的特征点作为附近特征点。
10.一种图像投影设备，包括根据权利要求1到9的任意一项所述的图案提取设备。
11.一种由图案提取设备执行的图案提取方法，该图案提取方法包括: 基于被投影的图像图案的捕捉图像提取要被插值的特征点的步骤；以及 通过使用位于所述要被插值的特征点附近的附近特征点对所述要被插值的特征点插值的步骤。
12.根据权利要求11所述的图案提取方法， 其中在所述插值的步骤中，将所述附近特征点划分为组，计算所述组的外推坐标，并且考虑到所述外推的重要性而计算所述要被插值的特征点的坐标。
13.根据权利要求11或12所述的图案提取方法，还包括: 更新指示所述特征点的状态的状态信息的步骤， 其中在所述提取的步骤中，通过使用所述状态信息来提取所述特征点。
14.根据权利要求11到13的任意一项所述的图案提取方法，还包括: 计算所述插值的置信度等级的步骤。
15.根据权利要求11到14的任意一项所述的图案提取方法， 其中在插值的步骤中，对要被插值的特征点重复地进行插值
16.根据权利要求11所述的图案提取方法， 其中在所述插值的步骤中，通过使用被包括在要被投影的图像图案中的并且与作为所述要被插值的特征点的有缺陷的特征点对应的特征点的坐标、被包括在所述要被投影的图像图案中的并且位于与所述有缺陷的特征点对应的特征点附近的特征点的坐标、以及位于所述有缺陷的特征点附近的附近特征点的坐标，来计算被包括在所述要被投影的图像图案中的并且要被插值的所述有缺陷的特征点的坐标。
17.根据权利要求11到16的任意一项所述的图案提取方法， 其中在所述提取的步骤中，通过使用被投影的图像图案的多个捕捉图像来提取所述要被插值的特征点。
18.根据权利要求11到16的任意一项所述的图案提取方法， 其中所述提取和插值的步骤对被投影的图像图案的多个捕捉图像的每个进行， 其中该图案提取方法还包括校正的步骤，其中通过使用被包括在捕捉图像中的特征点的坐标以及由所述插值步骤计算的特征点的坐标的至少一个，来校正所述要被插值的特征点的坐标和被包括在捕捉图像中的特征点的坐标的至少一个。
19.根据权利要求11到18的任意一项所述的图案提取方法， 其中在所述插值的步骤中，设置位于离所述要被插值的特征点预定距离的范围内的特征点作为附近特征点。
20.一种程序，致使图案提取设备执行根据权利要求11到19的任意一项的图案提取方法。
【文档编号】H04N5/74GK104365086SQ201380031675
【公开日】2015年2月18日 申请日期:2013年5月16日 优先权日:2012年5月21日
【发明者】内山幸央, 长谷川史裕 申请人:株式会社理光