信息处理器以及信息处理方法
【专利摘要】信息处理设备从成像设备获取立体图像。位置信息生成单元(46)中的检测平面定义单元(60)在第一照相机的照相机坐标系的3D空间中定义检测平面，并通过投影到第一照相机拍摄的左图像的平面上计算检测区的顶点坐标。特征计算单元(62)生成左右图像的特征图像。视差校正区导出单元(64)导出如下区域作为视差校正区：只让右图像中与左图像中的检测区相同的区域向左移动与检测平面的位置深度相对应的视差的数量而获得的区域。匹配单元(68)块匹配每个区域的特征图像，并导出高评价特征。位置信息输出单元(70)根据匹配结果生成并输出由输出信息生成单元(50)使用的信息。
【专利说明】信息处理器以及信息处理方法
【技术领域】
[0001]本发明涉及根据所摄图像进行处理的信息处理器以及该信息处理器使用的信息处理方法。
【背景技术】
[0002]近年来，将照相机并入个人计算机或游戏控制台中捕获用户的图像以便以多种形式使用已经司空见惯。例如，像TV电话和视频聊天那样目前已经商用的一些技术被设计成以“原样”方式将用户的图像发送给另一端。其它技术通过图像分析识别用户的运动，并将这样的运动作为输入信息用于游戏和信息处理(参照，例如，PTL I)。
[0003]进一步，近年来，通过高精度地在包括深度方向上的三维空间中检测用户的运动，可以提供更好的现实感和图像表示。在适用于在深度方向检测目标的位置的商用技术当中的是使用通过立体照相机拍摄的左右图像之间的视差的那些技术和适用于分析发射红外光束的反射时间或红外图像的其它技术。
[0004][引用列表]
[0005][专利文献]
[0006][PTL I]
[0007]WO 2007/050885A2 公开
【发明内容】
[0008][技术问题]
[0009]使用立体照相机的传统技术可能导致受像光源那样的成像环境的变化影响的测量结果。进一步，为了使精度更高而提高照相机的分辨率导致左右为难的窘境，即，更高的计算成本和作为其结果使响应变得更慢的更大可能性。另一方面，使用红外光束的技术分别需要红外传感器和专用照相机系统，导致高的制造成本和大的功耗。
[0010]本发明就是鉴于上述情况而设想的，本发明的目的是提供可以高精度和迅速响应地以及低成本地在三维空间中使用目标位置实现信息处理的技术。
[0011][问题的解决方案]
[0012]本发明的一种方式涉及信息处理器。该信息处理器使用所摄图像在三维空间中检测测量目标的位置。该信息处理器包括图像获取部分、检测平面定义部分、视差校正区导出部分、匹配部分、和检测结果输出部分。该图像获取部分获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据。该检测平面定义部分在三维空间中定义检测平面并建立检测区。该检测区是通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的。该视差校正区导出部分在第二照相机拍摄的图像，gp，立体图像之一中导出视差校正区。该视差校正区是通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量而导出的。该匹配部分进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配。该检测结果输出部分输出该匹配部分进行匹配的结果。
[0013]本发明的另一种方式涉及信息处理方法。该信息处理方法被信息处理器用于使用所摄图像在三维空间中检测测量目标的位置。该信息处理方法包括获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据的步骤。该信息处理方法包括在三维空间中定义检测平面并建立检测区的另一个步骤。该检测区是通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的。该信息处理方法包括在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区的又一个步骤。该视差校正区是通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量而导出的。该信息处理方法包括进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配的又一个步骤。该信息处理方法包括使用匹配的结果生成图像以及将图像显示在显示设备上的又一个步骤。
[0014]应当注意到，上述组件的任何组合和本发明的表达在“方法”、“设备”、“系统”、“计算机程序”、“存储计算机程序的记录介质”等之间的任何转换也可有效地作为本发明的方式。
[0015][本发明的有利效果]
[0016]本发明低成本地以及高精度地实现将所摄图像用作输入信息的信息处理。
【专利附图】
【附图说明】
[0017]图1是例示本实施例可应用的信息处理系统的配置例子的示图；
[0018]图2是例示本实施例中的信息处理器的内部电路配置的示图；
[0019]图3是例示本实施例中的成像设备和信息处理器的配置的示图；
[0020]图4是描述在本实施例中定义的检测平面的示图；
[0021]图5是描述本实施例中的立体图像视差与测量目标在深度方向上的位置之间的关系的不图；
[0022]图6是描述视差D随图5中的距离Z变化而变化的示图；
[0023]图7是详细例示本实施例中的位置信息生成部分的配置的示图；
[0024]图8是描述本实施例中建立检测平面的例子的示图；
[0025]图9是例示在显示在图8中的环境中拍摄的立体图像的例子的示图；
[0026]图10是描述本实施例中建立检测平面的另一个例子的示图；
[0027]图11是例示在显示在图10中的环境中拍摄的立体图像的例子的示图；
[0028]图12是例示本实施例中主要与信息处理系统进行的所有信息处理的位置检测关联的处理的序列的流程图；
[0029]图13是描述具有周期性结构的对象的存在引起的错误确定的示图；
[0030]图14是描述本实施例中防止周期性结构的存在引起的位置检测精度的下降的技术的示图；
[0031]图15是描述本实施例中防止周期性结构的存在引起的检测精度的下降的另一种技术的示图；
[0032]图16是描述本实施例中检测天花板和地板平面的技术的示图；
[0033]图17是例示位置信息生成部分为检测例示在图16中的天花板和地板平面而进行的处理的序列的流程图；
[0034]图18是例示本实施例中总体定义具有剪裁成一个人的形状的模型形状的多个检测平面的例子的示图；以及
[0035]图19是例示本实施例中校正信息处理器时用的系统配置的示图。
【具体实施方式】
[0036]图1例示了本实施例可应用的信息处理系统的配置例子。信息处理系统2包括成像设备12、信息处理器10、和显示设备16。成像设备12含有适用于捕获像用户I那样的目标的两台照相机。信息处理器10根据所摄图像，响应于用户的请求进行信息处理。显示设备16输出作为信息处理器10进行的处理的结果而获得的图像数据。进一步，我们假设信息处理器10可以与像互联网那样的网络18连接。
[0037]信息处理器10、成像设备12、显示设备16、和网络18可以通过电缆连接在一起。可替代地，它们可以无线地，例如，通过无线LAN(局域网)连接在一起。成像设备12、信息处理器10和显示设备16的任何两个或其所有可以组合成整体。可替代地，成像设备12无需必须布置在显示设备16的顶部。进一步，对被摄物的数量的类型没有限制。
[0038]成像设备12含有其间具有已知间隔地一台在左侧另一台在右侧排列的两台数字摄像机。每台数字摄像机包括CCD(电荷耦合器件)、CM0S(互补金属氧化物半导体)、或其它成像元件。每台数字摄像机以给定帧速率从左或右位置捕获存在于相同空间中的被摄物。如上所述拍摄获得的帧对在下文中将被称为“立体图像”。
[0039]信息处理器10在包括图像平面和相对于照相机的深度方向上的三维空间中检测被摄物的位置。将检测结果用于在将被摄物的位置和运动用作输入信息的随后阶段中进行的处理。例如，将检测结果用于实现在所摄图像中描绘在用户I的肩上或掌上飞行的虚拟物体的AR(增强现实)。可替代地，可以跟踪用户I的运动，以便在游戏图像中反映该运动或将该运动转换成用作信息处理的命令输入。因此，其应用目的不受限制。
[0040]显示设备16将信息处理器10进行的处理的结果显示成图像。显示设备16可以是适用于输出图像的显示器或含有适用于输出声音的扬声器的电视机。显示设备16可以是，例如，液晶显示器、等离子电视、或PC显示器。信息处理器I最终进行的处理的细节和要显示的图像如上所述不受其应用目的特别限制。因此，下面将主要强调信息处理器10进行的目标的位置检测地给予描述。
[0041]图2例示了信息处理器10的内部电路配置。信息处理器10包括CPU(中央处理单元)22、GPU(图形处理单元)24、和主存储器26。CPU 26进行那信息处理器10的内部组件关联的处理以及根据像操作系统和应用程序那样的程序控制信号的交换。GPU 24进行图像处理。主存储器26含有RAM(随机访问存储器)并存储处理所需的程序和数据。
[0042]这些部分经由总线30相互连接。I/O接口 28也与总线30连接。通信部分32、存储部分34、输出部分36、输入部分38、和记录介质驱动部分40与I/O接口 28连接。通信部分32包括像USB和IEEE1394和有线或无线LAN网络接口那样的外围接口。存储部分34包括硬盘驱动器、非易失性存储器等。输出部分36将数据输出到像显示设备16和扬声器那样的输出设备。输入部分38从像键盘、麦克风、和成像设备12那样的输入设备接受数据输入。记录介质驱动部分40驱动像磁盘、光盘、或半导体存储器那样的可移除记录介质。
[0043]CPU 22通过运行存储在存储部分34中的操作系统来控制整个信息处理器10。CPU22还运行从可移除记录介质中读取和装载到主存储器26中或经由通信部分32下载的各种程序。
[0044]GPU 24具有几何引擎功能和渲染处理器功能，依照来自CPU 22的绘图指令进行绘图以及将显示图像存储在未示出的帧缓冲器中。然后，将存储在帧缓冲器中的显示图像转换成视频信号并输出到，例如，输出部分36。
[0045]图3例示了成像设备12和信息处理设备14的配置。例示在图3中的每个功能块可以通过例示在图2中的CPU、GPU、和RAM、和其它处理器以硬件的形式实现，以及通过提供数据输入、数据保留、图像分析、绘图和其它功能的程序以软件的形式实现。因此，本领域的普通技术人员应当明白，这些功能块可以以只包括硬件、只包括软件、和包括它们的组合体的各种形式实现，而不局限它们的任何一种。
[0046]成像设备12包括第一和第二照相机13a和13b。每台照相机以给定帧速率从左或右位置捕获被摄物。左右位置相隔已知宽度。每当有必要时，响应来自信息处理器10的请求，通过普通技术将通过拍摄获得的立体图像发送给信息处理器10。这里，“被摄物”不局限于像显示在图1中的用户I那样存在于视场中心的人或物，而可以是像背景、天花板、墙壁、家具、各种装备等那样视场中的任何东西。将这些东西的哪一个选作被摄物按照检测结果的应用目的来确定。具体例子将在后面描述。
[0047]信息处理器10包括图像获取部分42、输入信息获取部分44、位置信息生成部分46、输出信息生成部分50、和图像存储部分48。图像获取部分42从成像设备12获取立体图像12。输入信息获取部分44获取来自用户的指令输入。位置信息生成部分46根据所摄图像生成被摄物位置信息。输出信息生成部分50通过根据被摄物位置进行必要处理来生成输出信息。图像存储部分48存储从成像设备12供应的立体图像和例如由位置信息生成部分46生成的中间数据。
[0048]输入信息获取部分44接受来自用户的指令输入，并将适当处理请求信号发送给其它功能块。输入信息获取部分44通过像按钮、键盘、鼠标、跟踪球、或触摸面板那样的普通输入设备与适用于解释在输入设备上进行的操作的细节和生成处理请求信号的CPU之间的协调来实现。
[0049]图像获取部分42响应来自输入信息获取部分44的请求，从成像设备12获取像立体图像那样图像数据，将图像数据存储在图像存储体48中。图像获取部分42要获取的图像依照后级上的信息处理器10进行的处理或要输出的信息，在类型上可以是各种各样的。例如，只有第一照相机13a拍摄的图像可以以与在拍摄时相同的帧速率获取，而第一照相机13a和第二照相机13b拍摄的立体图像可以以较低速率获取。也就是说，可以相互独立地规定获取第一照相机13a拍摄的图像和第二照相机13b拍摄的图像的帧速率。
[0050]位置信息生成部分46根据存储在图像存储部分48中的立体图像数据检测被摄物的三维位置。此时，位置信息生成部分46建立检测平面并根据检测平面与被摄物之间的位置关系识别被摄物位置。检测平面用于检测照相机坐标系的三维空间中的目标。此时，位置信息生成部分46使用视差值从立体图像中识别检测平面与被摄物之间的位置关系。该视差值是从照相机(在深度方向上的位置)到检测平面的距离中计算出来的。其细节将在后面描述。
[0051]输出信息生成部分50按照位置检测结果的应用目的适当地进行处理。在这样的处理当中的是根据从位置信息生成部分46供应的与被摄物位置有关的信息在从图像存储部分48中读取的拍摄图像上绘图。这里进行的处理如上所述没有特别限制，可以响应输入信息获取部分44接受的来自用户的指令作适当改变。将作为处理的结果获得的图像数据显示在显示设备16上。可替代地，可以经由网络18将图像数据发送给其它设备。
[0052]图4是描述在本实施例中定义的检测平面的示图。我们首先假设用户1，即，被摄物处在第一照相机13a的照相机坐标系的三维空间中。在要检测其位置的用户I身体区域上建立检测平面51。这个身体区域在显示在图4中的例子中是左手和周围区域。也就是说，检测平面51是在照相机坐标系的三维空间中定义顶点坐标的虚拟平面。对检测平面的轮廓和形状没有特别限制，如有需要也可以规定斜率。
[0053]图4还示意性地例示了第一照相机13a拍摄的所摄图像52。在所摄图像52中自然会看到用户I的画面。位置信息生成部分46将在三维空间中虚拟定义的检测平面51投影到所摄图像52的平面上，并计算与检测平面51匹配的区域54。将在三维空间中定义的“检测平面”投影到图像平面上获得的区域在下文中将被称为“检测区”。将三维空间中定义的模型投影到二维平面上是普通计算机图形处理。计算机图形处理的应用为使用检测平面的有效位置检测创造了条件。
[0054]在本实施例中，检测在所定义检测平面上是否存在被摄物作为位置信息。尽管后面将描述特定技术，但这使得可以有两种做法，即，(I)检测新被摄物开始出现在单个检测平面上(与检测平面接触)，以及(2)通过使多个检测平面分布在给定范围上以及提取存在被摄物的检测平面来检测被摄物的位置。例如，做法(I)可以用于通过将虚拟物体描绘成所定义检测平面的前侧的一部分来产生被摄物与虚拟物体之间的相互作用。做法(2)可以用于根据来自前一次的检测结果以集中方式分布检测平面来跟踪被摄物。
[0055]检测平面51的尺寸可以按照要检测其位置的区域(下文称为“测量目标”)的尺寸来改变。在本实施例中，通过总体地从图像中使测量目标变窄，以及以有限和集中的方式测量深度方向上的位置来消除冗余处理，因此把精力花在必要处理上。这使得可以不用增加处理负担地高精度获取必要信息。应该注意到，照相机13b也拍摄依照视差在错开位置上看见被摄物的与所摄图像52类似的图像。
[0056]接着对使用检测平面和立体图像检测测量目标的位置背后的原理给予描述。图5是描述立体图像视差与测量目标在深度方向上的位置之间的关系的示图。第一和第二照相机13a和13b以这样的方式布置，使它们具有相互在距离L上的平行光轴。我们假设测量目标处在远右端上的箭头所指的位置上。这个位置在深度方向上的距离Z处。
[0057]将每台照相机拍摄的图像用像素表示的在真实空间中的宽度Λχ表达如下:
[0058]Λχ = Z*w/ff,
[0059]其中W是照相机的水平像素计数，w是当距离Z是I时真实空间的视场的水平范围并通过视角来确定。
[0060]彼此相距距离Z的照相机捕获的同一测量目标在那个图像中近似具有用像素表示的如下视差D:
[0061]D = L/ Δ X = L* (W/w) * (1/Z) = C/Z,
[0062]其中C是由照相机及其设置决定的数值，并且在操作期间可以被认为是常数。
[0063]图6代表视差D随距离Z变化而变化。如上面的公式所例示，获得了视差D与距离Z成反比的曲线56。普通立体图像技术使用例示的关系从出现在立体图像中的测量目标的特征点的视差D中求出深度方向上的距离D。因为图像具有以像素为单位的数据，所以以像素为单位获得视差D。因为在图5中以ΛΧ为单位在真实空间中获得视差，所以从图5中将以其为单位获得深度方向上的距离的ΛΖ表达如下:
[0064]Δ ζ = Δ x*Z/L = Z2* (w/W) * (1/L)。
[0065]也就是说，通过传统立体图像技术获得的距离Z的分辨率与距离Z的平方成正比地下降。垂直虚线之间的每个间隔代表Λζ。例如，即使测量目标处在箭头58所指的位置上，也将距离Z的测量结果求整为最接近值Zl或ζ2。如上所述，测量目标离得越远，传统技术越有可能在测量结果中产生误差。
[0066]在本实施例中，通过检测平面将距离Z设置成任意值，因此为距离Z导出视差D。然后，为了评估，在第一照相机13a拍摄的图像的检测区图像与将第二照相机13b拍摄的图像中的相同区域移动与视差D—样多的数量获得的图像之间进行匹配。可以得出结论，在两个图像中处在相同位置上的被摄物画面的区域，即，就匹配而言评价高的区域具有视差D，以及引申开来，该区域处在最初设置的距离Z上。
[0067]图7详细例示了位置信息生成部分46的配置。位置信息生成部分46包括检测平面定义部分60、特征量计算部分62、视差校正区导出部分64、区域剪切部分66、匹配部分68、和位置信息输出部分70。检测平面定义部分60定义检测平面。特征量计算部分62计算图像的特征量。视差校正区导出部分64导出经过考虑到视差的匹配的区域。区域剪切部分66剪切导出的区域。匹配部分68进行剪切区域之间的匹配。位置信息输出部分70输出来自匹配结果的必要信息。
[0068]检测平面定义部分60在第一照相机13a的照相机坐标系的三维空间中定义检测平面，并通过将检测平面投影到第一照相机13a拍摄的图像的平面上来计算检测区的顶点坐标。应该注意到，在下面给出的描述中，第一和第二照相机13a和13b拍摄的图像，即，立体图像将被分别称为左右图像，但是，如果使左右图像扮演的角色相反，则也将获得相同结果O
[0069]如上所述，检测平面定义部分60可以按照位置检测结果的应用目的定义多种检测平面。例如，可以事先规定固定检测平面。可替代地，可以从输出信息生成部分50接收有关构成AR中的虚拟物体的多边形的信息，以便生成与多边形信息相适应的检测平面。还可替代地，可以从位置信息输出部分70接收前一次的位置检测结果，以便使检测平面围绕检测的位置分布。
[0070]还可替代地，检测平面定义部分60可以具有简单深度图像生成功能，以便靠自身估计测量目标的近似位置。这种功能可以是适用于通过立体图像技术总体生成屏幕的深度图像的普通功能。但是，因为该功能的目的是获取实现本实施例的辅助信息，所以唯一必要的是进行简单处理。更具体地说，通过降低要处理的图像的分辨率以及为匹配建立大块区域来降低处理负担。
[0071]特征量计算部分62对左右图像进行处理，以导出给定特征量，因此生成将具有大特征量的区域与其它区域区分开的图像(下文称为“特征点图像”)。例如，使用索贝尔(Sobel)滤波器生成边缘图像。可替代地，可以生成运动差分图像。还可替代地，可以通过使用二进制像素值的模式匹配将要测量的区域与其它区域区分开。唯一必要的是处理包括检测区的有限区域而不是整个图像。这样就消除了不必要的处理，因此使负担减轻。
[0072]视差校正区导出部分64导出视差校正区。视差校正区是通过将与第一照相机13a拍摄的左图像的检测区相同的第一照相机13b拍摄的右图像的区域向左移动与与检测平面在深度方向上的位置Z相适应的视差D —样多的数量获得的。区域剪切部分66剪切左右特征点图像的左图像的检测区和右图像的视差校正区，因此生成用于匹配的两个图像。匹配部分68进行如上所述生成的左右图像之间的块匹配，因此导出评价高的特征点，以及引申开来，被认为在图像中存在于相同位置上的特征点。
[0073]具有这种特征点的区域代表存在于检测平面的位置上的被摄物。应该注意到，通过包括内插相邻像素值获得的像素到像素值，可以以小于像素的单位而不是以像素为单位进行匹配。进一步，在本实施例中，只要可以检测在经过匹配的图像中存在于相同位置上的物体或区域，就可以，例如，以“原样”方式将原始图像用于匹配，而不是使用所谓的“特征点图像”。
[0074]位置信息输出部分70根据匹配结果生成输出信息生成部分50要使用的信息，并输出那个信息。例如，位置信息输出部分70输出测量目标与之接触的检测平面或区域或表面区域作为信息。可替代地，位置信息输出部分70可以通过电影的每帧或每几个帧获取这样的信息输出时变数据。
[0075]接着将对建立检测平面和检测位置的具体例子给予描述。图8是描述建立检测平面的例子的示图。图8中的上图是例示如从上面看过去的拍摄环境的示意图72a。图8中的下图是例示如从侧面看过去的拍摄环境的示意图72b。如图8所例示,人74,即，被摄物正与第一和第二照相机13a和13b面对面地站着。如图4所例示的图像就是在这样的环境下拍摄的。
[0076]应该注意到，如图5所例示，我们假设了第一和第二照相机13a和13b的光轴是相互平行的，并且未垂直错开。实际上，可以将所摄图像错开。但是，我们假设了通过普通技术校正了这样的图像，以便没有错开。此时，等视差平面如虚线所例示地分布。这里，术语“等视差平面”指的是在平面的所有点上视差都相同的平面。我们考虑在像显示在图8中那样的环境中在等视差平面上定义检测平面76的情况。
[0077]图9例示了在显示在图8中的环境中拍摄的立体图像的例子。如果如图8所例示地定义检测平面76，则确定了检测区82。通过将检测平面76投影到左图像80a上获得相同区域82。假设检测区82的左上坐标是(x，y)。因为该检测平面已经被定义成等视差平面，所以在所有区域中在左右图像80a和80b之间视差是相同的。也就是说，存在于在深度方向处在位置ζ上的检测平面之上的物体在左右图像80a和80b之间表现为错开与视差D= C/z 一样多的数量。
[0078]由于这个原因，我们假设将左上坐标是(X - C/z, y)的区域确定为视差校正区84。视差校正区84是通过将与检测区82相同的区域与自身平行地向左移动获得的。应该注意至IJ，测量目标在右图像80b中表现为向左错开。因此，将区域向左移动来消除视差，以保证测量目标处在与在左图像80a中相同的位置上。如果移动左图像80a，则自然沿着相反方向移动该区域。然后，对左图像80a的检测区82和右图像80b的视差校正区84的左右特征点图像，例如，边缘图像进行剪切并加以匹配。然后，生成只有评价高的特征点具有不同像素值的匹配图像86。
[0079]在图9的匹配图像86中，用实线和虚线示出了作为边缘提取的被摄物的左手的轮廓，以帮助人们理解。但是，我们假设在实际匹配图像中只保留用实线示出的部分。也就是说，获得指示指尖的一部分和手腕的一部分处在显示在图8中的检测平面上的信息。要留在匹配图像中的部分通过对照阈值检验匹配评价值来确定。
[0080]通过调整这个阈值可以控制在深度方向检测位置z的分辨率。应当注意到，在图9和后面将描述的图10，13，14和15中，用黑色示出了匹配图像具有高匹配评价值的部分，用白色示出了其它部分。但是，本发明的主要目的不受此限制，可以将白色和黑色颠倒。
[0081]图10例示了建立检测平面的另一个例子。图10以与图8相同的方式例示了例子。人94，S卩，被摄物正与第一和第二照相机13a和13b面对面地站着(示意图92a和92b)。在图8中将检测平面定义在等视差平面上。但是，在图10中，将该情况推广到检测平面相对于等视差平面是倾斜的。也就是说，与等视差平面无关地定义检测平面96。
[0082]图11例示了在显示在图10中的环境中拍摄的立体图像的例子。如图10所例示，当定义了检测平面96时，确定了左图像10a的检测区102。在这个例子中，与等视差平面独立地定义检测平面96。因此，从照相机到检测平面96的距离，以及引申开来，视差在图像的整个区域上未必相同。因此，通过独立地操纵检测区的所有顶点坐标，将适当错开量应用于整个区域。
[0083]更具体地说,如图11所例示，用(xl, yl)，(x2, y2), (x3, y3),和(x4, y4)表示左图像100a的检测区102的顶点坐标，用zl，z2, z3，和z4表示从照相机到检测平面的顶点的距离。然后，右图像10b的视差校正区104的顶点坐标是(xl - C/zl, yl)，(x2 - C/z2, y2)，(x3 - C/z3, y3)，和(x4 - C/z4, y4)。
[0084]剪切具有这些顶点坐标的区域，因此以与参考图9所述相同的方式生成匹配图像106。但是，应该注意到，在这种情况下，检测区102和视差校正区104可以具有不同形状。因此，区域剪切部分66放大或缩小剪切的区域，因此产生相同形状和尺寸的图像以便加以匹配。这种处理可相当于在计算机图形处理中读取纹理和粘贴所希望多边形，并且可以使用GPU有效地进行。
[0085]应当注意到，如上所述生成的图11的匹配图像106保留了比显示在图9中的匹配图像86多的特征点。从这个结果中可清楚看出，被摄物的左手具有与在图10中所定义的检测平面的倾斜更接近的角度。进一步，尽管在图10中定义了单个检测平面，但即使在任意方向定义了多个检测平面，处理的细节也是相同的。因此，容易将检测平面定义成适合虚拟物体的多边形。本实施例的技术尤其与这样虚拟物体与被摄物之间的相互作用的表示兼容。
[0086]接着将对可以通过上述的配置和组件实现的信息处理系统2的操作给予描述。图12是例示主要与信息处理系统2执行的所有信息处理任务的位置检测关联的处理的序列的流程图。首先，当用户规定处理的细节和发出开始处理的指令时，成像设备12开始捕获被摄物(SlO)。信息处理器10依次获取如上所述通过拍摄获得的帧图像数据(S12)。这种图像包括具有给定速率的立体图像。应该注意到，以给定速率重复从S12到S24的步骤。
[0087]如有必要，信息处理器10的检测平面定义部分60改变所获立体图像的分辨率(S14)。例如，如果对于位置检测的所请求精度，从成像设备12获取的立体图像的分辨率过高，则可能导致不必要的处理负担或噪声。因此，事先针对检测结果的每个应用目的确定适合所请求精度的立体图像分辨率，以便改变图像分辨率。
[0088]接着，检测平面定义部分60在第一照相机13a的坐标系中定义检测平面(S16)。可以以各种方式，例如，按照检测结果的应用目的和测量目标的尺寸规定检测平面的形状、尺寸、数量、位置、斜率等。适当检测平面的定义可以取决于预期的拍摄环境或测量目标地事先确定。可替代地，可以自适应地，例如，按照以简化方式生成的深度图像或虚拟物体的位置或前一次的检测结果改变检测平面。
[0089]接着，特征量计算部分62对包括通过将检测平面投影到左图像上获得的检测区的给定范围的区域和右图像的类似区域进行边缘提取和其它处理，计算给定特征量并生成特征点图像(S18)。接着，视差校正区导出部分64为右图像导出按照检测平面在深度方向上的位置确定的视差校正区的顶点坐标。相同部分64剪切左特征点图像的检测区和右特征点图像的视差校正区(S20)。此时，视差校正区导出部分64从剪切区域中生成相同形状和尺寸的图像以便加以匹配。
[0090]GPU的纹理映射功能通过将要剪切的每个区域当作如上所述的纹理可应用于这种处理。此时，通过对纹理过滤器指定适当数值，可以调整剪切区域的扩大和收缩，使得可以基本上控制在块匹配期间比较的单位区域，即，要找出，例如，亮度的差值之和的块区域的表面区域。减小块区域的表面区域使得可以以较小单位评价匹配，因此提供深度方向上的位置的较高分辨率。因此，通过对纹理过滤器指定适当数值，可以控制深度方向上的位置的分辨率。
[0091]图像平面(xy平面)上的位置的分辨率也可以通过调整粘贴剪切区的匹配图像的分辨率来控制。如上所述，本实施例通过使用GPU调整每种处理中的设置，在保证每个参数的足够精度的同时，可以容易地消除不必要的处理。应该注意到，S20和S18中的处理可以以相反次序进行。也就是说，可以首先剪切左图像的检测区和右图像的视差校正区，其后接着通过纹理映射生成相同尺寸和形状的图像，提取特征点，以及将所得特征点用于匹配。
[0092]接着，匹配部分68对已经粘贴了右图像的检测区和左图像的视差校正区的用于匹配的图像进行块匹配，因此生成只保留了具有高匹配评价值的特征点的匹配图像(S22)。然后，位置信息输出部分70根据匹配图像生成必要信息并输出那个信息(S24)。这样的信息包括测量目标是否与检测平面接触以及测量目标在三维空间中的位置。
[0093]输出信息生成部分50根据位置信息输出部分70供应的信息描绘虚拟物体或更新游戏图像(S26)。应该注意到，可以以与从S12到S24进行的位置检测处理的速率不同的速率进行S26中图像的更新。例如，可以以等于成像设备12拍摄的电影的帧速率的速率更新图像。
[0094]普通立体图像技术通过移动搜索窗口识别立体图像之间的相应点，并根据其间的视差获取测量目标在深度方向上的位置。本实施例事先将图像错开与视差一样多的数量，并确定相同形状的特征点是否处在相同位置上，因此确定测量目标是否处在检测平面的位置上。与通过移动搜索窗口找出相应点相比，这减轻了处理负担。同时，作为以像素为单位舍入的结果，可以防止深度方向上的位置的精度的下降。
[0095]另一方面，因为测量结果通过单次匹配操作生成，所以可能引起如下问题。也就是说，有可能是，尽管处在与检测平面不同的位置上，但由于被摄物的周期性模式或结构，当将图像移动与视差一样多的数量时，相同模式或特征点可能偶尔再次处在相同位置上。在这种情况下，那种模式或特征点也可能接收到高匹配评估值，因此导致被摄物处在检测平面上的错误确定。
[0096]图13是描述具有周期性结构的对象的存在引起的错误确定的示图。图13中的左上图是例示在拍摄环境下第一和第二照相机13a和13b与测量目标112之间的位置关系的顶视图。我们假设具有周期性结构的背景对象114在拍摄环境中处在测量目标112的背后。
[0097]在这种环境下，第一和第二照相机13a和13b拍摄的检测区图像分别是左右图像116和118。如图13所例示，在左图像116中，背景对象114的画面122a出现在测量目标112的画面120a的背后。类似地，在右图像118中，背景对象114的画面122b出现在测量目标112的画面120b的背后。测量目标112比背景对象114更接近照相机。因此，立体图像视差更大。
[0098]在这种条件下假设测量目标112处在相对于照相机在深度方向距离Z的检测平面113上，在通过将右图像118的区域向左移动与视差D = C/Z —样多的数量获得的视差校正区的图像124与左图像116的检测区之间进行匹配。但是，如果背景对象具有像以间隔d安排的垂直模式那样的周期性结构，则取决于间隔和背景对象本身的视差，有可能是，左图像116和视差校正区图像124的垂直线的位置可能偶尔相互重叠。
[0099]在显示在图13中的例子中，左图像116的背景图像122a中从左边算起第二垂直线的水平位置XL和视差校正区图像124的最左边垂直线的位置XR相互重叠。其结果是，除了左右端上的那些之外的垂直线的位置相互重叠，因此导致高匹配评价值。在只保留具有高匹配评价值的特征点的匹配图像126中，不仅检测到一开始就应该检测到的测量目标112的特征点120c，而且检测到特征点128，S卩，背景对象114未处在检测平面113上的部分。
[0100]图14是描述防止周期性结构的存在引起的位置检测精度的下降的技术的示图。左右图像116和118与显示在图13中的相同。这种技术进一步为所摄左右图像分别获取运动差分图像130和132。运动差分图像130和132代表与前帧的差值。如果测量目标以某种方式移动，则如图14所例示，运动差分图像130和132具有在测量目标(运动区134a和134b)的图像120a和120b中和附近的数值。
[0101]特征量计算部分62获取左右运动差分图像130和132，使用运动差分图像130和132屏蔽各自特征点图像，并禁用除了测量目标的运动区134a和134b中的那些之外的特征点。匹配部分68在移动了右图像118之后进行的匹配处理生成没有检测目标中的不动背景的匹配图像136。
[0102]应该注意到，关于使用运动差分图像屏蔽特征点图像，匹配部分68可以屏蔽匹配图像。在这种情况下，匹配部分68可以只使用左图像的运动差分图像130。可替代地，除了测量目标之外的区域可以不根据运动差分图像，而是，例如，根据前景图像或如果测量目标的温度不同于周围温度，则根据温度分布来屏蔽。前景图像是通过使用背景的差异只提取前景获得的。
[0103]图15是描述防止周期性结构的存在引起的检测精度的下降的另一种技术的示图。这种技术定义不同测量目标的多个检测平面作为目标。然后，在多个视差校正区与左图像的检测区之间进行匹配。多个视差校正区的每一个是通过将右图像移动与有关每个检测平面的视差一样多的数量获得的。测量目标通过将通过匹配获得的多个匹配图像用作彼此的屏蔽图像来区分。
[0104]在显示在图15中的例子中，在示出拍摄环境的右上角上的顶视图110中定义了含有作为目标的测量目标112的第一检测平面138和含有作为目标的背景对象114的第二检测平面140。显示在图15中的左右图像116和118与显示在图13和14中的那些相同。视差校正区导出部分64生成图像124和图像142。图像124是通过将右图像的检测区移动与与第一检测平面138在深度方向上的距离Z相适应的视差D —样多的数量而获得的(与显示在图13中的图像124相同)。图像142是通过将右图像的检测区移动与与第二检测平面140在深度方向上的距离Z'相适应的视差D' —样多的数量而获得的。
[0105]然后，匹配部分68进行左图像116与通过以不同方式移动右图像获得的两个图像，S卩，图像124和142的每一个之间的匹配。在将右图像移动与有关第一检测平面138的视差D—样多的数量而获得的图像124的匹配图像126中，如图13所示保留背景的特征点。另一方面，在将右图像移动与有关第二检测平面140的视差D, —样多的数量而获得的图像142的匹配图像144中，由于测量目标112的区域的低匹配评价值，所以只保留背景的特征点。
[0106]匹配部分68将如上所述生成的两个匹配图像126和144之一用作另一个的屏蔽图像。在显示在图15中的例子中，在针对第一检测平面138获得的匹配图像126中禁用针对第二检测平面140获得的匹配图像144中评价高的特征点。这样就提供了只检测测量目标112，S卩，第一检测平面138的目标的图像。
[0107]在例示在图15中的例子中，在针对第二检测平面140获得的匹配图像144中测量目标112的特征点已经消失了。取决于测量目标112的模式或形状，可能类似地发生失配，使测量目标112的特征点保留在匹配图像144中。因此，以与上述相同的方式在针对第二检测平面140获得的匹配图像144中禁用针对第一检测平面140获得的匹配图像126中评价高的特征点。这为只位置检测背景对象114，S卩，第二检测平面140的目标的正面检测创造了条件。
[0108]尽管在图15中使用两个测量目标建立检测平面，则测量目标的数量可以是三个或更多个。另一方面，第一和第二检测平面可以通过加入获取拍摄空间的近似深度信息的处理作为预处理来建立。这种功能可以通过上述的简化深度图像生成处理来实现。进一步，如接着所述，可以通过本实施例的位置检测技术来获取背景位置，以便根据背景位置定义检测平面。
[0109]至此给出的描述把重点放在将检测平面用于检测像用户那样的主被摄物的位置上。另一方面，在本实施例中定义的检测平面是使检测平面可有效地用于检测地板、天花板、或墙壁的平面模型。就运动、形状等而言这些所谓的背景的特征是难以分辨的。因此，利用传统技术位置检测背景本身是不容易的。但是，背景是模拟环境或设定AR舞台的重要因素。
[0110]图16是描述本实施例中检测天花板和地板平面的技术的示图。图16中右边的示图是如从侧面看过去的拍摄环境的示意图150，左边的示图是在拍摄环境中拍摄的左图像152。右图像以相同方式拍摄，除了存在视差之外。但是，在图16中省略了右图像。在这样的拍摄环境中，以与至此所作相同的方式定义天花板检测平面154和地板检测平面156。天花板检测平面154用于检测天花板平面，地板检测平面156用于检测地板平面。但是，应该注意到，与检测运动被摄物与预定检测平面的接触的情况不同，目的是搜索不动天花板或地板平面。因此，以各种方式改变检测平面的位置和角度。
[0111]图17是例示位置信息生成部分46为检测例示在图16中的天花板和地板平面而进行的处理的序列的流程图。首先，检测平面定义部分60在给定范围上沿着图像(沿着y轴方向)垂直改变天花板检测平面154和地板检测平面156的每一个，因此定义多个天花板检测平面154和地板检测平面156 (S30)。也就是说，使多个检测平面沿着图16中箭头A所指的方向以给定间隔分布。然后，特征量计算部分62、视差校正区导出部分64、区域剪切部分66、和匹配部分68对每个检测平面进行与如上所述相同的处理(S32)。更具体地说，剪切按照深度方向上的位置移动顶点获得的右图像的视差校正区的特征点图像、和左图像的检测区的特征点图像，接着进行匹配和生成匹配图像。
[0112]在此时提取的特征点当中的是天花板上的照明器具、瓷砖或其它建筑材料的连接处的格子图案、和地毯图案。接着，参考每个检测平面的匹配图像，以便提取保留了最大量特征点的检测平面，即，通过匹配评价值之和之间的比较跨过图像具有最高总匹配评价值的检测平面(S34)。然后，固定那个检测平面的匹配图像的特别高评价区域，并通过改变相对于图像的水平面，即，拍摄空间的Xz平面的斜率定义多个新检测平面(S36)。
[0113]也就是说，使多个检测平面沿着图16中箭头B所指的方向以给定角度分布。此时，可以沿着箭头A所指的方向使用搜索结果，例如，不改变如上所述具有特别高匹配评价值的在S34中提取的匹配图像部分地确定转轴。然后，以与图S32中相同的方式为每个检测平面生成匹配图像(S38)，此后提取具有最高总匹配评价值的检测平面(S40)。此时，该检测平面用作天花板或地板平面。应该注意到，该天花板和地板平面无需必须同时检测。另一方面，为了检测墙壁平面，唯一必要的是通过在S30中沿着图像(沿着X轴方向)水平改变检测平面和在S36中改变相对于图像的垂直平面，即，拍摄空间的yz平面的斜率来分布检测平面。所有其它处理都相同。
[0114]如至此所描述，本实施例可以检测测量目标与检测平面之间的相对关系。因此，通过与测量目标的运动无关地定义单个检测平面或分布多个检测平面，可以以多种方式使用本实施例。下面对使用本实施例的例子给予描述。
[0115](I)水平或垂直平面的检测
[0116]如参考16和17所述，像桌子的上表面、椅子的坐面、或舞台的上表面那样可以用作拍摄环境中的参考的水平或垂直平面以与天花板、地板、和墙壁平面相同的方式检测。当检测到天花板、地板、和墙壁平面时，可以类似地根据与到这些平面的距离和与这些平面的角度的关系近似表示其它水平和垂直平面的位置。然后，通过使检测平面以集中方式分布在这些位置，可以更有效地检测这些平面。
[0117]进一步，可以找出所检测平面之间的交点的位置。这使得可以类似地确定构成水平和垂直平面的对象的尺寸的上限。依靠感兴趣的平面与在照相机附近检测的高精度平面连续的事实，在单个步骤中检测像天花板或地板平面那样在照相机的深度方向上的长平面为高精度位置检测创造了条件。
[0118](2)与立体图像技术结合的位置搜索
[0119]如上所述，检测平面定义部分60，例如，可以通过普通立体图像技术，也就是说，通过关联立体图像之间的特征点以及从视差中计算目标在深度方向上的位置生成深度图像，然后使用深度图像定义检测平面。例如，从深度图像中导出像人的头部、手部、和躯干那样用作目标的身体区域的近似位置。然后，在以导出近似距离为中心的给定范围上，以集中方式为每个身体区域分布检测平面。然后，如上所述评价检测平面。通过提取具有最高匹配评价值的检测平面识别每个目标的位置。
[0120](3)与虚拟物体的相互作用
[0121 ] 本实施例可以用于产生被摄物与虚拟物体之间的相互作用，例如，通过描绘运动虚拟物体，使虚拟物体在人(即，被摄物)的手上的飞行，以及与手的运动步调一致地上下跳跃。此时，检测平面定义部分60，例如，以给定速率生成简单深度图像，因此监视像手那样的目标的近似位置。然后，通过普通图形处理使虚拟物体朝着目标移动。当与目标的距离变成小于阈值时，在该目标上定义检测平面。
[0122]在这种情况下，有必要移动检测平面以便适应目标的运动。因此，使多个检测平面分布在目标附近，因此一个接着一个地获取具有高匹配评价值的检测平面。然后，当虚拟物体到达检测平面时，产生像虚拟物体停止或弹回那样的相互作用。
[0123]如果桌子的上表面或椅子的坐面是目标，则如(I)所述根据深度图像对桌子或椅子附近的水平面加以搜索。桌子或椅子通常保持不动。因此，作为搜索的结果获得的代表水平面的检测平面可以以“原样”方式用作虚拟物体的着陆表面。应该注意到，输出信息生成部分50通过使用深度图像和检测平面上的检测结果的普通技术描绘虚拟物体。
[0124](4)使用检测平面搜索模型形状
[0125]模型是通过组合使用多个检测平面来适应像人的整个画面或脸部那样要识别的目标的形状构建的。图18例示了总体定义具有剪裁成一个人的形状的模型形状的多个检测平面的例子。在图像平面160上，构成人体模型的每个长方形162都是检测平面。应该注意到，假设用作被摄物的人与这个人体模型重叠，因此未示出该人。
[0126]这样的模型是事先准备的。然后，根据前帧中的搜索结果使模型位置或姿势，例如，分布在给定范围上。然后，提取具有最高匹配评价值的形状，因此识别人的位置或姿势。通过每给定帧数就重复上述处理，不仅可以跟踪位置的变化，而且可以跟踪像姿势那样的形状的变化。应该注意到，尽管显示在图18中的例子是相当复杂的模型，但可以按照请求的精度简化模型或使用更大量的小检测平面使模型更精致。例如，可以用检测平面表示脸部和躯干的每一个。可替代地，可以将脸部划分成前额、鼻子、脸颊、眼睛等，以便用不同检测平面表示这些部分的每一个。
[0127]应该注意到，如果目标是相对于照相机的角度有可能发生变化的手部、脸部等，则可以分布含有这些作为目标的检测平面，以便像针对天花板平面作出搜索时那样，在可动范围内改变检测平面的角度。可替代地，即使目标相同，也可以首先通过定义具有相对大的表面区域的检测平面获取其近似位置，接着如图18所示通过定义具有小表面区域的大量检测平面获取像位置和姿势那样的详细信息。
[0128](5)使用产品数据库校准
[0129]信息处理器10使用产品数据服务器来校准，产品数据服务器供应包括来自产品标签的像产品的形状和实际尺寸那样的规格的信息或其它信息。图19例示了在那种情况下的系统配置。产品数据服务器172经由例示在图1中的网络18从信息处理器10访问。产品数据服务器172响应像产品标签或条形码那样的发送图像返回产品信息。可替代地，可以将该系统配置成使信息处理器10首先通过分析像标签或条形码那样的图像获取像产品名称、型号等那样的基本信息，然后将该信息发送给产品数据服务器172，以便从同一服务器172接收产品信息。
[0130]产品数据服务器172包括规格数据库174。同一数据库174与包括形状和实际尺寸的产品信息关联地存储产品标识信息。产品数据服务器172获取来自像标签那样的图像的产品的标识信息或从信息处理器10发送的产品的基本信息，根据基本信息从规格数据库174中获取产品信息，并将产品信息返回给信息处理器10。
[0131]信息处理器10包括位置信息生成部分46，位置信息生成部分46又包括校准部分170。应该注意到，除了校准部分170之外，信息处理系统2、信息处理器10、和位置信息生成部分46具有与例示在图1、2、3和7中的那些相同的组件。但是，这里未示出这些组件。一旦获取了包括在被摄物中的产品标签的图像，校准部分170就将图像数据和从中获得的基本信息发送给产品数据服务器172。
[0132]一旦从产品数据服务器172获取了产品信息，校准部分170就将获取的产品的实际垂直和水平尺寸与如在拍摄环境下从照相机中看到的其表观尺寸相比较。然后，建立与产品的形状兼容的检测平面，接着如上所述评价立体图像之间的匹配。
[0133]在这种情况下，从照相机到产品的距离是已知的。因此，生成的匹配图像应该具有高评价值。但是，反过来，如果用于寻找右图像的视差校正区的基于视差的错开量存在错误，则匹配图像具有低评价值。由于这个原因，校准部分170以多种方式改变用于寻找右图像的视差校正区的错开量，因此寻找提供最高评价匹配图像的错开量。这使得可以精确导出相对于照相机的距离与适当错开量之间的关系。
[0134]应该注意到，在上面的例子中，使用实际尺寸未知但可从产品数据服务器中获得其信息的任意产品进行校准。另一方面，可以使用信息处理器10保留与实际尺寸和形状有关的信息的产品以相同方式进行校准。可替代地，可以事先准备用于校准的产品，以便可以通过捕获那个产品进行相同处理。
[0135]在上述的本实施例中，配备了两台照相机作为成像设备，以便同时从不同视角拍摄目标的电影。然后，在照相机坐标系之一的三维空间中定义检测平面。在两个图像，即，通过将检测平面投影到照相机之一拍摄的图像上获得的检测区的图像、和根据检测平面在深度方向上的位置将另一台照相机拍摄的图像的相同区域移动与视差一样多的数量获得的区域的图像之间进行匹配。然后，确定在检测平面的位置上是否存在具有高匹配评价值的对象。
[0136]在三维空间中定义检测平面、将检测平面投影到二维图像上、和剪切检测区和视差校正区的图像并粘贴它们用作进行匹配的图像与计算机图形处理中的建模、坐标转换、和纹理读取相当。因此，可以使用像GPU那样适用于图像处理的资源。然后，可以相互独立地规定输入图像分辨率、排列检测平面的密度、读取区域时的分辨率、和匹配图像分辨率。这使得可以按照处理负担和应用目的适当控制图像平面方向和深度方向上的检测精度。
[0137]进一步，按照分辨率适当分配GPU缓冲器，因此保证处理和资源使用的效率。通过使用计算机图形处理功能，可以组合两个任务，即，在设计游戏和其它内容时指定包括检测平面的感兴趣区域和指定像虚拟物体那样的模型的设计水平，因此有助于内容创建。进一步，事先在三维空间中规定深度方向上的位置，接着反过来计算那个位置上的视差。其结果是，比使用从逐个像素寻找的视差中计算深度方向上的位置的传统立体图像技术较不可能出现求整误差。这对于远离照相机的物体尤其有效。
[0138]更进一步，与只在有可能出现视差的范围上跨过参考图像的块区移动搜索窗口进行匹配以提取相应点的传统立体图像技术相比，按照本实施例的技术无需移动搜索窗口。更进一步，只有局部检测区域受到处理，显著地减轻了处理负担。更进一步，通过加入或除去处理，即，改变检测平面的数量以及使背景对象的模式引起的错误确定最少，可以按照检测结果的应用目的、拍摄环境、处理器和设备的处理能力等选择适当处理系统。
[0139]因此，上面已经对本发明的实施例作了描述。本领域的普通技术人员应当明白，上面的实施例是例示性的，可以以各种方式修改组件和处理的组合，这样的修改例也在本发明的范围之内。
[0140]在本实施例中，例如，主要在第一照相机13a的三维照相机坐标系中定义检测平面。另一方面，可以在除了第一或第二照相机13a或13b的照相机坐标系之外的坐标系中定义检测平面。例如，可以分开配备第三照相机来拍摄用于显示的高分辨率图像，使得在这台照相机的三维坐标系中定义检测平面。可替代地，可以在为AR显示或其它应用中的图形绘制规定的三维照相机坐标系中定义检测平面。在这样的情况下，也可以与本实施例一样，通过将检测平面投影到第一或第二照相机13a或13b拍摄的图像的平面上，以及将其它图像移动与与从这些照相机到检测平面的距离相适应的视差一样多的数量以便加以匹配来检测处在检测平面上的被摄物。
[0141][标号列表]
[0142]2信息处理系统；10信息处理器；12成像设备；16显示设备；13a第一照相机；13b第二照相机；22CPU ；24GPU ；26主存储器；42图像获取部分；44输入信息获取部分；46位置信息生成部分；48图像存储部分；50输出信息生成部分；60检测平面定义部分；62特征量计算部分；64视差校正区导出部分；66区域剪切部分；68匹配部分；70位置信息输出部分；170校准部分；172产品数据服务器；174规格数据库。
[0143][工业可应用性]
[0144]如上所述，本发明可应用于计算机、信息处理器、图像显示设备、游戏控制台、和其它信息处理器。
【权利要求】
1.一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器，该信息处理器包含: 图像获取部分，适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据； 检测平面定义部分，适用于在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的检测区； 视差校正区导出部分，适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，g卩，立体图像之一中导出视差校正区； 匹配部分，适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配；以及 检测结果输出部分，适用于输出该匹配部分进行匹配的结果。
2.如权利要求1所述的信息处理器，其中 当检测平面在深度方向上的位置跨过检测平面不同时，该视差校正区导出部分通过在第二照相机拍摄的图像中计算与检测区相同的区域的每个顶点的视差的幅度，并将每个顶点移动与视差的幅度一样多的数量来导出视差校正区。
3.如权利要求1或2所述的信息处理器，进一步包含: 区域剪切部分，适用于进行纹理映射，以保证第一照相机拍摄的图像的检测区的图像和第二照相机拍摄的图像的视差校正区的图像具有相同尺寸。
4.如权利要求1到3的任何一项所述的信息处理器，其中 该检测平面定义部分在三维空间中的给定范围上定义多个检测平面， 该视差校正区导出部分导出每个检测平面的视差校正区， 该匹配部分进行每个检测平面的匹配，以及 该检测结果输出部分提取具有最高匹配评价值的检测平面并确定测量目标处在所提取检测平面上。
5.如权利要求4所述的信息处理器，其中 该检测平面定义部分在三维空间中以相对于给定轴的不同旋转角定义多个检测平面。
6.如权利要求1到5的任何一项所述的信息处理器，其中 该图像获取部分获取以给定帧速率拍摄的立体图像，以及 该匹配部分在使用与同一照相机前一次拍摄的图像比较生成的运动差分图像禁用了除运动区域之外的每个图像的区域之后进行匹配。
7.如权利要求1到3的任何一项所述的信息处理器，其中 该检测平面定义部分定义每一个用于多个测量目标之一的多个检测平面， 该视差校正区导出部分导出每个检测平面的视差校正区，以及该匹配部分通过进行每个检测平面的匹配，并且在在一个检测平面上具有比阈值高的匹配评价值的所有点当中，禁用在其它检测平面上也具有高匹配评价值的点，来产生每个测量目标的匹配结果。
8.如权利要求1到7的任何一项所述的信息处理器，其中 该匹配部分将具有比阈值高的匹配评价值的点识别为用作存在于检测平面上的测量目标的一部分，该信息处理器进一步包含: 输出信息生成部分，适用于在所摄图像上描绘虚拟物体，以及以如下的方式将虚拟物体显示在显示设备上:当用作测量目标的该部分存在于检测平面之上时，前面是与检测平面相同的平面的虚拟物体部分与测量目标相互作用。
9.如权利要求1到8的任何一项所述的信息处理器，其中 该检测平面定义部分在通过降低立体图像的分辨率而获得的低分辨率立体图像上进行适用于提取相应点和从其间的视差中计算目标在深度方向上的位置的立体匹配，从立体匹配的结果中获取测量目标的近似位置，以及根据测量目标的近似位置确定检测平面的位置。
10.如权利要求4或5所述的信息处理器，其中 该图像获取部分获取以给定帧速率拍摄的立体图像，以及 该检测平面定义部分根据前一次针对立体图像确定的测量目标的位置来确定多个检测平面的位置。
11.如权利要求1到10的任何一项所述的信息处理器，进一步包含: 校准部分，适用于通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置，在那个位置上定义检测平面，通过改变移动视差校正区的多少进行匹配，并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系。
12.—种由信息处理器用于使用所摄图像在三维空间中检测测量目标的位置的信息处理方法，该信息处理方法包含如下步骤: 获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据； 在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，SP，立体图像之一上而获得的检测区； 通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区； 进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配； 输出匹配结果；以及 使用匹配结果生成图像以及 将图像显示在显示设备上。
13.一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序，该程序使计算机实现如下功能: 获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据； 在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，SP，立体图像之一上而获得的检测区； 通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区； 进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配；以及输出匹配结果。
14.一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质，该程序使计算机实现如下功能: 获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据； 在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，SP，立体图像之一上而获得的检测区； 通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区； 进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配；以及输出匹配结果。
【文档编号】H04N5/225GK104380338SQ201380032860
【公开日】2015年2月25日 申请日期:2013年4月11日 优先权日:2012年5月22日
【发明者】大场章男, 势川博之, 稻田彻悟 申请人:索尼电脑娱乐公司