信息处理设备、信息处理系统和信息处理方法
【技术领域】
[0001] 本发明设及一种基于拍摄图像生成输出图像的信息处理设备、信息处理系统和在 所述设备和所述系统中的信息处理方法。
【背景技术】
[0002] 近年来，使用相机装配个人计算机、游戏机等，并且拍摄用户的形象来W各种形式 使用拍摄图像已经变得常见。例如，例如视频电话和视频聊天的经由网络照原样将用户的 图像传送至另一侧的系统，W及通过图像分析识别用户的运动并且使用识别的运动作为游 戏或信息处理的输入信息的系统已经实际使用（参考例如化T1)。
[000引[引用列表]
[0004][专利文献]
[000引 [化T1]
[0006] WO2007/050885A2
【发明内容】
[0007] [技术问题]
[000引为了实现具有高响应和高精度的通过使用拍摄图像的各种类型的处理，需要拍摄 条件匹配处理的内容。然而，在当前情况下，难W通过仅简单地在制造成本、图像的传输带 宽、从拍摄到输出的响应等方面增强相机的性能和图像质量来增强信息处理设备的功能。
[0009] 鉴于该样的问题做出本发明，并且本发明的目的在于提供一种可说兼价和高效地 增强使用拍摄图像的信息处理设备的功能的技术。
[0010] [问题的解决方案]
[0011] 本发明的某一方面设及信息处理设备。该信息处理设备是获取通过拍摄被摄体而 获得的图像数据并且生成输出图像的数据的信息处理设备。该信息处理设备包括图像分析 器和输出图像生成器，图像分析器根据用于近似两个图像的像素值的分布的校正规则，校 正从连接的相机获取的两个图像的数据的至少任一图像的像素值，并且随后基于两个图像 之间的比较，获取关于被摄体的信息，输出图像生成器基于由图像分析器获取的关于被摄 体的信息生成和输出输出图像的数据。
[0012] 在此，"被摄体"不限于明确定位为拍摄对象的人等，并且包括落在相机的视场内 的房间、人、物体、动物等。因此，"与被摄体有关的单独的信息"不限于与相同的单独的物质 有关的单独的信息。其可W是与在被摄体中包括的多个单独的物质中的任何一个有关的信 息，或可W是与另一单独的物质有关的单独的信息。
[0013] 本发明的另一方面设及信息处理系统。该信息处理系统是是拍摄被摄体并且通过 使用被摄体的图像数据生成输出图像的数据的信息处理系统。该信息处理系统包括拍摄被 摄体的相机和信息处理设备，信息处理设备包括图像分析器和输出图像生成器，图像分析 器根据用于近似两个图像的像素值的分布的校正规则，校正从相机获取的两个图像的数据 的至少任一图像的像素值，并且随后基于两个图像之间的比较，获取关于被摄体的信息，输 出图像生成器基于由图像分析器获取的信息生成和输出输出图像的数据。
[0014] 本发明的再一方面设及一种信息处理方法。该信息处理方法是其中信息处理设备 获取通过拍摄被摄体而获得的图像数据并且生成输出图像的数据的信息处理设备。该信息 处理方法包括从连接的相机获取拍摄的两个图像的数据的步骤，根据用于近似两个图像的 像素值的分布的校正规则，校正两个图像的数据的至少任一图像的像素值，并且随后基于 两个图像之间的比较，获取关于被摄体的信息的步骤，W及基于关于被摄体的信息生成输 出图像的数据，并且输出输出图像的数据的步骤。
[0015] 通过转变在方法、设备、系统、计算机程序等中的本发明的上述组成元素和表示的 任意组合而获得的事物作为本发明的方面也是有效的。
[0016][本发明的有利效果]
[0017] 根据本发明，可W廉价地实现使用拍摄图像的各种功能。
【附图说明】
[001引图1是示出可W应用本实施例的信息处理系统的配置示例的图。
[0019] 图2是详细示出本实施例的成像设备和信息处理设备的配置的图。
[0020] 图3是用于解释在本实施例中假设的拍摄情况示例的图。
[0021] 图4是示出在其中使得视角的大小和分辨率不同的模式中，通过成像设备拍摄的 图像和通过使用该图像获得的输出图像的示例的图。
[0022] 图5是示出在其中使得曝光时间/光圈值不同的模式中，通过成像设备拍摄的图 像和通过使用该图像获得的输出图像的示例的图。
[0023] 图6是用于解释从曝光时间不同的两个图像中提取对应特征点的问题的图。
[0024] 图7是详细示出本实施例中具有获取=维空间中的被摄体的位置信息的功能的 信息处理设备的成像设备和图像分析器的配置的图。
[00巧]图8是示出通过本实施例中的校正部件校正亮度值的改变的示例的图。
[0026] 图9是用于解释其中本实施例中的校正表管理部件分析一对图像W生成校正表 的方法的图。
[0027] 图10是主要示出在其中信息处理设备从拍摄图像生成输出图像的多种类型的处 理中用于精确地生成深度图的处理的过程的流程图。
【具体实施方式】
[002引图1示出可W应用本实施例的信息处理信息的配置示例。信息处理系统10包括 使用两个相机装配W拍摄例如用户la和化的被摄体的成像设备12、基于拍摄图像根据用 户请求执行信息处理的信息处理设备14W及输出作为信息处理设备14的处理结果而获得 的图像数据的显示设备16。此外，使得信息处理设备14可W连接到例如因特网的网络18。
[0029] 信息处理设备14、成像设备12、显示设备16和网络18可W通过有线电缆连接或 可W通过无线LAN(局域网）等无线地连接。成像设备12、信息处理设备14和显示设备16 中的任何两个或全部可W组合W整体安装。此外，成像设备12不一定需要被设置在显示设 备16上。此外，用户la和化不一定是人并且其数目也不被限制。
[0030] 成像设备12通过一对相机拍摄在相同空间中存在的被摄体。作为成像设备12,可 W使用已经被投入实际使用W便获取被摄体的深度信息的立体相机。也就是说，成像设备 12可W是通过被彼此并排放置并且各个具有镜头而可W获得基本上相同视场的一对相机。 同时，只要相机的间隔已知，两个相机的间隔和相对位置就不被限制，并且通过校正视差可 W推导视场的部分的至少对应关系。
[0031] 两个相机中的至少一个可W具备电子缩放功能和电子摇摄/倾斜器，使得视场可 W在信息处理设备14的控制之下独立地改变。此外，使得例如白平衡、帖速率、曝光时间和 光圈值的拍摄条件中的至少任何一个可W彼此独立地通过两个相机中的信息处理设备14 来控制。
[0032] 成像设备12在由信息处理设备14指定的拍摄条件之下获取包括用户la和化等 的图像的数据作为移动图像或静止图像。获取的图像数据被输入到信息处理设备14。信息 处理设备14根据由用户指定的功能执行信息处理，并且基于从成像设备12获取的图像数 据生成要输出的图像数据。生成的图像数据被输出到显示设备16或被传送到经由网络18 连接的另一信息处理设备。显示设备16可W是具有输出图像的显示器和输出声音的扬声 器的电视。
[0033] 图2详细示出成像设备12和信息处理设备14的配置。信息处理设备14包括从 用户接受指令输入的输入信息获取器22、使得在基于用户的指令或拍摄图像的分析结果决 定的拍摄条件之下开始拍摄的拍摄条件控制器24、W及存储其中计划功能与拍摄条件相关 联的拍摄条件表的拍摄条件存储器26.信息处理设备14进一步包括获取通过安装在成像 设备12中的第一相机28和第二相机30拍摄的图像并且执行必要的图像分析的图像分析 器34W及生成作为处理的结果的要输出的图像的数据。
[0034] 在硬件方面，稍后将描述的图2和图7中被描述为执行各种类型的处理的功能块 的相应的元件可W由CPU、存储器和其他LSI形成。在软件方面，它们通过程序实现W执行 通信处理等。因此，本领域技术人员应理解该些功能块可W仅通过硬件、或仅通过软件或它 们的组合W各种形式实现，并且该些功能块不限于任何形式。
[0035] 输入信息获取器22是接受用户对信息处理设备14进行的指令输入并且可W通过 例如指点设备、鼠标、键盘、触摸面板、游戏控制器和按钮的通用输入设备实现的接口。输入 信息获取器22可W是具有与信息处理设备14的被摄体分开的外壳并且W无线或有线方式 连接的设备。
[0036] 由用户输入的指令包括选择可W由信息处理设备14执行的任何功能的输入，W 及移动和选择在显示设备16上显示的光标和帖的输入。将由输入信息获取器22获取的信 息适当通知给拍摄条件控制器24、图像分析器34和输出图像生成器38。将稍后描述可W 由信息处理设备14执行的功能的示例。
[0037] 拍摄条件控制器24根据用户对输入信息获取器22进行的指令输入决定成像设备 12中的第一相机28和第二相机30中的拍摄条件，并且通过向两个相机中的至少任一个传 送拍摄请求信号来使得拍摄在决定的条件之下开始。通过基于用户指定的功能参考存储在 拍摄条件存储器26中的拍摄条件表来获得拍摄条件的初始值。此外，拍摄条件控制器24 可W基于分析通过第一相机28和第二相机30中的至少任一个拍摄的图像的结果来进一步 决定拍摄条件，并且使得至少任一个相机在该些条件之下开始。
[003引图像分析器34获取通过第一相机28和第二相机30拍摄的图像，并且根据由用户 选择的功能执行图像分析。然而，还存在其中取决于由用户选择的功能图像分析不必要的 情况。在该情况下，图像分析器34可W直接向输出图像生成器38发送出图像数据。为此， 图像分析器34从输入信息获取器22获取关于由用户选择的功能的信息，并且随后基于其 执行处理。图像分析器34的分析结果与必要的图像数据一起被传送到输出图像生成器38。 该分析结果可W被传送到拍摄条件控制器24并且用于进一步决定拍摄条件。
[0039] 输出图像生成器38通过使用分析结果和从图像分析器34传送的必要的图像数据 生成输出图像的数据，并且将其输出到显示设备16或网络18。要生成的什么类型的输出图 像取决于由用户选择的功能而不同。因此，输出图像生成器38从输入信息获取器22获取 关于由用户选择的功能的信息，并且随后基于其执行处理。
[0040] 然后