专利名称：信息处理设备、信息处理方法、程序和记录介质的制作方法
技术领域：
由于通过混合多个图像信号和多个音频信号来定位一个声 像，因此当观看多个图像时用户可自然地移动他们的视线。此外，由 于眼睛跟随定位声音移动，所以用户可轻易地在多个屏幕中识别 一个 对象。图2例示了信息处理设备10的内部配置。[19信息处理设备10包括用于存储由第一摄像机3、笫二摄像机 4提供的图像的存储部件11，和调谐器。信息处理设备10还包括用 于检测包括在所提供图像中的主题的特征值的特征值检测部件21、用 于对从存储部件11中读出的图像进行预定处理的图像处理部件22、 以及用于对从存储部件11中读出的音频数据进行预定处理的音频处 理部件23。图像处理部件22处理过的组合图像被显示在输出装置6。 通过输出装置6输出经过音频处理部件23处理的定位音频数据。当在不同位置拍摄的第一图像和第二图像包括特定主题时， 特征值检测部件21根据第一和第二图像来确定该主题的特征值。图像处理部件22基于特征值检测部件21确定的特征值来检 测主题的运动。音频处理部件23根据图像处理部件22检测的主题的 运动来定位该主题的声像。特征值检测部件21、图像处理部件22和 音频处理部件23可通过例如中央处理单元(CPU)来实现。图像处理部件22包括用于检测待从子图像除去的区域的除 去区域检测单元24，以及用于将已经除去检测区域的子图像与主图像 组合的图像组合单元25。如果音频辅助处理开启，特征值检测部件21读出存储于存 储部件11中的内容(步骤S2)。特征值检测部件21检测共同存在于 包含在读出内容中的、以不同角度拍摄的第一图像和第二图像中的特 征值(步骤S3 )。确定特定主题(此后也称作"对象")是否被包括在从读出内 容选出的多个图像中。还确定对象的形状。通过匹配包括在所述图像 中的主题的特征值来执行所述确定。例如，当输出装置6仅具有一个显示屏时，显示多幅叠加图像。取决于图像处理的种类，所创建的图像可被显示在多个显示屏上。图像处理部件22输出经过处理的图像到输出装置6 (步骤 S6)。然后输出装置6在显示屏显示该经过处理的图像。音频处理部件23基于图像处理部件22处理的图像来处理音 频数据并把经过处理的音频数据输出给输出装置6 (步骤S7)。然后 输出装置6从扬声器输出经过处理的音频数据的声音。输出装置6输
出声音的声像被定位在全景图像中该主题的位置。图7例示了第一摄像机3拍摄的第一图像31。[56图8例示了第二摄像机4拍摄的第二图像32。在下面描述中，色域分布图示出了 YUV坐标系统的色差信 号U和V以及每个色域的频率。当拍摄图像的摄像机具有不同像素 数目时，色域图的频率范围不同。相应地，为了确定公共色域，执行 归 一化以调整频率。归 一化是把两个图像的最大频率值设置为相同值 的处理过程。
图11和图12分別示出从图9和图10所示的色域分布中提 取的超过预定阈值37和37，的色域。用户能自由改变该阈值。以下面 的方式确定共同包括在第一图像31和第二图像32中的色域。[66j图13例示了第一图像31和第二图像32中共同超过阈值的色域。图15例示了从第一图像31的图像处理得到的第一图像31，。基于第一图像31中主题的位置和对象的改变来确定第二图 像32的声像的定位位置。例如，当通过系在图16A所示裁判36上的 别针式传声器来拍摄声音时，基于包括在全景图像34中的主题35来 确定声像的定位位置，全景图像34是缩放比率被改变的第一图像31，。 当第二图像32作为主图像显示时，全景图像34作为子图像显示。因 此，声像被定位在主题35的位置(左侧)。图17B例示了在时间t+l的组合图像和声像。 [82如图17A和17B所示，声像被定位在包括在第一图像41中 的主题46的位置。声像的定位位置在三维空间移动，即，上和下、 左和右、以及前和后。通过在缩放图像42上叠加包括有主题46的全 景图像41而获得的组合图像43被投射到屏幕。由于用户50能感觉到声像45的定位位置，所以当观看缩放图像42的主题46时，用户 50能理解全景图像41的主题46的运动。例如，参照图17A，将讨论包括在全景图像41中的主题46 接近用户50的情况。在该情况中，根据图17B所示的主题46的运动 来定位对应于主题46的声像的声像45。可根据主题46的轮廓尺寸的 变化和运动矢量大小的变化来确定主题46的运动。相应地，用户50 可感觉到主题46向其接近。图18A和18B例示了随时间而变化的全景图像的声像的定位 位置。图18A和18B以及图17A和17B中共同示出的部件^L用相同 或类似的附图标记，因此省略其详细描述。如上所述，根据该实施例的信息处理设备10可从多个摄像机拍摄的图像中选择主图像和子图像并且可自由地叠加和组合主图 像和子图像。此时，用户可选择待组合的图像并且通过操作改变所选 图像的缩放比率或剪辑。相应地，用户移动其视线以观看包含在多个 图像中的主题变得更容易。此外，用户通过跟随声音的引导可有效地 观看多个角度的图像。此外，当观看作为主图像而显示的缩放图像时，用户可听到 基于作为子图像而显示的全景图像来定位其声像的声音。相应地，用 户可轻易地理解包含在全景图像中的主题的位置关系。当如现有技术那样布置多个屏幕来显示多个图像时，以小于 原始尺寸的尺寸显示每个图像。然而，通过像在本发明中那样显示叠 加图像，可以保持主图像的尺寸。相应地，即使显示多个图像，也不 会降低主图像的效果。在该实施例中，在两个屏幕上输出多个图像。此时，在墙壁 显示装置上显示缩放图像42，而在地板显示装置53上显示全景图像 41。当包括在全景图像41中的主题46向远处移动时，音频处理部件 23在消除了高频音频成分之后定位声像。相应地，当主题46向远处 移动时，声音变得不清楚。因此，用户能感觉到响应于全景图像41 所示主题46的运动的声像45的移动。
99!图20例示了在可移动显示装置54上显示缩放图像42,所述 可移动显示装置54能前后和环绕移动。图21例示了由三个或更多图像组合而得到的组合图像。 [102在该实施例中，缩放图像42a和42b叠加在包含在全景图 像41中的相应主题上。分别根据包含在缩放图像42a和42b中的主 题46a和46b来定位声像45a和45b。基于包含在全景图^f象41中的主 题的位置关系来定位声像45a和45b。相应地，即使三个或更多图像 被同时显示在一个屏幕，用户50也能轻易地理解图像之间的关系。限制。
〖103图19-21所示的图像输出方法和音频输出方法可以组合。此 时，可选择各种呈现方法。例如，可根据对象的位置来叠加图像、可 使用PinP功能来显示组合图像或者可在另一显示装置上显示图像。除了通过计算机执行读出的程序代码来实现上述实施例的 功能之外，本发明中还包括了在计算机上运行的操作系统(OS )基于 程序代码指令执行部分或全部实际处理并且通过处理实现上述实施 例的功能的情况。本说明书中，构成软件的程序中描述的步骤包括以所描述 的次序来执行的处理过程，并且还包括以并行或单独(不必顺序地) 地执行的处理过程。
[1091本发明不限于上述实施例，在不脱离本发明精神的情况下 可采用各种其它配置。
[110本发明包含涉及2008年4月3日向日本专利局提交的日本 优先权专利申请JP2008-097510所公开的主题内容，其全部内容通过 引用而包含于此。
[lllj本领域普通技术人员应当理解，只要在所附权利要求及其 等价的范围内，依赖于设计需求和其它因素，可以进行各种修改、组 19合、子组合和替换。
权利要求
1.一种信息处理设备，包括特征值检测部件，被配置为当在不同位置拍摄的第一图像和第二图像包括一个特定主题时，确定被包括在所提供的第一图像和第二图像中的所述主题的特征值；图像处理部件，被配置为基于所述特征值检测部件所确定的特征值来检测所述主题的运动；音频处理部件，被配置为根据所述图像处理部件检测的所述主题的运动来定位所述主题的声像。
2. 根据权利要求l的设备，其中所述图像处理部件包括 除去区域检测单元，被配置为使用所述特征值检测部件确定的第一图像和第二图像的色域作为所述特征值，基于所述特征值来识别公 共色域，以及从所述第二图像中除去相应于所述公共色域的区域；和 图像组合单元，被配置为把所述除去区域检测单元除去了相应于 所述^^共色域的区域的所述第二图^f象叠加到所述第 一 图{象上以组合 所述第一图像和第二图像。
3. 根据权利要求2的设备，其中所述特征值检测部件提取具有 超过预定阈值的值的色域作为所述第一和第二图像的特征区域，以及 所述值是通过对每个图像的每个色域累加在针对构成所述第一图像 和第二图像的每个像素检测的预定颜色坐标系中所述色域的出现频 率来获得，以及其中所述除去区域检测单元从所述第二图像中除去与所述第一 图像的特征区域和所述第二图像的特征区域所共有的色域对应的区域。
4. 根据权利要求3的设备，其中所述第一图像是所述主题的全 景图像，以及其中所述第二图像是包含在所述第 一 图像中的所述主题的缩放图像。
5. 根据权利要求4的设备，其中当包含在所述第一图像中的所 述主题移开时，所述音频处理部件在消除高频音频成分之后定位所述 声像。
6. 根据权利要求4的设备，进一步包括操作部件，被配置为调整包含在所述第一图像中的由所述音频处理部件定位的所述主题的声像的音量。
7. 根据权利要求1的设备，其中所述图像处理部件把经过处理 的图像输出到显示图像的输出装置。
8. 根据权利要求2的设备，所述图像组合单元把响应于所述第 一图像的时间变化而变化的第二图像叠加到所述第 一 图像。
9. 一种图像处理方法，包括步骤当在不同位置拍摄的第一图像和第二图像包括一个特定主题时， 确定包含在所提供的第一图像和第二图像中的所述主题的特征值； 基于所述特征值检测所述主题的运动；以及 根据检测的所述主题的运动来定位所述主题的声像。
10. —种允许计算机执行图像处理方法的程序，该方法包括步骤 当在不同位置拍摄的第一图像和第二图像包括一个特定主题时，确定包含在所提供的第一图像和第二图像中的所述主题的特征值； 基于所述特征值检测所述主题的运动；以及根据检测的所述主题的运动来定位所述主题的声像。
11. 一种存储有允许计算机执行图像处理方法的程序的记录介质，所述方法包括步骤当在不同位置拍摄的第一图像和第二图像包括一个特定主题时，确定包含在所提供的第一图像和第二图像中的所述主题的特征值； 基于所述特征值检测所述主题的运动；以及 根据检测的所述主题的运动来定位所述主题的声像。
全文摘要
本发明公开了信息处理设备、信息处理方法、程序和记录介质。一种信息处理设备包括特征值检测部件、图像处理部件和音频处理部件。当在不同位置拍摄的第一图像和第二图像包括一个特定主题时，所述特征值检测部件确定包含在所提供的第一图像和第二图像中的所述主题的特征值。所述图像处理部件基于所述特征值检测部件所确定的特征值来检测所述主题的运动。所述音频处理部件根据所述图像处理部件检测的所述主题的运动来定位所述主题的声像。
文档编号H04N5/225GK101552890SQ20091013022
公开日2009年10月7日 申请日期2009年3月26日 优先权日2008年4月3日
发明者向井仁志, 小久保哲志, 日比启文, 森崎裕之, 江间拓郎, 田中健司, 田中和政, 近藤哲二郎 申请人:索尼株式会社