专利名称：数据处理设备，数据处理方法和存储介质的制作方法
技术领域：
本发明涉及数据处理设备，数据处理方法和存储介质，尤其涉及 使用户能够获得素材的收集、编辑等的身体感觉的数据处理设备，数 据处理方法和存储介质。
背景技术：
例如，在广播电台中，具有经光学系统拾取真实世界的图像的图 像拾取器件的摄像机，借助光学系统拾取来自诸如风景之类被摄物体 的光的图像，并沿时空方向对所述光采样，从而获得图像数据。
具体地说，在摄像机中，图像拾取器件的尺寸微小的像素接收真 实世界的光，从而所述光沿空间方向被釆样。此外，在图像拾取器件 的像素中，通过持续预定时间接收真实世界的光，并对其进行光电转 换，所述光沿时间方向被采样。图像拾取器件输出由像素值构成的图 像数据，所述像素值与对应于如上所述沿空间方向和时间方向采样的 光的电荷量相一致。 ，.
此外，在广播电台中，通过把摄像机获得的图像数据用作素材，
作为素材的图像数据被编辑，经历诸如MPEG(运动图像专家组)编码 之类的信号处理，并被传送。
当如上所述对图像数据进行MPEG编码时，接收方进行MPEG 解码。由于MPEG编码以预定大小的块为单位，对图像数据进行 DCT(离散余弦变换)，并进一步量化图像数据，因此在通过MPEG解 码获得的解码图像中发生诸如块失真之类的失真。
因此，申请人先前提出一种利用称为类别分类适应处理的技术， 修正在通过MPEG解码获得的解码图像中发生的诸中块失真之类失 真的方法(例如，参见专利文献l)。顺便提及，例如，即使当接收方的监视器是能够显示如实再现真 实世界的图像的高性能监视器，能够显示在所述监视器上的图像的图 像质量仍受广播电台的摄像机的性能限制。
另外，在真实世界中，用户能够获得视觉所看到的所有风景的身 体感觉。不过，就摄像机获得的图像数据来说，用户只能看到出现在 与图像数据对应的图像中的风景。
专利文献1:日本专利特许7〉开No.2001-320587。
发明内容
如上所述，在广播电台中，获得由摄像机的图像拾取产生的图像 数据，此外，所述图像数据被编辑。
摄像机拾取真实世界的图像的范围，和对摄像机获得的图像数据 进行的编辑的细节是按照广播电台的导演等的意图进行的。不过，导 演等的不一定与作为观众的用户的意图相符。
鉴于这样的情况，做出了本发明，本发明将使用户获得收集和编 辑诸如图像数据之类素材的身体感觉。
按照本发明的一个方面，提供一种数据处理设备，或者保存有使 计算机起数据处理设备作用的程序的存储介质，所述数据处理设备是 配置成处理通过对由感测和采样真实世界中的第一对象的传感器器 件获得的感测数据进行信号处理而获得的输入数据的数据处理设备， 所述数据处理设备包括传感器器件失真消除部件，被配置成消除当 所述传感器器件感测所述第一对象时发生的失真，和由所述信号处理 造成的失真，所述失真包含在所述输入数据中；传感器器件位置排除 部件，被配置成根据所述输入数据产生代表所述第一对象的第一对象 数据，第一对象数据至少不依赖于所述传感器器件的位置；参数设置 部分，被配置成设置作为用于感测所述第一对象的参数的感测参数； 和操作部分，被配置成按照所述参数设置部分设置的感测参数，操作
所述第一对象数据。
按照本发明的一个方面，提供一种数据处理设备的数据处理方法，所述数据处理设备被配置成处理通过对由感测和釆样真实世界中 的笫一对象的传感器器件获得的感测数据进行信号处理而获得的输
入数据，所述数据处理方法包括下述步骤所述数据处理设备消除当 所述传感器器件感测所述第一对象时发生的失真，和由所述信号处理 造成的失真，所述失真包含在所述输入数据中；根据所述输入数据产 生代表所述第 一对象的第 一对象数据，第 一对象数据至少不依赖于所 述传感器器件的位置；按照配置成设置作为用于感测所述笫一对象的 参数的感测参数的参数设置部分设置的感测参数，操作所述第 一对象 数据。
在本发明的一个方面，当传感器器件感测第一对象时发生的失真 和由信号处理造成的失真被消除，所述失真包括在输入数据中，根据 输入数据产生代表第一对象的第一对象数据，第一对象数据至少不依 赖于传感器器件的位置。随后，按照配置成设置作为用于感测第一对 象的参数的感测参数的参数设置部分设置的感测参数，操作第一对象 数据。
顺便提及，可通过经传输介质传送，或者以记录在记录介质上的 状态提供程序。
另外，数据处理设备可以是独立的设备，或者可以是构成独立设 备的一部分部件。、
在本发明的一个方面，用户能够获得真实世界的身体感觉。特别 地，例如，用户能够获得收集诸如图像数据之类素材的身体感觉。
图1是表示应用本发明的数据处理设备的第一实施例的配置例 子的方框图。
图2是帮助说明按照第一实施例的数据处理设备的处理的流程图。
图3是表示应用本发明的数据处理设备的第二实施例的配置例 子的方框图。图4是帮助说明按照第二实施例的数据处理设备的处理的流程图。
图5是表示应用数据处理设备的通信系统的实施例的配置例子 的方框图。
图6是表示接收器件30的第一配置例子的方框图。 图7是表示处理部分31的配置例子的方框图。 图8是表示图像拾取器件失真消除部件32和图像拾取器件操作 排除部件33的配置例子的方框图。
图9是表示图像拾取器件失真消除部件32的配置例子的方框图。
图10是表示接收器件30的第二配置例子的方框图。
图11是表示接收器件30的第三配置例子的方框图。
图12是表示接收器件30的第四配置例子的方框图。
图13是表示接收器件30的第五配置例子的方框图。
图14是表示接收器件30的第六配置例子的方框图。
图15是表示应用数据处理设备的通信系统的另一实施例的配置
例子的方框图。
图16是表示接收器件130的第一配置例子的方框图。
图17是表示处理部分131的配置例子的方框图。
图18是表示声音收集器件失真消除部件132和声音收集器件操
作排除部件133的配置例子的方框图。
图19是表示接收器件130中的声音收集器件失真消除部件132
的配置例子的方框图。
图20是表示接收器件130的第二配置例子的方框图。
图21是表示提取在固定背景上移动的字幕区域的提取器件的配
置例子的方框图。
图22是表示提取电路214的配置例子的方框图。
图23是表示通过DRC，把第一数据转换成第二数据的转换器件
的配置例子的方框图。
图24是表示检测缩放操作的检测器件的配置例子的方框图。图25是表示检测有意的摄像机操作(移动)的检测器件的配置例 子的方框图。
图26是表示通过添加图像数据，产生第一对象图像数据的产生 器件的配置例子的方框图。
图27是示意表示存储器部分515的配置例子的示图。
图28是帮助解释存储器部分515的相对地址的示图。
图29是帮助解释把一帧图像数据写入存取范围的示图。
图30是表示作为背景的固定对象B和作为前景的移动对象A的示图。
图31是表示在曝光时间T内，对象A以恒定速度沿水平方向(x 方向)移动四个像素的状态的示图。
图32是表示在图像拾取模型中，由摄像机输出的像素值yi的示图。
图33是表示检测BGM的音频数据的检测器件的配置例子的方框图。
图34是表示执行声源检测处理的检测器件的配置例子的方框图。
图35是帮助解释获得强调包括在立体声信号中的目标音频的强 调信号的处理的原理的示图。
图36是表示延迟部件711输出的L声道延迟信号和延迟部件712 输出的R声道延迟信号的示图。
图37是表示应用本发明的计算机的实施例的配置例子的方框图。
11处理部分，12传感器器件失真消除部件，13传感器器件位 置消除部件，14参数设置部分，15操作部分，16第二对象数据检 测部分，20发射器件，21图像拾取器件，22光学系统，23光接收 部分，24时空采样部分，25存储器，26编辑部分，27信号处理部 分，30接收器件，31处理部分，32图像拾取器件失真消除部件， 33图像拾取器件操作消除部件，34参数设置部分，35操作部分，36第二对象图像数据检测部分，41信号处理失真消除部分，42时 空分辨率创建部分，43光学失真消除部分，51图像拾取器件操作检 测部分，52图像拾取器件操作补偿部分，53存储部分，54前景分 离部分，55前景模糊消除处理部分，120发射器件，121声音收集 器件，123声音收集部分，124时间采样部分，125存储器，126编 辑部分，127信号处理部分，130接收器件，131处理部分，132声 音收集器件失真消除部件，133声音收集器件操作排除部件，134参 数设置部分，135操作部分，136第二音频数据检测部分，141信号 处理失真消除部件，142时间分辨率创建部分，143声音收集失真消 除部分，151声源检测部分，152分离部分，211延迟电路，212合 成电路，213存储器，214提取电路，215运动向量检测电路，216移 相电路，221边缘检测电路，222电平检测电路，223字幕确定电路， 301关心样本选择部分，302、 303抽头选择部分，304类别分类部 分，305系数输出部分，306预测操作部分，401、 402帧存储器， 403线性插值功能部分，404相关系数计算部分，405 ;故大率i殳定功 能部分，421运动向量估计部分，422向量存储器，423确定部分， 511帧存储器部分，511A、 511B帧存储器，512运动检测部分，513 场景变化检测部分，514控制器，515存储器部分，601滤波器，701 延迟校正加法部分，702音调检测部分，703分离系数创建部分，704 滤波操作电路，711、 712延迟部件，713、 714运算部分，801总线， 802 CPU， 803 ROM， 804 RAM， 805硬盘，806输出部分，807输 入部分，808通信部分，809驱动器，810输入-输出接口， 811可 拆卸记录介质
具体实施例方式
图1是表示应用本发明的数据处理设备的第一实施例的配置例 子的方框图。
在图1中，数据处理设备包括处理部分11,参数设置部分14， 和操作部分15。数据处理设备处理通过对感测数据进行信号处理而获
12得的输入数据，所述感测数据是由图中未示出的，对真实世界中的第 一对象进行感测和采样的传感器器件获得的。
即，处理部件11被供给通过对感测数据进行信号处理而获得的 输入数据，所述感测数椐由对真实世界中的第 一对象进行感测和釆样 的传感器器件获得。
处理部分11包括传感器器件失真消除部件12和传感器器件位置 排除部件13。处理部分11处理提供给处理部分11的输入数据。
具体地说，传感器器件失真消除部件12消除当传感器器件感测 第一对象时发生的失真和由信号处理造成的失真，所述失真包括在供 给处理部分11的输入数据中。
传感器器件位置排除部件13根据供给处理部分11的输入数据， 产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于 传感器器件的位置(包括所述位置的时序方向上的移动操作)。
在处理部分11中获得的第一对象数据被提供给操作部分15。
参数设置部分14按照用户的操作，设置作为用于感测第一对象 的参数的感测参数。参数设置部分14把感测参数提供给操作部分15。
操作部分15按照来自参数设置部分14的感测参数，操作来自处 理部分ll的第一对象数据。操作部分15输出操作后的第一对象数据 作为输出数据。
在如上所述构成的数据处理设备中，例如，当传感器器件是感测 光线的器件，即，借助光学系统拾取真实世界的图像的图像拾取器件， 并且输入数据是通过由图像拾取器件拾取作为第一对象的风景等的 图像而获得的运动图像的图像数据时，输入数据在处理部分11中被 处理，从而产生图像的图像数据作为第一对象数据，在所述图像中， 看到的范围比在由图像拾取器件拾取的一帧(场)中看到的范围更宽。
即，当不考虑缩放以简化说明时，在由图像拾取器件拾取的一帧 中看到的风景等的笫一对象范围随图像拾取器件的位置(图像拾取器 件进行图像拾取的位置)而不同。处理部分11产生其中看到的范围比 在由图像拾取器件拾取的一帧中看到的第一对象范围更宽的图像的图像数据，作为不依赖于图像拾取器件的位置的第一对象数据。
同时，参数设置部分14按照用户的操作，把将作为一帧的图像 数据从第一对象数据提取的范围和位置设置成感测参数。参数设置部 分14把感测参数提供给操作部分15。
操作部分15从来自处理部分11的第一对象数据中，提取由作为 来自参数设置部分14的感测参数的范围和位置识别的图像数据。操 作部分15以输出数据的形式输出该图像数据。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显
示o
从而，通过操作参数设置部分14,用户能够观看在希望范围和 希望位置的图像，并且获得仿佛用户用摄像机拾取(感测)真实世界的 风景，并收集图像数据作为素材一样的身体感觉。
下面参考图2进一步说明图l的数据处理设备的处理。
当处理部分ll被供给输入数据时，在步骤Sll，处理部分ll处 理输入数据。处理随后进入步骤S12。
具体地说，在步骤Sll,处理部件11的传感器器件失真消除部 件12在步骤Sll-l进行传感器器件失真消除处理，传感器器件失真消 除处理消除当传感器器件感测第一对象时发生的失真和和由信号处 理造成的失真，所述失真包括在提供给处理部分ll的输入数据中。
另外，在步骤Sll-2，处理部分11的传感器器件位置排除部件 13进行传感器器件位置排除处理，传感器器件位置排除处理根据提供 给处理部分11的输入数据，产生代表第一对象的第一对象数据，所 述第一对象数据至少不依赖于传感器器件的位置。传感器器件位置排 除部件13把作为结果获得的第一对象数据提供给操作部分15。
在步骤S12，操作部分15进行操作处理，所述操作处理按照从 参数设置部分14供给的感测参数，操作来自处理部分11的第一对象 数据。操作部分15输出操作之后的第一对象数据，作为输出数据。
随后，处理等待提供给处理部分11的下一输入数据，并从步骤 S12返回步骤S11，之后重复类似的处理。
14图3是表示应用本发明的数据处理设备的第二实施例的配置例 子的方框图。
顺便提及，在图3中，与图1对应的部分用相同的附图标记识别， 下面将酌情省略对其的说明。
具体地说，图3的数据处理设备和图1的数据处理设备的相同之 处在于图3的数据处理设备包括处理部分11,参数设置部分14和操 作部分15。图3的数据处理设备和图1的数据处理设备的不同之处在 于图3的数据处理设备新增了第二对象数据检测部分16。
不过，在图3中，提供给处理部分11的输入数据是通过编辑， 把不同于感测数据的第二对象数据叠加在感测数据上，并对叠加第二 对象数据的感测数据进行信号处理而获得的数据。
第二对象数据检测部分16被供给和提供给处理部分11的输入数 据相同的输入数据。
第二对象数据检测部分16从供给的输入数据中检测第二对象数 据。第二对象数据检测部分16把第二对象数据提供给操作部分15。
如上参考图1和图2所述，操作部分15按照来自参数设置部分 14的感测参数，操作来自处理部分11的第一对象数据。另外，操作 部分15按照从参数设置部分14供给的编辑参数，利用从第二对象数 据检测部分16供给的第二对象数据进行编辑。
即，在图3中，参数设置部分14设置感测参数，还按照用户的 操作，设置作为用于进行编辑的参数的编辑参数。参数设置部分14 把编辑参数连同感测参数一起提供给操作部分15。
随后，操作部分15按照来自参数设置部分14的感测参数，操作 来自处理部分11的第一对象数据，并按照编辑参数，利用来自第二 对象数据检测部分16的第二对象数据进行编辑。操作部分15把通过 操作和编辑而获得的数据作为输出数据输出。
在如上所述构成的数据处理设备中，例如，当传感器器件是借助 光学系统拾取真实世界的图像的图像拾取器件，并且输入数据是通过 编辑，把字幕(telop)的图像数据(第二对象数据)叠加在通过由图像拾取器件拾取作为真实世界中的第一对象的风景等的图像而获得的运 动图像的图像数据上，所得到的图像数据时，输入数据在处理部分ll 中被处理，从而产生其中看到的范围比图像拾取器件拾取的一帧更 宽，并且从中消除了字幕的图像数据(第二对象数据)的图像的图像数 据，作为第一对象数据。
另外，第二对象数据检测部分16从供给的输入数据中检测字幕 的图像数据(第二对象数据)。第二对象数据检测部分16把该图像数据 提供给操作部分15。
同时，和图l的情况中一样，参数设置部分14按照用户的操作， 把将作为 一帧的图像数据从第 一对象数据提取的范围和位置设置成 感测参数。参数设置部分14把感测参数提供给操作部分15。
此外，参数设置部分14按照用户的操作，把按其叠加字幕的图 像数据的尺寸、位置等设置成编辑参数。参数设置部分14把编辑参 数提供给操作部分15。
操作部分15从来自处理部分11的第一对象数据中，提取由来自 参数设置部分14的感测参数指示的范围和位置识别的图像数据。
另外，操作部分15进行编辑，所述编辑按照编辑参数指示的尺 寸，把作为来自第二对象数据检测部分16的第二对象数据的字幕的 图像数据叠加在从第 一对象数据中提取的图像数据中，由来自参数设 置部分14的编辑参数指示的位置。操作部分15输出编辑后的图像数 据，作为输出数据。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。
从而，通过操作参数设置部分14，用户能够观看在希望范围和 希望位置的图像，并且获得仿佛用户用摄像机拾取(感测)真实世界的 风景，并收集图像数据作为素材一样的身体感觉。
此外，用户能够获得叠加字幕的图像数据的编辑的身体感觉。 下面参考图4进一步说明图3的数据处理设备的处理。 当处理部分11和第二对象数据检测部分16被供给输入数据时，在步骤Sll，处理部分11和第二对象数据检测部分16处理输入数据。 处理随后进入步骤S22。
具体地说，在步骤S21，处理部件11的传感器器件失真消除部 件12在步骤S21-l进行传感器器件失真消除处理，传感器器件失真消 除处理消除当传感器器件感测第一对象时发生的失真和和由信号处 理造成的失真，所述失真包括在提供给处理部分ll的输入数据中。
另外，在步骤S21-2，处理部分11的传感器器件位置排除部件 13进行传感器器件位置排除处理，传感器器件位置排除处理根据提供 给处理部分11的输入数据，产生代表第一对象的第一对象数据，所 述第一对象数据至少不依赖于传感器器件的位置。传感器器件位置排 除部件13把作为结果获得的第一对象数据提供给操作部分15。
此外，在步骤S21-3，第二对象数据检测部分16从输入数据中 检测第二对象数据。第二对象数据检测部分16把第二对象数据提供 给操作部分15。
在步骤S22，操作部分15按照从参数设置部分14供给的感测参 数，操作来自处理部分11的第一对象数据，并按照从参数设置部分 14供给的编辑参数，利用从第二对象数据检测部分16供给的第二对 象数据，对操作后的第一对象数据进行编辑。操作部分15输出作为 结果获得的数据，作为输出数据。
随后，处理等待提供给处理部分11和第二数据检测部分16的下 一输入数据，并从步骤S22返回步骤S21，之后重复类似的处理。
顺便提及，尽管在图1-4中，传感器器件感测的对象是能够被视 觉感知的光线，不过，传感器器件感测的对象并不局限于光线，例如 可以是能够被听觉感知的声音，或者能够被嗅觉、味觉或者触觉感知 的刺激。
下面，图5是表示应用图l或图3的数据处理设备的通信系统的 实施例的配置例子的方框图。
在图5中，通信系统包括发射器件20和接收器件30。通信系统 发射和接收作为电视广播的节目的图像数据。顺便提及，作为节目的音频(声音)数据的发射和接收将在后面说明。
例如，发射器件20被安装在广播节目的广播电台等中。发射器 件20发射作为节目的图像数据。
具体地说，发射器件20包括图像拾取器件21,存储器25，编辑 部分26和信号处理部分27。
在图5中，上述传感器器件是借助光学系统22，拾取真实世界 的图像的图像拾取器件21。
图像拾取器件21通过借助光学系统22，拾取真实世界的诸如风
景(景色)之类的第一对象的图像，并沿时空方向对第一对象采样，获 得第一对象拾取图像数据(对应于感测数据)。图像拾取器件21把第一
对象拾取图像数据提供给存储器25。
具体地说，图像拾取器件21包括光学系统22，光接收部分23 和时空采样部分24。
来自诸如真实世界的风景(景色)之类的第一对象的光线经光学 系统22，进入光接收部分23。
光接收部分23和时空采样部分24是模拟把光转换成作为电信号 的图像数据的光电转换元件(例如，CCD(电荷耦合器件)或者 CMOS(互补金属氧化物半导体)成像器等)的部件。光接收部分23接 收来自光学系统22的光，把与接收的光量对应的模拟信号提供给时 空采样部分24。
时空采样部分24沿空间方向和时间方向，对来自光接收部分23 的模拟信号采样。时空采样部分23把作为采样结果的图像数据作为 第一对象拾取图像数据提供给存储器25。
时空采样部分24的空间方向的采样间隔与光电转换元件的像素 的间隔对应。时空采样部分24的时间方向的采样间隔与帧(场)的周期 对应。
存储器25临时保存从图像拾取器件21的时空采样部分24供给 的第一对象拾取图像数据。编辑部分26读出保存在存储器25中的第 一对象拾取图像数据， 通过编辑，把作为代表作为第二对象的字幕等的图像数据的第二对象 图像数据(与第二对象数据对应)叠加在第 一对象拾取图像数据上，并 把结果提供给信号处理部分27。
信号处理部分27对来自编辑部分26的，叠加有第二对象图像数 据的第一对象拾取图像数据进行诸如MPEG编码之类的信号处理。 信号处理部分27把通过信号处理获得的图像数据作为输入数据输出。
在信号处理部分27中获得的输入数据被传给接收器件30，并被 接收器件30接收。
例如，接收器件30是作为应用图1或图3的数据处理设备的图 像处理设备的电视接收器或者调谐器。接收器件30处理如上所述从 发射器件20传来的输入数据。
具体地说，图6是表示图5中的接收器件30的第一配置例子的 方框图。
在图6中，接收器件30包括处理部分31,参数设置部分34,操 作部分35，和第二对象图像数据检测部分36。来自图5中的发射器 件20的输入数据被提供给处理部分31和第二对象图像数据检测部分 36。
处理部分31(对应于图3中的处理部分ll)包括图像拾取器件失 真消除部件32和图像拾取器件操作排除部件33。处理部分31处理提 供给它的输入数据。
具体地说，图像拾取器件失真消除部件32(对应于图3中的传感 器器件失真消除部件12)消除当图像拾取器件21(图5)拾取第一对象的 图像时发生的失真，和由信号处理部分27(图5)中的信号处理造成的 失真，所述失真包括在提供给处理部分31的输入数据中。
图像拾取器件操作排除部件33(对应于图3中的传感器器件位置 排除部件13)根据供给处理部分31的输入数据，检测图像拾取器件21 对于第一对象的相对操作，在用图像拾取器件21的操作补偿的同时 加入输入数据，从而产生代表图像拾取器件21拾取第一对象的图像
19之前的第一对象的第一对象图像数据，即，是具有比图像拾取器件21 拾取的一帧的图像数据更宽的视角(更宽的角度)的图像数据，并且是 从中消除字幕等的图像数据(第二对象图像数据)的图像数据的第 一对 象图像数据。
如上所述在处理部分31中获得的第一对象图像数据被提供给操 作部分35。
同时，参数设置部分34 (对应于图3中的参数设置部分14)例 如设置图像拾取参数作为用于拾取第一对象的图像的参数，即，例如 根据用户操作将用于识别要从第 一 对象图像数据中提取的 一 帧的图 像数据的图像拾取参数作为感测参数。参数设置部分34将图像拾取 参数提供给操作部分35。
此外，参数设置部分34例如设置用于使用第二对象图像数据等 进行编辑的编辑参数，即，例如指示根据用户操作叠加作为第二对象
图像数据的字幕的图像数据的方式的编辑参数。参数设置部分34将 编辑参数提供给操作部分35。
这种情况下，图像拾取参数包括指示将从作为广角图像数据的第 一对象图像数据提取的 一 帧大小的图像数据(下面酌情称为提取图像 数据)的水平位置和垂直位置的位置信息，当获得如果用户在以位置信 息措示的位置作为初始位置，在真实世界中摇摄或俯仰摄像机的时 候，进行图像拾取时理应获得的图像数据时的摇摄或俯仰速度和加速 度，当获得如果用户在调整摄像机的缩放的时候，进行图像拾取时理 应获得的图像数据时的缩放的放大倍率，等等。
如上所述，第一对象图像数据是具有比图像拾取器件21拾取的 一帧图像数据更宽的角度的图像数据。从而，通过改变从广角图像数 据抽取提取图像数据的位置，能够获得仿佛用户在真实世界中摇摄或 俯仰摄像机的同时进行图像拾取一样的图像数据。
此外，通过调整(例如，减小)从第一对象图像数据提取的图像数 据的范围，并进行插值(或者类别分类适应处理)，能够获得仿佛用户 在真实世界中调整摄像机的缩放的同时进行图像拾取一样的图像数据。
另外，编辑参数包括指示第二对象图像数据(字幕的图像数据)叠 加在提取图像数据上的水平位置和垂直位置的位置信息，和第二对象
图像数据的大小。此外，当字幕被移动时，移动速度和加速度可被设 成编辑参数，当字幕的大小被改变时，改变的方式(模式)可被设成编 辑参数。
操作部分35(对应于图3中的操作部分15)按照来自参数设置部 分34的图像拾取参数和编辑参数，合成来自处理部分31的第一对象 图像数据，和来自第二对象图像数据检测部分36的第二对象图像数 据。
具体地说，第二对象图像数据检测部分36(对应于图3中的第二 对象数据检测部分16)从供给它的输入数据中，检测第二对象图像数 据(字幕等的图像数据)。第二对象图像数据检测部分36把第二对象图 像数据提供给操作部分35。
操作部分35按照来自参数设置部分34的图像拾取参数，从来自 处理部分31的第一对象图像数据中抽取提取图像数据。此外，操作 部分35按照来自参数设置部分34的编辑参数，把来自第二对象图像 数据检测部分36的字幕的数据(第二对象图像数据)叠加在提取图像 数据上。操作部分35把作为结果获得的图像数据作为输出数据输出。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。
如上所述，处理部分31产生作为角度比通过图像拾取器件21 的图像拾取获得的图像数据更宽的图像数据的第 一对象图像数据，操 作部分35按照依据用户的操作而设置的图像拾取参数，从第一对象 图像数据抽取提取图像数据。从而，用户能够获得收集图像数据素材 的身体感觉。
即，用户能够享受好像用户在真实世界中用摄像机拾取第 一对象 的图像的感觉。
此外，操作部分35按照依据用户的操作而设置的编辑参数，把字幕的图像数据(第二对象图像数据)叠加在提取图像数据上。从而， 用户能够获得编辑图像数据的身体感觉。
顺便提及，在图6中，第二对象图像数据检测部分36从输入数 据本身中检测第二对象图像数据。不过，第二对象图像数据检测部分 36也能够从在图像拾取器件失真消除部件32中处理后的输入数据中 检测第二对象图像数据，如图6中的虚线所示。
另外，处理部分31能够处理从中消除在第二对象图像数据检测 部分36中检测的第二对象图像数据的输入数据，而不是输出数据本 身。
即，处理部分31能够从输入数据中消除在第二对象图像数据检 测部分36中检测的第二对象图像数据，并处理进行所述消除之后的 输入数据。
下面，图7表示图6中的处理部分31的另一配置例子。
在图6中，处理部分31中的图像拾取器件失真消除部件32和图 像拾取器件操作排除部件33的处理顺序是任意的。不过，在图7中， 图像拾取器件失真消除部件32处理提供给处理部分31的输入数据， 之后，图像拾取器件操作排除部件33处理由图像拾取器件失真消除 部件32处理过的输入数据。
顺便提及，图像拾取器件操作排除部件33能够处理提供给处理 部分31的输入数据，图像拾取器件失真消除部件32之后能够处理由 图像拾取器件操作排除部件33处理过的输入数据。
图8表示图7(和图6)中的图像拾取器件失真消除部件32和图像 拾取器件操作排除部件33的配置例子。
具体地说，图8A表示图7中的图像拾取器件失真消除部件32 的配置例子。
在图8A中，图像拾取器件失真消除部件32包括信号处理失真 消除部分41，时空分辨率创建部分42和光学失真消除部分43。
信号处理失真消除部分41从供给它的输入数据中，除去由发射 器件20(图5)的信号处理部分27的信号处理造成的失真。具体地说，当信号处理部分27在发射器件20中进行作为信号处 理的MPEG编码时，信号处理失真消除部分41执行对输入数据进行 MPEG解码，另外消除由MPEG编码/解码造成的块失真等的信号处 理失真消除处理。
顺便提及，MPEG解码不仅能够在信号处理部分失真消除部分 41中进行，而且能够在时空分辨率创建部分42,光学失真消除部分 43，或者不同于信号处理失真消除部分41，时空分辨率创建部分42 和光学失真消除部分43的另一部件(包括图中未示出的部件)中进行。
时空分辨率创建部分42改进作为提供给它的输入数据的图像数 据的时空方向的分辨率。
具体地说，即使接收器件30的监视器是能够显示如实再现真实 世界的图像的高性能监视器，能够显示在该监视器上的图像的图像质 量，即，例如空间分辨率和时间分辨率(帧速率)仍受发射器件20(图 5)的图像拾取器件21的性能限制。
因此，时空分辨率创建部分42改进作为输入数据的图像数据的 时空方向的分辨率，以便在监视器上显示足够图像质量的图像。
顺便提及，通过改进时空方向的分辨率，时空分辨率创建部分 42还消除因手的移动而造成的运动模糊，和由散焦状态造成的焦点模 糊。
光学失真消除部分43从供给它的输入数据中，除去由发射器件 20(图5)的光学系统22造成的失真(例如，由光学系统22的像差造成 的图像的失真)。
顺便提及，信号处理失真消除部分41，时空分辨率创建部分42 和光学失真消除部分43在图像拾取器件失真消除部件32中进行处理 的顺序并不特别受限。
另外，由图像拾取器件失真消除部件32中的信号处理失真消除 部分41，时空分辨率创建部分42和光学失真消除部分43进行的处理 可集体由类别分类适应处理实现。
图8B表示图7中的图像拾取器件操作排除部件33的配置例子。在图8B中，图像拾取器件操作排除部件33包括图像拾取器件 操作检测部分51，图像拾取器件操作补偿部分52，和存储部分53。
图像拾取器件操作检测部分51从在图像拾取器件失真消除部件 32中处理后的输入数据中，检测图像拾取器件21(图5)对第一对象的 相对操作，即，例如摇摄、俯仰或缩放图像拾取器件21的操作。图 像拾取器件操作检测部分51把指示所述操作的操作信息提供给图像 拾取器件操作补偿部分52。
在补偿以由来自图像拾取器件操作检测部分51的操作信息指示 的图像拾取器件21的操作的时候，图像拾取器件操作补偿部分52把 在图像拾取器件失真消除部件32中处理后的输入数据增加到存储部 分53中。从而，图像拾取器件操作补偿操作52产生代表在图像拾取 器件21拾取第一对象的图像之前的第一对象的第一对象图像数据。
具体地说，存储部分53具有充分大于图像拾取器件21拾取的一 帧图像数据的存储容量。图像拾取器件操作补偿部分52把紧接在运 动图像的图像数据(在图像拾取器件失真消除部件32中处理后的输入 数据)的场景变化之后的一帧图像数据作为初始值写入存储部分53 中。
此外，图像拾取器件操作补偿部分52进行添加，所述添加进行 运动图像的图像数据(在图像拾取器件失真消除部件32中处理后的输 入数据)的在紧接于场景变化后的一帧之后的一帧，以及后续各帧的图 像数据，与保存在存储部分53中的图像数据的加权加法，同时按照 由来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器 件21的操作，比如摇摄、俯仰或缩放，进行紧接于场景变化之后的 一帧的图像数据的登记。
从而，当在酌情摇摄、俯仰或缩放(包括使被拾取的图像的视角 是宽视角或远视角)的时候，进行发射器件20(图5)的图像拾取器件21 的图像拾取时，存储部分53保存代表在图像拾取器件21拾取第一对 象的图像之前的第一对象的第一对象图像数据，即，具有比图像拾取 器件21拾取的一帧图像数据更宽的角度的图像数据，即，如果用户
24观看真实世界中的第一对象时会看到的范围的图像数据。
顺便提及，假定出现在由图像拾取器件操作补偿部分52处理的 图像数据(对应于该图像数据的图像)中的第 一对象是诸如风景(景色) 之类的固定对象。这种情况下，当由图像拾取器件操作补偿部分52 处理的图像数据包括第二对象图像数据，比如运动字幕的图像数据和 运动对象的其它图像数据时，在进行登记的时候，图像拾取器件操作 补偿部分52添加图像数据，从而，逐渐除去(消除)运动对象的图像数 据。
即，保存在存储部分53中的图像数据是仅仅代表在图像拾取器 件21拾取第一对象的图像之间的第一对象的第一对象图像数据。
图9表示接收器件30中的图像拾取器件失真消除部件32的另一 配置例子。
在图8A中，信号处理失真消除部分41，时空分辨率创建部分 42和光学失真消除部分43在图像拾取器件失真消除部件32中进行处 理的顺序并不特别受限。不过，在图9中，信号处理失真消除部分41， 时空分辨率创建部分42和光学失真消除部分43按照该顺序执行处 理。
具体地说，在图9中，来自发射器件20(图5)的输入数据被提供 给图像拾取器件失真消除部件.32和第二对象图像数据检测部分36 。
图像拾取器件失真消除部件32中的信号处理失真消除部分41 从来自发射器件20(图5)的图像数据(输入数据)中除去由发射器件20 的信号处理部分27的信号处理造成的失真，随后把图像数据提供给 时空分辨率创建部分42。
时空分辨率创建部分42改善来自信号处理失真消除部分41的图 像数据的时空方向的分辨率。时空分辨率创建部分42把作为结果获 得的图像数据提供给光学失真消除部分43 。
光学失真消除部分43从来自时空分辨率创建部分42的图像数据 中除去由发射器件20(图5)的光学系统22造成的失真。光学失真消除 部分43把图像数据提供给图像拾取器件操作排除部件33。图像拾取器件操作排除部件33中的图像拾取器件操作检测部分 51从来自图像拾取器件失真消除部件32(图像拾取器件失真消除部件 32中的光学失真消除部分43)的图像数据中，检测图像拾取器件21(图 5)对于第一对象的相对操作，即，例如，图像拾取器件21的诸如摇摄、 俯仰、缩放之类的操作。图像拾取器件操作检测部分51把指示所述 操作的操作信息提供给图像拾取器件操作补偿部分52。
图像拾取器件操作补偿部分52按照由来自图像拾取器件操作检 测部分51的操作信息指示的图像拾取器件21的诸如摇摄、俯仰、缩 放之类的操作，登记来自图像拾取器件失真消除部件32的图像数据 (使出现在与图像数据对应的图像中的第一对象的位置一致的登记)， 并进行实现登记后的图像数据与保存在存储部分53中的图像数据的 力口4又力口、法的添力口 (adding in)。
从而，如上所述，存储部分53保存代表在图像拾取器件21拾取 第一对象的图像之前的第一对象的第一对象图像数据(广角图像数 据)。
保存在存储部分53中的第一对象图像数据被提供给操作部分35。
同时，第二对象图像数据检测部分36从作为来自发射器件20 的输入数据的图像数据(当来自发射器件20的输入数据被MPEG编码 时，该图像数据是通过MPEG解码获得的)中检测作为字幕等的图像 数据的第二对象图像数据。第二对象图像数据检测部分36把第二对 象图像数据提供给操作部分35。
如上所述，操作部分35被供给来自存储部分53的第一对象图像 数据，和来自第二对象图像数据检测部分36的第二对象图像数据， 还被供给来自参数设置部分34的图像拾取参数和编辑参数。
具体地说，按照用户的操作，参数设置部分34设置图像拾取参 数，比如指示将从第一对象图像数据提取的提取图像数据的水平位置 和垂直位置的位置信息，摄像机的摇摄或俯仰速度和加速度，放大率 等等。参数设置部分34把图像拾取参数提供给操作部分35。此外，按照用户的操作，参数设置部分34设置编辑参数，比如 指示把作为字幕的图像数据的第二对象图像数据叠加在提取图像数 据上的水平位置和垂直位置的位置信息(包括指示是否进行叠加的信 息)，字幕的尺寸，移动字幕的速度和加速度(包括当字幕被旋转时的 旋转角速度)，改变字幕尺寸的方式，等等。参数设置部分34把编辑 参数提供给操作部分35。
操作部分35按照来自参数设置部分34的图像拾取参数，从来自 存储部分53的第一对象图像数据中抽取提取图像数据。此外，操作 部分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来 自第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图 像数据上。操作部分35把作为结果获得的图像数据作为输出数据输 出。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。
从而，通过操作参数设置部分34，用户能够观看图像，好像在 进行摇摄、俯仰、缩放等操作的时候，用户在真实世界中用摄像机实 际进行图像拾取似的。
此外，通过操作参数设置部分34，用户能够打开或关闭字幕的 图像数据(第二对象图像数据)的显示，当字幕的图像数据的显示被打 开时，把字幕的显示改变成希望的显示。
顺便提及，第二对象图像数据检测部分36不仅能够从输入数据 中检测第二对象图像数据，而且能够从在信号处理失真消除部分41 中处理后的图像数据中检测第二对象图像数据，如图9中的虛线所示。
图IO表示图5中的接收器件30的第二配置例子。
顺便提及，在图10中，与图6-9对应的部分用相同的附图标记 识别，下面将酌情省略对它们的说明。
在图9中，图像拾取器件操作检测部分51被供给经光学失真消 除部分43处理后的图像数据。不过，在图10的接收器件30中，图 像拾取器件操作检测部分51被供给与提供给处理部分31的输入数据
27相同的输入数据。图像拾取器件操作检测部分51从输入数据检测图 像拾取器件21(图5)对于第一对象的相对操作，并把指示所述操作的 操作信息提供给图像拾取器件操作补偿部分52。
就其它处理来说，图10的接收器件30进行与图9类似的处理， 于是下面省略对其的说明。
图ll表示图5中的接收器件30的第三配置例子。
顺便提及，在图11中，与图6-9对应的部分用相同的附图标记 识别，下面将酌情省略对它们的说明。
图11的接收器件30与图9的不同之处在于对图像拾取器件操作 排除部件33新设置了前景分离部分54。
前景分离部分54被供给经光学失真消除部件43处理后的输入数 据，和保存在存储部分53中的第一对象图像数据。
前景分离部分54相互比较来自光学失真消除部件43的输入数据 和保存在存储部分53中的第一对象图像数据。从而，当不同于第一 对象的图像数据被包括在输入数据中，即，例如诸如字幕之类的图像 数据的第二对象图像数据，和例如代表第三对象(人，动物，诸如汽车
之类的车辆，或者另一运动对称)的第三对象图像数据作为所谓的前景 被包括在输入数据中时，前景分离部分5起产生第二对象图像数据和 第三对象图像数据的图像产生部分的作用。. 、
即，前景分离部分54通过从输入数据中减去与作为输入数据的 图像数据对应的范围的图像数据(该图像数据包括在保存于存储部分 53中的第一对象图像数据中)，从输入数据中分离出第二对象图像数 据和第三对象图像数据。前景分离部分54把第二对象图像数据和第 三图像数据提供给操作部分35。
操作部分35按照来自参数设置部分34的图像拾取参数和编辑参 数，合成保存在存储部分53中的第一对象图像数据，来自第二对象 图像数据检测部分36的第二对象图像数据，和从前景分离部分54供 给的第三对象图像数据。
这种情况下，在图11中，按照用户的操作，参数设置部分34不仅设置第二对象图像数据(字幕的图像数据)的编辑参数，而且设置 第三对象图像数据(前景的图像数据)的编辑参数，即，例如诸如指示 把前景叠加在提取图像数据上的水平位置和垂直位置的位置信息，前 景的尺寸，移动前景的速度和加速度(包括当前景被旋转时的旋转角速
度)，改变前景的尺寸的方式之类的编辑参数。参数设置部分34把编 辑参数提供给操作部分35。
操作部分35比较来自前景分离部分54的第二对象图像数据和第 三对象图像数据与来自第二对象图像数据检测部分36的第二对象图 像数据，从而从来自前景分离部分54的第二对象图像数据和第三对 象图像数据中分离出第三对象图像数据。
随后，操作部分35按照来自参数设置部分34的图像拾取参数， 从来自存储部分53的第一对象图像数据中抽取提取图像数据。此外， 操作部分35按照来自参数设置部分34的编辑参数，把字幕的图像数 据(来自第二对象图像数据检测部分36的第二对象图像数据)叠加在 提取图像数据上，按照来自参数设置部分34的编辑参数，把前景的 图像数据(第三对象图像数据)叠加在提取图像数据上。操作部分35把 作为结果获得的图像数据作为输出数据输出。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显
示0
和图6-9的情况一样，图11的接收器件30允许用户获得素材的 收集和编辑的身体感觉。
此外，图11的接收器件30使得不仅能够编辑作为第二对象图像 数据的字幕的图像数据，而且能够编辑作为第三对象图像数据的前景
' 图12表示图5中的接收器件30的第四配置例子。
顺便提及，在图12中，与图6-9对应的部分用相同的附图标记 识别，下面将酌情省略对它们的说明。
图11的接收器件30与图9的不同之处在于对图像拾取器 操作 排除部件33新设置了前景模糊消除处理部分55。前景模糊消除处理部分55被供给经光学失真消除部分43处理后 的输入数据和保存在存储部分53中的第一对象图像数据。
和图11中的前景分离部分54—样，前景模糊消除处理部分55 相互比较来自光学失真消除部分43的输入数据和保存在存储部分53 中的第一对象图像数据。从而，当不同于第一对象的图像数据被包括 在输入数据中，即，例如诸如字幕的图像数据之类的第二对象图像数 据，和代表作为前景的第三对象的第三对象图像数据被包括在输入数 据中时，前景模糊消除处理部分55起产生第二对象图像数据和第三 对象图像数据的图像产生部分的作用。
不过，前景模糊消除处理部分55利用输入数据和保存在存储部 分53中的第一对象图像数据，产生其运动模糊被减小的第三对象图 像数据，假定包括在输入数据中的第三对象的像素的像素值是通过在 移动没有运动模糊的相应像素的像素值的时候，沿时间方向求没有运 动模糊的相应像素的像素值的积分而获得的值。前景模糊消除处理部 分55把其运动模糊被减小的第三对象图像数据提供给操作部分55。
操作部分35按照来自参数设置部分34的图像拾取参数和编辑参 数，合成保存在存储部分53中的第一对象图像数据，来自第二对象 图像数据检测部分36的第二对象图像数据，和从前景模糊消除处理 部分55供给的第三对象图像数据。
这种情况下，在图12中，和图11中一样，按照用户的操作，参 数设置部分34不仅设置作为字幕的图像数据的第二对象图像数据的 编辑参数，而且设置作为前景的图像数据的第三对象图像数据的编辑 参数。参数设置部分34把编辑参数提供给操作部分35。
操作部分35按照来自参数设置部分34的图像拾取参数，从来自 存储部分53的第一对象图像数据抽取提取图像数据。此外，操作部 分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自 第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图像 数据上，并按照来自参数设置部分34的编辑参数，把作为第三对象 图像数据的前景的图像数据叠加在提取图像数据上。操作部分35把
3作为结果获得的图像数据作为输出数据输出。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。
和图11的情况一样，图12的接收器件30也允许用户获得素材 的收集和编辑的身体感觉，并且分别编辑作为第二对象图像数据的图 像数据和作为第三对象图像数据的图像数据。
图13表示图5中的接收器件30的第五配置例子。
顺便提及，在图13中，与图11对应的部分用相同的附图标记识别。
图13的接收器件30是按照和图11类似的方式形成的。
不过，例如，按照用户的操作，图13的接收器件30中的参数设 置部分34如上设置图像拾取参数和编辑参数，并产生大小比，作为 操作部分35向其输出输出数据的输出目的地的监视器的屏幕的大小 和第三对象图像数据的大小之间的比值。
此外，当通过更换作为操作部分35对其进行输出的输出目的地 的监视器，改变作为输出目的地的监视器的屏幕的大小时，参数设置 部分34按照所述大小比调整用于编辑第三对象图像数据的大小的编 辑参数。参数设置部分34随后把编辑参数提供给操作部分35。
具体地说，在图13中，对于可以是诸如人脸之类的前f的对象 来说，参数设置部分34把当作为对象的人脸被显示在监视器上时， 由用户感知为真实世界中的人脸的大小(例如，人脸的平均大小)保存 为基准大小A(单位厘米、英寸等)。
参数设置部分34识别作为输出目的地的监视器的屏幕的大小 B(单位厘米、英寸等)，并确定作为在前景分离部分54中获得其第 三对象图像数据的对象的人脸的基准大小A与作为输出目的地的监 视器的屏幕的大小B之间的大小比A/B。
随后，按照大小比A/B，参数设置部分34调整指定作为人脸的 图像数据(该图像数据是在前景分离部分54中获得的)的第三对象图 像数据的大小的编辑参数，以致显示在作为输出目的地的监视器上的
31人脸的像素数目M与作为输出目的地的监视器的像素数目N之间的 比值M/N是大小比A/B。参数设置部分34把该编辑参数提供给操作 部分35。
这种情况下，例如，人脸的基准大小A是当在真实世界中，观 看在离图像拾取器件21(图5)预定基准距离的位置(例如，直接在图像 拾取器件21之前的位置)的人脸时的大小。按照与来自图像拾取器件 21的第三对象图像数据对应的人的距离与基准距离之间的比值，校正 用于调整指定第三对象图像数据的大小的编辑参数的量值。
具体地说，例如，当与第三对象图像数据对应的人远离图像拾取 器件21时，指定第三对象图像数据的大小的编辑参数被校正，以致 显示在作为输出目的地的监视器上的人脸的大小小于基准大小A。
顺便提及，假定与第三对象图像数据对应的人到图像拾取器件 21的距离包括在来自发射器件20的输入数据中。
另外，每个对象的基准大小A可被预先保存在参数设置部分34 中，或者在包括在输入数据中的状态下从发射器件20传送。
操作部分35按照来自参数设置部分34的图像拾取参数，从来自 存储部分53的第一对象图像数据抽取提取图像数据。此外，操作部 分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自 第二对象图像数据检测部分36的第二对象图像数据)叠加在提取闺像 数据上，并按照来自参数设置部分34的编辑参数，把前景的图像数 据(第三对象图像数据)叠加在提取图像数据上。操作部分35把作为结 果获得的图像数据作为输出数据输出。
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。
这种情况下，例如，监视器以用户在真实世界中感知的人脸的大 小，即，与当在真实世界中看人时的大小类似的大小显示作为第三对 象的人的脸部。
从而，用户能够享受仿佛用户实际在出现于显示在监视器上的图 像中的真实世界的风景中一样的感觉。图14表示图5中的接收器件5的第六配置例子。
顺便提及，在图14中，和图ll对应的部分用相同的附图标记识别。
图13的接收器件30是按照和图ll类似的方式构成的。 不过，例如，按照用户的操作，图13的接收器件30中的参数设 置部分34设置编辑参数，以致只对在前景分离部分54中获得的第三 对象图像数据进行y校正处理。参数设置部分34把编辑参数提供给 操作部分35。
这种情况下，操作部分35进行和图11类似的处理，并按照来自 参数设置部分34的编辑参数，进行只对第三对象图像数据实现y校 正的编辑。
如上所述，通过只对第三对象图像数据进行y校正，图14的接 收器件30能够按照用户的偏爱，显示与第一对象的图像形成对照的 第三对象的图像。
下面，图15是表示应用图l和图3的数据处理设备的通信系统 的另 一实施例的配置例子的方框图。
在图15中，通信系统包括发射器件120和接收器件130。例如， 通信系统发射和接收作为电视广播节目的音频数据。
顺便提及，在本说明书中，为了简化说明，彼此独立地说明作为 节目的图像数据的发射和接收，和作为节目的音频数据的发射和接 收。不过，通过多路复用，能够同时发射和接收作为节目的图像数据 和音频数据。
例如，发射器件120被安装在广播节目等的广播电台中。发射器 件120发射作为节目的音频数据。
具体地说，发射器件120包括声音收集器件121，存储器125， 编辑部分126，和信号处理部分127。
在图15中，参考图l-4说明的传感器器件是具有收集真实世界 中的第一音频的声音收集部分123的声音收集器件121。
声音收集器件121收集第一音频的声音，比如真实世界中人的声
33音等等，并沿时间方向对第一音频采样。声音收集器件121从而获得 第一音频收集声音数据(对应于感测数据)。声音收集器件121把第一 音频收集声音数据提供给存储器125。
具体地说，声音收集器件121包括声音收集部分123和时间采样 部分124。
例如，声音收集部分123收集第一音频，比如真实世界中人的声 音等等。声音收集部分123把第 一音频转换成电信号形式的模拟信号， 即，把空气的振动转换成电信号形式的模拟信号。声音收集部分123 把模拟信号提供给时间采集部分124。
时间采集部分124沿时间方向对来自声音收集部分123的模拟信 号采样。时间采集部分124把作为采样结果的音频数据作为第一音频 收集声音数据提供给存储器125。
存储器125临时保存从声音收集器件121的时间采样部分124 供给的第 一音频收集声音数据编辑部分126读出保存在存储器125中的第一音频收集声音数 据，通过编辑，把作为第二音频的第二音频数据(对应于第二对象数据) 叠加在第一音频收集声音数据上，并把结果提供给信号处理部分127。
信号处理部分17对来自编辑部分126的叠加第二音频数据的第 一音频收集声音数据进行信号处理，比如MPEG编码等。信号处理 部分127把通过信号处理获得的音频数据作为输入数据输出。
在信号处理部分127中获得的输入数据被传给接收器件130，并 被接收器件130接收。
例如，接收器件130是作为应用图1或图3的数据处理设备的音 频处理设备的电视接收机或调谐器。接收器件130处理如上所述从发 射器件120传来的输入数据。
具体地说，图16是表示图15中的接收器件130的第一配置例子 的方框图。
在图16中，接收器件130包括处理部分131，参数设置部分134， 操作部分135，和第二音频数据检测部分136。来自图15中的发射器件120的输入数据被提供给处理部分131和第二音频数据检测部分 136。
处理部分131(对应于图3中的处理部分ll)包括声音收集器件失 真消除部件132和声音收集器件操作排除部件133。处理部分131处 理提供给它的输入数据。
具体地说，声音收集器件失真消除部件132(对应于图3中的传感 器器件失真消除部件12)消除当声音收集器件121(图15)收集第 一音频 的声音时发生的失真，和由信号处理部分127(图15)中的信号处理造 成的失真，所述失真包括在提供给处理部分131的输入数据中。
为了产生代表真实世界中的第一音频的，至少不依赖于声音收集 器件121(图15)的位置的第一音频数据，声音收集器件操作排除部件 133(对应于图3中的传感器器件位置排除部件13)从提供给处理部分 131的输入数据中，至少检测第一音频的声源位置(离收集第一音频的 声音的声音收集器件121(图15)的相对位置)，和在声源位置的第一音 频的声压(功率)。声音收集器件操作排除部件133产生具有在第一音 频的声源位置的第一音频的声压的第一音频数据(代表真实世界中的 第一音频，不依赖于声音收集器件121的位置的第一音频数据)。
通过处理部分131中的声音收集器件失真消除部件132和声音收 集器件操作排除部件133的处理获得的，从中消徐了当收集第一音频 的声音时发生的失真和由信号处理造成的失真，并且具有位于第一音 频的声源位置的第一音频的声压的第一音频数据(位于声源位置的第 一音频本身的数据)连同第一音频的声源位置一起被提供给操作部分 135。
同时，参数设置部分134(对应于图3中的参数设置部分14)按照 用户的操作，设置声音收集参数作为感测参数，所述声音收集参数是 用于收集第一音频的声音的参数，即，指示离第一音频的声源位置的 相对位置(下面酌情称为声音收集位置)的声音收集参数，在所述相对 位置收集第一音频的声音。参数设置部分134把声音收集参数提供给 操作部分135。另外，按照用户的操作，参数设置部分134设置用于利用第二音 频数据等的编辑的编辑参数，即，指示当叠加BGM的音频数据(第二 音频数据)时的声压，以及开始叠加的开始时间，结束时间等的编辑参 数。参数设置部分134把编辑参数提供给操作部分135。
操作部分135(对应于图3中的操作部分35)按照来自参数i殳置部 分134的声音收集参数和编辑参数，以及来自处理部分131的第一音 频的声源位置，合成来自处理部分131的第一音频数据和来自第二音 频数据检测部分136的第二音频数据。
即，第二音频数据检测部分136(对应于图3中的第二对象数据检 测部分16)从供给它的输入数据中检测第二音频数据(BGM等的音频 数据)。第二音频数据检测部分136把第二音频数据提供给操作部分 135。
操作部分135按照来自参数设置部分134的声音收集参数，调整 (操作)来自处理部分131的第一音频数据的声压。即，操作部分135 把来自处理部分131的第一音频数据的声压调整为如果与从来自处理 部分131的声源位置发出的第一音频数据对应的第一音频是在由声音 收集参数指示的声音收集位置听到的话，那么会感觉到的声压。
此外，操作部分135按照来自参数设置部分134的编辑参数，把 .来自第二音频数据检测部分136的BGM的音频数据(第二音频数据) 叠加在调整声压之后的第一音频数据(下面酌情称为调整音频数据) 上。操作部分135把作为结果获得的音频数据作为输出数据输出。
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。
如上所述，处理部分131产生具有在第一音频的声源位置的声压 的第一音频数据，操作部分135按照依据用户的操作设置的声音收集 参数，调整第一音频数据的声压等。从而，用户能够获得收集音频数 据的素材的身体感觉。
即，用户能够享受仿佛用户在真实世界中用麦克风收集第 一音频 的声音一样的感觉(例如，把麦克风对准作为第一音频的声源的扬声器的感觉)。
此外，由于操作部分135按照依据用户的操作设置的编辑参数， 把BGM的音频数据(第二音频数据)叠加在调整声压等之后的调整音 频数据上，因此，用户能够获得编辑音频数据的身体感觉。
顺便提及，在图16中，第二音频数据检测部分136从输入数据 本身中检测第二音频数据。不过，第二音频数据检测部分136也可从 经声音收集器件失真消除部件132处理后的输入数据中检测第二音频 数据，如图16中的虚线所示。
另外，处理部分131能够处理从中消除在第二音频数据检测部分 136中检测的笫二音频数据的输入数据，而不是输入数据本身。
即，处理部分131能够从输入数据中消除在第二音频数据检测部 分136中检测的第二音频数据，并处理所述消除之后的输入数据。
下面，图17表示图16中的处理部分131的另一配置例子。
在图16中，声音收集器件失真消除部件132和声音收集器件操 作排除部件133的处理顺序是任意的。不过，在图17中，声音收集 器件失真消除部件132处理提供给处理部分131的输入数据，之后， 声音收集器件操作排除部件133处理声音收集器件失真消除部件132 处理过的输入数据。
顺便提及，声音收集器件操作排除部件133能够处理提供给处理 部分131的输入数据，之后，声音收集器件失真消除部件132能够处 理声音收集器件操作排除部件133处理过的输入数据。
图18表示图17(和图16)中的声音收集器件失真消除部件132和 声音收集器件操作排除部件133的配置例子。
具体地说，图18A表示图17中的声音收集器件失真消除部件132 的配置例子。
在图18A中，声音收集器件失真消除部件132包括信号处理失 真消除部分141,时间分辨率创建部分142，和声音收集失真消除部 分143。
信号处理失真消除部分141从提供给它的输入数据中除去由发射器件120(图15)的信号处理部分127的信号处理造成的失真。
具体地说，当信号处理部分127进行作为发射器件120中的信号 处理的MPEG编码时，信号处理失真消除部分141进行对输入数据 进行MPEG解码，另外消除由MPEG编码/解码造成的失真等的信号 处理失真消除处理。
顺便提及，MPEG解码不仅可在信号处理失真消除部分141中 进行，而且可以在时间分辨率创建部分142,声音收集失真消除部分 143，或者不同于信号处理失真消除部分141，时间分辨率创建部分 142，和声音收集失真消除部分143的另一部件(包括图中未示出的部 件)中进行。
时间分辨率创建部分142改进作为提供给它的输入数据的音频 数据的时间方向的分辨率。
具体地说，即使接收器件130的扬声器是能够输出如实再现真实 世界的音频(声音)的高性能扬声器，该扬声器能够输出的音频的音质， 例如时间分辨率(采样速率)仍然受发射器件120(图15)的声音收集器 件121的性能限制。
因此，为了在扬声器输出足够音质的音频，时间分辨率创建部分 142改进作为输入数据的音频数据的时间方向的分辨率。
声音收集失真消除部分143从提供给它的输入数据中，除去由发 射器件120(图15)的声音收集部分123造成的失真(例如，由声音收集 部分123的频率特性引起的音频的波形的失真)。
顺便提及，声音收集器件失真消除部件132中，信号处理失真消 除部分141，时间分辨率创建部分142和声音收集失真消除部分143 进行处理的顺序并不特别受限。
另外，由声音收集器件失真消除部件132中的信号处理失真消除 部分141，时间分辨率创建部分142和声音收集失真消除部分143进 行的处理可集体由类别分类适应处理实现。
图18B表示图17中的声音收集器件操作排除部件133的配置例子。
38在图18B中，声音收集器件操作排除部件133包括声源检测部 分151。
为了产生代表真实世界中的第一音频，至少不依赖于声音收集器 件121(图15)的位置的第一音频数据，声源检测部分151根据供给它 的输入数据至少检测第一音频的声源位置，和在所述声源位置的第一 音频的声压(功率)。声源检测部分151产生具有在第一音频的声源位 置的第一音频的声压的第一音频数据(代表真实世界中的第一音频，不 依赖于声音收集器件121的位置的第一音频数据)。声源检测部分151 输出第一音频数据及第一音频的声源位置。
图19表示接收器件130中的声音收集器件失真消除部件132的 另一配置例子。
在图18A中，在声音收集器件失真消除部件132中，信号处理 失真消除部分141，时间分辨率创建部分142和声音收集失真消除部 分143进行处理的顺序并不特别受限。不过，在图19中，信号处理 失真消除部分141，时间分辨率创建部分142和声音收集失真消除部 分143按照该顺序进行处理。
具体地说，在图19中，来自发射器件120(图15)的输入数据被 提供给声音收集器件失真消除部件132和第二音频数据检测部分136。
声音收集器件失真消除部件132中的信号处理失真消除部分141 从作为来自发射器件120(图15)的输入数据的音频数据中，除去由发 射器件120的信号处理部分127的信号处理造成的失真，随后把音频 数据提供给时间分辨率创建部分142。
时间分辨率创建部分142改进来自信号处理失真消除部分141 的音频数据的时间方向的分辨率。时间分辨率创建部分142把作为结 果获得的音频数据提供给声音收集失真消除部分143。
声音收集失真消除部分143从来自时间分辨率创建部分142的音 频数据中，除去由发射器件120(图15)的声音收集部分123造成的失 真。声音收集失真消除部分143把音频数据提供给声音收集器件操作 排除部件133。声音收集器件操作排除部件133中的声源检测部分151从来自声 音收集器件失真消除部件132(声音收集器件失真消除部件132中的声 音收集失真消除部分143)的音频数据中检测第一音频的声源位置和 声压。此外，声源检测部分151产生具有在第一音频的声源位置的第 一音频的声压的第一音频数据(代表真实世界中的第一音频，不依赖于 声音收集器件121的位置的第一音频数据)。声源检测部分151把第一 音频数据连同第一音频的声源位置一起输出给操作部分135。
同时，第二音频数据检测部分136从作为来自发射器件120的输 入数据的音频数据中，检测第二音频数据(BGM等的音频数据)。第二 音频数据检测部分136把第二音频数据提供给操作部分135。
如上所述，操作部分135被供给来自声源检测部分151的第一音 频数据，和来自第二音频数据检测部分136的第二音频数据，还被供 给来自参数设置部分134的声音收集参数和编辑参数。
具体地说，例如，如上所述，参数设置部分134按照用户的操作， 设置声音收集参数和编辑参数。参数设置部分134把声音收集参数和 编辑参数提供给操作部分135。
操作部分135按照来自参数设置部分134的声音收集参数，调整 来自声源检测部分151的第一音频数据的声压(把来自声源检测部分 151的第一音频数据的声压调整为如果与从来自处理部分131的声源 位置发出的第一音频数据对应的第一音频是在由声音收集参数指示 的声音收集位置听到的话，那么会感觉到的声压)。操作部分135从而 产生调整音频数据。
此外，操作部分135按照来自参数设置部分134的编辑参数，把 BGM的音频数据(来自第二音频数据检测部分136的第二音频数据) 叠加在调整音频数据上。操作部分135把作为结果获得的音频数据作 为输出数据输出。
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。
从而，通过操作参数设置部分134，用户能够仿佛在真实世界中用麦克风实际收集声音一样地听到音频(声音)。
即，例如，用户能够享受仿佛在多人讲话的时候，通过使麦克风 接近特定人物，用户听所述多人中的特定人物讲话一样的感觉。
此外，通过操作参数编辑部分134，用户能够开启或关闭BGM 的音频数据(第二音频数据)的叠加，当BGM的音频数据的叠加被开 启时，把BGM的音量等改变成希望的状态。
顺便提及，第二音频数据检测部分136不仅能够从输入数据中检 测第二音频数据，而且能够从在信号处理失真消除部分141中处理后 的音频数据中检测第二音频数据，如图19中的虛线所示。
图20表示图15中的接收器件130的第二配置例子。
顺便提及，在图20中，与图16-19对应的部分用相同的附图标 记识别，下面将酌情省略对其的说明。
图20的接收器件130与图19的不同之处在于对声音收集器件操 作排除部件133新设置了分离部分152。
分离部分152被供给经声音收集失真消除部分143处理过的输入 数据，和在声源检测部分151中产生的第二音频数据。
分离部分152相互比较来自声音收集失真消除部分143的输入数 据和在声源检测部分151中产生的第二音频数据。从而，例如，当输 入数据不仅包括诸如人的声音之类的第一音频收集声音数据和诸如 BGM之类的音频数据的第二音频数据，而且包括从不同于第一音频 的声源产生的第三音频数据(第三音频收集声音数据)，比如另一人的 声音等时，分离部分152起产生不同于在声源检测部分151中产生的 第一音频数据的音频数据，即，第二音频数据和第三音频数据的音频 数据产生部分的作用。
即，分离部分152恰当地调整在声源检测部分151中产生的第一 音频数据的声压，并从输入数据中扣除。从而，分离部分152从输入 数据中分离出第二音频数据和第三音频数据。分离部分152把第二音 频数据和第三音频数据提供给操作部分135。
操作部分135按照来自参数设置部分34的声音收集参数和编辑参数，合成来自声源检测部分151的第一音频数据，来自第二音频数 据检测部分136的第二音频数据，和从分离部分152供给的第三音频 数据。
这种情况下，在图20中，按照用户的操作，参数设置部分134 不仅设置第二音频数据(BGM的音频数据)的编辑参数，而且设置第三 音频数据(另一人的音频数据)的编辑参数，即，例如指示叠加第三音 频数据时的声压，以及开始所述叠加的开始时间，结束时间等的编辑 参数。参数设置部分34把编辑参数提供给操作部分135。
操作部分135比较来自分离部分152的第二音频数据和第三音频 数据与来自第二音频数据检测部分136的第二音频数据，从而从来自 分离部分152的第二音频数据和第三音频数据中分离出第三音频数 据。
随后，操作部分135通过按照来自参数设置部分34的声音收集 参数，调整来自声源检测部分151的人的声音的第一音频数据，产生 调整音频数据。此外，操作部分135按照来自参数设置部分134的编 辑参数，把BGM的音频数据(来自第二音频数据检测部分136的第二 音频数据)叠加在调整音频数据上，并按照来自参数设置部分34的编 辑参数，把另一人物的声音的音频数据(第三音频数据)叠加在调整音 频数据上.。操作部分135把作为结果获得的音频数据作为输出数据输 出。
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。
和图16-19的情况一样，图20的接收器件130允许用户获得素 材的收集和编辑的身体感觉。
此外，图20的接收器件130能够实现BGM的音频数据(第二音 频数据)和另 一人物的声音的音频数据(第三音频数据)的编辑。
下面说明从作为图9等中的第二对象图像数据检测部分36中的 输入数据的图像数据中检测作为字幕的图像数据的第二对象图像数 据的方法。例如，在日本专利特许7>开No.2002-084458中描述的寺支术可被 用作检测字幕的方法。
日本专利特许/>开No.2002-084458描述一种通过重复从存储图 像中提取字幕区域，获得字幕区域相对于输入图像的运动向量，把存 储图像中的像素位置移动与运动向量对应的向量，并通过合成移动后 的存储图像和输入图像，形成新的存储图像的过程，提取在固定背景 上移动的字幕区域的技术。
图21表示利用在日本专利特许公开No.2002-084458中描述的技 术，提取在固定背景上移动的字幕区域的提取器件的配置例子。
提取器件从提供给它的输入图像中提取字幕的图像，所述图像具
有不同于背景的运动特征(下面把该图像称为特征图像)。
输入提取器件的输入图像被提供给延迟电路211和运动向量检 测电路215。延迟电路211把输入图像延迟预定时间，随后把输入图 像提供给合成电路212。
合成电路212合成从延迟电路211供给的输入图像，和从移相电 路216供给的被移相并且保存在存储器213中的存储图像。合成电路 212把合成后的图像作为新的存储图像提供给存储器213 。
存储器213保存来自合成电路212的存储图像，并把存储图像提 供给提取电路214和移相电路216.。
提取电路214提取从存储器213供给的存储图像上的特征图像 (判断为特征图像的图像区域将被提取)，并把提取的图像区域的图像 数据和提取的图像区域的显示位置提供给运动向量检测电路215和外 部。
运动向量检测电路215被供给输入图像，并被供给来自提取电路 214的存储图像上判断为特征图像的图像区域的图像数据，及所述图 像区域的显示位置。运动向量检测电路215利用从提取电路214供给 的图像数据和显示位置，检测在提取电路214中提取的存储图像上的 图像区域(存储图像上被判断为特征图像的图像区域)，和输入图像上 与该图像区域对应的图像区域之间的运动向量。运动向量检测电路
43215把运动向量提供给移相电路216。
移相电路216根据来自运动向量检测电路215的运动向量，移动 来自存储器213的存储图像的相位(从而，改变将在合成电路212中与 输入图像的像素合成的存储图像的像素)。移相电路216把结果提供给 合成电路212。
图22表示当字幕被提取为特征图像时，图21中的提取电路214 的配置例子。
从存储器213供给提取电路214的存储图像被分别提供给边缘检 测电路221，电平检测电路222，和字幕确定电路223。
边缘检测电路221对存储图像的每个预定区域(图像区域)进行边 缘处理，检测边缘的锐度，把检测结果提供给字幕确定电路223。
电平检测电路222检测存储图像的每个预定图像区域(在边缘检 测电路221中经历边缘处理的图像区域)中的平均亮度的电平值。电平 检测电路222把检测结果提供给字幕确定电路223。
字幕确定电路223进行来自边缘检测电路221的边缘的锐度，和 来自电平检测电路222的电平值的阈值确定。字幕确定电路223确定 存储图像上，判断为具有均大于预定阈值的锐度和电平值的图像区域 是字幕。由于字幕通常具有高的锐度和高的电平值，因此通过对锐度 和电平值进行阔值确定，能够检测字幕。
字幕确定电路223从存储图像中获得判断为字幕的图像区域的 图像数据，和该图像区域的显示位置。字幕确定电路223把图像区域 的图像数据，和图像区域的显示位置提供给运动向量检测电路215。
在图21的这样构成的提取器件中，运动向量检测电路215检测 在提取电路214中提取的，判断为存储图像上的字幕的图像区域，和 输入图像上位于与该图像区域的显示位置对应的位置的图像区域之 间的运动向量。运动向量检测电路215把运动向量提供给移相电路 216。
顺便提及，这种情况下，假定已开始输入图像的输入，并且存储 图像保存在存储器213中。当输入新的输入图像的图像数据时，提取电路214利用参考图22描述的方法，从保存在存储器213中的存储 图像中，获得判断为字幕的图像区域的图像数据，和该图像区域的显 示位置。提取电路214把图像区域的图像数据，和该图像区域的显示 位置提供给运动向量检测电路215。
移相电路216才艮据来自运动向量检测电路215的运动向量，移动 保存在存储器213中的存储图像的相位，以致存储图像上判断为字幕 的图像区域的像素的相位(位置)，和输入图像上位于与该图像区域的 显示位置对应的位置的图像区域的像素的相位(位置)彼此相符。
从而，存储图像上未被判断为字幕的图像区域(例如，背景的一 部分)的像素的相位，和输入图像上与该图像区域对应的图像区域的像 素的相位彼此不相符。
移相电路216把移相的存储图像提供给合成电路212。
合成电路212按照方程式C=(l-a)A+aB合成来自延迟电路211 的输入图像的像素的像素值A，和来自移相电路216的移相的存储图 像的对应像素的像素值B，获得新的存储图像的像素的像素值C，并 把像素值C提供给存储器213。顺便提及，a是在0<a<l范围中的加 权因子。
即，输入图像和存储图像经历以像素为单位的加权加法，加法值 为成将保存在存储器中的新的存储图像的像素值。
存储器213保存(累积)来自合成电路212的存储图像。
随后，提取电路214从存储器213读取存储图像，从存储图像中 提取判断为字幕的图像区域，并把图像区域提供给运动向量检测电路 215。之后，重复类似的过程。
如上所述，图21的提取器件在存储图像上判断为字幕的图像区 域的像素的相位和输入图像上与该图像区域对应的图像区域的像素 的相位彼此相符，并且输入图像和存储图像上除字幕外的图像区域的 像素的相位彼此不相符的状态下，合成输入图像和存储图像。于是，
存储图像变成其中字幕区域被强调，其它区域被平均的图像。从而， 能够提取运动字幕。下面说明在图9等中的信号处理失真消除部分41中，从作为输 入数据的图像数据中除去由信号处理造成的失真的方法。
例如，类别分类适应处理可被用作消除由信号处理造成的失真的方法。
类别分类适应处理是一种把第一数据转换(映射)成不同于第一 数据的第二数据的技术。对于多种类別中的每一种，获得统计上使利 用第一数据和预定抽头系数的操作所获得的第二数据的预测值的预 测误差最小化的抽头系数，借助利用该抽头系数和第一数据的操作， 第 一数据被转换成第二数据(获得第二数据的预测值)。
把第一数据转换成第二数据的类别分类适应处理变成与笫一和 笫二数据的定义相应的各种信号处理。
具体地说，例如，当第一数据是低空间分辨率的图像数据，第二 数据是高空间分辨率的图像数据时，类别分类适应处理可被认为是改 进空间分辨率的空间分辨率创建(改进)处理。
另外，例如，当第一数据是低S/N(信号/噪声)的图像数据，第二 数据是高S/N的图像数据时，类别分类适应处理可被认为是消除噪声 的噪声消除处理。
此外，例如，当第一数据是具有预定数目的像素(大小)的图像数 据，第二数据是通过增大或降低第一数据的像素数目而获得的图像数 据时，类别分类适应处理可被认为是调整图像大小(放大或缩小)的调 整大小处理。
另夕卜，例如，当第一数据是低时间分辨率(低帧速率)的图像数据， 第二数据是高时间分辨率(高帧速率)的图像数据时，类别分类适应处 理可被认为是改进时间分辨率的时间分辨率创建(改进)处理。
此外，例如，当第一数据是通过对以块为单位，利用MPEG编 码等编码的图像数据解码而获得的解码图像数据，第二数据是编码前 的图像数据时，类别分类适应处理可被认为是消除各种失真，比如由 MEPG编码和解码等造成的块失真的失真消除处理。
顺便提及，在空间分辨率创建处理中，在把第一数据(低空间分辨率的图像数据)转换成第二数据(高空间分辨率的图像数据)时，第二 数据可以是和第一数据具有相同数目的像素的图像数据，或者可以是 比第 一数据具有更多数目的像素的图像数据。当第二数据是比第 一数 据具有更多数目的像素的图像数据时，空间分辨率创建处理是改进空 间分辨率，还是扩大图像尺寸(像素的数目)的调整大小处理。
如上所述，按照类别分类适应处理，根据第一和第二数据的定义， 能够实现各种信号处理。
如上所述的类别分类适应处理借助使用通过把形成第二数据的 多个样本中，所关注的关心样本(关心样本的样本值)类别分类到多种 类别之一中而获得的类似的抽头系数，和为关心样本选择的第一数据 的多个样本(多个样本的样本值)的操作，获得关心样本(关心样本的样
本值的预测值)。
具体地说，图23表示借助类别分类适应处理，把第一数据转换 成第二数据的转换器件的配置例子。
转换器件被供给第一数据。第一数据被提供给抽头选择部分302 和303。
关心样本选择部分301依次把形成第二数据的样本设为关心样 本，并把指示关心样本的信息提供给必要的部件。
抽头选择部分302选择形成第一数据的，用于预测关心样本(关 心样本的样本值)的 一 些样本(样本的样本值)作为预测抽头。
具体地说，抽头选择部分302选择第 一数据的空间或时间位置与 关心样本的位置接近的多个样本作为预测抽头。
例如，当第一和第二数据是图像数据时，空间或时间位置与作为 关心样本的像素接近的图像数据(第一数据)的多个像素(像素的像素
值)被选为预测抽头。 《
另外，例如，当第一和第二数据是音频数据时，时间位置与关心 样本接近的音频数据(第一数据)的多个样本(样本的样本值)被选为预 测抽头。
抽头选择部分303选择形成笫一数据的，用于进行把关心样本分类到多个预定类别之一的类别分类的多个样本作为类别抽头。即，抽
头选择部分303按照和抽头选择部分302选择预测抽头类似的方式选 择类别抽头。
顺便提及，预测抽头和类别抽头可具有相同的抽头结构(作为预 测抽头(类别抽头)的多个样本与作为基准的关心样本的位置关系)，或 者可具有不同的抽头结构。
在抽头选择部分302中获得的预测抽头被提供给预测操作部分 306,在抽头选择部分303中获得的类别抽头被提供给类别分类部分 304。
类别分类部分304根据来自抽头选择部分303的类别抽头，进行 关心样本的类别分类。类别分类部分304把与作为结果获得的类别对 应的类别代码提供给系数输出部分305 。
例如，ADRC(自适应动态范围编码)等可被用作进行类别分类的方法。
在使用ADRC的方法中，对形成类别抽头的样本(样本的样本值) 进行ADRC处理，按照通过ADRC处理获得的ADRC代码，确定关 心样本的类别。
顺便提及，在K-bitADRC中，检测形成类别抽头的样本的样本 值的最大值MAX和最小值MIN ， DR=MAX-MIN被设为集合的局部 动态范围，根据动态范围DR，形成类别抽头的每个样本的样本值被 重新量化成K比特。即，从形成类别抽头的每个样本的样本值中减去 最小值MIN，并用DR/2K去除(重新量化)减法值。
随后，通过按照预定顺序重新排列如上所述获得的，形成类别抽 头的样本的K比特样本值而得到的比特串作为ADRC代码被输出。 从而，当对类别抽头进行l比特ADRC处理时，形成类别抽头的每个 样本的样本值被除以最大值MAX和最小值MIN的平均值(小数部分 被舍弃)，从而，每个样本的样本值被转换成1比特(二进制化)。
随后，通过按照预定顺序排列1比特样本值而获得的比特串作为 ADRC代码被输出。顺便提及，例如，可使类别分类部分304原样输出形成类别抽头 的样本的样本值的电平分布模式作为类别代码。不过，这种情况下， 当类别抽头由N个样本的样本值形成，并且每个样本的样本值被分配 K比特时，就类别分类部分304输出的类别代码来说，模式的数目为 (2N)K，这是一个按指数规律正比于样本的样本值的比特数K的巨大数 字。
于是，可取的是类别分类部分304通过借助上述ADRC处理， 向量量化等，压缩类别抽头的信息量，即，形成类别抽头的多个样本 的样本值，进行类别分类。
系数输出部分305保存通过后面说明的学习而获得的每个类别 的抽头系数，另外输出保存的抽头系数之中，保存在与从类别分类部 分304供给的类别代码对应的地址的抽头系数(由从类别分类部分304 供给的类别代码指示的类别的抽头系数)。该抽头系数被提供给预测操 作部分306。
这种情况下，抽头系数对应于乘以在数字滤波器中的所谓抽头的 输入数据的系数。
预测操作部分306获得由抽头选择部分302输出的预测抽头，和 由系数输出部分305输出的抽头系数，并利用预测抽头和抽头系数进 行预定的预测操作，以获得关心样本的真值的预测值。从而，预测操 作部分106获得并输出关心样本的样本值(关心样本的样本值的预测 值)，即，形成第二数据的样本的样本值。
在这样构成的转换器件中，关心样本选择部分301选择形成与输 入转换器件的第一数据相对的第二数据的样本之中， 一直不是关心样 本的样本之一作为关心样本。
同时，抽头选择部分302和303分别从提供给它们的第 一数据中， 选择将被设为用于关心样本的预测抽头和类别抽头的样本。预测抽头 从抽头选择部分302被提供给预测操作部分306。类别抽头从抽头选 择部分303被提供给类别分类部分304。
类别分类部分304从抽头选择部分303接收用于关心样本的类别抽头，并根据类别抽头进行关心样本的类别分类。此外，类别分类部
分304把指示通过类别分类获得的关心样本的类别的类别代码提供给 系数输出部分305。
系数输出部分305获得保存在与从类别分类部分304供给的类别 代码对应的地址的抽头系数。系数输出部分305把该抽头系数提供给 预测操作部分306。
预测操作部分306利用由抽头选择部分302输出的预测抽头，和 来自系数输出部分305的抽头系数，进行预定的预测操作。从而，预 测操作部分306获得并输出关心样本的样本值。
关心样本选择部分301选择形成与输入转换器件的第一数据相 对的第二数据的样本之中， 一直不是关心样本的样本之一作为新的关 心样本。之后，重复相似的过程。
下面说明图23中的预测操作部分306中的预测操作，和保存在 系数输出部分305中的抽头系数的学习。
顺便提及，这种情况下，假定图像数据被用作第一和第二数据。
下面考虑这样一种情况，其中高图像质量的图像数据(高图像质 量图像数据)被设为第二数据，低图像质量的图像数据(低图像质量图 像数据)，它是通过用LPF(低通滤波器)过滤高图像质量图像数据得到 的图像质量(分辨率)降低的图像数据，被设为第一数据，从低图像质 量图像数据中选择预测抽头，并利用预测抽头和抽头系数，借助预定 的预测操作获得(预测)高图像质量图像数据的像素(高图像质量像素) 的像素值。
假定线性一次预测操作被用作预定的预测操作，利用下面的线性 一次方程式获得高图像质量像素的像素值y。 [方程式1 ]
<formula>formula see original document page 50</formula>...(i)
在方程式(l)中，Xn表示低图像质量图像数据的第n像素(下面酌
情把该^f象素我为低图像质量像素)(该像素构成高图像质量像素y的预 测抽头)的像素值，Wn表示乘以第n个低图像质量像素(该低图像质量像素的像素值)的第n抽头系数。顺便提及，在方程式(l)中，预测抽 头由N个低图像质量像素x15 Xl， ...， xjs构成。
这种情况下，通过二次或更高次的高次方程式，而不是方程式(l) 中所示的线性一次方程式也可获得高图像质量像素的像素值y。
当作为第k像素的高图像质量像素的像素值的真值表示为yk， 由方程式(l)获得的真值yk的预测值表示为yk，时，预测误差ek由下面 的方程式表示。
^ ... (2)
按照方程式(l)获得方程式(2)中的预测值yk'。于是，当按照方程 式(1)替换方程式(2)中的yk'时，荻得下面的方程式。 [方程式3 ]
<formula>formula see original document page 51</formula>
在方程式(3)中，Xn，k表示形成作为第k像素的高图像质量像素的
预测抽头的第n低图像质量像素。
使方程式(3)(或方程式(2))中的预测误差ek为零的抽头系数Wn是 预测高图像质量像素的最佳值。不过，通常难以对所有高图像质量像
素都获得这样的抽头系数Wn。
因此，假定最小二乘法被用作表明抽头系数Wn是最佳值的标准，
通过使由下面的方程式表示的平方误差的总和E最小化，能够获得最
佳的抽头系数Wn。 [方程式4 ]
<formula>formula see original document page 51</formula>
在方程式(4)中，K表示高图像质量像素yk，和构成该高图像质 量像素yk的预测抽头的低图像质量像素Xi，k， Xl，k，…，XN，k的集合的 像素数目(学习用像素的数目)。
方程式(4)中的平方误差的总和E的最小值(极小值)由使总和E相对于抽头系数Wn的偏微分的结果为0的Wn给出，如方程式(5)中所 示。
犯 3e, 3e2 n
-=e, ~L" + e2 ~^ +…+ ~^ = 0
5w 5w 5w 5v^
(n^l, 2, …N)... (5)
因此，当相对于抽头系数Wn，对上面的方程式(3)进行偏微分时， 获得下面的方程式。
-. = 一义i a ， ' '= —乂2 a ， * ， "3^= 一X
^v， ' 5vv7 '
w'Jfc:
(lc=l, 2,…，K)…(6〉
^L据方程式(5)和(6)，获得下面的方程式。 [方程式7]
》J" =0,》tjc2,* =0,'-》 =0
(7)
通过关于ek的方程式(3)代入方程式(7)，方程式(7)可^皮表示成方 程式(8)中所示的正规方程。 [方程式8 ]
7 k 人
"， ，
、"1
>1
/《
-Jt='
W2 、WW
乂乂
k 人人
、*=1 〃
...(8)
通过利用扫出法(Gauss-Jordan消元法)等等，能够关于抽头系数 Wn求解方程式(8)的正规方程。
通过关于每种类别建立和求解方程式(8)的正规方程，对于每种 类别能够获得最佳的抽头系数(这种情况下，使平方误差的总和E最
小化的抽头系数)Wn。
对于抽头系数的学习来说，准备大量的与第一数据(在上述情况 下，低图像质量图像数据)对应的学生数据，和与第二数据(在上述情况下，高图像质量图像数据)对应的老师数据，通过使用学生数据和老 师数据，进行抽头系数的学习。
随后，图23中的系数输出部分305保存由抽头系数的学习获得 的每种类别的抽头系数。
取决于与第一数据对应的学生数据和与第二数据对应的老师数 据的选择方法，能够获得用于进行如上所述的各种信号处理的抽头系 数，作为所述抽头系数。
具体地说，如上所述，通过借助设为与第二数据对应的老师数据 的高图像质量图像数据，和通过降低高图像质量图像数据的空间分辨 率而获得的，设为对应于第一数据的学生数据的低图像质量图像数 据，学习抽头系数，能够获得用于进行空间分辨率创建处理的抽头系 数，作为所述抽头系数，所述空间分辨率创建处理把作为低图像质量 图像数据(SD(标准清晰度)图像)的第 一数据转换成作为通过改进低图 像质量图像数据的空间分辨率而获得的高图像质量图像数据(HD(高 清晰度)图像数据)的第二数据。
顺便提及，这种情况下，第一数据(学生数据)可以具有和第二数 据(老师数据)相同的像素数目，或者可以具有比第二数据(老师数据) 少的像素数目。
另外，例如，通过在把高图像质量图像数据设为老师数据，把通 过将噪声叠加在设为老师数据的高图像质量图像数据上而获得图像 数据设为学生数据的情况下学习抽头系数，能够获得进行噪声消除处 理的抽头系数，作为所述抽头系数，所述噪声消除处理把第一数据(低 S/N图像数据)转换成第二数据(通过消除(减少)包括在低S/N图像数据 中的噪声而获得的高S/N图像数据)。
此外，例如，通过在把一些图像数据设为老师数据，把通过离散 地减小作为老师数据的图像数据的像素数目而获得的图像数据设为 学生数据的情况下学习抽头系数，能够获得进行放大处理(调整大小处 理)的抽头系数，作为所述抽头系数，所述放大处理(调整大小处理)把 第一数据(一部分的图像数据)转换成第二数据(通过放大第一数据而获得的放大图像数据)。
另外，例如，通过在把高帧速率的图像数据设为老师数据，把通 过离散地减小作为老师数据的高帧速率图像数据的帧数而获得的图 像数据设为学生数据的情况下学习抽头系数，能够获得进行时间分辨 率创建处理的抽头系数，作为所述抽头系数，所述时间分辨率创建处 理把第 一数据(预定帧速率的图像数据)转换成第二数据(高帧速率的 图像数据)。
顺便提及，例如，通过在把高帧速率的高图像质量图像数据设为 老师数据，把通过离散地减少每帧老师数据的像素，和老师数据的帧 数而获得的低帧速率的低图像质量图像数据设为学生数据的情况下 学习抽头系数，能够获得进行空间方向和时间方向的分辨率创建处理 的抽头系数，作为所述抽头系数，所述空间方向和时间方向的分辨率 创建处理把第一数据(预定帧速率的低图像质量图像数据)转换成第二 数据(高帧速率的高图像质量图像数据)。
此外，例如，通过把MPEG编码之前的图像数据设为老师数据， 把通过MPEG编码的图像数据的MPEG解码而获得的解码图像数据 设为学生数据的情况下学习抽头系数，能够获得进行失真消除处理的 抽头系数，作为所述抽头系数，所述失真消除处理把第一数据(由 MPEG编码和MPEG解码获得的包括块失真等的解码图像数据)转换 成第二数据(没有块失真等的图像数据)。
另外，例如，通过在把没有由像差等造成的失真的图像数据设为 老师数据，把通过使老师数据失真而获得的图像数据设为学生数据的 情况下学习抽头系数，能够获得进行光学失真消除处理的抽头系数， 作为所述抽头系数，所述光学失真消除处理消除光学失真，并把第一 数据(包括失真的图像数据)转换成第二数据(没有失真的图像数据)。
此外，例如，通过在把具有高采样速率的音频数据设为老师数据， 把通过离散减少老师数据的样本而获得的低采样速率的音频数据设 为学生数据的情况下学习抽头系数，能够获得进行时间分辨率创建处 理的抽头系数，作为所述抽头系数，所述时间分辨率创建处理把第一数据(低采样速率的音频数据)转换成第二数据(高采样速率的音频数 据)。
从图像数据(图9等中的信号处理失真消除部分41中的输入数据) 中除去由信号处理造成的失真的处理可由如上所述的类別分类适应 处理实现。
具体地说，例如，通过在把在信号处理部分27(图5)中的信号处 理之前的图像数据设为老师数据，把通过使老师数据经过信号处理部 分27中的信号处理而获得的图像数据设为学生数据的情况下学习抽 头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类适 应处理。从而，能够从作为输入数据的图像数据中除去由信号处理造 成的失真。
具体地说，利用在日本专利特"H^/^开No.2001-320587中描述的 技术，能够进行从作为输入数据的图像数据中除去由信号处理造成的 失真的处理。
日本专利特许/>开No.2001-320587描述一种利用由在把MEPG 编码之前的图像设为老师数据，把通过对该图像进行MPEG编码而 获得的MPEG编码数据设为学生数据的情况下进行的学习获得的抽 头系数，进行类别分类适应处理的技术。
下面说明在图9等的时空分辨率创建部分42中，改进作为输入 数据的图像数据的时空方向的分辨率的方法。
图9等的时空分辨率创建部分42中，改进作为输入数据的图像 数据的时空方向的分辨率的处理可由上面说明的类别分类适应处理 实现。
具体地说，例如，通过在时间方向和空间方向高分辨率的图像数 据被设为老师数据，通过降低老师数据的时间方向和空间方向的分辨 率而获得的图像数据被设为学生数据的情况下学习抽头系数，获得每 个类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而， 能够改进作为输入数据的图像数据的时空方向的分辨率。
具体地说，通过利用在日本专利特^H^开No.2005-260928中描述的技术，能够实现改进作为输入数据的图像数据的时空方向的分辨 率的处理。
日本专利特许/>开No.2005-260928描述一种利用由在高分辨率 的图像被设为老师数据，低分辨率的图像数据被设为学生数据的情况 下进行的学习获得的抽头系数，进行类别分类适应处理的技术。
顺便提及，通过改进时空方向的分辨率，时空分辨率创建部分 42还能够消除因手的移动而造成的运动模糊，和由散焦状态造成的焦 点模糊等等。另外，利用在日本专利特许公开No.2005-063097中描述 的技术，能够实现模糊消除。
日本专利特许/>开No.2005-063097描述一种假定无模糊图像的 像素值的矩阵A和符合高斯分布的系数的矩阵W的乘积是模糊图像 的像素值的列向量B，即，方程式B-WA成立，对除边缘部分的像素 之外的像素应用无模糊图像的相邻像素值之间的差值为零的条件，获 得矩阵W的逆矩阵W-1，计算模糊图像B和系数W"的乘积A-W"B， 从而获得无模糊图像A的技术。
下面说明在图9等中的光学失真消除部分43中，从作为输入数 据的图像数据中消除由光学系统22造成的失真(例如，由光学系统22 的像差等造成的图像失真)的方法。
在图9等中的光学失真消除部分43中，从作为输入数据的图像 数据中消除由光学系统22造成的失真(光学失真)的处理可由上面说 明的类别分类适应处理实现。
具体地说，例如，通过在无光学失真的图像数据被设为老师数据， 通过对老师数据造成光学失真而获得的图像数据被设为学生数据的 情况下学习抽头系数，获得每个类别的抽头系数，利用该抽头系数进 行类别分类适应处理。从而，能够从作为输入数据的图像数据中消除 光学失真。
具体地说，通过利用在WO00/56075 Pamphlet中描述的技术， 能够实现从作为输入数据的图像数据中消除光学失真的处理。
WO00/56075 Pamphlet描述一种利用由在失真图像被设为学生数据，无失真的图像被设为老师数据的情况下进行的学习获得的抽头 系数，进行类别分类适应处理的技术。
顺便提及，由图9等中的图像拾取器件失真消除部件32中的信 号处理失真消除部分41，时空分辨率创建部分42，和光学失真消除 部分43进行的处理可集体由类别分类适应处理实现。
具体地说，例如，通过在时间方向和空间方向高分辨率的图像数 据被设为老师数据，通过对老师数据造成光学失真，降低老师数据的 时间方向和空间方向的分辨率，和对老师数据进行信号处理而获得的 图像数据被设为学生数据的情况下学习抽头系数，获得每种类别的抽 头系数，并利用该抽头系数，进行类别分类适应处理。从而，能够集 体实现由信号处理失真消除部分41，时空分辨率创建部分42，和光 学失真消除部分43进行的处理。
下面说明在图9等中的图像拾取器件操作检测部分51中，从作 为输入数据的图像数据中检测图像拾取器件21(图5)相对于第一对象 的相对操作，即，例如图像拾取器件21的诸如摇摄、俯仰、缩放之 类操作的方法。
在日本专利特许/>开No.Hei 06-165014和日本专利特许ziS开 No.Hei 05-328201中描述的技术可被用作检测图像拾取器件21的摇 摄、俯仰或缩放操作的方法。
日本专利特许公开No.Hei 06-165014描述一种对基准图像和通 过放大基准图像而获得的放大图像进行以多个放大率放大基准图像 的线性插值，获得由所述线性插值得到的插值图 <象与放大图像之间的 相关系数，并获得相关系数最大的放大率作为放大图像的放大率的技 术。
另夕卜，日本专利特许公开No.Hei 05-328201描述一种检测一个屏 幕的运动向量，保存多个屏幕的运动向量，当存在除运动的开始之外 的统一运动，在运动开始时存在均匀加速的运动，和运动的方向被固 定时，确定发生了诸如摇摄、俯仰之类有意的摄像机操作(移动)，否 则确定发生了手的移动，并校正手的移动的技术。图24表示利用在日本专利特许公开No.Hei 06-165014中描述的 技术，检测缩放操作的检测器件的配置例子。
在图24中，检测器件包括帧耦合器401和402,线性插值功能 部分403，相关系数计算部分404,和放大率设定功能部分405。
帧存储器401被供给紧接在场景变化之后的一帧图像数据，该图 像数据包括在作为输入数据的图像数据中。帧存储器401把提供给它 的图像数据保存为基准图像数据。
另一方面，帧存储器402被顺序供给在供给帧存储器401的帧之 后的一帧图像数据。帧存储器402把提供给它的图像数据保存为由以 预定放大率放大基准图像数据而产生的放大图像数据。
这种情况下，假定放大率不仅可以采取等于或大于1的放大倍数 值，而且可以采取小于1的放大倍数值。当放大率小于为l的放大倍 数时，放大图像数据是通过以小于1的放大倍数放大基准图像数据而 获得的图像数据，即，通过减少基准图像数据而获得的图像数椐。
当在基准图像数据被保存在帧存储器401中之后，新的放大图像 数据被保存在帧存储器402中时，放大率设定功能部分405把保存在 帧存储器402中的放大图像数据设为关心的图像数据，为关心的图像 数据选择多个预定放大率之一(该放大率一直不是关心的放大率)作为 关心的放大率，并把关心的放大率提供给线性插值功能部分403。
线性插值功能部分403进行线性插值，所述线性插值按照由来自 放大率设定功能部分405的关心放大率指示的放大倍数值，放大保存 在帧存储器401中的基准图像数据(当关心的放大率指示的数值小于l 时，离散地减少基准图像数据)。线性插值功能部分403把作为结果获 得的插值图像数据提供给相关系数计算部分404 。
对于关心的放大率，相关系数计算部分404获得来自线性插值功 能部分403的插值图像数据和保存在帧存储器402中的关心图像数据 之间的相关系数，即，通过把插值图像数据的像素值和关心图像数据 的像素值的协方差除以插值图像数据的像素值的标准偏差和关心图 像数据的像素值的标准偏差的乘积而获得的值。相关系数计算部分404把相关系数提供给放大率设定功能部分405。
这种情况下，线性插值功能部分403在移动插值图像数据和关心 图像数据的像素的位置(酌情使所述像素彼此对应)的时候，获得相关 系数并采用作为结果获得的多个相关系数中值最大的相关系数作为 关心的放大率的相关系数。
在放大率设定功能部分405选择选择所有多个预定放大率作为 关心的放大率，并且通过对于所有多个放大率进行线性插值功能部分 403和相关系数计算部分404中的处理，从相关系数计算部分404把
后，放大率设定功能部分405从所有多个放大率的相关系数中检测值 最大的相关系数，并确定和输出与该相关系数对应的放大率，作为关 心图像数据的放大率(基准图像数据的放大率)。
之后，每次新的图像数据被保存在帧存储器402中时，该新的图
像数据被设为关心图像数据，并重复类似的过程。
下面，图25表示利用在日本专利特许公开No.Hd 05-328201中 描述的技术，检测诸如摇摄、俯仰之类有意的摄像机操作(移动)的检 测器件的配置例子。
在图25中，检测器件包括运动向量估计部分421，向量存储器 422，和确定部分423。
运动向量估计部分421被供给作为输入数据的图像数据。对于供 给运动向量估计部分421的图像数据的每一帧(场)，运动向量估计部 分421检测整个帧(整个屏幕)的运动向量。运动向量估计部分421把 运动向量提供给向量存储器422。
向量存储器422保存从运动向量估计部分421供给的数帧到数十 帧的运动向量。
确定部分423根据保存在向量存储器422中的过去的数帧到数十 帧中的多帧的运动向量，确定是否进行了诸如摇摄、俯仰之类有意的 摄像机操作。确定部分423输出确定结果。
具体地说，例如，当运动向量指示的运动是除运动的开始之外的统一运动，运动的开始是均匀加速的运动，和运动的方向被固定时，
确定部分423确定进行了诸如摇摄、俯仰之类有意的摄像机操作。否 则，确定部分423确定未进行有意的摄像机操作。确定部分423输出 确定结果。
下面说明图9等中的图像拾取器件操作补偿部分52中，在用由 来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器件1 的操作补偿的同时，通过把作为输入数据的图像数据增加到存储部分 53中，产生代表在图像拾取器件21拾取第一对象的图像之前的第一 对象的第一对象图像数据的方法。
例如，在日本专利特许公开No. Hei 07-038858,日本专利特许公 开No. Hei 07-046533和日本专利特许7>开No. Hei 11-164264中描述 的技术可被用作通过把图像数据增加到存储部分53中，产生代表在 图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图 像数据的方法。
日本专利特许/>开No. Hei 07-038858和日本专利特许公开No. Hei 07-046533描述一种利用第k帧图像数据的像素Z(k)和权重a，按 照方程式X(k)=(l-a)X(k-l)+aZ(k)，获得第k帧的背景图像X(k)的技 术。
另外，日本专利特许/>开No. Hei 11-164264描述一种通过检测. 整个屏幕的移动，并在由所述移动移位的位置写入像素，产生高分辨 率图像的技术。
图26表示利用在日本专利特许^^开No. Hei 07-038858，日本专 利特许^>开No. Hei 07-046533和日本专利特许公开No. Hei 11-164264中描述的技术，通过添加图像数据，产生代表在图像拾取 器件21拾取第一对象的图像之前的第一对象的第一对象图像数据的 产生器件的配置例子。
在图26中，产生器件包括帧存储器部分511，运动检测部分512， 场景变化检测部分513，控制器514，和存储器部分515。
顺便提及，这种情况下，为了简化说明，假定作为输入数据的图像数据被输入产生器件，所述图像数据的整个屏幕产生同样的移动，所述图像数据是通过摇摄或俯仰摄像机(图像拾取器件21)，拾取风景 等的图像而获得的。帧存储器部分511被供给作为输入数据的图像数据，帧存储器 511保存连续两帧的图像数据。具体地说，帧存储器511具有当前帧 存储器511A和在先帧存储器511B。当前帧存储器511A保存现在输 入的当前帧，在先帧存储器511B保存在当前帧之前输入的前一帧(于 是，所述前一帧被保存在当前帧存储器511A中， 一直到当前帧被提 供给当前帧存储器511A为止)。运动检测部分512查阅帧存储器部分511，检测指示当前帧相对 于在先帧的移动的运动向量，并把该运动向量提供给控制器514。顺 便提及，如上所述，这种情况下，其整个屏幕产生同样移动的图像数 据被输入，于是，对于整个屏幕(一帧)检测一个运动向量。另外，这 种情况下，运动检测部分512检测7K平方向和垂直方向的，以比构成 图像数据的像素更小的单位构成运动向量的分量中，在移动的垂直方 向上的分量。场景变化检测部分513通过查阅帧存储器部分511，检测场景变 化。当场景变化检测部分513检测到从在先帧到当前帧的场景变化时， 场景变化检测部分513把关于此的信息输出给控制器514。控制器514根据来自运动检测部分512的运动向量，控制存储器 部分515中的写入地址和读取地址。另外，当控制器514从场景变化 检测部分513收到指示场景变化的信息时，控制器514重置存储器部 分515中的写入地址和读取地址，并把存储器部分515中的存储值清 除为预定初始值。存储器部分515由存储容量充分高于一帧图像数据的存储器或 类似物构成。在控制器514的控制下，存储器部分515保存存储在帧 存储器部分511的当前帧存储器511A中的当前帧的图像数据，并读 取和输出保存的图像数据。图27示意表示图26中的存储器部分515的配置例子。例如，如图27中所示，存储器部分515具有分别保存水平方向(水 平扫描线的方向)的PH'像素的像素值，和垂直方向的PV'像素的像素 值的存储容量。顺便提及，设PH或PV是水平方向或垂直方向的构成图像数据 的像素的数目，这种情况下，PH' PH， PV' PV。另外，至于存储器部分515的地址，定义绝对地址和相对地址。 例如，在存储器部分515中的最上侧和最左侧的存储区被设为原点 (O，O)，并且水平方向和垂直方向分别械z没为x轴和y轴的情况下，顺 序给出绝对地址。从而，作为从左侧起第(i+l)绝对地址和从上侧起第 (j+l)绝对地址的绝对地址是(i，j)。图28是帮助说明存储器部分515的相对地址的示图。相对地址是以由相对地址指针指示的绝对地址作为原点的地址， 如图28中所示。作为从相对地址指针的左侧起的第(i+l)相对地址， 和从上侧起的第(j+l)相对地址的相对地址被表示成(i，j)。相对地址指针由控制器514控制。在以相对地址指针作为最左侧 和最上侧的点的情况下，在PHx4PV像素的范围(由图28中的虛线所示的部分)(下面将酌情把该范围称为存取范围)中把图像数据写入存 储器部分515,和从存储器部分515读取图像数据。这种情况下，如上所述，在存取范围中把图像数据写入存储器部 分515，这种情况下，存取范围的大小是PHx4PV像素的范围。于是， 在存取范围的水平方向，只能写入数目与水平方向的像素(该像素构成 作为输入数据的图像数据)的数目相同的像素，而在存取范围的垂直方 向，能够写入数目四倍于垂直方向的像素(该像素构成作为输入数据的 图像数据)的数目的像素。从而，通过在存取范围的垂直方向，允许写入数目四倍于垂直方向的像素(该像素构成作为输入数据的图像数据)的数目的像素，对作 为输入数据的图像数据的每一帧，采用在与小于图像数据的像素的运 动对应的位置的新像素，从而能够形成(创建)垂直方向的像素数目(水 平扫描线的数目)增大的空间方向分辨率高的图像。具体地说，图29是帮助说明把一帧图像数据写入存取范围的示图。如图29中的阴影所示，把一帧图像数据写入存取范围是从由水 平方向的相对地址指针指示的地址开始顺序进行的，并且是从由垂直 方向的相对地址指针指示的地址开始每隔三行进行的。于是，图像数据中一个像素沿垂直方向的移动对应于存取范围中 的四个像素。从而，可以认为像素位于与以图像数据中的像素的1/4 为单位的垂直方向移动对应的位置。即，通过仅仅关注垂直方向，能 够按照图像数据的移动，以比一个像素更小的单位(这种情况下，以构 成图像数据的像素之间的距离的1/4为单位)移动存取范围。当在这样 的存取范围中每隔三行写入图像数据时，垂直方向上彼此相邻的像素 之间的空间被填充，能够获得垂直方向4倍分辨率的图像。下面说明图26的产生器件的操作。作为输入数据的图像数据被供给帧存储器部分511，并被保存在 当前帧存储器511A中。随后，当供给下一帧的图像数据时，该图像 数据作为当前帧被保存在当前帧存储器511A中，到目前为止保存在 当前帧存储器511A中的图像数据作为在先帧被提供给在先帧存储器 511B,以便保存在在先帧存储器511B中。之后，在帧存储器部分511 中重复类似的过程。当第一帧被保存在帧存储器部分511的当前帧存储器511A中 时，场景变化检测部分513按照和场景变化的检测类似的方式检测第 一帧被保存在当前帧存储器511A中。场景变化检测部分513通知控 制器514已发生场景变化。这种情况下，当第一帧被保存在当前帧存储器511A中时，还没 有图像数据被保存在在先帧存储器511B中，以致当前帧存储器511A 和在先帧存储器511B之间的差值的绝对值之和较大，从而，场景变 化检测部分513检测到场景变化。不过，这种情况下，不存在任何问 题，因为不必区分场景变化和第一帧在当前帧存储器511A中的存储。当控制器514接收来自场景变化检测部分513的场景变化(不过，如上所述，实际上是第一帧在当前帧存储器511A中的存储，而不是 场景变化)时，控制器514重置存储器部分515。具体地说，相对地址 指针被移动到绝对地址的原点(O，O)，存储器部分515中的所有存储值 被清除为预定的初始值。之后，保存在当前帧存储器511A中的图像数据被提供给存储器 部分515，并被写入存储器部分515。图像数据的写入是在存取范围 内进行的，是在垂直方向上每隔三个像素(间隔三个像素)进行的，如 上所述。顺便提及，当图像数据被写入存储器部分515中时的地址控 制是由控制器514实现的。当下一帧被提供给帧存储器部分511时，场景变化检测部分513 确定是否发生了场景变化。当确定发生了场景变化时，场景变化检测 部分513把指示发生了场景变化的信息输出给控制器514。之后，进 行和上述情况下的过程类似的过程。另一方面，当确定未发生场景变化时，运动检测部分512检测运 动向量。顺便提及，这种情况下，以比一行的间隔短的单位沿垂直方 向检测运动向量，如上所述。在运动检测部分512中检测的运动向量 被提供给控制器514。当控制器514收到运动向量时，控制器514把 相对地址指针移动与运动向量对应的量。这种情况下，相对地址指针在水平方向上被移动与运动向量的水 平方向分量相同的像素数目，不过在垂直方向上被移动与通过四舍五 入四倍于运动向量的垂直方向分量的值而获得的数相同的像素数目。 这是因为存取范围具有与垂直方向上图像数据的像素数目的四倍对 应的存储容量。在相对地址指针被移动之后，保存在当前帧存储器511A中的图 像数据(从中检测运动向量的图像)被提供给存储器部分515。随后， 该图像数据被添加到存取范围内的每个第四行中。即，通过把保存在当前帧存储器511A中的图像数据的某一像素 设为关心像素，设A为关心像素的像素值，设B为保存在存储器部分 515的存取范围中与关心像素对应的地址的像素值，依据按照方程式C-(l-a)B+aA的加权加法，存储器部分515获得新的像素值C，其中 a是值在0<a<l范围中的权重。以重写的形式把新的像素值C写入与 关心像素对应的地址。之后，当下一帧被提供给帧存储器部分511时，重复类似的过程。如上所述，作为输入数据的图像数据被添加(经过加权加法)到存 储器部分515中。从而，当与作为输入数据的图像数据对应的图像包 括诸如风景之类的固定第一对象，诸如移动字幕之类的第二对象，和 诸如人物之类的移动第三对象时，移动的第二和第三对象的图像数据 逐渐被擦除(消除)。从而，保存在存储器部分515中的图像数据变成 只是固定的第一对象的图像数据。此外，由于在按照运动向量移动相对地址指针的时候，进行所述 添加，因此保存在存储器部分515中的图像数据是角度比一帧图像数 据更宽的图像数据，即，代表与如实再现真实世界的图像(真实世界图 像)更接近的图像的图像数据。顺便提及，尽管存储器部分515包含垂直方向高分辨率的图像数 据，其分辨率为作为输入数据的图像数据的分辨率的四倍，如上所述， 不过也可类似地获得水平方向高分辨率的图像数据。还可获得在水平方向和垂直方向，分辨率都与作为输入数据的图 像数据的分辨率相同的图像。下面说明在图12中的前景;f莫糊消除处理部分55中，在假定包括 在输入数据中的第三对象的像素的像素值是通过在移动无运动模糊 的相应像素的像素值的时候，沿时间方向求无运动模糊的相应像素的 像素值的积分而获得的值的情况下，利用输入数据和保存在存储部分 53中的第一对象图像数据产生其运动模糊被减小的第三对象图像数 据的方法。在日本专利特许公开No.2001-250119中描述的技术可被用作在 假定包括在输入数据中的第三对象的像素的像素值是通过在移动无 运动模糊的相应像素的像素值的时候，沿时间方向求无运动模糊的相 应像素的像素值的积分而获得的值的情况下，产生其运动模糊被减小的第三对象图像数据的方法。日本专利特许/>开No.2001-250119描述一种通过在假定拾取图 像的像素值是通过在移动无运动模糊的像素的像素值的时候，沿时间 方向求无运动模糊的像素的像素值的积分而获得的值的情况下，获得 无运动模糊的像素值(真实世界图像)的技术。下面参考图30-32说明利用在日本专利特许公开No.2001-250119 中描述的技术，产生其运动模糊被减小的图像数据的方法。图30表示作为背景的固定对象B和作为前景的移动对象A。顺便提及，在图30(对后面说明的图31和图32来说同样如此) 中，bi(i-l，2，…，9，a，b，c，d，e，f(a到f表示十六进制数))表示对象B的真实 世界图像的像素的像素值， (〗=1,2，...，6)表示对象A的真实世界图像 (如实再现真实世界的图像)的像素的像素值。在图30中，移动对象A存在于固定对象B和图中未示出的近侧 的摄像机(对应于图像拾取器件21)之间。当摄像机拾取固定对象B和在跟前移动的对象A的图像时，持 续预定曝光时间T入射的光线在摄像机中经历光电转换，与光的数量 (光量)对应的像素值被输出。这种情况下，假定摄像机中进行光电转换的光电转换元件的像素 的大小与真实世界图像的像素的大小相符，那么摄像机的图像拾取可用其中摄像机输出的像素值是依据曝光时间T，求真实世界图像的像 素的像素值的积分而获得的值的模型(下面该模型将被称为图像拾取 模型)表示。具体地说，图31表示在膝光时间T内，以恒定速度沿水平方向 (x-方向)移动四个像素的对象A的状态。设^是在曝光时间T内，对象A开始移动的时间，设ts是结束 移动的时间，t2， h和"是从开始移动的时间t起，按照间隔的递增 顺序把从时间^到时间ts的时间分成四等份的三个相应时间，在时间 tk(k=l，2，3， 4,5)，对象A位于从初始位置(对象A在时间^的位置)沿 水平方向移动(k-l)个像素的位置。这种情况下，图像拾取模型中，由摄像机输出的像素值如图32 中所示。具体地说，图32表示图像拾取模型中，由摄像机输出的像素值假定具有对象B的真实世界图像的像素值bi的像素的位置(水平 方向)由Xo+i指示(以预定位置X。作为基准)，并且位于位置X。+i的像 素被表示成像素Xn+i，那么在曝光时间T的每个时间trt5，在位置 X0+l只看到对象B的真实世界图像的像素值bn于是，摄像机输出 的像素X。+l的像素值yi为像素值！^。类似地，在曝光时间T的每个时间tHs，在位置X。+2只看到对 象B的真实世界图像的像素值b2，于是，摄像机输出的像素X。+2的 像素值y2为像素值b2。在位置X。+3，在曝光时间T的时间^，看到对象A的真实世界 图像的像素值a^在随后的时间trts,看到对象B的真实世界图像的 像素值b3。于是，摄像机输出的像素XQ+3的像素值y3是通过持续1/5 曝光时间T(在该段时间内，看到对象A的像素值aO求像素值ai的积 分，并持续4/5曝光时间T(在该段时间内，看到对象B的像素值b3) 求像素值b3的积分而获得的像素值(l/5xa0+(4/5xb3)。之后，能够类似地获得摄傳j几输出的像素值yi。， 从而，存在三种情况，即，摄像机输出的像素值yi与对象B的 真实世界图像的像素值bi相符的情况，摄像机输出的像素值yi是通过 按照对象A的移动，混合对象A的真实世界图像的一个像素值aj和 对象B的真实世界图像的像素值bi而获得的值的情况，和摄像机输出 的像素值yi是通过按照对象A的移动，混合对象A的真实世界图像 的一个或多个像素值&而获得的值的情况。在由摄像机输出的像素值yi构成的图像(下面酌情把该图像称为 拾取图像)中，与对象B的真实世界图像的像素值bi相符的像素值yi 的区域被称为背景区域，在由摄像机输出的像素值yi构成的图像中， 通过混合对象A的真实世界图像的一个或多个像素值aj而获得的像素值yi的区域被称为前景区域。另外，通过混合对象A的真实世界图像的一个或多个像素值aj 和对象B的真实世界图像的像素值bj而获得的像素值yi的区域被称 为混合区域。一般来说，作为前景的对象A的真实世界图像的像素值常常是 相互接近的值，作为背景的对象B的真实世界图像的像素值也常常是 相互接近的值。另一方面，作为前景的对象A的真实世界图像的像素值和作为 背景的对象B的真实世界图像的像素值通常不是相互接近的值(是彼 此大不相同的值)。从而，作为通过混合对象A的真实世界图像的一个或多个像素 值 和对象B的真实世界图像的像素值bi而获得的像素值yi的区域 的混合区域是视为具有运动模糊的区域。在图32的图像拾取模型中，关注作为前景的对象A，通过拾取 对象A的图像而获得的拾取图像的像素值yi，即，受对象A的真实世 界图像的像素值aj影响的像素值y3-ye是通过在移动像素值aj的时候， 求真实世界图像的像素值ap即，无运动模糊的像素的像素值aj的积 分而获得的值。像素值y3-yc由方程式(9)表述。<formula>formula see original document page 69</formula>于是，当已知对象B的真实世界图像的像素值bj时，通过借助 最小二乘法或类似方法求解方程式(9)，能够获得对象A的真实世界图 像的像素值aj，即，无运动模糊(其运动模糊被减小)的像素值aj。从 而，能够从拾取图像中分离出(创建)作为前景的无运动模糊的对象A 的图像。图12中的前景模糊消除处理部分55利用作为输入数据的图像数 据(对应于拾取图像)，和保存在存储部分53中的第 一对象图像数据(对 应于作为背景的对象B的真实世界图像)，根据上述图像拾取模型， 创建其运动模糊被减小的第三对象图像数据(对应于作为前景的对象 A的真实世界图像)。下面说明图19等中的第二音频数据检测部分136中，从作为输 入数据的音频数据中检测第二音频数据(BGM的音频数据)的方法。例如，在日本专利特许/〉开No.2005-233984中描述的技术可,皮 用作检测BGM的音频数据的方法。日本专利特许公开No.2005-233984描述一种通过使用通过人的话音的滤波器，或者通过BGM等，而不是人的话音的滤波器，分离 话音或BGM的技术。图33表示利用在日本专利特许7>开No.2005-233984中描述的技 术，检测BGM的音频数据的检测器件的配置例子。在图33中，该检测器件由滤波器601构成。在滤波器601中设定预定的滤波器系数。从而，滤波器601起通 过BGM等，而不是人的话音的滤波器的作用。下面说明在图19等中的信号处理失真消除部分141中，从作为 输入数据的音频数据中除去由信号处理造成的失真的方法。图19等中的信号处理失真消除部分141中，从作为输入数据的 音频数据中除去由信号处理造成的失真的处理可由上面说明的类别 分类适应处理实现。具体地说，例如，通过在把在信号处理部分127(图15)中的信号 处理之前的音频数据设为老师数据，把通过对老师数据进行信号处理 部分127中的信号处理而获得的音频数据设为学生数据的情况下学习 抽头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类 适应处理。从而，能够从作为输入数据的音频数据中除去因信号处理 而造成的失真。具体地说，通过利用在日本专利特许公开No. Hei 10-011583中 描述的技术，能够实现从音频数据中除去信号处理造成的失真的处 理。日本专利特许公开No. Hei 10-011583描述从音频数据中除去信 号处理造成的失真的类别分类适应处理。下面说明图19等中的时间分辨率创建部分142中，改进作为输 入数据的音频数据的时间方向分辨率的方法。图19等中的时间分辨率创建部分142中，改进作为输入数据的 音频数据的时间方向分辨率的处理可由上面说明的类别分类适应处 理实现。具体地说，例如，通过在时间方向高分辨率的音频数据被设为老师数据，通过降低老师数据的时间方向分辨率而获得的音频数据被设 为学生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用 该抽头系数进行类别分类适应处理。从而，能够改进作为输入数据的 音频数据的时空方向的分辨率。具体地说，通过利用在日本专利特许公开No. Hei 10-313251中描述的技术，能够实现改进作为输入数据的音频数据的时间方向分辨 率的处理。日本专利特许z^开No. Hei 10-313251描述一种利用由在高采才羊 频率的音频数据被设为老师数据，通过降低采样频率而获得的音频数 据被设为学生数据的情况下进行的学习获得的抽头系数，实现类别分 类适应处理的技术。下面说明图19等中的声音收集失真消除部分143中，从作为输 入数据的音频数据中除去由声音收集部分123(图15)的声音收集造成 的失真的方法。图19等中的声音收集失真消除部分143中，从作为输入数据的 音频数据中除去由声音收集造成的失真(声音收集失真)的处理可由上 面说明的类别分类适应处理实现。具体地说，例如，通过在无声音收集失真的音频数据被设为老师 数据，通过对老师数据造成声音收集失真而获得的音频数据被设为学 生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用该抽 头系数进行类别分类适应处理。从而，能够从作为输入数据的音频数据中消除声音收集失真。具体地说，利用在日本专利特许^^开No. Hei 10-011583中描述的技术，能够实现从作为输入数据的音频数据中除去声音收集失真的 处理。日本专利特许公开No. Hei 10-011583描述从音频数据除去声音 收集失真的类别分类适应处理。顺便提及，在图19等中的声音收集失真消除部件132中，由信 号处理失真消除部分141，时间分辨率创建部分142,和声音收集失真消除部分143进行的处理可集体由类别分类适应处理实现。具体地说，通过在时间方向高分辨率的音频数据被设为老师数 据，通过对老师数据造成声音收集失真，进一步降低老师数据的时间 方向的分辨率，并对老师数据进行信号处理而获得的音频数据被设为 学生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用该 抽头系数进行类别分类适应处理。从而，能够集体实现由信号处理失 真消除部分141,时间分辨率创建部分142，和声音收集失真消除部 分143进行的处理。下面说明在图19等中的声源检测部分151中的进行声源检测处 理的方法，所述声源检测处理至少从作为输入数据的音频数据中检测 第一音频的声源位置，和位于该声源位置的第一音频的声压(功率)， 以便产生代表真实世界中的第一音频的第一音频数据(该数据至少不 依赖于声音收集器件121(图15)的位置)，并产生具有在第一音频的声 源位置的第一音频的声压的第一音频数据(代表真实世界中的第一音 频，不依赖于声音收集器件121的位置的第一音频数据)。例如，在日本专利特许公开No. 2005-266797中描述的技术可净皮 用作进行声源检测处理的方法。日本专利特许7>开No. 2005-266797描述一种通过改变来自立体 声麦克风的两个输入音频的延迟量，获得强调目标音频的强调信号， 进行音调检测，根据音调产生滤波器系数，对强调信号滤波，和提取 目标音频的技术。图34表示利用在日本专利特许公开No. 2005-266797中描述的技 术，进行声源检测处理的检测器件的配置例子。在图34中，检测器件包括延迟校正加法部分701，音调检测部 分702，分离系数创建部分703，和滤波操作电路704。例如，延迟校正加法部分701被供给由立体声麦克风的声音收集 获得的立体声信号。延迟校正加法部分701通过调整延迟作为立体声信号的L(左)声 道信号和R声道信号的延迟的数量，并相加延迟后的L声道信号和R括在立体声信号中的作为人的话音的目标音频(对应于第一音频)的强调信号。延迟校正加法部分701把强调信号提 供给音调检测部分702和滤波操作部分704。另外，延迟校正加法部分701根据当获得强调信号时的延迟的数 量，检测并输出目标音频的声源位置。此外，延迟校正加法部分701 把强调信号的功率视为收集目标音频的声音的声音收集位置的目标 音频的功率，根据该功率获得位于目标音频的声源位置的功率，并输 出位于目标音频的声源位置的功率作为位于目标音频的声源位置的 声压。延迟校正加法部分701输出的目标音频的声源位置和声压被输 出到外部，并被提供给滤波操作电路704。音调检测部分702检测来自延迟校正加法部分701的强调信号的 音调频率。音调检测部分702把强调信号的音调频率(目标音频的音调 频率)提供给分离系数创建部分703。根据来自音调检测部分702的音调频率，分离系数创建部分703获得(创建)通过该音调频率下的音频(即，目标音频)的滤波器的滤波器 系数。分离系数创建部分703把滤波器系数提供给滤波操作电路704。 滤波操作电路704起具有来自分离系数创建部分703的滤波器系 数的滤波器的作用。通过对来自延迟校正加法部分701的强调信号滤 波，滤波操作电路704从强调信号提取目标音频(目标音频的信号分量)。此外，滤波操作电路704放大从强调信号提取的目标音频，从而 获得在从延迟校正加法部分701供给的声压下的目标音频，并输出该 目标音频。下面参考图35，说明其中图34中的延迟校正加法部分701通过 调整用于延迟作为立体声信号的L声道信号和R声道信号的延迟的数 量，并相加延迟后的L声道信号和R声道信号，获得强调包括在立体声信号中的目标音频(对应于第一音频)的强调信号的处理的原理。在图35中，L声道麦克风MCL和R声道麦克风MCR对应于图15中的声音收集器件121。麦克风MCL收集从声源SL、 SC和SR发出的声音，并以L声 道信号的形式输出该声音。麦克风MCR收集从声源SL、 SC和SR 发出的声音，并以R声道信号的形式输出该声音。麦克风MCL输出的L声道信号被提供给延迟部件711。麦克风 MCR输出的R声道信号被提供给延迟部件712。延迟部件711酌情调整用于延迟信号的延迟的数量，延迟麦克风 MCL输出的L声道信号，并把作为结果获得的延迟信号提供给运算 部分713和714。延迟部件712也调整延迟的数量，延迟麦克风MCR输出的R声 道信号，并把作为结果获得的延迟信号提供给运算部分713和714。运算部分713相加来自延迟部件711的L声道延迟信号和来自 延迟部件712的R声道延迟信号，并输出结果。运算部分714从来自延迟部件711的L声道延迟信号和来自延 迟部件712的R声道延迟信号之一中减去另一个，并输出结果。在图35中，运算部分713输出的信号是其中在包括于通过麦克 风MCL和MCR的声音收集获得的声信号中的信号分量之中，希望 的目标音频的信号分量被强调，其它信号被衰减的强调信号。具体地说，在图35中，从麦克风MCL和MCR —侧观察，声 源SL被置于左侧，声源SC被置于中央，声源SR被置于右侧。假定由声源SL、 SC和SR之中，位于右侧的声源SR发出的声 音是目标音频。设t是从声源SR发出的目标音频到达就声源SR来说较近的麦 克风MCR的时间，从声源SR发出的目标音频在从时间t开始，延 迟时间(物理延迟量)T(对应于麦克风MCL和MCR之间的距离等)的 时刻到达就声源SR来说较远的麦克风MCL。从而，当延迟部件72的延迟量被调整成比延迟部件711的延迟 量大时间T时，延迟部件711输出的L声道延迟信号和延迟部件712 输出的R声道延迟信号之间的相关系数较大，因为分别包括在L和R声道延迟信号中的目标音频的信号分量彼此同相。具体地说，图36表示当延迟部件712的延迟量被调整成比延迟 部件711的延迟量大时间t时，延迟部件711输出的L声道延迟信号 和延迟部件712输出的R声道延迟信号。当延迟部件712的延迟量净皮调整成比延迟部件711的延迟量大时 间t时，延迟部件711输出的L声道延迟信号和延迟部件712输出的 R声道延迟信号中的目标音频的信号分量彼此同相。另一方面，延迟部件711输出的L声道延迟信号和延迟部件712 输出的R声道延迟信号中除目标音频外的其它信号分量彼此异相。从而，通过调整延迟部件712的延迟量，以l更比延迟部件711 的延迟量大时间t，并在运算部分713中相加延迟部件711输出的L 声道延迟信号和延迟部件712输出的R声道延迟信号而获得的信号是 其中在包括于通过麦克风MCL和MCR的声音收集获得的声信号中 的信号分量之中，希望的目标音频的信号分量被强调，其它信号被衰 减的强调信号。这种情况下，延迟部件711和712的延迟量被调整，以致延迟部 分711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号 之间的相关系数(通过把L声道延迟信号与R声道延迟信号的协方差 除以L声道延迟信号的标准偏差与R声道延迟信号的标准偏差的乘积 而获得的值)变成最大值。随后，根据延迟部件711和712的相应延迟量之间的差值，和麦 克风MCL和MCR之间的距离等，能够获得从麦克风MCL和MCR 角度观察的目标音频的声源SR的位置。顺便提及，当图19等中的声源检测部分151利用图34的检测器 件进行声源检测处理时，与声音收集器件121(图15)对应的麦克风 MCL和MCR的位置等是必需的。麦克风MCL和MCR的位置等预 先已知，或者在包括在输入数据中的状态下传送自发射器件120(图 15)。当声音收集器件121(图15)是单声道麦克风，而不是诸如麦克风MCL和MCR之类的立体声麦克风时，通过利用图像检测声源位置。 具体地说，例如，简单地说，当和输入数据的音频数据一起构成节目的图像数据表明某人在说话时，那么该人的嘴部在动。于是，当获得各帧图像数据之间的差异时，只有在该人的嘴部差值才较大。于是，获得各帧图像数据之间的差异，出现在其差值等于或大于预定值的像素的区域中的对象(这种情况下，说话的人)的位置可被检测为声源位置。顺便提及，当其差值等于或大于预定值的像素的区域变得很小 时，或者当整个一帧的差异变得很小时，认为该人已停止说话，声源 检测部分151(图19等)的第一音频数据的输出可被停止(静音)。接下来，上面说明的一系列过程可由硬件实现，也可由软件实现。 发所述 一 系列过程由软件实现时，构成所述软件的程序被安装到通用 个人计算机或类似物上。从而，图37表示安装用于执行上述一系列过程的程序的计算机 的 一个实施例的配置例子。程序可被预先记录在作为包括在计算机中的记录介质的硬盘 805上，或者预先记录在ROM 803中。另 一方面，程序可被临时或永久保存(记录)在可拆卸记录介质 811,比如软盘、CD-ROM(光盘只读存储器)、MO(磁光盘)、DVD(数 字通用光盘)、磁盘、半导体存储器等上。可以所谓的包装软件的形式 提供这样的可拆卸记录介质811。顺便提及，除了从如上所述的可拆卸记录介质811安装到计算机 之外，程序可经数字卫星广播用人造卫星，通过无线电从下载站点传 送到计算机，或者可经诸如LAN(局域网)、因特网之类网络通过导线 从下载站点传送到计算机，计算机能够借助通信部分808接收这样传 送的程序，并把程序安装在内置硬盘805上。计算机包括CPU(中央处理器)802。 CPU802经总线801与输入國 输出接口810连接。当用户通过操作由键盘、鼠标、麦克风等构成的 输入部分807，经输入-输出接口 801输入命令时，CPU802按照该命令执行保存在ROM(只读存储器)803中的程序。另 一方面，CPU 802 把保存在硬盘805上的程序，传送自卫星或网络，由通信部分808接 收，并且随后被安装在硬盘805上的程序，或者从装入驱动器809中 的可拆卸记录介质811读取的，并且随后安装在硬盘805上的程序装 入RAM(随机存取存储器)804中。CPU 802随后执行该程序。CPU 802 从而执行与上述流程图相应的过程，或者由上述方框图的配置执行的 过程。随后，根据需要，CPU802经输入-输出接口 810从由LCD(液 晶显示器)，扬声器等构成的输出部分806输出处理的结果，从通信部 分808传送所述结果，或者把结果记录在>^更盘805上。在本说明书中，描述使计算机执行各种过程的程序的过程步骤不 一定需要按照如流程图所述的顺序依次进行，包括并行或者单独执行 的过程(例如，并行处理或者基于音频的处理)。程序可由一个计算机处理，或者可经历多个计算机的分布处理。 此外，程序可被传给远程计算机，并且该远程计算机执行。应注意本发明的实施例并不局限于上述实施例，可做出各种变化 而不脱离本发明的精神。
权利要求
1、一种数据处理设备，用于处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理设备包括传感器器件失真消除部件，被配置成消除当所述传感器器件感测所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中；传感器器件位置消除部件，被配置成根据所述输入数据产生代表所述第一对象的第一对象数据，所述第一对象数据至少不依赖于所述传感器器件的位置；参数设置部分，被配置成设置作为用于感测所述第一对象的参数的感测参数；和操作部分，被配置成按照所述参数设置部分设置的感测参数，操作所述第一对象数据。
2、 按照权利要求1所述的数据处理设备，其中通过进行编辑把不同于所述感测数据的第二对象数据叠加在所 述感测数据上，并对被叠加有第二对象数据的所述感测数据进行所述 信号处理，来获得所述输入数据，所述数据处理设备还包括第二对象数据检测部分，被配置成从所 述输入数据检测所述第二对象数据，所述参数设置部分设置所述感测参数和作为用于进行编辑的参 数的编辑参数，和所述操作部分按照所述感测参数操作所述第 一对象数据，并按照 所述编辑参数利用所述第二对象数据进行编辑。
3、 按照权利要求2所述的数据处理设备，其中 所述传感器器件是借助光学系统拾取真实世界的图像的图像拾取器件，所述数据处理设备是被配置成处理所述输入数据的图像处理设备，所述输入数据是通过进行编辑把代表第二对象的第二对象图像数 据叠加在由借助光学系统拾取真实世界中的第一对象的图像的所述 图像拾取器件获得的所述第一对象拾取图像数据上、并对被叠加有所 述第二对象图像数据的所述第一对象拾取图像数据进行信号处理而获得的图像数据，所述传感器器件失真消除部件是被配置成消除当所述图像拾取 器件拾取所述第一对象的图像时发生的失真和由所述信号处理造成 的失真的图像拾取器件失真消除部件，所述失真包含在所述输入数据中；所述传感器器件位置消除部件是图像拾取器件操作消除部件，包括图像拾取器件操作检测部分，被配置成根据所述输入数据， 检测所述图像拾取器件相对于所述第一对象的相对操作，和图像拾取器件操作补偿部分，被配置成通过把所述输入数 据增加到被配置成保存数据的存储部分中，同时通过所述图像拾 取器件的操作补偿所述输入数据，来产生代表在所述图像拾取器 件拾取第一对象的图像之前的第一对象的第一对象图像数据，所 述操作是由所述图像拾取器件操作检测部分检测的， 所述第二对象数据检测部分是被配置成从所述输入数据检测所 述第二对象图像数据的第二对象检测部分，所述参数设置部分设置作为所述感测参数的图像拾取参数，所述 图像拾取参数是用于拾取所述第一对象的图像的参数，和所述操作部分按照所述图像拾取参数和所述编辑参数，合成所述 第一对象图像数据和所述第二对象图像数据。
4、按照权利要求3所述的数据处理设备，其中所述图像拾取器 件失真消除部件包括被配置成从所述输入数据中消除由所述信号处理造成的失真的 信号处理失真消除部分，被配置成改进所述输入数据的时空方向上的分辨率的时空分辨率改进部分，和被配置成从所述输入数据中消除由所述光学系统导致的失真的 光学失真消除部分。
5、 按照权利要求3所述的数据处理设备，还包括 图像数据产生部分，被配置成通过相互比较保存在所述存储部分中的所述输入数据和所述第一对象图像数据，产生所述第二对象图像 数据和代表作为移动体的第三对象的第三对象图像数据。
6、 按照权利要求5所述的数据处理设备，其中在认为所述第三方向求没有运动模糊的相应像素的像素值的积分而获得^值的情况 下，所述图像数据产生部分产生其运动模糊被减小的所述第三对象图 像数据。
7、 按照权利要求5所述的数据处理设备，其中所述参数设置部 分产生所述操作部分的输出目的地的屏幕的大小和所述第三对象图 像数据的大小之间的大小比，当所述输出目的地的屏幕的大小被改变 时，按照所述大小比调整用于编辑所述第三对象图像数据的大小的所 述编辑参数。
8、 按照权利要求5所述的数据处理设备，其中所述参数设置部分设置所述编辑参数，以便只对所述图像数据产 生部分产生的所述第三对象图像数据进行Y校正处理，和所述操作部分按照所述编辑参数，只使所述第三对象图像数据受 到Y校正。
9、 按照权利要求2所述的数据处理设备，其中 所述传感器器件是具有被配置成收集真实世界的第一音频的声音的声音收集部分的声音收集器件所述数据处理设备是被配置成处理所述输入数据的音频处理设备，所述输入数据是通过进行编辑把第二音频数据叠加在由收集真实 世界的第一音频的声音并沿时间方向对第一音频采样的所述声音收集器件获得的第一音频收集声音数据上、并对被叠加有所述第二音频数据的所述第一音频收集声音数据进行信号处理而获得的音频数据，所述传感器器件失真消除部件是声音收集器件失真消除部件，被 配置成消除当所述声音收集器件收集所述第一音频的声音时发生的 失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中，所述传感器器件位置消除部件是声音收集器件操作消除部件，包 括被配置成从所述输入数据中至少检测所述第一音频的声源位置和 声压、以便产生代表真实世界中的所述第一音频的第一音频数据的声 源检测部分，第一音频数据至少不依赖于所述声音收集器件的位置，所述笫二对象数据检测部分是被配置成从所述输入数据中检测 所述第二音频数据的第二音频数据检测部分，所述参数设置部分设置作为所述感测参数的声音收集参数，所述 声音收集参数是用于收集所述第一音频的声音的参数，和所述操作部分按照所述声音收集参数和所述编辑参数，合成所述 第一音频数据和所述第二音频数据。
10、 按照权利要求9所述的数据处理设备，其中所述声音收集器 件失真消除部件包括被配置成从所述输入数据中消除由所述信号处理造成的失真的 信号处理失真消除部分，被配置成改进所述输入数据的时间方向上的分辨率的时间分辨 率改进部分，和被配置成从所述输入数据中消除由所述声音收集部分造成的失 真的声音收集失真消除部分。
11、 按照权利要求9所述的数据处理设备，还包括 音频数据产生装置，用于通过相互比较所述输入数据和所述第一音频数据，产生所述第二音频数据和代表从不同于第 一音频的声源发 出的第三音频的第三音频数据。
12、 一种数据处理设备的数据处理方法，所述数据处理设备被配 置成处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理方法包括下述步骤 所述数据处理设备消除当所述传感器器件感测所述第一对象时发生的失真和由所 述信号处理造成的失真，所述失真包含在所述输入数据中；# 据所述输入数据产生代表所述第一对象的第一对象数据，第一 对象数据至少不依赖于所述传感器器件的位置；按照由被配置成设置作为用于感测所述第一对象的参数的感测参数的参数设置部分设置的感测参数，操作所述第 一对象数据。
13、 一种保存程序的存储介质，所述程序使计算机起数据处理设 备的作用，所述数据处理设备被配置成处理通过对由对真实世界中的 第一对象进行感测和采样的传感器器件获得的感测数据进行信号处 理而荻得的输入数据，所述数据处理设备包括传感器器件失真消除部件，被配置成消除当所述传感器器件感测 所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真 包含在所述输入数据中；传感器器件位置消除部件，被配置成根据所述输入数据产生代表 所述第一对象的第一对象数据，所述第一对象数据至少不依赖于所述 传感器器件的位置；参数设置部分，被配置成设置作为用于感测所述第一对象的参数 的感测参数；和操作部分，被配置成按照所述参数设置部分设置的感测参数，操 作所述第一对象数据。
全文摘要
本发明涉及使用户能够获得收集诸如图像数据之类素材和编辑的身体感觉的数据处理设备，数据处理方法和记录介质。处理部分31产生第一对象图像数据，作为角度比通过图像拾取器件的图像拾取获得的图像数据宽的图像数据，操作部分35按照依据用户的操作设置的图像拾取参数，从第一对象图像数据中提取一帧的图像数据(提取图像数据)。此外，操作部分按照依据用户的操作设置的编辑参数，把字幕的图像数据(第二对象图像数据)叠加在提取图像数据上。本发明适用于接收节目的电视接收机。
文档编号H04N5/262GK101617528SQ200880005420
公开日2009年12月30日 申请日期2008年12月18日 优先权日2007年12月18日
发明者近藤哲二郎 申请人:索尼株式会社