发送设备及方法

专利名称：发送设备及方法
技术领域：
本发明涉及发送设备，发送方法，接收设备，接收方法，发送和接收设 备，发送和接收方法，记录介质，和信号。特别是，本发明涉及允许例如按 有限发送速率(具有一个有限发送带宽)发送图像数据和允许显示具有高空 间分辨率的图像的一种发送设备， 一种发送方法， 一种接收设备， 一种接收 方法， 一种发送和接收设备， 一种发送和接收方法， 一种记录介质，和一种 信号。
背景技术：
例如， 一个相关参考文件，日本专利待审公开平10-112856公开了一种 图像发送设备。在该图像发送设备中，发送方发送图像的一个特定区域的图 像数据，该图像其它区域的图像数据相应于接收方发出的命令用不同信息量 发送。接收方显示处在含有一个较高空间分辨率(空间方向的分辨率)的指 定点的区域中的图像，和显示处在一个较低空间分辨率的其他区域中的图像。
换句话说，当发送方经一个发送路径向接收方发送图像数据时，发送方 不能以高于该发送路径的数据速率发送图像。因而，当接收方在实际的时基 上显示一个数据时，发送方将以对应于发送路径的发送速率向接收方发送图 像数据。因此，如果发送速率不足够时，那么在接收方显示的图像的空间方 向上的空间分辨率则完全恶化。
为了解决这一问题，在日本专利待审公开平10-112856的图像发送设备 中，图像的 一个区域中的图像数据和该图像的其它区域中的图像数据以不同 信息量发送。含有一个指定点的该区域中的图像和其它区域中的图像在接收 方分别以高空间分辨率和低空间分辨率显示。
换句话说，在日本待审公开平10-112856的图像发送设备中，用户要仔 细观看的一个部分的空间分辨率的改善是以其它部分的空间分辨率(降低) 为代价的。
另一方面，在日本专利待审公开平10-112856的图像发送设备中，由于 用户要仔细观看的部分空间分辨率的改善是以其它部分的空间分辨率为代价 的，所以用户要仔细观看的部分空间分辨率仅以牺牲的空间分辨率为代价得 到改善。
此外，发送路径的发送速率非常低时，如果用户要仔细观看部分的空间 分辨率的改善以其它部分的空间分辨的牺牲为代价，那么其它部分的空间分 辨率则严重恶化。在最坏的情况下，用户不能清楚地观看其它部分。
本发明是基于上述观点做出的。本发明的目的是允许图像的空间分辨率 相应于用户的偏爱得到更好的改善。
发明概述
本发明的第一发送设备是向接收设备发送数据的发送设备，包括接收 装置，用于接收从接收设备发送的控制信息；控制装置，相应于控制信息控 制发送给接收设备的数据的时间方向、空间方向和电平(level)方向中的至 少两个方向的分辨率；和发送装置，向接收设备发送相应于控制信息已经控 制至少两个方向中的分辨率的数据。
本发明的接收设备是接收从发送设备发送的数据的接收设备，包括发 送装置，用于向发送设备发送控制信息，以便相应于控制信息控制数据的时 间方向、空间方向和电平方向的至少两个方向上的分辨率；接收装置，用于 接收发送设备发送的数据，该数据的分辨率在数据的至少两个方向已经得到 控制；和输出装置，输出由接收装置接收的数据。
本发明的发送和接收设备是具有用于发送数据的发送设备和用于接收数 据的接收设备的发送和接收设备，其中发送设备包括控制信息接收装置， 用于接收从接收设备发送的控制信息；控制装置，用于相应于控制信息控制 发送给接收设备的数据的时间方向、空间方向和电平方向的至少两个方向上 的分辨率；和数据发送装置，用于向接收设备发送已经相应于控制信息控制
至少两个方向的分辨率的数据；以及其中接收设备包括控制信息发送装置， 用于发送控制信息；数据接收装置，用于接收从发送设备发送的数据，该数
据的分辨率在数据的至少两个方向上被控制；和输出装置，用于输出由数据 接收装置接收的数据。
本发明的第二发送设备是向接收设备发送数据的发送设备，包括接收 装置，用于接收从接收设备发送的控制信息；归类装置，相应于控制信息对 数据归类；和发送装置，相应于数据的归类结果向接收设备发送数据。
本发明的第 一发送方法是向接收设备发送数据的发送方法，包括以下步 骤接收从接收设备发送的控制信息；相应于控制信息控制发送给接收设备 的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率；和把 已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备。
本发明的接收方法是一个接收从发送设备发送的数据的接收方法，包括 以下步骤向发送设备发送控制信息，以便相应于控制信息控制数据的时间 方向、空间方向和电平方向的至少两个方向上的分辨率；接收发送设备发送 的数据，该数据的分辨率至少在数据的两个方向上被控制；和输出在接收步 骤上接收的数据。
本发明的发送和接收方法是具有发送数据的发送设备的处理和接收数据 的接收设备的处理的发送和接收方法，其中发送设备的处理包括以下步骤 接收从接收设备发送的控制信息；相应于控制信息控制发送给接收设备的数 据在时间方向、空间方向和电平方向的至少两个方向上的分辨率；和把已经 相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备；其中接 收设备的处理包括以下步骤发送控制信息；接收从发送设备发送的数据， 该数据的分辨率至少在数据的两个方向上被控制；并输出在数据接收步骤中 接收的数据。
本发明的第二发送方法是向接收设备发送数据的发送方法，包括以下步 骤接收从接收设备发送的控制信息；相应于控制信息对数据归类；和相应 于数据的归类结果向接收设备发送数据。
本发明的第一记录介质是一种记录程序的记录介质，该程序使计算机执 行向接收设备发送数据的发送处理，该发送处理包括以下步骤接收从接收 设备发送的控制信息；相应于控制信息控制发送给接收设备的数据在时间方 向、空间方向和电平方向的至少两个方向上的分辨率；和把已经相应于控制 信息控制至少两个方向的分辨率的数据发送给接收设备。
本发明的第二记录介质是一种记录程序的记录介质，该程序使计算机执
行接收从发送设备发送的数据的接收处理，该接收处理包括以下步骤向发 送设备发送控制信息，以便相应于控制信息控制数据在时间方向、空间方向
和电平方向的至少两个方向上的分辨率；接收从发送设备发送的数据，该数 据的分辨率至少在数据的两个方向上已经被控制；和输出在接收步骤中接收 的数据。
本发明的第三记录介质是一种记录程序的记录介质，该程序致使计算机 执行发送数据的发送设备的发送处理和接收数据的接收设备的接收处理，其 中发送设备的发送处理包括以下步骤接收从接收设备发送的控制信息；相 应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向 的至少两个方向上的分辨率；和把已经相应于控制信息控制至少两个方向的 分辨率的数据发送给接收设备；其中接收设备的接收处理包括以下步骤发 送控制信息；接收从发送设备发送的数据，该数据的分辨率至少在数据的两 个方向上已经被控制；并输出在数据接收步骤上接收的数据。
本发明的第四记录介质是一种记录程序的记录介质，该程序使计算机执 行向接收设备发送数据的发送处理，该发送处理包括以下步骤接收从接收 设备发送的控制信息；相应于控制信息归类数据；和相应于数据的归类结果 向接收设备发送数据。
本发明的第一信号是一种包含程序的信号，该程序致使计算机执行向接 收设备发送数据的发送处理，该发送处理包括以下步骤接收从接收设备发 送的控制信息；相应于控制信息控制发送给接收设备的数据在时间方向、空 间方向和电平方向的至少两个方向上的分辨率；和把已经相应于控制信息控 制至少两个方向的分辨率的数据发送给接收设备。
本发明的第二信号是一种包含程序的信号，该程序致使计算机执行接收 从发送设备发送的数据的接收处理，该接收处理包括以下步骤向发送设备 发送控制信息，以便相应于控制信息控制数据在时间方向、空间方向和电平 方向的至少两个方向上的分辨率；接收从发送设备发送的数据，该数据的分 辨率至少在数据的两个方向上已经被控制；和输出在接收步骤中接收的数据。
本发明的第三信号是一种包含程序的信号，该程序致使计算机执行发送
数据的发送设备的发送处理和接收数据的接收设备的接收处理，其中发送设
备的发送处理包括以下步骤接收从接收设备发送的控制信息；相应于控制
信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两
个方向上的分辨率；和把已经相应于控制信息控制至少两个方向的分辨率的
数据发送给接收设备；其中接收设备的接收处理包括以下步骤发送控制信 息；接收从发送设备发送的数据，该数据的分辨率至少在数据的两个方向上 被控制；和输出在数据接收步骤上接收的数据。
本发明的第四信号是一种包含程序的信号，该程序致使计算机执行向接 收设备发送数据的发送处理，该发送处理包括以下步骤接收从接收设备发 送的控制信息；相应于控制信息归类数据；和相应于数据的归类结果向接收 设备发送数据。
根据本发明的第一发送设备、第一发送方法、第一记录介质和第一信号， 接收从一个接收设备发送的控制信息。相应于该控制信息，控制时间方向、 空间方向和电平方向中的至少两个方向上的分辨率。把相应于该控制信息控 制至少两个方向分辨率的数据发送给接收设备。
根据本发明的接收设备、接收方法、第二记录介质和第二信号，向发送 设备发送控制信息，该发送设备相应于该控制信息控制时间方向、空间方向 和电平方向的至少两个方向上的分辨率。此外，相应于该控制信息已经控制 的至少两个方向上的分辨率的数据自发送设备发送，接收和输出。
根据本发明的发送和接收设备、发送和接收方法、第三记录介质和第三 信号，发送设备接收自接收设备发送的控制信息。相应于该控制信息，控制 时间方向、空间方向和电平方向的至少两个方向上的分辨率备。相应于该控 制信息已经控制的至少两个方向上的分辨率的数据备传送给接收设备，此外， 接收设备向发送设备发送控制信息。相应于该控制信息控制的至少两个方向 上的分辨率的数据自发送设备发送，接收和输出。
根据本发明的第二发送设备、第二发送方法、第四记录介质和第四信号， 接收自一个接收设备发送的控制信号，相应于该控制信息，归类数据。相应 于该数据的归类结果，向该接收设备发送数据。
附图的简单说明


图1是显示本发明的实施例的发送系统的结构实例的示意图； 图2是显示图1所示的发送系统的第一结构的实例的详细示意图； 图3是显示图1所示的发送设备(终端单元)1的结构实例的方框图； 图4是解释图3所示的发送设备的处理的流程图5是显示图1所示的接收设备(终端单元)2的结构实例的方框图； 图6解释图5所示的接收设备2的处理的流程图； 图7是显示图3所示的发送处理部分16的结构实例的方框图； 图8是显示图7所示的编码部分31的结构实例的方框图； 图9A、 9B和9C是解释分层编码/解码的示意图； 图10是解释图7所示的发送处理部分16的发送处理流程图； 图11是显示图5所示的接收处理部分21的结构实例的方框图； 图12是图11所示的解码部分53的结构实例的方框图； 图13是显示图5所示的组合处理部分22的结构实例的方框图； 图14是解释图13所示组合处理部分22的组合处理的流程图； 图15A、15B和15C是显示图5所示的图像输出部分23的图像显示实例 的示意图16A和16B解释图1所示的从发送设备1向接收设备2发送的图像的
空间分辨率与时间分辨率之间关系的示意图17是显示图3所示的对象提取部分14的结构实例的方框图18A和18B是解释图17所示的开始区域划分部分83的处理示意图19A、 19B、 19C和19D是解释图17所示的区域拼接部分84的处理
的示意图20是图17所示的拼接区域处理部分85和分离区域处理部分86的处 理的示意图21是解释图17所示的对象提取部分4的对象提取处理的流程图22是解释图21所示的步骤S43上的区域拼接处理细节的流程图23是图21所示的步骤S44上的拼接区域处理的细节的流程图24是解释图21所示的步骤S44上的分离区域处理细节的流程图25是显示图7所示的控制部分35的结构实例的方框图26是解释对象的特征量(featureamount)的示意图27是解释图25所示的控制部分35的处理细节的流程图28是显示图1所示的发送系统的第二结构的实例的详细示意图29是显示图28所示的发送设备1的结构实例的方框图30是解释图29所示的发送设备1的处理的流程图31是显示图28所示的接收设备2的结构实例的方框图32是解释图31所示的接收设备2的处理的流程图； 图33是显示图29所示的发送处理部分1016的结构实例的方框图； 图34是解释图33所示的发送处理部分1016的发送处理的流程图； 图35是显示图31所示的组合处理部分的结构实例的方框图； 图36是解释的图35所示的组合处理部分的组合处理的流程图； 图37是显示图29所示的对象提取部分1014的实际结构示意图； 图38是解释活动对象图像或静止对象图像的提取处理的流程图； 图39是解释静止区域或活动区域确定处理的流程图； 图40A、 40B、 40C、 40D和40E是解释帧差(帧间差值)的计算方法的 示意图41是解释连续点击确定处理的流程图42A、 42B、 42C、 42D、 42E和42F是解释对象号分配方法的示意图； 图43是解释静止对象组合处理的流程图； 图44是解释活动对象组合处理的流程图； 图45是解释对象提取处理的流程图46A、 46B、 46C、 46D和46E是解释对象提取方法的示意图47是显示图31所示的组合处理部分1022的另一个结构实例的方框
图48是显示图28所示的发送设备1的另一个结构实例的方框图； 图49是显示图48所示的变化确定和归类部分240的结构实例的方框图； 图50A和50B是解释变化确定和归类部分240的兴趣对象区域变化处理 和兴趣对象区域归类处理的流程图51是解释兴趣变化确定处理的流程图； 图52是图1所示的发送系统的第三结构的详细实例的示意图； 图53是显示图52所示的收费服务器4的结构实例的方框图； 图54是解释图53所示的收费服务器4的处理的流程图； 图55是显示本发明的实施例的计算机的结构实例的方框图。
实施发明的最好形式
图1示出了根据本发明的实施例的图像发送系统的结构(该系统是作为 多个装置的逻辑组合的一个实体，而且与每个装置是否设置在一个机架中无
关)。
发送装置由至少两个终端单元1和2组成。就终端单元1和2的关系而
言， 一个是发送设备，另一个是接收设备。图像(图像数据)从发送设备经
传送路径3发送给接收设备。
根据本发明的实施例，例如，假定终端单元1是发送设备，而终端设备 2是接收设备，并且假定图像数据在它们之间发送和接收。在下文中，终端 单元1或2可以被分别称作发送设备1或接收设备2。
■在该情况下，发送设备1经传送路径3向接收设备2发送图像数据。接 收设备2接收来自发送设备1的图像数据。下面将要说明图像数据在图像输 出部分23 (参见图5)上的显示。图像输出部分23例如由液晶显示器或CRT (阴极射线管)组成。此外，接收部分2经传送路径3向发送设备1发送控 制信息，该控制信息控制图像输出部分23所显示的图像空间方向的空间分辨 率和时间方向的时间分辨率。
发送设备1接收来自接收设备2的控制信息，并相应于该控制信息控制 图像数据的传送，使接收设备2所显示的图像的空间分辨率和时间分辨率在 满足预定条件时变化。
就发送设备1和接收设备2来说，可以使用诸如PHS (个人手持电话系 统)(商标)单元的终端单元和诸如便携电话单元的便携式终端单元。当使用 PHS单元时，传送路径3具有1895.1500至1905,9500Mhz的频带，其传送速 率为128Kbps (每秒比特)。
图2示出了图1所示的图像发送系统的第 一 结构的实例；在此，诸如PHS 单元和便携式电话单元的便携式终端单元被用作图1所示的发送设备1和接 收设备2。
根据图2所示的实施例，图1所示的传送路径3由无线基站3-1或3-2 和交换站3-3组成。该交换站3-3是(例如)连接无线基站3-1和3-2的电话 站。无线基站3-1或3-2向/从终端单元1或2发送和接收一个无线信号。在 终端单元1与2之间，其每一个可以经过由无线基站3-l和3-2、收费服务器 4等组成的传送路径3向另一个发送信号，并从另一个终端接收信号。基站 3-1的类型可以基站3-2的类型相同或者不相同。
参见图2,终端单元1包括摄像机部分1-1、显示器部分1-2、按键部分 1-3、扬声器部分l-4和麦克风1-5。摄影机部分1-1具有可以摄取活动图像的
图像拾取装置和光系统。显示部分1-2可以显示字符、符号、图像等。在输 入电话号码、字符、命令等时操作按键部分1-3。扬声器l-4输出声音。麦克
风l-5输入声音。同样，终端单元2包括摄影机部分2-l、显示部分2-2、按 键部分2-3、扬声器2-4和麦克风2-5，它们分别具有与摄影机部分1-1、显示 部分l-2、 4姿2睫部分l-3、扬声器l-4和麦克风l-5相同的结构。
麦克风1-5和1-6采集的语音信号在终端单元1和2之间发送和接收。 此外，可以发送和接收由摄像机部分1-1和2-l摄取的图像数据。因此，终端 单元1的显示部分l-2可以显示由终端单元2的摄影机部分2-l获取的图像数 据。同样，终端单元2的显示部分2-2可以显示由终端单元1的摄影机部分 1-1获取的图像数据。
换句话说，发送设备1的摄像机部分1-1所摄取的图像数据以及诸如帧 速率的所需信息经过有基站部分3-1和3-2以及交换站3-3组成的传送路径3 发送给接收设备2。接收部分2在由例如液晶显示器组成的显示部分2-1上显 示接收的图像数据(相对应的图像)。另一方面，接收设备2经传送路径3向 发送设备1发送用于控制在显示部分2-1上显示的图像的空间分辨率和时间 分辨率的控制信息。发送设备1接收来自接收设备2的控制信息并相应于控 制信息控制图像数据的传送，使接收设备2所显示的图像的空间分辨率和时 间分辨率在满足预定条件时变化。
下面图3示出了图2所示的发送设备1的结构的实例。
图像输入部分11相当于图2所示的摄像机部分1-1。图像输入部分11 摄取一个特定的对象，并把它的图像输送给预处理部分12。预处理部分12 由背景图像提取部分13、对象提取部分14和附加信息计算部分15组成。预 处理部分12执行从图像输入部分11输入的图像的预处理和把该合成图像供 应给发送处理部分16。
换句话说，背景图像提取部分13从图像输入部分11供应的图像中提取 所谓的背景图像，和把提取的背景图像供应给发送处理部分16。此外，背景 图像提取部分13所提取的背景图像还供应给对象提取部分14和附加信息计 算部分15。
作为提取背景图像的方法，获取多个连续帧(例如当前帧和过去的10 个帧)的相同空间位置上的多个像素的像素值的出现频率。具有最高频率的 像素值可以作为该位置是背景对待。另一方面，可以取得多个帧的相同位置
上的像素值的平均值(活动平均值)，以作为该位置上的背景图像。
对象提取部分14执行例如从图像输入部分11所供给的图像中减去由背 景图像提取部分13所提取的背景图像的减法运算，获得所谓的前景图像，并 把该前景图像供应给发送处理部分16。当图像输入部分11输入的图像包含
作为前景的多个实体时，对象提取部分14相应于每一实体提取前景图像并将 所提取的前景背景提供给发送处理部分16。另一方面，由对象提取部分14 提取的前景图像还被提供给附加信息计算部分15。此后，相应于每一实体的 前景图像可以看作是一个对象。
附加信息计算部分15检测背景图像移动矢量和对象移动矢量。背景图像 移动矢量表示由背景图像提取部分13提取的背景图像的移动(相应于图像输 入部分11的拍摄方向的移动的背景图像的移动)。对象移动矢量表示由对象 提取部分14提取的对象的移动。另外，附加信息计算部分15将对象提取部 分14提供的作为附加信息的一帧中的对象的位置信息等提供给发送处理部 分16。换句话说，当对象提取部分14提取一个对象时，该对象提取部分14 还提取与该对象有关的信息，比如该对象的位置信息等，并把该信息供应给 附加信息计算部分15。附加信息计算部分15还把该位置信息等作为附加信 息输出。
发送处理部分16多路复用由背景图像提取部分13提取的背景图像、由 对象提取部分14提取的对象和由附加信息计算部分15获取的附加信息，并 按其数据速率经过传送路径3将合成的多路复用数据发送给接收设备2。发 送处理部分16经传送路径3接收自接收设备2发送的控制信息，并相应于该 控制信息控制背景图像、对象和附加信息的发送，使接收设备2所显示的图 像的空间分辨率和时间分辨率在满足预定条件时变化。
下面结合图4所示的流程图简要地说明图3所示的发送设备1的处理。 图像输入部分11输出的图像供给预处理部分12。在步骤S1上，与处理 部分12执行图像的预处理。换句话说，在步骤S1上，背景图像提取部分13 或前景图像提取部分14从图像输入部分11输入的图像中分别提取背景图像 或对象，并把提取的背景图像或提取的对象供应给发送处理部分16。此外， 在步骤Sl上，附加信息计算部分15从图像输入部分11输入的图像中获得上 述的附加信息，并把获得的附加信息供应给发送处理部分16。发送处理部分 16经传送路径3发送背景图像、前景图像和附加信息。此后，流程返回到步
骤Sl,发送设备1重复相似的处理。
图5示出了图2所示的接收设备2的结构实例。
发送设备1经传送路径3发送多路复用数据。该多路复用数据由接收处 理部分21接收。接收处理部分21把该多路复用数据分离成背景图像、对象 和附加信息，并把它们供应给组合处理部分22。
组合处理部分22把从接收处理部分21接收的背景图像、对象和附加信 息组合成原始图像，并把该合成的图像供应给图像输出部分23。组合处理部 分22相应于下面将要说明的高分辨率信息等改变组合的图像的空间分辨率 和时间分辨率。
图像输出部分23由例如液晶显示器或CRT组成。图像输出部分23显示 从组合处理部分22输出的图像。
控制信息输入部分24把控制信息输出给组合处理部分22和控制信息发 送部分25。换句话说，控制信息输入部分24组成按键部分2-3。控制信息输 入部分24由例如诸如跟踪球的指点器组成。当用户用控制信息输入部分24 指定一个由图像输出部分23显示的图像的特定位置时，控制信息输入部分 24把该位置检测为用户正在考虑的一个考虑点，把该考虑点的坐标放入控制 信息中，并输出所得的控制信息。另一方面，控制信息输入部分24由例如一 个摄影机组成。当用户摄取和认可一个图像时，控制信息输入部分24把用户 正在考虑的一个点检测为考虑点，把该考虑的点的坐标放入控制信息中，并 输出该合成的控制信息。控制信息输入部分24可以被构造成使用户可以直接 输入作为控制信息的由图像输出部分23显示的图像的空间分辨率和时间分 辨率的结构。
当控制信息发送部分25接收来自控制信息输入部分24的控制信息时， 控制信息发送部分25经传送路径3向发送设备1发送控制信息。
下面结合图6所示的流程图简要说明图5所示的接收设备2的处理。 在接收设备2中，接收处理部分21经传送路径3接收来自发送设备1 的多路复用数据。在步骤Sll,接收处理部分21执行一个接收处理，将多路 复用数据分离成背景图像、对象和附加信息。接收处理部分21向组合处理部 分22供应作为接收处理结果的背景图像、对象和附加信息。在步骤S12,组 合处理部分22把背景图像、对象和附加信息组合为原始图像并把该组成图像 供应给图像输出部分23。图像输出部分23显示该组合图像。此后，流程返
回到步骤Sll,随后接收设备重复相似的处理。
在接收设备2中，当用户用控制信息输入部分24指定一个图像输出部分 23所显示的图像的考虑点时，该考虑点的坐标被放入控制信息中。该合成控 制信息被供给控制信息发送部分25。控制信息发送部分25经传送路径3向 发送设备1发送该控制信息。当发送设备1接收到如上所述的控制信息时， 发送处理部分16控制背景图像、对象和附加信息的发送，使接收设备2所显 示的图像的空间分辨率和时间分辨率可以在满足约定条件时改变。此后，由 于已经被控制的背景图像、对象和附加信息从发送设备1发送到接收设备2， 因此在满足一个预定条件时已改变了空间分辨率和时间分辨率的图像由接收 设备2显示。
图7示出了图3所示的发送设备1的发送处理部分16的结构实例。
背景图像、对象和附加信息从预处理部分12 (参见图3)供给编码部分 31和控制部分35。编码部分31对背景图像、对象和附加信息编码，并把该 合成的编码数据供应给MUX (多路复用器)32。 MUX32在控制部分35的控 制下选择从编码部分31接收的背景图像、对象和附加信息并把选择的编码数 据作为多路复用数据供给发送部分33。发送部分33调制从MUX32接收的多 路复用数据，并经传送路径3把该调制的数据发送给接收设备2。数据量计 算部分34监视MUX32向发送部分33输出的多路复用数据，计算多路复用 数据的数据速率，并把计算的数据速率供应给控制部分35。
控制部分35控制MUX32的多路复用数据的输出，使数据量计算部分 34的数据速率不超过传送路径3的传送速率。此外，控制部分35经传送路 径3接收从接收设备2发送的控制信息，并相应于该控制信息控制MUX32 的编码数据的选择。
图8示出了图7所示的编码部分31的结构实例。
背景图像被供应给差值计算部分41B。差值计算部分41从处理的当前帧 (在下文中，该帧可以称作考虑帧)的背景图像中减去刚处理的在前帧的背 景图像，并把背景图像的差值数据作为相减结果供应给分层编码部分42B。 分层编码部分42B对从差值计算部分41B接收的背景图像的差值数据进行分 层编码，并把编码结果提供给存储部分43B。存储部分43B临时存储从分层 编码部分42接收的分层编码结果。存储部分43B中存储的分层编码结果作为 背景图像的编码数据供应给MUX32 (参见图7)。
存储部分43B中存储的分层编码结果供应给本地解码器44B。本地编码 器44B把分层编码结果进行解码成为原始背景图像，并把解码的背景图像供 应给差值计算部分部分41B。由本地解码器部分44B解码的背景图像由差值 计算部分41B使用。差值计算部分41B使用解码的背景图像来获得下 一帧的 背景图像的差值数据。
对象被供应给差值计算部分41F。差值计算部分41F、分层编码部分42F、 存储部分43F和本地解码器部分44F执行与上述的差值计算部分41B、分层 编码部分42B、存储部分43B和本地解码器44B相同的处理。因而，按照与 背景图像相同的方式，对象被分层编码并供应给MUX32 (参见图7)。当存 在多个对象时，差值计算部分41F、分层编码部分42F存储部分43F和本地 解码部分44F以上述方式对多个对象分层编码。
附加信息提供给VLC (可变长度编码)部分45。 VCL部分45按照可变 长码编码方法对附加信息进行编码，并把编码的附加信息供应给MUX32 (参 见图7)。
下面结合附图9将说明由图8所示的编码部分31所执行的分层编码/解码。
假定较低层次的2x2像素(水平x垂直)的四个像素的平均值被视为较 高层次的一个像素(像素值)，并且假定按三个层次级对一个图像编码。在这 种情况下，对于考虑到如图9(A)所示的8x8个像素的最低层次级中的一个 图像，计算2x2个像素的左上部分的四个像素h00、 h01、 h02和h03的平均 值m0 。该平均值被m0视作第二层次级的左上部分的一个像素。计算最低 层次级的右上部分的四个像素h10、 hll、 hl2和hl3的平均值ml。计算最低 层次级的左下部分的四个^f象素h20、 h21、 h22和h23的平均值m2。计算最低 层次级的右上部分的四个像素h30、 h31、 h32和h33的平均值m3。平均值 ml、 m2和m3被分别视作第二层次级的右上部分、左下部分和右上部分上的 像素。此外，计算第二层次级的2x2像素的四个像素m0、 ml、 m2和m3的 平均值q。该平均值被视作是最高层次级的第三层次级的一个象素。
根据上述的分层编码，最高层次级中的图像的空间分辨率是最低的。图 像的空间分辨率与层次级成反比。换句话说，最低层次级中的图像的空间分 辨率是最高的。 '
在所有象素h00至h03、 hlO至hl3、 h20至h23、 h30至h33、 m0至m3
和q被发送的情形下的数据量大于仅由较高层次级的象素m0至m3和q发送 最低层次级的图像情形下的数据量。
因此，如图9 (B)所示，第三层次级的象素q被发送，而不是例如第 二层次级的象素m0至m3的右下位置上的像素m3被发送。
此外，如图9(C)所示，发送第二层次级的象素m0，而不是发送例如 最低层次级的象素m0至m3的右下位置上的像素h03。同样，第二层次级的 剩余像素ml、 m2和q被发送，而不是发送第一层次级的象素h13、 h23和 h33。尽管像素q不是第二层次级的一个像素，但它被发送，而不是发送直接 从像素h30至h33得到的像素m3。因而，发送像素q，而不是发送替代像素 h33的像素m3。
因而，如图9(C)所示，发送的像素数目变成4乂4像素=16像素。因 此发送的像素数目相同于仅仅发送图9( A )所示的最低层次级的象素的情况。 在这种情况下，发送的数据量可以避免增加。
替代像素q发送的像素m3以及替代像素m0至m3发送的像素h03、hl3、 h23和h33可以按下述方式被解码。
换言之，由于q是m0至m3的平均值，因此满足等式q = (m0+ml+m2+m3 ) /4。因此可以相应于等式m3=4xq - (m0+ml+m2)用第 三层次级的象素q和第二层次级的象素m0至m2获得(解码)第二层次级的 象素m3。
此外，由于m0是h00至h03的平均值，因此满足等式 m0=(h00+h01+h02+h03)/4。因此，相应于等式h03=4xm0 — ( h00+h01+h02 ), 可以用第二层次级的象素mO和第一层次级的象素h00至h02获得第一层次 级的象素h03。按相同的方式，可以获得hl3、 h23和h33。
因此，在未在一个特定层次级中发送的像素可以用该层次级中发送的像 素和上一级的层次级的一个像素来解码。
下面将结合图10所示的流程图说明图7所示的发送处理部分16的发送 处理。
在步骤S21,在发送处理部分16中，控制部分35确定接收设备2是否 已经发送控制信号。当步骤S21的确定结果表明控制信号还未从接收设备2 发送(即，控制部分35还未接收到该控制信息)时，流程前进到步骤S22。 控制部分35控制MUX32选择背景图像、对象和附加信息的编码数据，并多
路复用它们，以使接收设备2可以用正常的时间分辨率(例如， 一个默认时 间分辨率)显示一个图像。
当正常的时间分辨率是例如30帧/秒时，MUX32选择背景图像、对象和
附加信息的编码数据，多路复用该编码数据，和输出该多路复用的数据，以
使该图像用按传送路径3的传送速率发送多路复用数据的最大时间分辨率来 显示。
实际上，例如，在按三个层次级执行分层编码的情况中，当(只有)第 三层次级的数据以传送路径3的传送速率发送时，选择背景图像、对象和附 加信息的编码数据以显示第三层次级的图像。因此，在这种情况下，接收设 备2用是原始图像(第一层次级)的1/4 (水平方向和垂直方向)的空间分辨 率和30帧/秒的时间分辨率来显示一个图像。
此后，流程前进到步骤S23。在步骤S23，发送部分33发送MUX32经 传送路径3输出的多路复用数据。此后，步骤返回到步骤S21。
当步骤S21上的确定结果表明控制信号已经从接收设备2发送(即，控 制部分35已经接收到该控制信息)时，流程前进到步骤S24。控制部分35 相应于控制信号操纵控制信息输入部分24,从而认可指定的考虑点。此后， 流程前进到步骤S25。
在步骤S25,控制部分35把具有一个考虑点(矩形框具有在帧水平方向 和垂直方向的平行边并且考虑点在矩形框的重心上)周围预定尺寸的矩形那 样的区域指定为一个优先权范围，在该范围中用优先权改善空间分辨率并且 检测在该优先权范围中组成图像的背景图像、对象和附加信息。
此后，流程前进到步骤S26。在步骤S26,控制部分35控制MUX32选 择和多路复用背景图像、对象和附加信息的编码数据，并多路复用被选择的 编码数据以使接收设备2可以用较高的时间分辨率显示该优先权范围内的图 像。
换言之，当控制部分35接收来自接收设备2的控制信号时，控制部分 35控制MUX32以牺牲时间分辨率为代价来改善优先权范围内的图像的空间 分辨率。
因此，MUX32用优先权选择显示第三层次级的图像和第二层次级的图 像所需的背景图像、对象和附加信息的编码数据，多路复用被选择的编码数 据和输出该多路复用的数据。
此外，在步骤S26,控制部分35控制MUX32把优先权范围、大小等等 的位置信息插入到选作多路复用数据的附加信息中。此后，流程前进到步骤 S23。
在步骤S23,如上述的那样，发送部分33发送MUX32经传送路径3输 出的多路复用数据。此后，流程返回到步骤S21。
为简单起见，假定在步骤S26上对于作为非优先权范围中的一个图像的 第三层次级的一个图像连续选择显示第三层次级的图像的背景信息、对象和 附加信息的编码数据，被多路复用的数据量大于在步骤S22上的优先权范围 内的图像的第二层次级的数据的情形。根据本发明的实施例，按照上述的方 式以30帧/秒显示图像，则仅以传送路径3的传送速率发送第三层次级的数 据。这样就不能发送步骤S26上获得的多路复用数据，以便按30帧/秒显示 图像。从而，在步骤S23的极端情况下，在步骤S26上获得的多路复用数据 用0帧/秒的时间分辨率发送。
因此，在这种情况下，对于优先权范围内的图像，接收设备2所显示图 像的水平方向和垂直方向每个的空间分辨率为原始图像(即第一层次级)空 间分辨率的1/2。换句话说，接收设备2显示其水平方向和垂直方向每个的空 间分辨率二倍于第三层次级的图像空间分辨率的图像(第二层次级)。然而， 其时间分辨率为0帧/秒。换言之，接收设备2显示一个静止图像。
在发送用于优先权范围内图像的第二层次级的数据之后，当步骤S21的 确定结果表明已经再次从接收设备2发送(即，用户连续操作控制信息输入 部分24并指定相同的考虑点)控制信号时，流程前进到步骤S24。在步骤S24， 控制部分35认可该相同的考虑点。此后，流程前进到步骤S25。在步骤S25, 控制部分35指定相同的优先权范围。此后，流程前进到步骤S26。
在步骤S26,控制部分35控制MUX32选择背景图像、对象、和附加信 息的编码数据和多路复用该选择的编码数据，以使接收设备2可以显示具有 较高空间分辨率的优先权范围内的图像。
在这种情况下，对于优先权范围内的图像，用优先权选择第三层次级和 第二层次级的背景图像、对象和附加信息的编码数据。在这种情况下，用优 先权选择第一层次级的背景图像、对象和附加信息的编码数据，并按多路复 用数据输出。此外，在步骤S26,如上所述，高分辨率信息被插入附加信息 中。此后，流程前进到步骤S23。在步骤S23,发送部分33发送MUX32经
传送路径3输出的多路复用数据。此后，流程前进到步骤S21。
因此，在这种情况下，对于优先权范围内的图像，接收设备2显示具有
与原始图像(第一层次级)相同的空间分辨率的图像。换句话说，接收设备
2显示具有四倍于第三层次级的图像的空间分辨率(水平方向和垂直方向的 每个中的)的图像。然而，时间分辨率例如为0帧/秒。换言之，接收设备2 显示一个静止图像。
因而，当用户连续操作控制信息输入部分24和指定相同的考虑点时，对 于含有该考虑点的优先权范围内的图像，以图像的时间分辨率为代价借助优 先权发送改善了空间分辨率的数据。因而，尽管图像的时间分辨率恶化，但 含有考虑点的优先权内的图像的空间分辨率得到了改善。因此，优选权范围 内的图像被更加清楚地显示。换句话说，用户考虑的部分的图像被更加清楚 地显示。
因此，图像数据的发送被控制，以使含有一个考虑点的特定优先权范围 内的图像的空间分辨率和时间分辨率在按传送路径3传送速率发送的图像数 据的分辨率范围内变化。换句话说，图像数据的发送被控制，以使优先权范 围内的图像的空间分辨率得到改善和使该图像的时间分辨率恶化。因而，借 助于按传送路径3的传送速率发送的图像数据获得改善的空间分辨率分辨率 和恶化的时间分辨率。结果，在一个限制的传输速率上，接收设备2所显示 的图像的空间分辨率可以进一步得到改善。
下面图11示出了图5所示的接收处理部分21的结构实例。 接收部分51经传送路径3接收多路复用的数据。在多路复用数据被解调 后，供给DMUX (解复用器)52。 DMUX52 4巴从接收部分51接收的多路复 用数据分解成背景图像、对象和附加信息的编码数据，和把分解的数据供应 给解码部分53。解码部分53把背景图像、对象和附加信息的编码数据解码 成它们的原始数据并输送给组合处理部分22 (参见图5)。
换言之，图12示出了图11所示的解码部分53的结构实例。 作为背景图像的编码数据的分层编码差值数据被供应给加法装置61B。 此外，已经解码并存储在存储部分62B中的前一帧的一个背景图像也送给加 法装置61B。加法装置61B将背景图像的差值数据和自存储部分62B接收的 前一帧的背景图像相加，以便对一个预期层次级的背景图像进行解码。该解 码的背景图像被供应给存储部分62B。存储部分62B存储从加法装置61B接
收的背景图像。该解码的背景图像被供应给加法装置61B和组合处理部分22
(参见图5)。
作为对象编码数据的分层编码差值数据被供应给加法器61F。加法装置 61F和存储部分62F执行与加法装置61B和存储部分62B相似的处理。从而， 按照与背景图像相同的方式，把对象的差值数据解码为预期的层次级的对象， 然后供应给组合处理部分22 (参见图5)。当存在多个对象时，加法部分61F 和存储部分62F对多个对象的差值数据进行解码(分层解码)。
作为附加信息编码数据的用可变长度码编码的附加信息被供应给反向 VLC部分63。反向VLC部分63用可变长度编码对该附加信息进行解码。从 而获得原始附加信息，并供应给组合处理部分22。
图8所示的本地解码器44B被构成为加法装置61B和存储部分62B。同 样，本地解码器44F被构成为加法装置61F和存储部分62F。
图13示出了图5所示的组合处理部分22的结构实例。
解码部分53输出的背景图像(参见图1 )被供应给背景图像写入部分71。 解码部分53输出的对象被供应给对象写入部分72。解码部分53输出的附加 信息被供应给背景图像写入部分71、对象写入部分72和组合部分77。
背景图像写入部分71连续地把背景图像写入背景图像存储器73。当一 个图像是在摄像机摇镜头或倾斜情况下拍摄的时，背景图像是移动的。在此 点，背景图像写入部分定位该背景图像，然后把定位的背景图像写入背景图 像存储器73。因此，背景图像存储器73可以存储一个在空间上宽于一帧的 图像的图像。背景图像是相应于包含在附加信息中的 一个背景图像移动矢量 来定位背景图像的。
当背景图像写入部分71把具有高空间分辨率的背景图像写入背景图像 存储器73时，背景图像写入部分71相应于从0至1的背景图像的像素来改 变按背景图像标志存储器74的地址所存储的背景图像标志的数值。当背景图 像写入部分71把一个背景图像写入背景图像存储器73时，背景图像写入部 分71核对背景图像标记存储器74。背景图像写入部分71不将一个具有低空 间分辨率的背景图像写入其背景图像标志是1 (表明该像素存储具有高空间 分辨率的一个背景图像)的一个像素上。因而，大体上，不论背景图像何时 供应给背景图像写入部分71,都被写入到背景图像存储器73。然而，背景图 像写入部分71并不把具有低空间分辨率的背景图像写入到存储具有高空间
分辨率的背景图像的像素上。结果，无论高空间分辨率的背景图像何时供应 给背景背景图像写入部分71,都使高空间分辨率的范围在背景图像存储器内 变宽。
对象写入部分72连续地把所供给的对象写入到对象存储器75上。当存 在多个对象时，对象写入部分72把每个对象写入到对象存储器75。当对象 写入部分72把相同的对象(分配相同的标志)写入到对象存储器75时，对 象写入部分72用新对象(新近供应给对象写入部分72的对象)替代旧对象。
此外，当对象写入部分72把高空间分辨率的 一个对象写入到对象存储器 75时，对象写入部分72相应于从0到1的对象的像素改变按对象标识存储 器76的一个地址存储的一个背景图像标志。当对象写入部分72把对象写入 到对象存储器75时，对象写入部分72核对对象标志存储器76。对象写入部 分72不把具有低空间分辨率的对象写入到存储高空间分辨率的对象(对象标 志=1 )的对象存储器75上。以背景图像存储器73相同的方式，无论对象何 时供给对象写入部分72,都将该对象写入到对象写入部分72。然而，对象写 入部分72不把低空间分辨率的对象写入到存储高空间分辨率的对象的一个 象素上。结果，无论高空间分辨率的对象何时被供应给对象写入部分72,高 空间分辨率的对象的数目在对象存储器75中递增。
背景图像存储器73存储从背景图像写入部分71供应的背景图像。背景 图像标志存储器74按背景图像存储器73的一个地址存储上述的一比特背景 图像标志。背景图像标志存储器74表示高空间分辨率的背景图像是否已经被 存储在背景图像存储器73的一个地址上。对象存储器75至少包括一个存储 从对象写入部分72供给的每个对象的存储器部分。对象标志存储器部分76 存储上述的一比特对象标志，该标志代表一个高空间分辨率的对象是否已经 存储在对象存储器75中。
在这种情况下，为简单起见，背景图像标志和对象标志是一比特标志。 另一方面，背景图像标志和对象标志可以是多比特标志。在此情况下，背景 图像标志和对象标志可以代表多等级分辨率。换句话说， 一比特标志只代表 高分辨率和低分辨率这两个等级。然而， 一个多比特标志代表多等级分辨率。
组合部分77相应于附加信息中含有的一个背景图像移动矢量读出背景 图像存储器73中存储的当前帧(该帧可以被称之为考虑帧)的背景图像。此 外，组合部分77相应于附加信息中含有的一个对象移动矢量来组合该背景
像和对象存储器75中存储的一个对象。结果，组合部分77生成一个考虑帧
的图像，并把该图像供给一个显示存储器78。
此外，组合部分77接收来自控制信息输入部分24(参见图5)的控制信 息时，组合部分77从对象存储器75中读出该控制信息中含有的考虑点上的 一个对象，并把该对象供给子窗口存储器79。
显示存储器78作为一个所谓的VRAM (视频只读存储器)。显示存储器 78暂时存储组合部分77供给的考虑帧的图像。
子窗口存储器79暂时存储组合部分77供给的一个对象。
叠加部分80读出显示存储器78的存储内容，并把存储的内容供给图像 输出部分23 (参见图5)。图像输出部分23显示该存储的内容。必要时，叠 加部分80打开图像输出部分23上的子窗口 (下文将进行说明)，读出子窗口 存储器79的存储内容，并在该子窗口上显示该内容。
下面，结合图14将说明图13所示的组合处理部分22所执行的处理(组 合处理)。
首先，在步骤S31，背景图像写入部分71或对象写入部分72分别相应 于背景图像标志存储器74以上述方式所存储的背景图像标志或对象标志存 储器75以上述方式所存储的对象标志将解码部分53 (参见图12)供给的一 个背景图像或 一个对象写入相关存储器。
换言之，背景图像写入部分71核对背景图像标志存储器74,并且把供 给的背景图像写入到背景图像存储器73的该地址上，此时与该地址相对应的 象素的背景图像标志为0。相反，如果供给的背景图像的空间分辨很高时， 背景图像写入部分71把该背景图像写入背景图像存储器73的一个地址上， 此时对应该地址的象素的背景图像标志为1。
同样，当对象存储器75的对象标志为0时，对象写入部分72将供给的 对象写入到对象存储器75。当对象存储器75的对象标志为1时，如果供给 的对象的空间分辨率很高时，对象写入部分72将供给的对象写入到对象存储 器75。
当背景图像写入部分71将背景图像写入到背景图像存储器73的一个特 定地址时，如果该地址已经存储了一个背景图像，则背景图像写入部分71将 该背景图像覆盖写到该地址上。该处理也适用于对象存储器75。
此后，流程前进到步骤S32。在步骤S32,背景图像写入部分71和对象
写入部分72确定附加信息是否含有高分辨率信息。当步骤S32上的确定结果 表明附加信息含有高分辨率信息(即，用户已经操作控制信息输入部分24(参 见图5)、合成控制信息已经发送给发送设备，以及发送设备l随后已经为优 先权范围内的一个图像发送高空间分辨率的一个背景图像和一个对象)时， 流程前进到步骤S33。在步骤S33,背景图像写入部分71或对象写入部分72 将背景图像标志存储器74的背景图像标志或对象标志存储器76的对象标志 改变为1。
换句话说，当发送设备1为优先权范围内的一个图像发送具有高空间分 辨率的一个背景图像和一个对象时，在步骤S31,背景图像写入部分71和对 象写入部分72将具有高空间分辨率的背景图像和对象分别写入背景图像存 储器73和对象存储器75。因而，在步骤S33，组成具有高空间分辨率的背景 图像和对象的 一个象素的背景图像标志和对象标志被改变为1 。
此后，流程前进到步骤S34。组合部分77从对象存储器75中读出优先 权范围内的一个对象，并把该对象写入子窗口存储器79。
换句话说，当步骤S32上的确定结果表明附加信息含有高分辨率信息时， 则表示用户已经操作了控制信息输入部分24 (参见图5)、控制信息已经被发 送给发送设备1、以及发送设备1随后为优先权范围内的一个图像已经发送 具有高分辨率的一个背景图像和一个对象。发送给发送设备1的控制信息还
供应给组合部分77。因而，当组合部分77接收控制信息时，在步骤S34上 组合部分77相应于控制信息中含有的考虑点的坐标认同(recognize)其优先 权范围，从对象存储器75中读出发送设备1已经发送的该优先权范围内的高 空间分辨率对象，并把该对象写入到子窗口存储器79。
此后，流程前进到步骤S35。在步骤S35,組合部分77相应于附加信息 中含有的背景图像移动矢量从背景图像存储器73读出显示的当前帧(该帧被 称之为考虑帧)的背景图像。此外，组合部分77从对象存储器75读出关于 该考虑帧的所显示的一个图像。组合部分77相应于附加信息内含有的对象移 动矢量将该考虑帧的背景图像与从对象存储器75读出的对象相组合，并把该 考虑帧的组合图像写入到显示存储器78。换言之，组合部分77将一个背景 图j象写入到(例如)显示存储器78，随后将一个对象覆盖写到显示存储器78 上。结果，组合部分77将一个背景图像和一个对象被组合为一个考虑帧图像 的一个图像写入到显示存储器78上。
在这种方式中，写入到显示存储器78考虑帧的图像和写入到子窗口存储
器79的一个对象被供应给图像输出部分23(参见图5)。图像输出部分23显 示供给的图像和对象。
在发送设备l中，所谓的软健可以被包含在例如附加信息中。在这种情 况下，组合部分77使用软健将对象和背景图像相组合。
相反，当步骤S32上的确定确定结果表明附加信息不包含高分辨率信息 (即，用户未操作控制信息输入部分24 (参见图5 )),流程前进到步骤S35, 跳过步骤33和34。如上所述，组合部分77从背景图像存储器73中读出考 虑帧的一个背景图像。此外，组合部分77从对象存储器75中读出一个所需 对象,并相应于附加信息将考虑帧的背景图像与从对象存储器75中读出的对 象相结合。结果，生成一个考虑帧的图像，并将其写入到显示存储器78。此 后，流程返回到步骤S31。然后，组合处理部分22重复相似的处理。
在上述组合处理中，当用户未操作控制信息输入部分24(参见图5 )(即， 由诸如没有被拖动(或点击)的鼠标的指点装置组成的控制信息输入部分24 ) 时，如图15 (A)所示，低空间分辨率的图像在图像输出部分23 (参见图5) 上用一个默认时间分辨率显示。在图15 (A)中，低空间分辨率的图像在低 空间分辨率的背景图像上移动。
当用户操作控制信息输入部分24 (参见图5)时，把光标移动到对象， 并把该光标拖动到对象的位置上，像上所述的那样，将控制信息发送给发送 设备1。发送设备1以时间分辨率为代价为一个优先权范围内的图像发送显 示高空间分辨率图像所需的数据。结果，如图15(B)所示的那样，尽管时 间分辨率为(例如)0帧/秒，但在图像输出部分23 (参见图5)上显示出围 绕拖动位置的优先权范围内的一个对象和一个背景图像的空间分辨率被逐渐 改善的图像。换句话说，相应于拖动时间(或点击的数目)，在优先权范围内 的图像的空间分辨率被逐渐改善。
在此情况下，如图15 (B)所示，在图像输出部分23 (参见图5)上打 开一个子窗口 。围绕拖动位置的优先权范围内的一个对象按照对象的空间分 辨率纟皮逐渐改善的方式来显示。
此后，当用户用控制信息输入部分24 (参见图5)停止拖动操作时，如 上述的那样，在步骤S35上组合部分77从背景图像存储器73读出考虑帧的 一个背景图像，从对象存储器75读出一个对象，相应于附加信息将考虑帧的
背景图像与从对象存储器75中读出的对象相组合，并将该组合图像写入到显 示存储器78。如上述的那样，由于作为拖动操作结果的高空间分辨的对象被
存储在对象存储器75中，图像输出部分23 (参见图5)用图15 (C)所示的 常规时间分辨率显示在考虑帧的相关位置上粘贴作为拖动操作结果的具有高 空间分辨率的 一个对象的图像。
此后，图像输出部分23 (参见图5)用常规时间分辨率显示相应于附加 信息移动的高空间分辨率的一个对象的图像。
因而，当用户执行在他或她要仔细观看的对象的位置上的拖动操作时， 他或她可以观看具有高空间分辨率的对象。换句话说，用户可以详细观看一 个对象。
当用户执行拖动操作时，优先权范围内的高空间分辨率的背景图像被存 储在背景图像存储器73。因而，即使用户停止拖动操作，也显示背景图像存 储器73内存储的高空间分辨率的背景图像。因而，当用户执行拖动操作时， 由于围绕拖动位置的优先权范围内的背景图像被改善，因此无论用户何时执 行在图像输出部分23 (参见图5)的显示屏幕的每个位置上的拖动操作，高 空间分辨率的背景图像按一个镶嵌模式逐渐展宽。最后，图像输出部分23显
示整个高空间分辨率的背景图像。
此外，根据该实施例，如上所述，由于一个背景图像被存储在背景图像 存储器73中，因此发送设备1不需要发送一个已经发送的具有低空间分辨率 的一个背景图像。因而，背景图像的传送带宽(传送速率)可以分配给高空 间分辨率的 一个对象和一个背景图像。
在上述情况下，作为拖动操作结果的高空间分辨率的对象被存储到对象 存储器75。停止拖动操作后，该高空间分辨率的对象被粘贴到背景图像上。 因而，由接收设备2所显示的一个对象的空间分辨率变得高了。然而，发送 设备1所拍摄的对象的状态不对接收设备2所显示的对象发生影响。
为了解决这一问题，在停止拖动操作后，存储在对象存储器75中的高空 间分辨率的一个对象可以用解码部分53 (参见图12)的存储部分62F中存储 的一个对象替代，而忽略对象标志。换句话说，发送设备1发送的对象被连 续存储到解码部分53 (参见图12)的存储部分62F上。因而，当对象被写入 到对象存储器75时，图像输出部分23上显示的一个图像的对象受发送设备 l拍摄的对象的状态影响(然而，该对象的空间分辨率降低)。
包括发送设备1的发送处理部分16的图7所示的MUX32在控制部分 35的控制下将高分辨率信息的有/无、对应于该高分辨率信息的优先权范围内 的一个帧速率(时间分辨率)和一个空间分辨率、以及非优先权范围内的一 个帧速率和一个空间分辨率放置到多路复用数据的一个首部或类似物上。接 收设备2相应于该首部(header)内放置的信息(在下文中将该信息称作首部 信息)认同高分辨率信息的有/无、优先权范围内的帧速率和空间分辨率、以 及非优先权范围内的帧速率和空间分辨率。
在发送设备1中，首部信息可以包含例如接收设备2发送的控制信息中 所含有的考虑点的(坐标)。在该情况下，图13所示的组合部分77可以相应 于发送设备1所发送的首部信息认同一个考虑点位置上的一个对象。换句话 说，在上述情况中，组合部分77相应于控制信息输入部分24 (参见图5)供 给的控制信息认同控制信息中含有的考虑点位置上的 一 个对象，从对象存储 器75中读出对象，并把该对象供应给子窗口存储器79。然而，当首部信息 含有一个考虑点时，组合部分77相应于该首部信息认同该考虑点一个位置上 的一个对象。在此情况下，在图5中，控制信息输入部分24不需要把该控制 信息供应给接收设备2。
下面，结合图16说明发送设备1经传送路径3向接收设备2发送的一个 图像的空间分辨率与时间分辨率之间的关系。
假定传送路径3的传送速率为R (bps)以及发送了由一个背景图像和三 个对象#1至#3组成的一个图像。为筒便起见，在该实施例中不考虑附加信 息。此外，假定为了显示具有特定空间分辨率的背景图像和对象#1至弁3， 它们的每个需要相同的数据量。
在此情况下，当用户不执行拖动操作时，在发送设备l中，如图16(A) 所示，按传送速率R除以4的R/4[bps]发送背景图像和对象弁l至弁3。当常 规时间分辨率为1/T帧/秒时，发送设备l在至多T秒的时间内可以发送背景 图像和对象#1至#3的每个的一帧数据。因而，在此情况下，接收设备2显 示用每帧TxR/4比特的数据获得的一个空间分辨率的背景图像和对象#1至 #3。
当用户执行在例如对象#1的位置上的拖动操作时，如图16 (A)所示， 发送设备1停止发送背景图像和对象#2和#3,并以传送路径3的整个传送 速率R仅发送对象弁1。此后，在从时间tl经过时段4T的时间t2上，当用
户停止拖动操作时，发送设备1按每个传送速率R74来发送背景图像和对象 #1至#3。
因而，在用户执行拖动操作的时候，发送设备1为对象#1发送4TxR 比特的数据。因此，假定用户执行拖动操作时，时间分辨率为0帧/秒，则接 收设备2显示用每帧4TxR比特的数据获得的一个空间分辨率的对象弁1。换 句话说，为相同量改善水平空间分辨率和垂直空间分辨率时，尽管时间分辨 率变为0帧/秒，但接收设备2显示是用户不执行拖动操作的情况的四倍(= (4TxR/ ( TxR/4比特)))的水平方向和垂直方向的每个中的一个空间分辨率 的对象#1。
换句话说，该空间分辨率的对象可以以牺牲时间分辨率为代价得到改善。 此外，与牺牲时间分辨率的情况相比较，用户考虑的部分的空间分辨率可以 快速改善。
在上述情况下，当用户为对象#1执行拖动操作时，不发送背景图像和 其它对象# 1和#3的所有数据。然而，如图16(B)所示，可以把较高传送 速率分配给对象#1的数据，而较低传送速率可以分配给背景图像和其它对 象#2和#3的凄t才居。
另一方面，即使执行了拖动操作，分配给背景图像和对象#1至#3的每 个的传送速率也不会从R/4变化。换句话说，在此情况下，由于以时间分辨 率为代价改善空间分辨率，(例如)尽管花费长时间显示数据，因此可以改善 空间分辨率，而不需要改变传送速率。
根据该实施例，如上所述，作为拖动操作结果的具有高空间分辨率的一 个对象被存储在对象存储器75中。在拖动操作停止后，高空间分辨率的对象 被粘贴到一个背景图像上。然而，粘贴高空间分辨率的对象的背景图像的位 置取决于发送设备1发送的对象附加信息中含有的一个对象移动矢量。
因而，接收设备2将应当相应于什么样的一个相邻帧的对象来认同什么 样的一个特定帧的对象。因此，当发送设备1的对象提取部分14(参见图3) 提取一个对象时，对象提取部分14将允许接收设备2将执行这样一个认同操 作的信息加到附加信息上。
图17示出了图3所示的对象提取部分14的结构实例。
图像输入设备11输出的一个图像和背景图像提取部分13输出的一个背 景图像被供应给一个减法部分81。减法部分81从图像输入部分输出的图像
中减去背景图^象提取部分13输出的背景图像，和获得作为一个对象的一个前 景图像。减法部分81获得的前景图像被供应给帧存^f渚器82和初始区域划分
部分83。
帧存储器82暂时存储减法部分81所供给的前景图像。初始区域划分部 分83使用减法部分81供给的处理的当前帧(该帧被称作考虑帧)的前景图 像和帧存储器82中存储的前一帧的前景图像(该前景图像被称作在前帧的前 景图像)执行初始区域划分处理。
换句话说，初始区域划分部分83相应于象素值按类别归类组成考虑帧的 前景图像的每个象素。实际上，当一个象素值由RGB (红、绿、蓝)表示时， 初始区域划分部分83根据由R、 G、 B值的要素组成的一个矢量(该矢量可 称之为颜色矢量)与该RGB空间中的多个小区域之间的关系按类别归类每个 象素。此外，初始区域划分部分83以相同的方式按类别归类包括帧存储器 82中存储的前一帧的前景图像的每个象素。
当考虑帧是例如第n帧时，初始区域划分部分83把第n帧的前景图像和 前一帧的第(n-l)帧的前景图像划分成时间上和空间上相邻的并按相同类别 归类的多个象素组成的区域。
换句话说，例如，假定组成第n帧的前景图像的每个象素和组成第(n-l ) 帧的前景图像的每个象素如图18 (A)所示按类别归类。在图18中(还在图 19和图20中)， 一个矩形中包含的一个字符C和一个数字的一个组代表一个 象素的类别。
在图18 (A)所示的情况中，当第n帧的前景图像和第(n-l)帧的前景 图像被划分成由按相同类別归类的多个象素组成的多个区域时，形成图18 (B)所示的虚线所代表的初始区域。
初始区域划分部分83所获得的初始区域被供应给图17所示的区域拼接 部分84。
区域拼接部分84执行区域边界处理，对初始区域划分部分83所供给的 初始区域进行边界处理。
换句话说，区域拼接部分84从对象信息存储器88中读出第(n-l )帧中 包含的一个对象的对象信息，并认同第(n-l )帧中包含的对象的位置和范围。 此外，区域拼接部分84认同组成第(n-l)帧中所含有的对象的象素，并拼 接含有象素的初始区域。
实际上，例如，假定在图19 (A)所示的实线表示的一个范围(一个方
框)内包含一个特定的对象Obj ,该对象Obj由被归类为类别c2、 c3、 c4和 c5的诸多象素组成。包含这些象素的初始区域被拼接。因而，在该实例中， 由类别c2、 c3、 c4和c5的象素组成的初始区域(在下文中，类别c弁i的象素 组成的初始区域被称之为初始区域c#i)被拼接为图19 (B )所示的阴影区域。
此外，区域拼接部分84计算拼接的初始区域(以下可以称之为拼接区域) 与邻近该拼接区域的初始区域之间的距离。在该实例中， 一个拼接区域与一 个邻近的初始区域(以下可以称之为邻近初始区域)之间的距离可以是包括 两个区域(拼接区域和邻近初始区域)的象素的象素值(颜色)的平均值的 距离(该距离可以被称之为RGB空间的距离)或两个区域的边界附近中的象 素的象素值(颜色)的连续性。
当拼接区域与邻近初始区域之间的距离小于(或等于) 一个预定阈值时， 区域拼接部分84拼接拼接区域和邻近初始区域，并生成一个新的拼接区域。 区域拼接部分84计算上述的距离，并重复拼接邻近初始区域和拼接区域直至 没有可以被拼接成拼接区域的邻近初始区域为止。
因而，用图19 (B)所示的拼接区域形成(例如)图19 (C)所示的一 个拼接区域。在图19C中，由于初始区域c7与c8之间的距离接近，它们被 拼接为图19 (B)所示的拼接区域。相反，由于初始区域cl与c6之间的距 离远，它们不能被4并接为一个拼接区域。
当没有邻近初始区域可以被拼接成如图19 (C)所示的拼接区域时，区 域拼接部分84提取由组成第n帧的前景图像的象素组成的一个部分，作为与 第(n-l)帧的对象Obj相对应的一个对象(该对象可以被称之为对应对象)，指 定与第n帧的对象Obj的标志相同的标志，并把该对象输出给拼接区域处理 部分85和分离区域处理部分86。
换句话说，根据该实施例，各帧中一致的对象被指定相同的标志。接收 设备2相应于该标志认同与邻近帧的某对象相当的邻近帧的某对象。
分配给第(n-l )帧的对象Obj的标志被包含在对象信息中，并存储在对 象信息存储器88中。对于对象信息存储器88,区域拼接部分84认同分配给 第(n-l)帧的对象Obj标志。
此外，当区域拼接部分84以上述方式提取与第(n-l)帧的所有对象相 对应的第n帧的对象时，区域拼接部分84提取将第n帧的每个初始区域和其 另一个邻近初始区域拼接为一个对象的一个区域，并把一个新标志(而不是 指定给(n-l)帧的对象的任何标志)分配给被提取的对象和把被提取的对象
输出给拼接区域处理部分85和分离区域处理部分86。
拼接区域处理部分85和分离区域处理部分86分别执行一个拼接区域处 理和一个分离区域处理。当拼接对象时执行拼接区域处理。当分离拼接对象 时执行分离区域处理。
换句话说，例如，就第(n-l)帧、第n帧和第(n+l)帧这三个连续帧 而言，如图20所示，在第(n-l)帧中，对象A和B相互接近。在第n帧中， 对象A和B相互重叠。换句话说，在第n帧中，对象A和B可以一皮拼接为 一个对象。在此情况下，已被拼接为一个对象的对象A和B按它们的方向连 续移动。在第(n+l)帧中，拼接对象:^皮分离成两个对象A和B。
在此情况下，在在区域拼接部分84的区域拼接处理中，第n帧的被拼接 对象相当于地(n-l )帧中的对象A和B 二者。相反，第(n + 1 )帧中被分 离的对象A和B相当于第N帧中的一个拼接对象。根据该实施例，假定特定 帧的一个对象相当于前一帧的一个对象。因而，如上所述，最好不用一个对 象相关两个对象。相反，最好不用两个对象相关一个对象。
因而，通过用第(n-l)帧的对象A和B的一个计算相关第n帧的一个 被拼接对象，拼接处理部分85执行一个拼接区域处理。通过用第n帧的一个 被拼接对象相关第(n+1 )帧的两个对象A和B之一 ，分离区域处理部分86 执行分离区域处理。
换句话说，拼接区域处理部分85把与第(n-l)帧的对象A和B之一相 同的标志分配给第n帧的一个拼接对象。另一方面，分离区域处理部分86把 与第n帧的拼接对象相同的标志分配给第(n+l)帧的两个被分离对象A和B之 一，并把一个新标志分配给第(n+l)帧的另一个被分离的对象。
作为由拼接区域处理部分85执行的拼接区域处理的结果的对象提取结 果和作为由分离区域处理部分86执行的分离区域处理的结果的对象提取结 果由区域拼接部分84进行拼接，并供应给一个新区域处理部分87。
当拼接区域处理部分85和分离区域处理部分86的对象提取结果含有一 个新对象时，新区域处理部分87 4丸行新对象的新区域处理。
有三种类型的对象，它们在拼接区域处理部分85和分离区域处理部分 86的对象提取结果中被分配新标志。第一类型的对象是这样一种对象由于
对象移动快并且该对象不在考虑帧和前一帧内空间重叠，因此区域拼接部分 84不提取像前一帧的对应对象那样的考虑帧的对象。第二类型的对象是这样
一种对象由于前一帧的对应对象与另一对象4并接，因此分离区域处理部分 86不可能用前一帧的对应帧相关考虑帧的对象。第三类型的对象是这样一种 对象由于在考虑帧中出现一个新对象，因此分配一个新标志给该新对象。
在这三种类型的对象中，一个新标志应当被分配给第三类型的一个对象。 因而，对于第一和第二类型的对象，新区域处理部分87从前一帧中检测一个 对应对象，并将和考虑帧对象相同的标志再分配给前一帧的对应对象。
事实上，新区域处理部分87核对对象信息存储器88,认同考虑帧的几 个过去帧的对象，和获得被认同对象的每个与考虑帧的考虑对象之间的距离， 该考虑对象被分配一个新标志。像对象之间的距离那样，也可以使用对象的 特征量之间的距离。对象特征量的实例是对象的一个区域、 一个由对象的每 个象素组成的轮廓线的切线方向的条形图(例如，沿上、下、左、右、左上、 左下、右上和右上八个方向的每个方向的条形图)、和对象的一个移动矢量。
新区域处理部分87获得被认同对象与考虑对象之间的距离的最小值。当 最小值小于(或等于)预定阈值时，新区域处理部分87把具有距考虑对象最 小距离的 一个对象处理为与考虑对象相对应的一个对象，把与获得的对象的 标志相同的标志分配给考虑对象，和输出该考虑对象。当认同对象与考虑对 象之间的距离的最小值不小于预定阚值(即，没有这样的对象，其相距考虑 对象的距离在过去帧中是短的)时，新区域处理部分87把该考虑对象处理为 考虑帧中新近出现的一个对象，把一个新标志分配给该考虑帧，和输出该考 虑帧。
新区域处理部分87的输出被供应给附加信息计算部分15 (参见图3 )和 发送处理部分16 (参见图3)。此外，新区域处理部分87的输出被供应给对 象信息存储器88。对象信息存储器88暂时存储一个对象(该对象的位置和 尺寸(轮廓)、组成该对象的象素的象素值等)和作为对象信息分配的一个标
志o
下面结合图21所示的流程图说明从一个图像提取一个对象的对象提取 处理。对象提取处理由图17所示的对象提取部分14执行。
图像输出部分11输出的一个图像和背景图像提取部分13输出的一个背 景图像被供应给减法部分81。在步骤S41,减法部分81从图像输入部分11
输出的图像中减去背景图像提取部分13输出的背景图像，获得作为 一 个对象 的一个前景图像。减法部分81获得的前景图像被供应给帧存储器82和初始
区域划分部分83。帧存储器82存储从减法部分81输出的前景图像。
另一方面，在步骤S42,初始区域划分部分83核对考虑帧的前一帧的一 个前景图像，执行根据图18所述的初始区域划分处理，获得初始区域，并把 获得的初始区域供应给区域拼接部分84。在步骤S43,区域拼接部分84核对 对象信息存储器88中存储的前一帧的对象信息，按照结合图19所述的方式 为初始区域划分部分83输出的初始区域执行区域拼接处理，并提取考虑帧的 一个对象。
区域拼接部分84所提取的对象被供应给拼接区域处理部分85和分离区 域处理部分86。在步骤S44,拼接区域处理部分85或分离区域处理部分86 按照结合图20所述的方式执行拼接区域处理或分离区域处理，把处理的结果 输出给新区域处理部分87。
在步骤S45，新区域处理部分87为拼接区域处理部分85和分离区域处 理部分86的输出执行上述的新区域处理。因而，新区域处理部分87输出考 虑帧的最终对象提取结果。对象的提取结果被供应给附加信息计算部分15(参 见图3 )和发送处理部分16 (参见图3 )。此外，对象的提取结果被供应给对 象信息存储器88并存储在其中。
此后，流程返回到步骤S20,在此步骤上，下一帧被指定为一个新考虑 顿。然后对象提取部分14重复相似的处理。
下面结合图22所示的流程图详细说明在图21的步骤S43上由区域拼接 部分84执行的区域拼接处理。
在区域拼接处理中，首先，在步骤S51上，区域拼接部分84核对关于在 考虑帧的前一帧(在前帧)中含有的一个对象的对象信息，把在前帧的对象 处理为一个考虑对象。在步骤S51上，使用考虑对象，如图19 (B)所示， 区域拼接部分84 4并接初始区域划分部分83输出的初始区域，形成一个拼接 区域。
此后，流程前进到步骤S52。在步骤S52,区域拼接部分84搜索邻近拼 接区域的一个初始区域(该初始区域可以称之为邻近初始区域)。此后，流程 前进到步骤S53。在步骤S53,区域拼接部分84计算拼接区域与考虑的初始 区域之间的距离。此后，流程前进到步骤S54。在步骤S54,区域拼接部分
84确定区域间的距离是否小于 一个预定的阈值。
当步骤S54上的确定结果表明拼接区域与考虑的初始区域之间的距离小 于预定的阈值时，流程前进到步骤S55。在步骤S55，区域拼接部分84把考 虑的初始区域拼接到拼接区域，从而形成一个新的拼接区域。此后，流程前 进到步骤S56。
相反，当步骤S54上的确定结果表明拼接区域与考虑的初始区域之间的 距离不小于预定的阈值时，流程前进到步骤S56,跳过步骤S55。换句话说， 区域拼接部分84不把考虑的初始区域拼接到拼接区域。在步骤S56，区域拼 接部分84确定邻近拼接区域的所有初始区域是否已经都被搜索。当步骤S56 上的确定结果表明邻近拼接区域的所有初始区域还未被搜索时，流程返回到 步骤S52。在步骤S52，区域拼接部分84搜索未被搜索到的邻近初始区域。 此后，区域祠-接部分84重复相似的处理。
当步骤S56上的确定结果表明邻近拼接区域的所有初始区域已经被搜索 时，流程前进到步骤S57。在步骤S57，区域拼接部分84确定在前帧中含有 的所有对象的每个是否已经被指定为考虑对象。当步骤S57上的确定结果表 明在前帧中含有的所有对象的每个都未被指定为考虑对象时，流程返回到步 骤S51。在步骤S51，区域拼接部分84把在前帧中含有的一个对象指定为考 虑对象，然后为新近考虑的对象重复相似的处理。
相反，当步骤S57上的确定结果表明在前帧中含有的所有对象的每个已 经被指定为考虑对象时，流程返回到被调用进程。
下面，结合图23所示的流程图详细说明在图21所示的步骤S44上由拼 接区域处理部分85执行的拼接区域处理。
首先，在步骤S61上，拼接区域处理部分85把处理的一个帧指定为一个 考虑帧，核对对象信息存储器88,在在前帧的对象在空间上与考虑帧的考虑 对象重叠的条件下认同前一帧(在前帧)中含有的对象数目(即，考虑帧的 在前帧的对象数目)，并把对象的数目调整到一个变量N。
此后流程前进到步骤S62。在步骤S62,拼接区域处理部分85确定变量 N是否为2或是否大于2。当变量N小于2(即，在前帧中不含有空间上与考 虑对象重叠的对象或对象的数目为1)时，流程前进到步骤S65,跳过步骤 S63和S64。
相反，当步骤S62上的确定结果表明变量N等于2或大于2 (即，在前
帧中含有空间上与考虑对象重叠的两个或多个对象)时，流程前进到步骤S63 。
在步骤S63,拼接区域处理部分85计算考虑对象与在空间上和考虑对象重叠 的在前帧的两个或多个对象的每个之间的距离。此后流程前进到步骤S64。
在步骤S64,拼接区域处理部分85从步骤S63上获得的对象中选择具有 到考虑帧最小距离的一个对象，并把和所选择对象的标志相同的标志分配给 考虑对象。
此后，流程前进到标志S65。在步骤S65,拼接区域处理部分85确定考 虑帧中含有的所有对象的每个是否已经被指定为考虑对象。当步骤S65上的 确定结果表明考虑帧中含有的所有对象的每个还未被指定为考虑对象时，拼 接区域处理部分85把这些对象中的一个指定为考虑帧。此后，流程返回到步 骤S61。在步骤S61,拼接区域处理部分85重复相似的处理。
另一方面，当步骤S65上的确定结果表明考虑帧中含有的所有对象的每 个已经被指定为考虑对象时，流程返回到被调用进程。
下面，结合图24所示的流程图详细说明图21所示的在步骤S44上由分 离区域处理部分86执行的分离区域处理。
分离区域处理部分86核对对象信息存储器88并把考虑帧的前一帧(在 前帧)中含有的对象之一指定为一个考虑对象。此外，在步骤S71,分离区 域处理部分86认同与对应于考虑对象的考虑帧的对象数目(认同的对象被称 之为对应对象)，并把对象的数目调整到变量N。
此后，流程前进到步骤S72。在步骤S72,分离区域处理部分86确定变 量N是否等于2或大于2。
当步骤S72上的确定结果表明变量N不大于2 (即，考虑帧中不含有在 空间上与考虑对象重叠的对象或对象的数目为1)时，流程前进到步骤S76, 跳过步骤S73至S75。
相反，当步骤S72上的确定结果表明变量N等于2或大于2 (即，考虑 帧中含有空间上与考虑对象重叠的两个或多个对象(对应于考虑对象的对 象))时，流程前进到步骤S73。在步骤S73,分离区域处理部分86计算这些 对象的每个与考虑对象之间的距离。此后，流程前进到步骤S74。
在步骤S74,分离区域处理部分86从这些对象中选择相距考虑对象具有 最小距离的一个对象，和把与被选择对象的标志相同的标志分配给考虑对象。
此后，流程前进到步骤S75。在步骤S75,分离区域处理部分86把一个
新标志分配给在步骤S74上未被选择的对象之一 (即，除相距考虑对象最短
距离的对象以外的对象)。此后，流程前进到步骤S76。
在步骤S76,分离区域处理部分86确定在前帧中含有的所有对象的每一 个是否已经被指定为考虑对象。当步骤S76上的确定结果表明在前一帧中含 有的所有对象的每一个还未被指定为考虑对象时，分离区域处理部分86指定 这些对象之一为考虑对象。此后，流程返回到步骤S71。在步骤S71,分离区 域处理部分86重复相似的处理。
当步骤S76上的确定结果表明在前帧中含有的所有对象的每一个已经被 指定为考虑对象时，流程返回到被调用进程。
在上述情况下，当用户用控制信息输入部分24指定一个考虑点时，发送 设备1控制数据的传送，以便以图像的时间分辨率为代价来改善含有考虑点 的优先权范围内的一个图像的空间分辨率。另一方面，发送设备l可以学习 用户的偏爱，相应于学习结果来检测用户打算用 一个高空间分辨率观看的一 个对象或类似物，并控制数据的传送以便用一个高空间分辨率显示该对象。
图25示出了在发送设备1执行这样一种控制的情况下图7所示的控制部 分35的结构实例。
优先权范围指定部分91接收从接收设备2发送的一个控制信号，按上述 方式指定优先权范围，并把指定的优先权范围供应给选择控制部分92和特征 量提取部分93。
选择控制部分92控制MUX32 (参见图7)的背景图像、对象和附加信 息的数据选择。换句话说，当选择控制部分92从优先权范围指定部分91接 收到优先权范围时，选择控制部分92控制MUX32 (参见图7)以图像的时 间分辨率为代价改善该优先权范围内图像的空间分辨率。此外，当选择控制
部分92接收到来自对象检测部分95的一个标志时，选择控制部分92控制 MUX32 (参见图7)以图像的时间分辨率为代价改善具有该标志的对象的空 间分辨率。
数据量计算部分34 (参见图7 )向选择控制部分92供应MUX32输出的 多路复用数据的数据速率。选择控制部分92控制MUX32的数据选择，使多 路复用的数据速率不超过传送路径3的传送速率。
预处理部分12 (参见图3)输出的背景图像、对象和附加信息，以及优 先权范围指定部分91输出的优先权范围，被供应给特征量提取部分93。特
征量提取部分93提取从优先权范围指定部分91输出的优先权范围内的图像 的特征量。换句话说，特征量提取部分93提取优先权范围内含有的对象的特 征量，使该特征量反映用户正在考虑的图像的趋势。
实际上，例如如图26所示，特征量提取部分93提取的特定人的一个对 象的特征量表示 一个对象是一个人，对象的移动是一致的，对象的景深方 向的位置(景深)是前景，显示的对象的位置是中央，对象正在移动(对象 是正在移动的一个位置)，对象的区域包含眼睛、鼻子和嘴巴(对象的区域由 眼睛、鼻子和嘴巴组成)，对象的图案是条紋图案(对象是一个条紋部分)， 对象的颜色是红色的(对象是一个红色部分)。
特征量提取部分93获得一个提取对象的矢量(具有特征量的元素)(该 矢量可以被称之为特征量矢量)，并将条形图存储部分94中存储的获得特征 量矢量的条形图的频率递增1。
条形图存储部分94把特征量矢量的条形图作为用户偏爱的学习结果进 行存储。
对象检测部分95从预处理部分12 (参见图3 )供应的那些对象中检测一 个对象，以便从条形图存储部分94中获得具有条形图最高频率的特征量矢 量。换句话说，对象检测部分95按照与特征量提取部分93相同的方式获得 一个特征矢量，用于预处理部分12 (参见图3)供给的一个对象。此外，对 象检测部分95核对条形图存储部分94中存储的条形图，确定预处理部分12 (参见图3)供给的对象的特征量矢量是否被包含在具有最高频率的特征量 矢量的特征量矢量空间的一个预定范围内。当特征量矢量被包含在预定范围 内时，对象检测部分95把该对象指定为用户打算考虑的对象，并把该对象的 标志供应给选择控制部分92。
下面，结合图27所示的流程图说明MUX32 (参见图7)的控制处理。 该控制处理由图25所示的控制部分35执行。
首先，在步骤S81,优先权范围指定部分91确定控制信号是否已经从接 收设备2发送。当步骤S81上的确定结果表明控制信号已经从接收设备2发 送时，流程前进到步骤S82。在步骤S82上，优先权范围指定部分91相应于 该控制信号按上述方式指定一个优先权范围，并把该优先权范围供应给选择 控制部分92和特征量提取部分93。
在步骤S83,选择控制部分92控制MUX32 (参见图7)以图像的时间
分辨率为代价改善优先权范围指定部分91所供给的优先权范围内一个图像 的(一个对象和一个背景图像)的空间分辨率。
在步骤S84上，特征量提取部分93提取优先权范围指定部分91所供给 的优先权范围内的图像的特征量，获得具有由对象的每一特征量所组成的元 素的一个特征量矢量。在步骤S85上，特征量提取部分93将条形图存储部分 94中存储的特征量矢量的条形图的频率递增1。流程返回到步骤S81。
在步骤S81到步骤S85的循环中，条形图存储部分94形成用户打算考 虑的对象特征矢量的一个条形图。换句话说，条形图存储部分94学习用户的 偏爱。
此外，特征量提取部分93可以量化所获得的特征量矢量，并递增与特征 量矢量的量化结果相对应的代码的频率。在这种情况下，条形图存储部分94 暂时存储代码的条形图。
相反，当步骤S81上的确定结果表明接收设备2还未发送控制信号时， 流程前进到步骤S86。在步骤S86上，对象纟企测部分95按照与特征量提取部 分93相同方式获得预处理部分12 (参见图3)所提供的对象的特征量矢量。 此外，在步骤S87上，对象检测部分95核对条形图存储部分94中所存储的 条形图，并确定在有最高频率的特征量矢量周围的特征量矢量空间的 一个预 定范围内是否包含预处理部分12 (参见图3)所提供的对象的一个特征量矢 量。换句话说，在步骤S87，对象检测部分95确定具有最高频率的特征量矢 量与预处理部分12所供给的对象的特征量矢量之间的距离是否等于或小于 一个预定值。
如上所述，当条形图存储部分94存储作为矢量量化结果的代码条形图 时，对象检测部分95量化所获得的特征量矢量。在步骤S87,对象检测部分 95确定作为矢量量化结果的代码是否与条形图存储部分94中存储的条形图 的最高频率的代码相匹配。
当步骤S87上的确定结果表明具有最高频率的特征量矢量与预处理部分 12所供给的对象的特征量矢量之间的距离不小于预定值(即，由于用户的癖 好，预处理部分12供给的对象是用户不打算考虑的对象)时，流程前进到步 骤S88。在步骤S88上，选择控制部分92控制MUX32 (参见图7),使接收 设备2用常规空间分辨率和常规时间分辨率显示一个图像。此后，流程返回 到步骤S81。 相反，当步骤S87上的确定结果表明具有最高频率的特征量矢量与预处 理部分12所供给的对象的特征量矢量之间的距离等于或小于预定值(即，由 于用户的癖好，预处理部分12供给的对象是用户打算考虑的对象)时，对象
检测部分95把预处理部分12供给的对象的标志输出到选择控制部分92。此 后，流程前进到步骤S89。
在步骤S89上，选择控制部分92控制MUX32 (参见图7)以时间分辨 率为代价改善具有从对象检测部分95供给的标志的对象的空间分辨率。此 后，流程返回到步骤S81。 '
因而，在这种情况下，接收设备2显示具有从对象检测部分95输出的标 志的一个对象，以便以时间分辨率为代价提高其空间分辨率。此后，接收设 备2连续显示具有高空间分辨率的对象。
结果，接收设备2自动地显示用户倾向考虑的对象，从而不需要用户控 制(干预)控制信息输入装置24就可以提高对象的空间分辨率。此后，接收 设备2连续显示高空间分辨率的对象(然而，在此情况下，正如上所述那样， 图像的时间分辨率恶化)。
在条形图存储部分94中作为用户偏爱的学习结果存储的特征量矢量的 条形图可以周期性地、非周期性地或相应于接收设备2的用户请求来重新设 置。
在上述情况下，其特征量矢量等于(匹配)或小于条形图最高频率的特 征量矢量的对象的空间分辨率得到改善。另一方面，具有这样一种特征量矢 量的所有对象的空间分辨率也得到改善它的特征量矢量等于(匹配)或小 于其条形图中的频率超过一个预定值的特征量矢量。
优先权范围是考虑点位于重心的一个预定范围(在上述情况下，优先权 范围是一个矩形范围)。然而，也可以被说成包含考虑点的一个矩形范围中 的一个图像区域是用户有兴趣观看的一个图像区域(以下，把该区域称之为 兴趣对象区域)。
另一方面，接收设备2显示的移动图像具有一个移动图像区域(以下， 该区域可以称之为移动区域)和一个静止图像区域(以下，该区域可以称之 为静止区域)。
为了改善兴趣对象区域的空间分辨率，必须在图像的移动区域或静止区 域中认同(指定)用户正在考虑的兴趣对象区域。当用户正在考虑的兴趣对
象区域可以被指定时，就可以获得用户未考虑的图像区域(例如，背景图像 区域)。
即使用户考虑的 一个兴趣对象区域可以在一个特定时间被指定，此后也 可以被改变。因而，当用户考虑的一个图像区域被改变到另一个图像区域时， 必须把新图像区域认同为兴趣对象区域。
此外，可以存在多个用户考虑的兴趣对象区域。在这种情况下，必须分 离地认同这些兴趣对象区域。
于是图28示出了在便携式终端单元被用作图1所示的发送设备1和接收
设备2的情况下图1所示的图像发送系统的第二结构的实例。在图28中，与 图2相似的部分有相同的参考标号表示，并省略对它们的说明。换句话说， 图2 8所示的图像发送系统的结构基本上与图2所示的图像发送系统的结构相 同。
在图2所示的实施例中，控制诸如用户正在考虑的考虑点的坐标的空间 分辨率和时间分辨率所需的所有信息、空间分辨率、时间分辨率和传送速率
作为控制信息从接收设备2发送到发送设备1。相反，根据图28所示的实施 例，正如下面将要说明的那样，用户用接收设备2的按键部分2-3操作(点 击)的显示部分2-2上所显示的图像的考虑点的信息作为控制信息被发送(在 下文中，可以把考虑点上的信息称之为点击数据)。
当发送设备1收到来自接收设备2的点击数据时，发送设备1相应于点 击数据指定从接收设备2所显示的图像(该图像由发送设备1的摄像机部分 1-1拍摄)中用户正在考虑的一个图像区域(兴趣对象区域)，并控制发送给 接收设备2的图像数据的信息量，以便当满足一个预定条件时改变指定图像 区域的空间分辨率和时间分辨率。
下面图29示出了图28所示的发送设备1的结构实例。在图29中，与图 3相似的部分由相同的参考标号表示，并省略对它们的说明。在图29所示的 发送设备1中，背景图像提取部分1013、对象提取部分1014和发送处理部 分1016被设置，以分别替代背景图像提取部分13、对象提取部分14和发送 处理部分16。此外，接收设备2发送的点击数据不仅供应给与发送处理部分 16相对应的发送处理部分1016,还供应给预处理部分12。除这些方面(要 点)外，图29所示的发送设备1的结构大体上与图3所示的发送设备1的结 构相同。然而，在图29所示的发送设备1中，背景图像提取部分1013的输
出不供应给对象提取部分1014。相反，在图3所示的发送设备1中，背景图
像提取部分13的输出被供应给对象提取部分14。此外，在图29所示的发送 设备1中，对象提取部分1014的输出被供应给背景图像提取部分1013。相 反，在图3所示的发送设备1中，对象提取部分14的输出不供应给背景图像 提取部分13。
点击数据被供应给预处理部分12。在与处理部分12中，点击数据被供 应给对象提取部分1014。对象提取部分1014提取(指定)接收设备2的用 户从图像输入部分11所拍摄的图像中考虑的一个图像区域(兴趣对象区域)， 并把与提取的(指定的)兴趣对象区域相对应的图像数据供应给发送处理部 分1016。当存在接收设备2的用户对图像输入部分11所拍摄的图像进行考 虑的多个兴趣对象区域时，对象提取部分1014把多个兴趣对象区域的图像数 据供应给发送处理部分1016。此外，对象提取部分1014所提取的兴趣对象 区域的图像数据还被供应给附加信息计算部分15 。
作为 一个实例，用户进行考虑的兴趣对象区域是诸如一个实物的对象。 下面，说明对象提取部分1014提取作为兴趣对象区域的一个实例的一个对象 (以下称之为对象图像)的情况。应当注意的是兴趣对象区域不局限于一个 对象。相反， 一个兴趣对象区域可以是一个图像区域，而不是一个对象、一 个对象中的一个图像区域、或背景图像部分(下面将进行说明)。然而，根据 该实施例，将作为一个实例说明一个兴趣对象区域是一个对象的情况。下面 将说明对象提取部分1014所执行的对象提取处理(兴趣对象区域指定处理)。
背景图像提取部分1013相应于对象提取部分1014的对象提取结果从图 像输入部分11供给的图像数据中提取与该图像一个背景图像的部分(即，除 兴趣对象区域外的一个图像区域；以下把背景图像部分称之为背景图像)相 对应的一个信号(以下称之为背景图像数据)，并把提取的背景图像数据供应 给发送处理部分1016和附加信息计算部分15。在该实例中，其活动性低(即， 没有像图像那样的价值)的一个平面图像区域被处理为一个背景图像。当然， 像没有价值的图像那样，背景图像可以是用户不感兴趣对象。在该实例中， 为了简便起见，上述平面图像区域将被说成背景图像。
附加信息计算部分15相应于背景图像提取部分1013供给的背景图像数 据检测代表背景图像移动的背景图像移动矢量(该背景图像的移动相当于沿 着图像输入部分ll的拍摄方向移动)。此外，附加信息计算部分15相应于对
象提取部分1014供给的对象图像的图像数据(在下文中，把该图像数据称之 为对象图像数据)检测代表对象移动的一个对象移动矢量。附加信息计算部
分15把作为附加信息一部分的被检测的移动矢量供应给发送处理部分1016。 此外，附加信息计算部分15相应于作为附加信息的从对象提取部分1014供 给的对象图像数据，向发送处理部分1016供应关于对象的信息，比如由图像 输入部分11拍摄的图像(帧)的对象位置和轮廓。换句话说，当对象提取部 分1014从图像数据中提取一个对象图像时，对象提取部分1014还提取有关 该对象的信息，比如对象的位置和轮廓，并把该信息供应给附加信息计算部 分15。附加信息计算部分15把有关该对象的信息输出为附加信息。
发送处理部分1016相应于接收设备2供给的点击数据对对象提取部分 1014供应的对象图像数据、背景图像提取部分1013供应的背景图像数据、 和附加信息计算部分15供应的附加信息进行编码，以便当接收设备2显示的 图像的对象图像的空间分辨率被改善时，满足传送路径3的数据速率的条件。 此后，发送处理部分1016多路复用该被编码的对象图像数据、编码的背景图 像数据、和编码的附加信息，并且经传送路径3向接收设备2发送多路复用 数据、帧速率信息等。
下面结合图30所示的流程图说明图29所示的发送设备1所执行的处理。 在步骤S91,发送设备1把图像输入部分11获得的图像数据输入给预处 理部分12。
此后，在步骤S92,发送设备1接收从接收设备2发送的点击数据，并 把该点击数据输入给预处理部分12。
在步骤S93,已经接收到图像数据和点击数据的预处理部分12执行用于 提取背景图像、对象和附加信息的预处理，并把在预处理中获得的背景图像 数据、对象图像数据和附加信息供应给发送处理部分1016。
在步骤S94上，发送处理部分1016计算对象图像数据、背景图像数据和 附加信息的数据量，以便满足传送路径3的数据速率的条件。此后，发送处 理部分1016相应于该数据量对对象图像数据、背景图像数据、和附加信息进 行编码，随后多路复用它们。此后，发送处理部分1016经传送路径3将多路 复用的数据和帧速率信息发送给接收设备2。
此后，流程返回到步骤S1。在步骤S1上，发送设备1重复相似的处理。
图31示出了图28所示的接收设备2的结构实例。在图31中，与图5
中相似的部分用相似的参考标号表示，并省略对它们的说明。换句话说，在
图31所示的接收设备2中，设置一个组合处理部分1022,来代替组合处理 部分22。此外，设置了点击数据输入部分1024和点击数据发送部分1025， 来分别代替设置了控制信息输入部分24和控制信息发送部分25。除这些方 面夕卜，图28所示的接收设备2的结构基本上和图5所示的接收设备2的结构 相同。
发送设备1经传送路径3发送的多路复用数据被接收处理部分21接收。 接收处理部分21把接收的多路复用数据分离成编码背景图像数据、编码对象 图像数据、和编码附加信息数据，并对分离的数据进行解码。此后，接收处 理部分21把解码的背景图像数据、对象图像数据和附加信息供应给组合处理 部分1022。
组合处理部分1022组和解码的背景图像数据、对象图像数据和附加信 息，并把该组合的图像信号供应给图像输出部分23。此外，组合处理部分1022 相应于点击数据输入部分1024供应的点击数据控制组合的图像的空间分辨 率和时间分辨率。
点击数据输入部分1024相应于用户进行的按键部分2-3的操作生成代表 点击位置(坐标位置)和点击时间的点击数据。按键部分2-3作为一个指点 装置，用于指定在相当于接收设备2 (参见图28)的显示部分2-2的图像输 出部分23上显示的图像的坐标位置。换句话说，当用户为图像输出部分23 上显示的图像的预期图像位置(兴趣对象区域)点击按键部分2-3时，点击 数据输入部分1024生成点击数据，它代表点击位置的坐标信息和点击时间。 点击数据输入部分1024生成的点击数据被发送给组合处理部分1022和点击 数据发送部分1025。
当点击数据发送部分1025接收到来自点击数据输入部分1024的点击数 据时，点击数据发送部分1025经传送路径3把该点击数据发送给发送设备1。
下面结合图32所示的流程图简要说明由图31所示的接收设备2执行的 处理。
首先，在步骤SIOI，接收设备2接收发送设备1经传送路径3发送的多 路复用数据。
在步骤S102，接收处理部分21将多路复用数据分离成编码背景图像数 据、编码对象图像数据、和编码附加信息数据，并对分离的编码数据进行解
码。该解码的背景图像数据、对象图像数据和附加信息被发送给组合处理部
分1022。
在步骤S103上，在接收设备2中，点击数据输入部分1024获得与用户 进行的按键部分2-3的点击操作相对应的点击数据，并把点击数据供应给组 合处理部分1022和点击数据发送部分1025。这样，该点击数据就从点击数 据发送部分1025发送到发送设备1。
在步骤S104,组合处理部分1022相应于接收处理部分21供给的背景图 像数据、对象图像数据、和附加信息以及点击数据输入部分1024供给的点击 数据组合一个图像并控制该组合图像的空间分辨率及时间分辨率。发送设备 1可以把接收设备2发送的点击数据放置在多路复用数据的首部信息中，并 把合成的首部信息发送给接收设备2。在此情况下，接收设备2的组合处理 部分1022可以从首部信息中获得点击数据。因而，不需要将该点击数据从点 击婆t据输入部分1024供应纟合组合处理部分1022。
在步骤S105，在图像输出部分23的液晶显示器或类似物上显示由组合 处理部分1022组合的图4象。
此后，流程返回到步骤SIOI。在步骤S101上，接收设备2重复相似的 处理。
图33示出了图29所示的发送设备1的发送处理部分1016的真实(实际) 的结构实例。在图33中，与图7相似的部分用相似的参考标号表示，并省略 对它们的说明。换句话说，除了图33所示的发送处理部分1016把点击数据 而不是整个控制信息供应给控制部分35外，图33所示的发送处理部分1016 的结构基本上与图7所示的发送处理部分1016的结构相同。
在图33中，背景图像数据、对象图像数据、和附加信息从图29所示的 预处理部分12供应给发送处理部分1016。背景图像数据、对象图像数据和 附加信息被输入给编码部分31和控制部分35。编码部分31按上述方式对供 应的背景图像数据、对象图像数据和附加信息进行编码，并把得到的编码数 据供应给MUX32。 MUX32在控制部分35的控制下选择编码的背景图像数据、 编码的对象图像数据和编码的附加信息数据，并把选择的数据作为多路复用 数据供应给发送部分33。发送部分33相应于传送路径3的传送标准把MUX32 供给的多路复用数据调制为下游部分(下行数据流)，并经过传送路径3向接 收设备2发送调制的数据。
另一方面，控制部分35控制从MUX32供应的多路复用数据的输出，， 使数据量计算部分34供应的数据速率不超过传送路径3的传送速率。此外， 控制部分35经传送路径3接收从接收设备2发送的点击数据，并相应于点击 数据控制MUX32选择和多路复用编码的数据。
下面，结合图34所示的流程图由说明图33所示的发送处理部分1016 执行的发送处理。
首先，在步骤Slll,发送处理部分1016的控制部分35确定点击数据是 否已从接收设备2发送。当步骤Slll上的确定结果表明接收设备2未发送点 击数据(即，控制部分35未接收到点击数据)时，流程前进到步骤S112。 在步骤S112,和图10所示的步骤S22的情况一样，控制部分35控制MUX32 选择编码的背景图像数据、编码对象数据和编码附加信息数据，并多路复用 该选择的数据，以便接收设备2可以用常规时间分辨率显示一个图像。
此后，流程前进到步骤S113。在步骤S113上，发送处理部分1016从发 送部分33经传送路径3发送MUX32供应的多路复用数据。此后，流程返回 到步骤Slll。
当步骤Slll上的确定结果表明接收设备2已经发送点击数据(即，控制 部分35已经接收到点击数据)时，流程前进到步骤S114。在步骤S114上， 控制部分35相应于点击数据认同用户已经用接收设备2的按键部分2-3指定 的一个考虑点的坐标(点击位置)和点击时间。
此后，在步骤S115上，控制部分35相应于考虑点的坐标(点击位置) 和点击时间按下面将要描述的方式指定接收设备2方的用户考虑的兴趣对象 区域，把兴趣对象区域指定为其空间分辨率被优先改善的一个图像的优先权 范围，并检测优先权范围内的一个图像以及其附加信息。在这种情况下，优 先权范围内的图像是对象图像。非优先权范围内的一个图像是例如像不感兴 趣对象区域内的一个背景图像那样的一个图像。
此后，在步骤S116上，控制部分35控制MUX32选择优先权范围内的 图像(对象图像)、非优先权范围内的一个图像(背景图像)以及附加信息的 编码数据，并多路复用它们。换句话说，当控制部分35接收到来自接收设备 2的点击数据时，像图10所示的步骤S26上情况那样，控制部分35控制 MUX32，以便优先权范围内的图像的空间分辨率以时间分辨率为代价得到改 善。
此外，在步骤S116上，控制部分35控制MUX32把高分辨率信息作为 优先权范围的位置和尺寸信息插入到被选作多路复用数据的附加信息中。此 后，流程前进到步骤S113。
在步骤S113上，发送设备33经传送路径3发送MUX32输出的多路复 用数据。此后，流程返回到步骤Slll。
如上述的那样，在图34所示的发送处理中，执行和图IO所示的处理相 似的处理。因而，当接收设备2的用户为了包含考虑点上的优先权分为内的 图像而连续地操作点击数据输入部分1024 (例如，他和她连续地指定相同的 考虑点)时，优先发送改善空间分辨率的数据。因而，包含考虑点的优先权 范围内的图像的空间分辨率被逐渐改善。结果优先权范围内的图像被更加清 晰地显示了。换句话说，接收设备2侧的用户进行考虑的一个图像(一个兴 趣对象区域和一个对象图像)被更加清楚地显示。
如上所述，图像数据的传送相应于传送路径3的传送速率进行控制，以 便优先权范围内的图像(一个兴趣对象区域和一个对象图像)的空间分辨率 和时间分辨率在分辨率的范围内变化。因而，在有限的传送速率下，可以进 一步改善与接收设备2所显示的一个考虑点相对应的一个对象图像的空间分 辨率。换句话说，由于优先权范围内的对象图像的空间分辨率以图像的时间 分辨率为代价得到改善，因此可以以有限传送速率更加清楚地显示在接收设 备2上显示的对象图像(即，空间分辨率可以被进一步改善)。
下面图35示出了图31所示的组合处理部分1022的结构的实例。在图 35中，和图13所示的部分相同的部分由相同的参考标号表示，并省略对它 们的说明。换句话说，组合处理部分1022中不设置背景图像标志存储器74。 组合处理部分1022中设置的是组合部分1077而不是组合部分77。此外，供 给组合部分1077的是点击数据而不是控制信息。除了这些方面外，图35所 示的组合处理部分1022的结构基本上与图13所示的组合部分22的结构相 同。
参见图35，接收处理部分21 (参见图31)输出的背景图像数据被输入 给背景图像写入部分71。接收处理部分21输出的对象图像数据被输入给对 象写入部分72。接收处理部分21输出的附加信息被输入给背景图像写入部 分71 、对象写入部分72和组合部分1077。
背景图像写入部分71把供给的背景图像数据连续地写入背景图像存储
器73。然而，在图35所示的实施例中，未设置图13所示实施例的背景图像 标志存储器74。因而，在图35中，当背景图像写入部分71把背景图像数据 写到背景图像存储器73上时，背景图像写入部分71不核对一个背景图像标志。
组合部分1077相应于附加信息中包含的背景图像移动矢量从背景图像 存储器73中存储的背景图^f象凄t据中读出在当前时间(当前帧)显示的帧的一 个背景图像，相应于附加信息中包含的一个对象移动矢量将对象存储器75中 存储的 一个对象图像与该背景图像相组合，并把当前帧的组合图像供应给显 示存储器78。
此外，当组合部分1077接收到来自图31所示的点击数据输入部分1024 的点击数据时，组合部分1077从对象存储器75中读出包含一个考虑点坐标 位置的对象图像数据，该考虑点被包含在点击数据中，并把获得的对象图像 数据供应给子窗口存储器79。
下面结合图36所示的流程图说明图35所示的组合处理部分1022所执行 的处理(组合处理)。
首先，在步骤S121上，对象写入部分72相应于对象存储器75中存储的 一个对象标识按上述方式写入图35所示的解码部分53所供应的对象图像数 据。
此后，流程前进到步骤S122。对象写入部分72确定附加信息是否包含 高分辨率信息。当步骤S122上的确定结果表明附加信息包含高分辨率信息 (即，接收设备2的用户已经操作按键部分2-3，点击数据已经发送给发送设 备1,并且发送设备1随后为优先权范围内的一个图像发送具有高空间分辨 率的对象图像数据)时，流程前进到步骤S123。在步骤S123上，对象写入 部分72将对象标志存储器76的相关对象标志调整到"1"。
换句话说，当发送设备l已经为优先权范围内的图像发送具有高空间分 辨率的对象图像数据时，在步骤S121上，具有高空间分辨率的对象图像数据 被写入对象存储器75。因而，在步骤S123上，组成具有高空间分辨率的对 象的像素的对象标志被调整到"1"。
此后，流程前进到步骤S124。在步骤S124上，组合部分1077从对象存 储器75中读出优先权范围内的对象图像数据，并把获得的对象图像数据写入 到子窗口存储器79。
换句话说，当步骤S122上的确定结果表明附加信息包含高分辨率信息
时，则如上述的那样，用户已经操作按键部分2-3，点击数据已经发送给发送 设备1,并且发送设备1随后为优先权范围内的一个图像发送具有高空间分 辨率的对象图像数据。发送给发送设备1的点击数据还供应给组合部分1077。 当组合部分1077接收到点击数据时，在步骤S124上，组合部分1077相应于 包含在点击数据中的考虑点的坐标和点击时间认同优先权范围，从对象存储 器75中读出已从发送设备1发送的在优先权范围内的具有高空间分辨率的一 个对象，并把获得的对象写到子窗口存储器79。此外，如上所述的那样，当 发送设备1发送的首部信息包含点击数据时，组合部分1077可以依据首部信 息中包含的点击数据认同该优先权范围。
此后，流程前进到步骤S125。在步骤S125上，组合部分1077相应于附 加信息中包含的背景图像移动矢量从背景图像存储器73中读出当前帧的背 景图像数据。此外，组合部分1077从对象存储器75中读出显示的当前帧的 对象图像数据。此后，组合部分1077相应于附加信息中包含的一个对象移动 矢量将当前帧的背景图像数据与已经从对象存储器75中读出的对象图像数 据相组合，并把该当前帧的组合图像写到显示存储器78。换句话说，组合部 分1077把背景图像数据写入到显示存储器78,然后将对象图像数据覆盖写 到显示存储器78。结果，组合部分1077将已经组合了背景图像和对象图像 的当前帧的图像数据写入到显示存储器78。
在上述方式中，写入到显示存储器78的当前帧的图像数据和写入到子窗 口存储器79的对象图像数据被供应给图31所示的图像输入部分23,并在其 上显示。
相反，当步骤S122上的确定结果表明附加信息不包含高分辨率信息(即， 接收设备2的用户还未操作按键部分2-3),流程前进到步骤S125,跳过步骤 S123和S124。如上所述的那样，在步骤S125,组合部分1077从背景图像存 储器73读出当前帧的背景图像数据，从对象存储器75中读出所需的对象图 像数据，并相应于附加信息将当前帧的背景图像和已经从对象存储器75中读 出的对象图像数据进行组合。结果，当前帧的图像数据被形成并被写入到显 示存储器78。此后，流程返回到步骤S121。在步骤S121上，组合部分1077 重复相似的处理。
根据上述的组合处理，按照和结合图15所述情况相同的方式，显示用户
考虑作为一个对象的具有高空间分辨率的一个图像。图35所示的组合处理部
分1022没有图13所示的背景图像标志存储器74。因此，图35所示的背景 图像写入部分71总是把供应的背景图像数据写入到背景图像存储器73。因 此，在图36所示的组合处理中，背景图像的空间分辨率不像参考图13至15 所述的情况那样能够得到改善。
下面，将说明相应于从接收设备2供给的点击数据提取对象图像(兴趣 对象区域)的方法。该方法由图29所示的对象提取部分1044执行。
图37示出了图29所示的预处理部分12的对象提取部分1014的结构实例。
在图37中，图29所示的图像输入部分11所供应的图像数据被存储到图 像存储器201。该图像数据从图像存储器201中读出，并供应给静止区域和 移动区域确定部分203的公共端、对象图像提取部分213和选择开关207。 图像存储器201存储静止区域和移动区域确定部分203进行静止区域和移动 区域确定所需的至少几个帧的图像数据，该静止区域和移动区域确定部分203 是图像存储器201的一个下游部分。
此外，接收设备2经传送路径3发送的点击数据被存储到点击数据存储 器202。该点击数据从点击数据存储器202中读出并供应给静止区域和移动 区域确定部分204的 >共端、连续点击确定部分204和选一奪开关206。点击 数据存储器202存储在作为点击数据存储器202的一个下游部分的连续点击 确定部分204所执行的连续点击确定一个预定时间周期(例如，大于500到 700毫秒)所需的点击数据。
静止区域和移动区域确定部分203确定由接收设备2发送的当前点击数 据所代表的点击位置(图像上的坐标值)周围的局部小块的图像区域(例如， 16xl6像素)是移动区域还是静止区域。换句话说，静止区域和移动区域确 定部分203为点击位置周围的16 x 16个像素获得当前帧的图像区域与 一个过 去帧的图像区域之间的差值，该过去帧先于当前帧几个帧(以下，把该过去 帧称为过去帧)。当帧间的差值等于或小于预定阈值时，静止区域和移动区域 确定部分203确定该图像区域是静止区域。相反，当该差值大于预定阈值时， 静止区域和移动区域确定部分203确定该图像区域是移动区域。当处理彩色 图像时，静止区域和移动区域确定部分203为R、 G和B的每一个的16x 16 个像素的图像获得当前帧的图像区域与过去帧的图像区域之间的差值。当为
R、 G、 B获得的帧差值的绝对值的平均值等于或小于一个预定阈值(例如，
等于或小于IO)时，静止区域和移动区域确定部分203确定该图像区域是静 止区域。相反，当该平均值大于预定阈值时，静止区域和移动区域确定部分 203确定该图像区域是一个移动区域。当移动区域和静止区域确定部分203 确定图像区域是一个静止区域时，静止区域和移动区域确定部分203确定点 击数据存储器202输出的当前点击数据是静止点击(静止区域中的一个点 击)。当静止区域和移动区域确定部分203确定图像区域是一个移动区域时， 静止区域和移动区域确定部分203确定点击数据存储器202输出的当前点击 数据是移动点击(移动区域中的一个点击)。此后，静止区域和移动区域确定 部分203向处理确定部分205发送作为静止区域和移动区域确定结果的表示 静止点击和移动点击的信息。
连续点击确定部分204相应于从接收设备2发送的点击数据的点击时间 确定接收设备2的用户是否已经连续执行点击操作。换句话说，连续点击确 定部分204获得接收设备2发送的当前点击数据的点击时间与前一点击数据 的点击时间之间的时间差(即，点击时间间隔)。当该时间差等于或小于预定 阈值时，连续点击确定部分204确定用户未执行连续点击操作。当连续点击 确定部分204确定用户已经执行连续点击操作时，连续点击确定部分204按 连续点击处理从点击数据存储器202输出的当前点击数据。相反，连续点击 确定部分204确定用户还未执行连续点击操作(即，当前点击时间与前一点 击时间之间的时间差等于或小于预定阈值)时，连续点击确定部分204按非 连续点击处理从点击数据存储器202输出的当前点击ft据。此后，连续点击 确定部分204向处理确定部分205发送作为连续点击确定结果的表示连续点 击或非连续点击的信息。
处理确定部分205相应于静止区域和移动区域确定部分203的静止区域 和移动区域确定结果和连续点击确定部分204的连续点击确定结果控制选择 开关206、选择开关207和选择开关208。
换句话说，相应于静止区域和移动区域确定结果和连续点击确定结果， 当点击数据存储器202输出的当前点击数据是静止点击和连续点击时，处理 确定部分205控制选择开关206,使点击数据存储器202输出的当前点击数 据被发送给静止对象连接处理部分211。此外，处理确定部分205控制选择 开关207,使图像存储器201输出的图像数据被发送给静止图像连接处理部
分211。然而，处理确定部分205控制选择开关208,使对象提取结果存储器 214输出的前一点击数据(后面将要说明)、分配给该点击数据的对象号(相 当于上述的标志，并归类(标识)对象)和与该对象号相对应的对象图像数 据发送给静止对象连接处理部分211 。
此外，相应于静止区域和移动区域确定结果和连续点击确定结果，当点 击数据存储器202输出的当前点击数据是一个移动点击和一个连续点击时， 处理确定部分205控制选择开关206,使点击数据存储器202输出的当前点 击数据发送给移动对象连接处理部分210。此外，处理确定部分205控制选 择开关207,使图像存储器201输出的图像数据发送给移动对象连接处理部 分210。此外，处理确定部分205控制选择开关208,使对象提取结果存储器 214输出的前一单击数据(后面将进行说明)、分配给该点击数据的对象号、 和对应于该对象号的对象图像数据发送给移动对象连接处理部分210。
此外，相应于静止区域和移动区域确定结果和连续点击确定结果，当点 击数据存储器202输出的当前点击数据是一个静止点击和一个连续点击(当 前点击时间与前一点击时间之间的时间差等于或大于预定阈值)时，处理确 定部分205控制选择开关206,使点击数据存储器202输出的当前点击数据 发送给对象号分配部分209。此外，处理确定部分205控制选择开关207，使 从图像存储器201输出的图像数据发送给静止对象连接处理部分211 。此时， 选择开关208控制选择开关208。使对象提取结果处理器214输出的前一点 击数据、对象号、和对象图像数据不发送给静止对象连接处理部分211 (在 此情况下，例如，选择开关208打开)。
此外，相应于静止区域和移动区域确定结果和连续点击确定结果，当点 击数据存储器202输出的当前点击数据是一个移动点击和一个非连续点击 (当前点击时间与前一点击时间之间的时间差等于或大于预定阈值)时，处 理确定部分205控制选择开关206，使点击数据存储器202输出的当前点击 数据不发送给对象号分配部分209。此外，处理确定部分205控制选择开关 207，使图像存储器201输出的图像数据发送给移动对象连接处理部分210。 此时，处理确定部分205控制选择开关208,使得对象提取结果存储器214 输出的前一点击数据、对象号、和对象图像数据不发送给移动对象连接处理 部分210(例如，打开选择开关208)。
对象号分配部分209把一个新对象号分配给由静止对象连接处理部分
》11和移动对象连接处理部分210按一个连接处理进行处理的作为一个非连 续点击而不是连续点击的点击数据(下面将进行说明)，并把该对象号和点击
数据发送给对象号存储器212。
当处理确定部分205确定点击数据存储器202输出的当前点击数据是移 动点击和连续点击时，移动对象连接处理部分210确定前一点击数据是否是 移动点击，当前点击位置附近的图像特征是否被包含在具有分配给前一点击 数据的对象号的移动对象图像区域的特征内，或它们(当前点击数据和前一 点击数据)是否相同。当确定结果是肯定的时，移动对象连接处理部分210 确定当前点击是对相同对象图像的点击。因而，移动对象连接处理部分210 执行一个连接处理，将与前一点击数据相同的对象号分配给当前点击数据和 把该对象号和点击数据发送给对象号存储器212。
当处理确定部分205的确定结果表明点击数据存储器202输出的当前点 击数据是静止点击和连续点击时，静止对象连接处理部分211确定前一点击 是否是静止点击，以及当前点击位置是否被包含在具有分配给前一点击数据 的对象号的静止对象图像的区域中，或当前点击位置是否接近该区域。当静 止对象连接处理部分211的确定结果是肯定的时，静止对象连接处理部分211 确定当前点击是用于与前一点击相同的对象的点击。因而，静止对象连接处 理部分211执行一个静止对象连接处理，将与前一点击数据相同的对象号分 配给当前点击数据并把该对象号和点击数据发送给对象号存储器212。
对象号存储器212存储已经由对象号分配部分209、移动对象连接处理 部分210和静止对象连接处理部分211分配了对象号的多个过去帧的点击数 据，并把该存储的点击数据和对象号发送给对象图像提取部分213。
对象图像提取部分213相应于已从对象号存储器212供应的并且已经分 配了对象号多个过去帧的点击数据，从图像存储器201供给的图像数据中提 取静止对象图像、移动对象图像、背景图像等，并且把提取的结果供应给对 象提取结果存储器214。
换句话说，对象图像提取部分213相应于从对象提取部分213供应的并 且已经分配了对象号多个过去帧的点击数据，从作为静止点击的具有高点击 数据密度的点击数据的图像部分中获得一个占优的对象号。对象图像提取部 分213相应于用占优对象号分配的点击数据的分配形成一个对象的形状，并 从该图像数据中提取按一 个对象图像构形对象的 一 个图像。此外，对象图像提取部分213对于在被确定为移动点击的点击数据中分 配了相同对象号的点击位置附近的帧的图像，执行一个图案匹配操作，并相
应于该匹配结果为该图像执行移动补偿。然而，对象图像提取部分213从被
确定为相似图像区域的一个图像数据中获得具有高点击密度的一个图像区域
(即，通过移动补偿调整的图像区域)的占优对象号。对象图像提取部分213 相应于分配了占优对象号的点击数据的分配构成一个图像的形状，并从该图 像区域中提取以一个对象图像构形的一个图像。
此后，对象图像提取部分213把具有低静止点击密度和低移动点击密度 的一个图像部分指定为一个背景图像。
对象提取结果存储器214存储由对象图像提取部分213提取的对象图像 数据，以及点击数据、对象号等。必要时，对象提取结果存储器214向图29 所示的背景图像提取部分1013、附加信息计算部分15和发送处理部分1016 供应该对象图像数据。
下面，结合图38所示的流程图说明相应于接收设备2发送的点击数据来 提取接收设备2的用户从正在拍摄的一个图像中考虑的一个对象图像(感兴 趣的对象区域)的处理。该处理由图37所示的对象提取设备1014执行。
首先，在步骤S131,图像存储器201存储图像输入部分11输入的一帧 的图像数据(输入无论何时发送的帧图像数据)。图像存储器201存储在步骤 S133上执行静止区域和移动区域确定处理所需的至少几个帧的图像数据。
在步骤S131上，当接收设备2经发送路径3发送点击数据时，点击数据 存储器202存储该点击数据。点击数据存储器202存储在步骤S133上执行的 连续点击确定处理(下面将进行说明)至少一个预定时间周期(例如，长达 500至700毫秒)所需的的点击数据。
此后，流程前进到步骤S132,在步骤S132,对象提取部分1014确定是 否存储了接收设备2已发送的并且未被处理的点击数据。当步骤S132上的确 定结果表明点击数据存储器202没有存储未被处理的点击数据时，流程返回 到步骤S131。在步骤S131上，对象提取部分1014等待输入图像数据和点击 数据。相反，当步骤S132上的确定结果表明点击数据存储器202存储了未 被处理的点击数据时，流程前进到步骤S133。在步骤S133上，对象提取部 分1014把未被处理的最旧的点击数据指定为当前点击数据。静止区域和移动 区域确定部分203、连续点击确定部分204和处理确定部分205为该当前点
击数据执行静止区域和移动区域确定处理和连续点击确定处理。
换句话说，在步骤S133上，静止区域和移动区域确定部分203使用接收 设备2发送的当前点击数据中含有的点击位置信息(图像坐标值)执行静止 区域和移动区域的确定处理，以确定作为一个点击位置周围的局部小块的一 个图像区域是一个移动区域还是一个静止区域。
下面，更实际地说明由静止区域和移动区域确定部分203执行的图38 所示的在步骤S133上进行的静止区域和移动区域确定处理。如图39所示的 流程图所示，在步骤S141上，静止区域和移动区域确定部分203从图像存储 器201和点击数据存储器202分别读出几个帧的图像数据和点击数据。处理 一个彩色图像时，如图40 (A)所示，静止区域和移动区域确定部分203读 出用于R(红)、G(绿)、B (蓝)的几个巾贞的图像数据。此外，静止区域和 移动区域确定部分203从图像数据存储器201和点击数据存储器202中分别 读出包含对应于当前点击数据的一个帧的几个过去帧的图像数据和对应于为 这几个帧所执行的点击的点击数据。
此后，在步骤S142上，对于当前点击数据的点击位置周围的水平方向和 垂直方向上的由16 x 16象素组成的一个局部小块，"l争止区域和移动区域确定 部分203计算当前帧的一个图像区域与超前该当前帧几个帧的过去帧(该过 去帧被称之为过去帧)之间的差值。处理一个彩色图像时，在步骤S142上， 如图40 ( B )和40 ( A )所示，静止区域和移动区域确定部分203获得用于R、 G和B每一个的由16x 16象素组成的一个图像的帧之间的差值并获得用于 R、 G和B每一个的差值绝对值的平均值。
此后，在步骤S143上，静止区域和移动区域确定部分203确定在步骤 S142上计算的帧间差值是否等于或小于一个确定的阈值。此后，流程前进到 步骤S144。当帧间差值等于或小于预定阚值时，静止区域和移动区域确定部 分203确定包含当前点击数据的点击位置的一个小块(该小块可以被称之为 当前块)是一个静止区域。相反，当帧间差值大于预定阈值时，静止区域和 移动区域确定部分203确定该当前块是一个移动区域。此外，当静止区域和 移动区域确定部分203的确定结果表明当前块是一个静止区域时，静止区域 和移动区域确定部分203把对应于当前块的图像区域的点击数据指定为一个 静止点击。相反，当静止区域和移动区域确定部分203的确定结果表明当前 块是一个移动区域时，静止区域和移动区域确定部分203把相当于当前块的
图像区域点击数据指定为一个移动点击。静止区域和移动区域确定部分203 输出作为静止区域和移动区域确定结果的该确定结果。
在处理一个彩色图像的情况下，在步骤S144，如图40(D)所示，当用 于R、 G和B每一个的16 x 16象素的每个块的帧间差值的绝对值的平均值小 于或等于一个预定阅值(例如，"10")时，静止区域和移动区域确定部分203 把预定标志调整到例如"0"。相反，当该平均值大于预定阈值时，静止区域 和移动区域确定部分203把预定标志调整到例如"1"。在步骤S144上，如图 40 (E)所示，当用于16 x 16象素的当前块的R、 G和B的所有标志都为"0" 时，静止区域和移动区域确定部分203确定当前块是一个静止区域，并把对 应于当前块的图像区域的点击数据指定为静止点击。相反，当标志之一是'T， 时，静止区域和移动区域确定部分203确定当前块是一个移动区域并且把与 当前块的图像区域相对应的点击数据指定为一个移动点击。静止区域和移动 区域确定部分203输出作为静止区域和移动区域确定结果的静止点击或移动 点击的信息。
返回到图38,在步骤S133上，连续点击确定部分204连续点击确定处 理，确定接收设备2的用户所执行的点击操作是否是与接收设备2发送的点 击数据中包含的点击时间相对应的连续点击操作。
下面说明图38所示的在步骤S133上执行的连续点击确定部分204的处 理。根据图41所示的流程图，在步骤S151上，点击数据存储器202读出在 点击数据存储器202中存储的点击数据。
此后，在步骤S152上，连续点击确定部分204计算从接收设备2发送的 当前点击数据的点击时间与前一点击数据的点击时间(在前时间)之间的时 间差(点击间隔)。
然后，在步骤S153上，连续点击确定部分204确定该时间差是否等于或 小于一个预定阈值。当步骤S153上的确定结果表明该时间差等于或小于预定 阈值时，连续点击确定部分204确定当前点击数据是连续点击。相反，当步 骤S153上的确定结果表明该时间差大于预定阔值时，连续点击确定部分204 确定当前点击数据不是连续点击。此后，流程前进到步骤S154。在步骤S154 上，连续点击确定部分204输出代表作为连续点击确定结果的连续点击或非 连续点击的信息。
换句话说，当步骤S153上的确定结果表明当前点击数据是连续点击时，
接收设备2的用户往往是对一个对象图像连续执行点击操作。这是因为，当 接收设备2的用户请求发送设备1发送具有高空间分辨率的对象图像数据(兴 趣对象区域中的数据)时，他或她往往连续地点击用户想要改善其空间分辨
率的一个对象图像部分(兴趣对象区域)。因而，当连续点击确定部分204的 确定结果表明当前点击操作是连续点击操作时，连续点击确定部分204把当 前点击数据指定为连续点击。相反，当连续点击确定部分204的确定结果表 明当前点击操作不是连续点击操作(即，当前点击的点击时间与前一点击的 点击时间之间的时间差等于或大于预定阈值)时，连续点击确定部分204把 当前点击数据指定为一个非连续点击。连续点击确定部分204输出连续点击 确定结果。
返回到图38,在步骤S133上，当静止区域和移动区域确定部分203和 连续点击确定部分204的确定结果表明当前点击数据是静止点击和连续点击 时，处理确定部分205按上述方式控制选择开关206、选择开关207和选择 开关208。因而，在步骤S135上，静止对象连接处理部分211执行一个静止 图像连接处理。当确定结果表明当前点击数据是一个移动点击和一个连续点 击时，处理确定部分205按上述方式控制选择开关206、选择开关207和选 择开关208。因而，在步骤S136上，移动对象连接处理部分210执行一个移 动对象连接处理。当确定结果表明当前点击数据是非连续点击时，处理确定 部分205按上述方式控制选择开关206、选择开关207和选择开关208。在步 骤S136上，移动对象连接处理部分210执行移动对象连接处理。当确定结果 表明当前点击数据是一个非连续点击时，处理确定部分205按上述方式控制 选择开关206。因而，在步骤S134上，对象号分配部分209执行新对象号分 配处J里。
换句话说，当步骤S133上的确定结果表明当前点击数据是非连续点击 时，流程返回到步骤S134。在步骤S134上，对象号分配部分209把一个新 对象号分配给当前点击数据。此后，流程返回到步骤S131。
实际上，如图42 (A)所示，当分配给由实线X代表的前一点击数据 CL1的一个对象号是例如"0"时，如果由图42 (A)中的虛线X标记代表 的当前点击数据CL2 (即，未指定一个对象号的点击数据)被确定为一个非 连续点击时，对象号分配部分209把一个新对象号分配给由图42 (B)中的 实线X标记代表的当前点击数据CL2 (在该实例中，新对象号是'T')。相反，当步骤S133上的确定结果表明当前点击数据是连续点击和静止点 击时，如果前一点击是静止点击，以及当前点击位置被包含在与分配给前一 点击数据的对象号相对应的 一个图像区域中，或者当前点击位置接近该图像
区域，则静止对象连接处理部分211判定当前点击是用于与前一点击相同的 对象图像的一个点击。因而，在步骤S134上，静止对象连接处理部分211执 行静止图像连接处理，用于为当前点击数据分配与前一点击数据相同的对象
—，
换句话说，如图43所示的流程图所示，在步骤S161上，静止对象连接 处理部分211确定前一点击数据是否是连续点击和静止点击。当步骤S161上 的确定结果表明前一点击数据是连续点击和静止点击时，流程前进到步骤 S162。相反，当步骤S161上的确定结果表明前一点击不是连续点击和静止点 击时，流程前进到步骤S164。
当步骤S161上的确定结果表明前一点击数据不是连续的和静止的点击 时，在步骤S164上，静止对象连接处理部分211按照与结合图42(A)和(B) 所述的相同的方式把一个新对象号分配给当前点击数据。此后，流程前进到 图38所示的步骤S137。
相反，当步骤S161上的确定结果表明前一点击数据是连续点击和静止点 击时，流程返回到步骤S162。在步骤S162上，静止对象连接处理部分211 获得当前点击位置与对应于分配给前一点击数据的对象号的图像区域之间的 空间距离。当当前点击位置被包含在与分配给前一点击数据的对象号相对应 的图像区域中时，或当前点击位置接近该图像区域时，静止对象连接处理部 分211确定当前点击数据是与前一点击相同的对象图像的点击数据。相反， 当当前点击位置未包含在与分配给前一点击数据的对象号相对应的图像区域 中时，以及当前点击位置远离该图像区域时，静止对象连接处理部分211确 定当前点击数据是与前一点击不同的对象图像的点击数据。当步骤S162上的 确定结果表明当前点击数据是与前一点击相同的对象图像的点击数据时，流 程前进到步骤S163。相反，当步骤S162上的确定结果表明当前点击数据是 不同于前一点击的对象图像的点击数据时，流程返回到步骤S164。
当步骤S162上的确定结果表明当前点击数据是不同于前一点击的对象 图像的点击数据时，流程返回到步骤S164。在步骤S164,静止对象连接处理 部分211把一个新对象号分配给当前点击数据。此后，流程前进到图38所示
的步骤S137。
相反，当步骤S162上的确定结果表明当前点击数据是与前一点击相同的 对象图像的点击数据时，在步骤S163上，静止对象连接处理部分211执行静 止对象连接处理，用于把和前一点击数据相同的对象号分配给当前点击数据。
实际上，如图42(C)所示，当分配给由实线X标记所表示的前一点击 凄t据CLl的一个对象号是"0"时，如果由图42 (C)所示的虚线X标记所 表示的当前点击标记CL2 (即，未给当前点击数据指定一个对象号)被确定 为连续点击和静止点击，前一点是静止点击以及当前点击位置被包含在与分 配给前一点击数据的一个对象号相对应的图像区域中，或者当前点击位置接 近该图像区域，则静止对象连接处理部分211把与前一点击数据相同的对象 号(在该实例中为"1")分配给由图42 (D)所示的实线X标记表示的当前 点击数据CL2。
静止对象连接处理部分211把与前一点击数据相同的对象号分配给当前 点击数据后。流程前进到图38所示的步骤S137。
当步骤S133上的确定结果表明当前点击数据是连续点击和移动点击、前 一点击是移动点击、以及当前点击位置附近的图像特征被包含在与分配给前 一点击的对象号相对应的图像区域(16x16象素)的特征中、或前者接近于 后者时，移动对象连接处理部分210确定该点击是与前一点击相同的对象图 像的点击。在步骤S136上，移动对象连接处理部分210执行移动对象连接处 理，用于把和前一点击数据相同的对象号分配给当前点击数据。
换句话说，当步骤S133上的确定结果表明当前点击数据是连续点击和移 动点击时，则如图44所示，在步骤S171上，移动对象连接处理部分210确 定前一点击数据是否是连续点击和移动点击。当步骤S171上的确定结果表明 前一点击数据是连续点击和移动点击时，流程前进到步骤S172。相反，当步 骤S171上的确定结果不是连续点击和移动点击时，流程前进到步骤S174。
当步骤S171上的确定结果表明前一点击数据不是连续点击和移动点击 时，流程前进到步骤S174。在步骤S174,移动对象连接处理部分210按照结 合图41 (A)和(B)所述的相同方式把一个新对象号分配给当前点击数据。 此后，流程前进到图38所示的步骤S137。
当步骤S171上的确定结果表明前一点击数据是连续点击和移动点击时， 流程前进到步骤S172。在步骤S172,移动对象连接处理部分210获得当前点
击位置附近的图像数据(16xl6象素)的特征，和与分配给前一点击的对象 号相对应的图像区域的特征。当当前点击位置附近的图像区域的特征包含在 与分配给前一点击数据的对象号相对应的图像区域的特征中，并且前者接近 后者时，接收处理部分210确定该点击是与前一点击相同的对象图像的点击。 相反，当与分配给前一点击数据的对象号相对应的图像区域的特征中不包含 当前点击位置附近的图像区域的特征时，或前者远离后者时，接收处理部分
210确定当前点击数据是不同于前一点击的对象图像的点击数据。在此情况 下，图像区域的特征是例如一个点击位置附近的局部区域(16 x 16象素)的 颜色(平均颜色，典型颜色，或类似物)、条形图或图案。当相同对象号被分 配给多个移动点击时，则意味着在这些点击数据中跟踪一个对象。当步骤S172 上的确定结果表明当前点击数据是用于与前一点击相同的对象图像的点击数 据时，流程前进到步骤S173。相反，当步骤S172上的确定结果表明当前点 击数据是用于不同于前一点击的对象的点击数据时，流程前进到步骤S174。
当步骤S172上的确定结果表明当前点击数据是用于不同于前一点击的 对象图像的点击数据时，流程前进到步骤S174。在步骤S174上，移动对象 连接部分210按上述方式把一个新对象号分配给当前点击数据。此后，流程 前进到图38所示的步骤S137。
当步骤S172上的确定结果表明当前点击数据是用于与前一点击相同的 对象图像的点击数据时，流程前进到步骤S173。在步骤S173,移动对象连接 处理部分210把与前一点击数据相同的对象号分配给当前点击数据。
实际上，当分配给由图42 (E)所示的实线X表示的前一点击数据CL1 的一个对象号是例如"0"时，如果由图42 (E)所示的虚线X表示的当前点 击数据CL2被确定为连续点击和移动点击，以及当前点击位置附近的图像的 特征被包含在与分配给前一点击的对象号相对应的对象图像的特征中，或者 前者接近于后者，则移动对象连接处理部分210把与前一点击数据相同的对 象号(在该实例中为"0")分配给由图42 (F)所示的实线X标记表示的当 前点击数据CL2。
在步骤S173,在移动对象连接处理部分210把与前一点击相同的对象号 分配给当前点击数据后，流程前进到步骤S137。
当流程从图38所示的步骤S135前进到步骤S137时，对象图像提取部 分213从与分配了对象号并存储在对象号存储器212中的过去几个帧的点击
数据相对应的输入数据中和存储在图像存储器20中的过去几个帧的图像数 据中提取静止对象图像、移动对象图像和其他的背景图像。换句话说，似乎 是静止对象图像被包含在具有高静止点击数据密度的图像部分中。此时，对
象图像提取部分213获得与分配了对象号的过去几个帧相对应的静止点击数
据密度，获得具有高静止点击密度的图像部分的占优对象号，形成与分配了 占优对象号的点击数据的分布相对应的对象的形状，和从图像数据中提取按 静止对象图像构形对象的 一 个图像。
当流程从步骤S136前进到步骤S137时，对象图像提取部分213为分配 了相同的对象号的移动点击数据的点击位置附近的帧的图像执行图案匹配操 作，对应于该匹配结果执行图像的移动补偿，获得具有高点击密度的图案匹 配图像区域的占优对象号，相应于分配了占优对象号的点击数据的分布形成 一个对象的形状，并从图像数据中提取按移动对象图像构形对象的一个图像。
在步骤S137上，对象图像提取部分213把具有低静止点击密度或低移动 点击数据的一个图像部分处理为当前背景图像。换句话说，对象图像提取部 分213把从图像数据中提取的除静止对象图像和移动对象图像之外的一个图 像部分处理为一个背景图像。
下面结合图45所示的流程图详细说明步骤S137上的处理。首先，在步 骤S181上，对象图像提取部分213捕获几个过去帧分配对象号的点击数据和 与其对应的图像数据。此后在步骤S182上，对象图像提取部分213把点击数 据归类为静止点击和移动点击。当流程从图38所示的步骤S135前进到步骤 S137时，流程从图45所示的步骤S182前进到步骤S184。相反，当流程从图 38所示的步骤S136前进到步骤S137时，流程从图45所示的步骤S182前进 到步骤S184。
当流程从图38所示的步骤S135前进到步骤S137时，流程从图45所示 的步骤S182前进到步骤S184。在步骤S184上，对象图像提取部分213获得 用于16x16象素的每个块的分配了一个对象号的每个静止点击的一个静止 点击数据密度。
此后，在步骤S185上，对象图像提取部分213确定用于由一个图像虚线 框表示的16 x 16象素的每个块bk的由图46 (A)所示的X标记所表示的静 止点击的静止点击密度是否等于或大于 一 个预定值。
在发送给接收设备2的一个图像中，具有高静止点击密度的图像部分往
往包含一个静止对象图像。因而，当一个特定块的静止点击密度等于或大于 预定值时，流程前进到步骤S186。相反，当一个特定块的静止点击密度小于
预定值时，流程前进到步骤S190。
在步骤S186，当块的静止点击密度超过一个预定值时，如图46(E)所 示，对象图像提取部分213从分配给块的点击数据的对象号中获得最占优的 对象号。此后，对象图像提取部分213组合与图46 (B)所示的占优对象号 相对应的块(BKO, BK2， BK4，和BK5)并构形对象。对象图像l是耳又部分 213从图像数据中提取按静止对象图像构形对象的图像。在步骤S186之后， 流程前进到图38所示的步骤S138。
另一方面，当流程从图38所示的步骤S136前进到步骤S137时，流程 从图45所示的步骤S182前进到步骤S183。
在步骤S183上，如图46(C)所示，对象图像提取部分213为分配了与 由图46 (C)所示的X标记表示的移动点击相同的点击数据对象号的点击位 置附近的多个过去帧的图像执行图案匹配操作，并为对应于匹配结果的图像 执行移动补偿。
此后，在步骤S187上，对象图像提取部分213获得图案匹配图像区域中 的一个移动点击密度。
此后，在步骤S188上，对象图像提取部分213确定该图像的由图46 ( D ) 所示的X标记的表示的移动点击的移动点击密度是否等于或大于预定值。
进行了移动补偿并且具有一个高移动点击密度的一个图像部分往往包含 一个移动对象图像。因而，当进行了移动补偿的一个图像区域的移动点击密 度等于或大于预定值时，流程前进到步骤步骤S189。相反，当进行了移动补 偿的一个图像区域的移动点击密度小于预定值时，流程前进到步骤步骤S1卯。
在步骤S189上，对象图像提取部分213为具有等于或大于预定值的一个
移动点击密度的一个图像区域从分配给点击数据的对象号中获得最占优的对 象号。此后，如图46 (D)所示，对象图像提取部分213组合与占优对象号 相对应的块(BK3和BK6)，并构形对象。此后，对象图像提取部分213从 该图像数据中提取按移动对象图像构形的图像。在步骤S189之后，流程前进 到图38所示的步骤S138。
在步骤S185和S188上，当点击密度小于预定值时，流程前进到步骤 S190。在步骤S190上，对象图像提取部分213把具有低静止点击密度或低移
动点击密度的一个图像部分处理为当前图像的背景图像区域。换句话说，对 象图像提取部分213把已经从图像数据中提取的除静止对象图像和移动对象
图像外的图像部分处理为背景图像。在步骤S190之后，流程前进到步骤图 38所示的步骤S138。
在对象图像提取部分213已经从图像数据中提取一个静止对象图像、一 个移动对象图像和一个背景图像后，流程前进到图38所示的步骤S138。在 步骤S138上，对象图像提取部分213确定对象提取处理是否完成。当步骤 S138上的确定结果为否定的时，流程前进到步骤S131。当步骤S138上的确 定结果是肯定的时，对象提取部分213则完成了对象提取处理。
在上述的处理中，图29所示的发送设备1的对象提取部分1014可以相 应于与接收设备2的用户所执行的点击操作相对应的点击数据提取静止对象 图像、移动对象图像和背景图像。
在图28所示的实施例中，其活动小的平面图像区域(即，没有图像价值) 被处理为背景图像。对于该背景图像，不改善空间分辨率。另一方面，可以 相应于从接收设备2发送的点击数据提取背景图像，以便改善其空间分辨率。
在这种情况下，图29所示的背景图像提取部分1013提取与接收设备2 发送的点击数据相对应的背景图像。发送处理部分1016发送背景图像，以便 按照对象图像的空间分辨率被改善的相同方式改善其空间分辨率。
在这种情况下，如图47所示，图13所示的背景图像标志存储器74被加 到图31所示的组合处理部分1022上。除了背景图像标志存储器74之外，图 47所示的组合处理部分1022的结构与图35所示的组合处理部分1022的结 构相同。如同图13所示的结构，在图47所示的结构中，当背景图像写入部 分17把一个具有高空间分辨率的对象的背景图像写入到背景图像存储器73 时，相应于组成背景图像的每个象素在背景图像标志存储器74的一个地址上 存储的背景图像标志从"0"变为'T，。换句话说，当背景图像写入部分71 把背景图像数据写入到背景图像存储器73时，背景图像写入部分71核对背 景图像标志存储器74。当背景图像标志为"1"(即，当背景图像存储器73 已经存储具有高空间分辨率的背景图像数据)时，背景图像写入部分71不把 具有低空间分辨率的背景图像数据写入到背景图像存储器73。无论何时向背 景图像写入部分71供应背景图像数据，该背景图像数据都被写入到背景图像 写入部分71。然而，当背景图像存储器73已经存储具有高空间分辨率的背
景图像数据时，背景图像写入部分71不把具有低空间分辨率的背景图像数据 写入到背景图像存储器73。因而，无论何时向背景图像写入部分71供应具 有高空间分辨率的背景图像数据，具有高空间分辨率的背景图像的数目都增
加到背景图像存储器73中。
在该实例中，当组合部分1077接收到来自图31所示的点击数据输入部 分1024的点击数据时，组合部分1077从背景图像存储器73和对象存储器 75中读出对象图像数据和背景图像数据，这些数据包含在点击数据中含有的 一个考虑点的坐标位置，并把荻得的数据供应给子窗口存储器79。
下面说明确定(认同)接收设备2的用户的兴趣对象区域的变化和归类 每个兴趣对象区域的技术。
各种类型的图像被分析，以确定用户感兴趣的对象区域是否已经改变以 及是否归类了每个兴趣对象区域。该分析显示了以下结果。
首先，人们(用户)的兴趣对象区域是具有价值的区域单元(例如，一 个对象)。
第二，当用户的兴趣对象变化时，具有价值的每个区域单元改变。 第三，当用户的兴趣对象改变时，指定用户感兴趣的对象所需的输入时 间周期往往变长。
第四，当用户的兴趣对象改变时，用户指定一个兴趣对象区域(例如， 点击操作)的输入位置之间的空间距离往往相对地变长。
因而，图48示出了发送设备1的结构实例，它获得与接收设备2的用户 输入的点击数据相对应的输入时间间隔和输入位置距离，确定接收设备2的 用户的兴趣对象区域是否由于考虑到分析结果(1)至(4)而改变，并归类 兴趣对象区域。图48中示出的发送设备l是图28所示的发送设备1的改良。 为了筒便起见，在图48中，和图29相似的部分由相似的参考标号表示，并 省略其说明。换句话说，除了变化确定和归类部分240被新设置为组成预处 理部分12的一个模块外，图48所示的发送设备1的结构与图29所示的发送 设备1的结构基本相同。
根据图48所示的实施例，变化确定和归类部分240被设置在预处理部分 12中。另一方面，变化确定和归类部分240可以^皮设置在预处理部分12的 对象提取部分1014或背景图像提取部分1013中。再一方面，变化确定和归 类部分240还可以独立于预处理部分12设置。
在该实施例中，用点击数据表示的一个位置是用户正在考虑的一个考虑 点。用户的一个考虑点可以不是点击数据，而是，用户的考虑点可以通过检 测用户的观看方向来认同。
图49示出了图48所示的变化确定和归类部分240的结构实例。
输入图像存储部分231暂时存储由图像输入部分11输出的图像数据。必 要时，输入图像存储部分231把图像数据供应给周边区域提取部分233以及 静止区域和移动区域确定部分234 。
点击数据获得部分230暂时存储接收设备2经传送路径3发送的数据， 并把存储的点击数据供应给周边区域提取部分233、静止区域和移动区域确 定部分234、输入时间间隔计算部分237、和输入位置距离计算部分238。
在该实施例中，与图37所示的图像存储器201 —样，可以设置输入图像 存储部分231。此外，与图37所示的点击数据存储器202 —样，可以设置点 击数据存储部分232。
点击周边区域提取部分233从输入图像存储部分231供给的图像数据中 提取与点击数据存储部分232供给的点击数据相对应的图像区域(该图像区 域是例如点击位置附近的局部小块；在下文中，图像区域被称之为点击周边 区域)。由点击周边区域提取部分233提取的点击周边区域的数据被发送给点 击周边区域存储部分235。在数据被存储到点击周边区域存储部分235后， 该数据被发送给兴趣对象区域归类部分236。
此外，静止和移动区域确定部分234相应于从输入图i"象存储部分231供 应的图像数据和从点击数据存储部分232供应的点击数据使用与图37所示的 实施例相同方式的帧间差值执行静止区域和移动区域确定处理。
点击周边区域提取处理以及静止区域和移动区域确定处理可以通过结合 附图38所述的相同处理来完成。因而，省略对这些处理的详细说明。在图 49所示的实施例中，以上述实施例相同的方式把点击数据被确定为静止点击 或移动点击的结果输出为静止点击或移动点击确定。此外，例如，可以输出 点击周边区域被确定为静止区域或移动区域的结果。根据图49所示的实施 例，为简便起见，作为静止区域和移动区域确定的结果，将说明静止点击或 移动点击被输出的情况。
静止区域和移动区域确定部分234的静止区域和移动区域确定结果被发 送给输入时间间隔计算部分237和输入位置距离计算部分238。
当静止区域和移动区域确定结果表明点击数据是静止点击时，输入时间 间隔计算部分237计算前一点击的输入时间与当前点击的输入时间的时间间 隔。在此情况下，计算时间间隔，而不考虑例如一个移动点击是否发生在前 一静止点击的输入时间与当前静止点击的输入时间之间。输入时间间隔计算
部分237计算的时间间隔的数据被发送给兴趣变化确定部分239。
当静止区域和移动区域确定结果表明点击数据是静止点击时，输入位置 距离计算部分238计算前一静止点击的输入点击位置(坐标位置)与当前静 止点击的输入点击位置(坐标位置)之间的空间距离。在此情况下，计算空 间距离，而不考虑例如在当前静止点击的输入位置与前一静止点击的输入位 置之间是否存在例如一个移动点击的输入位置。输入位置距离计算部分238 计算的空间距离的数据被发送给兴趣变化确定部分239。
当静止区域和移动区域确定结果点击数据是静止点击时，兴趣变化确定 部分239相应于输入时间间隔计算部分237计算的时间间隔和位置距离计算 部分238计算的空间距离确定用户的兴趣对象是否变化。换句话说，兴趣变 化确定部分239执行时间间隔和空间距离的预定加权处理，确定加权时间间 隔是否超过一个预定阈值(时间)，并确定加权空间距离是否超过一个预定阈 值(距离)。当加权时间间隔超过预定阈值和/或加权空间距离超过预定阈值 时，兴趣变化确定部分239确定用户的兴趣对象已经改变。兴趣对象确定部 分239把兴趣对象变化确定结果发送给兴趣对象区域归类部分236。
当兴趣变化确定部分239的确定结果表明用户的兴趣对象未改变时，兴 趣对象区域归类部分236确定当前静止点击的点击周边区域被包含在与前一 (过去)静止点击的点击周边区域相对应的兴趣对象相同的图像区域中，把 当前静止点击的点击周边区域归类为与前一静止点击的点击周边区域相同的 兴趣对象区域(例如，把相同的类别号分配给当前静止点击的点击周边区域)， 并输出归类的结果。换句话说，当为每个对象归类兴趣对象区域时，按照上 述实施例的相同方式分配相同的对象号。
相反，当兴趣变化确定部分239的确定结果表明用户的兴趣对象已经改 变时，兴趣对象区域归类部分236确定当前静止点击的点击周边区域未被包 含在与前一(过去)静止点击的点击周边区域相对应的兴趣对象区域中，则 输出当前静止点击的点击周边图像的存储数据，并且重新设置已经在点击周 边区域存储部分235中存储的数据。此后，兴趣对象区域归类部分236把当
前静止点击的点击周边区域归类为与前一静止点击的点击周边区域不同的兴 趣对象区域(例如，把一个不同的类别号分配给当前静止点击的点击周边区 域)。换句话说，当为每个对象归类一个兴趣对象区域时，以上述情况的相同 方式分配一个新的不同对象号。
当静止区域和移动区域确定结果表明点击数据是移动点击时，输入时间
间隔计算部分237同样计算前一移动点击的输入时间与当前移动点击的输入
时间之间的时间间隔。在此情况下，时间间隔被计算，而不考虑例如静止点 击是否在当前移动点击的输入时间与前 一 移动点击的输入时间之间发生。输
入时间间隔计算部分237计算的时间间隔的数据^t发送给兴趣变化确定部分 239。
相反，当静止区域和移动区域确定结果表明点击数据是移动点击时，同 样输入位置距离计算部分238计算前一移动点击的输入点击位置与当前移动 点击的输入点击位置之间的空间距离。在此情况下，空间距离被计算，而不 考虑例如是否在当前移动点击的输入位置与前一移动点击的输入位置之间存 在一个静止点击的输入位置。输入位置距离计算部分238计算的空间距离的 数据被发送给兴趣变化确定部分239。
此外，在静止区域和移动区域确定结果表明点击数据是一个移动点击的 情况下，兴趣变化确定部分239相应于输入时间间隔计算部分237计算的时 间间隔和位置距离计算部分238计算的空间距离来确定用户的兴趣对象是否 已经改变。换句话说，兴趣变化确定部分239执行时间间隔和空间距离的预 定加权处理，确定加权时间间隔是否超过预定阈值(时间)，并确定加权空间 间隔是否超过预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空 间距离超过预定阈值时，兴趣变化确定部分239确定用户的兴趣对象已经改 变。兴趣变化确定部分239的兴趣对象变化确定结果被发送给兴趣对象区域 归类部分236。
当兴趣变化确定部分239的确定结果表明用户的兴趣对象未变化时，兴 趣对象区域归类部分236确定当前移动点击的点击周边区域被包含在与前一 (过去)移动点击的点击周边区域相对应的兴趣对象区域相同的图像区域中， 把当前移动点击的点击周边区域归类为和前一(旧的)移动点击的点击周边 区域相同的兴趣对象区域(即，把相同的类别号分配给当前移动点击的点击 周边区域)，并输出归类结果。换句话说，当为每个对象归类一个兴趣对象区
域时，分配相同的对象号。
相反，当兴趣变化确定部分239的确定结果表明用户的兴趣对象变化时，
兴趣对象区域归类部分236确定当前移动点击的点击周边区域未被包含在与 前一 (过去)移动点击的点击周边区域相对应的兴趣对象区域中，输出当前 移动点击的点击周边图像的存储数据，并且重新设置已经在点击周边区域存 储部分235中存储的数据。此后，兴趣对象区域归类部分236把当前移动点 击的点击周边区域归类为与前一移动点击的点击周边区域不同的兴趣对象区 域(例如，把一个不同的类别号分配给当前移动点击的点击周边区域)。换句 话说，当为每个对象归类一个兴趣对象区域时，分配一个新的不同对象号。
下面结合图50所示的流程图说明图49所示的变化确定和归类部分240 的处理。
在步骤S201,变化确定和归类部分240接收来自图像输入部分11的图 像数据和由接收设备2的用户输入的点击数据。
此后，在步骤S202上，图像输入部分11供应的图像数据被存储在输入 图像存储部分231。点击数据获得部分230所获得的点击数据被存储在点击 数据存储部分232中。
此后，在步骤S203上，点击周边区域提取部分233从已经被存储并从输 入图像存储部分231中读出的图像的点击数据中提取与点击数据相对应的一 个图像区域(点击周边区域)。在步骤S204上，点击周边区域存储部分235 存储已经被提取的点击周边区域的数据。
此后，在步骤S205,静止区域和移动区域确定区域234按上述方式使用 帧间差值执行静止区域和移动区域确定处理。
在步骤S205，当步骤S205上确定的结果表明点击数据是静止点击时， 流程前进到步骤S206。相反，当步骤S205上的确定结果表明点击数据是移 动点击时，流程前进到步骤S212。
当步骤S205上的确定结果表明点击数据是静止点击，流程前进到步骤 S206。在步骤S206上，输入时间间隔计算部分237计算前一静止点击的输入 时间与当前静止点击的输入时间之间的时间间隔。该时间间隔被计算，而不 考虑例如在当前静止点击的输入时间与前一静止点击的输入时间之间是否存 在一个移动点击。
此后，在步骤S207上，输入位置距离计算部分238计算前一静止点击的
输入点击位置(坐标位置)与当前静止点击的输入点击位置(坐标位置)之 间的空间距离。在此情况下，计算空间距离，而不考虑例如在当前静止点击 的输入位置与前一静止点击的输入位置之间存在一个移动点击的输入位置。
在步骤S208上，兴趣对象确定部分239相应于步骤S206上计算的时间 间隔和步骤S207上计算的空间距离确定用户的兴趣对象是否变化。换句话 说，如上所述，兴趣变化确定部分239执行时间间隔和空间间隔的预定加权 处理，确定加权时间间隔是否超过一个预定阈值(时间)，和确定加权空间距 离是否超过一个预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权 空间距离超过预定阈值时，兴趣变化确定部分239确定用户的兴趣对象已经 改变。当步骤S208上的确定结果表明兴趣对象已经改变时，流程前进到步骤 步骤S209。当步骤S208上的确定结果表明兴趣对象未改变时，流程前进到 步骤S211。
当步骤S208上的确定结果表明兴趣对象未改变时，流程前进到步骤步骤 S211。在步骤S211，兴趣对象区域归类部分236确定当前静止点击的点击周 边区域被包含在与前一(过去)静止点击的点击周边区域相对应的兴趣对象 区域相同的图像区域中，并把当前静止点击的点击周边区域归类为和前一静 止点击的点击周边区域相同的兴趣对象区域(即，把相同的类别号分配给当 前静止点击的点击周边区域)。换句话说，当为每个对象归类一个兴趣对象区 域时，以上述实施例相同的方式分配相同的对象号。在步骤S211之后，流程 前进到步骤S218。
相反，当在步骤S208上确定结果表明用户的兴趣对象改变时，流程前进 到步骤步骤S209。在步骤S209上，兴趣对象区域归类部分236确定当前静 止点击的点击周边区域未被包含在与前一(旧的)静止点击的点击周边区域 相对应的兴趣对象区域中，输出当前静止点击的点击周边图像的存储数据， 并且重新设置存储的数据。此后，在步骤S210上，兴趣对象区域归类部分 236把当前静止点击的点击周边区域归类为与前一静止点击的点击周边区域 不同的兴趣对象区域(例如，把一个不同的类别号分配给当前静止点击的点 击周边区域)。换句话说，当为每个对象归类一个兴趣对象区域时，以上述实 施例相同的方式分配一个新的不同对象号。在步骤S211之后，流程前进到步 骤S218。
相反，当步骤S205上的确定结果表明点击数据是移动点击时，流程前进
到步骤S212。在步骤S212上，兴趣变化确定部分239计算前一移动点击的 输入时间与当前移动点击的输入时间之间的时间间隔。在此情况下，时间间 隔被计算，而不考虑例如在当前移动点击的输入时间与前一移动点击的输入 时间之间是否存在一个静止点击。
此后，在步骤S213，兴趣变化确定部分239计算前一移动点击的输入点 击位置与当前移动点击的输入点击位置之间的空间距离。在此情况下，该空 间距离被计算，而不考虑例如在当前移动点击的输入位置与前一移动点击的 输入位置之间是否存在一个静止点击的输入位置。
此后，在步骤S214,兴趣变化确定部分239相应于在步骤S212上计算 的时间间隔和在步骤S213上计算的空间距离确定用户的兴趣对象是否变化。 换句话说，兴趣变化确定部分239执行时间间隔和空间距离的预定加权处理， 确定加权时间间隔是否超过一个预定阈值(时间)，和确定加权空间距离是否 超过一个预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空间距 离超过预定阈值时，兴趣变化确定部分239确定用户的兴趣对象已经改变。 当步骤S214上的确定结果表明兴趣对象已经改变时，流程前进到步骤S215。 当步骤S214上的确定结果表明兴趣对象未改变时，流程前进到步骤S217。
当步骤S214上的确定结果表明用户的兴趣对象未改变时，流程前进到步 骤S217。在步骤S217，如上所述，兴趣对象区域归类部分236确定当前移动 点击的点击周边区域被包含在与对应于前一(过去)移动点击的点击周边区 域的兴趣对象相同的图像区域中，把当前移动点击的点击周边区域归类为与 前一移动点击的点击周边区域相对应的兴趣对象区域(例如，把相同的类别 号分配给当前移动点击的点击周边区域)。换句话说，当为每个对象归类一个 兴趣对象区域时，按照上述实施例的相同方式分配相同的对象号。在步骤S217 之后，流程前进到步骤S218。
相反，当步骤S214上的确定结果表明用户的兴趣对象已经改变时，流程 前进到步骤S215。在步骤S215,兴趣对象区域归类部分236确定当前移动点 击的点击周边区域未被包含在与前一(过去)移动点击的点击周边区域相对 应的兴趣对象区域中，输出当前移动点击的点击周边图像的存储数据，并且 重新设置存储的数据。此后在步骤S216，兴趣对象区域归类部分236把当前 移动点击的点击周边区域归类为与前一移动点击的点击周边区域不同的兴趣 对象区域(例如，把一个不同的类别号分配给当前移动点击的点击周边区域)。
换句话说，当为每个对象归类一个兴趣对象区域时，以上述实施例的相同方
式分配一个新的不同对象号。在步骤S216之后，流程前进到步骤S218。
在步骤S210、 S211、 S216和S217之后，流程前进到步骤S218。在步骤 S218,变化确定和归类部分240确定所有的处理是否已经完成。当步骤S218 上的确定结果是否定时，流程返回到步骤S201。当步骤S218上确定结果是 肯定时，变化确定和归类部分240完成图50所示的处理。
下面，结合图51所示的流程图说明图50所示的在步骤S208和S214上 的兴趣对象变化确定处理。
在步骤S221,兴趣变化确定部分239获得时间间隔的信息。此后，在步 骤S222,兴趣变化确定部分239执行时间间隔的预定加权处理。在步骤S223， 兴趣变化确定处理部分239获得空间距离的信息。此后，在步骤S224,兴趣 变化确定部分239执行空间距离的预定加权处理。步骤S221和S222的顺序 可以改变。同样，步骤S223和S224的顺序也可以改变。时间间隔的加权处 理可以通过压缩时间单位(例如，ms/10的压缩)来执行。空间距离的加权处 理可以通过在水平方向和垂直方向上压缩象素间距来#1行。
此后，流程前进到步骤S225。在步骤S225上，兴趣变化确定部分239 使用加权时间间隔(t)和电平及垂直方向上的加权空间距离(X坐标和Y坐 标)生成三维矢量，并获得该三维矢量的大小。该三维矢量的大小是通过以 下计算获得的在将时间轴(t)加到点击数据的输入位置的X坐标轴和Y 坐标轴的三维空间上计算当前输入点与前 一 输入点之间的欧几里得 (Euclidean)距离。在步骤S225之后，流程前进到步骤S226。
在步骤S226上，兴趣变化确定部分239确定步骤S225上获得的三维矢 量的大小是否超过预定阈值。当步骤S226上的确定结果表明三维矢量的大小 未超过预定阈值时，流程前进到步骤步骤S227。在步骤S227,兴趣变化确定 部分239确定接收设备2的用户的兴趣对象未变化。当三维矢量的大小超过 预定阈值时，流程前进到步骤S228。在步骤S228,兴趣变化确定处理部分 239确定用户的兴趣对象已经改变。
在上述方式中，变化确定和归类部分240相应于接收设备2发送的点击 数据完成用户的兴趣对象变化确定和其归类。
此外，当接收设备2的用户的兴趣对象区域被归类时，可以最佳地处理 被归类的兴趣对象区域。换句话说，分配给用户的每个兴趣对象区域的信息
量可以改变。例如，大信息量可以分配给用户的特定兴趣对象区域。另一方 面，可以优先发送用户的兴趣对象区域的数据。
此外，可以发送从点击周边区域存储部分235中为兴趣对象区域236读 出的一个图像区域，以便按上述方式改善空间分辨率。
在此情况下，即使接收设备2的用户错误地点击非兴趣对象区域，也可 以避免执行^睹误的确定。
根据该实施例，即使具有兴趣对象区域意义的 一个对象在时间或空间上 与另一个对象分离，它们也可以被归类为一个对象。此外，也可以提取不同 于诸如一个实体的对象的具有特定意义的区域。
此外，结合图37至46所述的实施例和结合图49至51所述的实施例可 以合并。在此情况下，在步骤S206和S207上，可以按照上述方式为连续点 击的静止点击确定一个连续点击。同样，在步骤S212和S213上，可以按照 上述方式为连续点击的移动点击确定一个连续点击。
图52示出了图1所示的图像发送设备的第三结构实例。在图52中，与 图28相同的部分用相似的标号表示，并省略其说明。换句话说，除交换部分 3-3具有收费服务器4外，图52所示的图像发送系统的结构与图28所示的图 像发送系统的结构基本相同。
尽管从接收设备2向发送设备1发送点击数据(或控制信息)和从发送 设备1向接收设备2提供相应于一个点击数据具有改善了空间分辨率的图像 的这样一种服务(在下文中，这种服务被称之为点击服务)可以是免费服务， 但该服务可以是收费服务。当点击服务是收费服务时，收费服务器4执行一 种收费处理，从用户收取该点击服务的服务费。
换言之，图53示出了图52所示的收费服务器4的结构实例。
预定信息从交换站3-3供应给通信链路建立4企测部分301。通信链路建 立检测部分301核对从交换站3-3供应的信息。结果，通信链路建立检测部 分301检测在作为发送设备的终端单元1与作为接收设备的终端单元2之间 是否已经建立的通信链路，并把合成数据供应给终端单元认同部分302。
当终端单元认同部分302接收到代表已经在诸如发送设备1和接收设备 2的终端单元之间建立通信链路的信息(在下文中，该信息被称之为通信链 路建立信息)时，终端单元认同部分302核对从交换站3-3供应的信息。结 果，终端单元认同部分302认同已经通信链接的终端单元。此外，终端单元
认同部分302认同分配给终端单元的id(在下文中，id被称之为终端单元id ) 并把认同的终端单元id供应给点击才全测部分303。
点击检测部分303监视经交换站3-3接收的数据，采用从终端单元认同 部分302接收的终端单元id检测从终端单元发送的点击数据，并把检测结果 和终端单元id供应给收费处理部分304。
在此情况下，例如，接收设备2将发送点击数据和本地终端单元id—起 发送。点击^f全测部分303将附加到经交换站3-3接收的点击数据上的终端单 元id与终端单元认同部分302供应的终端单元id相比较，认同从已经通信 链接的终端单元发送的点击数据，并检测该点击数据。
在下文中，点击检测部分303的一组点击数据检测结果和一个终端单元 id被称作点击检测信息。
当收费处理部分304接收到来自点击检测部分303的点击检测信息时， 收费处理部分304更新收费数据库305的存储内容。此外，收费处理部分304 相应于收费数据库305的存储内容，(例如)周期性地(例如，每月 一次)执 行收费处理。
收费数据库305存储收费处理所需的信息。
下面，结合图54所示的流程图说明图53所示的收费服务器4的处理。 通信链路建立4企测部分301监视终端单元之间的通信链路是否已经相应 于交换站3-3供给的信息而建立。当通信链路建立检测部分301检测到发送 设备1与接收设备2之间的通信链路已经建立时，通信链路建立检测部分301 把通信链路建立信息供应给终端单元认同部分302。
当终端单元认同部分302收到通信链3各建立4全测部分301发送的通信链 路建立信息时，在步骤s301，终端单元认同部分302核对交换站3-3供应的 信息。结果，终端单元认同部分302认同已经通信链接的终端单元(例如， 发送设备1和接收设备2 )的终端单元id，并把终端单元id供应给点击检测 部分303。
当点击检测部分303收到来自终端单元认同部分302的终端单元id时， 点击4企测部分303开始检测包含终端单元id的点击数据。
此后，流程前进到步骤s302。在步骤s302，收费处理部分304确定是 否已经从已经通信链接的终端单元4企测到点击数据。当步骤s302上的确定结 果表明还未从已经通信链接的终端单元检测到点击数据时(即，当点击检测
部分303未向收费处理部分304供应点击检测信息时)，流程前进到步骤S304, 跳过步骤S303。
相反，当步骤S302上的确定结果表明已经从已经通信链接的终端单元检 测到点击数据时(即，当点击检测部分303向收费处理部分304供应点击检 测信息时)，流程前进到步骤S303。在步骤S303,收费处理部分304更新收 费数据库305的存储内容。
换句话说，收费数据库305存储诸如点击数目和点间时间的点击信息(在 下文中，该信息可以被称作点击信息)以及存储终端单元发出一个呼叫和开 始一个通信的通信时间。收费数据库305相关地存储该点击信息和终端单元 的终端单元ID。在步骤S303，收费处理部分304相应于点击检测信息更新与 点击;f企测信息中含有的终端单元ID相对应的点击信息。
在步骤S303之后，流程前进到步骤S304。在步骤S304上，终端单元认 同部分302确定与通信链路建立检测部分301供给的通信链路建立信息相对 应的通信链路是否已经中断。
换句话说，通信链路建立4全测部分301不仅监视终端单元间的通信链路 的建立，而且还监视该链路的中端。当通信链路已经中断时，通信链路建立 检测部分301把作为通信链路中断信息的结果信息供应给终端单元认同部分 302。在步骤S304，终端单元认同部分302相应于通信《连路中断信息确定通 信链路是否已经中断。
当步骤S304上的确定结果表明通信链路未中断时，流程前进到步骤 S302。在步骤S302,收费服务器4重复相似的处理。
相反，当步骤S304上的确定结果表明通信链路已经中断时，终端单元认 同部分302控制点击检测部分303完成对已经通信链接的终端单元的点击数 据的监视。此后，收费处理服务器4完成该处理。
此后，收费处理部分304周期性地核对收费数据库305，执行收费处理， 计算通信费和点击服务费，并从用户的银行帐户或类似物中转帐(转费)。
作为点击服务费，可以指定每次点击的计费单位。相应于点击的次数， 可以计算点击服务费。另一方面，作为点击服务费，可以指定每小时的计费 单位。相应于点击时间，可以计算点击服务费。另一方面，相应于点击次数 和点击时间，可以计算点击服务费。
上述处理可以由硬件或软件执行。当这些处理由软件执行时，对作为专
用硬件设备的设置在发送设备1、接收设备2中的计算机、通用计算机或类
似物等安装组成该软件的程序。
图55示出了已经安装了执行上述处理的程序的一个计算机的结构实例。 该程序可以被预先录制到作为内置在计算机内的 一 个记录介质的硬盘
405或ROM403上。
另一方面，该程序可以暂时或永久地存储(记录)到可移动记录介质诸 如软盘、CD-ROM (光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、 磁盘或半导体存储器上。可移动记录介质411可以被设置为所谓的软件包。
该程序可以从上述的可移动记录介质411安装到计算机上。另一方面， 该程序可以从下载点经数字卫星广播卫星无线传送给该计算机。再一方面， 该程序可以经过诸如LAN (局域网)的网络或因特网传送给该计算机。在该 计算机中，该程序由通信部分408接收并安装到硬盘405上。
该计算机含有CPU (中央处理单元)402。输入/输出接口 410经总线401 连接CPU402。当用户使用诸如键盘、鼠标、麦克风等的输入部分407经输入 /输出接口 410向CPU402输入一个命令时，ROM (只读存储器)403中存储 的程序开始执行。另一方面，CPU402把硬盘405中存储的程序加载到RAM (随机存取存储器)404上，并利用RAM404执行该程序。再一方面，CPU402 把从卫星或网络传送、由通信部分408接收并安装到硬盘405上的程序，或 者从连接到驱动器409的可移动记录介质411中读出并安装到硬盘405上的 程序，加载到RAM404上，利用ARM404执行该程序。因而，CPU402执行 相应于图4、 6、 10、 14、 21至24、 27、 30、 32、 34、 36、 38、 39、 41、 43 至45、 50、 51和54所示的流程图的处理。而且CPU402执行相应于图3、 5、 7、 8、 11至13、 17、 25、 29、 31、 33、 35、 37、 47至49和53的框图所示 的处理。必要时，CPU402经输入/输出接口 410从包括LCD (液晶显示器)、 扬声器等的输出部分406输出已处理的结果。另一方面，CPU402发送来自通 信部分408或者记录到硬盘405上的已处理的结果。
具体地说，使计算机执行各种处理的程序的处理步骤不一定总是按照流 程图的顺序执行。另一方面，处理步骤可以并行或分离地执行(例如，可以 执行并行处理或对象处理)。
该程序可以由一个计算机处理。另一方面，该程序可以由多个计算机分 配。再一方面。该程序可以传送到一个远端计算机上，由该计算机执行处理。
根据本发明的实施例，发送设备l执行分层编码。根据发送的分层数据， 改变接收设备2显示的图像的时间分辨率或空间分辨率。另一方面，接收设 备2显示的图像的时间分辨率和空间分辨率可以根据发送的图像的离散余旋
变换系数或量化级(quantizing step )来改变。
另一方面，时间分辨率和空间分辨率可以根据发送设备1的编码方法来 改变。换句话说，当用一个常规时间分辨率显示一个图像时，发送设备1的 编码部分31对其对象的轮廓连续编码，并获得组成一个对象的像素值(颜色) 的平均值，作为典型值。接收设备2按照该典型值显示彩色对象的区域。当 以时间分辨率为代价显示具有改善的空间分辨率的图像时，可以按上所述的 那样使用分层编码。
根据该实施例，空间分辨率的改善是以时间分辨率为代价的。相反，时 间分辨率可以以空间分辨率为代价得到改善。代表牺牲(改善)分辨率的选
择的信息可以被包含在诸如点击数据的控制信息中，并从接收设备2发送给 发送设备1。
根据本方明的实施例，时间分辨率和空间分辨率被处理。然而，根据本 发明，电平方向的分辨率(在下文中，把该分辨率称作电平分辨率)也可以 被处理。换句话说，当分配给数据的比特数增加或降低时，时间分辨率和空 间分辨率可以提高或恶化。在此情况下，当图像的时间分辨率和空间分辨率 变化时，其明暗度也变化。该电平分辨率可以通过改变上述的量化级来改变。
此外，根据该实施例，图像的部分区域(优先权范围)的空间分辨率的 改善是以时间分辨率为代价的。另一方面，整个图像的空间分辨率也可以得 到改善。
另 一方面，图像的特定部分的空间分辨率的改善可以以图像的剩余部分 的空间分辨率为代价，而不是以时间分辨率为代价(即，保持时间分辨率)。
此外，根据本实施例，以这种方式处理图像，即将其分为背景图像和对 象。而且也可以以不分离图像的方式处理图像。
此外，本发明不仅适用于图像数据，而且还适用于音频数据。在音频数 据的情况下，釆样频率相当于时间分辨率，而分配给音频数据的比特数相当 于电平分辨率。
此外，图49所示的变化确定和归类部分240的处理可适用于提取声音特 征量(例如音调、话音或乐器的期望部分)的情况。
此外，对象提取部分14和1014以及变化确定和归类部分240的处理可 适用于所谓的对象编码。换句话说，对于对象提取部分14和1014以及变化 确定和归类部分240的处理来说，由于可以提取对象，因此可以相应于获取 代表对象移动的信息的对象编码处理，对被提取的对象以及代表对象轮廓或 区域的信息进行编码。该编码的数据可以被发送或记录。
接收设备2可以使用点击数据执行与对象提取部分1014的处理相似的处 理，以便提取一个对象。在此情况下，当接收设备2提取的一个对象被存储 时， 一个数据库就被形成。
根据本发明的第一发送设备、第一发送方法、第一记录介质和第一信号， 接收从接收设备发送的控制信息。相应于该控制信息，控制时间方向、空间 方向和电平方向的至少两个方向上的分辨率。已经相应于控制信息控制至少 两个方向分辨率的数据被发送给接收设备。因而，例如，接收设备所显示的 图像的空间方向分辨率可以^C进一 步改善。
根据本发明的接收设备、接收方法、第二记录介质和第二信号，控制信 息被发送给发送设备，以便相应于该控制信息控制时间方向、空间方向和电 平方向的至少两个方向上的分辨率。此外，已经相应于该控制信息控制至少 两个方向分辨率的数据，从发送设备发送，然后接收和输出。因而，例如， 输出的图像的空间分辨率可以被进一步改善。
根据本发明的发送和接收设备、发送和接收方法、第三记录介质和第三 信号，发送设备接收从接收设备发送的控制信息。相应于该控制信息，控制 时间方向、空间方向和电平方向的至少两个方向的分辨率。已经相应于控制 信息控制至少两个方向分辨率的数据被发送给接收设备。此外，接收设备向 发送设备发送控制信息。已经相应于该控制信息控制至少两个方向分辨率的 数据，从发送设备发送，然后接收和输出。因而，例如，接收设备所显示的 图像的空间方向分辨率可以被进 一 步改善。
根据本发明的第二发送设备、第二发送方法、第四记录介质和第四信号， 接收从接收设备发送的控制信号。相应于该控制信息，对数据归类。相应于 数据的归类结果，向接收设备发送数据。因而，例如，可以向接收设备发送 用户正在考虑的图像区域，而不考虑该区域是移动的还是静止的。
权利要求
1、一种向接收设备发送数据的发送设备，包括接收装置，用于接收从接收设备发送的控制信息；控制装置，相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电平方向的至少两个方向的分辨率；和发送装置，向接收设备发送已经已经相应于控制信息控制至少两个方向的分辨率的数据。分析装置，用于分析接收设备的用户的偏爱，其中所述的控制装置相应于分析装置的分析结果控制数据的分辨率，其中接收设备输出从所述的发送装置发送的数据，其中所述的控制装置控制输出给接收设备的数据的考虑点，和其中所述的分析装置相应于考虑点分析用户的偏爱，其中所述的分析装置具有归类装置，相应于包含数据考虑点的考虑区域对数据进行归类，其中所述的分析装置相应于所述归类装置的分析结果分析用户的偏爱。
2、 根据权利要求1所述的发送设备，其中所述的控制装置相应于控制信 息控制发送给接收设备的图像数据的时间方向和空间方向上的分辨率。
3、 根据权利要求1所述的发送设备其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发 送数据，和其中所述的控制装置相应于控制信息控制数据的分辨率，使数据的传送 速率不超过预定的传送速率。
4、 根据权利要求1所述的发送设备，其中接收设备输出从发送设备发送的数据， 其中控制信息包含输出给接收设备的数据的考虑点，和 其中所述的控制装置相应于控制信息改善包含了数据的考虑点的考虑区 域的分辨率。
5、 根据权利要求4所述的发送设备，其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发 送图像数据， 其中接收设备显示从发送装置发送的图像数据，其中控制信息包含由接收设备显示的图像数据的时间和空间位置，和 其中所述的控制装置相应于控制信息改善包含图像数据的时间和空间位置的考虑区域的空间分辨率，和降低时间分辨率，使图像数据的传送速率不超过预定的传送速率。
6、 根据权利要求5所述的发送设备，还包括背景图像数据提取装置，用于从发送给接收设备的图像数据中提取背景 图像数据，其中当包含在控制信息中的时间和空间位置代表背景图像数据时，所述 的控制装置改善背景图像数据的空间分辨率。
7、 根据权利要求6所述的发送设备，还包括对象图像数据提取装置，相应于发送给接收设备的图像数据与背景图像 数据之间的差值从图像数据中提取对象图像数据，其中当包含在控制信息中的时间和空间位置代表对象图像数据时，所述 的控制装置改善对象图像数据的空间分辨率。
8、 根据权利要求7所述的发送设备，还包括组合装置，用于把背景图像数据和对象图像数据组合为组合数据， 其中所述的发送装置向接收设备发送该组合数据。
9、 根据权利要求1所述的发送设备，还包括 输入数据的输入装置。
10、 根据权利要求9所述的发送设备，其中 数据是图像数据，和其中所述的输入装置是拍摄图像和输出图像数据的拍摄装置。
11、 根据权利要求1所述的发送设备， 其中发送设备是便携式电话机。
12、 根据权利要求1所述的发送设备， 其中所述的分析装置具有特征量提取装置，用于提取含有数据考虑点的考虑区域的特征量；和 区域检测装置，用于从对应于特征量的数据中检测与用户的偏爱相对应 的预定区域，和其中所述的控制装置控制数据的预定区域的分辨率。
13、 根据权利要求12所述的发送设备，还包括 条形图存储装置，用于存储特征量的条形图，其中所述的区域检测装置检测与该条形图相对应的预定区域。
14、 根据权利要求12所述的发送设备其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发 送图像数据，其中接收设备显示从所述的发送装置发送的图像数据，和 其中所述的控制装置改善图像数据的预定区域的空间分辨率和降低时间 分辨率，以使图像数据的传送速率不超过预定传送速率。
15、 根据权利要求13所述的发送设备其中所述的检测装置把与具有条形图的最高频率的特征量相同或相似的 区域检测为预定区域。
16、 根据权利要求15所述的发送设备，送图像数据，其中接收设备显示所述的发送装置发送的图像数据，和 其中所述的控制装置改善图像数据的预定区域的空间分辨率和降低时间 分辨率，以使图像数据的传送速率不超过预定传送速率。
17、 根据权利要求14所述的发送设备，其中所述的特征量提取装置提取作为特征量的包含图像数据考虑点的考 虑区域的移动信息、深度信息、位置信息、颜色信息和形状信息的至少一个 信息。
18、 根据权利要求17所述的发送设备，其中所述的特征量提取装置提取装置提取多个作为多个特征量的包含图 像数据考虑点的考虑区域的移动信息、深度信息、位置信息、颜色信息和形 状信息。
19、 根据权利要求1所述的发送设备， 其中所述数据是图像数据， 其中所述分析装置具有静止区域和移动区域确定装置，用于确定图像数据的考虑区域是静止区 域还是移动区域；和 连续确定装置，用于确定考虑点在考虑点的时间和空间方向上是否是连 续的，和其中所述的归类装置相应于静止区域和移动区域确定装置和所述的连续 确定装置的确定结果对图像数据归类。
20、根据权利要求19所述的发送设备，还包括考虑点存储装置，用于存储在静止的并且在时间和空间方向上连续的考 虑区域中所含有的考虑点，和存储移动的并且在时间和空间方向上连续的考虑区域中所含有的考虑点；和类别标识符加法装置，用于获取加入到被存储在考虑点存储装置中的一 个考虑点上的类别标识符，并且把该标识符加到该考虑点上。
21 、根据权利要求20所述的发送设备，其中在当前考虑点处于静止的并在时间和空间方向上连续的考虑区域内 的情况下，当存储在所述考虑点存储装置中的前一考虑点被包含在静止的并 在时间和空间方向上连续的考虑区域内时，相应于当前考虑点与含有前一考 虑点的区域之间空间位置的关系，所述的归类标识符加法装置获得被加入到 当前考虑点的类别标识符。
22、 根据权利要求21所述的发送设备，其中在当前考虑点处于移动的并在时间和空间方向上连续的考虑区域内 的情况下，当存储在所述考虑点存储装置中的前一考虑点被包含在移动的并 在时间和空间方向上连续的考虑区域内时，相应于含有当前考虑点的考虑区 域的预定特征量和含有前一考虑点的考虑区域的预定特征量的相似性，所述 的归类标识符加法装置获得被加入到当前考虑点的类别标识符。
23、 根据权利要求20所述的发送设备，其中所述的归类装置相应于与所述考虑点存储装置中存储的考虑点的密 度相对应的用户偏爱对作为对象的图像数据的预定区域进行归类。
24、 根据权利要求23所述的发送设备，其中所述的归类装置相应于与所述考虑点存储装置中存储的并包含在静 止的考虑区域中的分配了相同类别标识符的考虑点的密度相对应的用户偏 爱，对作为对象的图像数据的预定区域进行归类。
25、 根据权利要求23所述的发送设备，其中所述的归类装置相应于与所述考虑点存储装置中存储的并包含在移 动的考虑区域中的分配了相同类别标识符的和进行了移动补偿的考虑点的密 度相对应的用户偏爱，对作为对象的图像数据的预定区域进行归类。
26、 根据权利要求19所述的发送设备，其中所述的静止区域和移动区域确定装置相应于包含当前帧的考虑点的 考虑区域与包含过去帧的考虑点的考虑区域之间的差值，确定包含当前考虑 点的考虑区域是静止的还是移动的。
27、 根据权利要求19所述的发送设备，其中所述的连续确定装置相应于当前考虑点与过去考虑点的时间差值， 确定当前考虑点是否在时间和空间方向上连续。
28、 根据权利要求23所述的发送设备，其中所述的控制装置改善按对象归类的区域的分辨率。
29、 根据权利要求19所述的发送设备，其中所述的连续确定装置相应于当前考虑点与过去考虑点之间的时间和 空间方向上的距离确定当前考虑点是否连续，获得与包含当前考虑点的考虑 区域相同的静止区域和移动区域确定结果。
30、 根据权利要求29所述的发送设备，其中所述的归类装置相应于用于时间方向和空间方向的距离的加权值对 图像数据进行归类。
31、 根据权利要求30所述的发送设备，还包括图像数据存储装置，用于存储包含在时间方向和空间方向连续的考虑点 的考虑区域中的图像数据。
32、 根据权利要求31所述的发送设备，其中当当前考虑点在时间方向和空间方向上不连续时，在所述的图像数 据存储装置的内容被读出后，擦除该内容，并把包含当前考虑点的考虑区域 中的图像数据存储到所述的图像数据存储装置上。
33、 根据权利要求32所述的发送设备，其中所述的控制装置改善从所述的图像数据存储装置中读出的图像数据 的分辨率。
34、 根据权利要求1所述的发送设备， 其中控制信息被用于一个收费处理。
35、 根据权利要求2所述的发送设备，其中图像数据是编码的对象。
36、 一种向接收设备发送数据的发送方法，包括 接收从接收设备发送的控制信息；相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电 平方向的至少两个方向的分辨率；和向接收设备发送已经已经相应于控制信息控制至少两个方向的分辨率的数据。分析接收设备的用户的偏爱，其中所述的控制步骤相应于分析步骤的分析结果控制数据的分辨率，其中接收设备输出从所述的发送步骤发送的数据，其中所述的控制步骤控制输出给接收设备的数据的考虑点，和其中所述的分析步骤相应于考虑点分析用户的偏爱，其中所述的分析步骤包括子步骤相应于包含数据考虑点的考虑区域对数据进行归类， 其中所述的分析步骤相应于所述归类子步骤的分析结果分析用户的偏
全文摘要
在发送方，背景图像和对象#1至#3每个以传送速率R/4发送。在接收方，以特定的空间分辨率和特定的时间分辨率显示由对象#1至#3和背景图像组成的图像。在此情况下，接收方在特定时间t1拖动对象#1时，在发送方(如图所示)则停止对背景图像和对象#2和#3的传送。此时以传送路径的传送速率R仅发送对象#1。从而，以图像的时间分辨率为代价，显示改善了拖动对象#1的空间分辨率的图像。
文档编号H04N7/26GK101106707SQ20071014265
公开日2008年1月16日 申请日期2000年8月9日 优先权日1999年8月9日
发明者小林直树, 近藤哲二郎, 金丸昌宪 申请人:索尼公司