摄像设备和摄像方法

专利名称：摄像设备和摄像方法
技术领域：
本发明涉及 一 种图像处理系统及其方法、图像处理设备和方 法、摄像设备和方法、程序记录介质以及程序。更具体地说，本 发明涉及一种用于修改包括预定对象的图像使得可以对该预定对 象进行适当修改的图像处理系统及其方法、图4象处理设备和方法、 摄像设备和方法、程序记录介质以及程序。
背景技术：
用于容易地处理图像的技术已经越来越普及。
用于编辑由摄像机等摄像设备拍摄的图像的最普遍的技术之 一是线性编辑。线性编辑是在重放原始图像数据时对图像进行各 种处理，并将处理后的图像记录在不同记录介质上。
线性编辑的问题是，如果原始图像数据是"只能复制一次" 的数据，则记录在磁带录像机(VTR)上的图像一旦被重放和编 辑，就不允许再被记录。
为了解决这个问题，日本特开2003-202944公开了 一种存储 操作的方法，该操作用于指定编辑图像的处理。

发明内容
在线性编辑中，同时传送图像和表示该图像的时间的时间代 码，从而根据时间代码编辑图像。然而，在消费者的VTR等中，时间代码包含在VTR中，结果，难以将时间代码发送到外部。由 于图像与用于指定编辑该图像的处理的操作不同步，所以难以与 图像的重放精确同步地对该图像进行处理，并且，即使当仅存^(诸 了该操作时，也难以显示处理后的图像。
如果可以利用时间代码方法之外的任意技术使图像与用于指 定编辑该图像的处理的操作同步，则按用户顺序重复执行编辑处 理，以根据用户不同地编辑该图像。例如，为了编辑运动会的运 动图像，在图像中经常出现作为对象的多个人。在这种运动图像 中，定位在图像中心或者变焦镜头中心的对象根据用户的不同而 不同。因此，根据用户的数量，可以对一个运动图像执行不同的 编辑操作，因此，单独执行编辑操作非常麻烦而且非常耗时。
因此，希望当特定对象位于拍摄图像中时，对图像进行针对 该特定对象的适当处理。此外，希望在每次针对每个对象重》文图 像时，通过互相关联地存储对该图像执行的处理和该图像的特征 值，对该图像执行预定处理，并再现处理后的图像，而不对原始 图像数据进行处理。
根据本发明第 一 实施例的图像处理系统包括摄像设备和图像 处理设备。所述摄像设备包括摄像部，用于拍摄包括对象的图 像；状态信息获取部，用于获取所述对象的状态信息；以及记录 部，用于记录所述图像和所述对象的状态信息。所述图像处理设 备包括修改细节确定部，用于根据所述记录部记录的所述图像 和所述对象的状态信息来指定要对所述图像进行的修改的细节； 设置部，用于根据所述修改细节确定部指定的所述修改的细节， 设置用于修改所述图像的设置信息；第一特征值提取部，用于从 所迷图像中提取特征值；以及记录部，用于将所述设置信息与所 述第一特征值提取部提取的所述图像的特征值相关联地记录在设
置信息记录介质上。所述对象的状态信息可以包括所述对象的位置信息。
所述图像处理设备可以还包括判断部，用于根据所述才聂像 设备的记录部记录的所述图像和所述对象的位置信息判断所述图 像是否包括特定对象。当所述判断部判断出所述图像包括所述特 定对象时，所述修改细节确定部指定要对所述图像进行的修改的 细节。
所述状态信息荻取部可以利用全球定位系统(GPS)获耳又所 述对象的位置信息。
所述状态信息获取部可以利用IC标签和传感器获取所述对象 的位置信息。
所述4聂^象i殳备可以还包括组合部，所述組合部用于将所述对 象的状态信息与所述图像进行组合，所述摄像设备的记录部可以 将通过所述组合部组合了所述对象的状态信息的所述图像记录在 图像记录介质上。所述图像处理设备还包括分离部，所述分离部 用于从通过所述组合部组合了所述对象的状态信息的所述图^f象中 分离出所述图像和所述状态信息，所述修改细节确定部可以才艮据 通过所述分离部分离出的所述图像和所述状态信息来指定要对所 述图像进行的修改的细节。
所述揭J象设备的记录部可以包括图J象记录部，用于记录所 述图像；第二特征值提取部，用于从所述图像中提取特征值；以 及状态信息记录部，用于与通过所述第二特征值提取部提取的所 述特征值相关联地记录所述对象的状态信息。所述图像记录部可 以被配置成将所述图像记录在图像记录介质上，以及所述状态信 息记录部被配置成将所述对象的状态信息与通过所述第二特征值
所述图像处理设备可以还包括同步部，用于使记录在所述状态 信息记录介质上的所述特征值与通过所述第 一特征值提取部提取的所述特征值同步；以及获取部，用于从所述状态信息记录介质 中获取与通过所述同步部同步的所述特征值相关的所述状态信 息。所述修改细节确定部可以根据记录在所述图像记录介质上的 所述图像和通过所述获取部获取的所述状态信息，指定要对所述 图像进行的修改的细节。
根据本发明第一实施例的、用于包括摄像设备和图像处理i殳 备的图像处理系统的图像处理方法包括以下步骤所述摄像i殳备 拍摄包括对象的图像；所述摄像设备获取所述对象的状态信息； 所述摄像设备记录所述图像和所述对象的状态信息；所述图 <象处 理设备根据所述摄像设备记录的所述图像和所述对象的状态信 息，指定要对所述图像进行的修改的细节；所述图像处理设备根 据所指定的修改的细节，设置用于修改所述图像的设置信息；所 述图像处理设备从所述图像中提取特征值；以及所述图像处理设 备将所述设置信息与所提取的特征值相关联地记录在设置信息记 录介质上。
根据本发明第一实施例的程序记录介质存储了用于控制包括 摄像设备和图像处理设备的图像处理系统的计算机可读程序。所 述程序包括用于控制所述摄像设备的程序和用于控制所述图像处 理设备的程序，所述用于控制所述摄像设备的程序包括以下步骤 拍摄包括对象的图像，获取所述对象的状态信息，以及记录所述 图像和所述对象的状态信息；所述用于控制所述图像处理设备的 程序包括以下步骤根据所述摄像设备记录的所述图像和所述对 象的状态信息指定要对所述图像进行的修改的细节，根据所指定 的修改的细节设置用于修改所述图像的设置信息，从所述图像中 提取特征值，以及将所述设置信息与所提取的特征值相关联地记 录在设置信息记录介质上。
根据本发明第 一 实施例的、用于控制包括摄像设备和图像处理设备的图像处理系统的计算机的程序包括使所述计算机4空制 所述摄像设备执行包括以下步骤的处理拍摄包括对象的图 <象， 获取所述对象的状态信息，记录所述图像和所述对象的状态信息； 以及使所述计算机控制所述图像处理设备执行包括以下步骤的处 理根据所述摄像设备记录的所述图像和所述对象的状态信息来 指定要对所述图像进行的修改的细节，根据所指定的修改的细节， 设置用于修改所述图像的设置信息，从所述图像中提取特征值， 以及将所述设置信息与所提取的特征值相关联地记录在设置4言,l 记录介质上。
根据本发明第二实施例的图像处理设备包括修改细节确定 部，用于根据图像中特定对象的状态来指定要对所述图像进行的 修改的细节；设置部，用于根据所述修改细节确定部指定的所述 修改的细节，设置用于修改所述图像的设置信息；特征值提:取部， 用于从所述图像中提取特征值；以及记录部，用于将所述设置信 息与所迷特征值提取部提取的所述图像的特征值相关联地记录在 设置信息记录介质上。
所述图像可以包括所述图像中每个对象的状态信息。所述图 像中所迷特定对象的状态是以所述图像中每个对象的所述状态信 息为基础的，以及所述修改细节确定部根据基于所述图像中每个 对象的所述状态信息的所述特定对象的状态，指定要对所述图像 进行的修改的细节。
所述状态信息可以包括位置信息。所述图像处理设备可以还 包括判断部，所述判断部用于根据所述图像中每个对象的所述位 置信息，判断所述特定对象是否位于所述图像中并且位于所述图 像中任何其它对象之前，从而判断所述图像是否包括所述特定对 象，所述修改细节确定部可以根据所述判断部的判断结果，指定 要对所述图像进行的修改的细节。所述图像处理设备可以还包括获取部，用于荻取与所述图Y象 的特征值相关的、所述图像中每个对象的所述状态信息。所述特 定对象的状态可以以与所述图像的特征值相关的、所述图像中每 个对象的所述状态信息为基础，所述修改细节确定部可以才艮才居以 与所述图像的特征值相关的、所述图像中每个对象的所述状态信 息为基础的所述特定对象的状态，指定要对所述图像进行的修改 的细节。根据本发明第二实施例的图像处理方法包括以下步骤才艮据图像中特定对象的状态来指定要对所述图像进行的修改的细节； 根据所指定的修改的细节设置用于修改所述图像的设置信息；从 所述图像中提取特征值；以及将所述设置信息与所提取的所述图 像的特征值相关联地记录在设置信息记录介质上。根据本发明第二实施例的程序记录介质存储了计算机可读程 序，所述程序包括以下步骤根据图像中特定对象的状态指定要 对所述图像进行的修改的细节；根据所指定的所述修改的细节， 设置用于修改所述图像的设置信息；从所述图像中提取特征值； 以及将所述设置信息与所提取的所述图像的特征值相关联地记录 在设置信息记录介质上。根据本发明第二实施例的程序用于使计算机执行包括以下步 骤的处理根据图像中特定对象的状态指定要对所述图像进行的 修改的细节；根据所指定的所述修改的细节设置用于修改所述图 像的设置信息；从所述图像中提取特征值；以及将所述设置信息 与所提取的所述图像的特征值相关联地记录在设置信息记录介质 上。根据本发明第三实施例的摄像设备包括摄像部，用于拍摄 包括对象的图像；状态信息获取部，用于获取所述对象的状态信 息；以及记录部，用于记录所述图像和所述对象的状态信息。所述状态信息可以包括位置信息。所述状态信息获取部可以利用全球定位系统(GPS)获取所 述对象的位置信息。所述状态信息获取部可以利用IC标签和传感器获取所述对象 的位置信息。所述摄像设备可以还包括组合部，该组合部用于将所述对象 的状态信息与图像进行组合，所述记录部可以将通过所述组合部 组合了所述对象的状态信息的所述图像记录在图像记录介质上。所述记录部可以包括图像记录部，用于记录所述图像；特 征值提取部，用于从所述图像中提取特征值；以及状态信息^己录 部，用于与所述特征值提取部提取的所述特征值相关联地记录所 述对象的状态信息。根据本发明第三实施例的摄像方法包括以下步骤拍摄包括 对象的图像；获取所述对象的状态信息；以及记录所述图像和所 述对象的状态信息。根据本发明第三实施例的程序记录介质存储了计算机可读程 序，所述程序包括以下步骤拍摄包括对象的图像；获取所述对 象的状态信息；以及记录所述图像和所述对象的状态信息。根据本发明第三实施例的程序用于使计算机执行包括以下步 骤的处理拍摄包括对象的图像；获取所述对象的状态信息；以 及记录所述图像和所述对象的状态信息。在根据本发明第 一 实施例的图像处理系统及其方法以及程序 中，所述摄像设备被配置成拍摄包括对象的图像，获取该对象 的状态信息，以及记录该图像和该对象的状态信息；以及所述图 像处理设备被配置成根据所记录的图像和对象状态信息来指定 要对该图像进行的修改的细节，根据所述修改细节设置修改图像 的设置信息，从该图像中提取特征值，以及将所述设置信息与所提取的图像特征值相关联地记录在设置信息记录介质上。在根据本发明第二实施例的图像处理设备和方法以及禾呈序中，根据图像中特定对象的状态来指定要对图像进行的修改的细节；根据指定的修改细节，设置用于修改该图像的设置信息；从 该图像提取特征值；以及将所述设置信息与该图像的特征值相关 联地记录在设置信息记录介质上。在根据本发明第三实施例的摄像设备和方法以及程序中，拍 摄包括对象的图像；获取该对象的状态信息；以及记录该图^f象和 该对象的状态信息。根据本发明上述实施例的图像处理设备和摄像设备可以是单 独设备，也可以构成模块，该模块被配置成执行图像处理操作和 摄像操作。根据本发明第 一 实施例，可以记录拍摄的图像和对象的位置 信息。因此，在特定对象位于该图像中时，在每次重放该图像时， 可以对该图像执行预定处理，然后，再现处理后的图像，而无需 对该原始图像数据进行处理。此外，在每次重放该图像数据时， 甚至可以对不允许复制的图像数据执行相同的处理，而且可以重 复重放处理后的图像。此外，根据本发明第一实施例，可以记录拍摄的图像和对象 的位置信息。根据该图像和该对象的位置信息，当特定对象位于 该图像中时，可以与该图^象的特征值相关联地记录用于处理对应 于特定对象的图像的设置信息。根据本发明第二实施例，当特定对象位于图像中时，在每次 重放该图像时，可以对该图像执行预定处理，而且可以再现处理 后的图像，而不对原始图像数据进行处理。此外，在每次重放图 像数据时，可以对不允许复制的图像数据执行相同的处理，而且 可以重复重放处理后的图像。此外，根据本发明第二实施例，当特定对象位于图像中时， 与该图像的特征值相关联地记录用于处理对应于该特定对象的图 像的设置信息。根据本发明第三实施例，在拍摄图像时，可以与该图像相关 联地记录对象的位置信息。此外，根据本发明的第三实施例，在拍才聂图像时，可以与该 图像的记录定时相关联地记录对象的位置信息。


图1A和图1B是示出根据本发明实施例的图像处理设备的4既 念的图；图2是示出根据本发明实施例的图像处理设备的概念的图； 图3是示出根据本发明实施例的图像记录设备的结构的框图； 图4是示出根据本发明实施例的图像处理设备的结构的框图； 图5是示出图3所示图像记录设备中的传感器的结构的框图； 图6是示出图4所示图像处理设备中的修改信息确定单元的典 型结构的框图；图7是示出图4所示图像处理设备中的修改处理装置的典型结 构的框图；图8是示出图7所示修改处理装置中的特征值提取器的典型结 构的图；图9是示出图像信号的典型结构的图；图IO是图7所示修改处理装置中的同步检测器的典型结构的 框图；图ll是示出图3所示图像记录设备执行的图像记录处理的流 程图；图12是示出图7所示修改处理装置执行的图像修改处理的流程图；图13是示出图12所示图像修改处理中的修改信息确定处理的流程图；图14是示出图12所示图像修改处理中的修改信息确定处理的图；图15是示出图7所示修改处理装置执行的修改处理的流程图； 图16是示出图15所示修改处理中的特征值提取处理的流程图；图17是示出图15所示修改处理中的特征值^是取处理的图； 图18是示出图4所示图像处理设备执行的重放处理的流程图； 图19是示出图18所示重放处理中的同步^r测处理的流程图； 图20是示出图18所示重放处理中的同步检测处理的图； 图2l是示出根据本发明另 一 实施例的图像记录设备的结构的图；图22是示出根据本发明另 一 实施例的图像处理设备的结构的图；图23是示出图22所示图像处理设备中的修改处理装置的典型 结构的图；图2 4是示出图2 2所示图像处理设备中的位置信息重放单元的 典型结构的图；图25是示出图21所示图像记录设备执行的图像记录处理的流 程图；图26是示出图22所示图像处理设备执行的图像修改处理的流 程图；图2 7是示出图2 6所示图像修改处理中的位置信息提取处理的 流程图；图28是示出图26所示图像修改处理中的修改处理的流程图；图29是示出图22所示图像处理设备执行的重放处理的流禾呈 图；以及
图30是示出介质的图。
具体实施例方式
下面，在说明本发明实施例之前，先讨i仑4又利要求的特4正与 本发明实施例7>开的特定要素之间的对应关系。本i兌明意在^f呆i正 支持所要求的发明的实施例在本说明书中^f皮描述。因此，即z使下 面各实施例中的要素没有被描述为与本发明的特定特征相关的要 素，这也不一定意p木着该要素与该^又利要求的该特征无关。相反， 即使在此将某一要素描述为关于权利要求的特定特征的要素，也 不一定意味着该要素与权利要求的其它特征无关。
此外，本说明不应该被理解为限定实施例中所公开的本发明 的所有实施例都在权利要求中被说明。即，该说明没有否认存在 这样的
具体实施例方式该实施例在各实施例中被i兌明，4旦是在 本申请的发明权利要求中没有要求，即，存在将来通过利用分案 申请来要求的本发明的实施例，或者通过修改来附加要求的本发 明的实施例。
根据本发明第 一 实施例的图像处理系统包括摄像设备和图像 处理设备。该摄像设备包括摄像部(例如，图3所示的摄像单元 12),用于拍摄包括对象的图像；状态信息获取部(例如，图3所 示的位置信息获取单元13 )，用于获取对象的状态信息；以及记录 部(例如，图3所示的录像机15),用于记录图像和对象状态信息。 该图像处理设备包括修改细节确定部(例如，图6所示的修改细 节确定单元44)，用于根据记录部记录的图像和对象状态信息来指 定要对图像进行修改的细节；设置部(例如，图7所示设置信息确 单元69)，用于根据修改细节确定部指定的修改细节，设置用于修改图像的设置信息；第一特征值提取部(例如，图7所示的特4正 值提取器61),用于从图像中提取特征值；以及记录部(例如，图 7所示的特征值设置信息记录器6 3 )，用于将设置信息与第 一 特征 值提取部提取的图像特征值相关联地记录在设置信息记录介质 上。
对象状态信息可以包括对象的位置信息。
该图像处理设备可以还包括判断部(例如，图6所示的修改 判断器43),用于根据记录部记录的图像和对象位置信息，判断该 图像是否包括特定对象。当该判断部判断出图像包括特定对象时， 修改细节确定部(例如，图6所示的^f'务改细节确定单元44 )可以指 定要对该图像进行修改的细节。
利用全球定位系统(例如，图5所示的GPS位置获取单元31 ), 状态信息获取部可以获取该对象的位置信息。
状态信息获取部可以利用IC标签和传感器获取该对象的位置 信息。
该摄像设备可以还包括组合部(例如，图3所示的组合器14), 用于将对象状态信息与图像组合在一起，而且该记录部可以将通 过组合部组合了对象状态信息的图像记录在图像记录介质上。该 图像处理设备可以还包括分离部，用于从通过组合部组合了对象 状态信息的图像中分离出图像和状态信息，修改细节确定部可以 根据该分离部分离出的图像和状态信息来指定要对该图像进行修 改的细节。
该记录部可以包括图像记录部(例如，图21所示的录像机 201),用于记录图像；第二特征值提取部(例如，图21所示的特 征值提取器202 ),用于从图像中提取特征值；以及状态信息记录 部(例如，图21所示的位置信息记录装置203 ),用于将对象状态 信息与第二特征值提取部提取的特征值相关联地记录。该图像记录部可以配置成将该图像记录在图像记录介质上，而且状态信息 记录部可以配置成将对象状态信息与第二特征值提取部提取的特 征值相关联地记录在状态信息记录介质上。该图 <象处理i更备可以
还包括同步部(例如，图23所示的同步检测器62 ),用于使记录 在状态信息记录介质上的特征值与第 一特征值提取部提取的特征 值同步；以及获取部，用于从状态信息记录介质中获取被同步部 同步的特征值相关的状态信息。修改细节确定部可以根据记录在 图像记录介质上的图像和通过获取部获取的状态信息来指定要对 该图像进行修改的细节。
用于根据本发明第 一 实施例的包括摄像设备和图像处理设备 的图像处理系统的图像处理方法和程序包括以下步骤摄像设备 拍摄包括对象的图像(例如，图ll所示流程图的步骤Sll );摄像 设备获取对象的状态信息(例如，图ll所示流程图的步骤S13 ); 摄像设备记录该图像和该对象的状态信息(例如，图ll所示流程 图的步骤S15);图像处理设备根据摄像设备记录的该图像和该对 象的状态信息指定要对该图像进行修改的细节(例如，图13所示 流程图的步骤S46 );图像处理设备根据指定的修改细节设置用于 修改该图像的设置信息(例如，图15所示流程图的步骤S64);图 像处理设备从该图像中提取特征值；以及图像处理设备将该设置 信息与所提取的特征值相关联地记录在设置信息记录介质上(例 如，图15所示流程图的步骤S65)。
根据本发明第二实施例的图像处理设备包括修改细节确定 部(例如，图6所示修改细节确定单元44),用于根据图像中的特 定对象的状态指定要对该图像进行修改的细节；设置部(例如， 图7所示的设置信息确定单元69)，用于根据修改细节确定部所指 定的修改细节来设置用于修改该图像的设置信,包-;特征值提取部 (例如，图7所示特征值提取器61 )，用于从该图像中提取特征值；以及记录部(例如，图7所示特征值设置信息记录器63 )，用于将 设置信息与特征值提取部所提取的图像的特征值相关联地记录在 设置信息记录介质(例如，图7所示的数据记录介质26)上。
该图像可以包括该图像中每个对象的状态信息。该图像中特 定对象的状态是以该图像中的每个对象的状态信息为基础的，而 且修改细节确定部(例如，图6所示修改细节确定单元44)可以才艮 据以该图像中每个对象的状态信息为基础的特定对象的状态来指 定要对该图像进行修改的细节。
该状态信息可以包括位置信息。该图像处理设备可以还包括 判断部(例如，图6所示的修改判断器43 ),用于根据该图像中的 每个对象的位置信息，判断特定对象是否位于该图像中以及是否 在该图像中的任何其它对象之前，从而判断该图像是否包括特定 对象，修改细节确定部(例如，图6所示修改细节确定单元44)可 以根据判断部的判断结果来指定要对图像进行修改的细节。
图像处理设备可以还包括获取部(例如，图6所示位置信息 获取单元41 ),用于获取与该图像的特征值相关的图像中每个对象 的状态信息。特定对象的状态可以以该图像中与该图像的特征值 相关的每个对象的状态信息为基础，并且修改细节确定部(例如， 图6所示的修改细节确定单元4 4 )可以根据以该图像中与该图像的 特征值相关的每个对象的状态信息为基础的特定对象的状态来指 定要对该图像进行修改的细节。
根据本发明第二实施例的图像处理方法和程序包括如下步 骤在该图像中包括特定对象时指定要对图像进行修改的细节(例 如，图13所示流程图中的步骤S46);根据指定的修改细节设置用 于修改该图像的设置信息(例如，图15所示流程图中的步骤S64); 从图像中提取特征值；以及将该设置信息与所提取的该图像的特 征值相关联地记录在设置信息记录介质上(例如，图15所示流程图中的步骤S65)。
根据本发明第三实施例的摄像设备包括摄像部(例如，图3 所示的摄像单元12),用于拍摄包括对象的图像；状态信息获取部 (例如，图3所示位置信息获取单元13)，用于获取对象的状态信 息；以及记录部(例如，图3所示录像机15),用于记录该图像和 该对象的状态信息。
状态信息可以包括位置信息。
利用全球定位系统(例如，图5所示的GPS位置获取单元31), 状态信息获取部可以获取对象的位置信息。
利用IC标签和传感器，状态信息获取部可以获取该对象的位 置信息。
该摄像设备可以还包括组合部(例如，图3所示的组合器14)， 用于将该对象的状态信息与图像组合在一起，而且记录部可以将 组合部组合了对象状态信息的图像记录在图像记录介质上。
该记录部可以包括图像记录部(例如，图21所示的录像机 201)，用于记录图像；特征值提取部(例如，图21所示的特征值 提取器202 ),用于从图像中提取特征值；以及状态信息记录部(例 如，图21所示的位置信息记录装置203 ),用于与特征值提取部提 取的特征值相关联地记录对象的状态信息。
根据本发明第三实施例的摄像方法和程序包括如下步骤拍 摄包括对象的图像(例如，图ll所示流程图中的步骤Sll );获取 对象的状态信息(例如，图ll所示流程图中的步骤S13);以及记 录该图像和该对象的状态信息(例如，图ll所示流程图中的步骤 S15)。
将参考图1A和1B说明根据本发明实施例的图像处理设备的 概念。根据本发明实施例的图像处理设备2被配置成对预记录的图 像执行用户指定的处理，并显示处理后的图像。具体地说，图像处理设备2提取图像的特征值，并与该特征值相关联地存储表示修改细节的修改信息。此外，在重放预记录图像时，图像处理设备2读取所存储的修改信息，以对该图像进行修改，然后，显示修改后的图像。
更具体地说，图像处理设备2主要具有两种工作模式，即，记录模式和重放模式。
在记录模式下，如图1A所示，图像处理设备2利用DVD播放机等使从具有包括预记录的运动图像的内容的数字通用盘(DVD )等记录介质l重放的图像显示在显示单元3上。在用户操作遥控器等以指定此状态下要对该图像进行的要求的修改时，例如，变焦、平转或者俯仰，图像处理设备2产生对应于该操作的修改信息，然后，对该图像进行与该修改信息相关的修改，以在显示器3上显示修改后的图像。图像处理设备2还从该图像中提取特征值，然后，将该修改信息与所提取的特征值相关联地存储在修改信息记录/重放设备4上。
在重放模式下，如图1B所示，图像处理设备2利用DVD播放机等读取从具有包括预记录的运动图像的内容的记录介质1重放的图像，然后，提取特征值。与从记录介质l读取的图像的特征值同步，图Y象处理设备2读取与特征值相关联地记录在修改信息记录/重放设备4上的修改信息，然后，根据所读取的修改信息，对该图像执行修改处理，以使修改后的图像显示在显示单元3上。
通过执行上面描述的操作，图像处理设备2可以仅存储要对预记录的图像进行修改的细节，而且可以重复重放修改后的图像，而无需记录修改后的图像本身。因此，对可复制有限次数的预记录的图像例如"只能复制一次，，的图像可以进行重复修改，例如，对它们进行各种图像处理。作为例子，在图1A和1B中，记录在记录介质1上的图像包括山和房屋。指定放大该图像中的山的修改处理，并使放大了山的图像显示在显示单元3上。
因此，图像处理设备2被配置成利用所存储的修改信息对作为原始图像记录在记录介质l上的图像执行修改处理，然后，显示修改后的图像。这样，改变该修改信息，以对记录在记录介质l上的图像进行修改，从而产生各种修改后的图像，然后，显示该图像。
如图2所示，当记录介质1中记录有示出用户A至C的拍摄图像时，进一步配置图像处理设备2，以判断该图像中是否包括作为对象的用户A至C中的每一个，对每个对象产生预定修改信息，根据所产生的修改信息对该图像执行修改处理，并显示作为显示在显示单元3-l至3-3上的图像的结果。尽管在图2中，为了识别不同的显示风格，利用不同附图标记表示显示单元3-1至3-3,但是这些图像被显示在同一个显示单元3上。在图2中，提供了修改信息4a至4c,图像处理设备2根据修改信息4a至4c中的每一个对记录在记录介质l上的图像执行预定的修改处理，例如，分别放大用户A至C中的每一个以在该图像的中央显示用户A至C中的每一个的修改处理，以在显示单元3-l至3-3上显示该结果。
因此，图像处理设备2可以根据图像中的对象产生修改信息，而且可以显示修改后的结果。因此，用户A至C可以利用记录介质1和各修改信息4a至4c来查看所拍摄的、作为根据各修改信息4a至4c的处理结果记录在记录介质l上的相同图像，而无需执行不可逆操作。因此，用户A至C都可以欣赏好象该用户是图像焦点一样的图像。在将记录介质l与各条修改信息4a至4c组合在 一起的情况下，利用这种组合重放的图像对用户A至C中的每一个具有附加值，因此增加了记录介质l的销售效率。
将详细说明图1A至图2所示的图像处理设备2。
图3是示出了本发明实施例的图像记录设备的结构的图，该图像记录设备产生相当于图1A至图2所示记录介质1的公用介质16。用户A至C分别是记录在公用介质16上的图像的对象和传感器ll-l至11-3。传感器ll-l至11-3中的每一个利用全球定位系统(GPS)获取位置信息，然后，将位置信息发送到位置信息获取单元13。例如，假定用户A至C分别要求购买上述修改信息，而且事先分别具有传感器11-1至11-3。将传感器11-l至ll-3统称为"传感器ll"，除非要将它们单独区别开，这同样适用于其它单元。下面参考图5详细说明传感器ll的结构。
摄像单元12利用电荷耦合装置(CCD)元件或者互补金属氧化物半导体(CMOS)元件等摄像元件，将入射光光电转换为电信号，以拍摄图像，然后将图像作为图像数据送到组合器14。
位置信息获取单元13从传感器ll获取位置信息，并将位置信息送到组合器14。组合器14将位置信息获取单元13送来的位置信息与摄像单元12送来的图像数据组合在一起，然后，将该结果送到录像机15。录像机15利用组合的位置信息以预定记录格式编码该图像数据，然后，将该编码图像数据记录在DVD-R等记录介质上，以产生公用介质16。
将参考图4说明本发明实施例的图像处理设备的结构，该图像处理设备对利用对应于图1A至图2所示图像处理设备2的图像记录设备产生的公用介质16执行修改处理。
重放单元21利用组合位置信息读取并解码以预定格式编码并记录在公用介质16上的图像数据，然后，将该解码图像数据送到分离器22。分离器22从重放单元21送来的图像数据中分离出各条位置信息，然后，将该图像数据送到修改处理装置23，并将位置信息送到修改信息确定单元2 5 。
修改信息确定单元25根据分离器22送来的每个传感器11的位置信息确定拍摄图像中的位置，然后根据修改目标用户的位置信息判断通过控制器24输入的修改目标用户是否显示在该图像中。如果修改目标用户显示在该图像中，则修改信息确定单元25确定要对该图像进行的修改，以产生对应于该修改的修改信息，然后，将该修改信息送到修改处理装置23。下面参考图6详细说明修改信息确定单元25的结构。
修改处理装置23根据修改信息确定单元25送来的修改信息确定用于对分离器22送来的图像执行修改处理的设置信息，然后，根据所确定的设置信息对该图像执行修改处理，以显示修改后的图像。此外，修改处理装置23将该设置信息与该图像的特征值相关联地记录在数据记录介质2 6上。下面参考图7详细说明修改处理装置23的结构。
数据记录介质26是可以放置在修改处理装置23上，也可以从修改处理装置23上取下的可拆卸介质，并且数据记录介质26被配置成针对每个传感器ll，即，以作为对象的用户为单位，存储对图像执行修改处理所需的设置信息。因此，可以针对各用户将多个数据记录介质26放置在多个插槽(未示出)内。作为选择，可以将所有用户的设置信息以每个用户的单独文件或者文件夹的形式分别记录在一个数据记录介质26上。
将参考图5说明根据本发明实施例的传感器11的结构。
G P S位置获取单元31接收测地卫星发送来的无线电波，以获取地球上的位置信息(经度/綷度)，然后，将该位置信息送到发送器32。发送器32将传感器11唯一的ID 32a加到从GPS位置获取单元31送来的位置信息，然后，发送该位置信息。由于该位置信息包括ID 32a,所以可以识别传感器ll中每一个的位置信息。换句话说，可以通过ID 32a识别每个用户的位置信息。
将参考图6说明根据本发明实施例的修改信息确定单元2 5的结构。
位置信息获取单元41获取从分离器22送来的所有位置信息，然后，将它们送到图像内位置计算单元42。图像内位置计算单元42根据从位置信息获取单元41送来的各位置信息计算摄像单元12拍摄的图像内的位置。摄像单元12是在地球上的位置和拍照方向均固定的固定照像机，并事先规定摄像单元12获取的图像的视角。因此，图像内位置计算单元4 2根据传感器11的各位置信息计算摄像单元12拍摄的图像中显示的用户的位置，然后，将计算结果送到修改判断器43和修改信息生成器45。
修改判断器43根据修改目标用户的信息，利用从图像内位置计算单元4 2送来的该图像中的计算位置，判断通过控制器2 4提供的修改目标用户是否位于该图像中以及与任何其它对象相比是否更位于摄像单元12之前。如果修改目标用户位于该图像中而且与任何其它对象相比更位于摄像单元12之前，则修改判断器43发出修改指令，然后，将修改目标用户的信息送到修改细节确定单元44。
响应从修改判断器43收到的修改指令以及修改目标用户的信息，修改细节确定单元44确定修改细节。更具体地说，例如，修-改细节确定单元44确定用于放大具有对应于用户A的传感器11-1的ID 32a的位置信息的对象以使该对象位于该图像的中心的修改，然后，将所确定的修改送到修改信息生成器45。修改信息生成器4 5产生用于修改处理装置2 3的特定信息，以根据修改细节确定单元44送来的修改细节和图像内位置计算单元42计算的该图像内的位置的信息来修改该图像，然后，将产生的信息送到修改处理装置23。更具体地说，例如，修改信息生成器45将原始图像中的中心像素位置和放大率等修改信息送到修改处理装置23。
将参考图7说明根据本发明实施例的修改处理装置23的结构。特征值提取器6l提取从重放单元2l顺序提供的图像之一 的特征值，然后，将该特征值送到同步检测器62和特征值设置信息记录器6 3 。下面将参考图8详细说明特征值提取器61的结构。
修改信息识别器68识别修改信息，然后，将表示修改处理细 节的信息作为识别结果送到设置信息确定单元69。
设置信息确定单元69根据表示从修改信息识别器68提供的修 改处理细节的信息来确定用于向反映单元67提供要对该图傳j丸行 的修改处理细节的指令的设置信息，如下所述，然后，将该i殳置 信息送到特征值设置信息记录器63和选择器65。
特征值设置信息记录器63将特征值提取器61提供的特征值和 设置信息确定单元69提供的设置信息相互关联地存储在数据记录 介质26 (对应于图1A至图2所示修改信息记录/重放设备4)上。
同步检测器62搜索存储在数据记录介质26上的特征值(搜索 位置特征值，下面说明)，以寻找特征值提取器61提供的重放单元 21当前重放的图像的特征值(重放位置特征值，下面说明)。当检 测到相同的特征值时，同步检测器62将检测结果送到特征值设置 信息读取器64，作为图像同步位置。下面参考图IO详细说明同步 检测器62的结构。
获得了同步检测器62检测到的作为同步位置的特征值(搜索 位置特征值)后，特征值设置信息读取器64读取与该特征值相关 联地存储在数据记录介质26上的设置信息，然后，将读取的设置 信息送到选择器65。在从设置信息确定单元69提供设置信息的情 况下，即使特征值设置信息读取器64同时提供设置信息，选择器 65也将设置信息确定单元69提供的设置信息送到反映单元67。如 果设置信息确定单元69没有提供设置信息，而由特征值设置信息 读取器64提供设置信息，则选择器65将特征值设置信息读取器64 提供的设置信息送到反映单元67。如果设置信息确定单元69或者 特征值设置信息读取器64都没有提供设置信息，则选择器65不将 设置信息送到反映单元67。在特征值提取器61、同步检测器62以及选择器65的操作过程 中，延迟单元66将供给的图像临时存储延迟时间段，然后将该图 像输出到反映单元67。如果从选择器65提供设置信息，则反映单 元67在该图像中反映对延迟单元66提供的图像执行的处理，然后， 在该显示单元70上显示处理后的图像。如果选择器65没有提供设 置信息，则反映单元67在显示单元70上显示从延迟单元66提供的 图像，而不改变该图像。
将参考图8详细说明特征值提取器61的结构。
D触发器(DFF) 81存储紧前一个输入信号，然后，在从时 钟信号发生器(未示出)输入时钟信号(clk)时，将该输入信号 输出到加法器82。如果该输入信号位于该图像信号的图像数据区 之外，则将复位信号输入到DFF 81,以删除该输入信号，而不输 出输入信号。即，如图9所示，图像信号包括同步数据区和图像数 据区。根据从帧开始点S开始顺序输入的位置信息，帧开始点S是 图9所示水平采样和垂直线的圓形原点，当该输入信号是图像数据 区之外的同步数据时，将复位信号输入到DFF 81，而不将构成该 同步数据的信号输出到加法器82。换句话说，在构成该图像的输 入信号中，DFF 81仅将图像数据区内的数据与时钟信号同步送到 加法器82。
加法器82将DFF 81提供的信号和DFF 83提供的信号相加， 然后，将和输出到DFF 83。更具体地说，加法器82提取DFF 81 提供的信号和DFF 83提供的信号的和的8个最低有效位，然后， 将提取的8位输出到DFF 83。
在时钟发生器(未示出)产生的时钟信号(clk)输 到DFF 83时，DFF 83将加法器82提供的信号送到加法器82和输出单元 84。如果将帧开始点S (图9所示水平采样和垂直线的圆形原点) 的信号输入到DFF 83,则将复位信号输入到DFF 83,以删除该输入信号，而不输出输入信号。即，在构成该图像的输入信号中，
加法器82仅累加该图像数据区内的数据，然后，DFF83将通过相 加获得的和送到输出单元84。
当将一帧(或一个场)的值从DFF 83送到输出单元84时，输 出单元84输出该值，作为一帧图像(或该场)的特征值。即，输 出单元84输出加法器82通过仅累加该图像数据区内的数据获得的 值的8个最低有效位，作为该帧(或者场)的特征值。该特征值可 以是可以用于识别以帧为单位的图像的任意信息，而且它并不局 限于通过仅累加该图像数据区内的数据确定的值(仅像素值)的8 个最低有效位。作为选择，例如，可以将靠近该图像数据区中心 的预定区域内的4象素值之和用作特征值。
将参考图IO详细说明同步检测器62的结构。
特征值緩冲器101 -1至101 - 3中的每 一 个临时存储提供的特 征值，然后，将存储的特征值顺序输出到重放位置特征值生成器 102和位于后续级的特征值緩沖器101-2或者101-3。由于特征值 緩沖器101-3之后没有特征值緩冲器101,所以特征值緩冲器 101-3仅将该特征值送到重放位置特征值生成器102。重放位置特 征值生成器102顺序获取最新特征值和从特征值緩冲器101-1至 101-3提供的最后3帧的特征值，然后，将这些特征值组合在一起， 以产生重放位置信息(重放位置特征值)。重放位置特征值生成器 102将重放位置信息输出到比较器103。即，重放位置特征值生成 器102将包括最新帧和3个先前帧的总共4个特征值用作用于指定 重放位置的特征值，然后，产生重放位置特征值。
搜索位置特征值读取器104顺序读取存储在数据记录介质26 上的一组4个连续特征值，然后，将这组4个连续特征值作为搜索 位置特征值送到比较器103和检测器105 。比较器103将重放位置 特征值生成器102提供的重放位置特征值与搜索位置特征值读取器104顺序提供的搜索位置特征值进行比较。当比较器103找到与 重放位置特征值匹配的搜索位置特征值时，比较器103确定;f全测到 同步，然后，将检测到同步作为检测结果通知给检测器105。当比 较器103确定检测到同步时，检测器105输出搜索位置特征值读取 器104提供的搜索位置特征值，作为同步检测结果。
将参考图ll所示的流程图说明图3所示图像记录设备执行的 图^f象记录处理。
在步骤S1，传感器11的GPS位置获取单元31判断是否经过了 预定时间，然后，重复进行该判断，直到经过了该预定时间。例 如，如果在步骤S1判断出已经经过了预定时间，则在步骤S2， GPS 位置获取单元31接收测地卫星发送的无线电波，计算地球上的纬 度和经度，以获取位置信息，然后，将该位置信息送到发送器32。
在步骤S3，发送器32将ID 32a加到GPS位置获取单元31提供 的位置信息上，然后，发送获得的位置信息。然后该处理返回步 骤S1。
在步骤Sll,图像记录设备的摄像单元12拍摄要求的图像，根 据拍摄的图像产生图像数据，然后，将该图像数据送到组合器14。
在步骤S12，位置信息获取单元13判断传感器11是否已经发 送了位置信息。如果还没有发送位置信息，则该处理返回步骤Sll。 即，继续拍摄图像，直到发送了位置信息。例如，如果根据步骤 S3的处理，判断出已经从传感器ll发送了位置信息，则在步骤 S13,位置信息获取单元13获取从传感器11发送的包括传感器ll 唯一的ID 32a的位置信息，然后，将所获取的位置信息送到组合 器14。如果多个传感器ll同时发送了多条位置信息，则位置信息 获取单元13同时获取多条位置信息，然后，将它们送到组合器14。
在步骤S14,组合器14将位置信息获取单元13提供的包括对 传感器11唯一的ID 32a的位置信息与摄像单元12提供的图像组合在一起，然后，将该结果送到录像机15。
在步骤S15，录像机15将组合器14提供的具有组合位置信息 的图像数据记录在公用介质16上。然后处理返回步骤Sll。
利用上述处理，当拍摄图像时，在提供位置信息时，组合该 位置信息，然后，产生记录有与图像数据同步的位置信息的公用 介质16。
将参考图12所示的流程图说明图4所示图像处理设备执行的 图像修改处理。
在步骤S21，分离器22判断重放单元21是否提供了下一个图 像，然后，重复该判断，直到提供了图像。例如，当重放单元21 重放根据上述图像记录处理产生的公用介质16并提供了包括位置 信息的图像数据时，在步骤S22,分离器22从该图像数据中分离出 该位置信息，然后，将该图像数据送到修改处理装置23，将该位 置信息送到修改信息确定单元2 5 。
在步骤S23，修改信息确定单元25执行修改信息确定处理，以 产生修改信息，然后，将该修改信息送到修改处理装置23。
将参考图13所示的流程图说明修改信息确定处理。
在步骤S41,位置信息获取单元41判断分离器22是否提供了 位置信息，并重复该判断，直到提供了位置信息。例如，在分离 器22根据步骤S22的处理提供了位置信息时，在步骤S42，位置信 息获取单元41获取提供的位置信息，然后，将它送到图像内位置 计算单元42。根据提供的所有位置信息，图像内位置计算单元42 计算作为摄像单元12拍摄的图像内的对象的用户的位置，然后， 将计算结果送到修改判断器43和修改信息生成器45。
例如，图像内位置计算单元4 2根据用户A至E的位置信息进行 计算，然后，判断图14中所示的位置关系。在图14中，在从上面 俯视的二维平面中示出摄像单元12的拍摄范围。即，在图14中，如果利用虚线表示该拍摄范围，则用户A至D位于摄像单元12的拍 摄范围内，而用户E位于摄像单元12的拍摄范围外。
在步骤S43 ，修改判断器43判断是否利用控制器24指定了作 为目标对象的用户，然后，重复该判断，直到指定了目标用户。 例如，用户通过操作控制器24来指定目标用户，在步骤S44,修改 判断器43判断图像中是否显示了作为被选对象的用户。在图14中， 如果选择了摄像单元12的拍摄范围内的用户A至D中的任何一个 作为目标对象，则判定该对象显示在该图像中。然后，处理进入
步骤S45。
在步骤S45,修改判断器43判断作为被选对象的用户是否相对 于摄像单元12在作为对象的任何其它用户之前。在图14中，如果 选择用户A至C中的任何一个作为目标对象，则在摄像单元12与被 选用户之间，不存在作为对象的其它用户，而且被选用户在任<可 其它对象之前。因此，处理进入步骤S46。
在步骤S46,修改判断器43将表示允许进行修改的判断结果通 知修改细节确定单元44，然后，提供作为目标对象的用户的信息。 修改细节确定单元44将作为目标对象的用户定位在图像中心的修-改处理确定为修改细节，然后，将该确定结杲送到修改信息生成 器45。例如，在图14中，如果选择用户A作为目标，则修改细节 确定单元44将用于修改该图像以产生以-波选用户A为中心的缩力史 图像的修改处理送到修改信息生成器45,作为修改细节。
在步骤S 4 8,根据来自修改细节确定单元4 4的修改细节信息， 修改信息生成器45产生用于向修改处理装置23给出特定修改指令 的修改信息，然后，将该修改信息送到修改处理装置23。例如， 如果指定用于修改图像以产生以预定》欠大率缩方欠，从而以被选用 户A为中心的图像的修改处理，贝'J修改信息生成器4 5根据图像内位 置计算单元42的计算结果，利用用户A的位置信息，确定对应于该图像中心的像素位置，然后，确定围绕所确定的像素位置放大以
用户A为中心的图像的放大率。修改信息生成器45产生包括所确定 的中心像素位置和放大率信息的修改信息，然后，将该修改信息 送到修改处理装置23,其中，基于该修改信息在该图像中产生缩 放图像。
例如，如果选择图14所示的用户E作为目标对象，则在步-骤
544, 判断出被选对象没有显示在该图像中，然后，处理进入步-骤 S47。例如，如果选择图14所示的用户D作为目标对象，则在步驶A
545, 判断出用户D没有位于所有其它对象之前，因为用户B位于 用户D与摄像单元12之间，然后，该处理进入步骤S47。
在步骤S47,修改判断器43将表示不允许进行修改的判断结果 通知给修改细节确定单元44,然后，提供作为目标对象的用户的 信息。修改细节确定单元44将作为目标对象的用户D或者E的信息 以及作为修改细节的不存在修改处理送到修改信息生成器4 5 。
因此，在步骤S48,修改信息生成器45产生表示不存在修改处 理的修改信息，然后，将该修改信息送到修改处理装置23。
利用上述处理，根据修改目标对象是否位于摄像单元12拍揭_ 的图像中，判断是否允许进行修改，如果允许进行修改，则产生 修改处理装置2 3执行修改处理所需的修改信息。在上面的描述中， 用户选择目标对象。如果用户不指定目标对象，则可以对所有对 象顺序重复执行修改信息确定处理，并且可以对所有对象分别确 定修改信息。尽管结合用于产生以目标对象为中心的缩放图像的 修改描述了〗多改细节，但是也可以纟丸4于任何其它修改。例如，在 用户指定目标对象时，该用户还可以指定该对象的^(奮改细节。在 上面的描述中，利用图14所示的各对象的俯视二维布局，判断用 户是否包括在图像中。不利用二维布局，而利用各对象的三维布 局也可以根据位置信息判断作为目标对象的用户是否位于图像中。
返回到图12所示的流程图。
在步骤S24,根据修改信息确定单元25提供的修改信息，修改 处理装置23对分离器22提供的图像执行修改处理。此外，修改处 理装置23将修改处理所需的设置信息记录在数据记录介质26中， 然后，在显示单元70上显示处理后的图像。
将参考图15所示的流程图说明图7所示修改处理装置23执4亍 的修改处理。
在步骤S61,延迟单元16临时存储送来的图^f象，以使该图4象延 迟一帧时间段。在下面的描迷中，逐帧处理图^象。然而，可以想 到，例如，可以逐场处理图像而不是逐帧处理图像。
在步骤S62,特征值提取器61执行特征值提取处理，以提取分 离器22提供的一帧图像的特征值。即，在延迟单元66临时存储新 图像以使该图像延迟一帧时间段时，还将该一帧图像送到特征值 提取器61，然后，对同一个图像同时执行两种操作。即，临时存 储该图像以便延迟，同时从该图像中提取特征值。 将参考图16所示的流程图说明特征值提取处理。 在步骤S91，由于帧开始点S(图9)，复位DFF83。 在步骤S92，选择未处理的像素。在步骤S93，判断该像素是 否在该图像数据区之外。更具体地说，例如，以光栅扫描顺序， 顺序读取一帧图像的未处理像素，然后，判断每个未处理像素是 否位于该图像数据区之外。
如图9所示，第一像素(位于帧开始点S的像素)包括在该同 步数据内，因此，位于该图像数据区之外。在步骤S95，复位DFF 81， DFF 81输出0，作为像素值。相反，在以光栅扫描顺序选择 要处理的像素，而且要处理的像素位于该图像数据区内时，在步 骤S94, DFF81按照时钟信号的产生定时，将该像素的像素值送到加法器82。
在步骤S96，加法器82将该输入像素值与DFF 83提供的信号 相加，然后，将和送到DFF83。
在步骤S97, DFF 83按照时钟信号的产生定时，返回加法器 82提供的和的8个最低有效位。在这种情况下，尽管DFF 83还将 该和输出到输出单元84，但是输出单元84不输出该和。
在步骤S98，判断是否存在其它未处理像素。如果存在任何其 它未处理像素，则该处理返回步骤S92。即，重复步骤S92至S98 的处理，直到对一帧的全部像素进行了处理。如果判断出已经对 一帧的全部像素进行了处理，则在步骤S99，输出单元84输出DFF 83提供的和，即，包括在该图像数据区内的像素值的累加和的8 个最低有效位，作为该帧图像的特征值。
利用上述处理，从一帧图像信号中提取位于该图像数据区内 的所有像素值累加和的8个最低有效位，作为该帧的特征值。
返回到图15所示的流程图。
在步骤S63,修改信息识别器68判断修改信息确定单元25提 供的修改信息是否表示存在修改处理。例如，如果根据图13所示 步骤S47和S48的处理，该修改信息表示不存在修改处理，或者如 果不存在修改信息本身，则判断为不执行修改处理。如果根据步 骤S46和S48的处理指定了修改信息以对应于要求的修改，则判断 为存在修改信息。
如果在步骤S63,判断出存在修改信息，则在步骤S64，修改 信息识别器68识别该修改信息，然后，将它送到设置信息确定单 元69。设置信息确定单元69确定反映单元67^^艮据该修改信息处理 该图像的设置信息，然后，将该设置信息送到特征值设置信息记 录器63和选择器65。例如，设置信息确定单元69根据包括中心像 素位置和放大率信息的修改信息确定设置信息，然后，将该设置信息送到特征值设置信息记录器63和选择器65,其中，根据该修 改信息在该图像中产生缩放图像。
在步骤S65,特征值设置信息记录器63将特征值提取器61提 供的特征值记录在数据记录介质26上，而且还将设置信息确定单 元69提供的设置信息与该特征值相关联地记录在数据记录介质26 上，从而存储特征值和设置信息。更具体地说，如图17所示，在 将特征值C1记录在预定地址A时，将与该特征值C1相关的设置信 息El存储在比地址A大m倍的地址，即，地址mxA。在图17中， 示出了在数据记录介质26上存储特征值和设置信息的地址分配。
同样，特征值设置信息记录器6 3将特征值C 2存储在地址B, 而将与该特征值C2相关的设置信息E2存储在地址m x B,以及将 特征值C 3存储在地址C,而将与该特征值C 3相关的设置信息E 3存 储在地址m x C。以这种方式将设置信息与特征值相关联地存4诸， 因此， 一旦确定了特征值，就可以根据该特征值的地址来指定相 应设置信息的地址。因此，可以顺利地搜索对应于存储在数据记 录介质2 6上的各特征值的设置信息。在持续指定相同处理的时间 段内，持续记录各特征值和各条设置信息。即，例如，图17所示 的特征值C1至C3中的每一个并不局限于一帧的特征值，而是连续 记录对应于在连续指定相同处理的时间段的各帧的特征值。这同 样适用于设置信息。例如，基于与特征值C1至C3相关的地址的图 17所示的每条设置信息E1至E3并不局限于一帧的设置信息，并且 连续记录对应于连续指定相同处理的时间段的各帧的设置信息。
在步骤S66，由于设置信息确定单元69提供设置信息，所以选 择器65将设置信息确定单元69提供的设置信息送到反映单元67。 反映单元67根据选择器65提供的设置信息对存储在延迟单元66内 的图像进行处理，从而在该图像中反映用户指定的处理，然后， 在显示单元70上显示处理后的图像。即，用户根据修改信息执行步骤S61至S66的处理，从而将特 征值存储在数据记录介质26上，而且还与该特征值相关联地存^f诸 与该修改信息有关的设置信息。步骤S61至S66的处理对应于在上 面参考图1A和图2描述的记录模式下的操作。
如果在步骤S63，判断出不存在修改处理，则在步骤S67，净争 征值设置信息读取器64不将设置信息送到选择器65。因此，设置 信息确定单元69或者特征值设置信息读取器64不将设置信息送到 选择器65，选择器65也不将用于指定处理的设置信息送到反映单 元67。因此，反映单元67将临时存储在延迟单元66内的一帧图4象 显示在显示单元70上，而不改变该图像。
返回到图12中的流程图。
完成了步骤S24的修改处理后，该处理返回到步骤S21，对该 图像逐帧顺序执行修改处理，并将该修改处理所需的设置信息记 录在数据记录介质26上。
利用上述处理，如果根据记录在公用介质16上的包括位置信 息的图像数据，作为目标对象的用户位于图像中，而且位于任^T 其它对象之前，则执行使该用户位于中心的修改处理，然后，将 进行该修改处理所需的设置信息与该特征值相关联地记录在lt据 记录介质26上。
将参考图18所示的流程图说明图4所示图像处理设备执行的 重放处理。
在步骤SIOI，分离器22判断重放单元21是否提供了下一个图 像，而且重复该判断，直到提供了图像。例如，在重放单元21重 放根据上述图像记录处理产生的公用介质16,而且提供包括位置 信息的图像数据时，在步骤S102,分离器22从该图像数据中分离 出该位置信息，然后，将该图像数据送到修改处理装置23,将该 位置信息送到修改信息确定单元2 5 。在步骤S103,延迟单元66临时存储所提供的图像，以使该图 像延迟一帧时间段。在步骤S104,修改处理装置23的特征值提耳又 器61执行特征值提取处理，以提取分离器22提供的一帧图像的特 征值。该特征值提取处理与上面参考图16所示流程图描述的特4正 值提取处理相同，因此，省略对它的说明。
在步骤S105,同步检测器62执行同步检测处理，以检测当前 重放图像的特征值和与用于对该图像执行处理的设置信息相关的 特征值之间的同步。
将参考图19所示的流程图说明同步检测处理。
在步骤Slll，同步检测器62的重放位置特征值生成器102判 断特征值提取器61是否提供了特征值，并重复该判断，直到提供 了特征值。例如，在根据步骤S104中执行的特征值提取处理提耳又 了特征值，并且特征值提取器61提供了当前重放的图像的特征值 时，处理进入步骤S112。
在步骤S112,搜索位置特征值读取器104初始化用于对搜索
位置特征值进行计数的计数器i 。
在步骤S113,重放位置特征值生成器102获取所提供的特4正 值和已经存储在特征值緩冲器101-1至101-3内的特征值。即，在 将新特征值送到特征值緩冲器101-l时，特征值緩沖器101-l将已 经存储在其上的特征值送到重放位置特征值生成器10 2和特征^直
緩冲器102-2。特征值緩冲器101-2存储所提供的特征值，并将已 经存储在其上的特征值送到重放位置特征值生成器10 2和特征值 緩冲器101-3。特征值緩沖器101-3存储从特征值緩冲器101-2提 供的特征值，并将已经存储在其上的特征值送到重放位置特4正 <直 生成器102。因此，最新帧的特征值和存储在特征值緩冲器101-1 至101-3内的最后3帧的特征值被送到重放位置特征值生成器 102 。重放位置特征值生成器102将包括当前重放帧的4个帧的特征值作为重放位置特征值送到比较器10 3 。
在步骤S114,搜索位置特征值读取器104读耳又存储在数据^己 录介质26上的各特征值中从开头第i帧开始的4个连续帧的特征 值，作为搜索位置特征值，并将该搜索位置特征值送到比较器103 和检测器105。
在步骤S115 ，比较器103将重放位置特征值生成器102提供 的、包括当前重放帧和最后3帧的总共4个特征值的重放位置特4正 值与搜索位置特征值读取器104提供的、包括存储在数据记录介质 26上的各特征值中从开头第i帧开始的4个连续帧的特征值的搜索
位置特征值进行比较。
在步骤S116 ，比较器10 3根据比较结果判断重放位置特征值 是否与搜索位置特征值匹配。如果在步骤S116,判断出不匹配， 则在步骤S118,搜索位置特征值读取器104判断是否已经将重》文 位置特征值与存储在数据记录介质26上的所有特征值进行了比 较。如果在步骤S118,判断出没有将重放位置特征值与存储在数 据记录介质26上的所有特征值进行比较，则在步骤S119,搜索位 置特征值读取器104使计数器i递增l，然后，处理返回到步骤S114。 因此，除非重放位置特征值与搜索位置特征值匹配，否则重复步 骤S114至S116、 S118和S119的处理，直到将重放位置特征值与 存储的所有特征值都进行了比较。随着一帧间隔的移位，重复4个 连续帧的特征值与重放位置特征值的比较。
如图20的右上部所示，搜索位置特征值是特征值提取器6l顺 序存储的特征值中的一组4个连续特征值。在图20中，垂直长矩形 块代表 一 帧的特征值。阴影所示的特征值组G1和G 2表示组G1和 G2中的连续特征值互相匹配。如图20的右下部所示，重放位置特 征值是特征值提取器61提供的包括当前重放帧的特征值的4个连 续帧的一组特征值。
35例如，如图20所示，在将重放位置特征值组G2与搜索位置净争 征值组G 0进行比较时，重放位置特征值组G 2与搜索位置特征值组 G0不匹配，检测不到同步位置。由于没有将重放位置特征值组G2 与存储的所有特征值进行比较，所以计数器i递增l,然后，将重 放位置特征值组G2与搜索位置特征值组GO'进行比较。以这种方 式，将搜索位置特征值组与重放位置特征值组G2重复进行比较， 同时，使搜索位置特征值逐帧向图20所示的右向移位。
在步骤S116，例如，将重放位置特征值组G2与搜索位置特4正 值G1进行比较。在这种情况下，搜索位置特征值组G1和重放位置 特征值组G2具有相同的结构，因此，判断出搜索位置特征值组G1 与重放位置特征值组G2相互匹配。在步骤S117，比较器103将匹 配通知给检测器105。响应于该通知，检测器105将搜索位置特征— 值读取器104当前提供的搜索位置特征值的开头，即，从开头开始 的第i个特征值，作为同步位置信息送到特征值设置信息读取器 64。
如果在步骤S118，判断出已经将重放位置特征值与存储的所 有搜索位置特征值进行了比较，则在步骤S120,检测器105输出 表示没有与重放位置特征值相匹配的搜索位置特征值，因此不同 步的检测结果。
利用上述处理，可以使当前重放的图像的特征值与存储在凄t 据记录介质26上的特征值同步。即，为了减小由于当前重放帧的 特征值仅与存储在数据记录介质2 6上的特征值之 一 偶然匹配而在 4晉误位置测到同步的;f既率，将包括当前重》文帧和最后3帧的4帧 与存储在数据记录介质26上的特征值进行比较，而不是仅将当前 重放帧的特征值与存储在数据记录介质26上的特征值进行比较。 因此，同步才佥测器62可以执4亍更准确的同步才企测。由于以这种方 式使用特征值，所以可以指定特征值代替以帧为单位的时间代码，而且可以逐帧检测同步，而无需使用该时间代码。
返回到图18所示的流程图。
在步骤S106，特征值设置信息读取器64判断与当前重放帧的 重放位置特征值匹配的特征值是否存储在数据记录介质26上。例 如，当根据图19所示流程图中的步骤S117的处理提供同步位置信 息时，与当前重放帧的重放位置特征值匹配的特征值已经存储在 数据记录介质26上，处理进入步骤S107。
在步骤S107，特征值设置信息读取器64判断与该同步的特4正 值相关的设置信息是否已经存储在数据记录介质26上。由于即使 不存在与特征值相关的设置信息，也可以将该特征值存储在数据
记录介质26上，所以该处理可以判断是否存在与该特征值相关的 设置信息。
如果在步骤S107判断出没有存储与该特征值相关的设置信 息，则在步骤S108，特征值设置信息读取器64不将设置信息送到 选择器65。因此，设置信息确定单元69或者特征值设置信息读:f又 器64都不将设置信息送到选择器65,而且选择器65不将用于给出 处理指令的设置信息送到反映单元67。因此，反映单元67在显示 单元70上显示临时存储在延迟单元66内的一帧图像，而不改变该 图像。
如果在步骤S107判断出已经存储了与该特征值相关的设置信 息，则在步骤S109，特征值设置信息读取器64从数据记录介质26 读取与同步位置信息的特征值相关联地存储的设置信息，并将所 读取的设置信息送到选择器65。然后处理进入步骤SllO。
在步骤SllO，由于不是从设置信息确定单元69而是从特^M直 设置信息读取器64将设置信息送到选择器65，所以将来自特征值 设置信息读取器64的设置信息送到反映单元67。根据该设置信息， 将该处理反映在存储在延迟单元66的一帧图像中，并且在显示单元70上显示处理后的图像。
利用上述处理，根据与该特征值相关联地记录在数据记录介 质26上的设置信息，执行图像修改处理，以修改记录在公用介质 16上的图像，并显示修改后的图像。
图18所示的重放处理对应于上面参考图1A和图2描述的重》丈 模式下的操作。
利用上述处理，当摄像单元12拍摄图像时，如果作为对象的 用户具有传感器ll,则将包括每个传感器ll的位置信息的图像数 据记录在公用介质16上。在根据记录在公用介质16上的图像数据 重放该图像时，根据包括在该图像中的位置信息，执行上述图像 修改处理，以将用于修改具有传感器ll的每个用户的图像的设置 信息与该图像的特征值相关联地存储在数据记录介质26上。当重 放记录在公用介质16上的图像数据时，该重放图像可以作为根据 与该图像的特征值相关联地记录在数据记录介质2 6上的设置信息
修改后的图像被重放。
因此，例如，当执行用于缩放到修改目标用户的缩放处理作 为修改处理时，在每次重放记录在公用介质16上的图像时，可以 重放该图像，使得只要修改目标用户包括在该图像中就固定缩放 到该用户。因此，可以以掘j象单元12在仅跟随修改目标用户的同 时拍摄该图像的方式重放该图像。
由于不直接对记录在公用介质16上的图像进行修改，所以即 使记录在公用介质16上的图像是不再允许复制的图像，例如，"只 能复制一次，，的图像，仍可以重放该图像作为焦点是修改目标用 户的图像。此外，对于具有传感器ll的其它用户，通过改变记录 在数据记录介质2 6上的设置信息，可以针对各个用户修改该图像， 而且可以重复重放修改后的图像。
此外，在拍摄与位置信息一起记录在公用介质16上的图像之前，事先仅将传感器ll分配给多个用户，在拍摄了图像之后，可
以产生通过图像修改处理记录有设置信息的数据记录介质2 6 。可 以将公用介质16和数据记录介质2 6的组合销售给每个修改目标用 户，在该数据记录介质26上，与记录在公用介质16上的图像的特 征值相关联地记录了该设置信息，因此，与销售仅记录有单个摄 像单元12拍摄的图像的介质相比，提高了促使用户购买这种介质 组合的概率，因此，有助于更强劲的盈利行为。
尽管结合一帧图像信号中的图像数据区内的像素值的累加值 对该特征值进行了描述，但是也可以采用任何其它特征值。例如， 可以采用运动矢量(相对于整个屏幕的运动和局部运动)、表示特 定波形出现的频度的值、尺寸缩小图像中的像素值的累加值、该 图像特定部分的像素值的累加值、将它们用于多个帧的值或者这 些特征值的组合。
尽管结合缩放率描述了设置信息，但是也可以采用任何其它 信息。例如，可以采用缩放位置(中心位置)或者缩放位置与缩 放率的组合等的缩放参数、亮度、对比度、伽马校正、数字精密 显像(Digital Reality Creation, DRC )调色板值(包括分辨率 设置值和噪声设置值)等的图像质量设置参数或者音量或者音频 切换(切换所使用的语言)等的音频参数。
此外，还可以说，图3所示的图像记录设备和图4所示的图像 处理设备通过引入公用介质16构成图像处理系统。
在上面的描述中，根据位置信息，判断作为特定对象的用户 是否包括在图像中，进而判断是否对图像进行处理。这意味着， 根据作为特定对象的用户的状态来指定对该图像进行处理。因此， 可以采用基于该对象的状态信,l的任何图像处理，包括但不局限 于以下处理根据对象的位置信,包-判断该对象是否包括在该图像 中，进而判断对该图像执行处理的细节。例如，可以判断表 作为特定对象的用户是否使面部对着摄像单元12的状态信息，而且 如果面部对着摄像单元12，则可以执行缩放处理。作为选择，可 以利用热传感器等来判断作为特定对象的用户的状态信息，例如， 温度信息，并可以根据判断出的温度信息改变缩放率，以执行图 像处理操作。即，可以根据对象的状态信息执行图像处理操作。
在上面的描述中，作为例子，根据图像记录处理，在位置信 息获取单元13获取的位置信息与摄像单元12拍摄的图像组合在一 起的状态下，产生公用介质16。由于记录在公用介质16上的图像 的图像数据具有与其组合的位置信息，所以只有具有例如分离器 22的使图像数据与位置信息分离功能的重放设备可以重放该图像 数据。因此，只有摄像单元12拍摄的图像可以被记录在公用介质 16上，而且可以将该位置信息记录在不同的位置信息记录介质上。 在这种情况下，为了使图像上的重放位置与位置信息同步，可以 与该图像的特征值相关联地记录位置信息。
图21示出被配置成仅将摄像单元12拍摄的图像记录在公用介 质上而将位置信息记录在与该公用介质不同的位置信息记录介质 上的图像记录设备的典型结构。在图21中，与图3中相同的要素由 同样的附图标记表示，因此，省略对它们的说明。
在图21所示的图像记录设备上，传感器ll-l至11-3以及摄像 单元12与图3所示图像记录设备的相应要素相同。图21所示的图像 记录设备与图3所示图像记录设备的不同之处在于，设置了录像机 201、特征值提取器202以及位置信息记录装置203,而没有设置 组合器14和录像机15。
录像机201将摄像单元12提供的图像数据记录在公用介质16， 上。因此，在图21所示的图像记录设备中产生仅记录有图像数据 的公用介质16'。录像机201将摄像单元12提供的图像送到特征值 提取器202,而不改变该图像。特征值提取器2 02的功能与图7所示特征值提取器61的功能基 本相同，而且被配置成根据摄像单元12通过录像机201提供的图{象 数据逐帧提取图像的特征值，并将特征值送到位置信息记录装置 203。
位置信息记录装置203将位置信息获取单元13提供的位置信 息与特征值提取器2 0 2提供的特征值相关联地记录在位置信息记 录介质211上。
将参考图2 2说明被配置成仅将摄像单元12拍摄的图像记录在 公用介质16，上而将位置信息记录在与该公用介质16，不同的位置 信息记录介质211上的图像处理设备的典型结构。在图22中，与图 4中相同的要素由同样的附图标记表示，因此，省略对它们的说明。
在图22所示的图像处理设备中，重放单元21、控制器24以及 修改信息确定单元25与图4所示图像处理设备的相应要素相同。图 23所示图像处理设备与图4所示图像处理设备的不同之处在于，设 置了位置信息重放单元211和修改处理装置222，而没有设置分离 器22。
位置信息重》t单元221读取与重放单元21通过修改信息处理 装置222提供的图像的特征值相关联地记录在位置信息记录介质 211上的位置信息。
参考图23,说明修改处理装置222的典型结构。与图7所示修 改处理装置23相同的要素由同样的附图标记表示，因此，省略对 它们的说明。除了特征值提取器61不仅将特征值送到同步检测器 62和特征值设置信息记录器63还送到位置信息重放单元221以 外，图23所示的修改处理装置222与图7所示的修改处理装置23相 同。
将参考图24说明位置信息重》文单元221的典型结构。 特征值获取单元241获取修改处理装置222的特征值提取器61提供的特征值，然后，将它送到同步检测器242。同步检测器242 与图7所示的同步检测器62基本相同。即，同步检测器242搜索存 储在位置信息记录介质211上的特征值(搜索位置特征值)，以寻 找特征值获取单元241提供的当前重放图像的特征值(重放位置特 征值)。当检测到相同的特征值时，同步检测器242将该检测结果 送到位置信息获取单元243，作为图像同步位置。
获得了同步检测器242检测的作为同步位置的特征值(搜索位 置特征值)后，位置信息获取单元243获取与该特征值相关联地存 储在位置信息记录介质211内的位置信息，然后，将获得的位置信 息送到输出单元2 44 。输出单元2 4 4将位置信息获取单元2 4 3提供 的位置信息送到修改信息确定单元2 5 。
将参考图25所示的流程图说明图21所示图像记录设备执行的 图像记录处理。在图25所示的流程图中，步骤S151至S153的处理 与参考图11所示流程图描述的步骤S1至S3的处理相同，因此，省 略对它们的i兌明。
在步骤S161,图像记录设备的摄像单元12拍摄要求的图像， 从拍摄的图像产生图像数据，并将该图像数据送到录像机201。
在步骤S162,录像机201将摄像单元12提供的图像数据记录 在公用介质16'上，然后，将该图像送到特征值提取器202。
在步骤S163,位置信息获取单元13判断传感器11是否已经发 送了位置信息。如果还没有发送位置信息，则处理返回到步骤 S161。例如，如果根据步骤S153的处理判断出传感器ll已经发送 了位置信息，则在步骤S164,位置信息获取单元13获取传感器11 发送的包括传感器11唯一的ID 32a的位置信息，并将获取的位置 信息送到位置信息记录装置203。
在步骤S164,位置信息记录装置203获取位置信息获取单元 13提供的位置信息。在步骤S165，特征值提取器202执行特征值提取处理，以根 据摄像单元12通过录像机2 01提供的图像数据提取该图像的特征 值，并将提取的特征值送到位置信息记录装置203。该特征值提取 处理与参考图16所示流程图描述的处理相同，因此，省略对它们 的说明。
在步骤S166,位置信息记录装置203将特征值提取器202提供 的特征值记录在位置信息记录介质211上，还与该特征值相关联地 记录位置信息获取单元13提供的位置信息。然后处理返回到步骤 S161。
利用上述处理，在拍摄图像时，仅将图像记录在公用介质16' 上，同时将位置信息与该图像的特征值相关联地记录在位置信息 记录介质211上。因此，公用介质16，上仅记录有图像，因此，可 以利用市场上可获得的重放设备重放公用介质16'。由于位置信息 与图像的特征值相关联地记录在位置信息记录介质211上，所以当 根据下面描述的重放处理重放记录在该公用介质16 ，上的图像时， 与正在重放的图像同步，在通过图22所示的图像处理设备的重放 处理中，可以反映该位置信息。
将参考图26所示的流程图说明图22所示图像处理设备执行的 图像修改处理。
在步骤S191，修改处理装置222的特征值提取器61判断重放 单元21是否提供了下一个图像，并重复该判断，直到提供了图像。 例如，当重放单元21重放根据上述图像记录处理产生的公用介质 16，，并提供图像数据时，在步骤S192，特征值提取器61执行特征 值提取处理，并将提取的特征值送到同步检测器62、特征值设置 信息记录器63以及位置信息重放单元221 。该特征值提取处理与上 面参考图16描述的处理相同，因此，省略对它们的说明。
在步骤S193,位置信息重放单元221执行位置信息提取处理，以从位置信息记录介质211提取与该特征值同步的位置信息，然 后，将该位置信息送到修改信息确定单元25。
将参考图27所示的流程图说明位置信息获取单元22l执行的 位置信息提取处理。
在步骤S201,特征值获取单元241获取修改处理装置222的特 征值提取器6l提供的通过公用介质16'当前重放的图像的特征值。
在步骤S202,根据特征值获取单元241提供的特征值，同步 检测器242执行同步检测处理，以检测当前重放的图像的特征值和 与该位置信息相关联地记录在位置信息记录介质211上的特征值 之间的同步，然后，将检测结果送到位置信息获取单元243。该同 步检测处理与上面参考图19所示的流程图描述的处理相同，因此， 省略对它们的"i兌明。
在步骤S203,位置信息获取单元243从与该特征值相关联地 记录在位置信息记录介质211上的位置信息中，获取与作为同步检 测结果提供的特征值相关联地记录的位置信息，然后，将获取的 位置信息送到输出单元244。
在步骤S204,输出单元244将位置信息获取单元243提供的位 置信息送到修改信息确定单元2 5 。
利用上述处理，与该特征值同步从位置信息记录介质211读取 与正在重放的图像的特征值相关联地记录的位置信息，然后，将 该位置信息送到修改信息确定单元2 5 。
返回到图26所示的流程图。
在步骤S194,修改信息确定单元25执行修改信息确定处理， 以产生修改信息，然后，将该修改信息送到修改处理装置222。该 修改信息确定处理与上面参考图13描述的修改信息确定处理相 同，因此，省略对它们的i兌明。
在步骤S195,修改处理装置222根据修改信息确定单元25提供的修改信息执行修改处理，然后，将修改该图像所需的设置信
息与该特征值相关联地记录在数据记录介质26上。然后，处理返 回到步骤S191。
将参考图28所示的流程图说明修改处理装置222执行的修改 处理。图28所示流程图中的步骤S211至S216的处理与图15所示流 程图中的步骤S61和S63至S67的处理相同。即，在步骤S62执行 的特征值提取处理已经在步骤S192执行了 ，因此，取消该特征值 提取处理。图28所示流程图的其它处理与图15所示的流程图相同， 因此，省略对它们的"i兌明。
利用上述处理，根据公用介质16，的图像数据和位置信息记录 介质211的位置信息，当作为目标对象的用户位于该图像中，而且 位于任何其它对象之前时，执行使该用户位于中心的修改处理， 然后，将修改处理所需的设置信息记录在数据记录介质26上。
将参考图29所示的流程图说明图22所示图像处理设备执行的 重放处理。图29所示流程图中的步骤S231至S239的处理与图18 所示流程图中的步骤S101和S103至S110的处理相同。即，不需要 在步骤S102执行的使图像数据与位置信息的分离，因此，取消了 该处理。图29所示流程图的其它处理与图18所示的流程图相同， 因此，省略对它们的"i兌明。
利用上述处理，在摄像单元12拍摄图像时，如果作为对象的 用户具有传感器ll,则仅将图像数据记录在公用介质16，上，而将 每个传感器ll的位置信息与该图像的特征值相关联地记录在位置 信息记录介质211上。此外，当根据记录在公用介质16，上的图像 数据和与该图像的特征值相关联地记录在位置信息记录介质211 上的位置信息重放该图像时，执行上述图像修改处理，以将用于 修改具有传感器ll的每个用户的图像的设置信息与该图像的特征 值相关联地存储在数据记录介质26上。当重放记录在公用介质16'上的图像数据时，被重放的图像可以作为根据与该图像的特征值
相关联地记录在数据记录介质2 6上的设置信息修改的图像被重放。
因此，例如，当执行缩放到修改目标用户的缩放处理作为修 改处理时，在每次重放记录在公用介质16，上的图像时，可以重放 该图像，使得只要该修改目标用户包括在该图像中就固定缩放到 该用户。因此，可以以插」象单元12在^U艮随^^改目标用户的同时 拍摄该图像的方式重放该图像。
由于不对记录在公用介质16'上的图像直接进行修改，所以即 使记录在公用介质16，上的图像是不再允许复制的图像，例如，"只 能复制一次，，的图像，仍可以将该图像作为焦点位于修改目标用 户的图像来重放。此外，对于具有传感器ll的其它用户，通过改 变记录在数据记录介质2 6上的设置信息，可以针对各用户修改该 图像，而且可以重复重放修改后的图像。由于公用介质16'仅具有 记录在其上的图像数据，因此甚至可以利用市场上可以获得的重 放设备重放摄像单元12拍摄的未修改的图像。
此外，在拍摄要记录在公用介质16，上的图像之前，可以将传 感器ll事先分配给多个用户，在拍摄了图像后，可产生通过图像 修改处理记录了设置信息的数据记录介质26 。可以将3个介质的组 合，即，记录有图像的公用介质16'、与记录在公用介质16，上的图 像的特征值相关联地记录了设置信息的数据记录介质2 6 、以及与 该图像的特征值相关联地记录了位置信息的位置信息记录介质 211的组合销售给每个修改目标用户，因此，与仅记录了单个摄像 单元12拍摄的图像的介质的销售相比，提高了促使用户购买这种 介质组合的概率，因此，有助于更强劲的盈利行为。
在上面的描述中，作为例子，利用GPS获取位置信息。还可 以采用能够指定位置的任何其它技术。例如，每个用户可具有IC标签，而且可以将用于检测IC标签的传感器安装在地下，以获取
该用户的位置信息。
根据本发明第一实施例，拍摄包括对象的图像；获取对象的 位置信息；记录该图像和该对象的位置信息；根据所记录的图像 和该对象的位置信息判断该图像中是否包括特定对象；当判断出 该图像中包括特定对象时指定对该图像执行修改的细节；根据该 修改细节设置用于修改该图像的设置信息；从该图像中提取特征 值；以及将该设置信息与所提取的该图像的特征值相关联地记录 在设置信息记录介质上。
因此，可以记录拍摄的图像和对象的位置信息。当特定对象 位于该图像中时，在每次重放该图像时，可以对该图像执行预定 处理，并再现处理后的图像，而不对原始图像数据进行处理。此 外，在每次重放图像数据时，甚至可以对不允许复制的图像数据 执行相同的处理，而且可以重复重放处理后的图像。此外，可以 记录拍摄的图像和对象的位置信息。根据该图像和该对象的位置 信息，当特定对象位于该图像中时，可以与该图像的特征值相关 联地记录用于处理对应于图像的特定对象的图像的设置信息。
根据本发明第二实施例，根据图像，判断特定对象是否包括 在该图像中；在判断出该特定对象包括在该图像中时指定对该图 像进行修改的细节；根据该修改细节，设置用于修改图像的设置 信息；从该图像中提取特征值；以及将该设置信息与该图像的特 征值相关联地记录在设置信息记录介质上。
因此，当特定对象位于图像中时，在每次重放该图像时，可 以对该图像执行预定处理，然后，可以再现处理后的图像，而无 需对原始图像数据进行处理。此外，在每次重放图像数据时，甚 至可以对不允许复制的图像数据执行相同的处理，而且可以重复 重放处理后的图像。此外，当特定对象位于图像中时，与该图像的特征值相关联地记录用于处理对应于该特定对象的图像的设置 信息。
根据本发明第三实施例，拍摄包括对象的图像；获取该对象 的位置信息；以及记录该对象和该对象的位置信息。
因此，在拍摄图像时，可以与该图像相关联地记录对象的位 置信息。此外，在拍摄图像时，可以与该图像同步记录对象的位 置信息。
利用硬件或者软件可以实现上面描述的 一 系列处理。在利用 软件实现该系列处理时，将构成该软件的程序从记录介质安装到 包括在特殊硬件中的计算机或者能够利用安装在其上的各种程序 执行各种功能的装置中，例如，通用个人计算机。
图30示出在利用软件实现图3或者图21所示图像记录设备或 者图4或者图22所示图像处理设备的内部电配置情况下的个人计 算机。该个人计算机的中央处理单元(CPU) 1001控制该个人计 算机的全部操作。响应于用户利用包括键盘和鼠标的输入单元 1006通过总线1004和输入/输出接口 1005发送给CPU 1001的指 令，CPU IOOI执行存储在只读存储器(ROM) 1002内的程序。 CPU 1001将从连"t妻到驱动器1010的石兹盘、光盘、 一磁光盘或者半导 体存储器等可移动介质1021读取的并安装在存储单元1008内的 程序加载到随机存取存储器(RAM) 1003内，然后，执行该程序。 因此，利用软件实现图3或者图21所示的图像记录设备或者图4或 者图22所示图像处理设备的功能。CPU IOOI还控制通信单元 1009以与外部进行通信并交换数据。
记录有该程序的记录介质可以包括记录有该程序的封装的介 质，它们与计算机分开分配，以将该程序提供给用户，例如，图 30所示的可移动介质1021,它们包括磁盘(包括软盘)、光盘(包 括只读存储器压缩盘(CD-ROM)和数字通用盘(DVD))、磁光盘(包括小型盘(MD))或者半导体存储器。作为选择，这种记 录介质可以包括记录有该程序的记录介质，以包括在计算机内的 形式提供给用户，例如，ROM 1002或者包括在存储单元1008内
的硬盘。
在本说明书中，定义记录在记录介质上的程序的步骤可以包 括以在此描述的顺序依次执行的处理，而且还可以包括无需依次 执行，而是并行或者单独执行的处理。
在本说明书中，术语系统是指由多个设备构成的设备实体。
本技术领域的技术人员应该明白，只要在所附权利要求或者 其等同的范围内，可以根据设计要求和其它因素，进行各种修改、 组合、子组合以及替换。
本发明包含与2006年2月28日在日本专利局提交的第 2006-052644号日本专利申请相关的主题，其全部内容通过引用 包含于此。
权利要求
1.一种摄像设备，包括摄像部，用于拍摄包括对象的图像；状态信息获取部，用于获取所述对象的状态信息；以及记录部，用于记录所述图像和所述对象的状态信息。
2. 根据权利要求l所述的摄像设备，其特征在于，所述状态信 息包括位置信息。
3. 根据权利要求2所述的摄像设备，其特征在于，所述状态信 息获取部利用全球定位系统获取所述对象的位置信息。
4. 根据权利要求2所述的摄像设备，其特征在于，所述状态信 息获取部利用IC标签和传感器获取所述对象的位置信息。
5. 根据权利要求l所述的摄像设备，其特征在于，还包括组合 部，用于将所述对象的状态信息与图像进行组合，其中，所述记录部将通过所述组合部组合了所述对象的状态 信息的所述图像记录在图像记录介质上。
6. 根据权利要求l所述的摄像设备，其特征在于，所述记录部 包括图像记录部，用于记录所述图像； 特征值提取部，用于从所述图像中提取特征值；以及 状态信息记录部，用于与所述特征值提取部提取的所述特征 值相关联地记录所述对象的状态信息。
7. —种摄像方法，包括以下步骤 拍摄包括对象的图像； 获取所述对象的状态信息；以及记录所迷图像和所述对象的状态信息。
全文摘要
摄像设备和摄像方法。该摄像设备包括摄像部，用于拍摄包括对象的图像；状态信息获取部，用于获取所述对象的状态信息；以及记录部，用于记录所述图像和所述对象的状态信息。
文档编号H04N1/00GK101677364SQ20091017399
公开日2010年3月24日 申请日期2007年2月28日 优先权日2006年2月28日
发明者安藤一隆, 尾花通雅, 平泉启, 町村昌纪, 赤尾雅人, 近藤哲二郎, 野出泰史 申请人:索尼株式会社