专利名称：标签信息产生装置,标签信息产生方法和记录媒体的制作方法
技术领域：
本发明涉及用于产生标签信息的装置，该标签信息应用于主图像的任意场景的任意部分区域，本发明还涉及一种用于产生这种标签信息的产生方法和记录媒体。
背景技术：
同近些年来通信基础设施的建立和记录容量的增长一样，还存在将至此所提出的各种服务应用到实际中的需求。这种服务之一是响应于观看者的操作，将标签信息应用于运动图像的特定区域和任何与显示相关的信息中。所描述的这种技术在例如日本专利公开号为Hei7-231308的文件中揭露。
发明内容
然而，还没有建立一种技术能够通过实际工作量将标签信息应用于运动图像中的任意部分区域。
本发明的发明人提出一种技术，其可通过实际工作量将标签信息应用于主图像中。
特别地，本发明的发明人提出，作为用于产生应用于主图像的关键图像的标签信息产生装置，一种标签信息产生装置包括(a1)处理功能，配置为获取在工作屏幕上选择的主图像的时间信息，(a2)另一处理功能，配置为在操作者任意指定的主图像中部分区域的相应位置设置关键区域，(a3)再一处理功能，配置为对所设置的关键区域应用区域识别信息，该信息允许关键区域和外围区域之间的识别，以及(a4)又一处理功能，配置为产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域。
在该标签信息产生装置中，提供标签信息的嵌入位置的关键图像分别从主图像产生。因此，对操作者来说有必要仅执行一个操作用于指定标签信息嵌入目的地的关键区域，以及另一个操作用于应用关键区域的识别信息。所述操作可以通过对工作屏幕的简单输入操作而基本实施。此外，大部分操作都可根据主图像的实质而自动化。
本发明的发明人进一步提出，作为用于产生应用于主图像的关键图像的标签信息产生装置，一种标签信息产生装置包括(b1)处理功能，配置为获取在工作屏幕上选择的主图像的时间信息，(b2)另一处理功能，配置为对在操作者任意指定的主图像中部分区域的相应位置设定的关键区域应用区域识别信息，该信息允许关键区域和外围区域之间的识别，以及(b3)再一处理功能，配置为产生索引信息，该信息列出了应用于关键区域的区域识别信息和时间信息之间的对应关系。
在标签信息产生装置中，列出了时间信息和用于识别单独关键区域的信息之间对应关系的索引信息自动产生。与直接在关键屏幕上记录信息的可选情况相比，由于准备了索引信息，可以有效地执行将信息与关键区域相关联的操作。
结合附图，通过以下描述和所附的权利要求，本发明的以上和其它的目的、特征和优点将变得清楚明白，在附图中相同的部分或元件用相同的参考符号标明。
图1是显示线性编辑系统的配置例子的方框图；图2A至2C是显示工作屏幕的显示例子和所产生关键图像之间对应关系的示意图；图3是显示标签信息产生装置的功能性配置例子的方框图；图4是图示关键图像和指定标签信息的关键信息之间对应关系的概图；
图5是图示索引信息和定义标签信息的关键信息之间对应关系的类似视图；图6是图示索引信息例子的视图；图7是图示标记操作和响应于该标记操作而执行的内部过程之间对应关系的流程图；图8是图示要安装到关键信息输入装置中的程序处理实体概要的流程图；图9是显示非线性编辑系统的配置例子的方框图；图10A和10B是显示图像处理的示意图，其中将主体图像的鞋子设置为关键区域；图11是显示关键区域设置部分的内部配置例子的方框图，该关键区域设置部分基于颜色条件执行关键区域的自动提取功能；图12是显示图像处理的示意图，其中设置关键区域以便追踪主题图像每个鞋子的特征总量；图13是显示关键区域设置部分部分的内部配置例子的方框图，该关键区域设置部分执行关键区域的自动追踪功能；图14A和14B是图示在起始点选择的工作屏幕上设置的关键区域和在终止点选择的另一个工作屏幕上设置的关键区域之间位置关系的示意图；图15是显示主体图像的鞋子在这两个不同时间点之间线性运动轨迹的示意图；图16是显示关键区域设置部分的内部配置的另一例子的方框图，该关键区域设置部分执行关键区域的自动追踪功能；图17A、17B、18A和18B是显示以固定形状准备的关键区域形状例子的示意图；图19A和19B是图示主图像尺寸和关键图像尺寸之间关系的示意图；图20A和20B是显示索引信息中链接信息的嵌入图像的概图；图21是显示链接信息嵌入部分的内部配置例子的概图；图22是图示产生带有链接信息的索引信息的例子的视图；图23是显示用于带有标签信息的图像数据的产生装置的内部配置例子的方框图；图24是图示相应于用于带有标签信息的图像数据的产生装置的程序的处理实体概要的流程图；
图25至31B是图示不同数据输出例子的示意图；图32是显示图像再现系统的例子的方框图；图33是显示图像再现系统通过使用计算机实施的配置例子的方框图；图34是图示观看者的操作和响应于该操作而执行的内部过程之间对应关系的流程图；图35是图示相应于标签信息显示控制功能的程序的处理主体概要的流程图；图36A和36B是图示指示器在特定时间点对主图像和相应关键图像的显示之间对应关系的示意图；图37是显示相关信息的显示例子的示意图；以及图38至41B是显示向导功能的不同显示例子的示意图。
具体实施例方式
在下文中，将结合标签信息的产生、分发和再现阶段，来描述本发明的一个优选实施例。
应当注意到，对于附图中没有显示的或当前说明书中没有描述的细节，可以应用相关技术领域的已知技术。
此外，下面描述的实施例仅仅是本发明的例子，并且本发明并不局限于特定的实施例。
A.标签信息产生装置在下文中描述了一种标签信息产生装置，其可通过实际工作量产生标签信息。
A-1.线性编辑系统标签信息产生装置可以实施为一个线性编辑系统。
a.系统配置图1显示了线性编辑系统的配置例子。
参照图1，所示的线性编辑系统包括主图像再现装置1，整合输出装置3，关键信息输入装置5，显示装置7，关键图案再现装置9和关键图像记录装置11。
主图像再现装置1再现记录在磁带上的主图像。主图像再现装置1可以例如由VTR(视频磁带记录器)来构成。将由主图像再现装置1再现的主图像输出到整合输出装置3。将同步再现的时间码输出到关键信息输入装置5。应当注意到时间码是提供主图像时间位置的各种时间信息中的一种。
整合输出装置3整合关键图案，该关键图案给输入给它的主图像提供标签信息的嵌入信息。该整合输出装置3可以例如由特征生成器构成。该关键图案基于由整合输出装置3从关键信息输入装置5提供的关键区域信息来产生。该关键区域信息作为在屏幕和选择范围内关于关键图案位置的信息而给出。将该整合图像输出给显示装置7。
图2A至2C显示了显示装置7的显示屏幕的例子。特别地，图2A显示了选择作为标签信息嵌入屏幕的屏幕的例子(工作屏幕的例子)。该工作屏幕作为主图像而给出，该主图像在主图像再现装置1的再现动作暂时停止时得以输出。
图2B显示了工作屏幕的例子，其中由整合输出装置3产生的关键图案21和23与主图像整合在一起。在这个例子的情况中，关键图案21具有这样的位置和范围，以使得它包围在屏幕右侧显示的整个车辆。同时，关键图案23具有这样的位置和范围，以使得它们单独包围在屏幕左下方显示的两只鞋子。
关键图案的形状可以由以下任意方法来确定，例如其中由整合输出装置3自动选择的方法、其中形状是通过关键信息输入装置5而选择的另一方法，或其中形状是使用例如套索(lasso)的画图工具而任意指定的又一方法。在图2A至2C的情况中，方形和圆形通过关键信息输入装置5而进行选择。
在该处或其中放置关键图案21和23中每一个的位置和范围可由操作者通过对显示装置7的整合屏幕的确认而确定。
在下文中描述了称作“关键区域”在该处或其中放置单独关键图案的屏幕上位置和范围。
关键信息输入装置5用来输入定义标签信息的关键信息。
在本说明书中，“标签信息”表示嵌入到任意指定的部分区域中的信息。
在本线性编辑系统中，将“关键图像”和“索引信息”产生作为标签信息。
此处，“关键图像”表示与主图像成对并且指示标签信息嵌入位置的图像。同时，“索引信息”是代表关键区域和该关键区域关于关键图像的每个时间点的识别信息之间对应关系的信息。
同时，“定义标签信息的关键信息”表示产生关键区域和索引信息所必需的信息，例如，位置、范围、时间和区域等的识别信息。然而在本例子的情况中，时间信息从主图像再现装置1中给出作为时间码。
关键信息输入装置5可以例如由视频编辑机器或计算机构成。在图1中，显示了关键信息输入装置5由计算机构成。
关键图案的位置和范围通过可以是鼠标等的输入装置5A来输入。同时，用于识别关键图案的信息通过使用键盘的键操作，鼠标的点击操作或类似的操作来输入。
应当注意到，对于关键图案的位置和范围，可以给出一个要进行标记的部分区域的大致位置和大致范围。因此，并不需要严格的定位。所以，对关键区域的设置可以在实际工作量的范围内来实施。例如，这种设置可以通过与通用编辑操作的标题插入所需的工作量相同的工作量来实施。
在本例子的情况中，使用灰度等级值(亮度值)作为用于识别关键图案的信息的一种。当给定灰度等级值时，即使关键区域的设定部分的亮度发生变化，该设定部分也能够得以确认。然而，标签信息也有可能在其分发时经历压缩过程。因此，灰度值最好是以这样的程度隔开的值，即使在这样的压缩过程之后其也能够得以区分。例如，输入数值“20”用于相应于车辆的关键图案21，而输入另一个数值“40”用于相应于鞋子的关键图案23。
关键信息输入装置5将关键区域信息和区域识别信息输出到关键图案产生装置9以产生关键图像，并将时间码输出到关键图像记录装置11。此外，关键信息输入装置5输出索引信息，该索引信息是带有工作屏幕的时间信息的关键区域和区域识别信息。
关键图案产生装置9基于为工作屏幕设置的关键区域信息和区域识别信息产生关键图案。该关键图案产生装置9可以由例如关键生成器或特征生成器构成。图2C显示了包括关键图案21和23的屏幕的例子。
还应当注意到关键图案产生装置9不断地产生相同的关键图案，直到接收到新的关键区域信息和新的区域识别信息为止。这表示不需要为所有帧输入关键信息。由此，工作量可以大大降低。
然而，如果关键图案的生成位置是固定的，那么在标签信息嵌入位置和目标对象(主体图像)之间会出现一些偏移。因此，操作者会确认显示装置7的屏幕，并适当修改或重置关键区域的位置和范围。
将由关键图案产生装置9产生的关键图案与时间码一同提供给关键图像记录装置11，由该关键图案记录装置11将它记录为具有等于主图像时间长度的关键图像。
还应注意到，由于将该装置构成为线性编辑系统，因此将磁带用作关键图像记录装置11的记录媒体。
b.标签信息产生装置的功能性配置以下作为标签信息产生装置，来描述线性编辑系统的功能性配置。应注意到下面描述的索引信息包括时间信息，区域识别信息和对象识别信息。
图3显示了作为标签信息产生装置的功能性配置。参照图3，该标签信息产生装置包括时间信息获取部分31，关键区域设置部分33，识别信息应用部分35，对象识别信息应用部分36，关键图像产生部分37和索引信息产生部分39。
在这些组件中，时间信息获取部分31，关键区域设置部分33，识别信息应用部分35，对象识别信息应用部分36和索引信息产生部分39通过关键信息输入装置5来实施。同时，关键图像产生部分37通过关键图案产生装置9和关键图像记录装置11来实施。
时间信息获取部分31实现获取为工作屏幕选择的主图像的时间信息的处理功能。
关键区域设置部分33实现将关键区域设置为由操作者任意指定的主图像中部分区域的相应位置的处理功能。
识别信应用部分35实现对所设置的关键区域应用区域识别信息以允许区分关键区域和外围区域的功能。
对象识别信息应用部分36实现提供识别信息以允许对所设置的关键区域指定的对象进行识别的功能。在本例子的情况下，区域识别信息作为数字值而给出，而对象识别信息作为字符而给出。因此，可以通过对象识别信息更容易地执行确认操作。还应注意到对象识别信息可作为数字值而给出。
关键图像产生部分37是功能性部分，其实现处理功能以产生将与主图像相同的时间信息添加到其上的关键图像，并且相应于产生关键图像的功能，其中将区域识别信息应用于通过工作屏幕设置的关键区域。图4图示了关键图像和定义标签信息的关键信息之间的对应关系。从图4中可以看出关键图像作为一个其时间位置与主图像以一一对应关系相对应的图像而产生。
索引信息产生部分39对应于产生索引信息的处理功能，该索引信息列出了在区域识别信息，时间信息和应用于关键区域的对象识别信息之间的对应关系。
图5图示了索引信息和定义标签信息的关键信息之间的对应关系。从图5中可以看到，索引信息以其中记录了时间信息，区域识别信息和对象识别信息的文本类型或XML文档类型的信息而给出。
图6图示了索引信息的例子。时间码以“小时:分:秒:帧”的形式而给出。因此，图6表示了在晚于主图像“00小时:00分:10秒:00帧”之后设置了两条标签信息。
换句话说，图6表示了使用灰度等级值“20”和“40”来设置两条标签信息。
在图6中，还记录对象识别信息，从而操作者可以确认，每条区域识别信息与哪个主图像的对象(主体图像)相对应。由于插入了对象识别信息，因此它也可用来确认区域识别信息和期望对象是否相符。
c.标记操作和内部处理之间的关系图7图示了标记操作和响应于该标记操作而执行的内部过程之间的对应关系。应当注意到标记操作通过关键信息输入装置5的输入装置5A而输入。
一旦接收到工作屏幕的选择操作，关键信息输入装置5就向主图像再现装置1发布再现主图像的指令。此外，一旦接收到工作屏幕的确定操作，关键信息输入装置5就向主图像再现装置1发布暂时停止再现操作的指令。
此外，当在工作屏幕的确定之后接受部分区域的指令输入时，关键信息输入装置5将关键区域信息提供给整合输出装置3。此时，将工作屏幕(主图像的静态屏幕)和关键图案的整合图像显示在显示装置7的屏幕上。
此外，当关于指定部分区域接受区域识别信息的指定输入时，关键信息输入装置5将区域识别信息提供给整合输出装置3，并将该区域识别信息输出到关键图案产生装置9。从而，产生关键图像。因此，关键信息输入装置5基于区域识别信息，时间信息和对象识别产生索引信息。
图8图示了要安装到关键信息输入装置5中的程序的过程实体。
参照图8，该程序决定是否确定了工作屏幕(S1)。如果确定了工作屏幕，那么该程序获取时间码作为时间信息(S2)。然后，该程序接受对关键区域的设置(S3)。在设置关键区域之后，该程序接受对与该关键区域对应的区域识别信息的设置(S4)。
然后该程序决定标记是否结束(S5)并重复对新的关键区域的设置过程直到决定了结束为止。
然后，在标记结束之后，该程序发布输出最终确定的索引信息和关键图像的指令(S6)。
标签信息产生过程由执行上述处理程序的关键信息输入装置5来执行。
d.效果通过将主图像再现装置1，整合输出装置3，关键图案产生装置9和关键图形记录装置11连接到具有上述处理功能的关键信息输入装置5以构建一个线性编辑过程，能够实现通过实际工作量来记录标签信息的系统。
换句话说，关键区域可以不通过输入例如元数据的基于文本的数据，而是通过对区域的简单视觉指定来设定。此外，根据主图像的实质，可以自动化大部分上述工作。
此外，曾经设置的关键区域还关于随后的帧而继续直到关于新的选择屏幕设置新的关键区域为止(还包括使用同样对象的情况)。因此，可以实现输入工作量的降低。
此外，由于将灰度等级值采纳作为区域识别信息，不同的关键区域可以从不同的亮度中简单地、视觉地进行确定。
此外，由于列出时间信息和独立关键区域的信息之间对应关系的索引信息自动产生，所以与手动输入相比，与独立关键区域信息相对应的操作可以有效地执行。
A-2.非线性编辑系统标签信息产生装置也可以实施为非线性编辑系统。
a.系统配置图9显示了非线性编辑系统的配置例子。该非线性编辑系统基本上由计算机本身构成。
参照图9，所示的非线性编辑系统包括CPU(中央处理单元)(处理器)41，输入装置43，显示装置45，硬盘驱动装置47和主存储器49。
特别地，图1中线性编辑系统的主图像再现装置1和关键图像记录装置11由硬盘驱动装置47代替。同时，整合输出装置3和关键图案产生装置9通过由使用主存储器49作为工作区域的CPU 41所执行的程序来实施。
当然，关键信息输入装置5也通过由使用主存储器49作为工作区域的CPU41所执行的程序来实施。
例如，一旦定了工作屏幕，就将从硬盘驱动装置47读出的主图像通过主存储器49输出到显示装置45。
此外，一旦设置了关键区域，就将由输入装置43的操作产生的关键图案和主图像在主存储器49中整合，并输出到显示装置45。因此，通过输入装置43将输入的索引信息反映到关键图案上。
应当注意到，在主存储器49中产生的关键图案(图2C和图4)和索引信息(图5)由硬盘驱动装置47进行记录。
b.效果同样在非线性编辑系统的情况下，可以实现与线性编辑系统中那些相同的效果。换句话说，可以实现能够通过实际工作量记录标签信息的系统。
A-3.关键区域输入辅助功能a.相应于颜色条件的区域提取在前述描述中，关键区域由手动操作设置。
此处，描述了从工作屏幕内指定的部分区域中，设置满足由操作者预先指定颜色条件的区域作为关键区域的技术。
图10A和10B显示了图像的处理。特别地，图10A和10B图示了其中将主体图像的鞋子设置为关键区域的例子。应当注意到主题图像的鞋子是红颜色的。
在这个例子中，如从图10A中看到的，指定包括鞋子在内的广阔区域51。此时，如果将特别的颜色条件(例如，从色调值XX到另一色调值YY范围内的红色级别)确定为关键区域的提取条件，那么可以准确地仅提取相应于鞋子的部分区域53。应当注意到提取条件的登记可以在区域指定之前或之后执行。
图11显示了关键区域设置部分33(图3)的内部配置的例子，该部分执行根据颜色条件的关键区域自动提取功能。
参照图11，关键区域设置部分33包括指定区域保持部分61，区域提取部分63和提取条件保持部分65。在提到的组件当中，指定区域保持部分61是用于存储通过输入装置指定的区域51的存储区域。换句话说，该指定区域保持部分61是用于保持提供提取处理范围的区域的存储区域。
区域提取部分63是信号处理部分，其从主图像内指定的区域51内提取满足颜色条件的部分区域。
提取条件保持部分65是用于保持提取条件的存储区域。在本例子中，提取条件保持部分65用来保持通过输入装置指定的颜色条件。
当要设置为关键区域的区域和外围区域之间的色调差别很大时，该处理功能是特别有效的。
应当注意到，提取条件不仅可以包括颜色条件还可包括特别的形状或图案。同样在其它情况中，用于输入的工时数量的简化可以类似于基于颜色条件的区域提取情况而实施。
b.基于特征量的对关键区域的追踪功能在前述描述中，关键区域由手动操作设置。
此处，描述了用于存储所设置的关键区域的特征量和响应于主图像中主体的运动而自动追踪关键区域的技术。
图12图示了图像的处理。图12还表示了其中将主体图像的鞋子设置为关键区域的例子。
当关键区域追踪功能得以采纳时，只要将为其设置关键图像的主图像保留在屏幕中，也可以移动关键区域以追踪主图像中主体图像的移动，如在图12中看到的那样。
当结合上述追踪功能时，操作者的操作量大大减少。
图13显示了关键区域设置部分33(图3)的内部配置，其执行关键区域的自动追踪功能。
参照图13，该关键区域设置部分33包括特征量存储部分81和区域追踪部分83。特征量存储部分81是用于存储相应于通过输入装置设置的关键区域的主图像的特征量(例如，色调，亮度，形状等等)的存储区域。
区域追踪部分83是信号处理部分，其从主图像中提取满足存储的特征量的部分区域并将所提取的区域输出作为关键区域信息。应当注意到，将已知的图像处理技术应用于提取部分区域的技术。
还应注意到，在实施例中，提出了关键区域的手动输入，可选地，这种特征量可以在关键区域的设置操作之前独立地进行登记，从而从主图像中自动提取满足特征量的部分区域并设置为关键区域。
对于特征量，可以使用例如特定的颜色范围，特定颜色的组合，特定符号或形状或特定字符串。
对所述功能的使用允许标签信息应用操作的相当部分自动化。
此外，有可能将标签信息自动应用于某些现场直播节目。例如如果预先登记了体育实况转播节目中广告牌的特性，那么可以将在屏幕上出现的广告牌自动设置为关键区域。换句话说，在广告牌中自动嵌入标签信息在技术上是可能的。
例如当广告牌具有红颜色时，如果将红色的颜色范围指定为特征量，那么可以将屏幕中红色的部分区域设置为关键区域。还应注意到，根据图像的拾取角度，有可能提取另一个满足特征量而又不是广告牌的部分区域，例如运动员或观众。在该例子中，操作者可点击广告牌以使得其它区域从设置对象中除去不作为关键区域。
可选地例如，当广告牌包括在蓝色背景上的黄色字符时，如果将这个颜色图案指定作为特征量，那么可以将包括类似颜色图案的部分区域设置为关键区域。
此外例如，如果将广告牌的形状或代表广告牌的特殊符号设置为特征量，那么可以将包括类似形状或符号的部分区域设置为关键区域。
此外例如，如果将代表出现在广告牌上的企业或商品名称的字符串指定为特征点，那么可以将包括类似字符串的部分区域设置为关键区域。在这个例子中，可以结合使用字符识别技术。
c.内插过程对关键区域的追踪功能在前述描述中，描述了基于特征量的对关键区域的自动追踪功能。
此处，描述了当估计设置为关键区域的主体图像从特定工作屏幕(起始点)到另一工作屏幕(终止点)的运动轨迹时，由使用在这两个屏幕上设置的关键区域的位置信息的内插算法操作在这两个屏幕之间自动设置关键区域位置的技术。
图14A和14B图示了图像的处理。图14A和14B还图示了将主体图像中的车辆设置为关键区域的例子。
特别地，图14A图示了将关键区域设置为在屏幕上选择作为起始点的车辆所在部分区域91时的状态。
图14B图示了将关键区域设置为在屏幕上选择作为终止点的车辆所在部分区域93时的状态。
图15显示了主体图像的车辆在两个时间点之间线性运动的轨迹。在这个例子中，在这两个时间点之间的任意时间点，考虑到运动的加速度，从而估计标记对象的车辆位于部分区域95。
因此，如果采用了自动设置所估计的部分区域作为关键区域的技术，那么可以预见通过小量的工作来实现相当准确的区域指定。
此外，与上述基于特征量的追踪过程相比，算法操作量得以降低。
图16显示了关键区域设置部分33(图3)的内部配置的例子，该关键区域设置部分33执行关键区域的自动追踪功能。
参照图16，关键区域设置部分33包括关键区域保持部分101和区域位置内插部分103。关键区域保持部分101是具有用于存储在工作屏幕上设置的作为起始点的关键区域位置的区域101A和用于存储在工作屏幕上设置的作为终止点的关键区域位置的区域101B的存储区域。
区域位置内插部分103是信号处理部分，其内插在起始点时关键区域位置和终止点时关键区域位置之间的关键区域位置，以响应于这两点之间的时间位置。
当涉及到运动的加速度或轨迹时，区域位置内插部分103涉及用于确定关键区域位置的信息。
然而在图15的情况中，由于车辆线性运动，将在两点之间基于时间比例而确定的位置估计为关键区域位置。
A-4.修改此处，描述了对线性编辑系统和非线性编辑系统的修改。
在上述描述中，一旦设置了关键区域，就输入位置和范围作为关键区域信息。
然而，当假定关键区域具有固定配置(固定范围)时，只可以输入位置。
同时，关键区域可具有如图17A所示的圆形形状或如图17B所示的椭圆形形状。此外，关键区域还可具有如图18A所示的正方形形状或如图18B所示的多边形形状或任何其它多边形形状。另外，关键区域可具有任何配置。上述这种用于关键区域的图案优选地由关键操作选择性地使用。
应注意到最好是可以选择这样的功能，关键区域的配置可以根据时间而自动变化。例如，当将起始点的特定关键区域指定为圆形区域而将终止点的特定区域指定为椭圆形时，可以应用在中间点使关键区域的配置从圆形配置一点点变形为椭圆形配置的变形功能。该变形功能是公知的功能。
此外，虽然在前述描述中使用时间码作为代表主图像和关键图像的再现位置的时间信息，但是也有可能使用帧编号。
此外，虽然在前述描述中主图像111的尺寸和关键图像113的尺寸是相等的，如图19A所示，但是也可以将关键图像113的尺寸设置为主图像111的尺寸的一小部分，如图19B所示。例如，关键图像113的尺寸可以为主图像111的尺寸的一半(1/2)或四分之一(1/4)。
例如，当主图像的尺寸为1920×1080而关键图像的尺寸为960×540时，关键图像的尺寸在水平和垂直方向都是主图像的一半。因此，将关键图像上的位置(x，y)＝(10，20)给出为关键图像上的位置(5，10)。
关键图像和主图像之间的位置关系在设置关键区域时已经确认。因此，即使关键图像的尺寸小一些也没有问题。
而且，关键图像尺寸的减小可以降低数据大小。
此外，虽然在上述描述中使用灰度等级值(亮度值)作为与关键区域相一致的区域识别信息，但是也可以使用色调值。
例如，尽管使用相应于红色、蓝色、黄色或绿色的色调值，但是它也可以用于对区域的识别而没有任何问题。此外，当多个关键区域在屏幕上进行视觉确认时，它们可以根据颜色的差别而容易地确认。
此外，虽然在前述描述中，使用“鞋子”、“车辆”、“广告牌”或类似的东西作为主体图像的例子，即标签信息的嵌入对象(关键区域的设置对象)，但是出现在主图像中的例如执行者、运动员的人、动物或生物或类似的内容可以用作标签信息的嵌入对象(关键区域的设置对象)。
B.带有链接信息的索引信息的产生装置和带有标签信息的图像数据的产生装置B-1.带有链接信息的索引信息的产生装置此处，描述了将链接信息应用于之前产生的索引信息的装置。换句话说，描述了带有链接信息的索引信息的产生装置。
如果使用如上所述产生的索引信息，那么可以识别关于主图像在相同屏幕内设置的关键区域。然而，在这个阶段，服务对象的信息不能提供给观看者。
因此，本发明的发明人将链接信息应用于之前产生的索引信息。
图20A和20B显示了链接信息的嵌入图像。
特别地，图20A图示了在URL(统一资源定位器)由链接信息嵌入部分121嵌入的情况下链接信息的嵌入图像。
图20B图示了在商业消息(CM)识别符(本地地址)由链接信息嵌入部分121嵌入的情况下链接信息的另一个嵌入图像。应注意到嵌入CM本身作为链接信息在技术上也是可能的。
在链接信息通过这种方式嵌入到索引信息中的情况下，可以推断嵌入标签信息的部分区域和URL或CM之间的一致性。
图21显示了链接信息嵌入部分121的内部配置的例子。参照图21，该链接信息嵌入部分121包括数据库121A和信息嵌入部分121B。
数据库121A是存储在应用于关键区域的提供由操作者任意指定的主图像中部分区域的区域识别信息和用于访问该部分区域的相关信息的链接信息之间对应关系的区域。
换句话说，数据库121A是存储对象识别信息和链接信息之间对应关系或区域识别信息和链接信息之间对应关系的区域。应注意到该对应关系是预先登记的。可选地，对应关系可每次手动输入。
信息嵌入部分121B是指示数据库将相应的链接信息嵌入到索引信息中的信号处理部分，该索引信息列出了区域识别信息和应用于关键区域的时间信息之间的对应关系。
图22图示了产生带有链接信息的索引信息的例子。更具体地，图22图示了将URL作为链接信息嵌入的例子。
在图22的情况中，将两条标签信息设置为“00小时:14分:10秒；00帧”。两条标签信息之一是相应于一只鞋的区域识别信息“20”，而另一条是相应于一个车辆的区域识别信息“40”。
在当前例子的情况下，对于区域识别信息“20”，http://www.xxx.com/yy/yy对应于部分区域的链接信息。
同样，对于区域识别信息“40”，http://www.zzz.com/yy/yy对应于部分区域的链接信息。
通过使用链接信息嵌入部分121，只要可以确保用于识别关键区域的信息(例如，区域识别信息或对象识别信息)和链接信息之间对应关系的匹配特性，就可以有效地执行关键区域和链接信息之间的对应工作。
此外，当在这种方式下，彼此分别处理主图像和主图像的相关信息时，由于可以彼此分别执行它们的维护，所以可以预见各种优点。
例如，当相关信息站点的地址改变，例如取消URL的链接时，只需要维护带有链接信息的索引信息。因此，可以减轻维护或管理所需的负担。
此外，当在重分发(重播)时与任何广告客户的联系终止时，只需要从带有链接信息的索引信息中单独地删除有关部分。因此，降低了工作的负担。
此外，例如，当额外登记关键区域时，尽管需要标记操作，但是仅需要更新关键图像和索引信息(带有链接信息的索引信息)。因此，没有必要触及主图像。
B-2.带有标签信息的图像数据的产生装置如果所有上述带有链接信息的标签信息，主图像和关键图像都可用，那么就可以允许提供本发明的发明人所期望的服务。换句话说，有可能使用观看主图像的观看者的点击操作作为显示相关信息的触发。
另一方面，如果图像和信息均可由它们自己处理，那么有可能只记录或复制主图像。当链接信息是CM时，只对主图像的记录或复制表示广告机会的丢失。然而，这阻碍了在其中CM是主要经济来源的媒体工业的发展。
因此，本发明的发明者提出了以相互关联的关系输出带有链接信息的索引信息、主图像和关键图像的技术。该技术可以提高标签信息(带有链接信息和关键图像的索引信息)与主图像整体地复制或记录的必然性。
特别地，如果需要作为主图像的复制或记录中的条件是所有带有链接信息的索引信息、主图像和关键图像都可用，那么也可以确保广告机会，同时允许免费欣赏。
此外，即使如果需要作为允许主图像正常产生的条件是所有带有链接信息的索引信息、主图像和关键图像都可用，那么也可以确保广告机会，同时允许免费欣赏。
此外，当将主图像存储在硬盘驱动装置或一些其它随机存取记录媒体中并在之后欣赏时，该技术可以有效地作为跳过CM的对策。这是因为，不同于插入到主图像之间间隙的CM，标签信息的目的并不作为CM跳过功能的对象。
此外，显示CM时，需要观看者的点击操作。因此，观看者不会有在不考虑观看者的愿望而随意弹出这些显示的情况下的心理抵制。事实上，由于观看者点击主图像中嵌入标签信息的区域，结果观看者对该主图像感兴趣，因此与不断给出的显示流中包含有CM的情况相比，可以预期得到更高的广告效果。
a.系统配置在下文中，描述了带有标签信息的图像数据产生装置。
图23显示了带有标签信息的图像数据产生装置的内部配置的例子。参照图23，所示带有标签信息的图像数据产生装置包括链接信息嵌入部分121(图21)和数据输出部分123。
数据输出部分123是以相互关联关系输出带有链接信息的索引信息、主图像(包括实时图像)和关键图像的信息处理部分。
应注意到带有标签信息的图像数据产生装置还可以实施为图24所示的程序。
特别地，带有标签信息的图像数据产生装置可以由将链接信息嵌入到索引信息中以产生带有链接信息的索引信息的过程(S11)和以相互关联关系输出带有链接信息的索引信息、主图像和关键图像的另一过程(S12)来实施。
此处，带有关联的标签信息的图像数据的输出目的地是传输线路或记录媒体。当传输目的地是传输线路时，分发的形式例如可以是下载、流或广播。
b.输出的数据格式在下文中，描述了从数据输出部分123输出的带有标签信息的图像数据的数据输出例子。
b1.数据输出例子1图25图示了数据输出例子之一。参照图25，在所示数据输出例子中，将带有链接信息的索引信息应用并整合到均为非压缩格式的主图像和关键图像，从而将它们当作一个文件来对待。所产生的文件带有应用于它的唯一扩展名“cmov”。其中整合了主图像、关键图像和带有链接信息的索引图像的文件在下文中称为“comv文件”。当然，有可能应用某些其它扩展名。例如可以应用“ocv”(对象点击视频)。
如在本数据输出例子中整合主图像、关键图像和带有链接信息的索引信息时，可以有效地避免只对主图像进行分离并由其自己利用的情况。
当将图像数据作为文件格式对待时，本数据输出例子适于例如流、下载或记录媒体形式的分发。
b2.数据输出例子2图26图示了另一个数据输出的例子。参照图26，在所示数据输出例子中，将带有链接信息的索引信息应用并整合到均为压缩编码形式的主图像和关键图像，从而将它们作为单独的文件来对待。还是在这个例子中，将唯一的扩展名“cmov”应用于所产生的文件。
压缩编码系统可以是任何可逆的压缩编码系统和不可逆的压缩编码系统，这不仅可应用于本例子，也可应用于其它输出例子。通常，对于分发，使用具有较高压缩率的不可逆压缩编码系统。另一方面，对于主要数据的存储或在编辑阶段，使用可逆的压缩编码系统。
应注意到，尽管在图26中没有示出，可以将报头应用于所产生的文件。该报头包含于带有链接信息的索引信息中或者单独准备。
该报头描述了带有链接信息的索引信息在文件中的位置、主图像和关键图像的顶部位置，帧的数目，图片尺寸(水平和垂直方向的像素数目)，压缩系统，带有链接信息的索引信息/主图像/关键图像在文件中的排列信息(地址偏移)等等。
本数据输出例子还能有效地避免由于主图像、关键图像和带有链接信息的索引信息互相整合而使得只对主图像进行分离和利用的情况。此外，由于数据是压缩编码格式，所以数据量较小。此外，本数据输出例子还适用于当将图像数据作为文件格式来对待时，例如流、下载或记录媒体形式的分发。
此外，本数据输出例子只允许带有链接信息的索引信息在开始时或任意定时读出。因此，很容易显示相关信息的表格。
b3.数据输出例子3图27图示了另一个数据输出例子。参照图27，在所示数据输出例子中，类似于上述两个输出例子，将主图像和关键图像进行压缩编码并彼此整合，从而将它们作为单独的文件来对待。在这个例子中，应用唯一的扩展名“cmov”。
本输出例子的独特特性是将带有链接信息的索引信息放置在压缩的关键图像的元数据区域中。该元数据是描述关于主图像的信息的数据。该元数据包括例如时间码、版权信息、图像拾取人信息、字符、图像拾取地点等等。
本数据输出例子还能有效避免由于主图像、关键图像和带有链接信息的索引信息互相整合而使得只对主图像进行分离和利用的情况。此外，由于数据是压缩编码格式，所以数据量较小。此外，本数据输出例子还适用于当将图像数据作为文件格式来对待时，例如流、下载或记录煤体形式的分发。
还应注意到带有链接信息的索引信息还可以放置于压缩的主图像的元数据区域。
此外，本数据输出例子中，每条带有链接信息的索引信息都有必要带有关于相应场景(时间段)的标签信息。因此，有可能使每一条独立的带有链接信息的索引信息的尺寸是固定的或彼此相等。因此，本数据输出形式适用于广播或长时间段的内容。
b4.数据输出例子4图28图示了另一个数据输出例子。参照图25，对其中将主图像分配给四条数据信道中的三条并将关键图像分配给剩下一条数据信道的图像数据进行压缩编码，并且应用带有链接信息的索引信息来形成文件。
应注意到图28图示了其中将用于R(红)、G(绿)和B(蓝)的三条信道分配给用于主图像的三条数据信道的数据输出例子。当然，这三条数据信道可被选择地用于一个亮度数据和两个颜色差别数据。
还是在本例子中，所整合的文件具有应用于它的唯一扩展名“cmov”。
还是在本数据输出例子中，将主图像、关键图像和带有链接信息的索引图像进行整合，这样可有效地避免只对主图像进行分离并由其自己利用。此外，由于数据是压缩编码格式，所以数据量较小。此外，当将图像数据作为文件格式来对待时，本数据输出例子还适用于例如流、下载或记录媒体形式的分发。
b5.数据输出例子5图29图示了另一个数据输出例子。参照图29，在本数据输出例子中，对其中将主图像分配给四条数据信道中的三条并将关键图像分配给剩下一条数据信道的图像数据进行压缩编码，并且应用带有链接信息的索引信息来形成文件。特别地，将唯一的扩展名“cmov”应用于所产生的整合文件。
然而，在本输出例子中，将带有链接信息的索引信息放置于关键图像的元数据区域中。
还是在本输出例子中，将用于R(红)、G(绿)和B(蓝)的三条信道分配给用于主图像的三条数据信道。然而，也可选择地将一个亮度数据和两个颜色差别数据应用于这三条数据信道。
本数据输出例子还能有效地避免由于主图像、关键图像和带有链接信息的索引图像的互相整合而使得只对主图像进行分离和利用的情况。此外，由于数据是压缩编码格式，所以数据量较小。此外，本数据输出例子还适用于当将图像数据作为文件格式来对待时，例如流、下载和记录媒体形式的分发。
还应注意到，在对本输出例子的压缩编码过程中，可以对其中整合了应用带有链接信息的索引信息的关键图像(一条信道)和主图像(三条信道)的文件进行压缩编码。在这个例子中，可逆编码系统用于压缩编码，这在编辑阶段或对于主要数据存储是有效的。
b6.数据输出例子6图30A和30B图示了另几个数据输出的例子。参照图30A和30B，在所示数据输出例子中，将主图像输出到主信道而将关键图像输出到子信道。因此，将带有链接信息的索引信息放置在主图像或关键图像的元数据区域。
图30A显示了当将带有链接信息的索引信息放置到关键图像(子信道)的元数据区域中的例子，而图30B显示了当将带有链接信息的索引信息放置到主图像(主信道)的元数据区域中的例子。
本数据输出例子适用于图像数据以广播形式进行分发的情况。当采用本数据格式，也是以广播形式时，可以实现能够在屏幕上显示由观看者指定部分区域的相关信息的系统。应注意到，在记录主图像时，如果满足记录与主信道(主图像)配对的子信道的条件，那么本数据输出例子能有效地避免只对主图像进行分离和利用的情况。
例如，如果主图像以当前两种数据输出形式中的任意一种进行广播时，这种应用是有可能的，即尽管主图像可以由现有调谐器以正常方式接收，但是对拷贝的禁止是有效的，或者扰频功能对禁止接收主图像变得有效。
另一方面，可以通过调谐器来预见这种应用，该调谐器与当前的数据输出格式兼容，即当同时接收关键图像和带有链接信息的索引图像时(当点击功能有效时)，可以取消这种对拷贝的禁止或扰频功能限制。
此外，当存储在硬盘驱动装置或类似装置中时，这种应用是有可能的，即当文件以cmov文件格式存储时，可以取消对主图像拷贝的禁止、扰频功能等。
b7.数据输出例子7图31A图示了另一个数据输出的例子。参照图31A，该数据输出例子还适用于广播形式。然而本数据输出例子不使用子信道。换句话说，将关键图像和带有链接信息的索引信息放置在主信道中主图像的元数据区域。
当采用当前数据格式时，甚至是以广播格式，可以实现能够在屏幕上显示由观看者指定部分区域的相关信息的系统。此外，将主图像、关键图像和带有连接的索引图像进行互相整合，并且这还能有效地避免只对主图像进行分离并由其自身利用的情况。
如图31B所示，其还能与带有链接信息的索引信息一起，来有效地记录代表元数据区域中链接信息的链接目的地的相关信息(例如CM)，。
还应注意到链接信息作为这样的信息，它代表相关信息(例如CM)的链接目的地在哪一页上的信息，或者是只有独立相关信息才有的识别信息(例如数目)。
在这个例子中，由于对链接目的地的相关信息进行整合，所以没有必要通过因特网获取相关信息。因此，本数据输出形式在再现装置没有连接到因特网时是有效的。同样，当将再现装置连接到因特网时，本数据输出形式在通信带宽不足或通信条件不是很好时也是有效的。
还应注意到将代表链接信息的链接目的地的相关信息与主图像以这种方式进行整合的方法，对此处描述的cmov文件格式文件的数据输出例子也是有效的。
C.标签信息显示控制装置和信息处理装置(显示装置)此处，描述了当再现带有标签信息的图像数据时的处理动作，即由观看者一侧的信息处理装置执行的处理动作。
还应注意到信息处理装置可以是标签信息显示控制装置或任何商品形式的装置，只要其能通过软件实施与标签信息显示控制装置同样的功能。
例如，信息处理装置可以是计算机、磁盘装置、光盘播放器、机顶盒，家庭服务器或任何其它大容量存储装置、显示装置、游戏机、数码相机、便携式信息终端、便携式电话机等等。
带有标签信息的图像数据可以由图像处理装置以两种再现模式来再现。
再现模式之一是累积类型的再现。
累积类型的再现是在将带有标签信息的全部图像数据存储在记录媒体上时的状态开始的再现。
例如，可以再现以记录在光盘或其它大容量媒体上的形式分发的带有标签信息的图像数据(cmov文件)。
例如可选地，可从本地媒体中再现通过因特网下载的带有标签信息的图像数据(cmov文件)。
通过这种再现，可以彼此同步地再现主图像和关键图像。然而关键图像并不显示在显示屏幕上。
例如可选地，通过广播形式或流形式接收的主图像、关键图像和带有链接信息的索引信息，可以从记录有从主图像、关键图像和带有链接信息的索引信息中重建的带有标签信息的图像数据(cmov文件)的记录媒体中再现。还应注意到该记录媒体可以是便携式记录媒体或集成于再现装置中的本地媒体。
同时，另一种再现模式是流类型再现。
流类型再现是按照下载顺序的流文件的再现。
应注意到，在流类型再现中，首先下载带有链接信息的索引信息并存储在主存储器中。之后，按照再现顺序下载主图像和关键图像并存储在存储器中，然后彼此同步地再现主图像和关键图像。
还是在这个例子中，不再现关键图像。
C-1.图像再现系统在下文中，描述了通常用于存储类型再现和流类型再现的图像再现系统。
a.功能配置图32显示了图像再现系统的配置例子。
参照图32，所示图像再现系统包括标签信息显示控制装置131、输入装置133、再现装置135和显示装置137。
首先，描述图像再现系统中除了标签信息显示控制装置131以外的组件。
输入装置133用来输入来自欣赏带有标签信息的图像数据的观看者的操作指令。
再现装置135用来从记录区域中再现带有标签信息的图像数据。将适于记录媒体的再现机制用作再现装置135。应注意到大容量记录媒体用于积累类型的再现，而主存储器(半导体存储设备)用于流类型的再现。
显示装置137显示主图像。各种显示设备可用于显示装置137。例如CRT显示单元、平板显示单元或投影类型显示装置(例如液晶板或DMD(注册商标)设备)可用于显示装置137。
标签信息显示控制装置131是这样的控制单元，它控制上述外围装置以控制对主图像的显示和对指定区域中的相关信息的显示。标签信息显示控制装置131可由任何硬件或软件来实施。
此处，描述了标签信息显示控制装置131的功能性配置。
标签信息显示控制装置131包括再现控制部分141、索引信息读出部分143、指针运动接受部分145、指针位置获取部分147和指针位置决定部分149。该标签信息显示控制装置131进一步包括识别信息读出部分151、链接信息读出部分153和相关信息显示控制部分155。
该再现控制部分141是当接受主图像的再现指令时，致使与主图像带有相同时间信息(例如时间码)的关键图像得以同步再现的控制装置。换句话说，再现控制部分141控制主图像和关键图像的同步再现。
索引信息读出部分143是读出与主图像和关键图像相关联的带有链接信息的索引信息的信号处理装置。
指针运动接受部分145是接受由主图像的观看者通过输入装置133在屏幕范围内对指针运动的信号处理装置。
指针位置获取部分147是获取屏幕中的指针位置的信号处理装置。
指针位置决定部分149是参考与主图像同步再现的关键图像来决定指针位置是否在关键区域内的信号处理装置。换句话说，指针位置决定部分149执行在具有与当前显示的主图像相同的时间位置的关键位置和该指针之间的匹配决定。
识别信息读出部分151是当指针位置在关键区域之内时读出对关键区域设置的区域识别信息的信号处理装置。例如，当该指针属于对应于鞋子的关键区域时，读出该关键区域的灰度等级值。
链接信息读出部分153是这样的信号处理装置，它基于所参考关键图像的时间信息和读出的区域识别信息，参考带有链接信息的索引信息以便读出对应于区域识别信息的链接信息。
相关信息显示控制部分155是从读出的链接信息指定的链接目的地中获取相关信息并显示所获取的相关信息的信号处理装置。
例如，当链接信息作为URL而给出时，相关信息显示控制部分155从通过未示出的通信功能而访问的网站获取必要的相关信息，并将所获取的相关信息提供给显示装置137。
另一方面，例如，当链接信息是与主图像一起接收或存储的相关信息的识别信息时，该相关信息显示控制部分155通过再现装置135获取必要的相关信息，并将所获取的相关信息提供给显示装置137。
b.特别例子图33显示了当图像再现系统由计算机实施时的配置例子。
参照图33，所示图像再现系统包括CPU(处理器)161、输入装置163、显示装置165、硬盘驱动装置167和主存储器169。
特别地，图33中所示标签信息显示控制装置131的处理功能通过由CPU161执行的程序来实施。
例如，决定由观看者指定的指针的坐标位置是否包括在关键区域中的决定过程和基于应用于指针位于其中的关键区域的区域识别信息来读出链接信息的读出过程由CPU161来执行。
应注意到配置图33所示的图像再现系统，以便执行积累类型的再现。换句话说，这样配置所示的图像再现系统，以便将主图像、关键图像和带有标签信息的索引图像从硬盘驱动装置167中读出到主存储器169。
因此，当将图像再现系统另外配置为执行流类型的再现时，将处理提前到将主图像、关键图像和带有标签信息的索引信息直接存储到主存储器169中的状态。
C-2.观看者的操作和内部过程之间的关系图34图示了观看者的操作和响应于该操作而执行的内部过程之间的对应关系。应注意到观看者的操作通过输入装置163(133)而输入。
当接受用于再现主图像的操作时，CPU166发布指令以读取带有链接信息的索引信息并再现(显示)主图像。因此，CPU161也发布指令以执行关键图像的同步再现。此外，CPU161还启动此后描述的向导功能。该向导功能是向观看者通知嵌入关键区域的存在并协助对关键区域的适当操作的功能。
另一方面，当CPU161接受标记对象(主题图像)的点击操作时，其检测点击坐标(获取指针位置)并从应用了相同时间的关键图像中获取对应于该点击坐标的区域识别信息。例如，CPU161获取灰度等级值。
此后，CPU161参考与相同时间或包括该时间的时间间隔一致的带有标签信息的索引信息，以便使用区域识别信息来获取对应于链接信息的相关信息。所获取的相关信息显示在显示装置165的屏幕上。该显示可以是在主图像上的叠加显示或子屏幕显示。
图35图示了对应于上述标签信息显示控制功能的程序的过程实体。
参照图35，该程序从读取带有标签信息的索引信息的过程开始(S21)。然后，该程序控制主图像和关键图像的同步再现(S22)。
此后，该程序接受显示在显示装置165的屏幕上的指针运动的输入并决定指针位置(S23，S24)。
图36A显示了显示指针171的例子。图36A中，指针171位于主题图像鞋子的位置。
然后，该程序决定该指针的位置是否在关键区域内(S25)。在决定过程中，该程序参考与主图像在相同时间的关键图像。图36B图示了与主图像成对的关键图像。同样，该关键图像也用于内部处理，而事实上并不显示给观看者。
图36A和36B显示了设置为“00小时:14分:30秒:12帧”的图像的例子。在该例子中，将正方形的关键区域(灰度等级值＝20)设置在对应于车辆的位置，而将另一个圆形的关键区域(灰度等级值＝40)设置在对应于每一只鞋子的位置。
决定过程根据指针的坐标(X，Y)是否位于关键区域中而执行。
如果在决定过程中决定指针位置不在任何关键区域内(如果得到否定结果)，那么该程序返回到接受指针运动的状态。这是因为该指针指定了其中没有嵌入标签信息的区域。
另一方面，如果在决定过程中决定指针位置在关键区域内(如果得到肯定结果)，那么该程序基于关键区域的区域识别信息来访问带有链接信息的索引信息，以便读出关于该操作的相同时间与对应的区域识别信息相应的链接信息(S26)。
然后，该程序获取由链接信息提供的相关信息，并控制显示装置165在屏幕上显示该相关信息(S27)。
图37显示了显示相关信息的例子。在图37中，代表相关信息来源的URL地址(http://www.xxxx.com/yy/yy)显示在屏幕的上部。
同时，在屏幕的中部，用指针指定的鞋子以大屏幕尺寸显示。同时，价格(在所示例子中为“$98”)显示在屏幕的左上部分。
当然，相关信息的显示窗口可以通过观看者的操作来关闭。
然后，该程序决定主图像的再现是否终止(S28)。如果再现继续(如果得到否定结果)，那么该程序返回到指针位置的输入接受阶段，以准备对另一个关键区域进行指定。
另一方面，如果确认再现终止(如果得到肯定结果)，那么该程序终止标签信息的显示控制功能。
上述这种处理程序由CPU161执行，以便执行标签信息显示过程。
C-3.向导功能如上所述，通过再现带有标签信息的图像数据，嵌入在指针位置的相关信息可以通过观看者的主观操作而在屏幕上进行确认。
此处，描述了适于协助观看者指定关键区域的显示功能。
a.向导功能1当关键图像原本仅准备用于决定过程时，其还可以用来协助观看者的屏幕操作。
例如，当关键区域包括在与主图像同步再现的关键图像中时，在观看者可以认出该部分区域的显示模式中，显示对应于该关键区域的主图像的部分区域的功能(关键区域显示控制部分)可以集成为标签信息显示控制装置131的功能。
图38显示了采用这种显示功能的显示例子。在图38中，主图像和关键图像以整合状态进行显示。
在这个例子中，嵌入标签信息的主图像的部分区域可以以改变的亮度进行显示。将不同于主图像的原始亮度的亮度提供给关键图像，可以很容易地区别嵌入标签信息的部分区域。
应注意到可以响应于提供给形成关键图像的每个关键区域的区域识别信息(灰度等级值或色调值)，来提供亮度改变。
可选地，相同的亮度改变可以提供给所有的关键区域，而不用根据提供给关键区域的区域识别信息间的差别。这是因为对于观看者来说所必需的是识别嵌入了标签信息的部分区域，而不是识别这些区域之间的差别。
顺便说一下，亮度改变不仅可关于原始亮度级别而提高亮度来执行，还可通过降低亮度或周期性地打开或关闭亮度来执行。此处，亮度改变可由主图像亮度的百分之几的级别来提供。
应注意到均一地改变嵌入标签信息的部分区域的亮度的方法会恶化主图像的图片质量并妨碍欣赏。
因此，只有在观看者选择部分区域的亮度发生变化的显示模式由时，才优选地执行依赖于亮度改变的显示模式。当然，替代地可以正常改变嵌入标签信息的区域的亮度。
同时，作为改变嵌入标签信息的部分区域的显示模式来通知观看者的技术，其中改变用于显示的部分区域的色调的方法也是可用的。
例如，色调的改变可以提供来响应提供给形成关键图像的每个关键区域的区域识别信息(色调值或灰度等级值)。
可选地，相同色调改变可以提供给所有关键区域，而不用根据提供给关键区域的区域识别信息间的差别。例如，对于嵌入标签信息的所有整个部分区域，可以提供红色或者可以显示红色框架。当然，任意颜色均可用于显示。
同样，只有在观看者选择部分区域的亮度定生变化的显示模式时，才优选地执行依赖色调改变的显示模式。当然，替代地可以正常改变嵌入标签信息的区域的亮度。
b.向导功能2上述向导功能1改变嵌入标签信息的部分区域的显示模式而不根据指针的位置。然而，其很可能会干扰对主图像的欣赏。
因此，当决定指针位置在关键区域内或接近关键区域时，以这种观看者能够认出该部分区域的显示模式来显示嵌入标签信息的主图像的部分区域的功能(标签区域位置通知部分)可以集成为标签信息显示控制装置131的功能。
图39A和39B显示了采用这种显示功能的例子。还是在图39A和39B中，以同上述其它例子中相同的方式将标签信息嵌入到主题图像的鞋子中。
特别地，图39A显示了当指针173没有位于设置在关键屏幕上的任何关键区域中时的显示例子。同时，在显示屏幕上没有发现任何变化。
因此，观看者可以确定在当前指针位置没有标签信息。此外，不会妨碍对主图像的欣赏。
图39B显示了当指针位置173位于设置在关键图像上的关键区域中时的显示例子。在这个例子中，对应于鞋子的关键区域的显示模式发生了变化。例如，类似于向导功能1中情况的亮度变化或色调变化。
根据这些变化，观看者可以视觉地确认将标签信息嵌入到当前指针位置。
应注意到，在本显示例子中，主图像显示模式的变化仅在相应于鞋子的关键区域中执行，而不发生在相应于车辆的关键区域中。
因此，当显示标签信息时可以最小化主图像图片质量的恶化。本显示例子在将标签信息嵌入到大量区域中时特别有效。
c.向导功能3在上述两个向导功能中，主图像的显示模式发生了变化。然而，这可能恶化观看者对主图像的欣赏。
因此，描述将改变指针的显示模式的功能(指针形状改变部分)集成为标签信息显示控制装置131的功能的技术，当决定指针位置在关键区域范围内时该指针位于嵌入标签信息的主图像的部分区域中。
图40A、40B和41A、41B显示了当采用刚才描述的显示功能时的不同显示例子。
特别地，图40A和41A显示了当指针175没有位于设置在关键屏幕上的任何关键区域中时的显示例子。在这个例子中，指针175以基本尺寸和基本形状进行显示。
图40B和41B显示了当指针175位于设置在关键屏幕上的关键区域中时的显示例子。
在图40B中，指针177以相同的尺寸但是与例如亮度或色度的显示模式不同的显示模式进行显示。
在图41B中，指针179以相同的亮度和相同的色度但是以改变的显示模式进行显示。
在这个显示功能中，由于只改变了指针的显示模式，因此对主图像的图片质量没有影响。
此外，由于只改变了指针的显示模式，所以算法操作量较小。此外，由于该变了吸引观看者注意力的指针的显示模式，所以观看者可以容易地确认关键区域。
D.其它实施例a.此处描述的相应于功能的程序可以通过网络进行分发或存储在存储媒体之上或之中，并与存储媒体一起进行分发。用于分发的存储媒体可以是磁存储媒体、光记录媒体、半导体存储煤体或任何其它存储媒体。
b.可以在本发明的精神和范围内对在上文中描述的实施例作以各种修改。同样，可以通过基于本发明的公开内容的创造或组合来作出各种变形和应用。
权利要求
1.一种标签信息产生装置，包括时间信息获取部分，配置为获取在工作屏幕上选择的主图像的时间信息；关键区域设置部分，配置为在与操作者任意指定的主图像中的部分区域对应的位置设置关键区域；识别信息应用部分，配置为对所设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及关键图像产生部分，配置为产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域。
2.如权利要求1所述的标签信息产生装置，其中关键区域具有圆形形状、多边形形状或由操作者预先设定的任意形状。
3.如权利要求1所述的标签信息产生装置，其中时间信息作为时间码给出。
4.如权利要求1所述的标签信息产生装置，其中时间信息作为帧编号给出。
5.如权利要求1所述的标签信息产生装置，其中关键图像具有的屏幕尺寸等于主图像屏幕尺寸的一小部分。
6.如权利要求1所述的标签信息产生装置，进一步包括整合输出部分，配置为使得所设置的关键区域以叠加关系显示在工作屏幕的主图像上。
7.如权利要求1所述的标签信息产生装置，其中所述关键区域设置部分从工作屏幕中指定的部分区域当中，设置符合由操作者预先指定颜色条件的区域作为关键区域。
8.如权利要求1所述的标签信息产生装置，其中所述关键区域设置部分从主图像内自动提取由操作者任意指定的部分区域，并自动设置对应于每个时间点的关键屏幕的关键区域，从而使得关键区域可以追踪屏幕中部分区域的运动。
9.如权利要求1所述的标签信息产生装置，其中所述关键区域设置部分自动设置对应于在起始点和终止点之间每个时间点的关键屏幕的关键区域，从而使得关键区域可追踪在工作屏幕上设置的对应于起始点的关键区域和在工作屏幕上设置的对应于终止点的关键区域之间的位置改变。
10.如权利要求1所述的标签信息产生装置，其中所述关键区域设置部分从主图像内自动提取符合预先确定的条件的部分区域，并设置对应于该部分区域的关键区域。
11.如权利要求10所述的标签信息产生装置，其中预先确定的条件为特定颜色范围。
12.如权利要求10所述的标签信息产生装置，其中预先确定的条件为特定的颜色组合。
13.如权利要求10所述的标签信息产生装置，其中预先确定的条件为特定符号或形状。
14.如权利要求10所述的标签信息产生装置，其中预先确定的条件为特定字符串。
15.如权利要求1所述的标签信息产生装置，其中识别信息为亮度值。
16.如权利要求1所述的标签信息产生装置，其中识别信息为色度值。
17.一种标签信息产生装置，包括时间信息获取部分，配置为获取在工作屏幕上选择的主图像的时间信息；识别信息应用部分，配置为对在与操作者任意指定的主图像中的部分区域对应的位置设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及索引信息产生部分，配置为产生索引信息，该信息列出了应用于关键区域的区域识别信息和时间信息之间的对应关系。
18.如权利要求17所述的标签信息产生装置，其中所述索引信息以与区域识别信息和时间信息相关联的方式，列出了用于识别指定为关键区域的对象的对象识别信息。
19.一种标签信息产生装置，包括时间信息获取部分，配置为获取在工作屏幕上选择的主图像的时间信息；关键区域设置部分，配置为在与由操作者任意指定的主图像中的部分区域对应的位置设置关键区域；识别信息应用部分，配置为对所设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；关键图像产生部分，配置为产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域；以及索引信息产生部分，配置为产生索引信息，该信息列出了应用于关键区域的区域识别信息和时间信息之间的对应关系。
20.一种标签信息产生方法，包括如下步骤获取在工作屏幕上选择的主图像的时间信息；在与由操作者任意指定的主图像中的部分区域对应的位置设置关键区域；对所设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域。
21.一种标签信息产生方法，包括如下步骤获取在工作屏幕上选择的主图像的时间信息；对在与操作者任意指定的主图像中的部分区域对应的位置设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及产生索引信息，该信息列出了应用于关键区域的区域识别信息和时间信息之间的对应关系。
22.一种计算机可读媒体，其中记录有程序，该程序包括如下步骤获取在工作屏幕上选择的主图像的时间信息；在与由操作者任意指定的主图像中的部分区域对应的位置设置关键区域；对所设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域。
23.一种计算机可读媒体，其中记录有程序，该程序包括如下步骤获取在工作屏幕上选择的主图像的时间信息；对在与操作者任意指定的主图像中的部分区域对应的位置设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别；以及产生索引信息，该信息列出了应用于关键区域的区域识别信息和时间信息之间的对应关系。
全文摘要
揭露了一种标签信息产生装置，其能够通过实际工作量将标签信息应用于主图像。时间信息获取部分获取在工作屏幕上选择的主图像的时间信息，而关键区域设置部分在与由操作者任意值定的主图像中的部分区域对应的位置设置关键区域。识别信息应用部分对所设置的关键区域应用区域识别信息，该信息允许在关键区域和外围区域之间的识别。关键图像产生部分产生应用了与主图像的时间信息相同的时间信息的关键图像，并且在该关键图像中将区域识别信息应用于通过工作屏幕设置的关键区域。
文档编号G06F17/30GK101017696SQ200610168928
公开日2007年8月15日 申请日期2006年7月6日 优先权日2005年7月6日
发明者菊地弘晃, 今井田秀之 申请人:索尼株式会社