专利名称：影像数据生成装置、影像数据生成方法、程序及其记录介质、集成电路的制作方法
技术领域：
本发明涉及能够多角度再现的影像数据的生成。
背景技术：
伴随数字摄像机的普及，普通人也能够容易拍摄动态图像。另外，手机或数码相机等也被附加了拍摄动态图像的功能，能够拍摄动态图像的设备距离我们越来越近了。在运动会或结婚仪式等活动中，许多人拿着数字摄像机或数码相机等各自进行动态图像的拍摄，因而在相同时刻相同场所以各种角度进行拍摄。这样，作为在相同时刻相同场所以各种角度拍摄的动态图像的影像数据的应用示例，可以列举能够多角度再现的动态图像的影像数据的生成。能够多角度再现的动态图像的影像数据是在利用再现设备进行再现过程中，在某个再现区间中利用按钮进行切换等，能够从各种角度观看该场面的影像数据。专利文献1公开了生成能够多角度再现的影像数据的技术。现有技术文献专利文献专利文献1 日本特开2005-107968号公报发明概要发明要解决的问题但是，在上述的现有技术中，以将主要通过传输流发送的多个影像数据记录为能够多角度再现的影像数据作为前提，从多个影像数据中总括地生成能够多角度再现的影像数据。因此，在对由许多人拍摄的影像数据进行汇集并总括编辑的情况下，需要用于记录这些多个影像数据的大容量的记录介质，并且必须从所汇集的多个影像数据中找出必要的部分来进行编辑，因而存在生成能够多角度再现的影像数据花费许多功夫的问题。
发明内容
本发明的目的在于，提供一种影像数据生成装置，不需进行花费许多功夫的编辑作业，即可容易生成能够多角度再现的影像数据。用于解决问题的手段为了解决上述问题，本发明的影像数据生成装置，根据第1影像数据和第2影像数据生成第3影像数据，所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块、与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，其特征在于，所述影像数据生成装置具有获取部，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素； 检测部，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成部，在所述检测部检测到相匹配的块的组的情况下，为了使该块的组同步，该生成部生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第2影像流之中由所述检测部检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第 2影像流之中由所述检测部检测为匹配的块、以及所述第1影像流的影像信息。发明效果根据上述的影像数据生成装置，通过对照影像信息中包含的摄影信息，从影像流中检测应该多角度再现的块，因而不需进行花费许多功夫的编辑作业，即可容易生成能够多角度再现的影像数据。其中，也可以是，所述影像数据生成装置还具有写入部，用于将所述第3影像数据覆盖写入所述第1记录介质。通过将所生成的影像数据覆盖写入第1记录介质中，例如，在拍摄同一运动会的人们之间不断地传递第1记录介质，并追加各自拍摄的影像数据，于是最终根据在第1记录介质中由第一个将影像数据写入第1记录介质中的人设定的对照基准信息，获得从由许多人拍摄的影像数据中抽取匹配的块而得到的能够多角度再现的影像数据。其中，也可以是，所述再现路径信息包括影像流识别符，表示应该按照该再现路径信息所表示的再现路径进行再现的影像流；以及多流标志，表示应该按照该再现路径信息所表示的再现路径进行再现的影像流是否是多个，所述生成部向所述第1影像数据或者所述第2影像数据中包含的再现路径信息所表示的再现路径之中、表示包括由所述检测部检测到的块的组中所包含的块的再现路径的再现路径信息，追加表示所述第2影像流的影像流识别符，而且，将该再现路径信息中包含的多流标志设为0N，由此生成所述第3影像数据中包含的再现路径信息。通过变更在第1记录介质中记录的影像数据中包含的再现路径信息，应该按照该再现路径进行再现的影像流被追加到再现路径信息中，因而在生成能够多角度再现的影像数据时，不需要变更影像流自身。其中，也可以是，所述对照基准信息表示摄影信息中包含的多个要素，所述检测部检测出所述匹配的块的组，是指在与该块的组的各个块对应的摄影信息的要素之中、所述对照基准信息表示的全部摄影信息的要素匹配的情况。由于对摄影信息中包含的多个要素进行对照，并判定各个块是否匹配，因而能够检测更适合于多角度再现的块。这基于以下考虑与对在相同时刻拍摄了其它人物的场面进行多角度再现相比，对在相同时刻拍摄了相同人物的场面进行多角度再现更适合于多角度再现。其中，也可以是，所述对照基准信息表示摄影信息中包含的多个要素，在所述对照基准信息表示的摄影信息的要素中具有所述摄影时刻信息的情况下，所述检测部优先判定所述摄影时刻信息是否匹配。通过优先摄影时刻来判定块是否匹配，从在相同时刻拍摄的不同的影像数据中包含的影像流中，检测摄影信息中包含的其它要素也匹配的块，因而能够生成摄影时刻同步的多角度影像。其中，也可以是，所述摄影信息的要素中包括表示所述块的影像被拍摄的摄影场所的摄影场所信息，所述检测部检测出所述匹配的块的组，是指在与该块的组的各个块对应的摄影信息的要素之中、摄影场所信息相匹配的情况。通过对照摄影场所来判定块是否匹配，从不同的影像数据中包含的影像流中检测拍摄了相同场所的块，因而能够生成例如能够切换观看在不同时刻拍摄了相同场所的场面的多角度影像。其中，也可以是，所述摄影信息的要素中包括表示被拍摄到所述块的影像中的人物的被拍摄人物信息，所述检测部检测出所述匹配的块的组，是指与该块的组的各个块对应的摄影信息的要素之中、被拍摄人物信息相匹配的情况。通过对照被拍摄人物来判定块是否匹配，从不同的影像数据中包含的影像流中检测拍摄了相同人物的块，因而能够生成例如能够切换观看在不同时刻不同场所拍摄了特定人物的场面的多角度影像。其中，也可以是，所述影像数据生成装置还具有写入部，将所述第3影像数据和所述对照基准信息写入与第1记录介质不同的第3记录介质。例如，在拍摄同一运动会的人们之间传递记录了影像数据的记录介质，并生成能够从各自拍摄的影像数据进行多角度再现的影像数据，在这种情况下，即使第1记录介质不是能够追加记录型的，通过将所生成的影像数据和对照基准信息写入与第1记录介质不同的第3记录介质中，从而能够将根据由第一个将影像数据写入第1记录介质中的人设定的对照基准信息而生成的多角度影像数据，记录在不同的第3记录介质中并不断传递。
图1是表示实施方式1的影像数据生成装置的应用示例的图。图2是表示实施方式1的影像数据生成装置的结构的图。图3是表示实施方式1的影像流与块的关系的图。图4是表示实施方式1的再现路径信息的结构的图。图5是表示实施方式1的影像信息的结构的图。图6是表示实施方式1的再现路径信息的生成处理的图。图7是表示由实施方式1的影像数据生成装置生成的再现路径信息的结构的图。图8是表示实施方式1的影像数据生成处理的动作的流程图。图9是表示实施方式1的影像信息对照处理的动作的流程图。图10是表示实施方式1的再现路径信息生成处理的动作的流程图。图11是表示实施方式2的影像数据生成装置的结构的图。图12是表示实施方式2的图像信息的结构的图。图13是表示实施方式2的图像流生成处理的动作的流程图。
具体实施例方式《实施方式1》在本实施方式中对于如下影像数据生成装置进行说明，该影像数据生成装置读出在光盘中记录的影像数据和在存储卡中记录的影像数据，生成能够多角度再现的影像数据，删除在光盘中记录的影像数据，将所生成的能够多角度再现的影像数据写入原来的光盘中，由此将在存储卡中记录的影像数据追加记录到在光盘中记录的影像数据中。首先，使用图1说明本实施方式的影像数据生成装置的应用情况的示例。假设将本实施方式的影像数据生成装置应用于下述情况，S卩，在运动会等活动中， 在由多个用户在相同时刻相同场所以多个角度拍摄了影像数据的情况下，某个用户将自己拍摄的影像数据记录在光盘中，将该光盘传递给持有影像数据生成装置的其它用户，接受该光盘的用户将自己拍摄的影像数据追加记录到在光盘中记录的影像数据中，如此从由多个用户拍摄的影像数据生成能够多角度再现的影像数据。图1是说明影像数据生成装置的应用情况的图。假设用户U1、U2、U3分别具有在同一运动会中主要拍摄了各自的孩子的影像数据1、2、4。(1)首先，用户Ul将自己拍摄的影像数据1、以及表示按照什么条件生成多角度影像的对照基准信息写入光盘中，将该光盘传递给用户U2。其中，所说对照基准信息表示在生成多角度影像时，着重于摄影时刻、摄影场所、被拍摄人物等被拍摄的影像的哪个特征。例如，如果是拍摄运动会，作为对照基准信息，设定被拍摄人物的姓名是用户Ul自己的孩子的姓名这一条件，从他人拍摄的影像数据中抽取摄入了自己的孩子的场面并生成多角度影像，这些处理能够按照后面叙述的流程实现。( 接受了光盘的用户U2使用该用户U2持有的影像数据生成装置，根据在光盘中记录的对照基准信息，读出在光盘中记录的影像数据1和自己拍摄的影像数据2，生成由影像数据1和影像数据2的一部分构成的能够多角度再现的影像数据3。用户U2将所生成的影像数据3写入光盘中，将该光盘传递给用户U3。(3)接受了光盘的用户U3同样使用该用户U3持有的影像数据生成装置，根据在光盘中记录的对照基准信息，读出在光盘中记录的影像数据3和自己拍摄的影像数据4，生成由影像数据3和影像数据4的一部分构成的能够多角度再现的影像数据5。按照以上所述，从在光盘中记录的影像数据和影像数据生成装置的持有者所具有的影像数据，生成能够多角度再现的影像数据，并传递记录了所生成的影像数据的光盘，通过反复进行这样的步骤，最后用户Ui拿回光盘时，在光盘中获得从由许多人拍摄的影像数据中根据对照基准信息来抽取了场面而形成的多角度影像。S卩，用户Ul在光盘中记录自己拍摄的影像数据和对照基准信息，该对照基准信息表示被拍摄人物的姓名是用户Ul自己的孩子的姓名这一条件，用户Ul将该光盘顺序传递给用户U2、U3、…，从各个用户拍摄的影像数据中，根据对照基准信息生成能够多角度再现的影像数据，由此能够获得可以从多个角度观看用户Ul自己的孩子的、能够多角度再现的影像数据。< 结构 >下面，使用图2说明本实施方式的影像数据生成装置的结构。本实施方式的影像数据生成装置100通过光盘驱动器161及存储卡插槽171，分别获取在光盘160中记录的影像数据1和对照基准信息、以及在存储卡170中记录的影像数据2，根据对照基准信息从影像数据1和影像数据2生成能够多角度再现的影像数据3。并且，影像数据生成装置100通过光盘驱动器161将所生成的影像数据3覆盖写入光盘160 中。在此，覆盖写入是指删除在光盘160中记录的影像数据1并写入影像数据3，在光盘160 中记录的除影像数据1之外的数据即对照基准信息未被变更。影像数据生成装置100构成为包括获取部101、生成部102、检测部103、存储部 105、写入部104。获取部101具有通过光盘驱动器161获取在光盘160中记录的影像数据1和对照基准信息的功能、以及通过存储卡插槽171获取在存储卡170中记录的影像数据2的功能。 获取部101具有将所获取的影像数据1、影像数据2、对照基准信息输出给生成部102的功能。生成部102具有根据由获取部101获取的影像数据1、影像数据2、对照基准信息， 生成能够多角度再现的影像数据3的功能。生成部102为了存储所生成的影像数据3、以及在生成影像数据3时使用的数据而访问存储部105。生成部102指示检测部103根据对照基准信息，从影像数据1和影像数据2中检测应该多角度再现的部分，根据由检测部103检测的结果来生成影像数据3。生成部102在完成影像数据3的生成后，指示写入部104将所生成的影像数据3写入光盘160中。检测部103具有如下功能，即接收来自生成部102的指示，根据对照基准信息，对包含于影像数据1中的影像流和包含于影像数据2中的影像流进行对照，从构成各个影像流的块中，检测对照基准信息所表示的摄影信息的要素相匹配的块的组。存储部105是存储由生成部102生成的影像数据3和在生成影像数据3时使用的数据的存储介质。写入部104具有如下功能，即接收来自生成部102的指示，通过光盘驱动器161 将由生成部102生成的影像数据3覆盖写入光盘160中。<影像数据>下面，说明由影像数据生成装置100处理的影像数据的结构。所说影像数据是指一个以上的再现路径信息、一个以上的影像流、以及与每个影像流对应的影像信息的集合。·影像流所说影像流是指包括所拍摄的影像的数据的实体。在影像流中包括表示影像流上的位置的PTS (Presentation Time Stamp 演示时间戳)，把按每个PTS相对应的影像流的范围称为块。影像流能够利用影像流识别符进行识别。影像流识别符例如是指记录了影像流的文件的文件名。影像数据1包括唯一的影像流，把表示该影像流的影像流识别符设为STl。影像数据2包括唯一的影像流，把表示该影像流的影像流识别符设为ST2。图3表示包含于影像数据1中的利用影像流识别符STl表示的影像流、和包含于影像数据2中的利用影像流识别符ST2表示的影像流的示例。利用影像流识别符STl表示的影像流如图3 (a)所示，包括PTS为0 80的9个块。
利用影像流识别符ST2表示的影像流如图3(b)所示，包括PTS为0 20的3个块。下面，在不会出现混乱的情况下，把利用影像流识别符ST表示的影像流简称为影像流ST。·再现路径信息所说再现路径信息是指表示用于再现影像流的路径的信息，包括表示应该再现的影像流的影像流识别符；应该再现的影像流的再现开始PTS和再现结束PTS ；表示在利用再现开始PTS和再现结束PTS表示的范围内是否能够多角度再现的多角度标志。图4表示包含于影像数据1和影像数据2中的再现路径信息的示例。影像数据1如图4(a)所示包括影像数据1中的再现路径信息号码为1的唯一的再现路径信息，该再现路径信息表示影像流STl的全部范围。即，表示再现从再现开始PTSO 到再现结束PTS80的范围。另外，该再现路径信息的多角度标志为OFF，所以表示不能进行多角度再现。影像数据2如图4(b)所示包括影像数据2中的再现路径信息号码为1的唯一的再现路径信息，该再现路径信息表示影像流ST2的全部范围。即，表示再现从再现开始PTSO 到再现结束PTS20的范围。另外，该再现路径信息的多角度标志为OFF，所以表示不能进行多角度再现。·影像信息所说影像信息是指与每个影像流相对应的，按照构成影像流的每个块来表示与该块中包含的影像相关的摄影信息的信息。所说摄影信息是指表示拍摄了该块中所包含的影像的时刻的摄影时刻、利用经度和纬度表示拍摄了该块中所包含的影像的场所的摄影场所、表示被拍摄到该块中包含的影像中的人物的人物名的被拍摄人物等的信息。图5 (a)、(b)表示与影像流STl对应的影像信息Ml、以及与影像流ST2对应的影像信息M2的示例。与影像流STl对应的影像信息Ml如图5 (a)所示，是指按照影像流STl的9个块中的每个块，将影像流识别符、PTS、摄影信息相对应的表。与影像流ST2对应的影像信息M2如图5 (b)所示，是指按照影像流ST2的3个块中的每个块，将影像流识别符、PTS、摄影信息相对应的表。影像信息是在摄影时记录影像流的同时生成的。即，摄影时刻是由时钟获取的，摄影场所是由GPS(Global Positioning System 全球定位系统)获取的，被拍摄人物是利用人脸识别功能获取的。其中，对于利用人脸识别功能来获取被拍摄人物，需要预先在数据库中登记人脸识别所需要的、人脸识别数据与人物名的对应关系。<对照基准信息>所说对照基准信息是表示将在影像信息的各个表项(entry)中包含的摄影信息中的哪个要素作为对照的基准来生成能够多角度再现的影像数据的信息。即，对照基准信息表示摄影时刻、摄影场所、被拍摄人物中的任意一种信息或者这些信息的组合。下面，假设对照基准信息所表示的摄影信息的要素只是摄影时刻来进行说明。〈动作〉
11
下面，说明由影像数据生成装置100进行的能够多角度再现的影像数据的生成动作的概况。影像数据生成装置100在获取影像数据1和影像数据2、对照基准信息后，将影像数据2中包含的影像信息M2与影像数据1中包含的影像信息Ml进行对照，检测对照基准信息所表示的摄影信息的要素相匹配的块的组。如果检测到相匹配的块的组，影像数据生成装置100变更影像信息M2及对应的影像流ST2的PTS，以使这些块的PTS—致。然后，影像数据生成装置100根据影像信息Ml及对应的影像流STl、和变更后的影像信息M2及对应的影像流ST2，生成再现路径信息。影像数据生成装置100这样生成的再现路径信息、与影像信息Ml及影像流ST1、变更后的影像信息M2及影像流ST2的集合，就是应该生成的能够多角度再现的影像数据3。其中，所说对照是指将摄影信息的要素进行比较并判定是否匹配。所说匹配是指一致或者接近的值，表示处于根据在摄影时按照何种程度的精度单位记录了摄影信息而设定的允许范围内。例如，在图5的示例中，摄影时刻是按1分钟单位记录的，因而不能区分相差不足1分钟的时刻的差异。因此，在对照时，将不足1分钟的时刻差判定为匹配。并且， 摄影场所是按照0’ 0’ 001的单位记录的，因而不能区分差异不足0’ 0’ 001的场所的差异。 因此，在对照时，将不足0’ 0’ 001的场所差异判定为匹配。关于被拍摄人物是在登记的人物名一致时判定为匹配。具体地，说明下述示例，将图5(b)所示的影像信息M2与图5(a)所示的影像信息 Ml进行对照，检测对照基准信息表示的摄影信息的要素即摄影时刻匹配的块的组。可知图 5 (a)所示的影像信息Ml的PTS为40 60的表项的摄影时刻，与图5 (b)所示的影像信息 M2的PTS为0 20的表项的摄影时刻相匹配。如果检测到摄影时刻匹配的块，则进行变更使影像信息M2中包含的被检测到的表项的PTS与影像信息Ml中包含的对应的表项的PTS 一致，以使得这些表项的PTS—致。结果，影像信息M2如图5(c)所示。影像数据生成装置 100根据变更后的影像信息M2的PTS，变更与影像信息M2对应的影像流ST2的PTS。然后，影像数据生成装置100生成影像数据3的再现路径信息。图6是表示如何生成影像数据3的再现路径信息的图。图6表示影像信息Ml的PTS为40 60的范围的块、与影像信息M2的PTS为0 20的范围的块的摄影时刻分别匹配，因此，与影像信息Ml对应的影像流ST1，以及根据与影像信息Ml对应的影像流STl的PTS为40 60的范围的块而将与影像信息M2对应的影像流ST2的PTS为0 20的范围的块的PTS进行变更后的影像流，包含于影像数据3中。影像数据生成装置100在依次再现利用PTS表示的块的情况下，在应该再现的影像流的组不变的期间，利用相同的再现路径信息来指定再现路径，每当应该再现的影像流的组变化时，就生成影像数据3的再现路径信息，以使得利用不同的再现路径信息来指定再现路径。S卩，在图6的情况下，首先在PTS为0 30的范围内，应该再现的影像流只有影像流ST1，因而生成再现开始PTS为0、再现结束PTS为30、表示应该再现的影像流的影像流识别符为ST1、多角度标志为OFF的再现路径信息，并对该再现路径信息分配再现路径信息号码1。然后，在PTS为40 60的范围内，应该再现的影像流变为影像流STl和ST2这两个，因而生成再现开始PTS为40、再现结束PTS为60、表示应该再现的影像流的影像流识别符为STl和ST2、多角度标志为ON的再现路径信息，并对该再现路径信息分配再现路径信息号码2。另外，在PTS为70 80的范围内，应该再现的影像流变为只有影像流STl，因而生成再现开始PTS为70、再现结束PTS为80、表示应该再现的影像流的影像流识别符为ST1、 多角度标志为OFF的再现路径信息，并对该再现路径信息分配再现路径信息号码3。这样生成的影像数据3的再现路径信息如图7所示。〈影像数据生成处理〉下面，使用图8的流程图，说明由影像数据生成装置100进行的影像数据生成处理。首先，获取部101获取在光盘160中记录的影像数据1和对照基准信息(S801)。 然后，获取部101获取在存储卡170中记录的影像数据2(S802)。生成部102对由获取部101获取的影像数据1中包含的影像信息的数量进行计数，将该数量代入存储了影像数据1中包含的影像信息的数量的变量m(S80;3)。然后，生成部102对由获取部101获取的影像数据2中包含的影像信息的数量进行计数，将该数量代入存储了影像数据2中包含的影像信息的数量的变量N2(S804)。然后，将变量i初始化为1 680 ，在变量i成为附之前(S812)，逐次增加 1 (S813)，同时获取影像数据1的第i个影像信息Ml (i) (S806)，并反复进行下面的处理。另外，将变量j初始化为1 (S807)，在变量j成为N2之前(S810)，逐次增加 1 (S811)，同时获取影像数据2的第j个影像信息M2 (j) (S808)，并反复进行下面的处理。反复进行影像信息A与影像信息B的对照处理(S809)。其中，影像信息A是指影像信息Ml (i)，影像信息B是指影像信息M2 (j)。在结束以上的反复处理后，进行影像数据3的再现路径信息生成处理(S814)。按照以上所述，生成影像数据3。〈对照处理〉下面，使用图9的流程图，说明影像信息A与影像信息B的对照处理。首先，计数影像信息A的表项数量，将该数量代入存储了影像信息A的表项数量的变量NA(S901)。然后，计数影像信息B的表项数量，将该数量代入存储了影像信息B的表项数量的变量NB(S902)。将具有NB个要素的匹配标志排列C的全部要素初始化为0FF(S920)。然后，将变量i初始化为1 (S903)，并逐次增加1 (915)，同时反复进行以下处理，直到变量i成为NA (914)。首先，获取影像信息A的第i个表项A(i)(S904)。然后，从表项A(i)获取对照基准信息所表示的摄影信息的要素RA(i) (S905)。另外，将变量j初始化为1 (S906)，并逐次增加1 (913)，同时反复进行以下处理，直到变量j成为NB (912)。首先，获取影像信息B的第j个表项B(j)(S907)。然后，从表项B(j)获取对照基准信息所表示的摄影信息的要素RB (j) (S908)。然后，将摄影信息的要素RA(i)和RB(j)进行对照(S909)。
在摄影信息的要素RA(i)与RB(j)匹配的情况下(S909:是)，计算表项A(i)的 PTS与表项B(j)的PTS之间的差分Δ (S910)，向表项B(j)的PTS加上差分Δ并进行更新 (S911)，然后将匹配标志C的第j个要素C(j)设为0N(S921)。在结束以上的反复处理后，根据影像信息B的PTS，变更与影像信息B对应的影像流的 PTS (S916)。以上结束影像信息A与影像信息B的对照处理。<再现路径信息生成处理>下面，使用图10的流程图，说明影像数据3的再现路径信息生成处理。首先，将影像数据1中包含的影像流中的PTS的最小值代入变量t (S1001)。然后， 将影像数据ι中包含的影像流中的PTS的最大值代入变量Tmax(S1002)。另外，将影像流的组M设为空(null) (S1003)。然后，将变量i初始化为1 (S1004)，将变量i逐次增加1 (S102》，并反复进行下面的处理。首先，将变量t代入变量Tbeg(S1005)。然后，将变量t代入变量Tend(S1006)。反复进行下面的处理，直到变量t大于Tmax(S1007)。首先，获取包括PTS是t的块的影像数据1的影像流、或者包括PTS是t而且对应的匹配标志C为ON的块的影像数据2的影像流的组N(SlOOS)。如果影像流的组N为空(S1009 是)，则将变量t增加1 (S1010)，反复进行处理直到影像流的组N不再是空。如果发现了不是空的影像流的组N(S1009 否)，则将前一个影像流的组M和影像流的组N进行比较(SlOll)。如果影像流的组M与N—致(S1011 是)，则将变量Tend变更为变量t (S1012)， 将变量t增加1 (S1013)，对增加后的变量t反复进行上述处理。如果影像流的组M与N不一致(S1011:否)，则将第i个再现路径信息P(i)的再现开始PTS设为Tbeg(SlOH)，将再现结束PTS设为Tend(S1015)。另外，对再现路径信息 P(i)追加影像流的组N的要素(SlOie)0然后，获取影像流的组N的要素的数量n(S1017)，如果要素的数量η大于 1(S1018:是)，则将再现路径信息P(i)的多角度标志设为0N(S1019)。如果要素的数量η 不大于1 (S1018 否)，则将再现路径信息P (i)的多角度标志设为0FF(S1020)。以上结束第i个再现路径信息的生成。然后，将影像流的组M设为影像流的组N(S1021)，将再现路径信息号码i增加 1 (S1022)，进行下一个再现路径信息的生成。如果变量t比Tmax大，则结束再现路径信息生成处理。〈具体示例〉如上所述，将使用影像数据1生成的能够多角度再现的影像数据覆盖写入光盘 160中，并传递该光盘160，则接受光盘160的人根据在光盘160中记录的对照基准信息，生成向在光盘160中记录的影像数据追加了自己拍摄的影像数据后的影像数据，并覆盖写入光盘160中再传递给下一个人，如此能够从由许多人拍摄的影像数据生成能够多角度再现的影像数据。
〈再现动作〉在此，说明再现装置如何再现由影像数据生成装置100生成的能够多角度再现的影像数据。再现装置按照影像数据中包含的再现路径信息，并按照再现路径信息号码的顺序进行再现。在基于各个再现路径信息的再现中，对再现路径信息中包含的影像流从再现开始PTS进行再现一直到再现结束PTS。在再现路径信息中包含的多角度标志为ON的情况下，由于再现路径信息中包含的影像流有多个，所以再现其中一个影像流，在受理了用户利用遥控器进行的按钮操作等时，切换为其它影像流进行再现。《实施方式2》在实施方式1中，说明了从包含于两个影像数据中的两个以上的影像流生成能够多角度再现的影像数据的影像数据生成装置，而在本实施方式中，说明从包含于影像数据中的影像流和图像数据来生成能够多角度再现的影像数据的影像数据生成装置。该影像数据生成装置是这样实现的从图像数据生成按照摄影时刻顺序对这些图像数据进行幻灯片放映显示的图像流，针对所生成的图像流，与实施方式1的影像数据生成装置相同地生成能够多角度再现的影像数据。因此，在实施方式1中，将获取部101获取的影像数据2输出给生成部102，而在本实施方式中，将获取部101获取的图像数据输出给图像流生成部106，将由图像流生成部106生成的图像流及其影像信息输出给生成部102。〈结构〉下面，使用图11说明本实施方式的影像数据生成装置的结构。本实施方式的影像数据生成装置100通过光盘驱动器161及存储卡插槽171，分别获取在光盘160中记录的影像数据1和对照基准信息、以及在存储卡170中记录的图像数据，并生成影像数据3。并且，影像数据生成装置100通过光盘驱动器161将所生成的影像数据3覆盖写入光盘160中。本实施方式的影像数据生成装置100与实施方式1的影像数据生成装置100相比，在结构上追加了图像流生成部106。图像流生成部106具有以下功能，即从由获取部101获取的图像数据中，检测构成影像数据1中包含的影像流的块、以及对照基准信息所表示的摄影信息的要素相匹配的图像数据，生成对检测到的图像数据进行幻灯片放映显示的图像流，并且生成所生成的图像流的影像信息。在图像流生成部106生成图像流及其影像信息后，生成部102生成能够对影像数据1以及由图像流生成部106生成的图像流及影像信息进行多角度再现的影像数据，这些处理与实施方式1相同。〈图像数据〉下面，说明成为图像流生成部106生成图像流所依据的图像数据的结构。所说图像数据是指向所拍摄的照片等的数据本身附加了图像信息而得到的数据。图像信息是指拍摄该图像数据时的摄影时刻、摄影场所、被拍摄人物等的信息。图像信息按照例如Exif标准与在摄影时生成的每个图像数据相关联。根据Exif标准，图像的分辨率、压缩形式、进行拍摄的摄像机的机型、摄影时的摄像机的设定、摄影时刻这样的信息被附加标签，与图像数据一起，存储在一个文件中，因而能够容易将摄影场所、被拍摄人物这些信息与图像数据相关联地进行存储。图12(a)表示图像数据中包含的图像信息的示例。在此，在存储卡170中记录有 5个图像数据，把表示各个图像数据的图像数据识别符设为PICTl PICT5。现在，假设对照基准信息所表示的摄影信息的要素是摄影时刻，将图12(a)的图像信息与图5 (a)的影像数据1中包含的影像信息Ml进行比较，由于影像信息Ml的PTS为 40 60的范围的表项以及图像数据PICT2 PICT4的图像信息的摄影时刻匹配，所以图像流生成部106生成具有图12(b)所示的影像信息的图像流ST2。〈图像流生成处理〉下面，使用图13说明图像流生成处理。在图像流生成处理中，在生成图像流的同时，也生成图像流的影像信息。首先，获取在光盘160中记录的影像数据1和对照基准信息(S1301)。然后，获取在存储卡170中记录的图像数据(S1302)。然后，将NV设为影像数据1中包含的对照对象的影像信息V的表项数量(S1303)。 然后，将NI设为图像数据的数量(S1304)。然后，将图像流的影像信息设为空(S1305)，将表示是生成图像流的影像信息的第几个表项的处理过程中的变量η初始化为1 (S1306)。然后，将变量i初始化为1 (S1307)，并逐次增加1 (S1322)，同时反复进行以下处理，直到变量i成为NV(S1321)。首先，从包含于第i个图像数据中的图像信息I (i)获取对照基准信息所表示的摄影信息的要素RI (i) (S1308)。然后，将变量j初始化为1 (S1309)，并逐次增加1 (S1320)，同时反复进行以下处理，直到变量j成为NI (S1319)。首先，获取影像信息V的第j个表项V(j) (S1310)。然后，从表项V(j)获取对照基准信息所表示的摄影信息的要素RV (j) (S1311)。然后，将摄影信息的要素RI (i)与RV(j)进行对照(S1312)。在摄影信息的要素RI (i)与RV(j)匹配的情况下(S1312:是)，向图像流的影像信息追加图像信息I (i)的摄影信息(S1313)。然后，在变量η是1的情况下(S1314 是)，即正在对图像流的影像信息的第1个表项进行处理的情况下，将该表项的PTS设为0(S1315)。在变量η不是1的情况下(S1314 否)，根据图像流的影像信息的第(η_1)个表项的摄影时刻和PTS，计算该第η个表项的PTS，将所计算的PTS设定为该表项的PTS (S1316)。 其中，PTS的计算按照下面所述进行。例如，观察图5(a)的影像信息Ml可知，时间与PTS 存在每1分钟PTS增大10的关系。因此，根据这种关系、以及第1个表项的PTS是0、与第 (η-1)个表项之间的摄影时刻的差分，能够计算第η个表项的PTS。在设定图像流的影像信息的该表项的PTS后，在图像流中，在利用相同PTS表示的位置追加被再现的图像为与图像信息I (i)对应的图像的块(S1317)。这样，在对该块进行再现时，能够将与图像信息I (i)对应的图像显示为多角度影像。将表示图像信息的处理中的表项的变量η逐次增大1(S1318)，同时反复进行以上处理，由此生成图像流及其影像信息。
在按照以上所述生成图像流及其影像信息后，取代实施方式1的影像数据2中包含的影像流及其影像信息，而采用所生成的图像流及其影像信息，由此能够生成能够多角度再现的影像数据。《补充》也可以按照下面所述对上述的实施方式进行变形。(1)在上述的实施方式中，作为对照基准信息所表示的摄影信息的要素，以摄影时刻为例进行了说明，但是本发明不限于该示例。对照基准信息所表示的摄影信息的要素不限于摄影时刻，只要是表示影像流中的块的内容的信息即可，也可以是摄影场所及被拍摄人物。这种变形可以通过在上述实施方式中获取对照基准信息所表示的摄影信息的要素， 以取代从影像信息获取摄影时刻来实现。其中，如果对照基准信息所表示的摄影信息的要素是摄影场所，则需要使用GPS进行获取，如果是被拍摄人物，则需要使用人脸识别功能等进行获取，并预先生成影像信息。(2)在上述的实施方式中，只说明了对照基准信息所表示的摄影信息的要素是摄影时刻的情况，但是本发明不限于这种情况。对照基准信息所表示的摄影信息的要素也可以是多个。在这种情况下，在上述的实施方式中的每个块的对照中，对对照基准信息所表示的摄影信息的多个要素全部进行对照，在所对照的全部要素匹配的情况下，判定为对应的块匹配。在此，所说对对照基准信息所表示的摄影信息的多个要素全部进行对照，例如在对照基准信息所表示的摄影信息的要素是摄影时刻和摄影场所的情况下，是指判定摄影时刻是否匹配、而且摄影场所是否匹配。并且，如果此时对照基准信息所表示的摄影信息的要素包含摄影时刻，则也可以优先对摄影时刻进行对照。即，在根据两个影像信息来检测匹配的块的组时，首先检测摄影时刻匹配的块的组，针对所检测到的块的组，判定对照基准信息所表示的除摄影时刻之外的摄影信息的要素是否匹配。这样，通过优先对摄影时刻进行对照，能够生成对在相同时刻从不同角度拍摄的影像数据进行组合、这种原本意义上的多角度影像。(3)在上述的实施方式中，说明了传递记录有影像数据的光盘160，获取由他人拍摄的影像数据的示例，但是本发明不限于这种示例。也可以不传递光盘160，而传递其它记录介质，还可以利用邮寄等方式进行递送。并且，也可以经由网络来发送接收利用数码相机或手机等的动态图像摄影功能拍摄的影像数据，从发送接收的影像数据生成能够多角度再现的影像数据。(4)在上述的实施方式中，影像数据1被记录在光盘160中，影像数据2被记录在存储卡170中，但是本发明不限于这种方式。记录影像数据1的记录介质只要不是按照上面所述经由网络来发送接收影像数据，则记录介质也可以是影像数据生成装置100能够读取并能够传递的记录介质。记录影像数据2的记录介质也可以是影像数据生成装置100能够读取的记录介质。(5)在上述的实施方式中，将由影像数据生成装置100生成的影像数据3覆盖写入光盘160中，但是本发明不限于这种方式。也可以将影像数据3记录在记录了影像数据 1的记录介质之外的记录介质中，并不断地传递。(6)在上述的实施方式中，当在对照处理中判定摄影信息的要素是否匹配时，根据在摄影时按照何种程度的精度单位记录了摄影信息来适当设定允许范围，但是本发明不限
17于这种方式。即，也可以将比记录了摄影信息的精度单位更粗的精度单位设定为允许范围。 例如，在按照1分钟单位记录摄影时刻的情况下，可以将时刻差异不足5分钟的差异判定为匹配。产业上的可利用性本发明的影像数据生成装置能够应用于电脑或DVD记录器、BD记录器、数字视频摄像机等将影像数据记录在记录介质中的设备中。并且，对于数码相机或手机等能够拍摄影像数据、而且能够与外部设备进行通信的设备，也能够在经由外部设备将影像数据记录在记录介质中时加以应用。标号说明100影像数据生成装置；101获取部；102生成部；103检测部；104写入部；105存储部；106图像流生成部；160光盘；161光盘驱动器；170存储卡；171存储卡插槽。
权利要求
1.一种影像数据生成装置，根据第1影像数据和第2影像数据生成第3影像数据， 所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块、与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应， 其特征在于，所述影像数据生成装置具有获取部，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素；检测部，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成部，在所述检测部检测到相匹配的块的组的情况下，为了使该块的组同步，该生成部生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第 2影像流之中由所述检测部检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第2影像流之中由所述检测部检测为匹配的块、以及所述第1影像流的影像信息。
2.根据权利要求1所述的影像数据生成装置，其特征在于， 所述影像数据生成装置还具有写入部，用于将所述第3影像数据覆盖写入所述第1记录介质。
3.根据权利要求2所述的影像数据生成装置，其特征在于， 所述再现路径信息包括影像流识别符，表示应该按照该再现路径信息所表示的再现路径进行再现的影像流；以及多流标志，表示应该按照该再现路径信息所表示的再现路径进行再现的影像流是否是多个，所述生成部向所述第1影像数据或者所述第2影像数据中包含的再现路径信息所表示的再现路径之中、表示包括由所述检测部检测到的块的组中所包含的块的再现路径的再现路径信息，追加表示所述第2影像流的影像流识别符，而且，将该再现路径信息中包含的多流标志设为0N，由此生成所述第3影像数据中包含的再现路径信息。
4.根据权利要求3所述的影像数据生成装置，其特征在于， 所述对照基准信息表示摄影信息中包含的多个要素，所述检测部检测出所述匹配的块的组，是指在与该块的组的各个块对应的摄影信息的要素之中、所述对照基准信息表示的全部摄影信息的要素匹配的情况。
5.根据权利要求4所述的影像数据生成装置，其特征在于，所述对照基准信息表示摄影信息中包含的多个要素，在所述对照基准信息表示的摄影信息的要素中具有所述摄影时刻信息的情况下，所述检测部优先判定所述摄影时刻信息是否匹配。
6.根据权利要求4所述的影像数据生成装置，其特征在于，所述摄影信息的要素中包括表示所述块的影像被拍摄的摄影场所的摄影场所信息， 所述检测部检测出所述匹配的块的组，是指在与该块的组的各个块对应的摄影信息的要素之中、摄影场所信息相匹配的情况。
7.根据权利要求4所述的影像数据生成装置，其特征在于，所述摄影信息的要素中包括表示被拍摄到所述块的影像中的人物的被拍摄人物信息， 所述检测部检测出所述匹配的块的组，是指与该块的组的各个块对应的摄影信息的要素之中、被拍摄人物信息相匹配的情况。
8.根据权利要求1所述的影像数据生成装置，其特征在于， 所述影像数据生成装置还具有写入部，将所述第3影像数据和所述对照基准信息写入与第1记录介质不同的第3记录介质。
9.一种影像数据生成方法，根据第1影像数据和第2影像数据生成第3影像数据， 所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应， 其特征在于，所述影像数据生成方法具有获取步骤，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素；检测步骤，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成步骤，在所述检测步骤检测到相匹配的块的组的情况下，为了使该块的组同步，生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第2影像流之中由所述检测步骤检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第2影像流之中由所述检测步骤检测为匹配的块、以及所述第1影像流的影像信息。
10.一种影像数据生成用程序，使计算机执行从第1影像数据和第2影像数据生成第3 影像数据的影像数据生成处理，所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，其特征在于，所述影像数据生成处理具有获取步骤，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素；检测步骤，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成步骤，在所述检测步骤检测到相匹配的块的组的情况下，为了使该块的组同步，生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第2影像流之中由所述检测步骤检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第2影像流之中由所述检测步骤检测为匹配的块、以及所述第1影像流的影像信息。
11.一种记录了影像数据生成用程序的记录介质，该程序使计算机执行从第1影像数据和第2影像数据生成第3影像数据的影像数据生成处理，所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，其特征在于，所述影像数据生成处理具有获取步骤，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素；检测步骤，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成步骤，在所述检测步骤检测到相匹配的块的组的情况下，为了使该块的组同步，生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第2影像流之中由所述检测步骤检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第2影像流之中由所述检测步骤检测为匹配的块、以及所述第1影像流的影像信息。
12.—种影像数据生成用集成电路，根据第1影像数据和第2影像数据生成第3影像数据，所述第1影像数据被记录在第1记录介质中，包括第1影像流、表示所述第1影像流的再现路径的第1再现路径信息、和第1影像信息，该第1影像信息用于使所述第1影像流中的每个块、与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应，所述第2影像数据被记录在与所述第1记录介质不同的第2记录介质中，包括第2影像流、表示所述第2影像流的再现路径的再现路径信息、和第2影像信息，该第2影像信息用于使所述第2影像流中的每个块与包括该块中所包含的影像被拍摄的摄影时刻的摄影信息相对应， 其特征在于， 所述集成电路具有获取部，获取所述第1影像数据、所述第2影像数据和对照基准信息，该对照基准信息被记录在所述第1记录介质中，表示作为用于对所述第1影像流中的块和所述第2影像流中的块进行对照的基准的摄影信息的要素；检测部，从所述第1影像流中的各个块和所述第2影像流中的各个块中，检测与各个块对应的摄影信息之中、所述对照基准信息所表示的摄影信息的要素相匹配的块的组；以及生成部，在所述检测部检测到相匹配的块的组的情况下，为了使该块的组同步，该生成部生成所述第3影像数据，该第3影像数据包括表示能够再现所述第1影像流以及所述第 2影像流之中由所述检测部检测为匹配的块的再现路径的再现路径信息、所述第1影像流和所述第2影像流之中由所述检测部检测为匹配的块、以及所述第1影像流的影像信息。
全文摘要
本发明提供一种影像数据生成装置，在生成能够多角度再现的影像数据时，不需进行总括处理多个影像数据并花费许多功夫的编辑作业，即可容易生成能够多角度再现的影像数据。为此，本发明的影像数据生成装置根据影像数据中包含的影像信息，从影像流中检测应该多角度再现的块的组，生成能够多角度再现所检测到的块的组的再现路径信息。
文档编号H04N5/91GK102217303SQ200980139790
公开日2011年10月12日 申请日期2009年11月10日 优先权日2008年11月13日
发明者川村雄三, 木坂锦一, 滨崎浩二, 若井良平 申请人:松下电器产业株式会社