高品质内容生成系统及其方法和程序的制作方法

专利名称：高品质内容生成系统及其方法和程序的制作方法
技术领域：
本发明涉及高品质内容生成系统及其方法和程序。
背景技术：
近几年，多个动画投稿网站正在上升，通过因特网可视听各种动态图像的环境正 在规范化。此时，对于想要积极使宣传用动态图像等流通的内容和新闻性的内容而言，有时 虽然它们是相同的内容，但是会在各种动画投稿网站上反复被投稿。通常，无论是哪一个动 画网站，都会提供自身网站内的内容的检索功能，但是近几年，还出现了可横跨多个网站之 间来进行检索的检索引擎。在使用该检索引擎来跨越式地检索出多个动态图像投稿网站的 情况下，有时会看到多个相同的内容。此时，只要能够看到所见到的内容中的任一个即可，对于想要以高画质视听内容 的用户而言，存在如下的问题。第一个问题是很难看到高画质的内容。其理由是因为适当选择检索发现的多个内容中的一个来视听时，碰上低画质的内 容的可能性很高。对于动画投稿网站而言，为了吸收大量的内容，大多以高压缩率对各个内 容进行编码。因此，原始画质低的内容较多，碰上画质低的内容的可能性很高。其结果，对 于想要以高画质观看内容的用户而言，需要逐一视听多个所发现的相同的内容来搜索高画 质的内容，或者在偶然看到的内容的画质不好的情况下，与想要观看高画质的内容无关地， 由于受到时间的限制等，只能满足于低画质的内容的视听。第二个问题是用户在所有的区间内很难视听高画质的内容。其理由是因为即使通过检索发现了多个同一内容，但用户视听的内容是其中的一 个。在某一个内容中，画质不一定是从开始到结束始终很好。例如，在以低比率进行VBR编 码的情况下，缓冲量较多，且很难进行控制。因此，并不一定能够在所有区间保证高画质。在 这种情况下，即使存在中途品质劣化的部分，由于比较麻烦且视听会被中断的，通常不会将 用户视听的内容切换为其他统一内容。因此，即使中途品质劣化，用户除了忍受该品质劣化 外别无选择。

发明内容
因此，本发明是鉴于上述课题而完成的发明，其目的在于提供一种存在多个相同 的内容或者由此派生而来的内容的情况下，能够利用它们生成更高画质的内容的高品质内 容生成系统及其方法和程序。解决上述课题的本发明是一种高品质内容生成系统，具有特征量提取单元，其从 多个内容中提取内容的特征量；内容群组化单元，其在由所述特征量提取单元提取出的多 个内容的特征量之间进行对照，并对所述多个内容中所包含的同一内容和使用该内容制作 出的派生内容进行群组化，计算出同一 /派生内容群组化信息；和高品质内容生成单元，其 从所述多个内容之中选择以所述同一/派生内容群组化信息被群组化的内容，并使用选择出的内容，生成品质更好的内容。解决上述课题的本发明是一种高品质内容生成方法，其具有如下步骤特征量提 取步骤，从多个内容中提取内容的特征量；内容群组化步骤，在所述提取出的多个内容的特 征量之间进行对照，并对所述多个内容中所包含的同一内容和使用该内容制作出的派生内 容进行群组化，计算出同一 /派生内容群组化信息；和高品质内容生成步骤，从所述多个内 容之中选择以所述同一 /派生内容群组化信息被群组化的内容，并使用选择出的内容，生 成品质更好的内容。解决上述课题的本发明是一种使信息处理装置执行如下处理的高品质内容生成 程序，即从多个内容中提取内容的特征量的特征量提取处理；在所述提取出的多个内容 的特征量之间进行对照，并求出所述多个内容中所包含的同一内容和使用该内容制作出的 派生内容后加以群组化，计算出同一 /派生内容群组化信息的内容群组化处理；和从所述 多个内容之中选择以所述同一 /派生内容群组化信息被群组化的内容，并使用选择出的内 容，生成品质更好的内容的高品质内容生成处理。(发明效果)根据本发明，在存在多个同一内容或从中派生而来的内容的情况下，能够使用这 些内容生成高品质的内容。


图1是第1实施方式的高品质内容生成系统的框图。图2是表示具有时间轴的内容之间的群组化的一例的图。图3是表示第1实施方式的高品质内容生成系统的处理整体流程的流程图。图4是表示高品质内容生成单元102的第一方式的处理流程的流程图。图5是表示高品质内容生成单元102的第二方式的处理流程的流程图。图6是表示高品质内容生成单元102的第三方式的处理流程的流程图。图7是表示高品质内容生成单元102的第四方式的动作的处理流程的流程图。图8是表示帧速率在内容之间不同时的高品质内容生成的方法的图。图9是表示帧速率在内容之间不同时的高品质内容生成的方法的图。图10是表示图7的内容间帧/场对应步骤S463的一实施方式的动作的流程图。图11是表示图7的内容间帧/场对应步骤S463的一实施方式的动作的流程图。图12是说明时空间片段图像的图。图13是表示高品质内容生成单元102的第五方式的处理流程的流程图。图14是第2实施方式的高品质内容生成系统的框图。图中100-特征量提取单元；101-同一 /派生内容群组化单元；102-高品质内容 生成单元；105-内容蓄积单元；150-对应关系修正单元。
具体实施例方式本发明的实施方式的高品质内容生成系统的特征在于，具备特征量提取单元 (图1的100)，其从多个内容中提取内容的特征量；内容群组化单元(图1的101)，其根据 由特征量提取单元提取出的多个内容的特征量进行对照，求出包含在多个内容中的同一内容和使用该内容制作出的派生内容后进行群组化(图1的102)，并计算同一 /派生内容群 组化信息；高品质内容生成单元，其从所述多个内容中选择根据同一 /派生内容群组化信 息被群组化的内容，并使用选择出的内容，生成品质更好的内容。采用这样的结构在多个内 容间对同一 /派生内容进行组合并加以利用，从而生成高品质内容，并将其提供给用户，由 此能够达到本发明的目的。下面，参照附图，详细说明本发明的实施方式。图1是第1实施方式的高品质内容生成系统的框图。参照图1可知，第1实施方式的高品质内容生成系统由特征量提取单元100、同一 /派生内容群组化单元101、高品质内容生成单元102、内容蓄积单元105构成。内容蓄积单元105预先蓄积多个内容，并与特征量提取单元100和高品质内容生 成单元102相连。特征量提取单元100从内容蓄积单元105输入内容，求出相对于内容的 特征量之后，将特征量输出给同一 /派生内容群组化单元101。同一 /派生内容群组化单 元101输入从特征量提取单元100输出的内容的特征量，求出表示特征量间的链接关系的 内容链接信息，并作为群组化信息而输出给高品质内容生成单元102。高品质内容生成单元 102从同一 /派生内容群组化单元101输入群组化信息，且从内容蓄积单元105输入内容， 生成高品质内容来加以输出。接着，说明本实施方式的高品质内容生成系统的动作。内容蓄积在内容蓄积单元105中。这里，内容是指被数字化的多媒体内容，例如相 当于被数字化的照片、影像、音乐或者可组合这些的内容等。另外，内容不仅是广播节目那 样专业人员制作的内容，也可以是消费者制作的内容，即所谓的CGM(C0nsumer Generated Media)。以下，基本上将专门说明动态图像内容，但是音乐或照片等也是同样的。此外，为了便于说明，画出了在内容蓄积单元105的一个部位蓄积有内容的情况， 但是也可以分散成多个存储器来蓄积内容。例如，在因特网上的多个动态图像投稿网站中， 可以在每个网站上蓄积动态图像内容。此外，在各网站中，也可以分成多个存储器来蓄积内 容。向特征量提取单元100输入蓄积在内容蓄积单元105中的内容。在向特征量提取单元100中，对所输入的各内容进行特征量提取。照片的情况 下，特征量是颜色和模样、形态等视觉特征量，例如能够使用以IS0/IEC15938-3归一化的 特征量。音乐的情况下，是音乐的功率和频率分量等音响特征量，例如能够使用以ISO/ IEC15938-4归一化的特征量。影像的情况下，除了上述的视觉特征量之外，还可以使用表示 动作的视觉特征量，例如能够使用以IS0/IEC15938-3归一化的特征量。此外，可以使用上 述的音响特征量，也可以使用音响特征量和视觉特征量这两者。向同一 /派生内容群组化 单元101输出提取出的各内容的特征量。在同一 /派生内容群组化单元101中，在所输入的各内容的特征量之间进行对照， 在特征量间的相似度足够大的情况下，认为内容是相同的内容，进行群组化。具体而言，在 某两个内容的特征量之间计算相似度(或者距离)，在相似度为阈值以上(距离的情况下是 阈值以下)的情况下，对其两个内容进行群组化。在相似度的计算中，在照片内容的情况下，在照片整体中进行特征量彼此的比较， 通过进行相似度计算，能够对同一照片进行群组化。此外，也可以在照片一部分区域彼此间 进行对照来计算相似度。此时，可以对能够使用某一照片的其他图像(例如，在照片上添加相框或者可粘贴到其他照片上的图象)即派生内容进行群组化。另一方面，在如影像或音 乐那样具有时间轴的内容的情况下，对各时间区间(区间长度是任意的)进行内容的群组 化。例如，若在内容A、B、C、D之间进行了如图2所示的对照，则对斜线所示的时间区间彼 此、纵线所示的时间区间彼此进行群组化。向高品质内容生成单元102输出这样求出的群
组化信息。在高品质内容生成单元102中，根据所输入的群组化信息和对应的内容，生成高 品质的内容。例如，在图2的例的情况下，使用内容A、B、C、D生成高品质的内容。将再后 面对该生成进行详细说明。接着，使用流程图说明本发明的实施方式的高品质内容生成系统的动作。图3是表示第1实施方式的高品质内容生成系统的处理整体流程的流程图。首先，在步骤S300中，进行每一个内容的特征量提取。详细提取如在特征量提取 单元100中所说明的。接着，在步骤S301中，在内容之间进行提取出的特征量的对照，并进 行内容的群组化来求出群组化信息。详细的群组化的信息如在同一/派生内容群组化单元 101所说明的。之后，在步骤S302中根据群组化信息和内容生成高品质内容。接着，参照附图，详细说明高品质内容生成单元102的第一方式的动作。图4是表示高品质内容生成单元102的第一方式的处理流程的流程图。首先，用i = 0、1、…、N-I表示成为高品质内容的生成对象的内容的时间区间的 索引。即，将作为生成对象的内容分割为N个(N是任意的自然数)时间区间，并在每个区 间内生成高品质内容。在流程图中，首先，在步骤S400中，将区间的索引i设定为0。接着，在步骤S401中，读入关于区间i的群组化信息。例如，在图2的例中，在区 间i属于用斜线表示的部分的情况下，与内容A、B、C对应地进行群组化，在内容A和B中不 存在时间方向的偏移，但是在内容C中，根据群组化信息，获得在时间方向上具有、的偏移 这样的对应关系的信息。接着，在步骤S402中，调查是否存在对应的内容。若是对应的内容并不存在的区 间，则需要仅根据该内容生成作为输出的高品质内容，因此转移到步骤S405。另一方面，如 图2的例那样存在对应的内容的情况下，进入下一个步骤S403。在步骤S403中，按每个对应后的内容，计算与区间i相对应的时间区间下的品质 评价值。这里，品质评价值的计算方法有多个，其详细内容将在后面叙述。在之后的步骤S404中，在内容之间比较由步骤S403求出的品质评价值，并选择品 质最大的内容。在步骤S405中，作为输出用，选择出的内容的与区间i对应的部分复制到缓冲器。 之后，以适当的输出格式进行编码。另外，对于输出格式的编码也可以按多个区间生成高品 质内容之后整体向输出格式进行编码。接着，在步骤S406中，调查区间i是否为最后的区间，在不是最后的区间的情况 下，使区间的索引i加1之后回到步骤S401。若是最后的区间，则结束处理。这样，能够生成高品质的内容。另外，到目前为止叙述了在每个内容的时间区间中 选择品质最大的内容来生成高品质内容的情况。该区间也可以是包括1帧的情况。即，也 可以按每一帧评价品质来生成高品质。或者，也可以将各帧分割为多个区域，在每个区域中判定品质后，按每个区域改变品质最大的内容。例如，可以将帧分割为多个块，根据块单位 评价品质。由此，能够生成更细致的高品质内容。但是，由于在所选择的内容转变的时空间 的边界上，有时会产生不自然的内容品质的瑕疵，因此可以在边界附近按照两者圆滑地变 化的方式进行过度处理。接着，详细说明步骤S403中的品质评价值的计算方法。首先，说明根据分配给区间i的比特量和编码方式计算品质评价值的情况。此时， 调查与最初所对应的各内容的区间i相对应后的时间区间内的产生编码量。一般，可以说 产生编码量越多越是高品质，因此将产生编码量越大就变得越大的值作为品质评价值来定 义。但是，在与区间i相对应后的各内容的编码结构不同的情况下(例如，I照片、P照片的 数量等不同的情况)，将该量作为品质评价值来考虑。此外，在编码方式不同的情况下，即使 是相同的品质，产生编码量也会不同。例如，以H. 264进行编码的情况下，与以MPEG-I进行 编码时相比，即使是相同的产生编码量，一般H. 264方式更好。品质评价值也可以反映因这 样的编码方式的不同而产生的特性。此外，对于根据编码的不同或编码结构的不同应如何 控制品质评价值而言，例如以多个各种方式对相同的内容进行编码，并可以通过调查与画 质之间的关系来决定。当然，也可以在该过程中使用机械学习的结构。接着，说明评价编码失真的大小来计算品质评价值的情况。此时，检查能够解码与 对应的各内容的区间i相对应后的时间区间的图像的画质。例如，通过使用文献1 (JP特开 2005-159419号公报，“图像处理装置及其方法以及计算机程序和计算机可读存储介质”)的 方法，能够对编码失真进行定量。当然，测量编码失真的方法并非限于此，即使不使用原图像，只要是仅使用编码图 像即可判定画质的方法，任何方法都可以。此时，定义编码失真越大就变得越小的品质评价 值，并加以利用即可。或者，也可以使用量化参数来评价图像。若进行粗糙的量化，则一般画质会降低， 因此可以根据内容提取与量化相关的编码参数，从而评价品质。此时，定义量化参数越大就 变得越小的品质评价值，并加以使用即可。若分辨率在对应后的内容之间不同，则也可以使用分辨率来评价品质。一般，可以 说分辨率越高，越是高画质，因此也可以定义分辨率越大就变得越大的品质评价值，并加以 使用。此外，帧速率在对应后的内容之间不同的情况下，也可以使用帧速率来评价品质。 帧速率越高，移动越圆滑，可提高影像的品质，因此也可以定义帧速率越高就变得越大的品 质评价值，并加以使用。说明了基于以上各个因素求出品质评价值的方法，但是也可以定义选取多个这些 因素的品质评价值来加以使用。以上是基于图4所示的流程图的高品质内容生成单元102的动作。接着，参照附图，详细说明高品质内容生成单元102的第二方式的动作。图5是表示高品质内容生成单元102的第二方式的处理流程的流程图。基本上， 代替图4的步骤S403、步骤S404而包括步骤S423。除此之外与图4的流程图相同，因此， 以下，将说明步骤S423。在步骤S423中，在对应后的内容的对应的帧之间进行像素值的统计处理之后，生成要输出的帧。例如，在对应后的多个内容的帧之间，对位于同一像素位置上的像素的值进 行平均，从而计算输出帧的该像素位置处的像素值。通过这样进行平均，能够抵销包含在各 个内容中的噪声成分，并且能够提高输出帧的品质。或者，除了简单的平均外，也可以如M推测那样排除outlier来求出像素值。例如， 在大量存在像素值不同的内容的情况下，也可以消除该内容的像素值，取平均来求出输出 帧的像素值。此时，例如，即使在重叠有反射式字幕(telop)的派生内容被对应的情况下， 也能够在不受该反射式字幕的影响的情况下计算输出帧。或者，也可以按每个内容计算在图3的流程图的步骤S403中说明的品质评价值， 并仅使用满足某种固定基准的品质评价值来进行统计处理。由此，能够排除品质极端低的 内容的影响。若包括分辨率不同的内容，则按照与输出帧的分辨率一致的方式进行内插补偿之 后进行统计处理即可。以上是基于图5所示的流程图的高品质内容生成单元102的动作。下面，参照附图，详细说明高品质内容生成单元102的第三方式的动作。图6是表示高品质内容生成单元102的第三方式的处理流程的流程图。基本上， 代替图4的步骤S403、步骤S404而包括步骤S443。除此之外与图4的流程图相同，因此， 以下，将说明步骤S443。在步骤S443中，在对应后的内容的对应的帧之间进行超分辨处理之后，生成要输 出的帧。具体而言，在帧之间进行像素的位置校正之后，进行Blind deconvolution等处理， 并使帧清晰化，生成输出帧。以上是基于图6所示的流程图的高品质内容生成单元102的动作。下面，参照附图，详细说明高品质内容生成单元102的第四方式的动作。图7是表示高品质内容生成单元102的第四方式的处理流程的流程图。基本上， 代替图4的步骤S403、步骤S404而包括步骤S463、步骤S464。除此之外与图4的流程图相 同，因此，以下，将说明步骤S463、步骤S464。在步骤S463中，进行内容之间的帧/场的对应。在存在帧速率不同的内容的情况 下，由于完全不一致，因此同一 /派生内容群组化单元101中的对照所求出的帧之间的对应 关系有可能存在若干偏差。因此，进行对应关系的微调整，提高对照的精度。其详细内容将 在后面叙述。接着，在步骤S464中，在区间i中生成输出帧。图8图示了对内容E和内容F进 行群组化并从中生成输出内容的情况。在存在帧速率不同的内容的情况下，从该图也可以 看出，对应的内容的数量随着帧的时间位置变化。由此，对于多个内容的帧对应的时刻下的 输出帧而言，使用这些多个帧来生成输出帧。作为该生成方法，能够使用上述的各种方法。 另一方面，在只有一个帧对应的时刻位置处，将该帧作为输出帧。另一方面，如图9所示，有 时帧/场在内容之间会完全不重叠。此时，如图9所示，直接使用其各自时刻位置处的帧/ 场来作为输出帧。由此，生成高品质内容的帧。接着，使用流程图详细说明步骤S463中的帧/场对应的处理。图10是表示步骤S463的处理流程的流程图。首先，在步骤S600中，通过帧内插处理，使内容之间的帧速率一致。具体而言，将帧提高至内容之间的帧速率的最小公倍数(例如，若是IOfps和15fps，则是30fps)。作为 此时的帧内插方法，基于前后的帧，并根据时间距离进行线性内插，或者补偿物体的移动来 从前后的帧中生成内插帧。此时，存在被运动体覆盖的背景部分和新表示的背景部分。被 覆盖的区域时间上只能与前面的帧对应，相反，新出现的区域时间上只能与后面的帧对应。 此时，直接使用对应后的区域的像素值。另外，在原本就是交错结构的内容的情况下，以场 结构进行上述内插处理。接着，在步骤S601中，提取各帧/场的特征量。作为此时提取的特征量，可以使用 与在特征量提取单元100中使用的特征量相同的特征量，也可以使用不同的特征量。由于 需要进行时间轴方向的细致的位置较准，因此优选对时间轴方向的偏移敏感的特征量。接着，在步骤S602中，在内容之间进行特征两的对照，并确定帧/场的对应。由于 原本在没有该处理时也大致在内容之间对应了时间方向的位置，因此只要将该位置稍微向 前后移动来选择对照性最好的即可。由此，即使在帧速率不同的帧之间，也能够使帧/场对 应。下面，使用流程图说明步骤S463中的帧/场对应处理的另一方法。图11是表示步骤S463的处理流程的流程图。首先，在步骤S620中，生成各内容的时空间片段图像。如图12所示，时空间片段 图像是指将影像内容看作水平、垂直、时间这三维数据时，在水平方向的坐标值一定的平面 或垂直方向的坐标值一定的平面上进行切割时所生成的平面。为了便于说明，考虑在水平 方向的坐标值一定的平面或垂直方向的坐标值一定的平面上进行切割的情况，理论上，只 要是平行于时间轴的面，可以使用在任何面上进行切割的图像。图12表示在水平方向的坐 标值一定的面上切割了平面。接着，在步骤S621中，进行时空间片段图像的内插处理。与 步骤S600时相同，根据内容之间的帧速率的最小公倍数(例如，若是IOfps和15fps，则是 30fps)，进行时间方向的内插。接着，在步骤S622中，对内插处理后的时空间片段图像，在内容之间进行仅基于 时间方向的水平移动的整体移动推测。此时，可以使用通常的基于块匹配的方法，也可以使 用Hough转换方法。由此，求出时空间图像的时间方向的位移量。根据该值，进行内容之间 的帧/场对应即可。以上是基于图7所示的流程图的高品质内容生成单元102的动作。下面，参照附图，详细说明高品质内容生成单元102的第五方式的动作。图13是表示高品质内容生成单元102的第五方式的处理流程的流程图。基本上， 代替图4的步骤S403、步骤S404而包括步骤S483、步骤S484。除此之外与图4的流程图相 同，因此，以下，将说明步骤S483、步骤S484。在步骤S483中，与步骤S620同样地生成各内容的时空间片段图像。之后，对该时 空间图像进行超分辨处理，生成高品质时空间片段图像。接着，在步骤S484中，通过在输出帧的时刻位置对高品质时空间片段图像进行采 样，生成输出帧。根据一个高品质时空间片段图像，仅在相当于切口的某一直线上求出输出 帧的像素值。因此，生成与平行于该直线的任意直线对应的高品质时空间片段图像，并计算 输出帧的像素值。由此，生成高品质图像的输出帧。以上是基于图13所示的流程图的高品质内容生成单元102的动作。
以上，说明了高品质内容生成单元102的动作，但是，显然也可以将上述的方法组 合起来使用。例如，也可以比较通过上述的多个方法生成的高品质内容的画质，选择最优 的。或者，也可以按区间、区域改变所使用的方式。下面，说明本实施方式的效果。在本实施方式中，自动对多个同一内容进行群组化，并生成高品质的内容，因此即 使用户不亲自去搜索高品质内容也能够视听高品质的内容。此外，在具有时间轴的内容的 情况下，按区间判定被判定为相同的内容的品质，并选择品质最优的或者生成高品质的内 容，因此用户无需逐一切换为高品质的内容来观看，也能够针对内容整体视听高品质的内容。下面，参照附图，说明第2实施方式。参照图14，第2实施方式的高品质内容生成系统由特征量提取单元100、同一 /派 生内容群组化单元101、高品质内容生成单元102、对应关系修正单元、内容蓄积单元105构 成。内容蓄积单元105蓄积多个内容，并与特征量提取单元100和高品质内容生成单元102 连接。特征量提取单元100从内容蓄积单元105输入内容，并求出相对于内容的特征量， 从而将特征量输出给同一 /派生内容群组化单元101。向同一 /派生内容群组化单元101输入从特征量提取单元100输出的内容的特征 量，并求出表示特征量间的链接关系的内容链接信息，且作为群组化信息输出给对应关系 调整单元150。对应关系调整单元150从内容蓄积单元105输入内容，并从同一 /派生内容群组 化单元101输入群组化信息，修正包含在群组化信息中的内容链接信息后，将修正后的群 组化信息输出给高品质内容生成单元102。高品质内容生成单元102从同一 /派生内容群组化单元101输入群组化信息，并 从内容蓄积单元105输入内容，生成高品质内容之后进行输出。下面，说明第2实施方式的高品质内容生成系统的动作。对应关系调整单元150以外的动作与图1所示的第1实施方式相同。其中，只有 以下方面的不同点高品质内容生成单元102不使用从同一 /派生内容群组化单元101输 出的群组化信息，而是使用从对应关系调整单元150输出的群组化信息。在对应关系调整单元150中，修正从同一 /派生内容群组化单元101输出的内容 之间的对应关系。这是因为，在特征量之间的对照中求出的链接关系有时会从正确的对应 关系中偏移一些(数帧左右)。具体而言，以从同一 /派生内容群组化单元101输出的内 容之间的对应关系为基础，在内容之间进行再次对照来修正该偏移。作为该方法，能够使用 图7的流程图的步骤S463的说明中所述的方法。向对应关系修正单元150输出包括被修 正的对应关系的群组化信息。在第2实施方式中，即使在特征量的对照中产生了若干误差的情况下，也能够通 过修正对应关系来准确地生成高品质内容。另外，在上述的实施方式中，用硬件构成了高品质内容生成系统的各部位，但是也 可以利用通过程序进行动作的信息处理装置。此时，程序使信息处理装置执行上述各部位 的动作。
根据本实施方式，在多个内容被投稿的情况下，用户即使不亲自去搜索也能够视 听高品质的内容。其理由是因为使用被投稿的多个同一内容来生成并提供高品质的内容。 因此，用户无需费功夫就能够看到高画质的内容。此外，根据本实施方式，用户能够从内容的开始到结束视听高品质的内容。其理由 是因为按区域判定内容的品质来选择最高品质的内容，或者从多个同一内容中生成高品质 的内容，从而以内容整体进行高品质化来提供给用户。因此，用户无需逐一切换为高品质的 内容来观看，就能够针对内容整体视听高品质的内容。说明了本发明的实施方式，在本发明的第1方式的高品质内容生成系统中，具有 特征量提取单元，其从多个内容中提取内容的特征量；内容群组化单元，其在由所述特征量 提取单元提取出的多个内容的特征量之间进行对照，并对所述多个内容中所包含的同一内 容和使用该内容制作出的派生内容进行群组化，计算出同一 /派生内容群组化信息；和高 品质内容生成单元，其从所述多个内容之中选择以所述同一 /派生内容群组化信息被群组 化的内容，并使用选择出的内容，生成品质更好的内容。本发明的第2方式在上述方式中，所述内容是具有时间轴的内容，所述内容群组 化单元根据所述对照，按时间区间进行同一 /派生内容的群组化来计算出所述同一 /派生 内容群组化信息，所述高品质内容生成单元使用所述选择出的内容，按时间区间生成品质 更好的内容。本发明的第3方式在上述方式中，所述内容是音乐或者影像。本发明的第4方式在上述方式中，所述内容的特征量包括视觉特征量或音响特征 量的至少一个。本发明的第5方式在上述方式中，所述高品质内容生成单元按每个时间区间评价 所述选择出的内容的品质，并在与所述选择出的内容彼此的同一区间对应的时间区间之间 比较品质，选择高品质的内容的时间区间并结合在一起，从而生成品质更好的内容。本发明的第6方式在上述方式中，所述高品质内容生成单元根据分配给时间区间 的编码比特量和编码方式，判定每一个该时间区间的品质的评价。本发明的第7方式在上述方式中，所述高品质内容生成单元根据评价编码失真的 大小的评价指标，判定每一个时间区间的品质的评价。本发明的第8方式在上述方式中，所述高品质内容生成单元按时间区间和帧内区 域评价所述选择出的内容的品质，并在与所述选择出的内容彼此的同一区间对应的时间区 间之间比较品质，选择高品质的内容的时间区间和帧内区域并结合在一起，从而生成品质 更好的内容。本发明的第9方式在上述方式中，所述高品质内容生成单元根据分配给帧内区域 的编码比特量和编码方式，判定每一个该帧内区域的品质的评价。本发明的第10方式在上述方式中，所述高品质内容生成单元根据评价编码失真 的大小的评价指标，判定每一个帧内区域的品质的评价。本发明的第11方式在上述方式中，所述评价编码失真的大小的评价指标是规定 量化的粗糙度的编码参数。本发明的第12方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的分辨率不同的情况下，通过使用最高分辨率的内容来生成品质更好的内容。
本发明的第13方式在上述方式中，所述高品质内容生成单元通过在对应的帧之 间进行像素值的统计处理来生成高品质的帧，从而生成品质更好的内容。本发明的第14方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的分辨率不同的情况下，通过在对应的帧之间使用超分辨技术来生成高品质的帧，从而 生成品质更好的内容。本发明的第15方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的帧速率不同的情况下，通过使用帧速率最高的内容，生成品质更好的内容。本发明的第16方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的帧速率不同的情况下，当在所述选择出的内容之间存在多个对应的帧或场时，从中选 择品质最好的帧或场，或者通过对所述对应的帧或场进行统计处理来生成帧或场，当对应 的帧或场并不存在多个时，通过选择该帧或场来生成品质更好的内容。本发明的第17方式在上述方式中，所述高品质内容生成单元根据评价编码失真 的大小的评价指标，判定每一个帧或场的品质的评价。本发明的第18方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的帧速率不同的情况下，按所述选择出的内容生成时空间片段图像，并在所述选择出的 内容之间对应的时空间片段图像之间，推测平行于时间轴方向的移动分量，从而调整所述 内容之间的帧或场之间的对应之后，生成所述品质更好的内容。本发明的第19方式在上述方式中，所述高品质内容生成单元在所述选择出的内 容的帧速率不同的情况下，按所述选择出的内容生成时空间片段图像，并在所述选择出的 内容之间对应的时空间片段图像之间，使用超分辨技术，从而生成高品质的时空间片段图 像，且通过对所述高品质的时空间片段图像重新进行采样，生成帧速率高的内容。本发明的第20方式在上述方式中，具有对应关系修正单元，其从所述多个内容 之中选择根据由所述内容群组化单元输出的同一/派生内容群组化信息被群组化的内容， 并基于所述同一/派生内容群组化信息在所述选择出的内容之间进行区间的对应关系的 修正之后，输出被修正的同一 /派生内容群组化信息，所述高品质内容生成单元代替所述 同一 /派生内容群组化信息，将所述被修正的同一 /派生内容群组化信息作为输入。本发明的第21方式是具有如下步骤的高品质内容生成方法从多个内容中提取 内容的特征量的特征量提取步骤；在所述提取出的多个内容的特征量之间进行对照，并对 所述多个内容中所包含的同一内容和使用该内容制作出的派生内容进行群组化，计算出同 一 /派生内容群组化信息的内容群组化步骤；和从所述多个内容之中选择以所述同一 /派 生内容群组化信息被群组化的内容，并使用选择出的内容，生成品质更好的内容的高品质 内容生成步骤。本发明的第22方式在上述方式中，所述内容是具有时间轴的内容，所述内容群组 化步骤根据所述对照，按时间区间进行同一 /派生内容的群组化来计算出所述同一 /派生 内容群组化信息，所述高品质内容生成步骤使用所述选择出的内容，按时间区间生成品质 更好的内容。本发明的第23方式在上述方式中，具有从所述多个内容之中选择根据由所述内 容群组化步骤计算出的同一 /派生内容群组化信息被群组化的内容，并基于所述同一 /派 生内容群组化信息在所述选择出的内容之间进行区间的对应关系的修正之后，计算被修正的同一 /派生内容群组化信息的对应关系修正步骤，所述高品质内容生成步骤代替所述同 一/派生内容群组化信息而使用所述被修正的同一/派生内容群组化信息。本发明的第M方式是使信息处理装置执行如下处理的高品质内容生成程序，即 从多个内容中提取内容的特征量的特征量提取处理；在所述提取出的多个内容的特征量之 间进行对照，并求出所述多个内容中所包含的同一内容和使用该内容制作出的派生内容后 加以群组化，计算出同一 /派生内容群组化信息的内容群组化处理；和从所述多个内容之 中选择以所述同一 /派生内容群组化信息被群组化的内容，并使用选择出的内容，生成品 质更好的内容的高品质内容生成处理。本发明的第25方式在上述方式中，所述内容是具有时间轴的内容，所述内容群组 化处理根据所述对照，按时间区间进行同一 /派生内容的群组化来计算出所述同一 /派生 内容群组化信息，所述高品质内容生成处理使用所述选择出的内容，按时间区间生成品质 更好的内容。本发明的第沈方式在上述方式中，使信息处理装置执行如下的处理从所述多个 内容之中选择根据由所述内容群组化处理计算出的同一/派生内容群组化信息被群组化 的内容，并基于所述同一/派生内容群组化信息在所述选择出的内容之间进行区间的对应 关系的修正之后，计算被修正的同一 /派生内容群组化信息的对应关系修正处理，所述高 品质内容生成处理代替所述同一/派生内容群组化信息而使用所述被修正的同一/派生内 容群组化信息。以上，列举优选实施方式以及形式说明了本发明，本发明并定仅限于上述实施方 式和实施例，在其技术思想范围内，能够进行各种变形来实施。本发明主张以2008年6月沈日申请的日本申请特愿2008-167345号为基础的优 先权，并在此援引其公开的所有内容。(产业上的可利用性)根据本发明，可适用于使用能够从因特网访问的内容来生成高品质的内容之后提 供给用户的系统或程序中。此外，上述用途不仅限于因特网，即使是蓄积在相同的硬件记录 器内的内容，在存在相同或派生内容的情况下，同样能够应用。
权利要求
1.一种高品质内容生成系统，具有特征量提取单元，其从多个内容中提取内容的特征量；内容群组化单元，其在由所述特征量提取单元提取出的多个内容的特征量之间进行对 照，并对所述多个内容中所包含的同一内容和使用该内容制作出的派生内容进行群组化， 计算出同一 /派生内容群组化信息；和高品质内容生成单元，其从所述多个内容之中选择以所述同一 /派生内容群组化信息 被群组化的内容，并使用选择出的内容，生成品质更好的内容。
2.根据权利要求1所述的高品质内容生成系统，其中，所述内容是具有时间轴的内容，所述内容群组化单元根据所述对照，按每个时间区间进行同一 /派生内容的群组化， 并且计算出所述同一/派生内容群组化信息，所述高品质内容生成单元使用所述选择出的内容，按每个时间区间生成品质更好的内容。
3.根据权利要求2所述的高品质内容生成系统，其中，所述内容是音乐或者影像。
4.根据权利要求3所述的高品质内容生成系统，其中，所述内容的特征量包括视觉特征量或音响特征量的至少一个。
5.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元按每个时间区间评价所述选择出的内容的品质，并在与所述 选择出的内容彼此的同一区间对应的时间区间之间比较品质，选择高品质的内容的时间区 间并结合在一起，从而生成品质更好的内容。
6.根据权利要求5所述的高品质内容生成系统，其中，所述高品质内容生成单元根据分配给时间区间的编码比特量和编码方式，判定每一个 该时间区间的品质的评价。
7.根据权利要求5所述的高品质内容生成系统，其中，所述高品质内容生成单元根据评价编码失真的大小的评价指标，判定每一个时间区间 的品质的评价。
8.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元按每个时间区间和帧内区域评价所述选择出的内容的品质， 并在与所述选择出的内容彼此的同一区间对应的时间区间之间比较品质，选择高品质的内 容的时间区间和帧内区域并结合在一起，从而生成品质更好的内容。
9.根据权利要求8所述的高品质内容生成系统，其中，所述高品质内容生成单元根据分配给帧内区域的编码比特量和编码方式，判定每一个 该帧内区域的品质的评价。
10.根据权利要求8所述的高品质内容生成系统，其中，所述高品质内容生成单元根据评价编码失真的大小的评价指标，判定每一个帧内区域 的品质的评价。
11.根据权利要求7或10所述的高品质内容生成系统，其中，所述评价编码失真的大小的评价指标是规定量化的粗糙度的编码参数。
12.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的分辨率不同的情况下，通过使用最高 分辨率的内容来生成品质更好的内容。
13.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元通过在对应的帧之间进行像素值的统计处理来生成高品质 的帧，从而生成品质更好的内容。
14.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的分辨率不同的情况下，通过在对应的 帧之间使用超分辨技术来生成高品质的帧，从而生成品质更好的内容。
15.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的帧速率不同的情况下，通过使用帧速 率最高的内容，生成品质更好的内容。
16.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的帧速率不同的情况下，当在所述选择 出的内容之间存在多个对应的帧或场时，从中选择品质最好的帧或场，或者通过对所述对 应的帧或场进行统计处理来生成帧或场，当对应的帧或场并不存在多个时，通过选择该帧 或场来生成品质更好的内容。
17.根据权利要求16所述的高品质内容生成系统，其中，所述高品质内容生成单元根据评价编码失真的大小的评价指标，判定每一个帧或场的 品质的评价。
18.根据权利要求16所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的帧速率不同的情况下，按所述选择 出的每个内容生成时空间片段图像，并在所述选择出的内容之间对应的时空间片段图像之 间，推测平行于时间轴方向的移动分量，从而调整所述内容之间的帧或场之间的对应之后， 生成所述品质更好的内容。
19.根据权利要求2至4的任一项所述的高品质内容生成系统，其中，所述高品质内容生成单元在所述选择出的内容的帧速率不同的情况下，按所述选择出 的内容生成时空间片段图像，并在所述选择出的内容之间对应的时空间片段图像之间，使 用超分辨技术，从而生成高品质的时空间片段图像，且通过对所述高品质的时空间片段图 像重新进行采样，生成帧速率高的内容。
20.根据权利要求2至19的任一项所述的高品质内容生成系统，其中，该高品质内容生成系统具有对应关系修正单元，其从所述多个内容之中选择以由所述 内容群组化单元输出的同一 /派生内容群组化信息被群组化的内容，并基于所述同一 /派 生内容群组化信息在所述选择出的内容之间进行区间的对应关系的修正之后，输出被修正 的同一 /派生内容群组化信息，所述高品质内容生成单元代替所述同一 /派生内容群组化信息，将所述被修正的同一 /派生内容群组化信息作为输入。
21.—种高品质内容生成方法，其具有如下步骤特征量提取步骤，从多个内容中提取内容的特征量；内容群组化步骤，在所述提取出的多个内容的特征量之间进行对照，并对所述多个内 容中所包含的同一内容和使用该内容制作出的派生内容进行群组化，计算出同一 /派生内 容群组化信息；和高品质内容生成步骤，从所述多个内容之中选择以所述同一 /派生内容群组化信息被 群组化的内容，并使用选择出的内容，生成品质更好的内容。
22.根据权利要求21所述的高品质内容生成方法，其中， 所述内容是具有时间轴的内容，所述内容群组化步骤根据所述对照，按每个时间区间进行同一 /派生内容的群组化来 计算出所述同一 /派生内容群组化信息，所述高品质内容生成步骤使用所述选择出的内容，按每个时间区间生成品质更好的内容。
23.根据权利要求21或22所述的高品质内容生成方法，其中，该高品质内容生成方法具有对应关系修正步骤，从所述多个内容之中选择以由所述内 容群组化步骤计算出的同一 /派生内容群组化信息被群组化的内容，并基于所述同一 /派 生内容群组化信息在所述选择出的内容之间进行区间的对应关系的修正之后，计算被修正 的同一 /派生内容群组化信息，所述高品质内容生成步骤使用所述被修正的同一/派生内容群组化信息来代替所述 同一/派生内容群组化信息。
24.一种使信息处理装置执行如下处理的高品质内容生成程序，即 从多个内容中提取内容的特征量的特征量提取处理；在所述提取出的多个内容的特征量之间进行对照，并求出所述多个内容中所包含的同 一内容和使用该内容制作出的派生内容后加以群组化，计算出同一 /派生内容群组化信息 的内容群组化处理；和从所述多个内容之中选择以所述同一/派生内容群组化信息被群组化的内容，并使用 选择出的内容，生成品质更好的内容的高品质内容生成处理。
25.根据权利要求M所述的高品质内容生成程序，其中， 所述内容是具有时间轴的内容，所述内容群组化处理根据所述对照，按每个时间区间进行同一 /派生内容的群组化来 计算出所述同一 /派生内容群组化信息，所述高品质内容生成处理使用所述选择出的内容，按每个时间区间生成品质更好的内容。
26.根据权利要求M或25所述的高品质内容生成程序，其中，该高品质内容生成程序使信息处理装置执行如下的处理从所述多个内容之中选择根 据由所述内容群组化处理计算出的同一/派生内容群组化信息被群组化的内容，并基于所 述同一/派生内容群组化信息在所述选择出的内容之间进行区间的对应关系的修正之后， 计算被修正的同一/派生内容群组化信息的对应关系修正处理，所述高品质内容生成处理代替所述同一/派生内容群组化信息而使用所述被修正的 同一/派生内容群组化信息。
全文摘要
高品质内容生成系统具有特征量提取单元，其从多个内容中提取内容的特征量；内容群组化单元，其在由特征量提取单元提取出的多个内容的特征量之间进行对照，并对多个内容中所包含的同一内容和使用该内容制作出的派生内容进行群组化，计算出同一/派生内容群组化信息；和高品质内容生成单元，其从所述多个内容之中选择根据同一/派生内容群组化信息被群组化的内容，并使用选择出的内容，生成品质更好的内容。
文档编号H04N7/173GK102077582SQ20098012421
公开日2011年5月25日 申请日期2009年6月16日 优先权日2008年6月26日
发明者仙田裕三, 佐藤贵美, 大网亮磨, 岩元浩太, 平川康史, 木本崇博 申请人:日本电气株式会社