观看者关系型视频制作装置及制作方法与流程

本发明涉及一种观看者关系型视频(viewer-relationalvideo)制作装置及制作方法，更详细地涉及一种根据与观看者的关系来合成接收的视频并提供给观看者的观看者关系型视频制作装置及制作方法。

背景技术：

根据现有的视频内容提供方法，观看者通过选择以广播、教育、广告等各种目的而制作的视频内容，并选择地面广播接收、有线广播接收、互联网视频服务搜索等各种接收方法来接收所需要的视频内容。

根据这种现有的方法，观看者只能在已制作的视频中选择观看何种视频，并不能接收以适合使用者的方式重组视频内容而呈个人化(personalized)形式的视频。

作为现有技术1的美国公开专利公报第2010/0262992号(2010.10.14公开)公开了一种用于解决这种问题的技术。现有技术1将各种种类的第二内容重叠于为了传输给所有内容消费者制作而成的第一内容(firstcontents)并传输。此时，根据被识别的内容消费者的属性选择性地选择重叠的第二内容，并且根据各内容消费者的属性而被选择性地选择的第二内容重叠于第一内容，而分别传输至该内容消费者。

因此，在现有技术1中，反映内容消费者的属性而选择的第二内容重叠于通过广播信号等传输的第一内容上，并传输至该内容消费者，从而可在分类的第二内容中，将根据内容消费者的属性而选择的第二内容提供给内容消费者。

然而，现有技术1的第二内容是包含对特定内容消费者特化的信息的内容，但其仅作为附带内容，并且作为主体的第一内容是被提供给所有内容使用者的共同内容，因此现有技术1中存在没有考虑到消费者的满意度、适合度、喜好度及相关性等的问题。

作为现有技术2的美国登记专利公报第9112926号(2015.08.18授权)公开了一种根据消费者的属性推荐内容的技术。在现有技术2中，给内容消费者指定各自的属性，在第一内容消费者和第二内容消费者被选作相似属性的内容消费者的情况下，当第二内容消费者消费的内容中存在第一内容消费者没有消费的内容时，向第一内容消费者推荐该内容。

即，现有技术2是在相似属性内容消费者之间推荐消费的内容的技术，在内容消费者的立场上，就推荐内容的满意度、适合度等而言，其优于现有技术1。

然而，现有技术2只是根据内容消费者的属性推荐及提供制作完的内容，由于无法提供通过反映内容消费者的属性进行重新生成或编辑的内容，因此，现有技术2存在无法根据内容消费者分别提供独特的内容的问题。

作为现有技术3的美国登记专利公报第8934661号(2015.01.13公开)公开了一种根据社会信息(socialinformation)生成相册的技术。现有技术3为利用社交网络的照片管理(photo-curation)技术，其储存包含在社交网络系统中的许多个照片及关于照片内的客体的信息。之后，当内容消费者连接该社交网络系统时，该社交网络系统通过分析照片及关于客体的信息，且计算照片的分数(scores)，仅管理并提供相关联的图片至连接到社交网络系统的内容消费者。

即，由于现有技术3具有能够根据内容消费者的社会信息提取适合内容消费者的内容(照片)并提供给内容消费者的特征，因此，能够提高内容消费者消费内容时的便利性、满意度和适合度。

然而，在现有技术3中，其仅仅利用内容消费者的社交网络信息来筛选已制作的内容，且一并提供所筛选的内容，由于不会根据内容消费者的社交网络信息重新加工(编辑)并提供已制作的内容，因此，现有技术3存在无法提供对于内容消费者特化、个人化的内容的问题。

技术实现要素：

本发明要解决的技术问题

本发明是鉴于上述问题而完成的技术方案，根据本发明的观看者关系型视频制作装置及制作方法，其目的在于，接收来自内容提供者的内容，且当观看者请求提供内容时，在接收的内容中，将一部分制作(编辑)成新内容并提供给观看者。

通过根据本发明实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，本发明通过提取了人物客体影像(personalobjectimages)的内容的内容信息中选择与观看者信息匹配的内容的人物客体影像，且将被选择的人物客体影像制作为新内容后提供给观看者，从而能够将最适合的内容提供给接收内容的观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，从内容中提取人物客体影像，选择及编辑符合观看者信息的人物客体影像来制作新内容后提供给观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，在提供者传送的内容的内容信息中，通过相互比较内容的人物信息和观看者的社会关系信息来选择符合观看者的社会关系信息的人物信息内容，并将被选择的一个以上的内容制作成新内容来提供给观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，为了提高观看者的内容观看投入度，对包括在重新制作的内容中的人物客体影像的信息分别设定加权值，并计算根据观看者的社会关系信息选择的人物客体影像的加权值的总和。由此，在制作的内容中，通过根据所计算的加权值以不同的方式调整人物客体影像的影像层分配(allocation)和大小来制作内容。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，对于将比较多个内容的人物信息和观看者的社会关系信息来选择的内容与其他人物客体影像进行编辑而制作为新内容而言，根据该社会关系信息的加权值选择一个以上的内容，并将被选择的内容用作新内容的背景画面。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其另一个目的在于，当接收到来自观看者的请求内容的请求信号时，首先选择与包括在请求信号的社会关系信息匹配的人物客体影像，使其包括在新内容的制作中。

技术方案

为了达成上述的目的，根据本发明的观看者关系型视频制作部，其特征在于，包括：接收部，其从一个以上的提供者终端接收视频，且从观看者终端接收请求观看者关系型视频的请求信号；客体影像提取部，其从上述视频中提取人物客体影像；客体标签生成部，其针对各个上述视频利用包括人物信息的各个视频元数据，分别生成上述人物客体影像的客体标签；观看者标签生成部，其针对各个观看者利用包括社会关系信息的各个观看者元数据，分别生成观看者标签；储存部，其储存上述人物客体影像、上述客体标签及上述观看者标签；关系匹配部，当上述接收部接收上述请求信号时，比较储存于上述储存部的上述观看者标签中与上述观看者终端的观看者所对应的观看者标签的社会关系信息、和储存于上述储存部的上述客体标签的各人物信息，根据上述比较，导出符合上述观看者标签的一个以上的客体标签来生成观看者关系信息；观看者关系型视频制作部，其选择储存于上述储存部的人物客体影像中与上述观看者关系信息相关联的一个以上的人物客体影像，以包括被选择的上述一个以上的人物客体影像的方式进行合成，来制作观看者关系型视频；及观看者关系型视频分配部，其将已制作的上述观看者关系型视频提供给上述观看者终端。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述储存部还储存从上述接收部接收的上述视频。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部，还选择储存于储存部的上述视频中与上述关系匹配部生成的上述观看者关系信息相关联的一个以上的视频，并执行上述合成，上述一个以上的视频用作上述观看者关系型视频的背景影像。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者标签生成部生成包括多个项目的上述观看者标签，并给上述多个项目赋予加权值，并且给上述社会关系信息赋予高的加权值。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述关系匹配部，利用上述观看者标签的上述多个项目中适用了与上述客体标签匹配的项目的上述加权值的总和，计算出上述客体标签的匹配顺位。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部选择与上述匹配顺位为临界范围以内的客体标签相关联的人物客体影像，来制作上述观看者关系型视频。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部，对应于上述客体标签的上述匹配顺位，给上述观看者关系型视频的画面内输出的上述人物客体影像分别分配影像层(layer)。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部利用上述匹配顺位来配置上述人物客体影像的输出位置。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部对应于给上述人物客体影像配置的上述输出位置，来调整上述人物客体影像的各个大小。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，当从上述观看者终端接收的上述请求信号中存在实时元数据时，上述关系匹配部还将上述实时元数据并入与上述观看者终端的上述观看者对应的上述观看者元数据中。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述关系匹配部将利用与上述观看者终端的上述观看者对应的上述实时元数据来生成的观看者标签与储存在上述储存部的上述客体标签的上述人物信息进行比较后，根据上述比较，导出符合上述观看者标签的一个以上的客体标签，并进一步包括在上述观看者关系信息中。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，上述观看者关系型视频制作部，首先选择上述观看者关系信息中与上述实时元数据相关联的一个以上的人物客体影像，并通过进一步包括首先选择的上述一个以上的人物客体影像来制作上述观看者关系型视频。

根据本发明的实施例的观看者关系型视频制作装置，其特征在于，包括在上述观看者元数据的上述观看者的上述社会关系信息被上述观看者的上述关系网服务(sns，socialnetworkservice)所提供。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，步骤(a)：接收部从一个以上的提供者终端接收视频；步骤(b)：客体影像提取部从上述视频中提取人物客体影像；步骤(c)：客体标签生成部针对各个上述视频利用包括人物信息的各个视频元数据，分别生成上述人物客体影像的客体标签；步骤(d)：观看者标签生成部针对各个观看者利用包括社会关系信息的各个观看者元数据，分别生成观看者标签；步骤(e)：储存部储存上述人物客体影像、上述客体标签及上述观看者标签；步骤(f)：接收部从观看者终端接收请求观看者关系型视频的请求信号；步骤(g)：关系匹配部比较储存于上述储存部的上述观看者标签中上述观看者终端的观看者的观看者标签的社会关系信息、和储存在上述储存部的上述客体标签的各人物信息，根据上述比较，导出符合于上述观看者标签的一个以上的客体标签来生成观看者关系信息；步骤(h)：观看者关系型视频制作部选择储存于上述储存部的人物客体影像中与上述观看者关系信息相关联的一个以上的人物客体影像，以包括被选择的上述一个以上的人物客体影像的方式进行合成，并制作观看者关系型视频；及步骤(i)：观看者关系型视频匹配部将已制作的上述观看者关系型视频提供到上述观看者终端。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(e)中，上述储存部还包括并储存从上述接收部接收的上述视频。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(h)中，上述观看者关系型视频制作部还选择储存于上述储存部的上述视频中与上述关系匹配部所生成的上述观看者关系信息相关联的一个以上的视频，并执行上述合成，上述一个以上的视频用作上述观看者关系型视频的背景影像。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(d)中，上述观看者标签生成部生成包括多个项目的上述观看者标签，并给上述观看者标签的各项目赋予加权值，并且给上述社会关系信息赋予高的加权值。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(g)中，上述关系匹配部利用上述观看者标签的上述多个项目中适用了与上述客体标签所匹配的项目的上述加权值的总和，计算出上述客体标签的匹配顺位。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(h)中，上述观看者关系型视频制作部选择与上述匹配顺位为临界范围以内的客体标签相关联的人物客体影像，来制作上述观看者关系型视频。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(h)中，上述观看者关系型视频制作部对应于上述客体标签的上述匹配顺位，给上述观看者关系型视频的画面内输出的上述人物客体影像分别分配影像层。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(h)中，上述观看者关系型视频制作部利用上述匹配顺位来配置上述人物客体影像的输出位置。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在所诉步骤(h)中，上述观看者关系型视频制作部对应于上述人物客体影像所配置的上述输出位置，来调整上述人物客体影像的各个大小。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(f)中，当从上述观看者终端接收的上述请求信号中存在实时元数据时，上述关系匹配部还将上述实时元数据并入(incorporates)与上述观看者终端的上述观看者对应的上述观看者的元数据中。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(g)中，上述关系匹配部利用与上述观看者终端的上述观看者对应的实时元数据来生成的观看者标签与储存于上述储存部的上述客体标签的上述人物信息进行比较后，根据上述比较，导出符合上述观看者标签的一个以上的客体标签，并且，进一步包括在上述观看者关系信息中。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(h)中，上述观看者关系型视频制作部，首先选择上述观看者关系信息中与上述实时元数据相关联的一个以上的人物客体影像，并通过进一步包括首先选择的上述一个以上的人物客体影像来制作上述观看者关系型视频。

根据本发明的实施例的观看者关系型视频制作方法，其特征在于，在上述步骤(g)中，包括在上述观看者元数据的上述观看者的上述社会关系信息被上述观看者的社会关系网服务器所提供。

有益效果

通过本发明的上述结构，根据本发明的观看者关系型视频制作装置及制作方法，其能够提供以下效果：接收来自内容提供者的内容，且当观看者请求提供内容时，在接收的内容中，将一部分制作(编辑)成新内容并提供给观看者。

通过根据本发明实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：通过提取了人物客体影像的内容的内容信息中选择与观看者信息匹配的内容的人物客体影像，且将被选择的人物客体影像制作为新内容后提供给观看者，从而能够将最适合的内容提供给接收内容的观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：从内容中提取人物客体影像，并选择及编辑符合观看者信息的人物客体影像来制作新内容后提供给观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：在提供者传送的内容的内容信息中，通过相互比较内容的人物信息和观看者的社会关系信息来选择符合观看者的社会关系信息的人物信息内容，并将被选择的一个以上的内容制作成新内容来提供给观看者。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：为了提高观看者的内容观看投入度，对包括在重新制作的内容中的人物客体影像的信息分别设定加权值，并计算根据观看者的社会关系信息选择的人物客体影像的加权值的总和。由此，在已制作的内容中，根据所计算的加权值，不同地调整人物客体影像层分配和大小来制作内容。

通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：对于将比较多个内容的人物信息和观看者的社会关系信息来选择的内容与其他人物客体影像进行编辑而制作为新内容而言，根据该社会关系信息的加权值选择一个以上的内容，并将被选择的内容用作新内容的背景画面。

最后，通过根据本发明的另一个实施例的观看者关系型视频制作装置及制作方法，其能够提供另一种效果：当接收到来自观看者的请求内容的请求信号时，首先选择与包括在请求信号的社会关系信息匹配的人物客体影像，使其包括在新内容的制作中。

附图说明

图1为表示本发明的整体概要的结构图；

图2为表示本发明的内容制作方式的结构图；

图3为表示根据本发明的观看者关系型视频制作装置的结构图；

图4为表示根据本发明的观看者关系型视频制作装置的流程图；

图5为表示根据本发明一体现例的客体标签的示意图；

图6为表示根据本发明一体现例的观看者标签的示意图；

图7为表示根据本发明一体现例的提供者视频的示意图；

图8为表示根据本发明的一体现例，从提供者的视频中提取的人物客体影像的示意图；

图9为表示根据本发明的一体现例，在人物客体影像中分配影像层来制作观看者关系型视频的示意图；

图10为表示根据本发明的一体现例制作对应于观看者标签的社会关系的观看者关系型视频的示意图；

图11为表示根据本发明的一体现例，将与符合观看者标签的客体标签相关联的人物客体影像，根据客体标签的匹配顺位，在观看者关系型视频内调整位置及大小的示意图；

图12为表示根据本发明的一体现例，将与符合观看者标签的客体标签相关联的人物客体影像用作观看者关系型视频的背景画面的示意图；

图13为表示根据本发明的一体现例，根据赋予观看者标签的加权值来计算符合观看者标签的客体标签的加权值的示意图。

具体实施方式

对于本说明书及权利要求书中使用的术语或词语而言，不应该被限定解释为常规或字典意义上的意思，而是从发明人为了以最佳的方法来说明自己的发明而能够对术语或词语进行定义的原则出发，应当解释为符合本发明的技术思想的意义和概念。

进而，记载在本说明书的实施例及附图所图示的结构相当于本发明优选的一实施例，并不代表本发明的所有技术思想。因此，在提交本发明申请时，可以有代替该结构的各种同等物及变形例。

在整个说明书中，关于某部分“包括”某结构要素的记载，若没有特别的相反记载，其并不排除包括其他结构要素，而是意味着可以包括其他结构要素。并且，记载在说明书的“…模块”、“…部”、“…服务器”、“…系统”等术语是指至少能处理一个功能或动作的单位，其可通过硬件、软件或硬件和软件的结合来实现，且可包括在一个装置或者分别不同的装置中。

以下，详细说明记载于本发明的优选实施例。

图1为表示本发明的整体概要的结构图。如图1所示，提供者a、b、c通过各个提供者终端(未图示)将视频内容上传到观看者关系型视频制作装置200，各个观看者a、b、c通过使用能够连接到网站300的各个观看者终端410、420、430接收关系型视频制作装置200所制作的观看者关系型视频。

各个提供者可以以各种方法拍摄视频，如提供者a，可以使用专业摄像机等设备拍摄视频；如提供者b，可以使用具备于pc、笔记本电脑等的摄像头拍摄视频。并且，近来，包括在移动设备的摄像头的摄影质量逐渐提高，因此，如提供者c，不管在外部的任何场所都可以使用移动设备的摄像头拍摄视频。

由此，各个提供者a、b、c能够将使用通过互联网连接到观看者关系型视频制作装置200的提供者终端(未图示)拍摄或者储存的视频，上传到观看者关系型视频制作装置200。

此时，被拍摄的视频可以是提供者直接选定各个主体来拍摄的视频，也可以是针对特定事件，各提供者拍摄相同主体的视频。

当视频为提供者直接选定各个主体来拍摄的视频时，由各个提供者所上传的视频的内容互不相同，当视频为针对应特定事件所拍摄的视频时，各个提供者上传的视频内容相同，而包括在视频中的人物、背景、照明等互不相同。

例如，特定事件可以是歌唱任一首歌曲，各个提供者可以将与该歌曲相关的摄影所生成的视频，上传到观看者关系型视频制作装置200中。

另一方面，提供者a、b、c提供的视频是通过使用各个提供者的提供者终端(未图示)或者与提供者终端分开(separate)的拍摄设备拍摄而成，拍摄的视频可通过该提供者a、b、c的提供者终端(未图示)传送至观看者关系型视频制作装置200中。并且，能够将使用分开的拍摄设备拍摄的视频，通过提供者终端(未图示)传送至关系型视频制作装置200。

并且，设置于图1所示的专业摄影机、pc或笔记本电脑等的摄像头及移动设备的摄像头等可以拍摄视频，而不受室内或室外等拍摄场所的限制。

观看者a、b、c可以利用各个观看者a、b、c的观看者终端410、420、430观看通过观看者关系型视频制作装置200提供的视频、或观看者关系型视频制作装置200通过网站300等提供的视频。此时，观看者a、b、c观看的视频是，在观看者关系型视频制作装置200中，利用与客体标签(符合观看者a、b、c各自的观看者标签中的“社会关系”信息)相关联的人物客体影像而制作的视频。

图2为表示本发明的内容制作方式的结构图。如图2所示，将由提供者a、b、c拍摄的或储存的视频510、520、530通过各个提供者终端(未图示)上传到观看者关系型视频制作装置200时，观看者关系型视频制作装置200从该提供者a、b、c的各视频510、520、530中提取人物客体影像511、521、531。

人物客体影像511、521、531为各视频510、520、530的、包括出演人物的部分客体影像，并且，根据需求，在人物客体影像中还可以包括视频所包括的音频数据。

每个人物客体影像511、521、531是在视频中只保留需要提取的客体而去掉剩余的影像的影像，其代表性的人物客体影像提取方法可示例地举出色度键(chroma-key)方法。

提取的人物客体影像511、521、531被储存在观看者关系型视频制作装置200中。之后，当接收来自观看者a、b、c的各个观看者终端410、420、430的请求观看者关系型视频的请求信号时，观看者关系型视频制作装置200选择与客体标签(符合传送请求信号的观看者的观看者标签中的“社会关系”信息)相关联的一个以上的人物客体影像。观看者关系型视频制作装置200合成被选择的一个以上的人物客体影像511、521、531来制作与传送各请求信号的观看者a、b、c相关联的观看者关系型视频610、620、630。观看者关系型视频制作装置200将已制作的观看者关系型视频610、620、630传送至各个观看者a、b、c的观看者终端410、420、430上。

参照图6的观看者标签，与观看者a的“社会关系”信息相关联的提供者为提供者g、提供者b、提供者c，观看者关系型视频制作装置(未图示)接收的视频为提供者a、提供者b、提供者c提供的视频。因此，根据观看者a的“社会关系”信息选择的人物客体影像为人物客体影像002521及人物客体影像003531。因此，当观看者a请求观看者关系型视频时，合成人物客体影像002521及人物客体影像003531来制作用于观看者a的观看者关系型视频610，并传送至观看者a的观看者终端410。

并且，与观看者b的“社会关系”信息相关联的提供者为提供者a及提供者b，被选择的人物客体影像为人物客体影像001511及人物客体影像002521。当观看者b请求观看者关系型视频时，合成人物客体影像001511及人物客体影像002521来制作用于观看者b的观看者关系型视频620，并传送至观看者终端420。

并且，与观看者c的“社会关系”信息相关联的提供者为提供者a、b及c，被选择的人物客体影像为人物客体影像001511、人物客体影像002521及人物客体影像003531。当观看者c请求观看者关系型视频时，合成人物客体影像001511、人物客体影像002521及人物客体影像003531来制作用于观看者c的观看者关系型视频630，并传送至观看者终端430。

图3为表示根据本发明的观看者关系型视频制作装置的结构图。如图3所示，观看者关系型视频制作装置200包括：接收部210，其从一个以上的提供者终端110、120、130、140接收视频且从观看者终端接收请求观看者关系型视频的请求信号；客体影像提取部220，其从上述视频中提取人物客体影像；客体标签生成部230，其利用包括各个上述视频的人物信息的各个视频元数据(metadata)，分别生成上述人物客体影像的客体标签；观看者标签生成部250，其利用包括各个观看者的社会关系信息的各个观看者元数据，分别生成观看者标签；储存部240，其储存上述人物客体影像、上述客体标签及上述观看者标签；关系匹配部260，当上述接收部210接收上述请求信号时，在储存于上述储存部240的上述观看者标签中，对与上述观看者终端410、420、430、440的观看者所对应的观看者标签的社会关系信息、和储存于上述储存部240的上述客体标签的各人物信息进行比较，根据上述比较导出符合上述观看者标签的一个以上的客体标签来生成观看者关系信息；观看者关系型视频制作部270，其在储存于上述储存部240的人物客体影像中选择与上述观看者关系信息相关联的一个以上的人物客体影像，并合成被选择的上述一个以上的人物客体影像来制作观看者关系型视频；及观看者关系型视频分配部280，其将已制作的上述观看者关系型视频提供给上述观看者终端410、420、430、440。

接收部210接收由提供者a、b、c、d的提供者终端110、120、130、140分别拍摄或拥有的视频。接收部210提供了通过在线方式直接与提供者终端110、120、130、140连接的环境，或能够通过网站等，使提供者终端110、120、130、140以在线方式间接连接的环境。由此，提供者终端110、120、130、140能够向接收部210传送视频，或在连接网站的状态下，向接收部210传送视频。

接收部210从提供者终端110、120、130、140接收视频时，接收的视频中包括各个提供者a、b、c、d的视频元数据，接收部210能够接收与视频分开的、来自提供者终端110、120、130、140的视频元数据。另外，在观看者关系型视频制作装置200内的储存部240中储存有提供者的视频元数据。

根据实施例，接收部210将从提供者终端110、120、130、140接收的视频及提供者的视频元数据等储存到储存部240，并且，将包括在请求从观看者终端110、120、130、140接收的请求观看者关系型视频的请求信号中的、各观看者a、b、c、d的实时元数据等储存到储存部240。

另一方面，例如，包括观看者的会员信息、个人信息、喜好信息、社会关系信息等的观看者元数据也可以储存到储存部240。实时元数据为各个观看者a、b、c、d分别通过观看者终端410、420、430、440输入的信息或被观看者选择的信息，当在接收部210接收的请求信号中包括实时元数据时，该实时元数据将包括在相应观看者的观看者元数据中，并储存到储存部240。

接收部210所接收的视频可以包括音频数据，包括在视频中的音频数据可以形成为与视频的图像数据分开的文件，或上述音频数据与视频的图像数据一同编码而以图像数据和音频数据形成为一个文件，并且，视频的音频数据可以包括实施特定事件而生成的表演者的声音、及用于演出的音响等的声音。

另外，接收部210能够从提供者终端110、120、130、140接收视频，并且接收来自观看者终端410、420、430、440的请求观看者关系型视频的请求信号(可以包括实时元数据)，或可以接收与请求信号分开传送的观看者a、b、c、d的各实时元数据。由此，接收部210能够接收所有从提供者终端110、120、130、140及观看者终端410、420、430、440传送的数据。

但是，接收部210可以分别由第一接收部(未图示)和第二接收部(未图示)区分组成，上述第一接收部接收来自提供者终端110、120、130、140的视频；上述第二接收部接收来自观看者终端410、420、430、440的请求观看者关系型视频的请求信号或观看者a、b、c、d的各个实时元数据等。

图3图示了，由一个接收部210接收来自提供者终端110、120、130、140及观看者终端410、420、430、440的视频、请求观看者关系型视频的请求信号、观看者a、b、c、d的各个实时元数据等。

向接收部210传送视频的提供者a、b、c、d可以是运营观看者关系型视频制作装置200的主体成员或任意的提供者，所有提供者可以通过各自使用的提供者终端110、120、130、140传送视频。

并且，向观看者关系型视频制作装置200请求观看者关系型视频的观看者a、b、c、d可以是运营观看者关系型视频制作装置200的主体成员或任意的观看者，所有观看者可通过各自使用的观看者终端410、420、430、440请求观看者关系型视频。

客体影像提取部220用于从储存于储存部240的视频中提取人物客体影像。视频中拍摄有人物、物体、背景画面等各种客体，客体影像提取部220通过从各种客体中选择提取所需要的客体(人物)来提取人物客体影像。通过客体影像提取部220从视频中提取的人物客体影像可以由静态图像(staticimage)或动态图像(motionpictures)中的任意一个以上组成。人物客体影像不一定只限定于能够识别该人物的客体影像，可以是拍摄该人物身体的一部分或该人物的所有物的客体影像。

人物客体影像可选择包括一个客体，且根据需求可选择包括两个以上的多个客体。即，人物客体影像内可包括一个或两个以上的客体，并且将包括在视频中的两个以上的客体分别单独选择并提取，以生成两个以上的人物客体影像。

在客体影像提取部220可通过多种方法来提取人物客体影像，当接收背景设定为蓝色(blue)或绿色(green)等颜色而拍摄的视频时，优选使用去掉视频的背景后提取人物客体影像的色度键(chroma-key)方法。

然而，为了使用色度键(chroma-key)作为提取人物客体影像的方法，需要将视频的背景设定为色度(chroma)方法中键(key)值的颜色后拍摄，因此，只能对以这种键(key)值为背景画面的视频通过色度键(chroma-key)方法提取人物客体影像。并且，对于不是通过使用色度技术的键(key)值拍摄的视频，可使用已公知的其他客体提取方法来生成人物客体影像。

客体影像提取部220将从各个视频中提取的一个以上的人物客体影像储存到储存部240。

另一方面，客体影像提取部220可以将包括在被接受的视频的音频数据提取为客体音频，与人物客体影像一起储存在储存部240。当接收以与视频分开的文件存在的音频数据时，将该音频数据设定为客体音频后，与人物客体影像一起储存到储存部240。

客体标签生成部230通过使用储存于储存部240的视频及传送该视频的提供者的视频元数据来生成客体标签。

各提供者a、b、c、d的视频元数据可包括：视频的属性信息、视频中被拍摄的关于人物、物体及背景的视频内容信息、提供者的会员信息、及视频制作者信息等。为了匹配与观看者的社会关系，视频元数据包括视频中被拍摄的人物信息。此时，视频的属性信息可包括：视频的文件名、大小、文件类型(文件格式)、拍摄时间、拍摄位置、影像类型、播放时间、事件编号等信息；视频的内容信息可包括：视频中被拍摄的关于人物(表演者)、物体、背景等信息；提供者的会员信息可包括：包括会员加入相关的提供者的个人信息在内的有关社会关系的社会关系信息、喜好信息(喜好类型)、居住地、性别、年龄等。

视频的内容信息是分析接收部210接收的视频并通过画面检测方式识别拍摄在视频中的人物、物体或背景等并导出的关于人物、物体或背景的信息，这种视频内容信息可包括提供者的视频元数据。

视频的属性信息和视频的内容信息包括在视频元数据中，视频元数据可以包括在视频内或以分开的数据(separatedata)(或者文件)存在。

提供者a、b、c、d的各会员信息包括提供视频的提供者的个人信息，尤其包括关于提供者的社会关系的信息。社会关系信息包括提供者会员信息等的服务或储存在装置的朋友目录等，其中，提供者会员信息等储存于提供者的社交网络服务(socialnetworkservice，sns)、手机(mobilephone)通信录、储存部240等。

客体标签生成部230使用包括这种视频的属性信息、内容信息及提供者的会员信息的提供者视频元数据来生成客体标签。此时，包括在视频内容信息的人物信息可以是客体标签的额外的项目，根据实施例，也可以包括在客体标签的“社会关系”信息中。并且，关于提供者的社会关系的信息也可以包括在客体标签的“社会关系”信息中。

对应每个人物客体影像生成的客体标签，如图5所示，分为许多项目，并且，可根据每个人物客体影像按各个项目包括信息，也可以不包括信息。

图5为表示根据本发明一体现例的客体标签的示意图。如图5所示，示出了在提供者a、b、c、d分别传送的视频中提取的、关于人物客体影像001、人物客体影像002、人物客体影像003及人物客体影像004的各个客体的标签。其中，各个客体标签的项目，其通过视频的属性信息包括：提供者、播放时间、文件格式等的信息；通过视频的内容信息包括：演出者(可以是多个人物信息)、影像类型等的信息；通过提供者的会员信息包括：社会关系、居住地、喜好类别、性别、年龄等信息。

另一方面，图5中图示的客体标签的形式是根据本发明的一实施例显示的，除此之外也可以使用各种形式及项目生成客体标签。

储存部240可由一个或多个组成，其储存从提供者终端110、120、130、140传送的视频，且储存提取自所储存的视频的人物客体影像，并且储存关于每个人物客体影像的客体标签。另外，还一同储存从观看者标签生成部250生成的观看者标签。

另外，储存部240还可以一同储存提供者的各视频元数据(包括提供者的会员信息)。

另外，储存部240可以储存观看者关系型视频制作部270中制作的观看者关系型视频。在本发明的一实施例中，当将观看者关系型视频制作部270中制作的观看者关系型视频提供(流式传输(streaming)或下载等)到传送请求信号的观看者终端时，优选地，将其从观看者关系型视频制作装置200中删除，但是根据需求，也可以将制作的观看者关系型视频储存到储存部240。

如果，当观看者关系型视频制作部270中制作的观看者关系型视频提供到观看者终端410、420、430、440后，没有储存到储存部240时，关于该观看者关系型视频的制作日志(log)将储存到储存部240，之后，当观看者终端410、420、430、440请求相同的视频时，通过利用储存在储存部240的观看者关系型视频的制作日志重新选择被选择的该人物客体影像，并且，通过合成被重新选择的人物客体影像制作观看者关系型视频，并提供至观看者终端410、420、430、440。

并且，储存部240中储存从观看者终端410、420、430、440传送的观看者关系型视频的请求信号。由于请求信号中包括为了制作观看者关系型视频而能够选择的人物客体影像的观看者的实时元数据，因此，可以通过储存的请求信号生成观看者关系型视频的制作日志。

另一方面，储存部240储存包括各观看者a、b、c、d会员信息的观看者a、b、c、d的观看者元数据等，并根据观看者关系型视频的请求信号，来储存利用该观看者的观看者元数据生成的观看者标签。

即，能够储存在储存部240的信息可包括：视频、人物客体影像、客体标签、各提供者a、b、c、d的会员信息、提供者a、b、c、d的视频元数据、被制作的观看者关系型视频、观看者的会员信息、观看者的观看者元数据、观看者关系型视频的请求信号、包括在请求信号的观看者的实时元数据、观看者关系型视频的制作日志等。

并且，储存部240能够一同包括：制作观看者关系型视频时可能包括的背景画面、背景影像、音响音频等。即，观看者关系型视频制作部270中制作的观看者关系型视频只包括被选择的人物客体影像并制作而成，但是，可根据需求，为了被制作的观看者关系型视频的背景，可一同附加静止图像(背景画面)来制作观看者关系型视频，或者，为了被选择的人物客体影像的背景，可一同附加动态图像(背景影像)来制作观看者关系型视频。进一步地，还可包括被制作的观看者关系型视频内的用于音响效果的音响音频来制作。

观看者标签生成部250利用包括观看者会员信息等的各观看者a、b、c、d的观看者元数据生成观看者标签。观看者元数据包括各观看者a、b、c、d的会员信息，并储存到储存部240。并且，当每个观看者通过观看者终端410、420、430、440生成请求观看者关系型视频的请求信号，并传送至观看者关系型视频制作装置200时，包括在该请求信号被传送的实时元数据或与请求信号分开传送的实时元数据也可包括在储存于储存部240的观看者元数据中并被储存。

即，通过每个观看者终端410、420、430、440传送的实时元数据，通过由各个观看者终端410、420、430、440输入或选择中任意一个以上生成。实时元数据与储存于储存部240的观看者元数据一同被储存而使用于观看者标签的生成。另一方面，利用包括实时元数据的观看者元数据生成观看者标签，并比较被生成的观看者标签与客体标签时，优先选择符合于利用实时元数据生成的观看者标签的、一个以上的人物客体影像，来接受观看者的请求。

本发明的一体现例中，观看者标签是通过利用储存于储存部240的观看者元数据来预先生成的。之后，当从观看者终端接收请求观看者关系型视频的请求信号，且请求信号中包括实时元数据时，优选地，利用该实时元数据额外地生成观看者标签。

观看者标签用于与客体标签比较以选择使用于观看者关系型视频制作上的人物客体影像。由此，利用观看者元数据生成的观看者标签，如图6所示，其分为许多项目，并且观看者标签的各项目也可根据观看者的观看者元数据包括信息，也可以不包括信息。

图6为表示根据本发明一体现例的观看者标签的示意图。如图6所示，图示了关于观看者a、观看者b、观看者c、观看者d的各个观看者标签，各观看者标签的项目根据观看者的会员信息包括社会关系、居住地、喜好类别、性别、年龄等的信息。

尤其，关于社会关系的信息包括观看者会员信息等的服务或储存在装置的朋友目录等，其中，观看者会员信息等储存于观看者的社交网络服务(socialnetworkservice，sns)、手机(mobilephone)通信录、储存部240等。

另一方面，图6中图示的观看者标签的形式是根据本发明的一实施例显示的，除此之外也可以使用各种形式及项目生成观看者标签。

并且，当观看者a、b、c、d通过各个观看者终端410、420、430、440请求观看者关系型视频且向观看者终端410、420、430、440输入或选择实时元数据并传送时，观看者标签生成部250将被传送的实时元数据并入观看者的观看者元数据中，在比较观看者标签和客体标签时利用实时元数据来选择符合已生成的观看者标签的一个以上的客体标签，并且，优先选择与被选择的一个以上的客体标签相关联的一个以上的人物客体影像。实时元数据为例，其可以是用于添加不包括在观看者的社会关系信息中的人物的人物信息。

关系匹配部260响应从观看者终端410、420、430、440传送的观看者相关视频请求信号，选择用于制作观看者关系型视频的人物客体影像。对人物客体影像的选择是通过相互比较利用观看者的观看者元数据来生成的观看者标签的社会关系信息与客体标签的人物信息，选择与符合于观看者标签的一个以上的客体标签相关联的一个以上的人物客体影像。

即，当接收部210接收请求从观看者a的观看者终端410传送的观看者相关视频的请求信号时，关系匹配部260通过相互比较该观看者a的观看者标签与储存在储存部240的客体标签，导出相关的一个以上的客体标签，并选择与导出的客体标签相关的一个以上的人物客体影像。

此时，根据匹配顺位，选择根据观看者标签与客体标签的比较所要选择的人物客体影像，并且如下设定匹配顺位。

人物客体影像的匹配顺位是根据在与观看者标签所比较的客体标签中符合的客体标签的项目的数量来设定。并且，观看者标签的各个项目中赋予了加权值(分数)，对于符合观看者标签的客体标签，根据符合的项目的数量中适用了各个项目加权值的总和来设定匹配顺位。

由此，根据符合观看者标签的项目数量或加权值的总和，设定与观看者标签比较的客体标签的匹配顺位，并且，与该客体标签相关联的人物客体影像也被赋予了匹配顺位。

另一方面，可以给各项目不同地赋予根据观看者标签的各个项目被赋予的加权值，例如，利用从观看者终端传送的实时元数据而生成的观看者标签的项目，可以被赋予最高的加权值以占据符合的客体标签中最高的顺位，或者，在观看者标签的项目中向符合“社会关系”的项目赋予高加权值，从而在客体标签中占据最高顺位。

如果，当不存在符合观看者标签的客体标签时，无法赋予对客体标签的匹配顺位；当请求观看者关系型视频的观看者没有登录或以匿名等方式请求该观看者关系型视频时，可能不会生成观看者标签。因此，在这种情况下，在储存在储存部240的人物客体影像中，根据被选择最多的人物客体影像的顺位选择人物客体影像来制作观看者关系型视频，并提供至观看者终端，并且，根据需求，可以选择最近被选择的人物客体影像制作并提供观看者关系型视频。

关系匹配部260可以一同选择对应于被选择的人物客体影像的客体音频。根据这种实施例，客体音频为在从提供者终端110、120、130、140传送的音频数据或包括在被接收的视频中的音频数据，可从客体影像提取部220提取。

因此，优选地，所制作的观看者关系型视频一同选择被选择的人物客体影像及与其对应的被储存的客体音频。

另一方面，关系匹配部260比较观看者标签与储存在储存部240的每个客体标签，能够更多地选择符合观看者标签的视频。由此，关系匹配部260通过比较观看者标签与客体标签所选择的，还可以一同包括除人物客体影像之外被选择的人物客体影像和视频。

关系型视频制作部270以包括关系匹配部260中所选择的人物客体影像的方式合成而制作为观看者关系型视频。观看者关系型视频以将选择的人物客体影像合成至背景影像，或合成两个以上的人物客体影像的方式生成一个影像。由此，能够将拍摄为每个个别视频的表演者等提取为人物客体影像，并获得在观看者关系型视频中一同演出的方式合成的产物。当接收来自观看者终端的请求观看者关系型视频的请求信号时，优选地，利用选择的人物客体影像来实质性地实时进行合成。

观看者关系型视频制作部270能够对应于关系匹配部260中选择的人物客体影像的匹配顺位，分配输出人物客体影像的各个影像层(layer)。观看者关系型视频内包括许多人物客体影像，因此，有可能会发生各个人物客体影像互相重叠的问题。为了解决上述问题，根据赋予人物客体影像的匹配顺位，将最高匹配顺位的人物客体影像分配为最上位影像层(layer)，将其次匹配顺位的人物客体影像分配为次顺位影像层(layer)，从而向各个匹配顺位的人物客体影像依次分配影像层(layer)。

由此，观看者关系型视频制作部270在观看者关系型视频的框架内，根据匹配顺位分配每个人物客体影像的影像层(layer)及配置输出位置。并且，根据分配的影像层(layer)或配置的输出位置中任意一个以上所分别输出的人物客体影像需要远近感时，观看者关系型视频制作部270能够改变分别相应的人物客体影像的大小(size)。之后，根据所分配的影像层(layer)、所配置的输出位置及改变的大小(size)，实时合成人物客体影像来制作成观看者关系型视频。

当观看者关系型视频制作部270利用所选择的人物客体影像合成观看者关系型视频时，利用关系匹配部260中一同被选择的客体音频数据制作观看者关系型视频。根据需求，可以将关系匹配部260中被选择的背景画面、背景影像中任意一个适用于观看者关系型视频的背景。尤其，当观看者关系型视频中需要音响效果时，可以通过进一步包括储存在储存部240的音响音频制作观看者关系型视频。

此时，对于所使用的背景画面、背景影像或音响音频中的任意一个以上，可根据观看者的选择被使用；或者根据已设定的内容，从观看者关系型视频制作部270中被选择并使用；或者在关系匹配部260中，通过与观看者的观看者元数据所生成的观看者标签比较，选择所符合的来使用。

另一方面，观看者关系型视频制作部270适用匹配顺序以决定所选择的各个人物客体影像的输出的位置。即，当包括在观看者请求的观看者关系型视频中的人物客体影像的匹配顺位被决定时，在该人物客体影像的匹配顺位中从最高匹配顺位到最低匹配顺位、或与全部匹配顺位中所设定的临界顺位以内的匹配顺位的人物客体影像数量相适应的方式，预先指定了每个人物客体影像的影像层(layer)及输出位置，并且，与观看者标签匹配而被选择的人物客体影像，根据匹配顺位配置在预先指定的位置上。

例如，在符合观看者标签而被选择的人物客体影像为3个的情况下，当设定成：匹配第一顺位的人物客体影像在画面的中间；匹配第二顺位的人物客体影像在画面的右侧；匹配第三顺位的人物客体影像在画面的左侧时，与其对应地，被匹配而选择的人物客体影像，根据各个匹配顺位配置在相应位置上。

并且，当被匹配而选择的人物客体影像为5个时，其被设定成：匹配第一顺位的人物客体影像在画面的中间；匹配第二顺位的人物客体影像在画面的右侧；匹配第三顺位的人物客体影像在画面的左侧；匹配第四顺位的人物客体影像在画面的后排右侧；匹配第五顺位的人物客体影像在画面的后排左侧。与其对应地，被选择的人物客体影像根据各自的匹配顺位配置在相应位置上，并且，为了使配置在画面后排的匹配第四顺位及匹配第五顺位的人物客体影像与前排的人物客体影像相比而具有远近感，使人物客体影像的大小(size)调小，并输出被选择的人物客体影像。

此时，对于观看者关系型视频制作部270通过人物客体影像制作观看者关系型视频而言，当包括背景画面或背景影像时，优选地，相关背景画面或背景影像位于最下位影像层(layer)。

另一方面，当关系匹配部260中选择与符合观看者标签的客体标签相关联的视频时，观看者关系型视频制作部270以进一步包括被选择的人物客体影像在内的被选择的视频的合成来制作观看者关系型视频。当进一步包括所选择的视频制作观看者关系型视频时，该选择的视频用于观看者关系型视频的背景影像。即，储存于储存部240的视频为去除背景画面或没有提取客体的原始视频，从而包括所有背景画面及客体，因此，当该视频用作背景画面时，可以不用选择额外的背景画面。

当观看者关系型视频制作部270接收来自观看者a、b、c、d的各观看者终端410、420、430、440的请求观看者关系型视频的请求信号来制作观看者关系型视频时，比较观看者标签与客体标签，并选择人物客体影像，实质性地实时制作观看者关系型视频。

视频分配部280将在关系型视频制作部270制作的观看者关系型视频提供至观看者终端410、420、430、440中请求观看者关系型视频的观看者终端。

视频分配部280向观看者终端提供观看者关系型视频的方法可以以下载文件方式提供观看者关系型视频，也可以以流式传输(streaming)的方式提供。

此时，用于接收该观看者关系型视频的观看者终端可以以在线的方式直接与关系型视频制作装置200的接收部210连接，或通过网站等间接地连接。并且，根据需求，视频分配部280中可以建立有网站，当运营额外的网站300且视频分配部280将观看者关系型视频发布至网站300的网站上时，观看者终端通过该网站300接收观看者关系型视频。

即，在视频分配部280提供的观看者关系型视频仅提供至请求该观看者关系型视频的观看者终端410，当其他观看者终端420、430、440请求观看者关系型视频时，提供利用根据相应其他观看者的观看者标签而被匹配选择的人物客体影像制作而成的观看者关系型视频。

例如，当观看者终端a410、观看者终端b420、观看者终端c430及观看者终端d440请求各个观看者关系型视频时，比较各个观看者a、观看者b、观看者c及观看者d的各个观看者标签与客体标签，且根据比较的结果选择与符合观看者标签的客体标签相关联的人物客体影像，并合成观看者关系型视频来制作各个观看者关系型视频。与其相应地，视频分配部280将已制作的各个观看者关系型视频提供至各个观看者终端a410、观看者终端b420、观看者终端c430及观看者终端d440。

即，多个观看者请求对于相同事件的观看者关系型视频时，观看者关系型视频也是根据请求视频的观看者与客体标签的关系来制作，因此，被提供的观看者关系型视频有按观看者互不相同的的特征。

另一方面，视频分配部280将在关系型视频制作部270中合成制作的观看者关系型视频以实时流式传输(streaming)方式提供给观看者终端410、420、430、440，或者以观看者终端410、420、430、440能够下载的方式提供。

图4为表示根据本发明的观看者关系型视频制作装置的流程图。如图4所示，观看者关系型视频制作装置200的接收部210从各个提供者终端110、120、130、140接收视频(s105)。

各个视频可以是以特定事件为对象拍摄而视频内的表演者不同，但拍摄方式及背景画面等相同的视频。并且，各个视频可以是包括完全不同的拍摄方式及背景画面等的视频。

如果，以特定事件为对象来拍摄视频，其中，例如，特定事件为歌曲时，则视频会是不同的表演者分别歌唱一首歌曲的视频；特定事件为表演时，则视频会是不同的表演者以各自的角色表演同一个主题的演出的视频。

实施例构成为，参与特定事件的提供者或表演者参与事件的同时回复是否同意合成并活用自己的视频，其中只能提取完成同意的视频中的人物客体影像，并且实时合成根据观看者的关系选择的人物客体影像来制作观看者关系型视频。

已拍摄的视频通过各个提供者终端110、120、130、140传送至接收部210。

观看者关系型视频制作装置200的客体影像提取部220在被传送的各个视频中提取人物客体影像(s110)。

即，如图7(图7为表示根据本发明一体现例的提供者视频的示意图)及图8(图8为表示根据本发明的一体现例，从提供者的视频中提取的人物客体影像的示意图)所示，客体影像提取部220从各个视频510、520、530、540、550、560、570去除背景画面，且提取需要包括于观看者关系型视频的人物客体影像511、521、531、541、551、561、571。

然后，客体标签生成部230利用包括在视频中的或与视频分开接收的视频元数据来生成客体标签(s115)。

客体标签是利用各提供者a、b、c、d的会员信息、传送的视频的属性信息、视频的内容信息等来生成的，并且，生成的客体标签将与请求观看者关系型视频的观看者的观看者标签进行比较来用于确定是否符合观看者标签。由此，可选择与符合观看者标签的客体标签相关联的人物客体影像。

客体标签以如图5示出的方式构成，根据需求，可以添加或去除客体标签的项目。

接着，观看者标签生成部250利用储存在储存部240的观看者a、b、c、d的各观看者元数据来生成观看者标签(s120)。观看者标签以如图6示出的方式构成，根据需求，可以添加或去除观看者标签的项目。

储存部240储存接收的视频、生成的客体标签及生成的观看者标签(s125)。

优选地，储存部240以接收的视频与从各个视频中提取的人物客体影像能够相互连接的方式储存。

即，储存部240储存从提供者终端110、120、130、140接收的视频(参照图7的510、520、530、540)。并且，储存从客体影像提取部220接收的视频(参照图7的510、520、530、540)中提取的人物客体影像(参照图7的511、521、531、541)。并且，储存客体标签生成部230生成的客体标签(参照图5)。并且，储存观看者标签生成部250生成的观看者标签(参照图6)。

储存部240在步骤s125中，可以同时储存视频(参照图7的510、520、530、540)、人物客体影像(参照图7的511、521、531、541)、客体标签(参照图5)及观看者标签(参照图6)，也可以分别储存各个步骤中的视频(参照图7的510、520、530、540)、人物客体影像(参照图7的511、521、531、541)、客体标签(参照图5)或者观看者标签(参照图6)。

判断接收部240是否接收从观看者终端410、420、430、440中任意一个的观看者终端请求观看者关系型视频的请求信号(s130)。

如果，没有从观看者终端410、420、430、440接收请求信号时，将持续地接收从提供者终端110、120、130、140传送的视频。然而，包括在观看者关系型视频制作装置200的结构在执行制作观看者关系型视频的动作的过程中，接收部240也能同时接收来自提供者终端110、120、130、140的视频。

之后，关系匹配部260通过相互比较传送请求信号的观看者的观看者标签与储存在储存部240的客体标签，提取符合观看者标签的客体标签以制作观看者终端410、420、430、440请求的观看者关系型视频(s135)。尤其，可以通过将观看者标签的社会关系信息与客体标签的人物信息进行比较的方法导出客体标签。

优选地，在步骤s120中，观看者标签生成部250利用储存在储存部240的各个观看者的观看者元数据而生成观看者标签。或者，也可根据需求，在步骤s130中，通过从观看者接收请求信号后利用该观看者的观看者元数据来生成观看者标签。

即，观看者标签通过储存在储存部240的观看者各自的观看者元数据来一并预先生成，并储存到储存部240。或者，从特定观看者接收请求观看者关系型视频的请求信号后，在观看者标签生成部250生成并储存到储存部240。

另一方面，当从观看者传送的请求观看者关系型视频的请求信号中包括观看者的实时元数据时，观看者标签生成部250利用接收的实时元数据生成额外的观看者标签，并将生成的额外的观看者标签包括在储存于储存部240的该观看者的观看者标签中。由此，当根据实时元数据生成额外的观看者标签时，与客体标签所比较的观看者标签中包括额外的观看者标签。

另一方面，在步骤s135中，根据与观看者标签比较而导出的客体标签可以设定匹配顺位。匹配顺位可以由两种方法设定。第一种方法：在观看者标签与客体标签的比较中，根据符合观看者标签的项目的数量设定匹配顺位。即，根据与包括在观看者标签中的各项目符合的各个客体标签的项目数量，依次设定匹配顺位。

第二种方法：在观看者标签上赋予加权值，并根据适用于客体标签的加权值的合算结果设定匹配顺位，其中，该客体标签符合赋予了加权值的观看者标签。例如，观看者标签的项目中，向“社会关系信息”赋予高加权值且向剩余项目赋予低加权值时，符合“社会关系信息”的客体标签的匹配顺位将设定得更高。

或者，在观看者标签的项目，符合“社会关系信息”的客体标签中，将高加权值的客体标签的匹配顺位设定得更高。

关系匹配部260选择在步骤s135中导出的与客体标签相关联的人物客体影像(s140)。

在关系匹配部260选择的人物客体影像是根据客体标签的匹配顺位选择的。根据在观看者关系型视频制作装置200中预设定的匹配顺位条款或观看者请求的请求匹配顺位信息选择的人物客体影像的数量被指定，从而能够选择与指定的数量相应的人物客体影像。

根据实施例，能够选择与符合观看者标签的所有客体标签相关联的人物客体影像。

另一方面，关系匹配部260，可根据需求，在符合观看者标签的客体标签中，选择将用于观看者关系型视频的视频或人物客体影像。在储存于储存部240的视频中，选择与符合观看者标签的客体标签相关联的视频中任意一个以上的视频。

此时，对于在关系匹配部260中选择的视频，可以选择匹配顺位最高的客体标签的视频，并且，可以通过请求观看者关系型视频的观看者的观看者终端执行选择视频的请求，来选择观看者所指定的视频。此时，对于关系匹配部260而言，当观看者终端执行视频选择请求时，关系匹配部260将用于选择视频的候选视频的全部或一部分一同提供给观看者终端，使得观看者的视频选择变得容易。

观看者关系型视频制作部270利用在步骤s140中选择的人物客体影像来制作观看者关系型视频(s145)。

观看者关系型视频制作部270选择与符合观看者标签的客体标签相关联的人物客体影像，并如图9至12所示，制作由观看者请求的观看者关系型视频。

图9为表示根据本发明的一体现例，在人物客体影像分配影像层来制作观看者关系型视频的示意图。如图9的(a)图示，观看者关系型视频制作装置200的接收部210所接收的视频(参照图7)生成由客体影像提取部220提取各个视频中的演出者等的客体而生成的人物客体影像511、521、531、541、551、561、571，并将生成的人物客体影像储存至储存部240。

对于观看者关系型视频制作部270利用储存的人物客体影像511、521、531、541、551、561、571制作观看者关系型视频而言，在人物客体影像511、521、531、541、551、561、571中，当以人物客体影像007571、人物客体影像002521、人物客体影像003531、人物客体影像001511、人物客体影像004541、人物客体影像005551、人物客体影像006561的顺序计算出匹配顺位时，能够对应于该匹配顺位，将每个人物客体影像以阶层(layer)方式合成。

即，在图9的(a)中，匹配顺位最低的人物客体影像006561位于最低的影像层，使其次顺位的人物客体影像005551位于人物客体影像006561的上位影像层，并且，以其后的从人物客体影像004541到人物客体影像007571，依次位于每个上位影像层的方式设定人物客体影像511、521、531、541、551、561、571的阶层。

另一方面，对每个人物客体影像511、521、531、541、551、561、571设定阶层后，配置每个人物客体影像在观看者关系型视频的画面内输出的位置。如果，在画面内，没有适当地配置每个人物客体影像且全部输出至画面的中间时，会存在如下问题：匹配顺位为第一顺位的人物客体影像007571的人物客体影像将从最前方输出，并且，位于剩余的其后阶层的，第二顺位的人物客体影像002521至第七顺位的人物客体影像人物客体影像006561将被人物客体影像007571遮盖。

因此，每个人物客体影像511、521、531、541、551、561、571根据计算出的匹配顺位设定阶层，并通过配置被分别设定阶层的人物客体影像在画面内输出的位置，制作如图9的(b)所示的画面结构的观看者关系型视频。

此时，若需要根据每个人物客体影像511、521、531、541、551、561、571中设定的阶层来呈现出人物客体影像的远近感时，如图9所示，通过改变人物客体影像的大小(size)，从而改变从影像层(layer)的上位阶层至下位阶层的人物客体影像的大小。然而，即便是设定为不同阶层的人物客体影像，只要以相同的大小改变人物客体影像的大小(size)，也能使其看似在观看者关系型视频的画面内位于同一个线上。

图10为表示根据本发明的一体现例制作对应于观看者标签的社会关系的观看者关系型视频的示意图。如图10的(a)所示，通过从提供者终端110、120、130、140接收的4个视频提取的每个人物客体影像511、521、531、541储存至储存部240。

之后，接收部210接收来自观看者a的观看者终端410的观看者关系型视频的请求信号时，响应请求信号来比较该观看者a的观看者标签与客体标签，并选择与根据比较结果的匹配顺位的客体标签相关联的人物客体影像。

即，参照图5及图6，当存在提供者a、b、c、d的人物客体影像511、521、531、541时，关于比较观看者a的观看者标签与提供者a、b、c、d的客体标签，导出符合观看者a的观看者标签中“社会关系”项目的客体标签。

参照图6，观看者a的“社会关系”项目中以提供者g、提供者b、提供者c的顺序形成有社会关系。然而，人物客体影像只由提供者a、提供者b、提供者c及提供者d的人物客体影像来制作，因此，导出为除了提供者g之外的提供者b及提供者c符合观看者a的社会关系。由此，观看者a的观看者关系型视频通过利用对应于提供者b及提供者c的人物客体影像002及人物客体影像003来制作。

另一方面，参照图13(图13为表示根据本发明的一体现例，根据赋予观看者标签的加权值来计算符合观看者标签的客体标签的加权值的示意图)，将观看者a与提供者a、b、c、d的各客体标签进行比较，计算设定在观看者a的观看者标签的加权值。此时，在观看者a的观看者标签项目中，“社会关系”项目的加权值根据图5及图6的观看者标签与客体标签的项目，以提供者a为“0”、提供者b为“3”、提供者c为“3”提供者d为“0”的方式导出。虽然，提供者b与提供者c的“社会关系”项目的加权值分数同为“3”，但可以根据记载顺序计算出匹配顺位。

由此，基于观看者a的观看者标签与客体标签的“社会关系”项目比较的匹配顺位，将其设定成：提供者b的人物客体影像002521为第一顺位；人物客体影像003531为第二顺位，并且，虽然人物客体影像001511及人物客体影像004541的客体标签不符合观看者标签，但将匹配顺位设定为共同第三顺位。然而，还可以根据每个人物客体影像被储存的顺序，给匹配顺位赋予第三顺位及第四顺位来计算出匹配顺位。

即，没有与观看者a形成社会关系的人物客体影像的观看者关系型视频画面内输出位置不重要的情况下，将没有与观看者a形成关系的人物客体影像的匹配顺位设定成共同顺位，并人物客体影像以随机(random)的方式配置人物客体影像。当需要对没有赋予匹配顺位的人物客体影像指定画面内输出位置时，优选地，利用根据向人物客体影像赋予的识别号的顺序赋予匹配顺位的方法、或向每个人物客体影像赋予随机匹配顺位的方法，向每个人物客体影像配置输出位置。

由此，如图10的(b)所示，根据各标签的“社会关系”项目的比较，从匹配顺位为第一顺位到共同第三顺位的4个人物客体影像依次分配影像层(layer)。使得，匹配顺位为第一顺位的人物客体影像002521在实时合成的观看者关系型视频中，配置在画面的前排左侧；第二顺位的人物客体影像003531配置在画面的前排右侧；并且，在共同第三顺位的人物客体影像001511及人物客体影像004541中，人物客体影像的识别号更早的人物客体影像001511配置在画面的后排左侧，其次的人物客体影像004541配置在画面的后排右侧。

另一方面，为了使分别配置于前排和后排的人物客体影像具有远近感，优选地，将配置在后排的人物客体影像001511及人物客体影像004541的大小以相对于前排的人物客体影像002521及人物客体影像003531的大小更小的方式输出。对于每个人物客体影像的画面配置，通过对应于预先设定在观看者关系型视频制作部270的画面构图，配置各匹配顺位的人物客体影像。

并且，如图10的(c)所示，根据其他实施例的画面构图为从左侧的前排向右侧分别配置在后排的结构时，，通过将在画面中看着最为清楚的前排左侧配置匹配顺位为第一顺位的人物客体影像002521；第二顺位的人物客体影像003531的配置比匹配顺位为第一顺位的配置更靠后排右侧；第三顺位的人物客体影像001511的配置比匹配顺位为第二顺位的配置更靠后排右侧；第四顺位的人物客体影像004541的配置比匹配顺位为第三顺位的配置更靠后排右侧，从而能够以越向画面的右侧，所配置的人物客体影像的大小越小的方式赋予远近感。

另外，如图10的(d)所示，通过在根据匹配顺位的观看者关系型视频中，将画面内的配置形成为与图10的(c)相同的配置，但相对于图10的(c)的人物客体影像，放大每个人物客体影像，从而能够以使每个人物客体影像看得更为具体的方式制作观看者关系型视频。

即，在图10的(c)中，以在画面内，能够看到全部(全身)的每个人物客体影像的方式调整了人物客体影像511、521、531、541的大小。然而，图10的(d)示出的实施例中，配置为放大成不输出人物客体影像511、521、531、541的演出者的全部模样而仅输出一部分。

图11为表示根据本发明的一体现例，将与符合观看者标签的客体标签相关联的人物客体影像，根据客体标签的匹配顺位，在观看者关系型视频内调整位置及大小的示意图。如图11的(a)所示，观看者a利用4个人物客体影像511、521、531、541请求观看者关系型视频，与其对应地，在观看者关系型视频制作装置中提供(参照图10)该观看者关系型视频后，能够接收来自额外的提供者的每个人物客体影像551、561、571。

通过合成根据观看者a的请求提取的人物客体影像511、521、531、541、551、561、571来提供观看者关系型视频。图11的(a)示出了添加有3个人物客体影像551、561、571，但是，根据由上传到观看者关系型视频制作装置200的视频数量被提取而添加的人物客体影像的数量可能会不同。

由此，如图11的(b)所示，在图10中，请求观看者关系型视频的观看者a在添加有3个人物客体影像之后，再次请求观看者关系型视频时，观看者关系型视频制作装置200的关系匹配部260比较该观看者a的观看者标签与人物客体影像511、521、531、541、551、561、571的客体标签来导出符合的客体标签。

此时，在图10的实施例中原来不符合观看者a的观看者标签的人物客体影像001511及人物客体影像004541，其在图10的实施例中包括在该观看者的观看者关系型视频中，因此，可以判断为与观看者a的形成了关系，从而在与该人物客体影像对应的客体标签的各项目中，将“提供者”、“演出者”等的数据包括在观看者标签的“社会关系”项目中。并且，除“社会关系”的项目之外，还被包括的项目可包括“事件号”、“人物客体影像识别号”等的数据。

由此，如图11的(b)所示，在更新了观看者a的观看者标签的状态下添加的人物客体影像007571的客体标签，其符合观看者标签。并且，在图10中原来不符合观看者标签的人物客体影像001511及人物客体影像004541被包括在观看者关系型视频中后，被判断为客体标签重新符合观看者标签。

即，包括使得观看者a的观看者标签的项目中的“社会关系”重新形成的人物客体影像001511及人物客体影像004541，从而以如下方式计算出所有人物客体影像511、521、531、541、551、561、571的匹配顺位。与观看者a的观看者标签匹配顺位最高的第一顺位是人物客体影像007571；第二顺位是人物客体影像002521；第三顺位是人物客体影像003531；第四顺位是人物客体影像001511；第五顺位是人物客体影像004541；第六顺位是将没有形成匹配关系的人物客体影像005551及人物客体影像006561共同导出。

由此，从匹配顺位为第一顺位到第七顺位的各个人物客体影像被依次指定影像层(layer)，匹配顺位为第一位的人物客体影像007571在实时被合成的观看者关系型视频中，配置于画面的前排中间。第二顺位的人物客体影像002521配置在前排左侧。第三顺位的人物客体影像003531配置在画面的前排右侧。第四顺位的人物客体影像001511以画面中间为中心，配置在画面的后排第二左侧。第五顺位的人物客体影像004541配置在画面的后排第一左侧。共同第六顺位的人物客体影像005551及人物客体影像006561中，人物客体影像的编号更早的人物客体影像005551配置于画面的后排第一右侧，其之后的人物客体影像006561配置于后排第二右侧。

另一方面，为了使分别配置于前排和后排的人物客体影像具有远近感，将配置在后排的人物客体影像001511、人物客体影像004541、人物客体影像005551及人物客体影像006561的大小相对小于前排的人物客体影像007571、人物客体影像002521及人物客体影像003531的大小。每个人物客体影像的画面配置是通过对应于预先设定在观看者关系型视频制作部270的画面构图，配置根据匹配顺位的人物客体影像。

根据这种匹配顺位，在观看者a请求的观看者关系型视频的画面内配置各个人物客体影像511、521、531、541、551、561、571的输出位置并对上述人物客体影像进行合成。

如图11的(c)所示，通过在根据匹配顺位的观看者关系型视频中，将画面内的配置形成为与图11的(b)的配置相同，但相对于图11的(b)的人物客体影像，放大每个人物客体影像，从而能够以使每个人物客体影像看得更为具体的方式进行合成。

即，在图11的(b)中，以在画面内，能够看到全部(全身)的每个人物客体影像的方式调整了人物客体影像511、521、531、541、551、561、571的大小。然而，图11的(c)示出的实施例中，配置为放大成不输出人物客体影像511、521、531、541、551、561、571的演出者的全部模样而仅输出一部分。

图12为表示根据本发明的一体现例，将与符合观看者标签的客体标签相关联的人物客体影像用作观看者关系型视频的背景画面的示意图。如图12所示，根据观看者的观看者关系型视频的请求，关系匹配部260比较观看者的观看者标签与客体标签，根据比较结果导出符合观看者标签的客体标签。

此时，根据本发明的一体现例，优选地，选择与被导出的客体标签相关联的人物客体影像来制作观看者关系型视频。然而，如图12所示，当需要观看者关系型视频制作装置200中设定的背景画面信息或观看者请求使用背景画面时，观看者关系型视频制作部270选择提供者a、b、c传送的各视频中的任意一个以上并用作背景画面。

即，对于选择与符合观看者的观看者标签的客体标签相关联的人物客体影像而言，任意一个客体标签可以不是选择相关联的人物客体影像，而是选择相关联的视频。

由此，选择与符合观看者的观看者标签的客体标签相关联的人物客体影像001511、人物客体影像003531及提供者b的视频。

观看者关系型视频制作部270在被选择的人物客体影像001511、人物客体影像003531及提供者b的视频中，将提供者b的视频用作该观看者关系型视频的背景画面，并且，将人物客体影像001511、人物客体影像003531分配在背景画面的上位影像层(layer)后，制作观看者关系型视频710。

最后，视频分配部280将在步骤s145中制作的观看者关系型视频传送至该观看者的观看者终端(s150)。

从视频分配部280提供至观看者终端410、420、430、440的观看者关系型视频以实时流式传输(streaming)方式提供，或以能够下载到观看者终端410、420、430、440的方式提供。并且，用于以各种方式接收观看者关系型视频的观看者终端410、420、430、440，可以直接与视频分配部280连接，并且，与具备于视频分配部280的网站(未图示)或具备于分开(separately)存在的网站300的网站(未图示)等连接，从而能够接收该观看者关系型视频。

另一方面，当通过观看者a、b、c、d各自拥有的观看者终端410、420、430、440请求观看者关系型视频时，与各个观看者标签匹配的人物客体影像被选择，且由各个不同选择而得的人物客体影像制作为与各观看者a、b、c、d匹配的观看者关系型视频。

在本发明中，提供者终端110、120、130、140还可以发送除了向接收部240传送的视频以外的副视频。提供者执行演出者的演出时，可以通过主摄像头拍摄视频，同时可以使用与主摄像头一同进行拍摄的副摄像头拍摄副视频。

即，将副视频与主摄像头所拍摄的视频不同地设置拍摄角度、拍摄距离、拍摄角等条件，从而拍摄为使得由主影像所制作的演出者的模样呈现出不同的产物。当提供者终端110、120、130、140存在各个副视频时，能够通过观看者关系型视频制作装置200传送该副视频。

副视频可包括音频，当不存在音频时，可以共享并一同使用包括在由主摄像头拍摄而传送的视频中的音频也无妨。即，在相同的时间、相同的空间由不同摄影设备拍摄的视频及副视频，包括相同的音频，因此，可以省略副视频的音频也无妨。

另一方面，当存在与接收的视频对应的副视频时，客体影像提取部200提取该副视频的副人物客体影像，并储存到储存部240。副人物客体影像一同使用利用对应的视频所生成的客体标签，并且关系匹配部260选择通过与观看者标签进行比较的人物客体影像，当存在与该被选择的人物客体影像对应的副人物客体影像时，也一同选择该副人物客体影像，并包括在相关视频制作部270中所制作的观看者关系型视频中。

本说明书中对发明的说明是用于说明优选实施例，本发明不限制于这些实施例。本发明所属的技术领域的本领域技术人员在不脱离本发明的技术思想的范围内，对以上实施例可进行各种变更及修改，本发明的技术思想包括所有的这些各种变更及修正。