提供图像内容的方法和设备的制造方法
【专利说明】提供图像内容的方法和设备
[0001]相关申请的交叉引用
[0002]本申请基于并要求于2015年4月17日在韩国知识产权局提交的第10-2015-0054757号韩国专利申请以及于2014年8月14日在韩国知识产权局提交的第10-2014-0105799号韩国专利申请的优先权，韩国专利申请公开的内容全部通过引用并入本文。
技术领域
[0003]本公开涉及提供图像内容的技术，更具体地，涉及提供用于提供用户所选人物的图像内容的方法和设备。
【背景技术】
[0004]随着显示设备提供各种图像内容的服务，已研发了能够选择性地只提供用户期望的图像内容的技术。通常，选择性地提供出现用户期望的男演员或女演员的图像内容的点播式内容服务技术已经商业化。
[0005]然而，为了提供进一步满足用户需求的服务，要求这样的技术，S卩，仅编辑和显示在单个图像内容中出现用户所期望的特定人物的图像。特别地，因为在用户欣赏内容的情境中配置内容的场景，所以需要考虑根据场景来提供图像的方法。换言之，要求根据场景划分内容并根据划分的场景有效地提供用于内容中人物的图像的技术。
【发明内容】
[0006]示例性实施方式克服以上缺点和以上未描述的其它缺点。
[0007]本公开提供一种提供图像内容的方法和设备，该方法和设备能够基于场景划分内容并根据划分的场景有效地提供内容中的人物的图像。
[0008]根据示例性实施方式，提供图像内容的方法包括:将图像内容划分为多个场景，每个场景包括多个镜头；根据图像内容中出现的多个人物中的每一个将每个场景的图像帧分类；接收用于选择多个人物中的任一个的用户输入；以及显示与所选择的人物对应的场景。
[0009]根据另一示例性实施方式，提供图像内容的方法包括:计算指示相邻帧之间的图像差异的图像差异特征向量；基于计算出的图像差异特征向量检测镜头边界；根据检测到的镜头边界将图像内容划分为多个镜头；根据在图像内容中出现的多个人物中的每一个将每个场景的图像帧分类；接收用于选择多个人物中的任一个的用户输入；以及显示与选择的人物对应的场景。
[0010]在检测镜头边界的过程中，可以使用机器学习算法检测镜头边界。
[0011]将图像内容划分成多个镜头可以例如包括:对于多个镜头中的每一个，生成镜头特征向量，镜头特征向量包括指示多个镜头中的每一个的开始时信息的镜头开始时间信息、包含在一个镜头中的多个图像帧的图像特征值以及包含在一个镜头中的多个图像帧的音频特征值中的至少一个；以及基于生成的镜头特征向量将多个镜头分组为一个场景。
[0012]在进行分组中，在第一镜头特征向量与第η镜头特征向量之间的相似度大于或等于预设值的情况下，从第一镜头到第η镜头的所有镜头可被分组到相同场景中。
[0013]根据又一示例性实施方式，提供图像内容的方法包括:将图像内容划分成多个场景，每个场景包括多个镜头；当从第一场景到第二场景产生场景变化时，根据包含在第一场景中的图像帧的身体信息将图像帧分类；通过分析分类后的图像帧的面部信息，提取面部特征信息；基于提取的面部特征信息向分类后的图像帧分配ID ;以及生成分配有第一场景的ID的图像段信息。提供图像内容的方法还可包括:接收用于选择多个人物中的任一个的用户输入；以及显示与所选择的人物对应的场景。
[0014]面部特征信息可以包括至少一个面部特征向量。
[0015]在分配ID的步骤中，可向分类后的图像帧分配具有与提取的面部特征信息相匹配的面部特征信息的ID。
[0016]在将图像帧分类的步骤中，还可使用音频信息将图像帧分类。
[0017]根据又一示例性实施方式，提供图像内容的方法包括:将图像内容划分成多个场景，每个场景包括多个镜头；以及在表现包含在图像帧中人物的面部的图像包括背景图像的情况下，使用图像数据将图像帧分类，在该图像数据中，已移除表现人物的身体的图像中的与背景图像相对应的区域。提供图像内容的方法还可以包括:接收用于选择多个人物中的任一个的用户输入；以及显示与所选择的人物对应的场景。
[0018]提供图像内容的方法还可以包括:在表现包含在图像帧中人物的面部的图像包括背景图像的情况下，生成已移除表现该人物身体的图像中的、与背景图像相对应的区域的图像；对包含在生成的图像中的人物与已分类的组中的人物进行比较，以确定相似度值；以及在所述相似度大于或等于预设值作为比较结果的情况下，将生成的图像包括到已分类的组中。
[0019]在对相似度进行比较的步骤中，可将包含在生成的图像中的人物的图像的颜色直方图与已分类的组中的人物的颜色直方图彼此进行比较。
[0020]根据又一示例性实施方式，提供图像内容的方法包括:将图像内容划分成多个场景，每个场景包括多个镜头；根据在图像内容中出现的多个人物中的每一个将每个场景的图像帧分类；将包含在人物节点中的场景节点的特征值与人物节点的特征值进行比较；以及，根据对场景节点的特征值与人物节点的特征值的相似度的比较，从人物节点中删除场景节点。提供图像内容的方法还可以包括:接收用于选择多个人物中的任一个的用户输入；以及显示与所选择的人物对应的场景。
[0021]根据又一示例性实施方式，提供图像内容的设备包括:场景配置单元或电路，用于将图像内容划分成多个场景，每个场景包括多个镜头；分类单元或电路，用于根据在图像内容中出现的多个人物中的每一个，将每个场景的图像帧分类；输入单元或电路，用于接收用于选择多个人物中的任一个的用户输入；以及显示单元或电路，用于显示与选择的人物对应的场景。
[0022]场景配置单元或电路可以计算指示相邻帧之间的图像差异的图像差异特征向量、基于计算出的图像差异特征向量来检测镜头边界，以及根据检测到的镜头边界将图像内容划分成多个镜头。
[0023]场景配置单元或电路可以使用机器学习算法检测镜头边界。
[0024]场景配置单元或电路可以对于多个镜头中的每一个，生成镜头特征向量，其中镜头特征向量包括指示多个镜头中的每一个的开始时间信息的镜头开始时间信息、包含在一个镜头中的多个图像帧的图像特征值、以及包含在一个镜头中的多个图像帧的音频特征值中的至少一个；以及基于生成的镜头特征向量之间的相似度，将多个镜头分组到一个场景中。
[0025]场景配置单元或电路可以在第一镜头特征向量和第η镜头特征向量之间的相似度大于或等于预设值的情况下，将从第一镜头到第η镜头的所有镜头分组到相同场景中。
[0026]分类单元或电路可以包括:身体识别单元或电路，用于在从第一场景到第二场景产生场景变化时，根据包含在第一场景中的图像帧的身体信息将图像帧分类；面部识别单元或电路，用于分析分类后的图像帧的面部信息以提取面部特征信息；ID分配单元或电路，用于基于提取的面部特征信息向分类后的图像帧分配ID ;以及图像段信息生成单元或电路，用于生成分配有第一场景的ID的图像段信息。
[0027]面部特征信息可以包括至少一个面部特征向量。
【附图说明】
[0028]从下文结合以下附图进行的详细描述中，示例性实施方式的以上和/或其它方面将变得更显而易见，在附图中相同的附图标号指代相同的元件，其中，
[0029]图1是示出根据一个示例性实施方式的提供图像内容的设备的配置的框图；
[0030]图2是示出根据另一示例性实施方式的提供图像内容的设备的配置的框图；
[0031]图3A至图3C是示出作为图像分析结果所生成的向量信息的视图；
[0032]图4是示出根据一个示例性实施方式的镜头特征向量的结构的视图；
[0033]图5至图8是示出根据一个示例性实施方式的场景分组方法的视图；
[0034]图9是示出根据一个示例性实施方式的镜头差异特征向量的视图；
[0035]图10是示出根据另一示例性实施方式的提供图像内容的设备的配置的框图；
[0036]图11至图13是示出根据多个示例性实施方式的用于将图像帧分类的数据结构的视图；
[0037]图14至图16是示出根据一个示例性实施方式的图像帧分类处理的视图；
[0038]图17是示出根据又一示例性实施方式的提供图像内容的设备的配置的框图；
[0039]图18是示出人物位置估计范围随人物的姿势变化的视图；
[0040]图19是示出根据又一示例性实施方式的提供图像内容的设备的配置的框图；
[0041]图20和图21是示出根据多个示例性实施方式的检验方法的视图；
[0042]图22至图26是根据多个示例性实施方式的提供图像内容的方法的流程图；
[0043]图27A和图27B是示出根据一个示例性实施方式的人物选择屏幕和设定屏幕的视图；
[0044]图28是示出根据另一示例性实施方式的人物选择屏幕的视图；
[0045]图29A和图29B是示出根据又一示例性实施方式的人物选择屏幕的视图；
[0046]图30是根据一个示例性实施方式的提供服务的图像内容的视图；以及
[0047]图31是根据一个示例性实施方式的再现图像内容的方法的流程图。
【具体实施方式】
[0048]本公开的示例性实施方式可以进行各种修改。相应地，特定的示例性实施方式在附图中示出并在【具体实施方式】中详细描述。但是，应理解，本公开不限于特定的示例性实施方式，而在不偏离本公开的范围和精神的情况下包括所有修改、等同以及置换。此外，由于可能因为不必要的细节而使本公开不清楚，所以没有详细描述公知的功能或结构。
[0049]“第一”、“第二”等术语可用来描述不同的部件，但是部件不受术语的限制。术语仅用于将一个部件与其它部件区分开。
[0050]在本公开中使用的术语用来描述示例性实施方式，但不旨在限制本公开的范围。只要与上下文不冲突，单数表达也包括复数含义。在本公开中，术语“包括”和“由…组成”指示在说明书中书写的特征、数字、步骤、操作、部件、元件或它们的组合的存在，但是不排除存在或可能添加一个或多个其它特征、数字、步骤、操作、部件、元件或它们的组合。
[0051 ] 如本领域技术人员应理解的，在本公开的示例性实施方式中，“模块”或“单元”执行至少一个功能或操作，而且可通过硬件、软件或他们的任何组合例如使用数字电路实现。另外，除了必须通过特定硬件实现的一个“模块”或“单元”外，多个“模块”或多个“单元”可以集成为至少一个模块，并且可以通过至少一个处理器(未图示)实现。
[0052]下面，参照附图对多个示例性实施方式进行详细描述。
[0053]图1是示出根据一个示例性实施方式的提供图像内容的设备100-1的配置的框图。
[0054]根据多个示例性实施方式的提供图像