。换言之，在显示屏的区域2710上显示每个人物的场景或镜头的再现屏幕而非缩略图，并通过用户进行选择的示例性实施方式也是可能的。
[0166]图28是示出根据另一示例性实施方式的人物选择屏幕的视图。如图28所示，用户可以直接选择出现在当前正再现的内容(例如，PVR或V0D)中的人物。在这种情况下，接收用于选择出现期望人物的屏幕2810上的人物的用户输入。这里，用于选择人物的示例性方式可以包括从远程控制器接收选择输入的方法、用户的音频识别、用户的操作识别、提供图像内容的设备100的按钮输入方法等。
[0167]例如，当按压远程控制器的特定按钮时，包含在当前屏幕中的至少一个人物上标记有如图28所示的引导线2820，高亮引导线2820通过远程控制器的方向按钮而改变，并且当通过远程控制器输入选择输入时，选择与高亮引导线2820相对应的人物，由此检测所选人物的场景或镜头。可替换地，可以显示预先检测的场景或镜头信息。
[0168]在音频识别的情况下，当输入诸如“找到他/她”或“找到那个人的场景”的音频时，通过音频识别模块进行音频识别、识别出至少一个人物、在该人物中标记引导线2820、并且识别用户音频“右侧的顶端(end of the top of the right) ”，从而选择与例如定位在屏幕右侧的顶端处的引导线2820相对应的人物。当选择了该人物，检测所选人物的场景或镜头。可替换地，显示预先检测的场景或镜头信息。用户也可以通过例如使用手指或当前屏幕中的用户对象指向屏幕中的人物来选择具体人物。
[0169]用户可以选择多个人物，而且，如上述图27A和图27B所示，可以通过人物汇总模式屏幕来显示多个人物，所选的具体人物的场景或镜头可以以与人物汇总模式相同的实施方案再现。
[0170]在如上所述的方法中，特别是正在观看广告等的用户选择出现在广告中的人物的情况下，提供图像内容的设备100搜索所选人物的图像内容、提取搜索到的图像内容中的场景或镜头、并且显示所提取的场景或镜头。
[0171]图29A和图29B是示出根据又一示例性实施方式的人物选择屏幕的视图。根据一个示例性实施方式，终端设备(未图示)可以从例如网络服务器接收图像内容并显示该图像内容。在这种情况下，如上所述，终端设备请求网络服务器检测场景和镜头，网络服务器与上述提供图像内容的设备100类似地操作，向终端设备提供场景或镜头的检测结果。终端设备显示所提供的图像。
[0172]图29A和29B是该情况的执行情景。如图29A所示，用户在浏览网页时可以读取特定男演员的文章2910。这里，用户可能想搜索文章2910中的男演员出现的图像内容。用户通过上述方法选择附加至该文章的图像2920中所包含的男演员。换言之，用户通过输入设备(例如通过使用鼠标点击或触摸文章图片)或通过音频识别或手势识别，来选择该文章中涉及的男演员。在这种情况下，终端设备向网络服务器传送例如与所选男演员(人物)有关的元信息(或图像信息)。网络服务器如上所述地搜索男演员出现的图像内容。
[0173]图29B是显示男演员“Jang Geu-rae”出现的图像内容的列表2930。网络服务器将图像内容的列表2930提供给终端设备，终端设备显示图像内容列表。用户可以选择其想查看的图像内容。可使用上述方法作为选择方法。
[0174]当选择了图像内容，网络服务器通过上述方法从所选图像内容中检测男演员“Jang Geu-rae”出现的场景或镜头，并传输检测到的场景或镜头的缩略图图像，如图27A和27B所示。用户可以通过终端设备来选择期望的场景或镜头，并从网络服务器接收数据流以再现图像内容。
[0175]在用户通过文档方式输入男演员姓名或人物姓名进行搜索的情况下，如图29B所示，网络服务器也可以通过执行文档搜索查询来提供男演员或人物出现的图像内容。用户可以通过上述方法选择图像内容，而且可对所选图像内容的场景或镜头进行检测，并通过数据流提供给用户终端设备。
[0176]图30是根据示例性实施方式的提供服务的图像内容的视图。如图30所示，提供图像内容的设备100可以使用从诸如电视(TV)广播/V0D/在线图像内容等的各种图像信息源3020识别出的人物信息，向用户终端设备(未图示)提供各种服务3030。
[0177]例如，提供图像内容的设备100不仅可以从TV广播3040向用户提供作为图像内容的基础提供服务的每个人物的分类场景3050，还可以在在线服务(例如，互联网)上搜索分类后的人物的面部图像，从而识别人物信息，并基于识别的信息向用户推荐3060在V0D内容中的相应人物的工作。
[0178]另外，提供图像内容的设备100可以使用识别的人物信息和从电子节目指南(EPG)中提取的程序信息，在在线图像内容3070中以相应程序收集3080与人物有关的图像信息，并且将收集到的图像信息提供给用户。如上所述，网络服务器可以起到提供图像内容的设备100的作用，而且可以通过用户终端设备提供最终服务。另外，每个内容源可以通过单独的服务器提供服务。在这种情况下，提供图像内容的设备可以起到中继服务器的作用。
[0179]图31是示出根据一个示例性实施方式的再现图像内容的方法的流程图。参照图31，根据示例性实施方式的再现图像内容的方法包括:选择图像内容中的人物(S3110)、提供与所选人物有关的场景或镜头信息(S3120)、以及再现与场景或镜头相对应的内容(S3130)。由于上面已经对各步骤进行了描述，所以将省略重复描述。
[0180]如上所述，根据多个示例性实施方式，提供了一种提供图像内容的方法和设备，该方法和设备能够基于场景划分内容并基于划分的场景有效地提供该内容中的人物的图像。
[0181]虽然在上文已经详细示出并描述了示例性实施方式，但是本公开不限于上述特定示例性实施方式，在不背离所附权利要求中公开的范围和精神的情况下，本公开所属领域的技术人员可以对本公开进行各种变化。
【主权项】
1.一种提供图像内容的方法，包括: 将图像内容划分成多个场景，每个场景包括多个镜头； 根据所述图像内容中出现的多个人物中的至少一个，将每个场景的图像帧分类； 接收用于选择所述多个人物中的任一个的用户输入；以及 生成与所选择的人物对应的显示场景。2.如权利要求1所述的提供图像内容的方法，其中，将所述图像内容划分成所述多个场景的步骤包括: 确定指示相邻帧之间的图像差异的图像差异特征向量； 基于所述差异特征向量检测镜头边界；以及 基于检测到的镜头边界，将所述图像内容划分成所述多个镜头。3.如权利要求2所述的提供图像内容的方法，其中，在检测所述镜头边界的步骤中，使用机器学习算法检测所述镜头边界。4.如权利要求2所述的提供图像内容的方法，其中，将所述图像内容划分成所述多个镜头的步骤包括: 对于所述多个镜头中的每一个，生成镜头特征向量，所述镜头特征向量包括指示所述多个镜头中的每一个的开始时信息的镜头开始时间信息、包含在一个镜头中的多个图像帧的图像特征值以及包含在一个镜头中的所述多个图像帧的音频特征值中的至少一个；以及基于生成的镜头特征向量将所述多个镜头分组为一个场景。5.如权利要求4所述的提供图像内容的方法，其中，将所述多个镜头分组为一个场景的步骤包括: 当第一镜头特征向量与第η镜头特征向量之间的相似度大于或等于预设值时，将从第一镜头到第η镜头的所有镜头分组到相同场景中。6.如权利要求1所述的提供图像内容的方法，其中，将每个场景的图像帧分类的步骤包括: 当从第一场景到第二场景产生场景变化时，根据包含在所述第一场景中的图像帧的身体信息将包含在所述第一场景中的图像帧分类； 通过分析分类后的图像帧的面部信息，提取面部特征信息； 基于提取的面部特征信息，向所述分类后的图像帧分配ID ;以及 生成分配有所述第一场景的ID的图像段信息。7.如权利要求6所述的提供图像内容的方法，其中，所述面部特征信息包括至少一个面部特征向量。8.如权利要求6所述的提供图像内容的方法，其中，向所述分类后的图像帧分配ID的步骤包括: 向所述分类后的图像帧分配具有与所述提取的面部特征信息相匹配的面部特征信息的ID。9.如权利要求6所述的提供图像内容的方法，其中，将图像帧分类还包括使用音频信息将图像帧分类。10.如权利要求1所述的提供图像内容的方法，其中， 在表现包含在所述图像帧中人物的面部的图像包括背景图像的情况下，使用图像数据将所述图像帧分类，在所述图像数据中，已移除表现所述人物的身体的图像中的与所述背景图像相对应的区域。11.如权利要求1所述的提供图像内容的方法，还包括: 在表现包含在所述图像帧中人物的面部的图像包括背景图像的情况下，生成已移除表现所述人物身体的图像中的、与所述背景图像相对应的区域的图像； 将包含在生成的图像中的人物与已分类的组中的人物进行比较，以确定相似度值；以及 在所述相似度值大于或等于预设值的情况下，将所述生成的图像包括到所述已分类的组中。12.如权利要求11所述的提供图像内容的方法，其中，将包含在所述生成的图像中的人物与所述已分类的组中的人物进行比较的步骤包括: 将包含在所述生成的图像中的人物的图像的颜色直方图与所述已分类的组中的人物的颜色直方图彼此进行比较。13.如权利要求1所述的提供图像内容的方法，还包括: 将包含在人物节点中的场景节点的特征值与所述人物节点的特征值进行比较，以确定相似度值；以及 基于所述相似度值，将所述场景节点从所述人物节点中删除。14.一种提供图像内容的设备，包括: 场景配置电路，配置为将所述图像内容划分成多个场景，每个场景包括多个镜头； 分类电路，配置为根据在所述图像内容中出现的多个人物中的每一个将每个场景的图像帧分类； 输入电路，配置为接收用于选择所述多个人物中的任一个的用户输入；以及， 显示器，配置为显示与所选择的人物相对应的场景。15.如权利要求14所述的提供图像内容的设备，其中， 所述场景配置电路被配置为确定指示相邻帧之间的图像差异的图像差异特征向量、基于确定出的图像差异特征向量检测镜头边界、以及基于检测到的镜头边界将所述图像内容划分成多个镜头。
【专利摘要】本文公开了一种提供图像内容的方法。提供图像内容的方法包括：将图像内容划分成多个场景，每个场景包括多个镜头；根据图像内容中出现的多个人物中的每一个将每个场景的图像帧分类；接收用于选择多个人物中的任一个的用户输入；以及显示与根据用户输入所选择的人物对应的场景。
【IPC分类】G06K9/00
【公开号】CN105373768
【申请号】CN201510501547
【发明人】郑旬默, 姜知洪, 苏载敏, 李知骁, 崔镇旭
【申请人】三星电子株式会社
【公开日】2016年3月2日
【申请日】2015年8月14日
【公告号】EP2985706A1, US20160048723, WO2016024806A1