专利名称：影片及影像信息嵌入科技系统的制作方法
技术领域：
本发明提供一种影片及影像信息嵌入科技系统，尤指一种以交互式的方式将与影片/图像内容中特定对象相关的信息嵌入，能够让使用者自由点击以获得更多相关信息的嵌入系统。
背景技术：
在日常生活中，人们总是会对许多出现在影片或是图像内容中的相关信息而感到好奇，但现有的科技却无法让人们进一步了解影片/图像中特定对象的相关信息。举例来说，在观赏戏剧节目时，人们可能会想要知道穿在男、女主角身上的衣服、裤子、鞋子、甚至是身上的饰品是什么品牌？要在哪里购买？此外，在观看烹饪节目时，人们也可能会想知道那道在节目上示范的佳肴是用什么特殊的锅具制作？厨师用的调味料、食材是什么？能在哪里买到？
遗憾的是，现在的科技却无法能够满足人们对影片/图像内特定对象的好奇心。特定对象的相关信息也无法轻易地被人们所取得，只能透过被动式的搜寻、检索、探听来获得。透过本发明，将与影片/图像内容中特定对象的相关信息嵌入其中，并允许点击至外部连结。所以当使用者在观看影片/图像时，只要将光标移到他们有兴趣的特定对象上，所有有关于该对象的信息便会出现且可供点击以获取更多信息。透过这样的交互式科技，使用者能以更方便、简单、且直觉的方式来从影片/图像中获得更多信息。在过去，所有与影片/图像内容相关的外部信息都无法被直接取得。所以，当使用者对一些影片/图像中的特定内容、特定对象感到兴趣时，他们必须透过间接、被动、分开的方式来取得这些信息(例如:搜寻引擎)。目前，虽然某些应用程序已经有在图像中嵌入一些相关的外部信息[1]，但却有着一些先天的限制:(a)这些外部的信息都是在事前嵌入的，缺乏弹性；且(b)没有延伸至影片的应用。至于影片，目前现有的嵌入技术仅有字幕嵌入或留言嵌入[2]，且都缺乏与使用者的互动性(例如:这些外部信息都无法依使用者的兴趣及特殊注意而做出反应)。[I] Nick Bilton, “A Peek at an Interactive Magazine for the AppleiPad”， The New York Times (March 18, 2010)。[2] S.K envin, et al., “Method and System for Annotative Multimedia, ”US 2010/0095211。
发明内容
故，本发明的发明人有鉴于上述缺失，乃搜集相关资料，经由多方评估及考虑，并以从事于此行业累积的多年经验，将与影片/图像内容中特定对象相关的信息嵌入其中，并允许点击至外部连结。所以当使用者在观看影片/图像时，只要将光标移到他们有兴趣的特定对象上，所有有关于该对象的信息便会出现且可供点击以获取更多信息。透过这样的交互式科技，使用者能以更方便、简单、且直觉的方式来从图像/影片中获得更多信息。
图1为本发明框架的分块框图(水平线条纹代表卷标生成者-用户模式，垂直线条纹代表用户中心模式，交叉条纹代表同时使用两种模式)。图2为嵌入外部信息的影片/图像的播放流程图。图3为实施例1的实现流程图。图4为实施例2的实现流程图。图号说明:
客户端 …… 110
服务器端 …… 120
客户端-服务器交互操作接口模块…… 121
影片/图像数据库…… 122
卷标数据库......123
影片/图像内容分析模块…… 124
影片/图像-外部信息关系分析模块……125
外部信息检索引擎……126
客户端-服务器交互操作接口模块……111
影片/图像内容分析模块……112
卷标嵌入引擎……113
原始影片/图像数据库……114 卷标信息数据库......115
用户操作接口模块……116。
具体实施例方式本发明提供使用者一个全新的互动方式来获取或嵌入关于影片/图像内容中特定目标物的相关外部信息。本发明可用于广告植入，交互式外部信息提供等应用。在本发明中，我们把嵌入的所有外部信息以卷标的形式显示，并将之命名为“标签”。本发明主要包含两部分:客户端110和服务器端120。服务器端包括客户端-服务器交互操作接口模块121，影片/图像数据库122，卷标数据库123，影片/图像内容分析模块124，影片/图像-外部信息关系分析模块125，以及外部信息检索引擎126。而客户端则包含客户端-服务器交互操作接口模块111，影片/图像内容分析模块112，卷标嵌入引擎113，原始影片/图像数据库114，卷标信息数据库115，以及用户操作接口模块116。在服务器端，客户端-服务器交互操作接口模块用于提供客户端与服务器两端之间的交互作用，能完成包括档案上传/下载、用户数据验证、用户登入操作、操作指令传递、以及其它的一些操作等。影片/图像数据库存储了影片/图像数据，而卷标数据库储存了被制作出的卷标档案，这些卷标档案包含了与影片/图像内容相关的外部信息。一般而言，每个影片/图像在卷标数据库中都有一个对应的标签档案。服务器端的影片/图像内容分析模块将从客户端-服务器交互操作接口模块接受来自于客户端的操作指令。当该模块被操作指令触发时，它将对用户在影片/图像中选定的目标物进行分割、追踪、及辨识等动作。另外，外部信息检索引擎会从影片/图像内容分析模块来获取信息，并从客户端-服务器交互操作接口模块接受来自客户端的操作指令。当该模块被客户端操作指令所触发时，它将从影片/图像内容分析模块中取得目标物分析结果信息，并从公开搜寻引擎、卷标数据库、或其它数据库中检索和目标物相关的外部信息。此外，影片/图像-外部信息关系分析模块则是从以下三个其它模块接受数据，分别是:外部信息检索引擎、影片/图像内容分析模块、以及客户端-服务器交互操作接口模块。在该模块从客户端-服务器交互操作接口模块接收到操作指令以后，它将进一步从影片/图像内容分析模块接收关于目标物的分析结果信息，同时从外部信息检索引擎接收关于目标物的外部检索结果信息；在接收完这些信息以后，该模块将生成与客户端指令指定的影片/图像中的目标物相关联的卷标信息。生成的卷标信息将会利用客户端-服务器交互操作接口模块传递到客户端。同时，该卷标信息也将会存为一个标签档案并储存于服务器端的卷标数据库中。另外在客户端，客户端-服务器交互操作接口模块同样用于提供客户端与服务器两端之间的交互作用，能完成包括档案上传/下载、用户信息验证、用户登入操作、操作指令传递、以及其它一些的操作动作等。用户操作接口模块用于提供与用户或者卷标生成者之间的交互作用、进行影片/图像上传、卷标信息的添加、建立嵌入外部信息的影片/图像、播放嵌入外部信息的影片/图像、取得用户感兴趣的目标物或目标物信息、以及其它一些操作等。客户端的原始影片/图像数据库储存了原始的影片/图像档案数据。此外，新的影片/图像档案也可以从服务器端的影片/图像数据库，或用户本人通过用户操作接口模块而添加到原始影片/图像数据库中。卷标信息数据库储存了可能被用于产生标签的所有可用外部信息。同样的，新的外部信息也可以从服务器端的卷标数据库或用户本人通过用户操作接口模块而添加到卷标信息数据库中。客户端的影片/图像内容分析模块通过用户操作接口模块，从用户或者卷标生成者方面接收操作指令。当该模块被操作指令触发时，它将对用户在影片/图像中选定的目标物进行分割、追踪、以及辨识等动作。另外，卷标嵌入引擎是从以下三个模块接收信息的，分别是:影片/图像内容分析模块、卷标信息数据库、以及用户操作接口模块。当该引擎被触发时，它首先从卷标信息数据库或者直接通过用户操作接口模块从卷标生成者这里获取卷标信息。同时，该引擎也会从影片/图像内容分析模块中接收分析出的目标物 相关信息。自此以后，卷标嵌入引擎将产生和用户指定的目标物相关的目标物外部信息卷标。生成的卷标信息将会存成一个档案并储存在客户端的卷标信息数据库中，或者上传到服务器端的卷标数据库中。另外，原始的影片/图像和它所对应的卷标信息档案组成了一个嵌入外部信息的影片/图像单元。一般而言，每个嵌入外部信息的影片/图像单元包含了一个原始影片/图像档案以及一个卷标档案。然而，并非每个嵌入外部信息的影片/图像单元只能包含一个原始影片/图像档案及一个卷标档案，也可以是一个原始影片/图像档案以及多个卷标档案的情况。嵌入外部信息的影片/图像单元可以通过用户操作接口模块播放来实现交互式外部信息显示功能。卷标信息文件包含了目标物在影片/图像中的位置、区域大小、及与目标物相关的所有外部信息等等。在影片/图像播放时，用户操作接口模块中的播放器同时也根据用户操作情况对卷标信息档案进行实时的分析(例如:一个用户操作情况的例子是用户光标在影片中的位置)。当用户移动光标到某些被卷标档案指定含有外部信息的目标物范围内时，对应于该目标物的外部信息卷标就会被自动弹出。否则的话，不会有外部信息卷标弹出，影片/图像就像平常一样播放。在下面的部分中，我们将具体描述关于我们发明框架的两个具体实施例(或两种运行模式)，即卷标产生者-用户模式(实施例1)以及用户中心模式(实施例2)。在实施例1 (卷标产生者-用户模式)中，在客户端，标签产生者(这些标签产生者包括广告商、品牌公司等等)首先选择从原始影片/图像数据库或自己另外上传的影片/图像中选择合适的影片/图像。接着，卷标产生者将通过用户操作接口模块从该影片/图像中选择他们想要嵌入外部信息的合适目标物(这些选择的目标物例子包括衣服，物体等等)。然后，用户操作接口模块将触发影片/图像内容分析模块对选择的目标物进行自动分割、追踪等操作。同时，卷标生成者可以通过直接输入目标物相关外部卷标信息或者从卷标信息数据库中检索出合适的卷标等方法得到目标物卷标信息。然后，用户操作接口模块将触发卷标嵌入引擎将卷标信息嵌入到影片/图像中，并生成一个独立的标签档案。标签档案生成以后，该档案及其对应的影片/图像文件将通过客户端-服务器交互操作接口模块被上传到服务器端。在服务器端，服务器从客户端-服务器交互操作接口模块接收影片/图像档案及卷标档案。同时，把它们分别保存到服务器端的影片/图像数据库和卷标数据库中。影片/图像观看者(即用户)同样也是通过另外一个客户端观看影片/图像的。影片/图像观看者首先通·过用户操作接口模块选择他们感兴趣的影片/图像档案。用户操作接口模块进一步通过客户端-服务器交互操作接口模块直接从服务器端的影片/图像数据库以及卷标数据库中获取影片/图像及其对应的卷标档案。获取了这些档案之后，就在客户端进行播放。在播放时，当用户将光标移动到影片/图像中他们感兴趣的目标物时，对应已经嵌入的卷标信息将会被从卷标文件中触发并弹出。透过这样的方式，所有和目标物相关的外部信息将会被显示在弹出后的标签中供浏览、点击并提供用户作进一步的互动。在实施例2 (用户中心模式)中，在客户端，影片/图像观看者(即用户)首先通过用户操作接口模块选择他们感兴趣的影片/图像。此时，用户操作接口模块将直接从服务器端的影片/图像数据库中取得该影片/图像并在客户端播放。当用户移动光标到或者选择他们感兴趣的目标物时，服务器端的影片/图像内容分析模块将被触发并对选定的目标物进行自动的分割、追踪、及辨识。影片/图像内容分析模块的输出是目标物在影片/图像中的位置以及对目标物进行辨识后的信息。在这个步骤之后，辨识出的目标物信息将会被输入到外部信息检索引擎中，该引擎将利用公众搜寻引擎、卷标数据库、或者是额外的数据库来检索出外部信息。外部信息检索引擎的输出将是用户选定的目标物相关的外部信息。最后，这些检索出的目标物外部信息以及辨识出的目标物本身信息都将被输入到影片/图像-外部信息关系分析模块，该模块将分析外部信息以及目标物本身信息之间的关系，并且生成适合用户选定目标物的卷标。产生的卷标将会在影片中用户选定目标物的边上弹出。同时,生成的卷标信息也会保存到卷标档案中并存到服务器端的卷标数据库中。值得注意的是，和实施例1标签生成者事先生成标签不同，实施例2中，卷标信息是实时动态生成的。本发明框架的分块框图将在图1中显示。嵌入外部信息的影片/图像的播放流程图将在图2中显示。实施例1和实施例2的实现流程图将分别在图3和图4中显示。
权利要求
1.一种在影片/图像内容中嵌入外部信息的交互式影片/图像信息嵌入科技系统，该系统包含: 一个服务器端包括: 一个客户端-服务器交互操作接口模块用于和客户端互动； 一个影片/图像数据库用于储存影片/图像数据； 一个卷标数据库用于储存目标物相关外部信息； 一个影片/图像内容分析模块用于分割、追踪、辨识影片/图像中的特定目标物； 一个外部信息检索引擎，用于从公共搜寻引擎、卷标数据库、或者额外数据库中检索外部信息； 一个影片/图像-外部信息关系分析模块，用于实时产生影片/图像中特定目标物的卷标；以及 一个客户端包括: 一个客户端-服务器交互操作接口模块用于和服务器端互动； 一个用户操作接口模块用于和用户/卷标生成者互动； 一个原始影片/图像数据库用于储存影片/图像数据； 一个卷标信息数据库用于储存和目标物相关的外部信息； 一个影片/图像内容分析模块用于`分割、追踪、辨识影片/图像中的特定目标物； 一个卷标嵌入引擎，用于产生与影片/图像相对应的卷标档案。
2.如权利要求1所述的交互式影片/图像信息嵌入科技系统，其中该系统可在多个模式下运行，包括: 一个卷标产生者-用户模式(即实施例1)，其中，标签产生者事先在客户端生成与影片/图像对应的卷标档案，并且将这个嵌入外部信息的影片/图像单元上传到服务器端； 影片/图像观看者(即用户)在服务器上选择并观看影片/图像并进行交互式的外部信息显不； 一个用户中心的模式(即实施例2)，其中，影片/图像观看者(即用户)直接在影片/图像上选择目标物，和该目标物相关的外部信息和卷标将实时的通过目标物辨识及实时信息检索来生成。
3.如权利要求1或2所述的交互式影片/图像信息嵌入科技系统，其中该系统嵌入外部信息的影片/图像单元: 一个影片/图像单元包含:(a)影片/图像档案、(b)对应的标签档案指定了影片/图像中目标物的位置、区域大小、及目标物相关的外部信息等等； 在影片/图像播放时，对应的卷标档案将会根据用户操作信息的情况作实时分析； 当用户移动光标到某些被卷标档案指定含有外部信息的目标物范围内时，对应于该目标物的外部信息卷标就会被自动弹出； 否则的话，不会有外部信息卷标弹出，影片/图像就像平常一样播放； 嵌入外部信息的影片/图像单元不单只可以在客户端通过用户操作接口模块进行播放，也可以直接在服务器端通过用户操作接口模块和客户端-服务器交互操作接口模块互联进行播放； 该系统所建立的弹出式信息卷标可利用上锁(lock)/解锁(unlock)按钮，来关闭(disable)/开启(enable)影片/图像中的弹出式信息卷标功能。
4.如权利要求1或2所述的交互式影片/图像信息嵌入科技系统，其中该外部信息检索引擎可以和基于文本或者基于图像的公共搜寻引擎、卷标数据库、或者额外数据库互相连结，这样影片/图像内容分析模块中所得到的对于特定目标物的分析结果将可以用来作为检索用的关键词输入到这些数据库或搜寻引擎中，以检索和特定目标物相关的外部信肩、O
5.如权利要求1或2所述的交互式影片/图像信息嵌入科技系统，其中该影片/图像内容分析模块能在客户端和服务器端同时被使用，用于对影片/图像中特定目标物进行自动或者手动的分割、追踪、及辨识等动作。
6.如权利要求1或2所述的交互式影片/图像信息嵌入科技系统，其中该卷标嵌入引擎或影片/图像-外部信息关系分析模块能被使用在客户端或者服务器端，该引擎或模块会输入由影片/图像内容分析模块产生的目标物分析信息以及由卷标信息数据库或外部信息检索引擎生成的卷标物外部信息，最终输出产生卷标档案。
7.如权利要求1或2所述的交互式影片/图像信息嵌入科技系统，其中客户端及服务器端所使用的影片/图像数据库及卷标数据库，分别用于储存影片/图像数据及卷标档案。
8.如权利要求1或2或3所述的所述之交互式影片/图像信息嵌入科技系统，其中该系统有两种接口模块被使用，包括: 一个在客户端运行的用户操作接口模块，用于和用户或卷标产生者互动并进行影片/图像上传、卷标信息添加、生成嵌入外部信息的影片/图像、播放嵌入外部信息的影片/图像、获取用户感兴趣的目标物或目标物信息、以及其它一些操作等； 一个同时运行于客户端及服务器端的客户端-服务器交互操作接口模块，用于客户端和服务器端之间的互动，能完成包括文件上传/下载、用户信息验证、用户登入操作、操作指令传递、以及其它一些的操作等。
9.如权利要求1或2所述的所述之交互式影片/图像信息嵌入科技系统，其中该服务器端与客户端之间的架构为: 包含一个或多个可以同时和多个客户端互动、同时对多个用户进行交互式信息嵌入以及影片/图像播放等操作的服务器； 客户端设备包括电视机、个人计算机、笔记型计算机、手机、智能型手机、平板计算机、投影机、以及其它任何影片/图像显示设备等； 服务器端设备包括工作站、服务器、云端计算平台等等。
10.如权利要求1或2或3所述的所述之交互式影片/图像信息嵌入科技系统，其中对于影片/图像中的感兴趣目标物: 影片内容中用户特别感兴趣的目标物可以以多种方式选取或弹出，包含但不限于:将鼠标光标移至目标物上、点击目标物、圈选目标物等； 可以被嵌入的目标物可以是影片/图像中的任何目标，包含但不限于:人物、服饰、月艮饰配件、配件、动物、各种车辆、化妆品、化妆品呈现于脸部的效果、背景音乐、植物、地理景观、背景、餐厅、地点、任何目标物等； 对于已经嵌入信息卷标的目标物，会使用一些记号或表现来表示该目标物是可以被点选以获取更多外部信息的；这些记号或表现包含但不限于:底线字、小型的彩色块、小圆点、水印、发光的线条圈出该目标物，浮出的轮廓等； 和目标物关联的弹出式信息卷标可由多种方式关闭，包含但不限于:将鼠标光标从目标物上移开、 点击信息卷标上的「关闭」(close)按钮、点击影片/图像中的其它地方等。
全文摘要
影片及影像信息嵌入科技系统。在日常生活中，人们总是会对许多出现在影片或是图像内容中的相关信息而感到好奇，但现有的科技却无法让人们对于影片/图像中一些特定对象的好奇心得到满足。透过我们提出的这项发明，我们能以交互式的方式将与影片/图像内容中特定对象相关的信息嵌入，所以当人们将鼠标光标移到他们感兴趣的对象上面时，所有相关的信息和辅助的功能便会出现，并能够让使用者自由点击以获得更多相关信息。
文档编号H04N21/4722GK103247063SQ201210031659
公开日2013年8月14日 申请日期2012年2月13日 优先权日2012年2月13日
发明者张棨翔, 林巍峣 申请人:张棨翔, 林巍峣