一种基于视频内容元素的信息标注和关联方法、系统和设备的制造方法
【技术领域】
[0001]本发明涉及视频技术领域，具体涉及一种基于视频内容元素的信息标注和关联方法、系统和设备。
【背景技术】
[0002]近年来，移动互联网和移动智能终端的快速发展正在影响着人们观看视频的方式。一方面，越来越多的人使用平板电脑、智能手机等终端设备观看在线视频或0TT(0VerThe Top)视频；另一方面，很多人喜欢在用电视或电脑观看视频的同时操作平板电脑或手机等“第二屏”终端设备，这些终端设备一般都具有触屏交互的功能，使得用户能够方便地与视频内容进行交互。
[0003]用户观看的视频中，通常含有数量巨大的VCE(Video Content Element,视频内容元素)，例如，商品、人物、音乐、地点、场所、字幕和背景知识。用户在观看视频的过程中，往往会对视频中的某一 VCE产生兴趣，并希望获得关于该VCE的相关信息。现有技术中，通常需要用户暂停视频，打开浏览器和搜索引擎，在搜索引擎中输入用户自认为贴切的关键字进行搜索。由于视频中的VCE通常难以用语言描述，因此，用户很难准确地查询到VCE的相关信息。
【发明内容】
[0004]本发明提供了一种基于视频内容元素的信息标注和关联方法、系统和设备，以解决现有技术中VCE的相关信息难以获取的缺陷。
[0005]本发明提供了一种基于视频内容元素VCE的信息标注和关联方法，应用于包括VCE服务器和VCE客户端的系统中，所述方法包括以下步骤:
[0006]所述VCE服务器接收来自所述VCE客户端的视频帧编号，将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
[0007]所述VCE服务器接收来自所述VCE客户端的被用户选择的VCE的索引信息，根据所述被用户选择的VCE的索引信息和所述视频帧编号，检索所述被用户选择的VCE的关联信息，并将所述关联信息发送给所述VCE客户端。
[0008]优选地，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括:
[0009]所述VCE服务器判断所述视频帧编号对应的视频帧内是否存在已标注VCE ;
[0010]所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端，具体为:
[0011]当所述VCE服务器判断出所述视频帧编号对应的视频帧内存在已标注VCE时，所述VCE服务器将所述已标注VCE的索引信息发送给所述VCE客户端。
[0012]优选地，所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端之后，还包括:
[0013]所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上。
[0014]优选地，所述已标注VCE为可视VCE，所述已标注VCE的索引信息为可视VCE的位置信息；
[0015]所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为:
[0016]所述VCE客户端根据所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上。
[0017]优选地，所述已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度。
[0018]优选地，所述已标注VCE为抽象VCE，所述已标注VCE的索引信息为抽象VCE的名称；
[0019]所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为:
[0020]所述VCE客户端根据所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
[0021]优选地，所述VCE服务器将所述关联信息发送给所述VCE客户端之后，还包括:
[0022]所述VCE客户端对所述关联信息进行展示。
[0023]优选地，所述被用户选择的VCE为已标注VCE，所述被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；
[0024]所述VCE客户端对所述关联信息进行展示，具体为:
[0025]所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项:名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
[0026]优选地，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括:
[0027]所述VCE服务器将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端；
[0028]所述VCE客户端根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
[0029]优选地，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括:
[0030]所述VCE服务器根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构，如果是，则从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；否则，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接，根据所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中。
[0031]优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
[0032]优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
[0033]优选地，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括:
[0034]所述VCE服务器接收来自所述VCE客户端的标注信息，根据所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
[0035]优选地，所述VCE服务器生成所述被用户选择的VCE的数据结构之后，还包括:
[0036]所述VCE服务器根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中，如果所述被用户选择的VCE出现在当前视频的其他视频帧上，则获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；如果所述被用户选择的VCE出现在其他视频中，则获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中。
[0037]优选地，所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面之后，还包括:
[0038]所述VCE客户端检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
[0039]所述VCE服务器根据被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端；
[0040]所述VCE客户端根据被触发视频的标识信息和接收到的视频帧的编号，向视频服务器发送播放请求，并在接收到来自所述视频服务器的视频数据后，对所述视频数据进行播放。
[0041]本发明还提供了一种VCE服务器，包括:
[0042]第一接收模块，用于接收来自VCE客户端的视频帧编号；
[0043]第一发送模块，用于将与所述第一接收模块接收到的所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
[0044]第二接收模块，用于接收来自所述VCE客户端的被用户选择的VCE的索引信息；
[0045]检索模块，用于根据所述第二接收模块接收到的所述被用户选择的VCE的索引信息和所述第一接收模块接收到的所述视频帧编号，检索所述被用户选择的VCE的关联信息;
[0046]第二发送模块，用于将所述检索模块检索到的所述关联信息发送给所述VCE客户端。
[0047]优选地，所述的VCE服务器，还包括:
[0048]第一判断模块，用于判断所述第一接收模块接收到的所述视频帧编号对应的视频帧内是否存在已标注VCE ；
[0049]所述第一发送模块，具体用于在所述第一判断模块判断出所述视频帧编号对应的视频帧内存在已标注VCE时，将所述已标注VCE的索引信息发送给所述VCE客户端。
[0050]优选地，所述第一发送模块，还用于将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端。
[0051 ] 优选地，所述被用户选择的VCE为未标注VCE ；
[0052]所述VCE服务器，还包括:
[0053]第二判断模块，用于根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构；
[0054]第一获取模块，用于在所述第二判断模块判断出所述VCE数据库中存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；
[0055]搜索模块，用于在所述第二判断模块判断出所述VCE数据库中不存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接；
[0056]第一生成模块，用于根据所述搜索模块接收到的所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中。
[0057]优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
[0058]优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
[0059]优选地，所述的VCE服务器，还包括:
[0060]第三接收模块，用于接收来自所述VCE客户端的标注信息；
[0061]第二生成模块，用于根据所述第三接收模块接收到的所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
[0062]优选地，所述的VCE服务器，还包括:
[0063]第三判断模块，用于根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中；
[0064]第二获取模块，用于在所述第三判断模块判断出所述被用户选择的VCE出现在当前视频的其他视频帧上时，获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；在所述第三判断模块判断出所述被用户选择的VCE出现在其他视频中时，获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数