一种面向视频的视觉特征编码方法及装置的制造方法_2

文档序号:8447687阅读:来源:国知局
前帖的全局特征对应的参考子向量; [0化0] 全局特征比特流获取单元,用于根据所述视频流中无参考全局特征的帖的全局特 征的子向量,和有参考全局特征的帖的全局特征的子向量及对应的参考子向量,对所述视 频流中各帖的全局特征进行编码,获取所述视频流的待发送的全局特征比特流。
[0化1] 第四方面,本发明还提供一种服务器,包括:
[0化2] 接收单元,用于接收客户端发送的视频流的全局特征比特流,所述全局特征比特 流包括:头部区域;所述头部区域包括;是否使用参考全局特征的信息,所述参考全局特征 的索引信息、标示组成全局特征的概率密度函数使用信息、标示累积梯度向量的类别数信 息、和标示子向量的编码方式的信息;
[0化3] 全局特征还原单元,用于根据所述全局特征比特流和所述服务器中存储的与所述 客户端中相同的全局特征生成规则,获取所述视频流中各帖的全局特征;
[0054]或者,
[0化5] 所述接收单元,用于接收客户端发送的视频流的全局特征比特流,所述全局特征 比特流包括;头部区域和非头部区域,所述头部区域包括:是否使用参考全局特征的信息, 所述参考全局特征的索引信息、标示组成全局特征的概率密度函数使用信息、标示累积梯 度向量的类别数信息、标示子向量的编码方式的信息、和/或编码方式对应的量化参数信 息;所述非头部区域包括;编码后的无参考全局特征的帖的全局特征对应的子向量,和/ 或,编码后的有参考全局特征的帖的全局特征子向量与参考子向量的残差;
[0化6] 所述全局特征还原单元,用于根据所述全局特征比特流和所述服务器中存储的与 所述客户端中相同的全局特征生成规则,获取所述视频流中各帖的全局特征。
[0化7] 第五方面,本发明实施例提供一种视频处理系统,包括:
[0化引如上任一所述的面向视频的视觉特征编码装置和如上任一所述的服务器,其中, 所述面向视频的视觉特征编码装置将获取的视频流的全局特征比特流发送所述服务器,所 述服务器根据接收的所述全局特征比特流还原所述视频流中各帖的全局特征。
[0化9] 由上述技术方案可知,本发明的面向视频的视觉特征编码方法及装置,通过确定 每一帖是否有参考全局特征,在有参考全局特征时,获取参考子向量,进而获取待发送的比 特流,可在客户端传输数据时快速压缩传输的特征数据,降低传输数据量,提高客户端的视 频流的传输效率。
【附图说明】
[0060] 图1为本发明一实施例提供的面向视频的视觉特征编码方法的流程示意图;
[0061] 图2为本发明另一实施例提供的面向视频的视觉特征编码方法的流程示意图;
[0062] 图3为本发明另一实施例提供的面向视频的视觉特征编码方法的流程示意图;
[0063] 图4为本发明一实施例提供的面向视频的视觉特征编码装置的结构示意图;
[0064] 图5为本发明一实施例提供的服务器的结构示意图。
【具体实施方式】
[0065] 下面结合附图,对发明的【具体实施方式】作进一步描述。W下实施例仅用于更加清 楚地说明本发明的技术方案,而不能W此来限制本发明的保护范围。本发明实施例中所使 用的"第一"、"第二"仅为更清楚的说明本申请的内容,不具有特定含义,也不限定任何内 容。
[0066] 图1示出了本发明一实施例提供的面向视频的视觉特征编码方法的流程示意图, 如图1所示,本实施例的面向视频的视觉特征编码方法如下所述。
[0067] 101、获取视频流中当前帖的全局特征。
[0068] 举例来说,步骤101可具体为:获取视频流中当前帖的一个或多个局部特征,根据 当前帖的所有局部特征,获取该帖的全局特征。
[0069] 在本实施例中,视频流中每一帖可为一幅图像。局部特征可为局部特征描述子,在 本发明中为方便描述,部分地方采用局部特征。全局特征可为全局特征描述子,在本发明中 为方便描述,部分地方采用局部特征,但是可W获知的是,本发明中的局部特征即为局部特 征描述子,全局特征即为全局特征描述子。
[0070] 在一种具体的例子中,获取当前帖的全局特征可包括;第一、获取当前帖的局部特 征描述子;第二、选择局部特征描述子的集合;第=、对选择的集合中的局部特征描述子进 行降维处理;第四、根据Fisher向量生成规则,对降维后的局部特征描述子进行转换,得到 累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造Fisher向量;对 Fisher向量经过量化W及Fisher向量稀疏性判别规则生成全局特征描述子。
[0071] 应说明的是,本实施例中视频流中每一帖的全局特征描述子的生成过程可采用现 有的方式实现,本实施例上述仅为简要说明,不对其进行限定,可根据实际需要设置。
[0072] 102、根据所述视频流中当前帖相邻帖的全局特征,确定当前帖的全局特征是否有 参考全局特征。
[0073] 例如,可获取当前帖的全局特征与相邻P帖中每一帖的全局特征的相似度,P为大 于等于1的自然数;该处的相邻P帖可为当前帖时间点之前的相邻P帖,也可为当前帖时间 点之后的相邻P帖;
[0074] 如果有至少一个相似度大于等于预设阔值,则选择最高相似度对应的全局特征作 为当前帖的参考全局特征;
[0075] 如果所有相似度都小于预设阔值,则确定当前帖无参考全局特征。
[0076] 在实际应用中,可获取当前帖的全局特征与视频流中当前帖的相邻帖的全局特征 的相似度,如果有一个或多个相似度大于预设阔值,则确定当前帖有参考全局特征,此时, 可将最高相似度对应的全局特征作为当前帖的参考全局特征。
[0077] 应用说明的是,在具体应用过程中,前述步骤102中根据所述视频流中当前帖相 邻帖的全局特征可理解为如下两种含义:
[007引第一、当前帖的相邻帖的全局特征可为原始的基于Fisher规则生成的全局特征 描述子。
[0079] 第二、当前帖的相邻帖的全局特征可为如下步骤104例举的任一编码方式编码之 后,再采用对应解码方式解码的全局特征。
[0080] 也就是说,当前帖的相邻帖的全局特征将先于当前帖的全局特征被编码,在计算 相似度的过程中,可将视频流中已经编码的当前帖的相邻帖的全局特征进行对应解码获 得。
[OOW] 103、如果步骤102中当前帖的全局特征有参考全局特征,则根据当前帖的参考全 局特征的子向量,获取所述当前帖的全局特征对应的参考子向量。
[0082] 举例来说,上述步骤103可包括下述的图中未示出的子步骤:
[0083] 1031、可根据当前帖的全局特征的生成规则,确定当前帖的全局特征的子向量;
[0084] 1032、根据参考全局特征的生成规则,确定参考全局特征的子向量;
[0085] 1033、根据所述当前帖的全局特征的子向量和所述参考全局特征的子向量,确定 所述全局特征在所述参考全局特征中对应的参考子向量。
[0086] 可理解的是,当前帖的全局特征的生成规则和参考全局特征的生成规则相同,即 为Fisher向量生成规则。当前,Fisher向量生成规则需要概率分布模型,所述概率分布模 型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数。
[0087] M个概率密度函数生成的累计梯度向量对应Fisher向量的M个子向量,M个子向 量经过量化W及Fisher向量稀疏性判别规则得到全局特征描述子中的K个子向量。
[008引因此,当前全局特征待编码的子向量将参考全局特征中同一个概率密度函数生成 的子向量作为参考子向量。
[0089] 104、根据所述视频流中无参考全局特征的帖的全局特征的子向量,和有参
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1