[0346] 进一步地，所述处理器21，还用于将所述当前图像和所述知识库中至少一幅图像 进行相似度比较，W及还用于选取相似度超过第五预设阔值的N幅图像作为当前图像的参 考图像，其中N为大于等于1的整数。
[0347] 本发明实施例提供一种视频处理器，视频处理器将待编码视频分割为至少两段场 景，并将各段场景划分为至少两个场景类别，然后，视频处理器从至少两个场景类别中的至 少一个场景类别中分别选取出至少一幅图像，最后，视频处理器保存选取出的图像，W生成 知识库。
[034引从上面可W看出，本发明实施例中的知识库是视频处理器根据待编码视频生成 的，因此，该知识库与待编码视频之间的相关性较高。另外，视频处理器器是将待编码视频 进行分割，并划分为至少两个场景类别，然后根据场景类别的划分，从至少一个场景类别中 选取图像的。视频处理器从场景类别的角度出发，选取图像，并将选取出的图像存储至知识 库，有效地降低了图像库中数据之间的冗余度。该样，本发明技术方案解决了目前图像库中 数据冗余较大，与待编码视频相关性较低的问题。进而，有效的解决了视频编码效率较低的 问题。
[0349] 所属领域的技术人员可W清楚地了解到，为描述的方便和简洁，仅W上述各功能 模块的划分进行举例说明，实际应用中，可W根据需要而将上述功能分配由不同的功能模 块完成，即将装置的内部结构划分成不同的功能模块，W完成W上描述的全部或者部分功 能。上述描述的系统，装置和单元的具体工作过程，可W参考前述方法实施例中的对应过 程，在此不再寶述。
[0350] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可W 通过其它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，模块或单元 的划分，仅仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个单元或组 件可W结合或者可W集成到另一个系统，或一些特征可W忽略，或不执行。另一点，所显示 或讨论的相互之间的禪合或直接禪合或通信连接可W是通过一些接口，装置或单元的间接 禪合或通信连接，可W是电性，机械或其它的形式。
[0351] 作为分离部件说明的单元可W是或者也可W不是物理上分开的，作为单元显示的 部件可W是或者也可W不是物理单元，即可W位于一个地方，或者也可W分布到多个网络 单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 [0巧2] 另外，在本发明各个实施例中的各功能单元可W集成在一个处理单元中，也可W 是各个单元单独物理存在，也可W两个或两个W上单元集成在一个单元中。上述集成的单 元既可W采用硬件的形式实现，也可W采用软件功能单元的形式实现。
[0353] 本领域普通技术人员可W理解；实现上述方法实施例的全部或部分步骤可W通过 程序指令相关的硬件来完成，前述的程序可W存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括；ROM、RAM、磁碟或者 光盘等各种可W存储程序代码的介质。
[0巧4]W上，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉 本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在 本发明的保护范围之内。因此，本发明的保护范围应W权利要求的保护范围为准。
【主权项】
1. 一种视频处理方法，其特征在于，包括： 将待编码视频分割为至少两段场景； 将各段场景划分为至少两个场景类别； 从所述至少两个场景类别中的至少一个场景类别中分别选取出至少一幅图像； 保存选取出的图像，以生成知识库。2. 根据权利要求1所述的视频处理方法，其特征在于，所述选取出的图像中任意两幅 图像之间的相似度低于第一预设阈值。3. 根据权利要求1所述的视频处理方法，其特征在于，所述将各段场景划分为至少两 个场景类别，包括： 每段场景为一个场景类别； 或者， 检测至少一段场景和其不相邻场景的相似度，并将相似度大于或等于第二预设阈值的 场景划分为同一个场景类别。4. 根据权利要求3所述的视频处理方法，其特征在于，所述检测至少一段场景和其不 相邻场景的相似度，包括： 从各段场景中分别选取一幅代表图像； 计算任意两段不相邻场景的代表图像之间的相似度；所述相似度使用两幅图像之间的 图像差、特征描述子相似度或运动补偿残差中的一种来衡量。5. 根据权利要求1所述的视频处理方法，其特征在于，所述从所述至少两个场景类别 中的至少一个场景类别中分别选取出至少一幅图像，包括： 选取第一场景类别中任意一段场景的第一预设位置的图像，所述第一场景类别为所述 至少一个场景类别中的任意一个场景类别； 或者， 根据所述第一场景类别中各段场景的活动性选取图像，所述活动性使用运动矢量强 度、图像差、运动补偿残差或者图像特征变化中的至少一种来衡量；其中，所述图像特征至 少包括亮度直方图、色度直方图、特征描述子中的一种，所述特征描述子至少包括尺度不变 转换SIFT特征描述子、加速稳健特征SURF特征描述子中的一种。6. 根据权利要求5所述的视频处理方法，其特征在于，所述第一预设位置属于所述待 编码视频中的随机访问点。7. 根据权利要求1所述的视频处理方法，其特征在于，所述保存选取出的图像，以生成 知识库，具体包括： 对选取出的图像进行编码，生成重建图像； 保存重建图像，以生成知识库。8. 根据权利要求5所述的视频处理方法，其特征在于，所述根据所述第一场景类别中 各段场景的活动性选取图像，包括： 计算所述第一场景类别中每段场景的活动性； 根据所述每段场景的活动性，确定每段场景中需要选取图像的数量； 采用第一预设选取规则，在每段场景中选取图像，所述选取图像的数量与所述需要选 取图像的数量相同。9. 根据权利要求8所述的视频处理方法，其特征在于， 当第一场景类别中只包含有一段场景，且在该段场景中需要选取图像的数量为零时， 则将所述第一场景类别需要选取图像的数量修改为一； 当所述第一场景类别中包含至少两段场景，且所有场景中需要选取图像的数量均为零 时，则将所述第一场景类别中其中一段场景需要选取图像的数量修改为一。10. 根据权利要求8或9所述的视频处理方法，其特征在于， 每段场景中需要选取图像的数量和该段场景的活动性呈单调递增关系，但每段场景中 需要选取图像的数量不超过第三预设阈值。11. 根据权利要求8所述的视频处理方法，其特征在于，所述采用第一预设选取规则， 在每段场景中选取图像，包括： 根据选取图像的数量，等间隔或近似等间隔地从场景中选取出相应数量的图像。12. 根据权利要求5所述的视频处理方法，其特征在于，所述根据所述第一场景类别中 各段场景的活动性选取图像，包括： 计算所述第一场景类别中位于第二预设位置的图像的活动性； 根据各个位于第二预设位置的图像的活动性和第二预设选取规则，选取所述第一场景 类别中的图像。13. 根据权利要求12所述的视频处理方法，其特征在于，所述根据各个位于第二预设 位置的图像的活动性和第二预设选取规则，选取所述第一场景类别中的图像，包括： 从第一幅位于第二预设位置的图像开始，累积各幅位于第二预设位置的图像的活动 性； 当活动性累积达到第四预设阈值时，选取对应位置的图像； 将活动性清零，从选取出的图像所在位置的下一个第二预设位置开始重复上述累积活 动性、达到第四预设阈值时选取对应位置图像的过程，直到遍历完所述第一场景类别中所 有位于第二预设位置的图像。14. 根据权利要求12所述的视频处理方法，其特征在于，所述第二预设位置属于所述 待编码视频中的随机访问点。15. 根据权利要求1-14中任意一项所述的视频处理方法，其特征在于，所述选取出的 图像属于所述待编码视频中的随机访问点所在的图像。16. 根据权利要求6、14、15中任意一项所述的视频处理方法，其特征在于，所述待编码 视频中的随机访问点所在的图像采用帧内编码，或者仅参考知识库中的至少一幅图像采用 帧间编码。17. 根据权利要求1-16中任意一项所述的视频处理方法，其特征在于，所述方法还包 括： 获取当前图像，所述当前图像为所述待编码视频中至少一幅图像； 从所述知识库中选择所述当前图像的至少一幅参考图像； 根据所述至少一幅参考图像对所述当前图像进行编码。18. 根据权利要求17所述的视频处理方法，其特征在于，所述当前图像至少包括所述 待编码视频中至少一个随机访问点所在的图像。19. 根据权利要求17所述的视频处理方法，其特征在于，从所述知识库中选择所述当 前图像的至少一幅参考图像，包括： 将所述当前图像和所述知识库中至少一幅图像进行相似度比较； 选取相似度超过第五预设阈值的N幅图像作为当前图像的参考图像，其中N为大于等 于1的整数。20. -种视频处理装置，其特征在于，包括： 分割单元，用于将待编码视频分割为至少两段场景，以及用于将各段场景划分为至少 两个场景类别； 选取单元，用于从所述至少两个场景类别中的至少一个场景类别中分别选取出至少一 幅图像； 存储单元，用于保存所述选取单元选取出的图像，以生成知识库。21. 根据权利要求20所述的视频处理装置，其特征在于，所述选取出的图像中任意两 幅图像之间的相似度低于第一预设阈值。22. 根据权利要求20所述的视频处理装置，其特征在于， 所述分割单元，具体用于将每段场景划分为一个场景类别； 或者， 所述分割单元，具体用于检测至少一段场景和其不相邻场景的相似度，并将相似度大 于或等于第二预设阈值的场景划分为同一个场景类别。23. 根据权利要求22所述的视频处理装置，其特征在于， 所述选取单元，具体用于从各段场景中分别选取一幅代表图像； 所述视频处理装置还包括计算单元； 所述计算单元，用于计算任意两段不相邻场景的代表图像之间的相似度；所述相似度 使用两幅图像之间的图像差、特征描述子相似度或运动补偿残差中的一种来衡量。24. 根据权利要求20所述的视频处理装置，其特征在于， 所述选取单元，具体用于选取第一场景类别中任意一段场景的第一预设位置的图像， 所述第一场景类别为所述至少一个场景类别中的任意一个场景类别； 所述选取单元，具体用于根据所述第一场景类别中各段场景的活动性选取图像，所述 活动性使用运动矢量强度、图像差、运动补偿残差或者图像特征变化中的至少一种来衡量； 其中，所述图像特征至少包括亮度直方图、色度直方图、特征描述子中的一种，所述特征描 述子至少包括尺度不变转换SIFT特征描述子、加速稳健特征SURF特征描述子中的一种。25. 根据权利要求24所述的视频处理装置，其特征在于，所述第一预设位置属于所述 待编码视频中的随机访问点。26. 根据权利要求20所述的视频处理装置，其特征在于， 所述视频处理装置还包括处理单元； 所述处理单元，还用于对选取出的图像进行编码，生成重建图像； 所述存储单元，具体用于保存所述处理单元生成的重建图像，以生成知识库。27. 根据权利要求24所述的视频处理装置，其特征在于， 所述计算单元，还用于计算所述第一场景类别中每段场景的活动性； 所述视频处理装置还包括确定单元； 所述确定单元，用于根据所述计算单元计算的每段场景的活动性，确定每段场景中需 要选取图像的数量； 所述选取单元，还用于采用第一预设选取规则，在每段场景中选取图像，所述选取图像 的数量与所述需要选取图像的数量相同。28. 根据权利要求27所述的视频处理装置，其特征在于， 当第一场景类别中只包含有一段场景，且在该段场景中需要选取图像的数量为零时， 则将所述第一场景类别需要选取图像的数量修改为一； 当所述第一场景类别中包含至少两段场景，且所有场景中需要选取图像的数量均为零 时，则将所述第一场景类别中其中一段场景需要选取图像的数量修改为一。29. 根据权利要求27或28所述的视频处理装置，其特征在于， 每段场景中需要选取图像的数量和该段场景的活动性呈单调递增关系，但每段场景中 需要选取图像的数量不超过第三预设阈值。30. 根据权利要求27所述的视频处理装置，其特征在于， 所述选取单元，还用于根据选取图像的数量，等间隔或近似等间隔地从场景中选取出 相应数量的图像。31. 根据权利要求24所述的视频处理装置，其特征在于， 所述计算单元，还用于计算所述第一场景类别中位于第二预设位置的图像的活动性； 所述选取单元，还用于根据所述计算单元计算的各个位于第二预设位置的图像的活动 性和第二预设选取规则，选取所述第一场景类别中的图像。32. 根据权利要求31所述的视频处理装置，其特征在于， 所述处理单元，还用于从第一幅位于第二预设位置的图像开始，累积各幅位于第二预 设位置的图像的活动性； 所述选取单元，还用于当活动性累积达到第四预设阈值时，选取对应位置的图像。33. 根据权利要求31所述的视频处理装置，其特征在于，所述第二预设位置属于所述 待编码视频中的随机访问点。34. 根据权利要求20-33中任意一项所述的视频处理装置，其特征在于，所述选取出的 图像属于所述待编码视频中的随机访问点所在的图像。35. 根据权利要求25、33、34中任意一项所述的视频处理装置，其特征在于，所述待编 码视频中的随机访问点所在的图像采用帧内编码，或者仅参考知识库中的至少一幅图像采 用帧间编码。36. 根据权利要求20-35中任意一项所述的视频处理装置，其特征在于，所述视频处理 装置还包括获取单元； 所述获取单元，用于获取当前图像，所述当前图像为所述待编码视频中至少一幅图 像； 所述选取单元，还用于从所述知识库中选择所述当前图像的至少一幅参考图像； 所述处理单元，还用于根据所述选取单元选择出的至少一幅参考图像对所述当前图像 进行编码。37. 根据权利要求36所述的视频处理装置，其特征在于，所述当前图像至少包括所述 待编码视频中至少一个随机访问点所在的图像。38. 根据权利要求36所述的视频处理装置，其特征在于， 所述处理单元，还用于将所述当前图像和所述知识库中至少一幅图像进行相似度比 较； 所述选取单元，还用于选取相似度超过第五预设阈值的N幅图像作为当前图像的参考 图像，其中N为大于等于1的整数。
【专利摘要】本发明的实施例提供一种视频处理方法及装置，涉及多媒体处理技术领域，能够有效提高视频编码的效率。该方法包括：将待编码视频分割为至少两段场景；将各段场景划分为至少两个场景类别；从至少两个场景类别中的至少一个场景类别中分别选取出至少一幅图像；保存选取出的图像，以生成知识库。
【IPC分类】H04N19/87, H04N19/527, H04N19/179
【公开号】CN104902279
【申请号】CN201510271487
【发明人】虞露, 左旭光, 赵寅, 杨海涛
【申请人】浙江大学, 华为技术有限公司
【公开日】2015年9月9日
【申请日】2015年5月25日