图像预测方法及相关装置制造方法
【专利摘要】本发明实施例公开了一种图像预测方法和相关装置。一种图像预测方法包括：确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。本发明实施例的技术方案有利于提高图像预测的准确度。
【专利说明】图像预测方法及相关装置
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，具体涉及图像预测方法和相关装置。
【背景技术】
[0002] 随着光电采集技术的发展及不断增长的高清数字视频需求，视频数据量越来越 大，有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求，高 性能视频编码（英文：high efficient video coding,缩写：HEVC)标准的制定工作因需启 动。
[0003] 视频编码压缩的基本原理是利用空域、时域和码字之间的相关性，尽可能去除冗 余。目前流行做法是采用基于块的混合视频编码框架，通过预测（包括帧内预测和帧间预 测）、变换、量化、熵编码等操作实现视频编码压缩。帧内预测技术利用当前图像块的空间像 素信息去除当前图像块的冗余信息以获得残差；帧间预测技术利用当前图像邻近的已编码 或已解码图像像素信息去除当前图像块的冗余信息以获得残差。这种编码框架显示了很强 生命力，HEVC也仍沿用这种基于块的混合视频编码框架。
[0004] 现有技术提供了一种基于非局部均值滤波技术来对当前图像块进行像素值预测。 在从参考图像中搜索到与当前模板匹配的所有模板之后，利用该多个模板对应的图像块的 像素值的平均值得到当前图像块预测像素值。然而测试和实践过程中发现，现有预测技术 的预测准确度有时候较低，进而很可能影响到视频编解码质量。
【发明内容】
[0005] 本发明实施例提供一种图像预测方法和相关装置，以期提高图像预测的准确度。
[0006] 本发明第一方面提供一种图像预测方法，包括：
[0007] 确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前 图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得 到；
[0008] 确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板 中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；
[0009] 基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算 所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
[0010] 结合第一方面，在第一方面的第一种可能的实施方式中，所述确定所述N个模板 中的每个模板所对应图像块内像素区域的权重，包括：
[0011] 根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N模板中 的每个模板的权重；
[0012] 基于所述N模板中的每个模板的权重以及所述N模板中的每个模板与对应图像块 内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权 重。
[0013] 结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式 中，所述N模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N模板中的 每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N模板中的每个 模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的 比值或绝对差值。
[0014] 结合第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在 第一方面的第三种可能的实施方式中，所述根据所述N个模板中的每个模板与所述当前模 板之间的匹配度确定所述N模板中的每个模板的权重，包括：基于如下公式，根据所述N个 模板中的每个模板与所述当前模板之间的匹配度确定所述N模板中的每个模板的权重：
【权利要求】
1. 一种图像预测方法，其特征在于，包括： 确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像 块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到； 确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的 至少1个模板所对应图像块内的至少两个像素区域的权重不同； 基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述 当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
2. 根据权利要求1所述的方法，其特征在于，所述确定所述N个模板中的每个模板所对 应图像块内像素区域的权重，包括： 根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N模板中的每 个模板的权重； 基于所述N模板中的每个模板的权重以及所述N模板中的每个模板与对应图像块内像 素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
3. 根据权利要求2所述的方法，其特征在于，所述N模板中的每个模板与对应图像块内 像素区域的相似性参数包括：所述N模板中的每个模板中的确定像素区域与对应图像块内 像素区域的距离，和/或，所述N模板中的每个模板中的确定像素区域的像素值的均值或加 权均值与对应图像块内像素区域的像素值的比值或绝对差值。
4. 根据权利要求2至3任一项所述的方法，其特征在于，所述根据所述N个模板中的每 个模板与所述当前模板之间的匹配度确定所述N模板中的每个模板的权重，包括：基于如 下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N模板中 的每个模板的权重：
其中，所述E (Tx，TJ表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所 述S表示所述当前模板Tx内像素区域的数量，所述。表示模板缩放因子，所述a和所述〇 为大于〇的实数，所述wm表不模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模 板。
5. 根据权利要求2至4任一项所述的方法，其特征在于，所述基于所述N模板中的每个 模板的权重以及所述N模板中的每个模板与对应图像块内像素区域的相似性参数，确定所 述N个模板中的每个模板所对应图像块内像素区域的权重，包括：基于如下公式，基于所述 N模板中的每个模板的权重以及所述N模板中的每个模板与对应图像块内像素区域的相似 性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述Wni (i，j)表示所述N个模板中的模板T111所对应的图像块m中的坐标为（i，j) 的像素区域的权重，所述R(i，j)表示所述图像块m中的坐标为（i，j)的像素区域与所述模 板T111之间的相似性参数，所述价U))表示R(i，j)对应的像素区域缩放因子。
6. 根据权利要求5所述的方法，其特征在于，所述d价i，」_))与R(i，j)之间具有线性关 系或非线性关系。
7. 根据权利要求6所述的方法，其特征在于，所述与R(i，j)之间的线性关系 为：所述3叫、丨))=；^邱、1_)，其中，所述3为缩放系数，所述3为大于0的实数。
8. 根据权利要求6所述的方法，其特征在于， 所述叩?(i，j))与R(i，j)之间的非线性关系为：所述3(i?(i，j))的取值基于所述R(i，j) 所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
9. 根据权利要求8所述的方法，其特征在于，所述CW(U))与R(i，j)之间的非线性关
其中，所述al小于所述a2，所述a2小于所述a3，所述b 1小于所述b2 ;所述al、a2、a3、 bl和b2为大于O的实数； 或者， 所述f(/?(i，j))与R(i，j)之间的非线性关系为：
其中，所述a4小于所述a5,所述a5小于所述a6,所述a6小于所述a7,所述b3小于所 述b4,所述b4小于所述b5 ;所述a4、a5、a6、b7、b3、b4和b5为大于O的实数； 或者， 所述C^(U))与R(i，j)之间的非线性关系为：
其中，所述a8小于所述a9,所述a8、a9和b6为大于O的实数。
10. 根据权利要求5至9任一项所述的方法，其特征在于， 所述R(i, j)等于d(i, j)或e(i, j)，其中，所述d(i, j)表示所述图像块m中的坐标为 (i，j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i，j)表示所述图像块m 中的坐标为（i，j)的像素区域的像素值与所述模板T111的平均像素值或加权平均像素值之 间的比值或绝对差值。
11. 根据权利要求10所述的方法，其特征在于，所述d(i，j)表示所述图像块m中的坐 标为（i，j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i，j)表示所述图像 块m中的坐标为（i，j)的像素区域与所述模板Tni内的像素点y的距离，其中，所述图像块m 中的坐标为（i，j)的像素区域与所述模板Tni内的像素点y的距离，小于或等于所述图像块 m中的坐标为（i，j)的像素区域与所述模板Tni内的除所述像素点y之外的任意一个像素点 的距离。
12. 根据权利要求1至11任一项所述的方法，其特征在于，所述基于所述N个模板中的 每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预 测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域 的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述Wni (i，j)表示所述N个模板中的模板T111所对应的图像块m中的坐标为（i，j) 的像素区域的权重，所述PniQ, j)表示所述图像块m中的坐标为（i，j)的像素区域的像素 值，所述pre(i，j)表示所述当前图像块中的坐标为（i，j)的像素区域的预测像素值。
13. 根据权利要求1至12任一项所述的方法，其特征在于，所述确定与当前模板的匹配 度符合预设条件的N个模板包括： 确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N 个模板，所述N小于所述M。
14. 根据权利要求13所述的方法，其特征在于，所述从所述M个模板中确定符合预设条 件的N个模板，包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小 于或等于阈值的N个模板。
15. 根据权利要求14所述的方法，其特征在于， 所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或 者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整 值。
16. 根据权利要求1至15任一项所述的方法，其特征在于， 所述图像预测方法应用于视频编码过程中或所述图像预测方法应用于视频解码过程 中。
17. -种图像预测装置，其特征在于，包括： 第一确定单元，用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当 前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考 图像中搜索得到； 第二确定单元，用于确定所述N个模板中的每个模板所对应图像块内像素区域的权 重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同； 预测单元，用于基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像 素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像 素点。
18. 根据权利要求17所述的装置，其特征在于， 所述第二确定单元包括： 第一确定子单元，用于根据所述N个模板中的每个模板与所述当前模板之间的匹配度 确定所述N模板中的每个模板的权重； 第二确定子单元，用于基于所述N模板中的每个模板的权重以及所述N模板中的每个 模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像 块内像素区域的权重。
19. 根据权利要求18所述的装置，其特征在于，所述N模板中的每个模板与对应图像块 内像素区域的相似性参数包括：所述N模板中的每个模板中的确定像素区域与对应图像块 内像素区域的距离，和/或，所述N模板中的每个模板中的确定像素区域的像素值的均值或 加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
20. 根据权利要求18至19任一项所述的装置，其特征在于，所述第一确定子单元具体 用于：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定 所述N模板中的每个模板的权重：
其中，所述￡\丁，丁 ；)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真， X in 所述S表示所述当前模板Tx内像素区域的数量，所述。表示模板缩放因子，所述a和所述 〇为大于〇的实数，所述I表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个 模板。
21. 根据权利要求18至20任一项所述的装置，其特征在于，所述第二确定单元具体用 于：基于如下公式，基于所述N模板中的每个模板的权重以及所述N模板中的每个模板与对 应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素 区域的权重：
其中，所述Wni (i，j)表示所述N个模板中的模板T111所对应的图像块m中的坐标为（i，j) 的像素区域的权重，所述R(i，j)表示所述图像块m中的坐标为（i，j)的像素区域与所述模 板Tm之间的相似性参数，所述j))表示R(i，j)对应的像素区域缩放因子。
22. 根据权利要求21所述的装置，其特征在于，所述与R(i，j)之间具有线性 关系或非线性关系。
23. 根据权利要求22所述的装置，其特征在于，所述与R(i，j)之间的线性关 系为：所述以叫、1_)) = /0邱、1_)，其中，所述3为缩放系数，所述3为大于〇的实数。
24. 根据权利要求22所述的装置，其特征在于， 所述5(i?(i，j))与R(i，j)之间的非线性关系为：所述3(i?(i，j))的取值基于所述R(i，j) 所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
25. 根据权利要求24所述的装置，其特征在于，所述5(/?(iJ))与R(i，j)之间的非线性
其中，所述al小于所述a2，所述a2小于所述a3，所述b 1小于所述b2 ;所述al、a2、a3、 bl和b2为大于O的实数； 或者， 所述.C(/?(i,j))与R(i，j)之间的非线性关系为：
其中，所述a4小于所述a5,所述a5小于所述a6,所述a6小于所述a7,所述b3小于所 述b4,所述b4小于所述b5 ;所述a4、a5、a6、a7、b3、b4和b5为大于O的实数； 或者， 所述c)(/?(i，j))与R(i，j)之间的非线性关系为：
其中，所述a8小于所述a9,所述a8、a9和b6为大于O的实数。
26. 根据权利要求21至24任一项所述的装置，其特征在于， 所述R(i, j)等于d(i, j)或e(i, j)，其中，所述d(i, j)表示所述图像块m中的坐标为 (i，j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i，j)表示所述图像块m 中的坐标为（i，j)的像素区域的像素值与所述模板T111的平均像素值或加权平均像素值之 间的比值或绝对差值。
27. 根据权利要求26所述的装置，其特征在于，所述d(i，j)表示所述图像块m中的坐 标为（i，j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i，j)表示所述图像 块m中的坐标为（i，j)的像素区域与所述模板Tni内的像素点y的距离，其中，所述图像块m 中的坐标为（i，j)的像素区域与所述模板Tni内的像素点y的距离，小于或等于所述图像块 m中的坐标为（i，j)的像素区域与所述模板Tni内的除所述像素点y之外的任意一个像素点 的距离。
28. 根据权利要求17至27任一项所述的装置，其特征在于，所述预测单元具体用于： 利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值 计算所述当前图像块内像素区域的预测像素值：
其中，所述Wni (i，j)表示所述N个模板中的模板T111所对应的图像块m中的坐标为（i，j) 的像素区域的权重，所述PniQ, j)表示所述图像块m中的坐标为（i，j)的像素区域的像素 值，所述pre(i，j)表示所述当前图像块中的坐标为（i，j)的像素区域的预测像素值。
29. 根据权利要求17至27任一项所述的装置，其特征在于，所述第一确定单元具体用 于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个 模板，所述N小于所述M。
30. 根据权利要求29所述的装置，其特征在于， 所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个 模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
31. 根据权利要求30所述的装置，其特征在于， 所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或 者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整 值。
32. 根据权利要求17至31任一项所述的装置，其特征在于， 所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置 中。
【文档编号】H04N19/523GK104363449SQ201410606914
【公开日】2015年2月18日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】黄鑫, 张红, 杨海涛 申请人:华为技术有限公司