处理图像的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及领域图像处理领域，并且更具体地，涉及处理图像的方法和装置。
【背景技术】
[0002] 视频编码，例如H. 264/AVC、H. 265/HEVC、AVS等视频编码标准，通常采用混合 编码框架，主要包括预测（prediction)、变换（transform)、量化（quantization)、；)：商编 码（entropycoding)等环节。视频解码是将码流转换为视频图像的过程，它包括熵解码 (entropydecoding)、预测、反量化（dequantization)、反变换（inversetransform)等几 个主要环节。首先，将码流通过熵解码处理解析出编码模式信息和量化后的变换系数。然 后，一方面由编码模式信息和已经解码的重建像素得出预测像素；另一方面将量化后的变 换系数通过反量化得到重建的变换系数，再对重建的变换系数进行反变换，得到重建的残 差信息。之后，将重建的残差信息和预测像素相加，得到重建像素，从而恢复出视频图像。
[0003] 对于有损编码，重建像素（reconstructedpixel)与原始像素（originalpixel) 可能是不相同的，两者之间的数值差异称为失真（distortion)。一般来说，失真由量化引 起，量化参数（Quantizationparameter,QP)越大则失真越强，图像变得模糊，总得来说像 素质量越差。
[0004] 基于知识库的编码是H. 264/AVC、H. 265/HEVC的一种扩展。解码端包含一个知识 库，其中存储了一些图像（image)或/和图像区域（imageregion)，称之为图样（patch) 〇 知识库中的图像或图样可以来自当前解码视频中已经解码的重建图像，例如从已解码的重 建图像中提取一些代表性的图像加入知识库；知识库中的图像或图样也可以来自当前解码 视频的重建图像之外，例如由解码其它视频得到的重建图像或图样，又例如解码系统预先 存储的包含多个图像或图样，这些预先存储的图像或图样可以是没有经过编码压缩的原始 图像。解码当前视频时，可以利用知识库中的像素信息。例如，解码时利用到的预测像素信 息可以来自于知识库中的像素信息。
[0005] 预测环节利用已编码区域的重建像素产生当前编码块对应的原始像素的预测像 素（predictedpixel)。预测方式主要包括帧内预测（intraprediction)和帧间预测 (interprediction)两大类。其中，帧内编码中的模版匹配（templatematching)和帧间 编码中的解码端运动矢量导出（decodersidemotionvectorderivation)技术需要利 用当前解码预测块周围的重建图像模版区域（template)，在当前帧中已重建区域或其它已 重建帧中搜索与当前解码块模版区域差异最小的一个或多个最近邻（nearestneighbor) 图像，称为匹配图像。对于这两类技术，怎样评价模版区域图像和匹配过程中的某个候选 模版区域图像的图像差异值（difference)或者在值域空间的距离（distance)是一个关 键问题，直接决定了最终的搜索结果。传统的两个图像之间的图像差异值计算方法例如两 图像像素域的平方误差和（SumofSquaredErrors,SSE)、绝对误差和（SumofAbsolute Difference,SAD)、均方误差（MeanSquaredError,MSE)、平均绝对差（MeanAbsolute Difference,MAD)，又例如两图像经过Hadamard变换后的变换系数域的平均绝对差（Sumof AbsoluteTransformedDifference，SATD)。图像差异值的计算问题也在其它图像搜索和 图像融合处理中也起到了关键作用。传统的图像差异值计算方法会将高质量图像相对于低 质量图像的信号质量提升错误地认为是两个图像之间的差异，利用两个图像像素域的平方 误差和等传统差异计算方法得到的差异较小的图像很可能在视觉上并不相似，导致后续的 图像处理结果不准确。
【发明内容】
[0006] 本发明实施例提供了一种处理图像的方法和装置，以提高图像处理的准确性。
[0007] 第一方面，提供一种处理图像的方法，包括：对第一图像进行变换，得到第一变换 系数集；对第二图像进行所述变换，或者对第一图像和第二图像的差值图像进行所述变换， 得到第二变换系数集；根据所述第一变换系数集中的变换系数的幅度，从所述第一变换系 数集中选取第一组变换系数，其中，所述第一组变换系数中的变换系数的幅度满足预设的 阈值条件；根据所述第一组变换系数和所述第二变换系数集，确定第一图像和第二图像之 间的图像差异值；根据所述图像差异值，对所述第一图像和所述第二图像进行处理。
[0008] 结合第一方面，在第一方面的一种实现方式中，所述第二变换系数集是对所述第 二图像进行所述变换得到的变换系数集，所述根据所述第一组变换系数和所述第二变换系 数集，确定第一图像和第二图像之间的图像差异值，包括：根据所述第一变换系数集与所述 第二变换系数集中变换系数的一一对应关系，从所述第二变换系数集中选取与所述第一组 变换系数对应的第二组变换系数；根据所述第一组变换系数和所述第二组变换系数，确定 所述图像差异值。
[0009] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述第一组变换系数和所述第二组变换系数，确定所述图像差异值，包括：确定所述 第一组变换系数和所述第二组变换系数中各对应变换系数的差值；将所述各对应变换系数 的差值之和确定为所述图像差异值。
[0010] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述第一组变换系数和所述第二组变换系数均按照相同方式划分为N个子组，所述根据所述 第一组变换系数和所述第二组变换系数，确定所述图像差异值，包括：确定N个目标值，其 中，所述N个目标值中的第i目标值为所述第一组变换系数中的第i子组与所述第二组变 换系数中的第i子组中各对应变换系数的差值之和；根据所述N个子组的加权系数，对所述 N个目标值进行加权求和，得到所述图像差异值。
[0011] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述第一组变换系数和所述第二组变换系数，确定所述图像差异值，包括：确定第一 目标值，其中，所述第一目标值为所述第一组变换系数与所述第二组变换系数中各对应变 换系数的差值之和；确定第二目标值，其中，所述第二目标值为所述第一变换系数集中除所 述第一组变换系数外的剩余变换系数与所述第二变换系数集中除所述第二组变换系数外 的剩余变换系数中各对应变换系数的差值之和；根据所述第一目标值和所述第二目标值的 加权系数，对所述第一目标值和所述第二目标值进行加权求和，得到所述图像差异值。
[0012] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述第二变换系数集是对所述第一图像和所述第二图像的差值图像进行所述变换得到的变 换系数集，所述根据所述第一组变换系数和所述第二变换系数集，确定第一图像和第二图 像之间的图像差异值，包括：根据所述第一变换系数集与所述第二变换系数集中变换系数 的一一对应关系，从所述第二变换系数集中选取与所述第一组变换系数对应的第二组变换 系数；根据所述第二组变换系数，确定所述图像差异值。
[0013] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述第二组变换系数，确定所述图像