图像处理方法及装置、计算机可读存储介质、终端与流程

本发明涉及图像处理，具体地涉及一种图像处理方法及装置、计算机可读存储介质、终端。

背景技术：

1、图像质量评估指标可作为图像的评测标准和优化目标，图像质量指标包括但不限于清晰度、噪声、曝光度等等。通常而言，图像的主观评价是可靠和准确的，但由于图像主观测评既费时又昂贵，并且不能直接嵌入到实际系统中作为优化度量，因此，在图像质量评价技中，越来越多地采用图像客观评价方法。图像客观评价旨在获得可以准确预测图像质量的图像质量预测模型，而这种模型的训练需要预先构建标注有图像质量分数的训练图像集。对训练图像集标注的质量分数的准确度对于模型训练的效果具有较大影响。

2、现有技术中，对图像集进行质量分数标注的方法主要有两种：一种是直接地主观质量评分方法，标注者对待标注图像进行主观定性的质量评估，然后直接给出图像质量评分并进行标注。这是一种绝对主观的图像质量评价方法，由于其过分依赖于评分者的主观感受，因此标注的图像质量分数往往有较大误差，例如，两张图像的实际图像质量差距很大，但标注者却可能标注相近甚至相同的质量评分。另一种是单一刺激评分方法，标注者基于预先设定的图像质量评分表(该评分表中可能会包含一些评分标准或评分建议)对图像进行质量评分并标注。这种方法虽然预先给定评分标准，但实质上仍是基于单张图像的主观评价结果进行标注，标注准确度仍然不高。

技术实现思路

1、本发明实施例实现的目的之一是提供一种图像处理方法，可以对图像集按照图像质量进行准确地排序，有助于后续可以基于按照图像质量排序后的图像集，更加客观、精准地确定每张图像的质量分数并进行标注。

2、为实现上述目的，本发明实施例提供一种图像处理方法，包括以下步骤：确定待排序图像集；基于所述待排序图像集执行一轮或多轮迭代操作，以确定按照图像质量排序后的图像集；其中，所述迭代操作包括：自首轮起的每轮迭代中，对当前轮的每个质量等级区间，在该质量等级区间内确定nij个质量子等级，并基于该质量等级区间的至少一部分图像的质量评估结果，确定分别属于所述nij个质量子等级的nij张图像，其中，该nij张图像与属于该质量等级区间的端点等级的图像均记为锚点图像，该质量等级区间被所述nij个质量子等级划分为nij+1个待排序的质量子等级区间；对于该质量等级区间的除锚点图像之外的其余图像，对每张图像与该质量等级区间的至少一部分锚点图像成对比较图像质量，以确定每张图像列入的待排序的质量子等级区间，从而得到nij+1个排序后的质量子等级区间；将当前轮得到的包含图像数量大于预设数量的排序后的质量子等级区间，作为下一轮的质量等级区间，并继续下一轮迭代；直至当前轮得到的任一个排序后的质量子等级区间包含的图像数量均小于等于所述预设数量时，停止迭代，并基于各轮得到的包含图像数量小于等于所述预设数量的所有排序后的质量子等级区间，确定所述按照图像质量排序后的图像集；其中，i表示当前轮次，j表示当前轮的第j个质量等级区间，i≥1，j≥1，i和j均为正整数。

3、可选的，对每张图像与该质量等级区间的至少一部分锚点图像成对比较图像质量，以确定每张图像列入的待排序的质量子等级区间，包括：对每张图像，从该质量等级区间的全部锚点图像中选取一张锚点图像，作为首张锚点图像，然后对该张图像与所述首张锚点图像比较图像质量；如果所述首张锚点图像的图像质量低于该张图像的图像质量，则对于图像质量高于所述首张锚点图像的其余锚点图像，按照图像质量由低至高的顺序与该张图像成对比较图像质量，直至确定图像质量高于该张图像的临界锚点图像；将所述临界锚点图像所属的质量子等级记为第一质量子等级，将图像质量低于所述第一质量子等级且与所述第一质量子等级相邻的质量子等级记为第二质量子等级；将该张图像列入分别以所述第一质量子等级和所述第二质量子等级为端点的待排序的质量子等级区间。

4、可选的，从该质量等级区间的全部锚点图像中选取一张锚点图像，作为首张锚点图像，包括：从该质量等级区间的全部锚点图像中随机选取一张锚点图像，作为首张锚点图像；或者，从该质量等级区间的全部锚点图像中选取属于中位的质量子等级的锚点图像，作为首张锚点图像；或者，从该质量等级区间的全部锚点图像中选取与该张图像的质量评估结果最相近的锚点图像，作为首张锚点图像。

5、可选的，在确定按照图像质量排序后的图像集之后，所述方法还包括：根据所述按照图像质量排序后的图像集中各张图像的排序位置，确定每张图像的质量分数并进行标注。

6、可选的，根据所述按照图像质量排序后的图像集中各张图像的排序位置，确定每张图像的质量分数并进行标注，包括：从各轮迭代操作中选择一轮，对于选择的该轮中确定的锚点图像，以两两相邻的锚点图像为端点构成的多个质量子等级区间作为初始区间；根据所述按照图像质量排序后的图像集中列入各个初始区间的图像数量，调整各个初始区间的端点，以使得任意两个调整后的区间内包含的图像数量之差小于等于第一预设阈值，所述调整后的区间记为评分区间；对于每个评分区间，根据该评分区间的端点的质量分数以及列入该评分区间的每张图像在该评分区间内的排序位置，确定该张图像的质量分数，并采用所确定的质量分数对该张图像进行标注；其中，每个评分区间的端点的质量分数是根据预设的最高质量等级的质量分数与该评分区间在全部评分区间的排序位置确定的。

7、可选的，每个评分区间的端点的质量分数采用下述公式确定：

8、

9、

10、其中，x表示预设的最高质量等级的质量分数，n表示评分区间的总个数，i表示全部评分区间中排序位置为第i个的评分区间，表示第i个评分区间的左端点的质量分数，表示第i个评分区间的右端点的质量分数，1≤i≤n，i和n均为正整数；

11、其中，第i个评分区间的每张图像的质量分数采用下述公式确定；

12、

13、其中，m表示第i个评分区间的包含端点图像在内的图像总数量，表示第i个评分区间的第m张图像的质量分数，1≤m≤m，m和m均为正整数。

14、可选的，同一个待排序图像集具有对应的多个按照图像质量排序后的图像集，该待排序图像集中的每张图像在每个按照图像质量排序后的图像集中具有对应的质量分数；所述方法还包括：对于每张图像，判断该张图像的多个质量分数的方差是否小于等于第二预设阈值；如果判断结果为是，则计算该张图像的每个质量分数与参考质量分数的差值，得到多个差值；如果至少一个差值在预设误差范围之外，则对该张图像分别与所属的按照图像质量排序后的图像集中的左右两侧的多张图像成对比较图像质量，以重新确定该张图像在所属的按照图像质量排序后的图像集中的排序位置；根据该张图像在多个按照图像质量排序后的图像集中重新确定的排序位置，确定该张图像的最终质量分数。

15、可选的，所述质量分数选自：清晰度分数、噪声分数、曝光度分数。

16、可选的，所述待排序图像集是采用多个不同的图像采集设备在多种亮度环境下针对目标场景进行拍摄得到的。

17、本发明实施例还提供一种图像处理装置，包括：待排序图像集确定模块，用于确定待排序图像集；迭代操作模块，用于基于所述待排序图像集执行一轮或多轮迭代操作，以确定按照图像质量排序后的图像集；其中，所述迭代操作包括：自首轮起的每轮迭代中，对当前轮的每个质量等级区间，在该质量等级区间内确定nij个质量子等级，并基于该质量等级区间的至少一部分图像的质量评估结果，确定分别属于所述nij个质量子等级的nij张图像，其中，该nij张图像与属于该质量等级区间的端点等级的图像均记为锚点图像，该质量等级区间被所述nij个质量子等级划分为nij+1个待排序的质量子等级区间；对于该质量等级区间的除锚点图像之外的其余图像，对每张图像与该质量等级区间的至少一部分锚点图像成对比较图像质量，以确定每张图像列入的待排序的质量子等级区间，从而得到nij+1个排序后的质量子等级区间；将当前轮得到的包含图像数量大于预设数量的排序后的质量子等级区间，作为下一轮的质量等级区间，并继续下一轮迭代；直至当前轮得到的任一个排序后的质量子等级区间包含的图像数量均小于等于所述预设数量时，停止迭代，并基于各轮得到的包含图像数量小于等于所述预设数量的所有排序后的质量子等级区间，确定所述按照图像质量排序后的图像集；其中，i表示当前轮次，j表示当前轮的第j个质量等级区间，i≥1，j≥1，i和j均为正整数。

18、本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。

19、本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图像处理方法的步骤。

20、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

21、在本发明实施例中，采用“动态锚点”与“成对比较”相结合的图像质量排序方法，基于所述待排序图像集执行一轮或多轮迭代操作，每轮迭代中，对于当前轮的每个质量等级区间，确定分别属于nij个质量子等级的nij张锚点图像，其中，该质量等级区间被所述nij个质量子等级划分为nij+1个待排序的质量子等级区间；对质量等级区间的除锚点图像之外的其余图像(记为待排序图像)与锚点图像成对比较图像质量，以将待排序图像列入适当的质量子等级区间，从而得到nij+1个排序后的质量子等级区间；将当前轮得到的包含图像数量大于预设数量的排序后的质量子等级区间，作为下一轮的质量等级区间，并继续下一轮迭代；直至当前轮得到的任一个排序后的质量子等级区间包含的图像数量均小于等于所述预设数量时，停止迭代，并基于各轮得到的包含图像数量小于等于所述预设数量的所有排序后的质量子等级区间，确定所述按照图像质量排序后的图像集。

22、一方面，相较于现有的对图像质量进行直接主观评分标注或单一刺激评分标注的方法，本实施方案通过先进行图像质量排序再基于图像质量排序结果确定质量分数并标注的方法，具体而言，先确定按照图像质量排序的锚点图像，然后基于“锚点图像”的成对比较结果，对其余非锚点图像进行排序，在经过一轮或多轮迭代后最终获得按照图像质量准确排序后的图像集。由此，有助于后续基于图像的先后排序位置准确确定各张图像的质量分数并标注，可以弱化现有技术对图像质量进行评分的强主观性，提高图像质量分数标注的客观性和准确性。

23、另一方面，相较于对所述待排序图像集的全部图像采取两两成对比较方法，本实施方案通过先对每个质量等级区间划分出若干质量子等级，并分别确定属于各个质量子等级的“锚点图像”，后续进行图像质量成对比较时只需与锚点图像成对比较，且由于每个质量等级区间的各张“锚点图像”是已确定质量排序的图像，因此在确定每张非锚点图像列入的待排序的质量子等级区间(即，由相邻的两张锚点图像构成的质量子等级区间)后，就可以无需再与其他锚点图像成对比较。由此，有助于大幅减少成对比较的次数，提高排序效率，并进一步提高标注效率。