图像和视频处理方法及其系统、数据处理设备、介质与流程

1.本说明书实施例涉及数据处理技术领域，尤其涉及一种图像和视频处理方法及其系统、数据处理设备、介质。


背景技术：

2.随着消费电子的发展，人们能够随时随地拍摄和发布视频与图像等多媒体信息，加上通过通信渠道能够获取各式各样的多媒体信息，可以说现代人生活在信息大爆炸的时代。
3.为了提升用户观看体验，多媒体信息在不同设备上的显示需求也随之增长，促使了显示技术的飞速发展，从crt(cathode ray tube，阴极射线管)技术、lcd(liquid crystal display，液晶显示)技术到oled(organic light-emitting diode，有机发光二极管，或者organic electroluminescence display，有机发光半导体)技术，以及micro led(一种发光二极管微缩化和矩阵化技术)等还在研究中的技术，显示技术越来越高端，由此，显示分辨率也越来越高，主流分辨率从sd(standard definition，标清)、hd(high definition，高清)、fhd(full high definition，全高清)进展到4k(一种超高清显示技术，水平分辨率为达到或者接近4096像素)，并且8k(一种超高清显示技术，水平分辨率达到或者接近8192像素)等更高端的显示分辨率也已出现。
4.但是，由于不同时期的拍摄技术不相同，结合环境因素、人为因素等的影响，过去拍摄的多媒体信息的成像质量较差，如存在较多噪声，像素分辨率较低等情况，而现有的显示设备具有更高的显示分辨率，二者的像素级别并不匹配，因此，在现有的显示设备上展示过去拍摄的多媒体信息时，容易出现画面不清晰、画质粗糙等问题，影响用户观看体验。为了解决上述问题，可以采用图像增强技术对过去记录的多媒体信息进行优化处理。
5.图像增强技术具体可以包括分辨率提升方法、帧率提升方法和像素质量提升方法等。其中，分辨率提升方法在手机、电脑、电视机等电子产品中应用更为普遍。分辨率提升方法通过将低分辨率(low resolution,lr)的多媒体信息进行放大，希望达到理想的高分辨率(high resolution,hr)的状态，增强多媒体信息的分辨率，进而能在像素级别更高的显示设备上实现更好的观看感受。
6.传统的分辨率提升方法存在模糊、混淆等问题，为了解决传统的分辨率提升方法存在的问题，提出了改进的分辨率提升方法和基于深度学习的分辨率提升方法。然而，改进的分辨率提升方法虽然优化了图像边缘部分，但是算法逻辑更为复杂，且并没有优化图像其余部分；而基于深度学习的分辨率提升方法虽然能够提升图像整体质量，但是计算资源消耗极大，实施成本较大。
7.综上可知，现有的分辨率提升方法仍然存在很多问题，有待技术人员改善。


技术实现要素：

8.有鉴于此，本说明书实施例提供一种图像和视频处理方法及其系统、数据处理设
备、介质，能够兼顾提升图像质量和处理效率。
9.本说明书实施例提供了一种图像处理方法，包括：
10.提取原始图像的图像特征，得到第一细节图像；
11.从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素；
12.基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，并将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
13.合并所述第二细节图像和所述原始图像，得到合成图像。
14.本说明书实施例还提供了一种视频处理方法，包括：
15.提取视频流中目标视频帧的图像特征，得到第一细节图像；
16.从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素；
17.基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，并将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
18.将所述第二细节图像和所述目标视频帧进行合并，得到合成视频帧。
19.本说明书实施例还提供了一种图像处理系统，包括：
20.细节提取模块，适于提取原始图像的图像特征，得到第一细节图像；
21.细节生成模块，适于从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素，并基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
22.图像合成模块，适于合并所述第二细节图像和所述原始图像，得到合成图像。
23.本说明书实施例还提供了一种视频处理系统，包括：
24.细节提取模块，适于提取视频流中目标视频帧的图像特征，得到第一细节图像；
25.细节生成模块，适于从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素，并基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
26.视频合成模块，适于将所述第二细节图像和所述目标视频帧进行合并，得到合成视频帧。
27.本说明书实施例还提供了一种数据处理设备，包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一项实施例所述方法的步骤。
28.本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一项实施例所述方法的步骤。
29.采用本说明书提供的图像处理方案，在提取原始图像的图像特征并得到第一细节图像后，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的
统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述原始图像进行合并，丰富原始图像的图像特征，合理改善原始图像细节模糊的缺陷，使得图像具有更强的细节表现能力，提升了图像质量，且本说明书实施例的图像处理方案的逻辑复杂度较低，提升了处理效率，故而本说明书提供的图像处理方案能够兼顾提升图像质量和处理效率。
30.采用本说明书实施例的视频处理方案，在提取视频流中目标视频帧的图像特征得到第一细节图像之后，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述目标视频帧进行合并，丰富目标视频帧的图像特征，合理改善视频画面细节模糊的缺陷，使得图像具有更强的细节表现能力，提升了图像质量，且本说明书实施例的视频处理方案的逻辑复杂度较低，提升了处理效率，故而本说明书提供的视频处理方案能够兼顾提升图像质量和处理效率。
附图说明
31.为了更清楚地说明本说明书实施例的技术方案，下面将对本说明书实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是本说明书实施例中一种图像处理方法的流程图；
33.图2是本说明书实施例中一种滤波方法的示意图；
34.图3a是本说明书实施例中一种原始图像的示意图；
35.图3b是本说明书实施例中一种第一细节图像的示意图；
36.图4是本说明书实施例中一种选取目标像素和局部区域的示意图；
37.图5是本说明书实施例中另一种选取目标像素和局部区域的示意图；
38.图6是本说明书实施例中一种局部区域的示意图；
39.图7是本说明书实施例中一种目标像素的颜色信息更新后的局部区域的示意图；
40.图8是本说明书实施例中一种合成图像的示意图；
41.图9是本说明书实施例中一种图像处理系统的结构框图；
42.图10是本说明书实施例中一种图像处理系统的流程图；
43.图11是本说明书实施例中一种视频处理方法的流程图；
44.图12本说明书实施例中一种视频处理系统的结构框图。
具体实施方式
45.如背景技术所述，分辨率提升方法在手机、电脑、电视机等电子产品中应用更为普遍。在实际应用中，传统的分辨率提升方法可以包括：最近邻插值(nearest interpolation)算法、双线性插值(bilinear interpolation)算法以及双立方插值(bicubic interpolation)算法等。然而，通过上述传统的分辨率提升方法得到的图像容易
存在模糊、混淆(aliasing)的问题。
46.经过技术人员的研究，提出了一些改进的分辨率提升方法，如基于方向的插值(directional interpolation)算法、基于例子的超分辨(example based super resolution)算法、基于稀疏表示的超分辨率(sparse representation super resolution)算法等。这些改进的分辨率提升方法相较于传统的分辨率提升方法，可以获得更为优良的结果，但是算法逻辑较为复杂，并且这些改进的分辨率提升方法仅优化了图像的边缘部分，对于图像其余部分并没有进行改进。
47.此外，由于深度学习的崛起，研究人员还提出了一些基于深度学习的分辨率提升方法，如基于深度学习的超分辨率(deep learning based super resolution)算法。得益于深度神经网络强大的非线性表达能力，基于深度学习的分辨率提升方法可以提升图像整体质量。例如，可以采用gan(generative adversarial network，生成式对抗网络)等神经网络实现深度学习，为图像增加虚拟的细节。但是，基于深度学习的分辨率提升方法的算法逻辑更加复杂，需要进行大量的数据计算，计算资源消耗极大。
48.综上可知，现有的分辨率提升方法仍然存在很多问题，有待技术人员改善。
49.为了解决现有分辨率提升方法存在的技术问题，本说明书实施例提供了一种图像处理方案，在提取原始图像的图像特征后，利用局部区域中像素之间的统计特性，可以更新局部区域中像素的颜色信息，由此增加细微的图像特征，提升图像质量，并减少算法逻辑的复杂度，提升处理效率。
50.为使本领域技术人员更加清楚地了解及实施本说明书实施例的构思、实现方案及优点，以下参照附图，通过具体应用场景进行详细说明。
51.参照图1所示的本说明书实施例中一种图像处理方法的流程图，在本说明书实施例中，所述方法可以包括以下步骤：
52.sa1，提取原始图像的图像特征，得到第一细节图像。
53.其中，所述图像特征可以包括：颜色特征、纹理特征、形状特征和空间关系特征等。所述原始图像可以为彩色图像、灰度图像或黑白图像。此外，可以通过读取指定存储地址上记录的图像数据获取原始图像。
54.可选地，在提取原始图像的图像特征之前，可以将原始图像进行灰度化处理，得到灰度的原始图像，以作为特征提取处理的对象；或者，在提取原始图像的图像特征之前，可以将原始图像进行二值化处理，得到黑白的原始图像，以作为特征提取处理的对象。
55.在具体实施中，根据图像需求和实际应用情景，可以采用相应的特征提取方法提取原始图像的颜色特征、纹理特征、形状特征和空间关系特征等图像特征，由此得到原始图像所携带的细节信息，得到第一细节图像，作为后续获取第二细节图像的基础。
56.以下通过具体实施例，对如何获取第一细节图像进行详细说明。
57.在一可选示例中，可以对原始图像采用滤波方法提取原始图像的图像特征。具体而言，如图2所示，基于预设的滤波窗口几何参数，生成相应的滤波窗口blk，在原始图像p1中，滤波窗口blk按照预设的移动方向和预设的移动步长，且基于预设的滤波系数，对滤波窗口blk中的像素进行滤波处理，提取原始图像的图像特征。其中，滤波处理可以包括：均值滤波处理、中值滤波处理、高斯滤波处理或双边滤波处理等，且所述滤波处理可以基于二维坐标系下进行。
58.如图2所示，原始图像p1中虚线划分形成的一个矩形框代表一个像素，所述移动方向可以设定为从左到右且从上到下的顺序，预设移动步长可以为一个像素。经过滤波窗口blk的滤波处理，得到的第一细节图像。
59.可以理解的是，为了便于描述，图2所示的原始图像中未包含任何图像特征，在实际应用时，原始图像可以包含更多的像素，且具有更加丰富的图像特征，本说明书实施例对此不做限制。例如，如图3a所示，为一种原始图像的示意图，原始图像p2经过滤波处理后可以得到第一细节图像图p3，与图3a所示的原始图像p2相比，图3b所示的第一细节图像p3去除了变化平缓的像素信息，而保留了变化明显区域的像素信息。
60.还可以理解的是，图2仅为采用滤波方法获取第一细节图像的示意说明，在实际实施本说明书的技术方案时，滤波方法的相关参数可以根据滤波需求进行调整，例如，可以调整滤波窗口几何参数和滤波处理的滤波系数中至少一种参数，从而实现所需的滤波效果，得到符合滤波需求的第一细节图像。本说明书实施例对此不做限制。
61.需要说明的是，上述实施例仅为示例说明，并不限制本说明书实施例通过其他方法提取图像特征。例如，还可以采用局部二值模式(local binary pattern，lbp)方法提取图像特征。
62.sa2，从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素。
63.其中，所述目标像素和所述局部区域可以根据实际设定进行选取。例如，所述目标像素和所述局部区域的选取方式可以包括：
64.基于预设的选取条件，从所述第一细节图像中选取所述目标像素，并基于预设的区域几何参数，选取包含所述目标像素的局部区域。
65.在具体实施中，所述选取条件和区域几何参数可根据实际需求和场景进行设定，例如，可以按照预设位置选取目标像素，也可以按照预设排序选取目标像素；又例如，区域几何参数可以包括圆形、圆环、线形等规则图形的参数，也可以包括不规则图形的参数。本说明书实施例对此不做限制。
66.在本发明一实施例中，所述选取条件可以为：选取第3
×
i行且第3
×
j列的像素作为目标像素，所述区域几何参数可以包括：边长为5
×
5(像素)的矩形，其中，i和j均为正整数。如图4所示，以i＝1且j＝1为例，在第一细节图像p4中，处于第3行且第3列的像素a为目标像素，并生成5
×
5(像素)大小的矩形局部区域，使生成的局部区域包含像素a。以此类推，可以得到至少一个符合条件的目标像素及其相应的局部区域。
67.在本发明另一实施例中，所述选取条件可以为：选取第3
×
i行且第3
×
j列的像素作为目标像素，所述区域几何参数可以为5
×
5(像素)的十字形。。如图5所示，以i＝1且j＝1为例，在第一细节图像p5中，处于第3行且第3列的像素a为目标像素，并生成5
×
5(像素)大小的十字形局部区域，使生成的局部区域包含像素a。以此类推，可以得到至少一个符合条件的目标像素及其相应的局部区域。
68.在进一步可实现的示例中，为了便于生成局部区域，可以以目标像素为中心像素生成局部区域。例如，继续参考图4，可以以像素a为中心，生成5
×
5(像素)大小的局部区域fa。又例如，继续参考图5，可以以像素a为中心，生成5
×
5(像素)大小的局部区域fb。
69.可以理解的是，为了便于描述，图4和图5所示的第一细节图像中未包含任何图像
特征，在实际应用时，第一细节图像可以包含更多的像素，且具有更加丰富的图像特征，本说明书实施例对此不做限制。
70.sa3，基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，并将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像。
71.其中，所述统计关系可以表征所述局部区域中其他像素与所述目标像素之间有关统计量的关系；所述统计特征信息可以视为一种统计量，且所述统计特征信息可以用于表征所述局部区域中隐含的细微图像特征。
72.在具体实施中，以第一细节图像作为基础，选取的局部区域可表征第一细节图像中的局部原生细节，通过局部区域中像素之间的统计特性，能够获得统计特征信息，进而更新目标像素的颜色信息，获得包含细微图像特征的第二细节图像。
73.在本说明书一实施例中，如图6所示，局部区域fc为从所述第一细节图像中选取得到的一个5
×
5(像素)大小的矩形区域，局部区域fc中虚线划分形成的一个矩形框代表一个像素，目标像素c为局部区域fc的中心像素，基于所述局部区域fc中其他24个像素与所述目标像素c之间的统计关系，计算得到相应的统计特征信息，并将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像。
74.为了便于理解，图7中仅示出第二细节图像中相应的目标像素的颜色信息更新后的局部区域fc’，与图6相比，可以看出目标像素c的颜色信息发生了变化。
75.在实际应用中，根据不同的统计关系，可以得到不同的统计量，如方差值、标准差值、均值、加权值、中值等，但是，在说明书实施例中，若使用中值或者均值作为统计量，即计算所述局部区域中其他像素与所述目标像素之间的中值或均值，高频段像素信息被抑制，得到的统计特征信息永远位于局部区域的像素的颜色信息区间内，且低于部分高频段像素的颜色信息，因此，在统计量为均值或者中值时，产生统计特征信息的过程可以视为一种低通滤波，从而减少局部区域中高频段的图像特征数量，造成图像细节模糊，且无法预测得到新的细节。
76.为了避免上述情况，在基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息时，可以采用更加注重高频段像素信息的统计关系，如方差、标准差、加权等。
77.在具体实施中，为了减少计算量，并确保所述局部区域的颜色不变性和旋转不变性，可以设定颜色条件，在获取所述局部区域中其他像素的颜色信息后，可以基于预设的颜色条件，从所述局部区域中确定符合颜色条件的像素，并基于所述局部区域中符合颜色条件的其他像素进行计算，得到所述目标像素相应的统计特征信息。
78.可选地，所述颜色条件根据所述目标像素原始的颜色信息设定。例如，所述目标像素原始的颜色信息为pixel1，则可以将pixel1作为颜色阈值，并其在他像素的颜色信息不小于所述颜色阈值pixel1时，所述其他像素符合颜色条件。
79.进一步地，所述基于所述局部区域中符合颜色条件的其他像素进行计算，得到所述目标像素相应的统计特征信息，具体可以包括：获取预设的统计系数矩阵，所述统计系数矩阵与所述局部区域的像素存在对应关系，根据所述局部区域中符合颜色条件的其他像素的位置信息，从所述统计系数矩阵中获取相应位置的统计系数，并根据预设的统计关系计
算得到统计特征信息。
80.在具体实施中，当存在多个相应的目标像素和局部区域时，可以按照预设的顺序对各相应的目标像素和局部区域进行处理，也可以按照预设的数量获取至少部分相应的目标像素和局部区域进行处理。本说明书对于多个相应的目标像素和局部区域的处理顺序不作限制。
81.sa4，合并所述第二细节图像和所述原始图像，得到合成图像。
82.在具体实施中，如图8所示，所述第二细节图像p6可以与原始图像p2进行叠加，从而得到合成图像p2’。
83.由上可知，采用本说明书提供的图像处理方法，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述原始图像进行合并，丰富原始图像的图像特征，合理改善原始图像细节模糊的缺陷，使得图像具有更强的细节表现能力，提升图像质量。
84.相比于上述双立方插值、基于方向的插值等传统和改进的分辨率提升方法，本说明书提供的图像处理方法可以合理改善原始图像细节模糊的缺陷；相比于深度学习的分辨率提升方法，本说明书提供的图像处理方法在有效预测局部区域中隐含的细微图像特征的同时，大幅度降低算法逻辑的复杂度，提升了处理效率。
85.综上，本说明书提供的图像处理方法能够兼顾提升图像质量和处理效率。
86.在实际应用中，由于本说明书提供的图像处理方法提升了处理效率，因此，可以满足实时图像处理的需求，使现有的显示设备能够实时展现具有更多细节的合成图像，优化视觉效果，有效提高用户观看体验。
87.并且，由于本说明书提供的图像处理方法能够兼顾提升图像质量和处理效率，因此具有更广泛的应用场景，不但可以改善过去拍摄的图像的成像质量，还可以在拍摄设备的分辨率不足的情况下，通过本说明书提供的图像处理方法改善拍摄设备采集的图像数据的质量，使得在显示设备上实时展现的图像具有更多的细节。
88.在具体实施中，由于在获取统计特征信息时更加注重了高频段像素信息，第二细节图像中的像素可能处于较高频段，容易产生噪声，因此，在合并所述第二细节图像和所述原始图像之前，可以对所述第二细节图像进行降噪处理，以将降噪处理后的第二细节图像和所述原始图像进行合并。
89.以下通过几个实施例示意说明如何对所述第二细节图像进行降噪处理。
90.在本说明书一实施例中，在合并所述第二细节图像和所述原始图像之前，可以对所述第二细节图像进行平滑处理，以将平滑处理后的第二细节图像和所述原始图像进行合并。其中，所述平滑处理可以根据实际情景选择相应的滤波方法，如高斯低通滤波方法、双边滤波方法等。本说明书实施例对此不做限制。
91.进一步地，参数固定的滤波方法可以去除图像中噪声，但是会丢失很多图像细节，使得图像模糊，为了避免图像丢失过多细节，可以采用自适应滤波方法进行平滑处理，使得图像可以保留更多的细节。例如，所述对所述第二细节图像进行平滑处理可以包括：基于预设的导引图像，对所述第二细节图像进行导引滤波处理。
92.更进一步地，为了使导引滤波处理的强度(即颜色信息的取值范围)能够根据不同的第二细节图像进行自适应，可以将原始图像作为导引图像，基于所述原始图像，对所述第二细节图像进行导引滤波处理。
93.在本说明书另一实施例中，在合并所述第二细节图像和所述原始图像之前，可以基于预设的调制图像，对所述第二细节图像进行图像调制处理，以将调制处理后的第二细节图像和所述原始图像进行合并。其中，所述调制图像可以是根据调制先验数据或调制测试数据设置的图像。
94.在具体实施中，本说明书提供的图像处理方法可以与实现图像增强的方法结合，具有较好的兼容性和适应性。
95.例如，在所述提取原始图像的图像特征之前，还可以包括：采用分辨率提升方法，对所述原始图像进行分辨率放大处理，以提取分辨率放大处理后的原始图像的图像特征，并将所述第二细节图像和分辨率放大处理后的原始图像进行合并。由此，通过分辨率放大处理，可以提升原始图像的分辨率，有利于后续步骤的处理。
96.可以理解的是，上文描述了本说明书实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本说明书披露、公开的实施例方案。
97.本说明书还提供了与上述图像处理方法对应的图像处理系统，以下参照附图，通过具体实施例进行详细介绍。需要知道的是，下文描述的图像处理系统可以认为是为实现本说明书提供的图像处理方法所需设置的功能模块；下文描述的图像处理系统的内容，可与上文描述的图像处理方法的内容相互对应参照。
98.参照图9所示的本说明书实施例中一种图像处理系统的结构框图，在本说明书实施例中，所述图像处理系统90可以包括：
99.细节提取模块91，适于提取原始图像的图像特征，得到第一细节图像；
100.细节生成模块92，适于从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素，并基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
101.图像合成模块93，适于合并所述第二细节图像和所述原始图像，得到合成图像。
102.由上可知，采用本说明书提供的图像处理系统，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述原始图像进行合并，丰富原始图像的图像特征，合理改善原始图像细节模糊的缺陷，使得图像具有更强的细节表现能力，提升图像质量。
103.相比于采用上述双立方插值、基于方向的插值等传统和改进分辨率提升方法的系统，本说明书提供的图像处理系统可以合理改善原始图像细节模糊的缺陷；相比于采用上述深度学习的分辨率提升方法的系统，本说明书提供的图像处理系统在有效预测局部区域中隐含的细微图像特征的同时，还能大幅度降低算法逻辑的复杂度，提升了处理效率。
104.综上，本说明书提供的图像处理方法能够兼顾提升图像质量和处理效率。
105.在实际应用中，由于本说明书提供的图像处理方法提升了处理效率，因此，可以满足实时图像处理的需求，使现有的显示设备能够实时展现具有更多细节的合成图像，优化视觉效果，有效提高用户观看体验。
106.并且，由于本说明书提供的图像处理系统能够兼顾提升图像质量和处理效率，因此具有更广泛的应用场景，不但可以改善过去拍摄的图像的成像质量，还可以在拍摄设备的分辨率不足的情况下，通过本说明书提供的图像处理系统改善拍摄设备采集的图像数据的质量，使得在显示设备上实时展现的图像具有更多的细节。
107.在具体实施中，所述细节提取模块可以通过读取指定存储地址上记录的图像数据获取原始图像，其中，所述细节提取模块可以采用直接读取的读取方式，也可以采用通过其他模块间接读取的读取方式，本说明书实施例对此不作限制。
108.并且，根据图像需求和实际应用情景，细节提取模块可以采用相应的特征提取方法提取原始图像的颜色特征、纹理特征、形状特征和空间关系特征等图像特征，由此得到原始图像所携带的细节信息，得到第一细节图像，作为后续获取第二细节图像的基础。所述细节提取模块具体实施过程可参考图像处理方法相关部分的内容描述，在此不再赘述。
109.在具体实施中，所述细节生成模块可以根据实际设定选取目标像素和所述局部区域。例如，所述细节生成模块可以采取以下选取方式选取所述目标像素和所述局部区域：
110.基于预设的选取条件，从所述第一细节图像中选取所述目标像素，并基于预设的区域几何参数，选取包含所述目标像素的局部区域。
111.然后，所述细节生成模块可以以第一细节图像作为基础，选取的局部区域可表征第一细节图像中的局部原生细节，通过局部区域中像素之间的统计特性，能够获得统计特征信息，进而更新目标像素的颜色信息，获得包含细微图像特征的第二细节图像。所述细节生成模块的具体实施过程可参考图像处理方法相关部分的内容描述，在此不再赘述。
112.在具体实施中，当存在多个相应的目标像素和局部区域时，所述细节生成模块可以按照预设的顺序对各相应的目标像素和局部区域进行处理，也可以按照预设的数量获取至少部分相应的目标像素和局部区域进行处理。本说明书对于所述细节生成模块处理多个相应的目标像素和局部区域的顺序不作限制。
113.在具体实施中，由于在获取统计特征信息时更加注重了高频段像素信息，第二细节图像中的像素可能处于较高频段，容易产生噪声，为了降低所述第二细节图像的噪声，如图9所示，所述图像处理系统90还可以包括：细节处理模块94。
114.所述细节处理模块94位于所述细节生成模块92和所述图像合成模块93之间，适于对所述细节生成模块92得到的第二细节图像进行降噪处理，并将降噪处理后的第二细节图像发送至所述图像合成模块93。所述图像合成模块93合并降噪处理后的第二细节图像和所述原始图像，得到合成图像。
115.可以理解的是，所述细节处理模块的具体实施过程可参考图像处理方法相关部分的内容描述，在此不再赘述。
116.在具体实施中，本说明书提供的图像处理系统可以处理经过图像增强的图像，具有较好的兼容性和适应性。
117.例如，参照图9所示，所述图像处理系统90还可以包括：分辨率处理模块95。所述分辨率处理模块95分别与所述细节提取模块91和所述图像合成模块93连接，适于对所述原始
图像进行分辨率放大处理，并将分辨率放大处理后的原始图像发送至所述细节提取模块91和所述图像合成模块93。所述细节提取模块91提取分辨率放大处理后的原始图像的图像特征，得到第一细节图像；所述图像合成模块93合并所述第二细节图像和分辨率放大处理后的原始图像，得到合成图像。
118.由此，通过分辨率放大处理，可以提升原始图像的分辨率，有利于后续模块的处理。
119.在具体实施中，所述分辨率处理模块可以通过读取指定存储地址上记录的图像数据获取原始图像，其中，所述分辨率处理模块可以采用直接读取的读取方式，也可以采用通过其他模块间接读取的读取方式，本说明书实施例对此不作限制。
120.为了便于本领域的技术人员理解本说明书提供的图像处理系统的工作流程，以下结合图像处理系统的流程图进行示意说明。
121.如图10所示，为一种图像处理系统的流程图，所述图像处理系统10可以包括分辨率处理模块101、细节提取模块102、细节生成模块103、细节处理模块104和图像合成模块105，所述图像处理系统10的工作流程如下：
122.1)原始图像img0输入所述分辨率处理模块101，所述分辨率处理模块101对所述原始图像img0进行分辨率放大处理，并将分辨率放大处理后的原始图像img0’输出至所述细节提取模块102和所述图像合成模块105；
123.2)所述细节提取模块102提取分辨率放大处理后的原始图像img0’的图像特征，将第一细节图像img1输出至细节生成模块103；
124.3)所述细节生成模块103从所述第一细节图像img1中选取目标像素和局部区域，所述局部区域中包括所述目标像素，并基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，将第二细节图像img2输出至细节处理模块104；
125.4)所述细节处理模块104对第二细节图像img2进行降噪处理，并将降噪处理后的第二细节图像img2’输出至所述图像合成模块105；
126.5)所述图像合成模块105将降噪处理后的第二细节图像img2’和相应的分辨率放大处理后的原始图像img0’合并，输出合成图像imgh。
127.可以理解的是，上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明披露、公开的实施例方案。
128.根据上述内容可知，现有分辨率提升方法存在模糊、混淆、算法逻辑过于复杂等问题，更加难以应用到图像数据量更大的视频处理中，为了解决现有分辨率提升方法存在的技术问题，本说明书实施例还提供了一种视频处理方案，在提取目标视频帧的图像特征后，利用局部区域中像素之间的统计特性，可以更新局部区域中像素的颜色信息，由此增加目标视频帧的细微图像特征，提升图像质量，并减少算法逻辑的复杂度，提升处理效率。
129.为使本领域技术人员更加清楚地了解及实施本说明书实施例的构思、实现方案及优点，以下参照附图，通过具体应用场景进行详细说明。
130.参照图11所示的本说明书实施例中一种视频处理方法的流程图，在本说明书实施例中，所述方法可以包括以下步骤：
131.sb1，提取视频流中目标视频帧的图像特征，得到第一细节图像。
132.在具体实施中，所述视频流可以是经过编码压缩的视频流(又可以称为编码流)，也可以是未经过编码压缩的视频流(又可以称为原始流)。若所述视频流进行过编码压缩，则在提取视频流中目标视频帧的图像特征之前，可以先对所述视频流进行反向解码，得到原始流。
133.所述视频流包含的一个视频帧可以视为一幅图像，通过连续播放视频帧，可以在显示设备上展示动态画面。由此，通过预设的目标选取条件，确定视频流中的目标视频帧之后，可以对目标视频帧进行图像特征提取。
134.可选地，在提取目标视频帧的图像特征之前，可以将目标视频帧进行灰度化处理，得到灰度的目标视频帧，以作为特征提取处理的对象；或者，在提取目标视频帧的图像特征之前，可以将目标视频帧进行二值化处理，得到黑白的目标视频帧，以作为特征提取处理的对象。
135.可以理解的是，根据实际需求和应用场景，可以设定不同目标选取条件，如按照时间间隔选取视频帧，或者按照排序选取指定序号的视频帧等；并且，根据目标选取条件可以获取一个或多个目标视频帧，本说明书实施例对于目标选取条件的具体内容和目标视频帧的数量不做限制。
136.在具体实施中，根据图像需求和实际应用情景，可以采用相应的特征提取方法提取目标视频帧的颜色特征、纹理特征、形状特征和空间关系特征等图像特征，由此得到目标视频帧所携带的细节信息，得到第一细节图像，作为后续获取第二细节图像的基础。例如，可以基于预设的滤波窗口几何参数和滤波系数，对所述目标视频帧进行滤波处理，提取所述目标视频帧的图像特征。
137.可以理解的是，目标视频帧进行图像特征提取的具体实施过程可以参考上述图像处理方法相关部分的内容描述，在此不再赘述。
138.sb2，从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素。
139.在具体实施中，所述目标像素和所述局部区域可以根据实际设定进行选取。例如，所述目标像素和所述局部区域的选取方式可以包括：
140.基于预设的选取条件，从所述第一细节图像中选取所述目标像素，并基于预设的区域几何参数，选取包含所述目标像素的局部区域。
141.其中，选取所述目标像素和所述局部区域的具体实施过程可以参考上述图像处理方法相关部分的内容描述，在此不再赘述。
142.sb3，基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，并将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像。
143.在具体实施中，以第一细节图像作为基础，选取的局部区域可表征第一细节图像中的局部原生细节，通过局部区域中像素之间的统计特性，能够获得统计特征信息，进而更新目标像素的颜色信息，获得包含细微图像特征的第二细节图像。
144.进一步地，为了减少计算量，并确保所述局部区域的颜色不变性和旋转不变性，可以设定颜色条件，在获取所述局部区域中其他像素的颜色信息后，可以基于预设的颜色条
件，从所述局部区域中确定符合颜色条件的像素，并基于所述局部区域中符合颜色条件的其他像素进行计算，得到所述目标像素相应的统计特征信息。其中，所述颜色条件根据所述目标像素原始的颜色信息设定。
145.可以理解的是，获得第二细节图像的具体实施过程可以参考上述图像处理方法相关部分的内容描述，在此不再赘述。
146.sb4，将所述第二细节图像和所述目标视频帧进行合并，得到合成视频帧。
147.在具体实施中，可以将第二细节图像直接与所述视频流中相应的目标视频帧进行合并，也可以将所述目标视频帧从所述视频流中提取出来，在与第二细节图像进行合并后插入所述视频流中。
148.由上可知，采用本说明书提供的视频处理方法，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述目标视频帧进行合并，丰富目标视频帧的图像特征，合理改善目标视频帧细节模糊的缺陷，使得目标视频帧具有更强的细节表现能力，提升图像质量。
149.相比于上述双立方插值、基于方向的插值等传统和改进的分辨率提升方法，本说明书提供的视频处理方法可以合理改善目标视频帧细节模糊的缺陷；相比于深度学习的分辨率提升方法，本说明书提供的视频处理方法在有效预测局部区域中隐含的细微图像特征的同时，大幅度降低算法逻辑的复杂度，提升了处理效率。
150.综上，本说明书提供的视频处理方法能够兼顾提升图像质量和处理效率。
151.在实际应用中，由于本说明书提供的视频处理方法提升了处理效率，因此，可以满足实时视频处理的需求，使现有的显示设备能够实时展现具有更多细节的合成视频帧，优化视觉效果，有效提高用户观看体验。
152.并且，由于本说明书提供的视频处理方法能够兼顾提升图像质量和处理效率，因此具有更广泛的应用场景，不但可以改善过去拍摄的视频的成像质量，还可以在拍摄设备的分辨率不足的情况下，通过本说明书提供的视频处理方法改善拍摄设备采集的视频帧数据的质量，使得在显示设备上实时展现的视频具有更多的细节。
153.在具体实施中，若在获取统计特征信息时更加注重高频段像素信息，第二细节图像中的像素可能处于较高频段，容易产生噪声，因此，在合并所述第二细节图像和所述目标视频帧之前，可以对所述第二细节图像进行降噪处理，以将降噪处理后的第二细节图像和所述目标视频帧进行合并。
154.以下通过几个实施例示意说明如何对所述第二细节图像进行降噪处理。
155.在本说明书一实施例中，在合并所述第二细节图像和所述目标视频帧之前，可以对所述第二细节图像进行平滑处理，以将平滑处理后的第二细节图像和所述目标视频帧进行合并。其中，所述平滑处理可以根据实际情景选择相应的滤波方法，如高斯低通滤波方法、双边滤波方法等。本说明书实施例对此不做限制。
156.进一步地，参数固定的滤波方法可以去除图像中噪声，但是会丢失很多图像细节，使得图像模糊，为了避免图像丢失过多细节，可以采用自适应滤波方法进行平滑处理，使得图像可以保留更多的细节。例如，所述对所述第二细节图像进行平滑处理可以包括：基于预
设的导引图像，对所述第二细节图像进行导引滤波处理。
157.更进一步地，为了使导引滤波处理的强度(即颜色信息的取值范围)能够根据不同的第二细节图像进行自适应，可以将目标视频帧作为导引图像，基于所述目标视频帧，对所述第二细节图像进行导引滤波处理。
158.在本说明书另一实施例中，在合并所述第二细节图像和所述目标视频帧之前，可以基于预设的调制图像，对所述第二细节图像进行图像调制处理，以将调制处理后的第二细节图像和所述目标视频帧进行合并。其中，所述调制图像可以是根据调制先验数据或调制测试数据设置的图像，也可以是根据先验经验在所述视频流中选取的用于区分噪声和细节的图片。
159.在具体实施中，本说明书提供的视频处理方法可以与实现图像增强的方法结合，具有较好的兼容性和适应性。
160.例如，在所述提取目标视频帧的图像特征之前，还可以包括：采用分辨率提升方法，对所述目标视频帧进行分辨率放大处理，以提取分辨率放大处理后的目标视频帧的图像特征，并将所述第二细节图像和分辨率放大处理后的目标视频帧进行合并。由此，通过分辨率放大处理，可以提升原始图像的分辨率，有利于后续步骤的处理。
161.可以理解的是，上文描述了本说明书实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本说明书披露、公开的实施例方案。
162.本说明书还提供了与上述视频处理方法对应的视频处理系统，以下参照附图，通过具体实施例进行详细介绍。需要知道的是，下文描述的视频处理系统可以认为是为实现本说明书提供的视频处理方法所需设置的功能模块；下文描述的视频处理系统的内容，可与上文描述的视频处理方法的内容相互对应参照。
163.参照图12所示的本说明书实施例中一种视频处理系统的结构框图，在本说明书实施例中，所述视频处理系统120可以包括：
164.细节提取模块121，适于提取视频流中目标视频帧的图像特征，得到第一细节图像；
165.细节生成模块122，适于从所述第一细节图像中选取目标像素和局部区域，所述局部区域中包括所述目标像素，并基于所述局部区域中其他像素与所述目标像素之间的统计关系，计算得到相应的统计特征信息，将所述统计特征信息更新为所述第一细节图像中目标像素的颜色信息，得到第二细节图像；
166.视频合成模块123，适于将所述第二细节图像和所述目标视频帧进行合并，得到合成视频帧。
167.由上可知，采用本说明书提供的视频处理系统，通过目标像素与所述局部区域中其他像素之间的统计关系，能够计算得到相应的统计特征信息，从而利用图像像素之间的统计特性，预测局部区域中隐含的细微图像特征，在将所述统计特征信息更新为相应目标像素的颜色信息后，获得的第二细节图像中包含细微图像特征，进而将所述第二细节图像和所述目标视频帧进行合并，丰富目标视频帧的图像特征，合理改善目标视频帧细节模糊的缺陷，使得目标视频帧具有更强的细节表现能力，提升图像质量。
168.相比于采用上述双立方插值、基于方向的插值等传统和改进的分辨率提升方法的
系统，本说明书提供的视频处理系统可以合理改善目标视频帧细节模糊的缺陷；相比于采用上述深度学习的分辨率提升方法的系统，本说明书提供的视频处理系统在有效预测局部区域中隐含的细微图像特征的同时，大幅度降低算法逻辑，提升了处理效率。
169.综上，本说明书提供的视频处理系统能够兼顾提升图像质量和处理效率。
170.在实际应用中，由于本说明书提供的视频处理系统提升了处理效率，因此，可以满足实时视频处理的需求，使现有的显示设备能够实时展现具有更多细节的合成视频帧，优化视觉效果，有效提高用户观看体验。
171.并且，由于本说明书提供的视频处理系统能够兼顾提升图像质量和处理效率，因此具有更广泛的应用场景，不但可以改善过去拍摄的视频的成像质量，还可以在拍摄设备的分辨率不足的情况下，通过本说明书提供的视频处理系统改善拍摄设备采集的视频帧数据的质量，使得在显示设备上实时展现的视频具有更多的细节。
172.在具体实施中，所述细节提取模块可以通过读取指定存储地址上记录的视频帧数据获取目标视频帧，也可以通过指定的通信地址读取视频流并从视频流中确定目标视频帧。其中，所述细节提取模块可以采用直接读取的读取方式，也可以采用通过其他模块间接读取的读取方式，本说明书实施例对此不作限制。此外，所述细节提取模块具体实施过程可参考图像处理方法及视频处理方法相关部分的内容描述，在此不再赘述。
173.在具体实施中，所述细节生成模块可以根据实际设定选取目标像素和所述局部区域。例如，所述细节生成模块可以采取以下选取方式选取所述目标像素和所述局部区域：
174.基于预设的选取条件，从所述第一细节图像中选取所述目标像素，并基于预设的区域几何参数，选取包含所述目标像素的局部区域。
175.然后，所述细节生成模块可以以第一细节图像作为基础，选取的局部区域可表征第一细节图像中的局部原生细节，通过局部区域中像素之间的统计特性，能够获得统计特征信息，进而更新目标像素的颜色信息，获得包含细微图像特征的第二细节图像。所述细节生成模块的具体实施过程可参考图像处理方法和视频处理方法相关部分的内容描述，在此不再赘述。
176.在具体实施中，由于在获取统计特征信息时更加注重了高频段像素信息，第二细节图像中的像素可能处于较高频段，容易产生噪声，为了降低所述第二细节图像的噪声，如图12所示，所述视频处理系统120还可以包括：细节处理模块124。
177.所述细节处理模块124位于所述细节生成模块122和所述视频合成模块123之间，适于对所述细节生成模块122得到的第二细节图像进行降噪处理，并将降噪处理后的第二细节图像发送至所述视频合成模块123。所述视频合成模块123合并降噪处理后的第二细节图像和所述目标视频帧，得到合成视频帧。
178.可以理解的是，所述细节处理模块的具体实施过程可参考图像处理方法相关部分的内容描述，在此不再赘述。
179.在具体实施中，本说明书提供的视频处理系统可以处理经过图像增强的视频，具有较好的兼容性和适应性。
180.例如，参照图12所示，所述视频处理系统120还可以包括：分辨率处理模块125。所述分辨率处理模块125分别与所述细节提取模块121和所述视频合成模块123连接，适于对所述目标视频帧进行分辨率放大处理，并将分辨率放大处理后的目标视频帧发送至所述细
节提取模块121和所述视频合成模块123。所述细节提取模块121提取分辨率放大处理后的目标视频帧的图像特征，得到第一细节图像；所述图像合成模块123合并所述第二细节图像和分辨率放大处理后的目标视频帧，得到合成视频帧。
181.由此，通过分辨率放大处理，可以提升原始图像的分辨率，有利于后续模块的处理。
182.在具体实施中，所述分辨率处理模块可以可以通过读取指定存储地址上记录的视频帧数据获取目标视频帧，也可以通过指定的通信地址读取视频流并从视频流中确定目标视频帧。其中，所述分辨率处理模块可以采用直接读取的读取方式，也可以采用通过其他模块间接读取的读取方式，本说明书实施例对此不作限制。
183.在实际实施时，所述视频处理系统的工作流程可以参照图像处理系统工作流程的相关描述及图10，在此不再赘述。
184.可以理解的是，上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明披露、公开的实施例方案。
185.本说明书实施例还提供了一种数据处理模块，所述数据处理模块应用于激光雷达，并与所述激光雷达的接收部连接，
186.所述数据处理模块可以包括存储器和处理器，所述存储器适于存储一条或多条计算机指令，所述处理器运行所述计算机指令时执行前述任一实施例所述图像处理方法或视频处理方法的步骤。具体步骤可以参照前述实施例，此处不再赘述。
187.可选地，所述处理器可以通过cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)、fpga(field programmable gate array，现场可编程逻辑门阵列)等处理芯片实现，也可以通过asic(application specific integrated circuit，特定集成电路)或者是被配置成实施本说明书实施例的一个或多个集成电路实现。
188.可选地，所述存储器可以包含高速ram存储器，也可以还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
189.在具体实施中，所述数据处理设备还可以包括扩展接口，适于与其他设备进行连接，实现数据交互。如所述数据处理设备可以和显示设备连接，以播放合成图像或包含合成视频帧的视频流。
190.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行本发明上述任一实施例所述图像处理方法或视频处理方法的的步骤。其中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。所述计算机可读存储介质上存储的指令执行上述任一实施例所述的图像处理方法或视频处理方法的步骤，具体可参照上述实施例，不再赘述。
191.所述计算机可读存储介质可以包括例如任何合适类型的存储器单元、存储器设备、存储器物品、存储器介质、存储设备、存储物品、存储介质和/或存储单元，例如，存储器、可移除的或不可移除的介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(cd-rom)、可刻录光盘(cd-r)、可重写光盘(cd-rw)、光盘、磁介质、磁光介质、可移动存储卡或磁盘、各种类型的数字通用光盘(dvd)、磁带、盒式磁带
等。
192.计算机指令可以包括通过使用任何合适的高级、低级、面向对象的、可视化的、编译的和/或解释的编程语言来实现的任何合适类型的代码，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。
193.需要说明的是，本说明书实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以使这里描述的本说明书的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
194.虽然本公开实施例披露如上，但本公开实施例并非限定于此。任何本领域技术人员，在不脱离本公开实施例的精神和范围内，均可作各种更动与修改，因此本公开实施例的保护范围应当以权利要求所限定的范围为准。