基于人工智能的图像增强方法、装置、设备以及存储介质与流程

1.本公开涉及人工智能领域，具体涉及云计算、视频处理、媒体云技术，可应用在智能云和视频云场景下。


背景技术：

2.随着近年来视频行业高速发展，以及直播、短视频的兴起，人们对视频主观质量要求越来越高，终端用户体验在视频业务中愈发重要。同时，海量的视频播放，给存储和带宽成本带来了巨大的挑战。在此背景下，视频编码技术至关重要，其直接关系视频质量和视频码率，对终端用户体验和带宽成本有着重要的影响。通过优化视频编码技术，可以提升视频主观质量，加强用户体验，同时降低视频码率，节省带宽成本。而感知编码优化是其中极为重要的优化方向。感知编码优化主要是利用人眼对视频的感知特性，有效提升视频主观质量，极大限度降低码率。
3.在现有的感知编码优化方向中，预处理增强技术对视频质量提升较为显著。在现有编码器预处理增强技术中，常用的预处理增强手段主要是锐化和去噪。锐化通过增大视频中各像素与邻域像素的差异，使得边缘和纹理细节更清晰，主观更好，且在编码过程中更不容易编模糊。去噪则是通过高斯模糊、双边滤波等滤波器，削弱或去除噪声像素，让主观更好。现有技术通常是锐化和去噪用独立的滤波器分开处理。在编码前，先通过去噪滤波器去除噪音，再通过锐化滤波器锐化细节。


技术实现要素：

4.本公开实施例提出了一种基于人工智能的图像增强方法、装置、设备、存储介质以及程序产品。
5.第一方面，本公开实施例提出了一种基于人工智能的图像增强方法，包括：获取待增强图像；计算待增强图像中的像素点的邻域高斯均值；计算像素点的像素值相对于邻域高斯均值的偏移；基于偏移与预设增强阈值的比较结果，选择对应的增强处理方式对像素点进行增强处理，生成增强图像。
6.第二方面，本公开实施例提出了一种基于人工智能的图像增强装置，包括：获取模块，被配置成获取待增强图像；第一计算模块，被配置成计算待增强图像中的像素点的邻域高斯均值；第二计算模块，被配置成计算像素点的像素值相对于邻域高斯均值的偏移；增强模块，被配置成基于偏移与预设增强阈值的比较结果，选择对应的增强处理方式对像素点进行增强处理，生成增强图像。
7.第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
8.第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储
介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
9.第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
10.本公开实施例提供的基于人工智能的图像增强方法，根据细节突显程度，像素级别自适应确定增强处理方式。主要应用于视频编解码领域，把预处理增强模块添加至h264、h265、av1等视频编码器中。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是根据本公开的基于人工智能的图像增强方法的一个实施例的流程图；
14.图2是根据本公开的基于人工智能的图像增强方法的又一个实施例的流程图；
15.图3是根据本公开的基于人工智能的图像增强方法的另一个实施例的流程图；
16.图4是可以实现本公开的基于人工智能的图像增强方法的场景图；
17.图5是根据本公开的基于人工智能的图像增强装置的一个实施例的结构示意图；
18.图6是用来实现本公开实施例的基于人工智能的图像增强方法的电子设备的框图。
具体实施方式
19.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
20.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
21.图1示出了根据本公开的基于人工智能的图像增强方法的一个实施例的流程100。该基于人工智能的图像增强方法包括以下步骤：
22.步骤101，获取待增强图像。
23.在本实施例中，基于人工智能的图像增强方法的执行主体可以获取待增强图像。其中，待增强图像可以是视频中的视频帧。对于h264、h265等视频编码器，待增强图像可以是其读入的每帧视频帧。
24.步骤102，计算待增强图像中的像素点的邻域高斯均值。
25.在本实施例中，对于待增强图像中的每个像素点，上述执行主体可以计算待增强图像中的像素点的像素值的邻域高斯均值。其中，像素点的像素值可以是yuv颜色空间中的明亮度值。yuv是一种颜色编码方法，“y”表示明亮度(luminance或luma)，也就是灰阶值，“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指
定像素的颜色。像素点的邻域的范围可以例如是5
×
5或7
×
7等奇数边长。
26.步骤103，计算像素点的像素值相对于邻域高斯均值的偏移。
27.在本实施例中，上述执行主体可以计算像素点的像素值相对于邻域高斯均值的偏移。其中，偏移可以是像素点的像素值与其邻域高斯均值的差值的绝对值，用于表征细节突显程度。偏移越大，细节突显程度越高；偏移越小，细节突显程度越低。
28.步骤104，基于偏移与预设增强阈值的比较结果，选择对应的增强处理方式对像素点进行增强处理，生成增强图像。
29.在本实施例中，上述执行主体可以将偏移与预设增强阈值进行比较，并基于比较结果选择对应的增强处理方式，对像素点进行增强处理。对待增强图像的所有像素点增强处理完毕，即可生成增强图像。其中，不同的比较结果对应不同的增强处理方式，根据比较结果，可以自适应确定增强处理方式。增强处理方式可以包括但不限于锐化处理方式或去噪处理方式等等。例如，偏移大于预设增强阈值，判定像素点为边缘纹理区域像素点，对像素点进行锐化处理，突显边缘纹理；偏移小大于预设增强阈值，判定像素点为偏平面区域像素点，对像素点进行去噪处理，使平面更加平滑。
30.本公开实施例提供的基于人工智能的图像增强方法，根据细节突显程度，像素级别自适应确定增强处理方式。主要应用于视频编解码领域，把预处理增强模块添加至h264、h265、av1等视频编码器中。在编码器读入每帧数据后，对一帧数据做自适应增强处理，有助于提升视频编码的主观质量，进而提升终端用户体验。此外，由于本公开实施例提供的基于人工智能的图像增强方法对主观质量的提升较大，可进一步压低码率，节省带宽成本。
31.继续参考图2，其示出了根据本公开的基于人工智能的图像增强方法的又一个实施例的流程200。该基于人工智能的图像增强方法包括以下步骤：
32.步骤201，获取待增强图像。
33.步骤202，计算待增强图像中的像素点的邻域高斯均值。
34.步骤203，计算像素点的像素值相对于邻域高斯均值的偏移。
35.在本实施例中，步骤201-203的具体操作已在图1所示的实施例中步骤101-103中进行了详细的介绍，在此不再赘述。
36.步骤204，确定偏移是否大于预设锐化阈值。
37.在本实施例中，基于人工智能的图像增强方法的执行主体可以将偏移与预设增强阈值进行比较，确定偏移是否大于预设锐化阈值。若偏移大于预设锐化阈值，执行步骤205；若偏移不大于预设锐化阈值，执行步骤206。其中，预设增强阈值可以包括预设锐化阈值和预设去噪阈值。预设去噪阈值小于预设锐化阈值，使得三种情况不可同时满足。
38.步骤205，对像素点进行锐化处理。
39.在本实施例中，若偏移大于预设锐化阈值，判定像素点为边缘纹理区域像素点，上述执行主体可以对像素点进行锐化处理，突显边缘纹理。
40.在一些实施例中，为了避免过多的额外计算，方便后续并行加速，可以复用邻域高斯均值，进行锐化处理。例如，将像素点的像素值增加预设锐化强度与偏移的乘积。
41.步骤206，确定偏移是否小于预设去噪阈值。
42.在本实施例中，若偏移不大于预设锐化阈值，上述执行主体可以确定偏移是否小于预设去噪阈值。若偏移小于预设去噪阈值，执行步骤207；若偏移不小于预设去噪阈值，执
行步骤208。
43.步骤207，对像素点进行去噪处理。
44.在本实施例中，若偏移小于预设去噪阈值，判定像素点为偏平面区域像素点，上述执行主体可以对像素点进行去噪处理，使平面更加平滑。
45.在一些实施例中，为了避免过多的额外计算，方便后续并行加速，可以复用邻域高斯均值，进行去噪处理。例如，将像素点的像素值减少预设去噪强度与偏移的乘积。
46.步骤208，维持像素点的像素值不变。
47.在本实施例中，若偏移不小于预设去噪阈值，判定为平面和纹理的过渡区域，上述执行主体可以维持像素点的像素值不变，保证像素变化连续性。
48.步骤209，生成增强图像。
49.在本实施例中，步骤209的具体操作已在图1所示的实施例中步骤104中进行了详细的介绍，在此不再赘述。
50.从图2中可以看出，与图1对应的实施例相比，本实施例中的基于人工智能的图像增强方法的流程200突出了自适应增强处理步骤。由此，本实施例描述的方案根据细节突显程度，像素级别自适应确定增强处理方式：对边缘纹理像素锐化，突显边缘纹理；对偏平面像素做去噪，使平面更平滑；过渡区域像素维持不变，保证像素变化连续性。
51.进一步参考图3，其示出了根据本公开的基于人工智能的图像增强方法的另一个实施例的流程300。该基于人工智能的图像增强方法包括以下步骤：
52.步骤301，获取待增强图像。
53.在本实施例中，步骤301的具体操作已在图2所示的实施例中步骤201中进行了详细的介绍，在此不再赘述。
54.步骤302，检测待增强图像中的感兴趣区域。
55.在本实施例中，基于人工智能的图像增强方法的执行主体可以检测待增强图像中的roi(region of interest，感兴趣区域)。具体地，利用相关roi算子检测待增强图像中的人脸、显著性等感兴趣区域信息，得到roi的区域坐标。
56.步骤303，计算待增强图像中的像素点的邻域高斯均值。
57.步骤304，计算像素点的像素值相对于邻域高斯均值的偏移。
58.在本实施例中，步骤303-304的具体操作已在图2所示的实施例中步骤202-203中进行了详细的介绍，在此不再赘述。
59.步骤305，确定像素点是否在感兴趣区域中。
60.在本实施例中，上述执行主体可以确定像素点是否在roi中。若像素点在roi中，执行步骤306；若像素点不在roi中，跳过步骤306，直接执行步骤307。
61.步骤306，减小预设锐化阈值和预设去噪阈值，增大预设锐化强度。
62.在本实施例中，若像素点在roi中，上述执行主体可以减小预设锐化阈值和预设去噪阈值，以及增大预设锐化强度。
63.步骤307，确定偏移是否大于预设锐化阈值。
64.步骤308，将像素点的像素值增加预设锐化强度与偏移的乘积。
65.步骤309，确定偏移是否小于预设去噪阈值。
66.步骤310，将像素点的像素值减少预设去噪强度与偏移的乘积。
67.步骤311，维持像素点的像素值不变。
68.步骤312，生成增强图像。
69.在本实施例中，步骤307-312的具体操作已在图2所示的实施例中步骤204-209中进行了详细的介绍，在此不再赘述。
70.需要说明的是，预设锐化阈值、预设去噪阈值、预设锐化强度和预设去噪强度均是由主观实验确定的。通常，实验中输出各测试视频，预处理增强覆盖的锐化和去噪像素，使得锐化、去噪覆盖像素符合人眼预期。且调整强度，验证增强后主观提升，测试较优的参数。
71.实践中，实时视频编码对编码速度要求很高，增强预处理不能导致编码速度下降过多，因此可以利用基于simd(single instruction multiple data，单指令多数据流)的加速算法加速图像增强的速度，确保增强预处理速度不会影响编码器实时编码速度。
72.其中，加速步骤可以如下：
73.首先，将浮点运算转化为整数运算。
74.其中，把运算中的浮点运算转化为整数运算。例如，锐化强度0.7，可转化为0.7
×2k
取整的整数强度系数，计算完后再右移k。
75.之后，对待增强图像进行边界外侧像素填充，以及将填充后图像划分成多个图像块。
76.其中，待增强图像填充四个边界外侧像素后，根据指令集寄存器宽度，可以分割成如8
×
8或16
×
16的像素块。例如，以16bit为一个元素，avx2寄存器256bit，可做16并行；neon寄存器128bit，只能做8并行。
77.然后，把多个图像块的二维高斯滤波转化成两次一维高斯滤波。
78.其中，为了方便并行计算邻域高斯均值，可以使用整数形式的高斯滤波，且把二维高斯滤波转化成两次一维的高斯滤波。对于每个像素块，利用滑动窗口先做列方向滤波，再做行方向滤波。其中，列方向滤波可以直接用simd指令并行。行方向滤波需利用simd的一些变换指令(如avx2的unpack指令、neon的vtrn指令等)做矩阵转置，把行方向滤波转为列方向滤波，再做并行计算，做完再转置回去。
79.最后，对多个图像块进行并行计算和并行增强处理。
80.这里，利用邻域高斯值做自适应增强，自适应增强的判别和计算均可用simd指令做并行计算。并且，锐化、去噪、维持不变的操作，计算均相似，为：原像素增加整数强度系数与偏移的乘积。其中，锐化、去噪和维持不变只是整数强度系数不同。具体地。锐化的整数强度系数为正数，去噪的整数强度系数为负数，维持不变的整数强度系数为0。只需通过并行的阈值比较操作，配置各像素整数强度系数，即可一次完成计算，得到自适应增强后的像素值。
81.从图3中可以看出，与图2对应的实施例相比，本实施例中的基于人工智能的图像增强方法的流程300增加了roi检测步骤。由此，本实施例提供了一个结合roi的自适应增强方案。对roi和非roi采取不同参数的自适应增强算法，再将两者融合，以提升增强主观效果。对于roi，使用更低的锐化阈值，更高的锐化强度，可以使得roi中更多的像素点被高强度锐化。对roi使用更低的去噪阈值，可以使得roi中的像素点不做去噪或少做去噪，避免人脸等区域磨皮而变得不自然。对于非roi，锐化和去噪使用常规的强度和阈值。
82.为了便于理解，图4示出了可以实现本公开的基于人工智能的图像增强方法的场
景图。如图4所示，传入一帧到roi检测滤波器。根据帧和检测结果，获取所有roi区域(n个roi区域)。并行对n个roi区域增强，得到roi增强结果整合。对于非poi区域，整帧自适应增强。将roi区域增强结果与非roi区域增强结果融合，输出一帧。
83.进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种基于人工智能的图像增强装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
84.如图5所示，本实施例的基于人工智能的图像增强装置500可以包括：获取模块501、第一计算模块502、第二计算模块503和增强模块504。其中，获取模块501，被配置成获取待增强图像；第一计算模块502，被配置成计算待增强图像中的像素点的邻域高斯均值；第二计算模块503，被配置成计算像素点的像素值相对于邻域高斯均值的偏移；增强模块504，被配置成基于偏移与预设增强阈值的比较结果，选择对应的增强处理方式对像素点进行增强处理，生成增强图像。
85.在本实施例中，基于人工智能的图像增强装置500中：获取模块501、第一计算模块502、第二计算模块503和增强模块504的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101-104的相关说明，在此不再赘述。
86.在本实施例的一些可选的实现方式中，预设阈值包括预设锐化阈值；以及增强模块504包括：第一增强子模块，被配置成若偏移大于预设锐化阈值，对像素点进行锐化处理。
87.在本实施例的一些可选的实现方式中，第一增强子模块进一步被配置成：将像素点的像素值增加预设锐化强度与偏移的乘积。
88.在本实施例的一些可选的实现方式中，预设阈值还包括预设去噪阈值，预设去噪阈值小于预设锐化阈值；以及增强模块504包括：第二增强子模块，被配置成若偏移小于预设去噪阈值，对像素点进行去噪处理。
89.在本实施例的一些可选的实现方式中，第二增强子模块进一步被配置成：将像素点的像素值减少预设去噪强度与偏移的乘积。
90.在本实施例的一些可选的实现方式中，基于人工智能的图像增强装置500还包括：检测模块，被配置成检测待增强图像中的感兴趣区域；调整模块，被配置成若像素点在感兴趣区域中，减小预设锐化阈值和预设去噪阈值，以及增大预设锐化强度。
91.在本实施例的一些可选的实现方式中，基于人工智能的图像增强装置500还包括：加速模块，被配置成利用基于单指令多数据流的加速算法加速图像增强的速度。
92.在本实施例的一些可选的实现方式中，加速模块进一步被配置成：将浮点运算转化为整数运算；对待增强图像进行边界外侧像素填充，以及将填充后图像划分成多个图像块；把多个图像块的二维高斯滤波转化成两次一维高斯滤波；对多个图像块进行并行计算和并行增强处理。
93.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
94.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
95.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字
助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
96.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
97.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
98.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如基于人工智能的图像增强方法。例如，在一些实施例中，基于人工智能的图像增强方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的基于人工智能的图像增强方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于人工智能的图像增强方法。
99.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
100.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
101.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
102.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
103.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
104.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
105.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
106.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。