纹理图像重建方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种纹理图像重建方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着计算机技术的发展，人们的工作和生活都带来了非常大的变化。例如，原来的动画制作或游戏制作等通常都是基于平面对象进行的，而现在随着科技的发展，出现了越来越多支持三维对象的场景，相应的，对纹理图像的质量要求也越来越高。
3.传统技术中，需要收集大量的纹理图像样本来训练用于优化纹理图像的机器学习模型。然而，模型的训练效果和训练样本息息相关，纹理图像的个体差异性较大，难以训练得到表征优异的模型，难以训练得到通用的模型，存在纹理图像重建质量不佳的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高纹理图像的重建质量的纹理图像重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.本技术提供了一种纹理图像重建方法。所述方法包括：获取目标纹理图像和所述目标纹理图像对应的纹理图像集；所述纹理图像集中的纹理图像所呈现的纹理和所述目标纹理图像所呈现的纹理是相互匹配的，所述纹理图像集是基于不同分辨率的纹理图像得到的；分别对所述纹理图像集和所述目标纹理图像进行频率分解，得到所述纹理图像集对应的第一纹理图像集和第二纹理图像集、所述目标纹理图像对应的第一目标纹理图像和第二目标纹理图像；所述第一纹理图像集对应的频率小于所述第二纹理图像集对应的频率，所述第一目标纹理图像对应的频率小于所述第二目标纹理图像对应的频率；基于所述第一纹理图像集对所述第一目标纹理图像进行图像增强，得到所述第一目标纹理图像对应的第一增强纹理图像；基于所述第二纹理图像集对所述第二目标纹理图像进行图像增强，得到所述第二目标纹理图像对应的第二增强纹理图像；融合所述第一增强纹理图像和所述第二增强纹理图像，得到所述目标纹理图像对应的重建纹理图像。
6.本技术还提供了一种纹理图像重建装置。所述装置包括：纹理图像获取模块，用于获取目标纹理图像和所述目标纹理图像对应的纹理图像集；所述纹理图像集中的纹理图像所呈现的纹理和所述目标纹理图像所呈现的纹理是相互匹配的，所述纹理图像集是基于不同分辨率的纹理图像得到的；图像分解模块，用于分别对所述纹理图像集和所述目标纹理图像进行频率分解，得到所述纹理图像集对应的第一纹理图像集和第二纹理图像集、所述目标纹理图像对应的第一目标纹理图像和第二目标纹理图像；所述第一纹理图像集对应的频率小于所述第二纹
理图像集对应的频率，所述第一目标纹理图像对应的频率小于所述第二目标纹理图像对应的频率；第一图像增强模块，用于基于所述第一纹理图像集对所述第一目标纹理图像进行图像增强，得到所述第一目标纹理图像对应的第一增强纹理图像；第二图像增强模块，用于基于所述第二纹理图像集对所述第二目标纹理图像进行图像增强，得到所述第二目标纹理图像对应的第二增强纹理图像；图像融合模块，用于融合所述第一增强纹理图像和所述第二增强纹理图像，得到所述目标纹理图像对应的重建纹理图像。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述纹理图像重建方法所述的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述纹理图像重建方法所述的步骤。
9.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述纹理图像重建方法所述的步骤。
10.上述纹理图像重建方法、装置、计算机设备、存储介质和计算机程序产品，获取目标纹理图像和目标纹理图像对应的纹理图像集，纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的，借助纹理图像集来对目标纹理图像进行纹理重建。分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，通过频率分解可以将纹理图像集分解为表示图像低频分量的第一纹理图像集和表示图像高频分量的第二纹理图像集，将第一目标纹理图像分解为表示图像低频分量的第一目标纹理图像和表示图像高频分量的第二目标纹理图像。基于第一纹理图像集对第一目标纹理图像进行图像增强，可以得到第一目标纹理图像对应的第一增强纹理图像，相当于增强了目标纹理图像中的低频分量，例如增强了光照。基于第二纹理图像集对第二目标纹理图像进行图像增强，可以得到第二目标纹理图像对应的第二增强纹理图像，相当于增强了目标纹理图像中的高频分量，例如增强了纹理细节。融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。这样，可以将低质量的目标纹理图像转化为清晰度高且细节信息丰富的重建纹理图像，确保生成的重建纹理图像在保留原有纹理信息的同时，加强了清晰度，加强了更多纹理细节，大大提高了纹理图像的重建质量。
附图说明
11.图1为一个实施例中纹理图像重建方法的应用环境图；图2为一个实施例中纹理图像重建方法的流程示意图；图3为一个实施例中基于第一纹理图像集对第一目标纹理图像进行图像增强的流程示意图；图4为一个实施例中基于第一纹理图像集和第一目标纹理图像得到中间纹理特征图的流程示意图；图5为一个实施例中对中间纹理特征图进行注意力处理得到目标纹理特征图的流
程示意图；图6为一个实施例中基于第二纹理图像集对第二目标纹理图像进行图像增强的流程示意图；图7为另一个实施例中纹理图像重建方法的流程示意图；图8为一个实施例中纹理重建模型的结构示意图；图9为一个实施例中纹理图像重建装置的结构框图；图10为一个实施例中计算机设备的内部结构图；图11为另一个实施例中计算机设备的内部结构图。
具体实施方式
12.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
13.本技术实施例提供的纹理图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
14.终端和服务器均可单独用于执行本技术实施例中提供的纹理图像重建方法。
15.例如，服务器获取目标纹理图像和目标纹理图像对应的纹理图像集，其中，纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的。服务器分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，其中，第一纹理图像集对应的频率小于第二纹理图像集对应的频率，第一目标纹理图像对应的频率小于第二目标纹理图像对应的频率。服务器基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像，基于第二纹理图像集，对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像，融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。
16.终端和服务器也可协同用于执行本技术实施例中提供的纹理图像重建方法。
17.例如，服务器获取与终端匹配的目标纹理图像，获取目标纹理图像对应的纹理图像集。服务器分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像。服务器基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像，基于第二纹理图像集，对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像，融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。服务器将重建纹理图像发送至终端。终端可
以将重建纹理图像进行渲染展示。
18.在一个实施例中，如图2所示，提供了一种纹理图像重建方法，以该方法应用于计算机设备来举例说明，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。参考图2，纹理图像重建方法包括以下步骤：步骤s202，获取目标纹理图像和目标纹理图像对应的纹理图像集；纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的。
19.其中，纹理图像是用于表征物体表面的图像。纹理图像也可以称为纹理贴图，当把纹理按照特定的方式映射到物体表面上的时候，能使物体看上去更加真实。在三维场景下，纹理图像也称uv图像，是三维展开的表面图像。uv这里是指uv纹理贴图坐标的简称，定义了图像上每个点的位置的信息，u和v分别是图像在显示器水平、垂直方向上的坐标，取值一般都是0～1。uv图像中每个点与三维模型是相互联系的，可以决定表面纹理贴图的位置，也就是uv图像中每一个点可以精确对应到模型物体的表面，用以构建立体的物体。例如，人脸纹理图像可用于生成三维人脸；头发纹理图像可用于生成三维头发；等等。
20.目标纹理图像是指待增强、待重建的纹理图像。目标纹理图像可以是任意的纹理图像。纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，也就是，纹理图像集中的纹理图像和目标纹理图像对应匹配的纹理。不同的纹理图像所呈现的纹理是相互匹配的，是指不同的纹理图像之间的图像相似度大于预设相似度。在一个实施例中，相互匹配的纹理是指相同的纹理，也就是，目标纹理图像对应的纹理图像集包括与目标纹理图像具有相同纹理的纹理图像。目标纹理图像对应的纹理图像集是基于不同分辨率的纹理图像得到的。针对匹配纹理（例如同一纹理），不同分辨率的纹理图像适配不同的设备，不同分辨率的纹理图像用于在不同的设备上进行渲染展示。在一个实施例中，为了便于后续数据处理，可以先获取与目标纹理图像具有匹配纹理的多个初始纹理图像，不同的初始纹理图像对应不同的分辨率，再将各个初始纹理图像的分辨率增大到同一分辨率，得到更新纹理图像，将各个更新纹理图像组成纹理图像集。
21.可以理解，可以先获取纹理图像集，再从纹理图像集中选取任意一张纹理图像作为目标纹理图像。也可以先获取目标纹理图像，再获取目标纹理图像对应的纹理图像集。
22.具体地，计算机设备可以在本地或通过网络从其他设备处，获取目标纹理图像和目标纹理图像对应的纹理图像集，进而基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，将目标纹理图像转换为更清晰的、具有更多细节的重建纹理图像。
23.在一个实施例中，目标纹理图像可以是虚拟对象对应的纹理图像。虚拟对象是通过数据实现的可存储于计算机设备中的对象，虚拟对象具体可以包括虚拟人物、虚拟动物、虚拟植物或虚拟物体等中的至少一种。计算机设备可以预先构建对象纹理图像库，对象纹理图像库包括虚拟对象所需的各种纹理图像。计算机设备可以从虚拟对象对应的对象纹理图像库中获取至少一张纹理图像作为目标纹理图像，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到目标纹理图像对应的重建纹理图像。在展示某个虚拟对象时，通过加载该虚拟对象对应的至少一张重建纹理图像可以有效增强虚拟对象的显示效果，提高显示质量。
24.在一个实施例中，目标纹理图像可以是游戏中的虚拟对象所对应的纹理图像。计
算机设备可以预先构建游戏纹理图像库，游戏纹理图像库包括游戏中的虚拟对象所需的各种纹理图像。计算机设备可以从游戏纹理图像库中获取至少一张纹理图像作为目标纹理图像，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到目标纹理图像对应的重建纹理图像。在启动任意一局游戏时，通过加载该局游戏所需的至少一张重建纹理图像可以有效增强游戏画面的显示效果，提高显示质量。
25.在一个实施例中，目标纹理图像可以是质量异常的纹理图像。可以对纹理图像进行质量评估，确定纹理图像的图像质量。针对满足质量要求的纹理图像，例如，高质量的纹理图像，可以无需进行纹理重建。针对不满足质量要求的纹理图像，例如，光照不足的纹理图像，可以采用本技术的纹理重建方式来提高图像质量。
26.步骤s204，分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像；第一纹理图像集对应的频率小于第二纹理图像集对应的频率，第一目标纹理图像对应的频率小于第二目标纹理图像对应的频率。
27.其中，频率分解用于将图像分解为高频部分和低频部分。图像的高频部分也可以称为图像的高频分量，是指图像强度（亮度或灰度）变化剧烈的地方，例如，图像的边缘、轮廓等。图像的高频分量用于表征图像的细节信息、局部信息。图像的低频部分也可以称为图像的低频分量，是指图像强度（亮度或灰度）变化平缓的地方，例如，图像中低光照的黑暗区域、背景等。图像的低频分量用于表征图像的整体信息、全局信息。
28.对纹理图像集进行频率分解得到第一纹理图像集和第二纹理图像集，第一纹理图像集对应的频率小于第二纹理图像集对应的频率，也就是，第一纹理图像集对应纹理图像集的低频部分，第二纹理图像集对应纹理图像集的高频部分。纹理图像集包括多个纹理图像，第一纹理图像集包括纹理图像集中各个纹理图像分别对应的第一纹理图像，第二纹理图像集包括纹理图像集中各个纹理图像分别对应的第二纹理图像。
29.对目标纹理图像进行频率分解得到第一目标纹理图像和第二目标纹理图像，第一目标纹理图像对应的频率小于第二目标纹理图像对应的频率，也就是，第一目标纹理图像对应目标纹理图像的低频部分，第二目标纹理图像对应目标纹理图像的高频部分。
30.具体地，计算机设备对纹理图像集进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集，第一纹理图像集对应的频率小于第二纹理图像集对应的频率。计算机设备对目标纹理图像进行频率分解，得到目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，第一目标纹理图像对应的频率小于第二目标纹理图像对应的频率。
31.可以理解，从图像中分解出高频分量和低频分量的方式有很多，例如，采用滤波器。
32.步骤s206，基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像。
33.其中，对第一目标纹理图像进行图像增强是指增强目标纹理图像的低频分量，以达到增强目标纹理图像全局信息的效果，例如，增强图像的光照。第一纹理图像集包括与目标纹理图像对应匹配纹理的各个纹理图像的低频分量，这些纹理图像原始的分辨率是不同的，因此包含的低频信息具有差异性，这些低频分量比目标纹理图像的低频分量包含更多
信息，可以对目标纹理图像的低频分量起到补充作用。基于第一纹理图像集对第一目标纹理图像进行图像增强，利用各种分辨率的纹理图像的低频分量对目标纹理图像的低频分量进行补充，从而得到第一增强纹理图像。第一增强纹理图像是指图像增强后的第一目标纹理图像。
34.具体地，考虑到图像的低频分量和高频分量反映的图像信息不同，为了保障纹理重建质量，低频分量和高频分量可以分别进行增强。针对低频分量，计算机设备基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像。
35.在一个实施例中，计算机设备分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，基于第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图。
36.步骤s208，基于第二纹理图像集对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像。
37.其中，对第二目标纹理图像进行图像增强是指增强目标纹理图像的高频分量，以达到增强目标纹理图像局部信息的效果，例如，增强图像的细节。第二纹理图像集包括与目标纹理图像对应匹配纹理的各个纹理图像的高频分量，这些纹理图像原始的分辨率是不同的，因此包含的高频信息具有差异性，这些高频分量比目标纹理图像的高频分量包含更多信息，可以对目标纹理图像的高频分量起到补充作用。基于第二纹理图像集对第二目标纹理图像进行图像增强，利用各种分辨率的纹理图像的高频分量对目标纹理图像的高频分量进行补充，从而得到第二增强纹理图像。第二增强纹理图像是指图像增强后的第二目标纹理图像。
38.具体地，针对高频分量，计算机设备基于第二纹理图像集，对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像。
39.在一个实施例中，高频分量除了反映图像的轮廓信息，还可能反映图像的一些噪声信息，为了更好地对轮廓信息进行增强，可以进一步借助低频分量来对高频分量进行图像增强，低频分量有助于辅助确定图像的轮廓信息。因此，计算机设备基于第二纹理图像集和参考纹理图像，对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像，其中，参考纹理图像包括第一目标纹理图像或第一增强纹理图像中的至少一者。在一个实施例中，首先将第二纹理图像集和第二目标纹理图像做均值计算，得到平均纹理图像。然后，基于平均纹理图像和参考纹理图像得到掩码纹理图像，例如，将参考纹理图像和平均纹理图像进行像素值比较，将平均纹理图像中像素值更小的像素点的像素值置为1，将平均纹理图像中像素值更大或相同的像素点的像素值置为0，从而得到二值化的掩码纹理图像。最后，融合掩码纹理图像和平均纹理图像得到第二增强纹理图像。在一个实施例中，基于平均纹理图像和参考纹理图像得到掩码纹理图像包括：将平均纹理图像和参考纹理图像进行拼接处理，得到拼接纹理图像，对拼接纹理图像进行残差处理，得到掩码纹理图像。
40.步骤s210，融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。
41.具体地，计算机设备将通过图像增强得到的第一增强纹理图像和第二增强纹理图像进行融合，得到目标纹理图像对应的重建纹理图像。例如，将第一增强纹理图像和第二增强纹理图像相加，得到重建纹理图像。相比于目标纹理图像，在和目标纹理图像对应相同纹理的基础上，重建纹理图像具有更丰富的高频信息和低频信息。后续，重建纹理图像可以用于进行展示，例如，可以从原先的展示目标纹理图像变更为展示重建纹理图像，以提高展示效果。
42.上述纹理图像重建方法中，获取目标纹理图像和目标纹理图像对应的纹理图像集，纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的，借助纹理图像集来对目标纹理图像进行纹理重建。分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，通过频率分解可以将纹理图像集分解为表示图像低频分量的第一纹理图像集和表示图像高频分量的第二纹理图像集，将第一目标纹理图像分解为表示图像低频分量的第一目标纹理图像和表示图像高频分量的第二目标纹理图像。基于第一纹理图像集对第一目标纹理图像进行图像增强，可以得到第一目标纹理图像对应的第一增强纹理图像，相当于增强了目标纹理图像中的低频分量，例如增强了光照。基于第二纹理图像集对第二目标纹理图像进行图像增强，可以得到第二目标纹理图像对应的第二增强纹理图像，相当于增强了目标纹理图像中的高频分量，例如增强了纹理细节。融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。这样，可以将低质量的目标纹理图像转化为清晰度高且细节信息丰富的重建纹理图像，确保生成的重建纹理图像在保留原有纹理信息的同时，加强了清晰度，加强了更多纹理细节，大大提高了纹理图像的重建质量。
43.在一个实施例中，分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，包括：对纹理图像集进行高斯分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集；对目标纹理图像进行高斯分解，得到目标纹理图像对应的第一目标纹理图像和第二目标纹理图像。
44.其中，高斯分解是指基于高斯滤波实现的频率分解方式。对纹理图像进行高斯滤波得到表示纹理图像的低频分量的第一纹理图像，将纹理图像和第一纹理图像的差值作为表示纹理图像的高频分量的第二纹理图像。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波具体是用一个高斯核扫描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值去替代高斯核确定的中心像素点的值。高斯核是对高斯函数进行采样得到的，高斯函数是指高斯分布的概率密度函数。高斯滤波相当于低通滤波器，经过加权平均后变化剧烈的高频成分，如边缘、条纹、噪点等像素将会变得平滑（即被“压抑”），而原本比较平滑的地方，做了加权平均依旧比较平滑，变化不大（即被“通过”）。
45.具体地，计算机设备对纹理图像集进行高斯分解，得到表示纹理图像集的高频分量的第一纹理图像集和表示纹理图像集的低频分量的第二纹理图像集。计算机设备对目标纹理图像进行高斯分解，得到表示目标纹理图像的高频分量的第一目标纹理图像和表示目
标纹理图像的低频分量的第二目标纹理图像。
46.上述实施例中，通过高斯分解可以快速分解出图像中的高频分量和低频分量。图像的低频分量和高频分量反映的图像信息不同，后续分别对目标纹理图像的低频分量和高频分量进行图像增强，可以提高纹理重建的质量。纹理图像集的低频分量包含更多的信息，基于纹理图像集的低频分量对目标纹理图像的低频分量进行图像增强，以提高清晰度，纹理图像集的高频分量包含更多的信息，基于纹理图像集的高频分量对目标纹理图像的高频分量进行图像增强，以增加纹理细节，再融合增强后的低频分量和高频分量可以得到清晰度高且细节信息丰富的重建纹理图像。
47.在一个实施例中，如图3所示，基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像，包括：步骤s302，分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图。
48.步骤s304，将第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图进行拼接处理，得到中间纹理特征图。
49.步骤s306，对中间纹理特征图进行注意力处理，得到目标纹理特征图。
50.步骤s308，基于目标纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。
51.其中，卷积处理用于提取图像特征。对图像进行卷积处理其实就是利用卷积核在图像上滑动，卷积核依次与图像上对应位置的图像块做卷积的过程。卷积核与图像上对应位置的图像块做卷积是指对图像块中像素点的像素值进行加权求和，加权求和的权值由卷积核确定，也就是，将图像块中像素点的像素值与卷积核中对应位置的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素点对应的图像像素点的卷积结果。
52.拼接处理主要用于拼接图像。拼接处理可以是直接对不同的图像进行拼接，也可以是对不同的图像进行一些预处理后再进行拼接，也可以是对不同的图像进行拼接后再进行一些预处理。
53.注意力处理用于进一步提取图像特征，以过滤无关信息而关注、增强重点信息，例如，去除图像中的噪声，照亮图像中的暗区。可以采用各种应用于图像的注意力机制来实现注意力处理，例如，采用通道注意力机制进行注意力处理。
54.具体地，在对低频分量进行图像增强时，计算机设备先分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，通过卷积处理可以提取得到图像的光谱特征。然后，计算机设备将第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图进行拼接处理，得到中间纹理特征图，通过拼接处理可以集成不同图像的光谱特征。进而，计算机设备对中间纹理特征图进行注意力处理，得到目标纹理特征图，通过注意力处理可以提取得到图像深度的光谱特征。最后，计算机设备基于目标纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。目标纹理特征图包含第一目标纹理图像缺乏的频率信息，可以对第一目标纹理图像的频率信息起到补充作用。
55.上述实施例中，分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，将第一纹理图像集和第
一目标纹理图像分别对应的初始纹理特征图进行拼接处理，得到中间纹理特征图，对中间纹理特征图进行注意力处理，得到目标纹理特征图，基于目标纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。卷积处理用于提取图像的光谱特征，注意力处理用于增强图像的低频信息，通过上述处理得到的第一增强纹理图像比第一目标纹理图像具有更多的低频信息，比第一目标纹理图像的质量更好，例如，恢复了第一目标纹理图像中的光照，这样的第一增强纹理图像有助于提高纹理图像重建的质量。
56.在一个实施例中，分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，包括：基于至少两个第一卷积核，对第一纹理图像集进行卷积处理，得到至少两个第一卷积特征图，拼接至少两个第一卷积特征图得到第一纹理图像集对应的初始纹理特征图；至少两个第一卷积核包括至少两个尺寸的第一卷积核；基于至少两个第二卷积核，对第一目标纹理图像进行卷积处理，得到至少两个第二卷积特征图，拼接至少两个第二卷积特征图得到第一目标纹理图像对应的初始纹理特征图；至少两个第二卷积核包括至少两个尺寸的第二卷积核。
57.其中，卷积核中的数据用于确定加权求和时的权值。卷积核的尺寸用于确定需要加权求和的像素区域，即用于确定图像块大小。不同尺寸的卷积核用于提取不同尺度的光谱特征，不同尺寸的光谱特征对应不同尺度的图像空间信息。
58.第一卷积核用于对第一纹理图像集进行卷积处理，第二卷积核用于对第一目标纹理图像进行卷积处理。在一个实施例中，第一卷积核和第二卷积核可以是相同的卷积核。
59.具体地，对第一纹理图像集和第一目标纹理图像进行卷积处理的过程相同。计算机设备获取至少两个尺寸的第一卷积核，分别基于各个第一卷积核对第一纹理图像集进行卷积处理，得到不同的第一卷积特征图，最终拼接各个第一卷积特征图得到第一纹理图像集对应的初始纹理特征图。计算机设备获取至少两个尺寸的第二卷积核，基于各个第二卷积核分别对第一目标纹理图像进行卷积处理，得到不同的第二卷积特征图，最终拼接各个第二卷积特征图得到第一目标纹理图像对应的初始纹理特征图。
60.上述实施例中，通过不同尺寸的卷积核可以提取到多尺度的特征信息，多尺度的特征信息有助于提高后续数据处理的准确性。通过不同尺寸的第一卷积核对第一纹理图像集进行卷积处理，能够提取到多尺度联合空间光谱。通过不同尺寸的第二卷积核对第一目标纹理图像第一目标纹理图像，能够提取到多尺度空间和光谱特征。
61.在一个实施例中，将第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图进行拼接处理，得到中间纹理特征图，包括：拼接第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，得到第一纹理特征图，对第一纹理特征图进行整流处理，得到第二纹理特征图；对第二纹理特征图进行卷积处理，得到第三纹理特征图，对第三纹理特征图进行上采样处理，得到第四纹理特征图，对第四纹理特征图进行整流处理，得到中间纹理特征图。
62.其中，整流处理用于修正像素值，将像素值映射到预设范围内。可以通过激活函数来进行整流处理，例如，通过relu（rectified linear unit，线性整流函数）来进行整流处理。
63.上采样处理用于增大图像的分辨率，也就是，将图像从一个较小的尺寸转换为一
个较大的尺寸。具体可以先将原始图像的尺寸进行放大，这样会空出来很多需要补充的区域，然后通过一定的插值算法来计算待补充的区域对应的像素值，从而实现图像的放大。例如，通过双线性插值算法来计算待补充的区域对应的像素值；通过最邻近插值算法来计算待补充的区域对应的像素值；等等。
64.具体地，在将第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图进行拼接处理时，计算机设备先拼接第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，得到第一纹理特征图，然后对第一纹理特征图进行整流处理，得到第二纹理特征图，通过整流处理可以规范特征图的像素值大小，避免像素点之间的像素值差异过大。接着，计算机设备对第二纹理特征图进行卷积处理，得到第三纹理特征图，通过进一步的卷积处理来进一步提取图像的特征信息。进而，计算机设备对第三纹理特征图进行上采样处理，将第三纹理特征图转换为更高分辨率的第四纹理特征图，上采样处理有利于方便后续的注意力处理。最后，计算机设备对第四纹理特征图进行整流处理，得到中间纹理特征图，由于上采样处理会引入新的像素值，通过整流处理可以再次规范特征图的像素值大小，避免像素点之间的像素值差异过大。
65.上述实施例中，拼接第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，得到第一纹理特征图，对第一纹理特征图进行整流处理，得到第二纹理特征图，对第二纹理特征图进行卷积处理，得到第三纹理特征图，对第三纹理特征图进行上采样处理，得到第四纹理特征图，对第四纹理特征图进行整流处理，得到中间纹理特征图。整流处理用于规范特征图的像素值大小，卷积处理用于进一步提取特征信息，通过上述处理得到的中间纹理特征图的特征表达能力更强，有利于提高后续数据处理的准确性。
66.在一个实施例中，基于第一纹理图像集和第一目标纹理图像得到中间纹理特征图的计算过程如下：f
sl
=[h
l3
(i
l
),h
l5
(i
l
),h
l7
(i
l
)]f
sc
=[h
c3
(c
l
),h
c5
(c
l
),h
c7
(c
l
)]f
s =relu([f
sl
, f
sc
])f0=relu(h
conv
(fs))其中，h
l3
，h
l5
和h
l7
分别表示卷积核大小为3
×
3，5
×
5和7
×
7的 2d 卷积核。i
l
表示第一目标纹理图像。f
sl
表示第一目标纹理图像对应的初始纹理特征图。h
c3
，h
c5
和h
c7
分别表示卷积核大小为3
×
3，5
×
5和7
×
7的 2d 卷积核。c
l
表示第一纹理图像集。f
sc
表示第一纹理图像集对应的初始纹理特征图。
[0067]
[]表示拼接，例如，[f
sl
, f
sc
]表示拼接f
sl
和f
sc
。relu表示relu函数。h
conv
表示使用一个3
×
3的卷积并且填充 1*1像素以扩大特征图的空间分辨率。f0表示最终处理得到的中间纹理特征图。
[0068]
i0表示目标纹理图像，c0表示目标纹理图像对应的纹理图像集。参考图4，将i0的低频分量i
l
输入第一子模块，第一子模块由三个不同大小的卷积核组成，用于 2d 卷积以提取多尺度空间信息，三个卷积同时执行，将提取的特征图连接起来形成特征图f
sl
。将c0的低频分量c
l
输入第二子模块，第二子模块也是由三个不同大小的卷积核组成，用于 2d 卷积以提取多尺度联合空间信息，三个卷积同时执行，将提取的特征图连接起来形成特征图f
sc
。f
sl
和f
sc
的大小一致。通过连接两个子模块的输出，再进行整流处理得到特征图fs。特征图fs输入卷积层进一步提取通道特征，再进行整流处理得到特征图f0。
[0069]
在一个实施例中，对中间纹理特征图进行注意力处理，得到目标纹理特征图，包括：对中间纹理特征图依次进行至少两次有序的注意力处理，得到至少两个有序的注意力纹理特征图；拼接至少两个有序的注意力纹理特征图，得到第一拼接纹理特征图，对第一拼接纹理特征图进行卷积处理，得到卷积纹理特征图；从至少两个有序的注意力纹理特征图中获取结尾注意力纹理特征图，融合结尾注意力纹理特征图和卷积纹理特征图，得到融合纹理特征图；拼接至少两个有序的注意力纹理特征图和融合纹理特征图，得到第二拼接纹理特征图，对第二拼接纹理特征图进行卷积处理，得到目标纹理特征图。
[0070]
其中，对中间纹理特征图进行有序的注意力处理是指对中间纹理特征图进行连续的注意力处理，例如，对中间纹理特征图进行第一次注意力处理得到第一个注意力纹理特征图，对第一个注意力纹理特征图进行第二次注意力处理得到第二个注意力纹理特征图，对第二个注意力纹理特征图进行第三次注意力处理得到第三个注意力纹理特征。注意力处理的次数可以根据实际需要进行设置。
[0071]
结尾注意力纹理特征图是指在至少两个有序的注意力纹理特征图中，经过最后一次注意力处理得到的注意力特征图。例如，注意力处理的次数为四次，那么将第四次注意力处理得到的注意力纹理特征图作为结尾注意力纹理特征图。
[0072]
具体地，计算机设备对中间纹理特征图依次进行至少两次有序的注意力处理，得到至少两个有序的注意力纹理特征图，一开始的注意力处理可以提取到浅层的特征信息，得到初级的注意力纹理特征图，后续的注意力处理可以提取到深层的特征信息，得到高级的注意力纹理特征图。进而，计算机设备拼接至少两个有序的注意力纹理特征图，得到第一拼接纹理特征图，对第一拼接纹理特征图进行卷积处理，得到卷积纹理特征图，通过卷积处理可以降低第一拼接纹理特征图的分辨率。计算机设备从至少两个有序的注意力纹理特征图中获取结尾注意力纹理特征图，融合结尾注意力纹理特征图和卷积纹理特征图，得到融合纹理特征图，融合纹理特征图具有更强的特征表达能力。最终，计算机设备拼接至少两个有序的注意力纹理特征图和融合纹理特征图，得到第二拼接纹理特征图，对第二拼接纹理特征图进行卷积处理，得到目标纹理特征图。通过卷积处理可以集成各个级别的注意力纹理特征图所包含的信息。
[0073]
上述实施例中，对中间纹理特征图依次进行至少两次有序的注意力处理，得到至少两个有序的注意力纹理特征图，拼接至少两个有序的注意力纹理特征图，得到第一拼接纹理特征图，对第一拼接纹理特征图进行卷积处理，得到卷积纹理特征图，从至少两个有序的注意力纹理特征图中获取结尾注意力纹理特征图，融合结尾注意力纹理特征图和卷积纹理特征图，得到融合纹理特征图，拼接至少两个有序的注意力纹理特征图和融合纹理特征图，得到第二拼接纹理特征图，对第二拼接纹理特征图进行卷积处理，得到目标纹理特征图。连续的注意力处理可以逐步提取到深层的特征信息，增强低频信息，并去除图像中的噪声，卷积处理可以进一步提取特征信息，通过上述数据处理得到的目标纹理特征图的特征表达能力更强，有助于提高后续数据处理的准确性。
[0074]
在一个实施例中，对中间纹理特征图进行注意力处理得到目标纹理特征图的计算公式如下：fi
=h
tab,i
(f
i-1
)=h
tab,i
(h
tab,i-1
(
⋯
(h
tab,1
(f0))
⋯
))f
n,f
=h
t
([f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1])fn= f
n,f +fn−1fd=h
df
([f0,f1,
⋯
,fn])其中，fi表示第i次通道注意力处理输出的注意力纹理特征图。h
tab,i
表示第i个通道注意力处理的处理过程，通道注意力处理由几个标准操作组成，即2d卷积、全局平均池化和激活函数。[f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1]表示f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1特征图的串联。ht表示卷积操作，用于降低特征图的维度。h
df
表示卷积操作，用于集成不同级别的特征。fn表示最终处理得到的目标纹理特征图。
[0075]
参考图5，对中间纹理特征图进行n-1次标准的通道注意力处理，每进行一次通道注意力处理输出对应的注意力纹理特征图，即输出f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1。
[0076]
基于第1至n-1个通道注意力处理的输出来进行第n次特殊的通道注意力处理，输出fn。具体地，在利用连续的通道注意力处理提取深度特征之后，使用特征融合功能来整合第1至n-1个通道注意力处理的输出，即[f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1]，进而由具有卷积核大小的单个卷积层组成的过渡层来降低连接特征图的维度，即h
t
([f
n-1
,f
n-2
,
⋯
,f
n-c
,
⋯
,f1])。这个过渡层减轻了整个网络的计算负担，使网络易于使用。为了进一步增强模型表示能力，应用了内部块残差学习策略，将f
n,f
和fn−1融合得到fn。
[0077]
最终，将第1至n个通道注意力处理的输出串联，通过卷积操作来集成不同级别的特征信息，从而得到目标纹理特征图，即fd=h
df
([f0,f1,
⋯
,fn])。
[0078]
在一个实施例中，基于目标纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像，包括：对目标纹理特征图进行卷积处理，得到补充纹理特征图；融合补充纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。
[0079]
具体地，计算机设备对目标纹理特征图进行卷积处理，得到补充纹理特征图，通过卷积处理可以重建低频分量，为第一目标纹理图像补充一些频率信息。进而，融合补充纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。
[0080]
上述实施例中，对目标纹理特征图进行卷积处理，得到补充纹理特征图，融合补充纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。通过卷积处理可以恢复第一目标纹理图像缺失的频率信息，融合补充纹理特征图和第一目标纹理图像，可以得到包含丰富信息的第一增强纹理图像。
[0081]
在一个实施例中，基于目标纹理特征图和第一目标纹理图像得到第一增强纹理图像的计算公式如下：ir=hr(fd)=ir+i
l
其中，fd表示目标纹理特征图，hr表示卷积操作，ir表示恢复的残差，即补充纹理特征图。i
l
表示第一目标纹理图像，表示第一增强纹理图像，即低频信息增强的第一目标纹理图像。
[0082]
在一个实施例中，参考图6，基于第二纹理图像集对第二目标纹理图像进行图像增
强，得到第二目标纹理图像对应的第二增强纹理图像，包括：步骤s602，对第二纹理图像集和第二目标纹理图像进行平均处理，得到平均纹理图像。
[0083]
步骤s604，将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理，得到拼接纹理图像。
[0084]
步骤s606，对拼接纹理图像进行残差处理，得到掩码纹理图像。
[0085]
步骤s608，融合掩码纹理图像和平均纹理图像，得到目标纹理图像对应的第二增强纹理图像。
[0086]
其中，平均处理是指均值计算，用于计算不同图像同一位置像素点之间的像素均值。拼接处理主要用于拼接图像。拼接处理可以是直接对不同的图像进行拼接，也可以是对不同的图像进行一些预处理后再进行拼接，也可以是对不同的图像进行拼接后再进行一些预处理。
[0087]
残差处理是通过残差网络实现的数据处理。通过残差处理可以得到掩膜纹理图像。掩膜纹理图像是二值化图像，用于确定图像中的轮廓信息。
[0088]
具体地，计算机设备可以对第二纹理图像集和第二目标纹理图像做均值计算，得到平均纹理图像，将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理，得到拼接纹理图像。进而，计算机设备对拼接纹理图像进行残差处理，得到掩码纹理图像，残差处理用于先对拼接纹理图像中的平均纹理图像、第一目标纹理图像、第一增强纹理图像进行频率补充，再将频率补充后的第一目标纹理图像、第一增强纹理图像和频率补充后的平均纹理图像进行像素值比较，从而得到掩码纹理图像。最终，计算机设备融合掩码纹理图像和平均纹理图像，得到目标纹理图像对应的第二增强纹理图像。掩码纹理图像是二值化图像，将平均纹理图像和掩码纹理图像进行融合，可以将平均纹理图像中反映轮廓信息的像素点的像素值保留，反映其他信息的像素点的像素值置零。
[0089]
上述实施例中，对第二纹理图像集和第二目标纹理图像进行平均处理，得到平均纹理图像，将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理，得到拼接纹理图像，对拼接纹理图像进行残差处理，得到掩码纹理图像，融合掩码纹理图像和平均纹理图像，得到目标纹理图像对应的第二增强纹理图像。平均处理有助于细化第二目标纹理图像，增加频率信息，残差处理有助于恢复第二目标纹理图像缺失的频率信息，通过上述处理得到的第二增强纹理图像包含更准确的轮廓信息，有助于提高纹理图像重建的质量。
[0090]
在一个实施例中，将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理，得到拼接纹理图像，包括：分别对第一目标纹理图像和第一增强纹理图像进行上采样处理，得到第一目标纹理图像对应的第一上采样纹理图像、第一增强纹理图像对应的第二上采样纹理图像；第一上采样纹理图像、第二上采样纹理图像和平均纹理图像的分辨率一致；拼接平均纹理图像、第一上采样纹理图像、第二上采样纹理图像，得到拼接纹理图像。
[0091]
具体地，第一目标纹理图像和第一增强纹理图像表示图像的低频分量，通过频率分解得到的低频分量通常分辨率也随之下降了，因此为了方便拼接，可以先进行上采样处理，将需要拼接的图像的分辨率统一，然后再拼接。
[0092]
在将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理时，计算
机设备先分别对第一目标纹理图像和第一增强纹理图像进行上采样处理，将第一目标纹理图像和第一增强纹理图像的分辨率转换为与平均纹理图像的分辨率一致，得到第一目标纹理图像对应的第一上采样纹理图像、第一增强纹理图像对应的第二上采样纹理图像。然后，计算机设备拼接平均纹理图像、第一上采样纹理图像、第二上采样纹理图像，得到拼接纹理图像。
[0093]
上述实施例中，分别对第一目标纹理图像和第一增强纹理图像进行上采样处理，得到第一目标纹理图像对应的第一上采样纹理图像、第一增强纹理图像对应的第二上采样纹理图像，第一上采样纹理图像、第二上采样纹理图像和平均纹理图像的分辨率一致，拼接平均纹理图像、第一上采样纹理图像、第二上采样纹理图像，得到拼接纹理图像。先将图像的分辨率统一再拼接，有助于提高拼接的准确性和效率。
[0094]
在一个实施例中，融合掩码纹理图像和平均纹理图像，得到目标纹理图像对应的第二增强纹理图像，包括：将掩码纹理图像和平均纹理图像进行逐像素融合，得到目标纹理图像对应的第二增强纹理图像。
[0095]
其中，逐像素融合是指将不同图像同一位置像素点的像素值进行融合。
[0096]
具体地，掩码纹理图像为二值化图像，二值化图像是由像素值0和1组成的图像，计算机设备将掩码纹理图像和平均纹理图像进行逐像素融合，即可得到目标纹理图像对应的第二增强纹理图像。
[0097]
上述实施例中，将掩码纹理图像和平均纹理图像进行逐像素融合，得到目标纹理图像对应的第二增强纹理图像，能够保障第二增强纹理图像的质量。
[0098]
在一个实施例中，ih表示第二目标纹理图像，ch表示第二纹理图像集。为了实现可靠的高频分量重建，对ih和ch求均值，得到细化的高频分量i
mean
。进一步对i
mean
进行处理得到，表示第二增强纹理图像。为了匹配i
mean
的分辨率（i
mean
∈rh×w×1），对i
l
（i
l
∈r
h/2
×
w/2
×1）和（∈r
h/2
×
w/2
×1）进行上采样。然后串联i
mean
和上采样后的i
l
、，将串联后的图像输入由残差块组成的轻量级网络，网络输出i
mask
，i
mask
∈rh×w×1。
[0099]
进一步的，融合掩码纹理图像和平均纹理图像得到第二增强纹理图像的计算公式如下：=i
mean
⊗imask
其中
⊗
表示逐像素乘法。
[0100]
在一个实施例中，融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像，包括：对第一增强纹理图像进行上采样处理，将上采样处理后的第一增强纹理图像和第二增强纹理图像进行融合，得到融合纹理图像；对融合纹理图像进行卷积处理，得到目标纹理图像对应的重建纹理图像。
[0101]
具体地，第一增强纹理图像表示图像的低频分量，通过频率分解得到的低频分量通常分辨率也随之下降了，因此为了方便融合，可以先进行上采样处理，将需要融合的图像的分辨率统一，然后再融合。计算机设备对第一增强纹理图像进行上采样处理，将上采样处理后的第一增强纹理图像和第二增强纹理图像进行融合，得到融合纹理图像，为了细化图
像，平滑图像，计算机设备进一步对融合纹理图像进行卷积处理，最终得到目标纹理图像对应的重建纹理图像。
[0102]
上述实施例中，对第一增强纹理图像进行上采样处理，将上采样处理后的第一增强纹理图像和第二增强纹理图像进行融合，得到融合纹理图像，对融合纹理图像进行卷积处理，得到目标纹理图像对应的重建纹理图像。先将图像的分辨率统一再融合，可以保障融合的准确性和效率。通过卷积处理可以进一步细化重建的纹理的频段信息，进而提高重建纹理图像的质量。
[0103]
在一个实施例中，融合第一增强纹理图像和第二增强纹理图像得到重建纹理图像的计算公式如下：ie=hr(+upscale())其中upscale是一个上采样过程，在这个上采样过程中，先将的尺寸进行放大，对待补充的区域对应的像素值填充零，然后使用高斯核进行卷积调整图像的大小，是指与的大小一致。hr是一个简单的卷积操作，用于进一步细化重建的纹理频段信息。ie表示最终得到的重建纹理图像。
[0104]
在一个实施例中，如图7所示，纹理图像重建方法还包括：步骤s702，将纹理图像集和目标纹理图像输入纹理重建模型；纹理重建模型包括图像分解网络、第一图像增强网络、第二图像增强网络和图像重建网络。
[0105]
步骤s704，将纹理图像集和目标纹理图像输入图像分解网络进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像。
[0106]
步骤s706，将第一纹理图像集和第一目标纹理图像输入第一图像增强网络，得到目标纹理图像对应的第一增强纹理图像。
[0107]
步骤s708，将第二纹理图像集和第二目标纹理图像输入第二图像增强网络，得到目标纹理图像对应的第二增强纹理图像。
[0108]
步骤s710，将第一增强纹理图像和第二增强纹理图像输入图像重建网络，得到目标纹理图像对应的重建纹理图像。
[0109]
其中，纹理重建模型是指用于进行纹理重建的神经网络模型。纹理重建模型的输入数据为目标纹理图像和目标纹理图像对应的纹理图像集，输出数据为目标纹理图像对应的重建纹理图像。
[0110]
纹理重建模型包括图像分解网络、第一图像增强网络、第二图像增强网络和图像重建网络。图像分解网络用于进行频率分解，第一图像增强网络用于进行低频分量的图像增强，第二图像增强网络用于进行高频分量的图像增强，图像重建网络用于融合增强后的低频分量和高频分量。
[0111]
具体地，计算机设备将纹理图像集和目标纹理图像输入纹理重建模型，纹理图像集和目标纹理图像输入至纹理重建模型中的图像分解网络进行频率分解，图像分解网络输出纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像。第一纹理图像集和第一目标纹理图像输入至纹理重建模型中的第一图像增强网络进行图像增强，第一图像增强网络输出目标纹理图像对应的第一增强
纹理图像。第二纹理图像集和第二目标纹理图像输入至纹理重建模型中的第二图像增强网络进行图像增强，第二图像增强网络输出目标纹理图像对应的第二增强纹理图像。可以理解，第一图像增强网络和第二图像增强网络可以并行进行数据处理。第一增强纹理图像和第二增强纹理图像输入至纹理重建模型中的图像重建网络，图像重建网络输出目标纹理图像对应的重建纹理图像。最终，纹理重建模型将重建纹理图像进行输出。
[0112]
上述实施例中，将纹理图像集和目标纹理图像输入纹理重建模型，通过纹理重建模型中的图像分解网络、第一图像增强网络、第二图像增强网络和图像重建网络，可以快速实现准确的纹理重建，输出目标纹理图像对应的重建纹理图像。
[0113]
在一个实施例中，获取目标纹理图像，包括：获取游戏纹理图像库；从游戏纹理图像库中，获取光照异常的游戏纹理图像作为目标纹理图像。
[0114]
其中，游戏纹理图像库包括游戏所需的各种纹理图像。例如，游戏纹理图像库可以包括游戏角色所需的各种纹理图像，游戏环境所需的各种纹理图像等。
[0115]
具体地，在游戏领域中，对渲染异常的游戏纹理图像进行纹理重建，用纹理重建得到的重建纹理图像来替换异常的游戏纹理图像，以提高游戏画面的显示质量。计算机设备可以在本地或从其他设备处，获取游戏纹理图像库，从游戏纹理图像库中获取异常的游戏纹理图像作为目标纹理图像，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到高质量的重建纹理图像。
[0116]
在游戏中，很多时候很多物件因为多次渲染和渲染顺序问题导致光照不足，为了提高图像的光照渲染效果，计算机设备从游戏纹理图像库中，获取光照异常的游戏纹理图像作为目标纹理图像，例如，获取光照不足的游戏纹理图像作为目标纹理图像，获取低光照的游戏纹理图像作为目标纹理图像，进而基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到高质量的重建纹理图像。
[0117]
光照异常的游戏纹理图像可以是携带光照异常标签的游戏纹理图像，光照异常标签可以是预先人工标注的，也可以是通过用于评估光照效果的算法进行评估得到的。
[0118]
在一个实施例中，在游戏测试阶段进行纹理重建。在游戏测试阶段，获取经过渲染得到的游戏纹理图像，从中获取光照异常的游戏纹理图像作为目标纹理图像，对目标纹理图像进行纹理重建，得到重建纹理图像。在游戏上线应用阶段，用户开启一局游戏，不是加载光照异常的游戏纹理图像，而是加载重建纹理图像，向用户展示的是重建纹理图像，以提高游戏画面的显示效果。
[0119]
上述实施例中，从游戏纹理图像库中，获取光照异常的游戏纹理图像作为目标纹理图像，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，可以恢复目标纹理图像的光照、增强目标纹理图像的光照，得到目标纹理图像对应的光照效果更好的重建纹理图像。
[0120]
在一个具体的实施例中，本技术的纹理图像重建方法可以应用于游戏场景，对游戏中纹理资源的性能进行优化。在游戏中，很多时候很多物件因为多次渲染和渲染顺序问题导致光照不足效果，本技术方法提出了低光游戏纹理色彩空间增强的模型（可以称为纹理重建模型），该模型可以提高游戏纹理图像的渲染效果，使重建的游戏纹理图像可以包含更丰富、更详细的纹理。
[0121]
参考图8，模型包括高斯金字塔网络、光照增强分支、高频细化分支、高斯重构网络。
[0122]
服务器获取游戏纹理图像集c0，从游戏纹理图像集中选取低光的游戏纹理图像作为目标纹理图像i0。其中，游戏纹理图像集c0是基于不同分辨率的、对应同一纹理的游戏纹理图像得到的，不同分辨率的、对应同一纹理的游戏纹理图像适配不同的终端。c0∈rh×w×k，表示c0包括k张纹理图像，i0∈rh×w×1。
[0123]
服务器将c0和i0输入高斯金字塔网络，通过高斯金字塔网络中的高斯分解模块进行高斯分解，高斯分解模块代表标准的高斯分解过程，c0被分解为ch和c
l
，ch表示高频分量，ch∈rh×w×1，c
l
表示低频分量，c
l
∈r
h/2
×
w/2
×1。i0被分解为ih和i
l
，ih表示高频分量，ih∈rh×w×1，i
l
表示低频分量，i
l
∈r
h/2
×
w/2
×1。
[0124]
光照增强分支旨在启发低光游戏纹理色彩空间的低频分量，恢复光照。光照增强分支包括低光特征提取模块、光照加强模块（又可以称为最大期望模块）和重建模块。将i
l
和c
l
输入光照增强分支中的低光特征提取模块，低光特征提取模块输出f0，低光特征提取模块负责提取游戏纹理色彩空间的多尺度空间和光谱特征。将f0输入光照加强模块，光照加强模块输出fd，光照加强模块用于照亮暗区并去除低光游戏纹理色彩空间中的各种噪声。将fd输入重建模块，重建模块输出，重建模块用于重建低光游戏纹理色彩空间的低频分量。在重建模块中，基于fd生成ir，将ir和i
l
相加得到，表示游戏纹理色彩空间频带加光的低频分量。∈r
h/2
×
w/2
×1。
[0125]
高频细化分支旨在还原纹理细节，减少重建中的伪影。将ih和ch输入高频细化分支。为了利用好游戏纹理色彩空间的高频属性，在高频细化分支中，计算ih和ch的均值i
mean
来代替ih细化高频分量，因为i
mean
涉及ih丢失的部分纹理信息。为了匹配i
mean
的分辨率，对i
l
和使用上采样操作，将i
mean
和上采样后的i
l
、拼接后输入由三个残差块组成的轻量级网络，轻量级网络输出i
mask
。将i
mean
和i
mask
逐像素相乘得到。∈rh×w×1。
[0126]
由于高斯金字塔的可逆特性，可以通过顺序镜像操作重建图像。将和输入高斯重构网络。为了匹配的分辨率，对进行上采样操作，将和上采样后的相加后进行卷积操作，从而一步细化重建的纹理频段信息，得到ie，至此完成纹理的重建。
[0127]
本技术方法是一种全新的低光生成技术，解决了游戏引擎中实际低光和虚幻低光之间的重叠问题，本技术方法可以照亮纹理图像中低光照的黑暗区域，能够同时抑制各种噪声并保持频谱保真度。本技术方法已经应用在moba（multiplayer online battle arena，多人在线战术竞技游戏）的纹理资源性能优化工作上，可以极大改善最终游戏画面的显示效果，提高游戏画面质量。
[0128]
并且，经过测试，相较于传统方法，本技术方法的加载耗时和gpu消耗更少。具体地，利用debug工具先对纹理资源进行提取，提取后送入本技术方法中的模型，进行优化后，再替换掉原有的纹理，重新运行纹理加载过程，比较传统方法和本技术方法的性能，本技术方法的加载耗时和gpu消耗更少。
[0129]
可以理解，本技术方法还可以应用于影视特效、可视化设计、vr（virtual reality，虚拟现实）、工业仿真和数字文创等场景中。其中，数字文创具体可以包括渲染出
来的建筑物或旅游景点等。可以理解，在影视特效、可视化设计、vr和数字文创等场景中可涉及对纹理图像的处理。其中，对上述各个场景中纹理图像的重建可通过本技术的纹理图像重建方法实现。通过本技术的纹理图像重建方法实现对纹理图像的重建，可以加强纹理图像的清晰度，加强更多纹理细节，大大提高了纹理图像的质量，进而提高影视特效、可视化设计、vr（virtual reality，虚拟现实）、工业仿真和数字文创等场景中的画面显示效果。
[0130]
例如，工业仿真是指对工业流程和工业产品进行仿真演示。在工业仿真场景中，可能会涉及到对工业生产环境的仿真演示，比如，对厂房、设备、设施进行三维数字化建模，可以从工业仿真模型对应的各个纹理图像中查找低质量的纹理图像作为目标纹理图像，通过本技术的纹理图像重建方法，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到目标纹理图像对应的重建纹理图像，利用重建纹理图像替换低质量的纹理图像贴合至工业仿真模型上，可以提升工业仿真模型的仿真效果，得到更为准确、更具参考性的工业生产仿真环境。
[0131]
例如，数字文创是指以文化创意内容为核心，依托数字技术进行创作、生产、传播和服务。在数字文创场景中，可能会涉及到对具有文化代表意义的建筑物进行三维数字化建模，比如对博物馆或者历史建筑进行三维数字化建模，可以从建筑模型对应的各个纹理图像中查找低质量的纹理图像作为目标纹理图像，通过本技术的纹理图像重建方法，基于目标纹理图像对应的纹理图像集对目标纹理图像进行纹理重建，得到目标纹理图像对应的重建纹理图像，利用重建纹理图像替换低质量的纹理图像贴合至建筑模型上，从而提升对建筑物等建模对象的建模效果，得到更为逼真的数字文创建筑物。应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0132]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的纹理图像重建方法的纹理图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个纹理图像重建装置实施例中的具体限定可以参见上文中对于纹理图像重建方法的限定，在此不再赘述。
[0133]
在一个实施例中，如图9所示，提供了一种纹理图像重建装置，包括：纹理图像获取模块902、图像分解模块904、第一图像增强模块906、第二图像增强模块908和图像融合模块910，其中：纹理图像获取模块902，用于获取目标纹理图像和目标纹理图像对应的纹理图像集；纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的。
[0134]
图像分解模块904，用于分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像；第一纹理图像集对应的频率小于第二纹理图像集对应的频率，第
一目标纹理图像对应的频率小于第二目标纹理图像对应的频率。
[0135]
第一图像增强模块906，用于基于第一纹理图像集对第一目标纹理图像进行图像增强，得到第一目标纹理图像对应的第一增强纹理图像。
[0136]
第二图像增强模块908，用于基于第二纹理图像集对第二目标纹理图像进行图像增强，得到第二目标纹理图像对应的第二增强纹理图像。
[0137]
图像融合模块910，用于融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。
[0138]
在一个实施例中，图像分解模块904还用于：对纹理图像集进行高斯分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集；对目标纹理图像进行高斯分解，得到目标纹理图像对应的第一目标纹理图像和第二目标纹理图像。
[0139]
在一个实施例中，第一图像增强模块906还用于：分别对第一纹理图像集和第一目标纹理图像进行卷积处理，得到第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图；将第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图进行拼接处理，得到中间纹理特征图；对中间纹理特征图进行注意力处理，得到目标纹理特征图；基于目标纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。
[0140]
在一个实施例中，第一图像增强模块906还用于：基于至少两个第一卷积核，对第一纹理图像集进行卷积处理，得到至少两个第一卷积特征图，拼接至少两个第一卷积特征图得到第一纹理图像集对应的初始纹理特征图；至少两个第一卷积核包括至少两个尺寸的第一卷积核；基于至少两个第二卷积核，对第一目标纹理图像进行卷积处理，得到至少两个第二卷积特征图，拼接至少两个第二卷积特征图得到第一目标纹理图像对应的初始纹理特征图；至少两个第二卷积核包括至少两个尺寸的第二卷积核。
[0141]
在一个实施例中，第一图像增强模块906还用于：拼接第一纹理图像集和第一目标纹理图像分别对应的初始纹理特征图，得到第一纹理特征图，对第一纹理特征图进行整流处理，得到第二纹理特征图；对第二纹理特征图进行卷积处理，得到第三纹理特征图，对第三纹理特征图进行上采样处理，得到第四纹理特征图，对第四纹理特征图进行整流处理，得到中间纹理特征图。
[0142]
在一个实施例中，第一图像增强模块906还用于：对中间纹理特征图依次进行至少两次有序的注意力处理，得到至少两个有序的注意力纹理特征图；拼接至少两个有序的注意力纹理特征图，得到第一拼接纹理特征图，对第一拼接纹理特征图进行卷积处理，得到卷积纹理特征图；从至少两个有序的注意力纹理特征图中获取结尾注意力纹理特征图，融合结尾注意力纹理特征图和卷积纹理特征图，得到融合纹理特征图；拼接至少两个有序的注意力纹理特征图和融合纹理特征图，得到第二拼接纹理特征图，对第二拼接纹理特征图进行卷积处理，得到目标纹理特征图。
[0143]
在一个实施例中，第一图像增强模块906还用于：对目标纹理特征图进行卷积处理，得到补充纹理特征图；融合补充纹理特征图和第一目标纹理图像，得到目标纹理图像对应的第一增强纹理图像。
[0144]
在一个实施例中，第二图像增强模块908还用于：对第二纹理图像集和第二目标纹理图像进行平均处理，得到平均纹理图像；将平均纹理图像、第一目标纹理图像、第一增强纹理图像进行拼接处理，得到拼接纹理图像；对拼接纹理图像进行残差处理，得到掩码纹理图像；融合掩码纹理图像和平均纹理图像，得到目标纹理图像对应的第二增强纹理图像。
[0145]
在一个实施例中，第二图像增强模块908还用于：分别对第一目标纹理图像和第一增强纹理图像进行上采样处理，得到第一目标纹理图像对应的第一上采样纹理图像、第一增强纹理图像对应的第二上采样纹理图像；第一上采样纹理图像、第二上采样纹理图像和平均纹理图像的分辨率一致；拼接平均纹理图像、第一上采样纹理图像、第二上采样纹理图像，得到拼接纹理图像。
[0146]
在一个实施例中，第二图像增强模块908还用于：将掩码纹理图像和平均纹理图像进行逐像素融合，得到目标纹理图像对应的第二增强纹理图像。
[0147]
在一个实施例中，图像融合模块910还用于：对第一增强纹理图像进行上采样处理，将上采样处理后的第一增强纹理图像和第二增强纹理图像进行融合，得到融合纹理图像；对融合纹理图像进行卷积处理，得到目标纹理图像对应的重建纹理图像。
[0148]
在一个实施例中，纹理图像重建装置还用于：将纹理图像集和目标纹理图像输入纹理重建模型；纹理重建模型包括图像分解网络、第一图像增强网络、第二图像增强网络和图像重建网络；将纹理图像集和目标纹理图像输入图像分解网络进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像；将第一纹理图像集和第一目标纹理图像输入第一图像增强网络，得到目标纹理图像对应的第一增强纹理图像；将第二纹理图像集和第二目标纹理图像输入第二图像增强网络，得到目标纹理图像对应的第二增强纹理图像；将第一增强纹理图像和第二增强纹理图像输入图像重建网络，得到目标纹理图像对应的重建纹理图像。
[0149]
在一个实施例中，纹理图像获取模块902还用于：获取游戏纹理图像库；从游戏纹理图像库中，获取光照异常的游戏纹理图像作为目标纹理图像。
[0150]
上述纹理图像重建装置，获取目标纹理图像和目标纹理图像对应的纹理图像集，纹理图像集中的纹理图像所呈现的纹理和目标纹理图像所呈现的纹理是相互匹配的，纹理图像集是基于不同分辨率的纹理图像得到的，借助纹理图像集来对目标纹理图像进行纹理重建。分别对纹理图像集和目标纹理图像进行频率分解，得到纹理图像集对应的第一纹理图像集和第二纹理图像集、目标纹理图像对应的第一目标纹理图像和第二目标纹理图像，通过频率分解可以将纹理图像集分解为表示图像低频分量的第一纹理图像集和表示图像高频分量的第二纹理图像集，将第一目标纹理图像分解为表示图像低频分量的第一目标纹理图像和表示图像高频分量的第二目标纹理图像。基于第一纹理图像集对第一目标纹理图像进行图像增强，可以得到第一目标纹理图像对应的第一增强纹理图像，相当于增强了目标纹理图像中的低频分量，例如增强了光照。基于第二纹理图像集对第二目标纹理图像进
行图像增强，可以得到第二目标纹理图像对应的第二增强纹理图像，相当于增强了目标纹理图像中的高频分量，例如增强了纹理细节。融合第一增强纹理图像和第二增强纹理图像，得到目标纹理图像对应的重建纹理图像。这样，可以将低质量的目标纹理图像转化为清晰度高且细节信息丰富的重建纹理图像，确保生成的重建纹理图像在保留原有纹理信息的同时，加强了清晰度，加强了更多纹理细节，大大提高了纹理图像的重建质量。
[0151]
上述纹理图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0152]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储纹理图像、模型等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种纹理图像重建方法。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种纹理图像重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0154]
本领域技术人员可以理解，图10、11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0155]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0156]
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0157]
在一个实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0158]
需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0159]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0160]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0161]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。