1.本公开涉及图像处理
技术领域：
：，具体而言，涉及一种图像处理方法及装置、计算机可读存储介质及电子设备。
背景技术：
：：2.在自然语言处理领域，依赖自注意机制的transformer在近年来一直占据主导地位，而在计算机视觉领域，卷积神经网络(convolutionalneuralnetworks,cnn)一直是计算机视觉应用的主要主干网络架构，将transformer应用于计算机视觉主干网络架构能够提升对图像处理的精度。3.但是，现有技术中的将transformer应用于计算机视觉主干网络架构在对图像进行处理时精度较差。4.需要说明的是，在上述
背景技术：
：部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：5.本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，进而至少在一定程度上增加了对图像处理的精度。6.根据本公开的第一方面，提供一种图像处理方法，包括：将待处理图像输入至第一卷积模块得到所述待处理图像对应的预设维度的第一特征图像，并根据所述第一特征图像确定第一特征向量；利用至少一个transformer层对所述第一特征向量进行特征转换得到第二特征图像。7.根据本公开的第二方面，提供一种图像处理装置，包括：特征提取模块，用于将待处理图像输入至第一卷积模块得到所述待处理图像对应的预设维度的第一特征图像，并根据所述第一特征图像确定第一特征向量；特征转换模块，用于利用至少一个transformer层对所述第一特征向量进行特征转换得到第二特征图像。8.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。9.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。10.本公开的一种实施例所提供的图像处理方法，将待处理图像输入至第一卷积模块得到待处理图像对应的预设维度的第一特征图像，并根据第一特征图像确定第一特征向量；利用至少一个transformer层对第一特征向量进行特征转换得到第二特征图像。相较于现有技术，采用第一卷积模块能够对图像的局部特征进行较好的挖掘，利用transformer层对第一特征向量进行了特征转换得到第二特征图像，能够对图像的全局信息进行较为准确的捕获，即得到的第二特征图像能够更好的体现待处理图像的特征信息，得到的第二特征图像用于后续处理得到的处理结果的精度更高。11.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明12.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：13.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；14.图2示意性示出本公开示例性实施例中一种图像处理方法的流程图；15.图3示意性示出本公开示例性实施例中一种第一卷积模块的结构示意图；16.图4示意性示出本公开示例性实施例中一种transformer层的结构示意图；17.图5示意性示出本公开示例性实施例中一种利用transformer层得到第一预处理特征图像的流程图；18.图6示意性示出本公开示例性实施例中一种利用三个特征变换模块对第二特征图像进行特征变换的数据流向图；19.图7示意性示出本公开示例性实施例中图像处理装置的组成示意图；20.图8示出了可以应用本公开实施例的一种电子设备的示意图。具体实施方式21.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。22.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。23.图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像处理相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。24.在一种实施方式中，可以由终端110执行上述图像处理方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取图像作为待处理图像，由终端110对待处理图像进行处理，输出待处理图像对应的第二特征图像。25.在一种实施方式中，可以由服务器120可以执行上述图像处理方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取图像作为待处理图像，终端110将该图像上传至服务器120，由服务器120对对待处理图像进行处理，向终端110返回输出待处理图像对应的第二特征图像。26.由上可知，本示例性实施方式中的图像处理方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。27.在相关技术中，视觉transformer(visiontransformer,vit)第一次使用纯transformer结构在图像分类上获得有竞争力的性能，显示出了transformer处理计算机视觉任务任务的潜力。基于transformer的网络架构能够完成不同的计算机视觉任务，例如图像分类、目标检测、语义分割等。相关技术中，pvt(pyramidvisiontransformer)、vil(multiscalevisionlongformer)和swintransformer等为不同视觉任务设计一个通用的网络架构，pvt(pyramidvisiontransformer)、vil(multiscalevisionlongformer)和swintransformer等都遵循层次的transformer结构，但采用了不同的msa算法。进一步的，层次结构设计可以获得多尺度特征，可以方便地替代现有算法基线中的主干网络，用于各种高分辨率视觉任务，如目标检测或语义分割等。还有一些方案将cnn与vit进行融合，二者的优势在一定程度上可以形成互补，此类方法包括cvt，coatnet等。28.transformer具有动态关注、较强的全局上下文建模能力等优点。但需要计算一个token与所有其他token之间的关系，计算复杂度为token数量的二次方，由于计算量过大，不适合许多以高分辨率特征图为输入的视觉任务，pvt和vil及许多其他变体结构都存在这个问题。swintransformer使用了在局部窗口中计算msa的方式并通过滑动窗口的方式增加各窗口之间的联系，不仅使计算复杂度下降到线性复杂度，还提升了网络架构在不同视觉任务的性能。但仍在对图像做分块生成token时使用与vit相同的单层卷积方式生成互不交叠的图像块、构建层次结构时使用的特征图间隔采样加拼接再通过线性变换降维的方式以及在计算msa时使用线性变换计算q矩阵、k矩阵和v矩阵等，导致计算量较大。cvt，coatnet等融合cnn与vit的方法找到了有效提升vit性能的手段，但网络性能包括识别准确率、模型参数量及浮点数运算量等方面仍有提升空间。29.基于上述缺点，本公开首先提出一种图像处理方法，下面结合图2对本示例性实施方式中的图像处理方法进行说明，图2示出了该图像处理方法的示例性流程，可以包括：30.步骤s210，将待处理图像输入至第一卷积模块得到所述待处理图像对应的预设维度的第一特征图像，并根据所述第一特征图像确定第一特征向量；31.步骤s220，利用至少一个transformer层对所述第一特征向量进行特征转换得到第二特征图像。32.基于上述方法，在利用transformer层进行特征转换之前，采用第一卷积模块能够对图像的局部特征进行较好的挖掘，利用transformer层对第一特征向量进行了特征转换得到第二特征图像，能够对图像获的全局信息进行较为准确的捕获，即得到的第二特征图像能够更好的体现待处理图像的特征信息，得到的第二特征图像用于后续处理得到的处理结果的精度更高。33.下面对图2中的每个步骤进行具体说明。34.参考图2，在步骤s210中，将待处理图像输入至第一卷积模块得到所述待处理图像对应的预设维度的第一特征图像，并根据所述第一特征图像确定第一特征向量。35.在本公开的一中示例实施方式中，参照图3所示，上述第一卷积模块300可以包括下采样层301、卷积层302以及展开单元303，其中，上述下采样层301用于对上述待处理图像进行预设倍数的下采样得到第一参考特征图像，其中，上述预设倍数可以是两倍。四倍、五倍等，可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。36.在本示例实施方式中，上述下采样层301可以由多个下采样单元构成，例如，在上述预设倍数为四倍时，上述下采样层301可以包括一个四倍下采样单元，也可以是两个两倍下采样单元。37.在一种示例实施方式中，上述下采样层301在只要能够完成对待处理图像进行预设倍数的下采样即可，其中还可以包括上采样单元，举例而言，若上述与设备数为四倍，此时，上述下采样层301中可以包括一个两倍上采样单元和一个六倍下采样单元。在本示例实施方式中不对上述下采样层301的具体组成做具体限定。38.在本示例实施方式中，上述下采样层301用于调整上述待处理图像的尺寸得到第一参考特征图像，可以采用上述第一卷积模块中的卷积层对上述第一参考特征图像进行维度调整，得到上述第一特征图像，其中，上述预设维度可以根据用户需求及自定义，在本示例实施方式中不做具体限定。39.其中，上述下采样层301可以是fused-mbconv卷积块，上述卷积层为1*1卷积，也可以是mbconv卷积块，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。在本公开的一种示例实施方式中，上述下采样层301可以由四个上述fused-mbconv卷积块构成来实现对上述待处理图像的下采样并生成上述待处理图像的token。采用fused-mbconv卷积块能够在将上述图像处理方法应用于图像处理模型时加快模型的训练速度。40.在本示例实施方式中，在得到上述第一特征图像之后，可以将上述特征图像进行展开操作得到第一特征向量。41.在步骤s220中，利用至少一个transformer层对第一特征向量进行特征转换得到第二特征图像。42.在本公开的一种示例实施方式中，在得到上述第一特征向量之后，可以将上述第一特征向量输入至至少一个transformer层对第一特征向量进行特征转换得到第二特征图像。43.在本示例实施方式中，上述transformer层的数量可以是一个、两个、三个、四个等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。44.具体而言，参照图4所示，上述transformer层400可以包括第一归一化层401、自注意力机制层402，第二归一化层403以及感知层404，其中，可以首先利用第一归一化层401和自注意力机制层402对第一特征向量进行第一级处理得到中间特征图像。45.在本示例实施方式中，参照图5所示，利用第一归一化层401和自注意力机制层402对第一特征向量进行第一级处理得到中间特征图像可以包括步骤s510至步骤s530,。下面对步骤s510至步骤s530进行详细说明。46.在步骤s510中，利用第一归一化层401对所述第一特征向量进行归一化处理得到第二特征向量。47.在步骤s520中，将所述第二特征向量输入至所述自注意力机制层得到第一预处理特征图像。48.在本示例实施方式中，服务器可以首先利用第一归一化层401对上述第一特征向量进行归一化处理得到第二特征向量，然后可以将得到的第二特征向量进行还原处理得到第二参考特征图像，然后可以对上述第二参考特征图像做深度可分离卷积得到上述自注意力机制层402的q矩阵、k矩阵以及v矩阵。49.在得到上述q矩阵、k矩阵以及v矩阵之后，自注意力机制层即可以根据q矩阵、所述k矩阵、所述v矩阵与滑动窗口对所述第二参考特征图像进行区域划分得到区域划分结果，然后根据上述区域划分结果对上述第二参考特征图像进行处理得到第一预处理特征图像。50.需要说明的是，在tranformer中msa计算机制的区域划分过程中，采用滑动窗口来完成对第二参考特征图像的划分，得到划分结果。51.在本示例实施方式中，上述深度可分离卷积的卷积参数可以设置为k＝3，s＝1，p＝1，k、s、p分别表示卷积核尺寸、卷积步长和像素填充尺寸，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。52.需要说明的是，使用深度可分离卷积代替线性映射来计算生成msa所需的q矩阵k矩阵以及v矩阵，卷积参数设置为k＝3，s＝1，p＝1，k，s，p分别表示卷积核尺寸、卷积步长和像素填充尺寸。这样的卷积层的参数设置可以使计算出的q、k、v矩阵与窗口内原始特征图尺度一致，避免欠采样导致的性能损失，同时计算msa后的输出尺度也与窗口内的特征图尺寸一致，从而使滑动窗口操作可以在连续的transformer层400中执行，增加窗口之间的信息交互。53.本方案使用卷积加滑动窗口的计算机制来计算来改进tranformer中msa的计算机制，降低msa计算的复杂度并融入了额外的局部空间建模信息，提升了tranformer模块的性能，进一步使整个网络架构的性能得到提升。54.在步骤s530中，将所述第一预处理特征图像和所述第一特征向量进行融合得到所述中间特征图像。55.在本示例实施方式中，服务器在得到上述第一预处理特征图像之后，可以将上述第一预处理图像和上述第一特征向量进行相加得到上述中间特征图像。56.在本公开的一种示例实施方式中，服务器在得到中间特征图像之后，可以利用第二归一化层403以及感知层404对中间特征图像做第二级处理得到第二特征图像。具体而言，利用第二归一化层403对中间特征图像进行归一化处理得到待输出特征图像；将待输出特征图像输入至感知层404得到第二预处理特征图像；将第二预处理特征图像与中间特征图像进行相加得到第二特征图像。57.在本示例实施方式中，第一归一化层401、第二归一化层403以及上述感知层404均为transformer层400中常用的层级结构，用户可以根据需求进行对应参数的调整，具体的结构细节再次不做详细介绍。58.在本公开的一种示例实施方式中，参照图6所示，上述图像处理方法还可以包括至少一个特征变换模块，可以利用上述特征变换模块对上述第二特征图像进行特征变化。59.在本示例实施方式中，上述特征变换模块可以包括第二卷积模块610和至少一个上述transformer层400，上述第二卷积模块可以用于得到上述第二特征图像对应的第三特征向量，transformer层400对第三特征向量进行特征转换得到第三特征图像。60.在本示例实施方式中，上述第二卷积模块可以首先采用mbconv611对第二特征图像进行预设倍数的下采样，然后采用1*1卷积层612对上述第二特征图像进行维度调整，最后采用第二卷积模块的展开单元613对其进行展开操作得到上述第三特征向量。61.上述transformer层的具体计算过程上述进行了详细介绍因此，此处不再赘述。62.在本示例实施方式中，上述特征转换模块的数量可以是三个、四个或更多个，也可以更具用户需求进行自定义，在本示例实施方式中不做具体限定。63.需要说明的是，每一个特征转换模块中的transformer层的数量也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。64.下面参照图6，以上述特征变换模块的数量为三个，预设倍数为4为例对上述图像处理进行详细介绍。65.在本示例实施方式中，上述待处理图像可以为rbg图像，其维度可以为h*w*3，得到的第二特征图像的维度为h/4*w/4*d，其中d表示维度，其中d的数值可以根据用户需求进行自定义，在本示例实施方式中不作具体限定。66.在本示例实施方式中，上述第二特征图像经过第一特征变换模块601得到的第三特征图像的维度为h/8*w/8*2d；经过第一特征变换模块601和第二特征变换模块602之后得到的第三特征图像的维度为h/16*w/16*4d；经过第一特征变换模块601、第二特征变换模块602以及第三特征变换模块603之后得到的第三特征图像的维度为h/32*w/32*8d，即用户可以设定上述特征变换模块的数量来得到不同维度的特征图像。67.本公开使用fused-mbconv卷积块来对图像生成token表征，并通过一层1x1的二维卷积层调整token的维度匹配后面阶段的输入，后续在每两个相邻的阶段之间使用同样数量的mbconv卷积块和1x1的二维卷积层来对前一阶段的输出进行token减半和维度加倍，减小了图像处理时的参数量和浮点计算量。68.在本公开的一种示例实施方式中，本公开可以根据模型参数量(params)和浮点数运算量(flops)分别设置了多种级别的网络模型，例如微型网络(tinymodel)，小型网络(smallmodel)以及基型网络(basemodel)。具体配置如表1所示。69.表1[0070][0071]可以使用imagenet1k数据集(约128w训练数据，5w验证数据，1000个类别)对上述模型进行训练，通过验证集下的准确率来验证上述各模型性能并与其他网络架构进行比较。[0072]在本公开的一种示例实施方式中，将本公开中的图像处理方法应用于目标检测、语义分割等稠密视觉任务，[0073]参照表2所示，表2所示为上述微型网络(tinymodel)在imagnenet1k验证集上的表现。[0074]表2[0075]modelparamsflopstop-1(％)vit-b/1686m55.4g77.9％pvt-s25m3.8g79.8％vil-s25m4.9g82.0％cvt-1320m4.5g81.6％swin-t29m4.5g81.3％coatnet-025m4.2g81.6％本公开23m4.3g82.7％[0076]其中，vit-b/16的图像输入尺寸为384x384，其他模型输入图像尺寸均为224x224。由表2可知，本公开的图像处理方法与其他网络架构相比，在网络参数量、浮点数运算量接近甚至更低的情况下，用本公开图像处理方法的模型的精度更高。对于小型网络(smallmodel)以及基型网络(basemodel)在imagnenet1k验证集上可以取得83.4％和84％的top1准确率，均高于其他主干网络架构相同规模的模型。[0077]在本示例实施方式中，以小型swin模型和基型swin模型为例对将本公开的图像处理方法应用于模型中的技术效果进行详细说明。[0078]表3[0079][0080]由表3可知，采用本公开图形处理方法的模型在更低参数量和浮点数计算量下，仍然有更好的结果。[0081]在本公开的一种示例实施方式中，将本公开的图像处理方法用于语义分割任务时，即，将本公开的图像处理方法应用于语义分割模型的主干网络时，可以使用upernet为算法基线与不同图像处理方法进行比较，可以使用ade20k数据集(20000训练数据，2000验证数据，150个语义类别)进行训练和验证，以平均交并比miou为性能评价指标。表4示出来采用本公开图像处理方法的微型模型与同量级模型作为主干网络的语义分割性能表现。[0082]表4[0083][0084]由表4可知，采用本公开中的图像处理方法作为语义分割模型的主干网络得到的模型在降低浮点计算量的同时，还能够提升平均交并比miou。[0085]在本公开的另一种示例实施方式中，将本公开的图像处理用于目标检测任务时，即，将本公开的图像处理方法应用于目标检测模型的主干网络时，可以采用maskr-cnn为算法基线，与不同主干网络架构进行对比，在coco目标检测数据集(118000训练数据，5000验证数据)上进行训练和验证。以全类平均精度(meanaverageprecision，map)为性能评价指标，表5示出了将本公开中的图像处理方法作为目标检测模型的主干网络与其他同量级模型作为主干网络的目标检测性能表现。[0086]表5[0087][0088]由表5可知，将本公开中的图像处理方法作为目标检测模型的主干网络能够得到更高的全类平均精度(meanaverageprecision，map)。[0089]综上所述，本示例性实施方式中，采用第一卷积模块能够对图像的局部特征进行较好的挖掘，利用transformer层对第一特征向量进行了特征转换得到第二特征图像，能够对图像获的全局信息进行较为准确的捕获，即得到的第二特征图像能够更好的体现待处理图像的特征信息，得到的第二特征图像用于后续处理得到的处理结果的精度更高。融合了efficientnetv2中使用到的卷积块(fused-mbconv和mbconv)，也融合了efficientnetv2中通过结构搜索出来的最优结构，详细描述是在整个网络使用fused-mbconv卷积块来对图像生成token表征，并通过一层1x1的二维卷积层调整token的维度匹配后面阶段的输入，后续在每两个相邻的阶段之间使用同样数量的mbconv卷积块和1x1的二维卷积层来对前一阶段的输出进行token减半和维度加倍。进一步的通过滑动窗口方式来增加窗口间的信息交互，实现感受域的扩大。[0090]需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。[0091]进一步的，参考图7所示，本示例的实施方式中还提供一种图像处理装置700，包括特征提取模块710和特征转换模块720。其中：[0092]特征提取模块710可以用于将待处理图像输入至第一卷积模块得到待处理图像对应的预设维度的第一特征图像，并根据第一特征图像确定第一特征向量。具体而言，可以通过第一卷积模块的下采样层对待处理图像进行预设倍数的下采样得到第一参考特征图像；通过第一卷积模块的卷积层对第一参考特征图进行特征维度调整得到第一特征图像。[0093]特征转换模块720可以用于利用至少一个transformer层对第一特征向量进行特征转换得到第二特征图像。具体而言，transformer层包括第一归一化层、自注意力机制层、第二归一化层以及感知层；利用至少一个transformer层对第一特征向量进行特征转换得到第二特征图像包括：利用第一归一化层和自注意力机制层对第一特征向量进行第一级处理得到中间特征图像；利用第二归一化层以及感知层对中间特征图像进行第二级处理得到第二特征图像。[0094]在一种示例实施方式中，特征转换模块720在利用第一归一化层和自注意力机制层对第一特征向量做第一级处理得到中间特征图像时，可以首先利用第一归一化层对第一特征向量进行归一化处理得到第二特征向量；然后将第二特征向量输入至自注意力机制层得到第一预处理特征图像；最后将第一预处理特征图像和第一特征向量进行融合得到中间特征图像。[0095]在将第二特征向量输入至注意力机制层得到第一预处理特征图像时，特征转换模块720根据第二特征向量确定第二参考特征图像；对第二参考特征图像做深度可分离卷积得到自注意力机制层的q矩阵、k矩阵以及v矩阵；在自注意力机制层中，根据q矩阵、k矩阵、v矩阵与滑动窗口对第二参考特征图像进行区域划分得到区域划分结果；根据区域划分结果对第二参考特征图像进行处理得到第一预处理特征图像。[0096]特征转换模块720在利用第二归一化层以及感知层对中间特征图像做第二级处理得到第二特征图像时，可以首先利用第二归一化层对中间特征图像进行归一化处理得到待输出特征图像；将待输出特征图像输入至感知层得到第二预处理特征图像；将第二预处理特征图像与中间特征图像进行融合得到第二特征图像。[0097]在本公开的一种示例实施方式中，上述图像处理装置还可以包括特征变换模块，特征变化模块可以用于对上述第二特征图像进行特征变换，其中，特征变化模块包括第二卷积模块和至少一个transformer层，第二卷积模块用于得到第二特征图像对应的第三特征向量；transformer层对第三特征向量进行特征转换得到第三特征图像。[0098]上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。[0099]本公开的示例性实施方式还提供一种用于执行上述图像处理方法的电子设备，该电子设备可以是上述图1中的终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像处理方法。[0100]下面以图8中的移动终端800为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图8中的构造也能够应用于固定类型的设备。[0101]如图8所示，移动终端800具体可以包括：处理器801、存储器802、总线803、移动通信模块804、天线1、无线通信模块805、天线2、显示屏806、摄像模块807、音频模块808、电源模块809与传感器模块810。[0102]处理器801可以包括一个或多个处理单元，例如：处理器810可以包括ap(applicationprocessor，应用处理器)、调制解调处理器、gpu(graphicsprocessingunit，图形处理器)、isp(imagesignalprocessor，图像信号处理器)、控制器、编码器、解码器、dsp(digitalsignalprocessor，数字信号处理器)、基带处理器和/或npu(neural-networkprocessingunit，神经网络处理器)等。本示例性实施方式中的图像处理方法可以由ap、gpu或dsp来执行，当方法涉及到神经网络相关的处理时，可以由npu来执行。[0103]编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行图像处理的相关处理。移动终端800可以支持一种或多种编码器和解码器。这样，移动终端800可以处理多种编码格式的图像或视频，例如：jpeg(jointphotographicexpertsgroup，联合图像专家组)、png(portablenetworkgraphics，便携式网络图形)、bmp(bitmap，位图)等图像格式，mpeg(movingpictureexpertsgroup，动态图像专家组)1、mpeg2、h.263、h.264、hevc(highefficiencyvideocoding，高效率视频编码)等视频格式。[0104]处理器801可以通过总线803与存储器802或其他部件形成连接。[0105]存储器802可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器801通过运行存储在存储器802的指令，执行移动终端800的各种功能应用以及数据处理。存储器802还可以存储应用数据，例如存储图像，视频等文件。[0106]移动终端800的通信功能可以通过移动通信模块804、天线1、无线通信模块805、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块204可以提供应用在移动终端800上2g、3g、4g、5g等移动通信解决方案。无线通信模块805可以提供应用在移动终端800上的无线局域网、蓝牙、近场通信等无线通信解决方案。[0107]显示屏806用于实现显示功能，如显示用户界面、图像、视频等。摄像模块807用于实现拍摄功能，如拍摄图像、视频等。音频模块808用于实现音频功能，如播放音频，采集语音等。电源模块809用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块810可以包括深度传感器8101、压力传感器8102、陀螺仪传感器8103、气压传感器8104等，以实现相应的感应检测功能。[0108]所属
技术领域：
：的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。[0109]本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。[0110]需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0111]在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。[0112]此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0113]本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。[0114]应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12