图像处理方法、存储介质、电子设备及图像处理装置与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种图像处理方法、存储介质、电子设备及图像处理装置。


背景技术：

2.随着人工智能技术的发展，深度学习技术在计算机视觉技术领域取得了重大发展，并且在图像分类、图像目标检测以及图像分割等方面取得了重大突破。其中，基于计算机视觉技术的人脸识别产品已经广泛应用于出入境口岸、火车站和机场大厅等场所，通过从采集的图像中提取人脸特征并进行比对和搜索来达到身份检判的目的。在工业应用领域，例如物流中心的货物自动分拣和港口自动化等，可以借助人工智能技术和基于计算机视觉技术的产品来实现对目标货物的智能化自动检判并根据检判结果采取相应的搬运、分拣、打包等操作。另外，在废钢回收利用环节中，也需要对来源复杂、种类繁多、材质差异大的各种废弃钢材进行定级并采取相应操作，因此也可以借助人工智能技术和基于计算机视觉技术的产品来实现对废弃钢材的智能化自动检判。以上提及的对目标货物或废弃钢材的智能化自动检判，相比于传统的人工测量和人工检判，具有检判标准客观稳定、信息化程度高、降低了安全隐患和人力成本等有益效果，有利于提高生产效率和作业安全性。
3.在工业应用领域如上面提到的对货物或者废弃钢材进行自动检判，往往面对装载货物或废弃钢材的载具如车辆的车厢区域难以识别，货物或废弃钢材的每个个体难以识别等难题，特别是不同个体之间的遮挡以及相似的颜色形状等都会给精确识别带来挑战。
4.为此，需要一种图像处理方法、存储介质、电子设备及图像处理装置，能应用于上述的对货物或者废弃钢材进行自动检判等工业应用领域并且能够实现精确识别如载具、货物、废弃钢材个体等目标的内容及位置。


技术实现要素：

5.第一方面，本技术实施例提供了一种图像处理方法，所述图像处理方法包括：将原始图像输入特征提取网络得到第一特征图；先将所述第一特征图输入多孔空间金字塔池化aspp模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图；将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图；对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。
6.第一方面所描述的技术方案，在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
7.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述
aspp模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征。
8.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息。
9.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述低层次语义特征提取通道是与所述aspp模型相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型所输出的所述多尺度特征图中的边界信息。
10.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。
11.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述深层特征提取模块根据第一特征提取要求进行深层特征提取，所述浅层特征提取模块根据第二特征提取要求进行浅层特征提取，所述第一特征提取要求针对高层次语义特征，所述第二特征提取要求针对低层次语义特征。
12.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述aspp模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
13.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述特征提取网络和所述aspp模型用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
14.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述aspp模型的所述多个采样率与所述特征提取网络的网络模型参数相关联并且一起被调整，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
15.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述原始图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。
16.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述图像处理方法用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。
17.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述图像处理方法用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果。
18.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述
aspp模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的边界信息。
19.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述低层次语义特征提取通道是相对于所述aspp模型的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型所输出的所述多尺度特征图中的关于所述车厢区域轮廓的边界信息。
20.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述aspp模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于所述车厢区域轮廓的特征的分辨率。
21.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述图像处理方法还包括：通过车厢轮廓搜索模块，根据所述原始图像的车厢区域轮廓的语义分割识别结果确定最优车厢轮廓以及所述最优车厢轮廓的坐标信息，其中，所述原始图像的车厢区域轮廓的语义分割识别结果指示所述原始图像的每个像素点是否属于车厢区域。
22.根据第一方面的技术方案的一种可能的实现方式，本技术实施例还提供了，通过所述车厢轮廓搜索模块，根据所述原始图像的车厢区域轮廓的语义分割识别结果确定所述最优车厢轮廓以及所述最优车厢轮廓的坐标信息，包括：根据所述原始图像的车厢区域轮廓的语义分割识别结果，从所述原始图像的所有像素点中选择属于车厢区域的多个像素点；通过所述车厢轮廓搜索模块，对所述多个像素点进行轮廓计算得到多个候选轮廓；对所述多个候选轮廓进行分类并将所述多个候选轮廓的每一个候选轮廓分类为凸包型、凹包型或者不规则型；通过所述车厢轮廓搜索模块，对所述多个候选轮廓中被分类为凸包型的候选轮廓进行最优查找算法，从而得到所述最优车厢轮廓以及所述最优车厢轮廓的坐标。
23.第二方面，本技术实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的图像处理方法。
24.第二方面所描述的技术方案，在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
25.第三方面，本技术实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的图像处理方法。
26.第三方面所描述的技术方案，在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
27.第四方面，本技术实施例提供了一种图像处理装置。所述图像处理装置包括：特征
提取网络，用于根据原始图像获得第一特征图；aspp模型，用于对所述第一特征图进行多个采样率下的空洞卷积并行采样得到多尺度特征图；深层特征提取模块，用于对所述多尺度特征图进行深层特征提取得到深层特征图；浅层特征提取模块，用于对所述第一特征图进行浅层特征提取得到浅层特征图；拼接模块，用于对所述深层特征图和所述浅层特征图进行拼接操作得到第二特征图；和语义分割模型，用于对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。
28.第四方面所描述的技术方案，在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
29.根据第四方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述aspp模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息，所述低层次语义特征提取通道是与所述aspp模型相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型所输出的所述多尺度特征图中的边界信息，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。
30.根据第四方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述aspp模型的所述多个采样率中至少一个采样率可被增加，或者，所述特征提取网络和所述aspp模型用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
31.根据第四方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述图像处理装置用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。
32.根据第四方面的技术方案的一种可能的实现方式，本技术实施例还提供了，所述图像处理装置用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果，其中，所述图像处理装置还包括：车厢轮廓搜索模块，用于根据所述原始图像的车厢区域轮廓的语义分割识别结果确定最优车厢轮廓以及所述最优车厢轮廓的坐标信息，其中，所述原始图像的车厢区域轮廓的语义分割识别结果指示所述原始图像的每个像素点是否属于车厢区域。
33.根据第四方面的技术方案的一种可能的实现方式，本技术实施例还提供了，根据所述原始图像的车厢区域轮廓的语义分割识别结果确定所述最优车厢轮廓以及所述最优车厢轮廓的坐标信息，包括：根据所述原始图像的车厢区域轮廓的语义分割识别结果，从所
述原始图像的所有像素点中选择属于车厢区域的多个像素点；通过所述车厢轮廓搜索模块，对所述多个像素点进行轮廓计算得到多个候选轮廓；对所述多个候选轮廓进行分类并将所述多个候选轮廓的每一个候选轮廓分类为凸包型、凹包型或者不规则型；通过所述车厢轮廓搜索模块，对所述多个候选轮廓中被分类为凸包型的候选轮廓进行最优查找算法，从而得到所述最优车厢轮廓以及所述最优车厢轮廓的坐标。
附图说明
34.为了说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
35.图1示出了本技术实施例提供的图像处理方法的流程示意图。
36.图2示出了本技术实施例提供的用于图1所示的图像处理方法的电子设备的框图。
37.图3示出了本技术实施例提供的图像处理装置的框图。
具体实施方式
38.本技术实施例为了解决如何精确识别如载具、货物、废弃钢材个体等目标的内容及位置的技术难题，提供了一种图像处理方法、存储介质、电子设备及图像处理装置。所述图像处理方法包括：将原始图像输入特征提取网络得到第一特征图；先将所述第一特征图输入多孔空间金字塔池化aspp模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图；将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图；对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。如此，实现了在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
39.本技术实施例可用于以下应用场景，包括但是不限于，工业自动化、物流中心货物分拣、港口自动化、货物智能化自动检判、废弃钢材回收、废弃钢材智能化自动检判以及任意的可能通过用于料件智能检判的识别方法、装置来提高生产效率和降低人力成本的应用场景如煤炭自动化分拣、垃圾回收和垃圾自动化分拣等。
40.本技术实施例可以依据具体应用环境进行调整和改进，此处不做具体限定。
41.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术的实施例进行描述。
42.本技术各方面以及以下所提及的各种实施例和实施方式涉及到人工智能、机器学习和神经网络等概念。一般而言，人工智能（artificial intelligence，ai）研究人类智能的本质并构建能以人类智能相似的方式作出反应的智能机器。人工智能应用领域的研究包括机器人、语音识别、自然语言处理、图像识别、决策推理、人机交互和专家系统等。机器学习（machine learning，ml）研究人工智能系统如何模拟或实现人类的学习行为，获取新的知识或技能，重新组织已有知识结构以及改善自身能力。机器学习通过各种算法从大量样本、数据或者经验中学习规律，从而对新的样本做出识别或者对事件做出决策和预测。机器
学习算法的例子包括决策树学习、贝叶斯分类、支持向量机、聚类算法等。深度学习（deep learning，dl）参考了人类大脑的天然深层结构和按深度分级的认知过程，研究如何将大量数据输入复杂模型中，并“训练”模型来学习如何抓取特征。神经网络（neural network，nn）可以分成人工神经网络（artificial neural network，ann）和脉冲神经网络（spiking neural network，snn）。snn模仿生物神经工作机制的脉冲神经元模型，计算过程中采用脉冲编码的信息。目前获得广泛应用的是ann。本文中所提及的神经网络nn，除非特别说明或者另有所指或者结合上下文得出不同的解释，否则一般情况下指的是人工神经网络也即ann。
43.ann指的是受到大脑神经元结构及神经传导原理的启发而建立的算法数学模型，具有模仿动物神经网络行为特征进行信息处理的网络结构。神经网络包括大量相互联接的节点或者称神经元，这些节点或称神经元受到大脑神经元结构启发，有时也称作人工神经元或者感知器。浅层神经网络（shallow neural network）只包括输入层和输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果。输入信号经过线性组合后，被施加激活函数（activation function）进行变换得到输出层的结果。深度学习中用到的复杂模型主要是多层神经网络，有时也称作深度神经网络（deep neural network，dnn）。多层神经网络除了输入层和输出层还包括隐藏层，每个隐藏层包括任意数量的神经元，这些神经元在网络结构中作为节点与前一层的节点连接，每个神经元可以看做线性组合器并给每个连接的输入值分配权重进行加权线性组合。激活函数是对输入信号进行加权线性组合之后的非线性映射，在多层神经网络中可以理解为上一层神经元的输出与下一层神经元的输入之间的函数关系。每个隐藏层可以有不同的激活函数。常见的激活函数有relu、sigmoid、tanh等。神经网络通过网状结构将每一层的信息传递给下一层。正向传播是从输入层到输出层逐层计算的过程，在正向传播过程中反复进行加权线性组合和通过激活函数进行变换，最后计算损失函数（loss function）用于衡量模型预测值和真实值之间的偏离程度。反向传播是从输出层向隐藏层反向传播直至输入层，在反向传播过程中根据实际输出和期望输出之间的误差进行神经网络参数的修正。dnn按照基本层的组成可以分为卷积神经网络（convolutional neural network，cnn）、全连接神经网络（fully connected neural network，fcn）和循环神经网络（recurrent neural network，rnn）。cnn由卷积层、池化层和全连接层组成。fcn由多个全连接层组成。rnn由全连接层组成但层与层之间具有反馈路径和门控操作，也叫递归层。不同类型的神经网络基本层具有不同的计算特点和计算需求，例如有的神经网络中卷积层的计算占比很高且各卷积层的计算量很大。另外，神经网络的各卷积层的计算参数如卷积核大小和输入输出特征图尺寸等也变化多样。
44.图1示出了本技术实施例提供的图像处理方法的流程示意图。如图1所示，图像处理方法包括以下步骤。
45.步骤s102：将原始图像输入特征提取网络得到第一特征图。
46.步骤s104：先将所述第一特征图输入多孔空间金字塔池化aspp模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图。
47.步骤s106：将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到
第二特征图。
48.步骤s108：对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。
49.图像语义分割技术的原理包括对图像上的像素进行识别、分配类别并标注上对应的类别，从而得到图像的像素级预测结果。为了基于计算机视觉技术实现精确识别和检判，需要精确识别并标注图像中目标的内容和位置，还可以标注上其它类别。图像的像素级预测结果或者说原始图像的语义分割结果的检测效果越好，意味着对图像中目标的内容和位置的识别更准确，则可以带来更可靠的预测结果也能为决策和后续处理提供更好的依据。而为了获得更好的检测效果，需要改进获得原始图像的语义分割结果的过程。这里，原始图像的语义信息可以分成不同层次，例如低层次语义特征（也可以叫做低层语义特征）和高层次语义特征（也可以叫做高层语义特征）。图像的轮廓、边缘、颜色、纹理和形状等特征一般称之为低层次语义特征，有时也可以称之为底层语义特征用于对应视觉层的概念。而图像的对象等更接近人类视觉所理解的特征则称之为高层次语义特征。例如，人脸图像的语义信息中，人脸的轮廓、鼻子和眼睛等是低层次语义特征，而人脸的对象则是高层次语义特征。低层次语义特征所包含的特征语义信息比较少但是目标位置准确；高层次语义特征所包含的特征语义信息比较丰富但是目标位置比较粗略。因此，通过提取低层次语义特征可以更好地识别出目标位置例如判断边缘和关键点，但是其中所包含的特征语义信息较少所以不利于更好地理解图像的内容；另一方面，通过提取高层次语义特征可以更好地理解图像的内容，但是其中的目标位置比较粗略所以不利于识别位置且可能在边缘识别上存在较大的误差。以上面提到的人脸图像的语义信息为例，低层次语义特征能用于更好地识别鼻子和眼睛的位置，而高层次语义特征能用于更好地理解人脸的内容。为了获得更好的检测效果，需要改进获得原始图像的语义分割结果的过程以充分利用原始图像的语义信息中的不同层次的语义特征，包括低层次语义特征和高层次语义特征，下面详细说明这一点。
50.在步骤s102，通过特征提取网络获得原始图像的第一特征图。特征提取网络可以采用任意合适的网络模型、网络结构和模型参数，只要能提取出原始图像的基础特征或者融合特征用于后续处理。例如，特征提取网络可以是深度卷积神经网络（deep convolutional neural networks，dcnn）或者其它具有深度结构和卷积计算的神经网络。再例如，特征提取网络可以是图像语义分割模型如u-net、fcn、segnet、pspnet、deeplab及其拓展框架等。取决于具体使用的网络模型、网络结构和模型参数，特征提取网络可能将原始图像分成多个尺寸相同的区块并在每个区块内进行特征提取或者进行语义识别及标注，例如u-net可以将原始图像分割成多张尺寸为256x256的尺寸的区块。但是在工业应用领域如上面提到的对货物或者废弃钢材进行自动检判，可能遇到废弃钢材刚好位于两个相邻区块的交界处上，而这两个相邻区块各自的语义识别结果也许截然相反，例如该位于两个相邻区块的交界处上的废弃钢材可能在一个区块被识别为一种类别但是在另一个区块被识别为另一种类别。此外，载具例如车辆的车厢轮廓或者车体边缘如果恰好位于两个相邻区块的交界处上也可能带来边缘识别误差。除了因为对原始图像进行分区块识别带来的边缘误差，原始图像上也可能存在相似度较高但是不同种类的物件，特别是小尺寸物件或者称作小型物件，这些小尺寸物件相比于大尺寸物件，对边缘识别和轮廓识别的检测精度要求更高。而不同的特征提取网络，基于各自采用的不同的网络模型、网络结构或者模型参数，在面对上述的边缘误差、边缘识别和轮廓识别等方面可能有不同的表现，也可能在不同的
实际场景下有不同的表现。为了统一地提升各种可能的特征提取网络在工业应用领域特别是在废弃钢材智能化自动检判领域的检测效果，需要改进获得原始图像的语义分割结果的过程并且能匹配任意的特征提取网络。
51.在步骤s104，先将所述第一特征图输入多孔空间金字塔池化aspp模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图。这里，多孔空间金字塔池化（atrous spatial pyramid pooling，aspp）模型对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文。换句话说，aspp利用不同膨胀因子的空洞卷积融合多尺度信息，也就是利用空洞卷积（带孔卷积）用不同的采样率来对图像特征进行操作。如此，通过aspp模型，或者，具有aspp结构的图像语义分割模型，以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉第一特征图的上下文，从而得到多尺度特征图，其具有多尺度的采样信息。该多尺度的采样信息是针对输入的第一特征图的整体，所以保留了完整的边缘信息，有利于避免了如u-net这样的特征提取网络将原始图像进行分区块识别带来的边缘误差。在一种可能的实施方式中，aspp模型是具有多个采样率及多个模型参数的空洞卷积模型组合，例如包括一个1x1的卷积层，一个3x3且采样率为16的卷积层，一个3x3且采样率为18的卷积层，以及图像池化层。将所述第一特征图输入aspp模型得到的多尺度特征图表现为多张mask图，该多尺度特征图被输入到深层特征提取模块进行深层特征提取得到深层特征图。这里，虽然该多尺度特征图保留了完整的边缘信息，但是其中的图像特征是像素级预测结果，考虑到通过aspp模型获得像素级预测结果的过程中可能受到相邻像素点之间的干扰或者误差，例如可能难以分辨车厢边缘或者邻近车厢但是并不位于车厢内的物件。这背后的原因是来自于aspp模型以不同采样率的空洞卷积并行采样而导致的关于边缘信息的特征的分辨率下降。为此，通过将aspp模型输出的多尺度特征图输入到深层特征提取模块进行深层特征提取得到深层特征图，以及通过将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图，从而利用了aspp模型的像素级预测结果中的丰富的边缘信息，并且进一步地通过提取浅层特征克服了因为aspp模型的采样而导致的关于边缘信息的特征的分辨率下降的问题。应当理解的是，深层特征提取模块和浅层特征提取模块可以采用任意合适的模型和参数。例如，深层特征提取模块可以通过编码操作例如通道压缩和进行上采样减少低层次语义特征的比重。浅层特征提取模块可以通过解码操作更好地恢复目标边界细节，这些可以根据具体应用场景采用合适的技术，在此不做具体限定。在一些实施例中，可以利用1x1的卷积进行通道压缩，并对编码操作的输出上采样4倍，使得编码操作的输出与解码操作的输出的分辨率一致，在拼接后为了达到细化作用，还可以通过3x3的卷积和再次上采样。
52.在步骤s106中，将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图。上面提到，虽然aspp模型输出的多尺度特征图是针对输入的第一特征图的整体以不同采样率的空洞卷积并行采样所以保留了完整的边缘信息，但是同时造成了关于边缘信息的特征的分辨率下降或者说关于识别目标的边界的特征的分辨率下降，为此通过深层特征提取模块对该多尺度特征图进行深层特征提取得到深层特征图以及通过浅层特征提取模块对所述第一特征图进行浅层特征提取得到浅层特征图，从而利用了aspp模型
的像素级预测结果中的丰富的边缘信息，并且进一步地通过提取浅层特征克服了因为aspp模型的采样而导致的关于边缘信息的特征的分辨率下降的问题。这是因为，通过浅层特征提取模块得到的浅层特征图中包含的浅层特征对应原始图像的低层次语义特征，其包含的特征语义信息比较少但是目标位置准确能用于更好地识别位置因此能用于更好地判断关键点和边缘，从而能降低边缘误差。总之，一方面对所述第一特征图进行浅层特征提取（如低层次语义特征，特征信息少但是位置准确），另一方面对多尺度特征图进行深层特征提取（如高层次语义特征，特征信息多但是位置不准确）。浅层特征可以用于还原识别目标的边界的特征的分辨率，如车厢的边缘的分辨率，而深层特征能用于更好地识别目标的内容。最后通过拼接模块将所述深层特征图和所述浅层特征图进行拼接操作得到第二特征图。如此得到的拼接结果也就是第二特征图，相比于第一特征图，因为通过上面的一系列操作，而在边缘误差、边缘识别和轮廓识别等方面有更佳的表现。并且，第二特征图，相比于第一特征图受限于特征提取网络所具体使用的网络模型、网络结构和模型参数，通过步骤s104和步骤s106的操作，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
53.在步骤s108中，对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。对所述第二特征图进行语义分割可以基于任意合适的语义分割模型，或者置信度分析模型如经过激活函数也就是置信度分析得到最后的预测结果。
54.请参阅步骤s102至步骤s108，图像处理方法利用aspp模型对第一特征图的整体以不同采样率的空洞卷积并行采样，从而保留了完整的边缘信息并避免了如u-net这样的特征提取网络将原始图像进行分区块识别带来的边缘误差；通过提取浅层特征克服了因为aspp模型的采样而导致的关于边缘信息的特征的分辨率下降的问题；通过将所述深层特征图和所述浅层特征图进行拼接操作得到第二特征图。基于这样的操作得到的第二特征图，相比于第一特征图有了以下改进：在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
55.在一种可能的实施方式中，所述aspp模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征。在一些实施例中，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息。如此，通过高层次语义特征提取通道和低层次语义特征提取通道同时具备了增强识别目标的语义信息和增强识别目标的边界信息的效果，使得将所述深层特征图和所述浅层特征图进行拼接操作得到的第二特征图有更大的改进。在一些实施例中，所述低层次语义特征提取通道是与所述aspp模型相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型所输出的所述多尺度特征图中的边界信息。这里，考虑到aspp模型输出的多尺度特征图是针对输入的第一特征图的整体以不同采样率的空洞卷积并行采样从而造成了关于边缘信息的特征的分辨率下降或者说关于识别目标的边界的特征的分辨率下降，因此可能存在部分
边界信息不位于所述aspp模型所输出的所述多尺度特征图中但是可以从所述第一特征图中恢复。为此，通过所述低层次语义特征提取通道提取出这些需要恢复的边界信息，等效于作为与所述aspp模型相关联的边界信息恢复模型用来恢复不位于所述aspp模型所输出的所述多尺度特征图中的该部分边界信息，有利于改进检测效果。并且，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。
56.在一种可能的实施方式中，所述深层特征提取模块根据第一特征提取要求进行深层特征提取，所述浅层特征提取模块根据第二特征提取要求进行浅层特征提取，所述第一特征提取要求针对高层次语义特征，所述第二特征提取要求针对低层次语义特征。
57.在一种可能的实施方式中，所述aspp模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。这里，通过增加采样率可以增加捕捉上下文的比例，从而提高所述第二特征图的关于识别目标的边界的特征的分辨率，而更高的分辨率能降低边缘误差，有利于改进检测效果。例如，用于车厢边缘识别的情况下，aspp模型输出的多尺度特征图中所包含的多尺度的关于车厢的图像特征，其代表了车厢作为识别目标的边界的特征的分辨率。在一些实施例中，所述特征提取网络和所述aspp模型用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。例如通过使用比fp16更高的精度如fp32，可以通过更高精度的数据格式携带更多信息，有利于改进检测效果。
58.在一种可能的实施方式中，所述aspp模型的所述多个采样率与所述特征提取网络的网络模型参数相关联并且一起被调整，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。如此，通过一起调整aspp模型的采样率和特征提取网络的网络模型参数，可以更好地协同提高最终检测效果。并且，可以根据特征提取网络的具体特性（如识别精度、训练反馈、迭代效果）等进行调优。
59.在一种可能的实施方式中，所述原始图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。原始图像还可能经过任意合适的数据增强操作或者预处理操作。
60.在一种可能的实施方式中，所述图像处理方法用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。如此，增强了对废钢料件的检测效果并且提供了丰富的关联信息。其中，轮廓信息指示了废钢料件集合的各个废钢料件的轮廓，可以是与预设的多种轮廓类型进行匹配的结果，也可以是通过数值化方式进行语义描述（如边长、曲率等），也可以是较为概括的语义描述（如圆盘形、长条形等）。种类信息指示了废钢料件集合的各个废钢料件中包括多少种废钢料件及每种废钢料件的个数，这些信息可用于进一步分析提取出更多的情报，因此一般情况下关联信息至少包括了种类信息。例如，废钢料件集合的种类信息可以指示废钢料件集合的各个废钢料件总共有10个火车车轮、20个汽车轴承及30个螺丝钉等。来源信息指示了某个废钢料件来自哪个部位，例如来自于火车或者驳船。坐标信息指示了某个废钢料件在图像上的坐标。面积信息指示了某个废钢料件在图像上被识别出的面积。像素特征信息指示了某个废钢料
件所属的全部像素的特征。应当理解的是，根据具体采用的获得原始图像的语义分割结果的计算机视觉技术可以获得更多的丰富的废钢料件集合的关联信息。以上所列举的关联信息的示例仅为说明性而不是限制性。如此，实现了获得丰富的关联信息从而更有利于为决策和后续处理提供依据。
61.在一种可能的实施方式中，所述图像处理方法用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果。在用于车厢区域检测的场景下，所述aspp模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的边界信息。并且，所述低层次语义特征提取通道是相对于所述aspp模型的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型所输出的所述多尺度特征图中的关于所述车厢区域轮廓的边界信息。并且，所述aspp模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于所述车厢区域轮廓的特征的分辨率。如此，增强了对车厢区域的检测效果。
62.在一种可能的实施方式中，所述图像处理方法还包括：通过车厢轮廓搜索模块，根据所述原始图像的车厢区域轮廓的语义分割识别结果确定最优车厢轮廓以及所述最优车厢轮廓的坐标信息，其中，所述原始图像的车厢区域轮廓的语义分割识别结果指示所述原始图像的每个像素点是否属于车厢区域。这里，在用于车厢区域检测的场景下，为了有效防止车厢外部误识别的情况（例如其它车厢的干扰，或者原始图像中没有包括完整车厢的干扰），还可以通过附加的车厢轮廓搜索模块，对所述原始图像的车厢区域轮廓的语义分割识别结果进行自动车厢搜索算法从而确定最优车厢轮廓以及所述最优车厢轮廓的坐标信息。在一些实施例中，自动车厢搜索算法也就是根据所述原始图像的车厢区域轮廓的语义分割识别结果确定所述最优车厢轮廓以及所述最优车厢轮廓的坐标信息，包括：根据所述原始图像的车厢区域轮廓的语义分割识别结果，从所述原始图像的所有像素点中选择属于车厢区域的多个像素点；通过所述车厢轮廓搜索模块，对所述多个像素点进行轮廓计算得到多个候选轮廓；对所述多个候选轮廓进行分类并将所述多个候选轮廓的每一个候选轮廓分类为凸包型、凹包型或者不规则型；通过所述车厢轮廓搜索模块，对所述多个候选轮廓中被分类为凸包型的候选轮廓进行最优查找算法，从而得到所述最优车厢轮廓以及所述最优车厢轮廓的坐标。这里，凸包型的候选轮廓指的是，将被识别为车厢的像素点设定为同一个色块后，这些车厢色块的符合凸包型定义的轮廓。凹包型的候选轮廓和不规则型的候选轮廓也是分别符合凹包型和不规则型的车厢色块的轮廓。其中，凸包型定义的轮廓具有像圆或球体的外部一样弯曲的轮廓或表面的凸面。凹包型定义的轮廓具有向内弯曲的轮廓或表面，就像圆形或球体的内部一样。不规则型定义的轮廓是既不符合凸包型定义的也不符合凹包型定义的轮廓。如此，通过对分类为凸包型的候选轮廓进行遍历，从而得到所述最优车厢轮廓以及所述最优车厢轮廓的坐标，可以有效地防止车厢外部误识别的情况并且可以在原始图像中没有包括完整车厢的情况下依然遍历寻找到最优车厢轮廓以及其坐标。并且，在对分类为凸包型的候选轮廓进行遍历之前还可能预先设定目标区域，从而更好地防止车厢外
部误识别的情况，例如将明显远离车厢的区域排除在进行寻找的目标区域之外。
63.应当理解的是，上述方法可以通过相应的执行主体或者载体来实现。在一些示例性实施例中，一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述方法以及上述任意实施例、实施方式或者它们的组合。在一些示例性实施例中，一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述方法以及上述任意实施例、实施方式或者它们的组合。
64.图2示出了本技术实施例提供的用于图1所示的图像处理方法的电子设备的框图。如图2所示，电子设备包括主处理器202，内部总线204，网络接口206，主存储器208，以及辅助处理器210和辅助内存212，还有辅助处理器220和辅助内存222。其中，主处理器202与主存储器208连接，主存储器208可用于存储主处理器202可执行的计算机指令，从而可以实现图1所示的图像处理方法，包括其中部分或者全部步骤，也包括其中步骤的任意可能的组合或结合以及可能的替换或者变体。网络接口206用于提供网络连接以及通过网络收发数据。内部总线204用于提供在主处理器202、网络接口206、辅助处理器210以及辅助处理器220之间的内部的数据交互。其中，辅助处理器210与辅助内存212连接并一起提供辅助计算能力，而辅助处理器220与辅助内存222连接并一起提供辅助计算能力。辅助处理器210和辅助处理器220可以提供相同或者不同的辅助计算能力，包括但是不限于，针对特定计算需求进行优化的计算能力如并行处理能力或者张量计算能力，针对特定算法或者逻辑结构进行优化的计算能力例如迭代计算能力或者图计算能力等。辅助处理器210和辅助处理器220可以包括特定类型的一个或者多个处理器，如数字信号处理器（dsp），专用集成电路（asic），现场可编程门阵列（fpga）等，从而可以提供定制化的功能和结构。在一些示例性实施例中，电子设备可以不包括辅助处理器，可以包括仅一个辅助处理器，还可以包括任意数量的辅助处理器且各自具有相应的定制化功能及结构，在此不做具体限定。图2中所示出的两个辅助处理器的架构仅为说明性而不应解释为限制性。另外，主处理器202可以包括单核或者多核的计算单元，用于提供本技术实施例所必需的功能和操作。另外，主处理器202和辅助处理器（如图2中的辅助处理器210和辅助处理器220）可以具有不同的架构，也就是电子设备可以是基于异构架构的系统，例如主处理器202可以是基于指令集操作体系的通用型处理器如cpu，而辅助处理器可以是适合并行化计算的图形处理器gpu或者是适合神经网络模型相关运算的专用加速器。辅助内存（例如图2所示的辅助内存212和辅助内存222）可以用于配合各自对应的辅助处理器来实现定制化功能及结构。而主存储器208用于存储必要的指令、软件、配置、数据等从而可以配合主处理器202提供本技术实施例所必需的功能和操作。在一些示例性实施例中，电子设备可以不包括辅助内存，可以包括仅一个辅助内存，还可以包括任意数量的辅助内存，在此不做具体限定。图2中所示出的两个辅助内存的架构仅为说明性而不应解释为限制性。主存储器208以及可能的辅助内存可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性，并且可以包括随机存取存储器（ram），闪存，只读存储器（rom），可擦可编程只读存储器（eprom），电可擦可编程只读存储器（eeprom），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（cd），数字多功能光盘（dvd），大容量存储介质设备或任何其他形式的合适存储介质。内部总线204可以包括不同总线结构中的任何一种或不同总线结构
的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。应当理解的是，图2所示的电子设备，其所示的结构并不构成对有关装置或系统的具体限定，在一些示例性实施例中，电子设备可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。
65.请继续参阅图2，在一种可能的实施方式中，辅助处理器210和/或辅助处理器220可以具有针对神经网络计算的特点而进行了定制化设计的计算架构，例如神经网络加速器。并且，电子设备还可以包括任意数量的辅助处理器且各自具有针对神经网络计算的特点而进行了定制化设计的计算架构，或者说电子设备可以包括任意数量的神经网络加速器。在一些实施例中，仅处于说明性目的，示例性的神经网络加速器可以是：具有基于控制流的时域计算架构的神经网络加速器，其基于神经网络算法定制指令集的指令流对计算资源和存储资源进行集中控制；或者，具有基于数据流的空域计算架构的神经网络加速器，例如基于行固定（row stationary，rs）的数据流的二维空域计算阵列、采用脉动阵列（systolic array）的二维矩阵乘法阵列等；或者，任意具有任意合适的定制化设计的计算架构的神经网络加速器。
66.图3示出了本技术实施例提供的图像处理装置的框图。如图3所示，图像处理装置包括：特征提取网络310，用于根据原始图像获得第一特征图；aspp模型320，用于对所述第一特征图进行多个采样率下的空洞卷积并行采样得到多尺度特征图；深层特征提取模块330，用于对所述多尺度特征图进行深层特征提取得到深层特征图；浅层特征提取模块340，用于对所述第一特征图进行浅层特征提取得到浅层特征图；拼接模块350，用于对所述深层特征图和所述浅层特征图进行拼接操作得到第二特征图；和语义分割模型360，用于对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。应当理解的是，深层特征提取模块330和浅层特征提取模块340可以采用任意合适的模型和参数。例如，深层特征提取模块330可以通过编码操作例如通道压缩和进行上采样减少低层次语义特征的比重。浅层特征提取模块340可以通过解码操作更好地恢复目标边界细节，这些可以根据具体应用场景采用合适的技术，在此不做具体限定。
67.图像处理装置利用aspp模型对第一特征图的整体以不同采样率的空洞卷积并行采样，从而保留了完整的边缘信息并避免了如u-net这样的特征提取网络将原始图像进行分区块识别带来的边缘误差；通过提取浅层特征克服了因为aspp模型的采样而导致的关于边缘信息的特征的分辨率下降的问题；通过将所述深层特征图和所述浅层特征图进行拼接操作得到第二特征图。基于这样的操作得到的第二特征图，相比于第一特征图有了以下改进：在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
68.在一种可能的实施方式中，所述aspp模型320和所述深层特征提取模块330一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块340作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别
目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息，所述低层次语义特征提取通道是与所述aspp模型320相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述aspp模型320所输出的所述多尺度特征图中的边界信息，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。
69.在一种可能的实施方式中，所述aspp模型320的所述多个采样率中至少一个采样率可被增加，或者，所述特征提取网络310和所述aspp模型320用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
70.在一种可能的实施方式中，所述图像处理装置用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。
71.在一种可能的实施方式中，所述图像处理装置用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果，其中，所述图像处理装置还包括：车厢轮廓搜索模块（未示出），用于根据所述原始图像的车厢区域轮廓的语义分割识别结果确定最优车厢轮廓以及所述最优车厢轮廓的坐标信息，其中，所述原始图像的车厢区域轮廓的语义分割识别结果指示所述原始图像的每个像素点是否属于车厢区域。
72.在一种可能的实施方式中，根据所述原始图像的车厢区域轮廓的语义分割识别结果确定所述最优车厢轮廓以及所述最优车厢轮廓的坐标信息，包括：根据所述原始图像的车厢区域轮廓的语义分割识别结果，从所述原始图像的所有像素点中选择属于车厢区域的多个像素点；通过所述车厢轮廓搜索模块，对所述多个像素点进行轮廓计算得到多个候选轮廓；对所述多个候选轮廓进行分类并将所述多个候选轮廓的每一个候选轮廓分类为凸包型、凹包型或者不规则型；通过所述车厢轮廓搜索模块，对所述多个候选轮廓中被分类为凸包型的候选轮廓进行最优查找算法，从而得到所述最优车厢轮廓以及所述最优车厢轮廓的坐标。
73.本技术提供的具体实施例可以用硬件，软件，固件或固态逻辑电路中的任何一种或组合来实现，并且可以结合信号处理，控制和/或专用电路来实现。本技术具体实施例提供的设备或装置可以包括一个或多个处理器（例如，微处理器，控制器，数字信号处理器（dsp），专用集成电路（asic），现场可编程门阵列（fpga）等），这些处理器处理各种计算机可执行指令从而控制设备或装置的操作。本技术具体实施例提供的设备或装置可以包括将各个组件耦合在一起的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。本技术具体实施例提供的设备或装置可以是单独提供，也可以是系统的一部分，也可以是其它设备或装置的一部分。
74.本技术提供的具体实施例可以包括计算机可读存储介质或与计算机可读存储介质相结合，例如能够提供非暂时性数据存储的一个或多个存储设备。计算机可读存储介质/
存储设备可以被配置为保存数据，程序器和/或指令，这些数据，程序器和/或指令在由本技术具体实施例提供的设备或装置的处理器执行时使这些设备或装置实现有关操作。计算机可读存储介质/存储设备可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性。在一个或多个示例性实施例中，计算机可读存储介质/存储设备可以被集成到本技术具体实施例提供的设备或装置中或属于公共系统。计算机可读存储介质/存储设备可以包括光存储设备，半导体存储设备和/或磁存储设备等等，也可以包括随机存取存储器（ram），闪存，只读存储器（rom），可擦可编程只读存储器（eprom），电可擦可编程只读存储器（eeprom），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（cd），数字多功能光盘（dvd），大容量存储介质设备或任何其他形式的合适存储介质。
75.以上是本技术实施例的实施方式，应当指出，本技术具体实施例描述的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。可以理解的是，本技术实施例以及附图所示的结构并不构成对有关装置或系统的具体限定。在本技术另一些实施例中，有关装置或系统可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。本领域技术人员将理解，在不脱离本技术具体实施例的精神和范围的情况下，可以对具体实施例记载的方法和设备的布置，操作和细节进行各种修改或变化；在不脱离本技术实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本技术的保护范围。