一种图像特征检测方法、系统、设备以及介质与流程

本发明涉及图像处理技术，特别是涉及一种图像特征检测方法、系统、设备以及介质。

背景技术：

为了便于对图像进行识别和检测，需要对图像中的目标实现识别和检测，在现有的目标检测方法对硬件的需求较高，难以满足实时检测的需求，为了降低对硬件配置的依赖，可能造成检测精度较低的现象。例如，在一些场景条件下，当目标尺寸分布广时，如果简化检测模型、参数利用不充分，可能会导致目标特征信息提取存在误差，如果检测模型网络较为复杂，可能会导致模型计算速度过慢，不便于达到实时检测的目的。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供图像特征检测方法、系统、设备以及介质，用于解决现有技术中图像特征检测不准确、效率低的技术问题。

为实现上述目的及其他相关目的，本发明提供一种图像特征检测方法，包括：通过一种或多种特征处理结构对图像信息进行多次特征处理，获得多种尺度的输出图像，其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元；通过一种或多种融合处理结构对多种尺度的所述输出图像进行输出或者融合处理，获得多种尺度的特征图，其中，所述融合处理结构包括至少以下之一：上采样单元、图像通道拼接单元。

可选的，通过所述下采样单元对所述图像信息进行下采样处理后，通过一个或多个特征提取单元对下采样处理结果进行特征提取。

可选的，通过一个或多个特征提取单元对下采样处理结果进行一次或者多次特征提取；并通过所述通道降维单元对特征提取的结果进行通道数的降维处理。

可选的，通过一个或多个特征提取单元对降维处理的结果，进行特征提取。

可选的，所述特征提取单元进行特征提取的结果的通道数量不变或者增加x倍，x为正整数。

可选的，通过多个所述下采样单元对所述图像信息进行多次下采样处理，分别获取多种尺度的输出图像。

可选的，通过多个所述特征提取单元对所述图像信息进行多次图像通道处理，分别获取多种图像通道数的输出图像。

可选的，通过所述下采样单元对所述图像信息进行处理，获取尺度大小为输入尺寸的1/n倍的输出图像，其中，n为所述下采样单元的步长且n为正整数。

可选的，所述下采样单元的结构为：尺寸为t×t，步长为2q，通道数量为f(i)，且f(i+1)＝2yf(i)，其中，t≥1且为正整数，q≥1且为正整数，i为所述下采样单元的处理次数且为正整数，y为正整数。

可选的，所述特征提取单元的结构为：尺寸为t×t，步长为q。

可选的，所述通道降维单元的结构为：尺寸为1×1，步长为q。

可选的，所述上采样单元对所述输出图像进行上采样处理的步骤包括：通过双线性插值对上采样处理的结果进行尺度增大。

可选的，图像通道拼接单元的处理步骤包括：

将第(m+1)输出图像与第m上采样图像沿着图像通道方向进行拼接；

获取第(m+1)特征图，或者，再进行上采样获取第(m+1)上采样图像；

其中，将多种尺度的所述输出图像按照尺度由小到大分别定义为：第一输出图像、……、第(m+1)输出图像、……；将多种尺度的所述特征图按照尺度由小到大分别定义为：第一特征图、……、第(m+1)特征图、……；将进行上采样次数为m的图像定义为第一上采样图像、……、第(m+1)上采样图像、……；m为正整数。

可选的，在所述上采样处理的步骤之前，还包括通道数降维处理。

可选的，将尺度最小的所述输出图像进行输出，获得第一特征图。

可选的，在对图像信息进行多次特征处理的步骤之前包括：对所述图像信息进行保持比例地放大或者缩小。

一种图像特征检测系统，包括：

第一网络，包括一种或多种特征处理结构，通过一种或多种所述特征处理结构对图像信息进行多次特征处理，获得多种尺度的输出图像，其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元；

第二网络，包括一种或多种融合处理结构，通过一种或多种所述融合处理结构对多种尺度的所述输出图像进行输出或者融合处理，获得多种尺度的特征图，其中，所述融合处理结构包括至少以下之一：上采样单元、图像通道拼接单元。

可选的，通过所述下采样单元对所述图像信息进行下采样处理后，通过一个或多个特征提取单元对下采样处理结果进行特征提取。

可选的，通过一个或多个特征提取单元对下采样处理结果进行一次或者多次特征提取；并通过所述通道降维单元对特征提取的结果进行通道数的降维处理。

可选的，通过一个或多个特征提取单元对降维处理的结果，进行特征提取。

可选的，所述特征提取单元进行特征提取的结果的通道数量不变或者增加x倍，x为正整数。

可选的，通过多个所述下采样单元对所述图像信息进行多次下采样处理，分别获取多种尺度的输出图像。

可选的，通过多个所述特征提取单元对所述图像信息进行多次图像通道处理，分别获取多种图像通道数的输出图像。

可选的，通过所述下采样单元对所述图像信息进行处理，获取尺度大小为输入尺寸的1/n倍的输出图像，其中，n为所述下采样单元的步长且n为正整数。

可选的，所述下采样单元的结构为：尺寸为t×t，步长为2q，通道数量为f(i)，且f(i+1)＝2yf(i)，其中，t≥1且为正整数，q≥1且为正整数，i为所述下采样单元的处理次数且为正整数，y为正整数。

可选的，所述特征提取单元的结构为：尺寸为t×t，步长为q。

可选的，所述通道降维单元的结构为：尺寸为1×1，步长为q。

可选的，所述上采样单元对所述输出图像进行上采样处理的步骤包括：通过双线性插值对上采样处理的结果进行尺度增大。

可选的，图像通道拼接单元的处理步骤包括：

将第(m+1)输出图像与第m上采样图像沿着图像通道方向进行拼接；

获取第(m+1)特征图，或者，再进行上采样获取第(m+1)上采样图像；

其中，将多种尺度的所述输出图像按照尺度由小到大分别定义为：第一输出图像、……、第(m+1)输出图像、……；将多种尺度的所述特征图按照尺度由小到大分别定义为：第一特征图、……、第(m+1)特征图、……；将进行上采样次数为m的图像定义为第一上采样图像、……、第(m+1)上采样图像、……；m为正整数。

可选的，在所述上采样处理的步骤之前，还包括通道数降维处理。

可选的，将尺度最小的所述输出图像进行输出，获得第一特征图。

可选的，在对图像信息进行多次特征处理的步骤之前包括：对所述图像信息进行保持比例地放大或者缩小。

一种设备，包括：

一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。、

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。

如上所述，本发明提供的一种图像特征检测方法、系统、设备以及介质，具有以下有益效果：

通过改变特征处理结构的类型和特征处理结构的数量，以获得图像特征检测的精度以及检测速度，以适应不同应用场景、目标大小、检测速度和检测精度的业务需求；其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元；

通过一种或多种融合处理提取多种尺度的特征图，尺度较大的特征图感受野小，对应小目标，尺度较小的特征图感受野大，对应大目标，使得模型对尺度、比例分布广的目标更加鲁棒。

附图说明

图1为本发明实施例一提供的一种图像特征检测方法的流程示意图。

图2为本发明实施例一提供的一种特征处理结构；

图3为本发明实施例一提供的另一种特征处理结构；

图4为本发明实施例一提供的又一种特征处理结构；

图5为本发明实施例一提供的特征处理结构的一种网络结构形式；

图6为本发明实施例一提供的特征处理结构的另一种网络结构形式；

图7为本发明实施例一提供的特征处理结构的又一种网络结构形式；

图8为本发明实施例一提供的特征处理结构的其他网络结构形式；

图9为本发明实施例一提供的融合处理结构的一种形式；

图10为本发明实施例二提供一种图像特征检测系统；

图11为本发明实施例三提供一种图像特征检测系统；

图12为本发明实施例四提供一种图像特征检测系统；

图13为本发明实施例五提供一种图像特征检测系统；

图14为一实施例提供的终端设备的硬件结构示意图。

图15为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

1100输入设备

1101第一处理器

1102输出设备

1103第一存储器

1104通信总线

1200处理组件

1201第二处理器

1202第二存储器

1203通信组件

1204电源组件

1205多媒体组件

1206语音组件

1207输入/输出接口

1208传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

请参阅图1，本发明提供一种图像特征检测方法，包括：

s1：通过一种或多种特征处理结构对图像信息进行多次特征处理，获得多种尺度的输出图像，其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元，例如，通过一种特征处理结构减少处理过程中的参数量，提高图像特征检测速度，又例如，通过多种特征处理结构进行处理，提取更多的图像特征信息，提高图像特征检测精度；

s2：通过一种或多种融合处理结构对多种尺度的所述输出图像进行输出或者融合处理，获得多种尺度的特征图，其中，所述融合处理结构包括至少以下之一：上采样单元、图像通道拼接单元，例如，通过一种融合处理结构减少处理过程中的参数量，提高图像特征检测速度，又例如，通过多种特征处理结构进行处理，提取更多的图像特征信息，提高图像特征检测精度。通过在下采样(pooling)的过程中扩大感受野，且提取更多图像特征信息；通过多次融合处理提取多种尺度的特征图，尺度较大的特征图感受野小，对应小目标，尺度较小的特征图感受野大，对应大目标，使得模型对尺度、比例分布广的目标更加鲁棒；通过改变特征处理结构的类型和特征处理结构的数量，可以改变网络提取的深度，以获得图像特征检测的精度以及检测速度，以适应不同应用场景、目标大小、检测速度和检测精度的业务需求；其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元；浅层网络提取出的图像特征包括物体的边缘、轮廓信息，深层网络提取的图像特征包括物体的语义信息，随着网络的加深、感受野的加大，为避免一些小目标的语义信息可能丢失，使用深层语义信息和浅层轮廓信息结合的方式，能够对图像中的小目标的检测更加友好。

请参阅图2，提供一种特征处理结构，在一些实施过程中，该特征处理结构通过所述下采样单元对所述图像信息进行下采样处理后，通过特征提取单元对下采样处理结果进行特征提取，特征提取的结果可以输入另一下采样单元再进行下采样，或者，特征提取的结果可以输入融合处理单元进行融合处理。例如，下采样单元包括t×t/2q的卷积核，其中，t为卷积核的尺寸，2q为卷积核的步长，又例如，下采样单元包括3×3/2的卷积核，采用步长为2的卷积核对图像输入进行卷积处理，能够在扩大感受野的同时，提取更多特征信息。定义图2所述的特征处理结构为第一特征处理结构，还可以通过一个或者多个第一特征处理结构进行下采样处理和图像特征提取处理，其网络结构参阅图5。

请参阅图4，提供另一特征处理结构，在一些实施过程中，该特征处理结构通过所述下采样单元对所述图像信息进行下采样处理后，通过特征提取单元对下采样处理结果进行一次或者多次特征提取；并通过所述通道降维单元对特征提取的结果进行通道数的降维处理。例如，特征提取单元通过t×t/q的卷积核进行特征提取，其中，t为卷积核的尺寸，q为卷积核的步长，特征提取的结果可以输入另一下采样单元再进行下采样，或者，特征提取的结果可以输入融合处理单元进行融合处理。定义图4所述的特征处理结构为第二特征处理结构，还可以通过一个或者多个第二特征处理结构进行下采样处理和图像特征提取处理，其网络结构参阅图7。

请参阅图3，提供又一特征处理结构，在一些实施过程中，该特征处理结构通过所述下采样单元对所述图像信息进行下采样处理后，通过特征提取单元对下采样处理结果进行特征提取，然后通过特征提取单元对降维处理的结果，再次进行特征提取。例如，下采样单元包括t×t/2q的卷积核，其中，t为卷积核的尺寸，2q为卷积核的步长，特征提取单元通过t×t/q的卷积核进行特征提取，其中，t为卷积核的尺寸，q为卷积核的步长，降维处理通过1×1/q的卷积核进行图像通道数量的降维处理，通过图像通道数量的降维处理，能够减少卷积计算的参数量，有利于提高检测速度。定义图3所述的特征处理结构为第三特征处理结构，还可以通过一个或者多个第三特征处理结构进行下采样处理和图像特征提取处理，其网络结构参阅图6。

请参阅图8，提供一种特征处理结构的网络结构形式，包括一个或者多个第一特征处理结构、第二特征处理结构、第三特征处理结构，通过改变特征处理结构的类型和特征处理结构的数量，调节图像特征检测的精度以及检测速度，以适应不同应用场景、目标大小、检测速度和检测精度的业务需求。

为了提取更多的图像特征信息，所述特征提取单元进行特征提取的结果的通道数量不变或者增加x倍，x为正整数。例如，所述特征提取单元进行特征提取的结果的通道数量不变，通过特征提取单元进行多次图像特征提取，有利于提高图像特征检测的速度，又例如，所述特征提取单元进行特征提取的结果的通道数量增加2倍，通道数逐渐加深，提取的图像特征信息更多，参数量越来越大，有利于保障图像特征检测精度。在一些实施过程中，可以酌情考虑增大或者减少特征提取单元的通道数量，以达到在保障图像特征检测精度的同时，提高检测速度。

在一些实施过程中，通过多个所述下采样单元对所述图像信息进行多次下采样处理，分别获取多种尺度的输出图像，不仅提供更多的图像特征信息，而且还能够提供不同感受野的输出图像，便于融合处理结构进行融合处理后去多尺度的特征图。例如，还可以通过多个所述特征提取单元对所述图像信息进行多次图像通道处理，分别获取多种图像通道数的输出图像，通道数逐渐加深，参数量越来越大，有利于保障图像特征检测精度。

在一些实施过程中，通过所述下采样单元对所述图像信息进行处理，获取尺度大小为输入尺寸的1/n倍的输出图像，其中，n为所述下采样单元的步长且n为正整数。例如，所述下采样单元的结构为：尺寸为t×t，步长为2q，通道数量为f(i)，且f(i+1)＝2yf(i)，其中，t≥1且为正整数，q≥1且为正整数，i为所述下采样单元的处理次数且为正整数，y为正整数；例如，所述特征提取单元的结构为：尺寸为t×t，步长为q；又例如，所述通道降维单元的结构为：尺寸为1×1，步长为q。

在一些实施过程中，所述上采样单元对所述输出图像进行上采样处理的步骤包括：通过双线性插值对上采样处理的结果进行尺度增大，通过双线性插值对上采样处理的结果的图像尺度进行增大，例如，将图像尺度的长宽增加一倍，通道数不变。

请参阅图9，图像通道拼接单元的处理步骤包括：

将第(m+1)输出图像(m+1)image与第m上采样图像(m)upsample沿着图像通道方向进行拼接；

获取第(m+1)特征图(m+1)out，或者，再进行上采样获取第(m+1)上采样图像(m+1)upsample；

其中，将多种尺度的所述输出图像按照尺度由小到大分别定义为：第一输出图像、……、第(m+1)输出图像、……；将多种尺度的所述特征图按照尺度由小到大分别定义为：第一特征图、……、第(m+1)特征图、……；将进行上采样次数为m的图像定义为第一上采样图像、……、第(m+1)上采样图像、……；m为正整数。能通过图像通道拼接单元的处理能够输出多种尺度的特征图，大特征图感受野小，对应小目标，小特征图感受野大，对应大目标，这使得模型对尺度、比例分布广的目标更加鲁棒。为了降低卷积计算的参数量，在所述上采样处理的步骤之前，还包括通道数降维处理。

在一些实施过程中，将尺度最小的所述输出图像进行输出，获得第一特征图，第一特征图的尺度大小最小和通道数量最少，而且第一特征图的感受野大，能够较好地对应大目标的图像特征。

在一些实施过程中，为了保证算法效果，在对图像信息进行多次特征处理的步骤之前包括：对所述图像信息进行保持比例地放大或者缩小，例如，设定图像信息的尺度为608x608，原始图像宽高分别为w、h，那么压缩后，最长边为608，最短边按最长边缩放比例同比例缩放；对于缩放后尺寸不等于608x608的图像，采取边缘补黑色像素块的方式进行填充。

实施例二

请参阅图10，实施例二提供一种图像特征检测系统，包括：

第一网络，包括一种或多种特征处理结构，通过多种所述特征处理结构对图像信息进行多次特征处理，获得多种尺度的输出图像，其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元，例如，通过一种特征处理结构减少处理过程中的参数量，提高图像特征检测速度，又例如，通过多种特征处理结构进行处理，提取更多的图像特征信息，提高图像特征检测精度；

第二网络，包括一个或多种融合处理结构，通过多种所述融合处理结构对多种尺度的所述输出图像进行输出或者融合处理，获得多种尺度的特征图，其中，所述融合处理结构包括至少以下之一：上采样单元、图像通道拼接单元，例如，通过一种融合处理结构减少处理过程中的参数量，提高图像特征检测速度，又例如，通过多种特征处理结构进行处理，提取更多的图像特征信息，提高图像特征检测精度。通过在下采样(pooling)的过程中扩大感受野，且提取更多图像特征信息；通过多次融合处理提取多种尺度的特征图，尺度较大的特征图感受野小，对应小目标，尺度较小的特征图感受野大，对应大目标，使得模型对尺度、比例分布广的目标更加鲁棒；通过改变特征处理结构的类型和特征处理结构的数量，可以改变网络提取的深度，以获得图像特征检测的精度以及检测速度，以适应不同应用场景、目标大小、检测速度和检测精度的业务需求；其中，所述特征处理结构包括以下至少之一：下采样单元、特征提取单元、通道降维单元；浅层网络提取出的图像特征包括物体的边缘、轮廓信息，深层网络提取的图像特征包括物体的语义信息，随着网络的加深、感受野的加大，为避免一些小目标的语义信息可能丢失，使用深层语义信息和浅层轮廓信息结合的方式，能够对图像中的小目标的检测更加友好。

进一步的，通过所述下采样单元对所述图像信息进行下采样处理后，通过一个或多个特征提取单元对下采样处理结果进行特征提取。

进一步的，通过一个或多个特征提取单元对下采样处理结果进行一次或者多次特征提取；并通过所述通道降维单元对特征提取的结果进行通道数的降维处理。

进一步的，通过一个或多个特征提取单元对降维处理的结果，进行特征提取。

进一步的，所述特征提取单元进行特征提取的结果的通道数量不变或者增加x倍，x为正整数。

进一步的，通过多个所述下采样单元对所述图像信息进行多次下采样处理，分别获取多种尺度的输出图像。

进一步的，通过多个所述特征提取单元对所述图像信息进行多次图像通道处理，分别获取多种图像通道数的输出图像。

进一步的，通过所述下采样单元对所述图像信息进行处理，获取尺度大小为输入尺寸的1/n倍的输出图像，其中，n为所述下采样单元的步长且n为正整数。

进一步的，所述下采样单元的结构为：尺寸为t×t，步长为2q，通道数量为f(i)，且f(i+1)＝2yf(i)，其中，t≥1且为正整数，q≥1且为正整数，i为所述下采样单元的处理次数且为正整数，y为正整数。

进一步的，所述特征提取单元的结构为：尺寸为t×t，步长为q。

进一步的，所述通道降维单元的结构为：尺寸为1×1，步长为q。

进一步的，所述上采样单元对所述输出图像进行上采样处理的步骤包括：通过双线性插值对上采样处理的结果进行尺度增大。

进一步的，图像通道拼接单元的处理步骤包括：

将第(m+1)输出图像与第m上采样图像沿着图像通道方向进行拼接；

获取第(m+1)特征图，或者，再进行上采样获取第(m+1)上采样图像；

其中，将多种尺度的所述输出图像按照尺度由小到大分别定义为：第一输出图像、……、第(m+1)输出图像、……；将多种尺度的所述特征图按照尺度由小到大分别定义为：第一特征图、……、第(m+1)特征图、……；将进行上采样次数为m的图像定义为第一上采样图像、……、第(m+1)上采样图像、……；m为正整数。

进一步的，在所述上采样处理的步骤之前，还包括通道数降维处理。

进一步的，将尺度最小的所述输出图像进行输出，获得第一特征图。

进一步的，在对图像信息进行多次特征处理的步骤之前包括：对所述图像信息进行保持比例地放大或者缩小。

实施例三

请参阅图11，本实施例提供一种图像特征检测系统，在该系统中包括第一网络31和第二网络32，其中，第一网络31包括12层卷积层，第一网络31包括5个第一特征处理结构。第一网络31对输入图像image进行5次下采样输出最小尺度的特征图，并向第二网络32输入不同尺度的输出图像。通过第二网络对下采样的结果进行融合处理，获取三种尺度大小和图像通道数量不同的特征图，在本实施例中，第一网络减少了卷积层的数量，在第二网络中使用通道数更少的特征图完成后续的上采样和特征提取，进一步地减少了计算的参数量，较快地提高检测速度，能够实现fps(每秒传输帧数(framespersecond))>150的实时图像特征检测。

实施例四

请参阅图12，本实施例提供一种图像特征检测系统，在该系统中包括第一网络41和第二网络42，其中，第一网络41包括18层卷积层，包括2个第一特征处理结构和3个第三特征处理结构。第一网络41对输入图像image进行5次下采样输出最小尺度的特征图，并向第二网络42输入不同尺度的输出图像。通过第二网络42对下采样的结果进行融合处理，获取三种尺度大小和图像通道数量不同的特征图，在第一网络中卷积计算的参数量少，网络的深度加深，使得第一网络对图像特征提取更为充分，通过在第二网络的融合处理，能够输出不同尺度和通道数量的特征图，能够适应各种尺寸的目标，且对小尺寸的目标图像特征具有较好的检测效果，具有较高的检测精度且能够实现fps(每秒传输帧数(framespersecond))>130的实时图像特征检测。

实施例五

请参阅图13，本实施例提供一种图像特征检测系统，在该系统中包括第一网络51和第二网络52，其中，第一网络51包括17层卷积层，包括2个第一特征处理结构、2个第三特征处理结构和1个第二特征处理结构。第一网络51通过对输入图像image进行5次下采样输出最小尺度的特征图，并向第二网络52输入不同尺度的输出图像。通过第二网络52对下采样的结果进行融合处理，获取三种尺度大小和图像通道数量不同的特征图，在第一网络中卷积计算的参数量少，网络的深度加深，使得第一网络对图像特征提取更为充分，通过在第二网络的融合处理，能够输出不同尺度和通道数量的特征图，具有不错的检测精度且能够实现fps(每秒传输帧数(framespersecond))>140的实时图像特征检测。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准语音层面4，movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图4中图像特征检测方法所包含步骤的指令(instructions)。

图14为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(centralprocessingunit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图15为本申请的一个实施例提供的终端设备的硬件结构示意图。图15是对图14在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图4所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。

由上可知，在图15实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图14实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。