人脸朝向聚合方法及装置与流程

本发明涉及图像处理领域，具体而言，涉及一种人脸朝向聚合方法及装置。

背景技术：

随着人工智能的日益发展，深度学习及神经网络等模型算法的优化与迭代，发明人经研究发现，基于行人与人脸朝向的应用越来越受重视，尤其是在商业智能场景下，对行人或客流的需求分析尤为重要，但是现有技术难以对行人或客流的需求进行准确分析。

技术实现要素：

有鉴于此，本发明实施例提供了一种人脸朝向聚合方法及装置，以有效缓解上述技术问题。

如下，是本发明提供的具体实施方式：

一种人脸朝向聚合方法，应用于服务器，所述服务器与一客户端通信连接，所述方法包括：

接收所述客户端发送的图像获取指令，并基于所述图像获取指令从所述服务器关联的数据库中获得目标图像的人体识别数据，其中，所述人体识别数据包括至少人体的位置信息和人脸朝向信息；

针对预设多个网格区间中的每个网格区间，获得坐落于该网格区间内的人体，基于该网格区间内各人体的位置信息得到各人体在该网格区间内的位置坐标，以及基于该网格区间内各人体的人脸朝向信息得到该网格区间内的人脸朝向统计信息，其中，所述人脸朝向统计信息包括该网格区间内不同朝向的统计数量；

针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标；

根据每个所述网格区间内的目标坐标和人脸朝向统计信息得到人脸朝向聚合图。

可选的，在上述人脸朝向聚合方法中，针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标的步骤包括：

针对每个所述网格区间，对该网格区间内所有人体的位置坐标取平均值，并将取平均值后获得的位置坐标作为目标坐标。

可选的，在上述人脸朝向聚合方法中，接收所述客户端发送的图像获取指令，并基于所述图像获取指令从所述服务器关联的数据库中获得目标图像的人体识别数据的步骤包括：

获得所述图像获取指令中包括的目标摄像头的标识信息和一设定时间段；

构造包括所述目标摄像头的标识信息和设定时间段的网格筛选查询语句；

根据所述网格筛选查询语句从与所述服务器关联数据库中查找获得与所述标识信息对应的目标摄像头在所述设定时间段内拍摄到的目标图像的人体识别数据。

可选的，在上述人脸朝向聚合方法中，根据每个所述网格区间内的目标坐标和人脸朝向统计信息得到人脸朝向聚合图的步骤包括：

根据每个网格区间对应的人脸朝向统计信息在该网格区间中的目标坐标处绘制人脸朝向指向图；

将所述人脸朝向指向图与所述目标图像进行叠加处理以得到人脸朝向聚合图。

可选的，在上述人脸朝向聚合方法中，所述数据库为时序数据库，在执行接收所述客户端发送的图像获取指令的步骤之前，所述方法还包括：

从消息队列中获取压缩数据，并对所述压缩数据进行解压、整理，得到图像对应的识别结果数据，该识别结果数据中包括人体的人脸朝向信息和人体的头部位置信息，并将该头部位置信息作为所述人体的位置信息并进行标记，以及将标记后的图像对应的识别结果数据作为人体识别数据存储至所述时序数据库。

可选的，在上述人脸朝向聚合方法中，在执行从消息队列中获取压缩数据的步骤之前，所述方法还包括：

获取摄像头的标识信息、该摄像头采集到的图像以及采集该图像的时间，并基于所述标识信息、所述图像以及采集该图像的时间得到图像数据；

对所述图像数据深度学习预测处理得到识别结果数据，其中，所述识别结果数据中包括人体识别结果，该人体识别结果为存在人体或不存在人体；

获取所述人体识别结果为存在人体的识别结果数据，并对该识别结果数据进行预处理，并将预处理后的数据打包的得到压缩数据并发送至所述消息队列中。

本发明还提供一种人脸朝向聚合装置，应用于服务器，所述服务器与一客户端通信连接，所述装置包括：

第一获得模块，用于接收所述客户端发送的图像获取指令，并基于所述图像获取指令从所述服务器关联的数据库中获得目标图像的人体识别数据，其中，所述人体识别数据包括至少人体的位置信息和人脸朝向信息；

第二获得模块，用于针对预设多个网格区间中的每个网格区间，获得坐落于该网格区间内的人体，基于该网格区间内各人体的位置信息得到各人体在该网格区间内的位置坐标，以及基于该网格区间内各人体的人脸朝向信息得到该网格区间内的人脸朝向统计信息，其中，所述人脸朝向统计信息包括该网格区间内不同朝向的统计数量；

坐标获得模块，用于针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标；

图像生成模块，用于根据每个所述网格区间内的目标坐标和人脸朝向统计信息得到人脸朝向聚合图。

第一获得模块第二获得模块可选的，在上述人脸朝向聚合装置中，所述坐标获得模块还用于，针对每个所述网格区间，对该网格区间内所有人体的位置坐标取平均值，并将取平均值后获得的位置坐标作为目标坐标。

可选的，在上述人脸朝向聚合装置中，所述第一获得模块包括：

获得子模块，用于获得所述图像获取指令中包括的目标摄像头的标识信息和一设定时间段；

构造子模块，用于构造包括所述目标摄像头的标识信息和设定时间段的网格筛选查询语句；

查找子模块，用于根据所述网格筛选查询语句从与所述服务器关联数据库中查找获得与所述标识信息对应的目标摄像头在所述设定时间段内拍摄到的目标图像的人体识别数据。

可选的，在上述人脸朝向聚合装置中，所述图像生成模块包括：

绘制子模块，用于根据每个网格区间对应的统计信息在该网格区间中的目标坐标处绘制人脸朝向指向图；

处理子模块，用于将所述人脸朝向指向图与所述目标图像进行叠加处理以得到人脸朝向聚合图。

本发明提供的一种人脸朝向聚合方法及装置，能够根据客户端发送的图像生成请求指令从数据库中查找出目标图像的人体识别数据，针对预设多个网格区间中的每个网格区间，获得坐落于该网格区间的人体，基于该网格区间内各人体的位置信息得到在该网格区间内位置坐标，以及各人体的人脸朝向信息得到人脸朝向统计信息，并基于根据每个所述网格区间内的人体的位置坐标和人脸朝向聚合图得到人脸朝向聚合图，实现对人群需求的分析，并有效保障分析的准确性。

为使本发明实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种服务器的连接框图。

图2是本发明实施例提供的人脸朝向聚合方法的流程图。

图3是图2中步骤分步骤s110的流程图。

图4是图2中步骤分步骤s140的流程图。

图5是本发明实施例提供的人脸朝向聚合方法的另一流程图。

图6是本发明实施例提供的人脸朝向聚合装置的连接框图。

图7是本发明实施例提供的第一获得模块的连接框图。

图8是本发明实施例提供的图像生成模块的连接框图。

图9是本发明实施例提供的人脸朝向聚合装置的另一连接框图。图标：10-服务器；12-存储器；14-处理器；100-人脸朝向聚合装置；110-第一获得模块；112-获得子模块；114-构造子模块；116-查找子模块；120-第二获得模块；130-坐标获得模块；140-图像生成模块；142-绘制子模块；144-处理子模块；150-数据获得模块；160-第一处理模块；170-第二处理模块；180-第三处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的装置可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参见图1，图1示出了本发明实施例提供的服务器10的连接框图，具体的，所述服务器10可以应用于包括摄像头和客户端的人脸朝向聚合系统，所述服务器10应用于人脸朝向聚合系统时，所述服务器10与所述摄像头和客户端分别通信连接。

其中，所述摄像头用于拍摄图像并记录拍摄所述图像时的时间信息以及该摄像头的标识信息得到包括图像、标识信息以时间信息的图像数据，所述服务器10用于获取所述图像数据，对该图像数据中进行识别得到识别结果数据，并对识别结果数据进行预处理，然后进一步通过人工智能对该图像进行深度学习，识别出该图像数据中包括人体以及该人体的头部位置以及人脸朝向信息的人体识别数据并保存至关联的数据库中，所述客户端用于接收用户输入的图像获取指令并发送至所述服务器10，所述服务器10在接收到图像获取指令后执行从数据库中保存的图像中获取一目标图像的人体识别数据，并基于该目标图像的人体识别数据进行人脸朝向聚合以得到人脸朝向聚合图，并可以发送至客户端以供客户端进行观看，如此，能够便于客户端对人群的需求做进一步分析和挖掘。

所述人脸朝向聚合系统中包括的摄像头的数量可以是一个，也可以是多个，在此不作具体限定，可以理解，当所述摄像头的数量为多个时，所述服务器10获取到的图像应包括有拍摄该图像的摄像头的标识信息。

所述服务器10包括：存储器12和处理器14。

所述存储器12与处理器14相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器12中存储有以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块，所述处理器14通过运行存储在存储器12内的软件程序以及模块，如本发明实施例中的人脸朝向聚合装置100，从而执行各种功能应用以及数据处理，即实现本发明实施例中的人脸朝向聚合方法。

请参图2，本发明提供一种人脸朝向聚合方法，所述人脸朝向聚合方法可应用于上述服务器10，所述人脸朝向聚合应用于所述服务器10时实现以步骤s110-s140四个步骤：

步骤s110：接收所述客户端发送的图像获取指令，并基于所述图像获取指令从所述服务器10关联的数据库中获得目标图像的人体识别数据，其中，所述人体识别数据包括人体的位置信息和人脸朝向信息。

可以理解，所述数据库中的可以存储有多个图像的人体识别数据，该多个图像的人体识别数据中包括所述目标图像的人体识别数据，且该多个图像的人体识别数据是由一个或多个摄像机在不同时刻拍摄并处理后存储的，因此，其所述图像获取指令中可以包括时间信息，还可以包括摄像头的标识信息(摄像头id)或者该摄像头的拍摄地点的位置信息，可以理解，当该摄像头应用于门店内时，该图像获取指令也可以包括该摄像头对应的门店id，当门店内具有多个摄像头时，该图像获取指令还可以包括该摄像头对应的门店id以及摄像头在该门店内的位置id。需要说明的是，在本实施例中，每个图像的人体识别数据可以是多个，即每个图像可以对应有多个人体识别数据。

当所述图像获取指令包括目标摄像头的标识信息和设定时间段时，获得的目标图像所对应的摄像头的标识信息与目标摄像头的标识信息相同，目标图像所对应的拍摄时刻位于所述设定时段内。可以理解，在该设定时间段内获得的所述目标图像的数量可能是一张，也可能是多张，在本实施例中，仅针对每一张目标图像进行说明，且该目标图像的人体识别数据可以为多个。

可选的，在本实施例中，所述图像获取指令包括目标摄像头的识别信息和一设定时间段。请结合图3，具体的，步骤s110包括：

步骤s112：获得所述图像获取指令中包括的目标摄像头的标识信息和一设定时间段。

具体的，步骤s112的具体实施方式可以是，对所述图像获取指令进行解析以得到所述目标摄像头的标识信息和所述设定时间段。

步骤s114：构造包括所述目标摄像头的标识信息和设定时间段的网格筛选查询语句。

步骤s116：根据所述网格筛选查询语句从与所述服务器10关联数据库中查找获得与所述标识信息对应的目标摄像头在所述设定时间段内拍摄到的目标图像的人体识别数据。

步骤s120：针对预设多个网格区间中的每个网格区间，获得坐落于该网格区间内的人体，基于该网格区间内各人体的位置信息得到各人体在该网格区间内的位置坐标，以及基于该网格区间内各人体的人脸朝向信息得到该网格区间内的人脸朝向统计信息，其中，所述人脸朝向统计信息包括该网格区间内不同朝向的统计数量。

其中，所述预设多个网格区间可以是所述服务器10中预存的，也可以是所述图像获取指令中包括的，在此不作具体限定。该设定网格数可以是4个、16个、25个50个或100个，在此不作具体限定。

在本实施例中，各网格区间的大小可以是相同的，也可以是不同的，例如，可以将统一量化的长和宽均进行相同的等分使得每个网格区间呈方形。

在本实施例中，当图像获取指令中包括所述预设多个网格区间的数量时，且每个网格区间呈方形时，则该网格区间的数量可以是根据所述图像获取指令中的精度获得，具体的，可以根据图像获取指令中的网格区间划分精度生成对应数量的多个网格区间。该精度可以是但不限于2×2、4×4、10×10、20×20或100×100，即以所有网格区间的总长度和宽度分别量化为1，对该网格的长度和宽度分别进行2等分、4等分、10等分、20等分或100等分以进行网格区间划分。

在本实施例中，以所述目标图像的长为20cm，宽为18cm，并对长和宽进行量化后分别进行10等分(即，所述设定网格区间的数量为100)，某一人体在该图中的框的底部的中点的位置为长为9cm，宽为8cm处为例进行说明，则该人体所在位置的坐标为(9/20,8/18)，即为(0.45,0.44)。获得的长和宽的数据区间分别为0.1，长和宽的区间坐标分别为0至0.1、0.1至0.2、0.2至0.3、0.3至0.4、0.4至0.5、0.5至0.6、0.6至0.7、0.7至0.8、0.8至0.9、0.9至1.0。因此坐标值(0.45,0.44)落在长区间为0.4至0.5、宽区间为0.4至0.5对应的网格区间内，且该人体的位置坐标为(0.45,0.44)。

其中，所述人脸的朝向可以是前、后、左、后四个方向，也可以是前、后、左、右、左前、右前、左右以及右后八个方向。可选的，在本实施例中，所述人脸的朝向包括八个方向。

步骤s130：针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标。

其中，每个网格区间内的人体的位置坐标可以是一个，也可以是多个。当为多个时，得到该网格区间内的目标坐标的方式可以是对该网格区间内的多个人体的位置坐标求取均值以得到目标坐标，也可以是获取该多个人体的位置坐标中位于中心位置的一个作为目标坐标。

可选的，在本实施例中，针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标的步骤包括：针对每个所述网格区间，对该网格区间内所有人体的位置坐标取平均值，并将取平均值后获得的位置坐标作为目标坐标。

例如，当一个网格区间内，有五个人体，则可以分别获得该网格区间内5个人体的位置坐标(横坐标值和纵坐标值)，然后分别取横坐标值的平均数和纵坐标值的平均数，并将获得的平均横坐标值、平均纵坐标值作为该网格区间对应的目标坐标。

步骤s140，根据每个所述网格区间内的目标坐标和人脸朝向统计信息得到人脸朝向聚合图。

其中，步骤s140具体可以是，根据所述人脸朝向统计信息在所述目标坐标处绘制人脸朝向指向图，以基于该人脸朝向图和所述目标图像合成所述人脸朝向聚合图，也可以是根据每个网格区域的目标坐标得到在所述目标图像内与各目标坐标对应的目标位置，并针对每个目标位置，在该目标位置处绘制基于该目标位置对应目标坐标所在网格区间的统计信息绘制人脸朝向指向，从而得到所述人脸朝向聚合图。

可选的，在本实施例中，请结合图4，所述步骤s140包括：

步骤s142：根据每个网格区间对应的统计信息在该网格区间中的目标坐标处绘制人脸朝向指向图。

需要说明的是，在所述目标坐标处绘制人脸朝向指向图时，可以基于线条的长短和/或粗细表征朝向某一方向的人数的多少，即朝向某一方向的人越多，相应的线条越长或线条的宽度越宽。例如，当采用线条的长短表征朝向某一方向的人数时，以一个单位长度表示某一方向的人数为一个，当该朝向该方向上人脸为多个时，则对应的箭头的长度为多个单位长度。

步骤s144：将所述人脸朝向指向图与所述目标图像进行叠加处理以得到人脸朝向聚合图。

通过上述方法，以在用户查看，使得数据的显示变得更加直观，进而便于用户基于人脸朝向图对行人或客流的需求进行分析，并能有效保障分析的准确性。

请参阅5，可选的，在本实施例中，所述数据库为时序数据库，在执行步骤s110之前，所述方法还包括：

步骤s150：获取摄像头的标识信息、该摄像头采集到的图像以及采集该图像的时间，并基于所述标识信息、所述图像以及采集该图像的时间得到图像数据。

可以理解，获取所述摄像采集到的图像的方式可以是接收所述摄像头发送的图像，也可以是接收摄像头发送的视频流，并对视频流进行截图以得到所述摄像头拍摄到的图像。

步骤s160：对所述图像数据深度学习预测处理得到识别结果数据，其中，所述识别结果数据中包括人体识别结果，该人体识别结果为存在人体或不存在人体。

可以理解，该识别结果数据中携带有摄像头的标识信息和拍摄时间。

步骤s170：获取所述人体识别结果为存在人体的识别结果数据，并对该识别结果数据进行预处理，并将预处理后的数据打包的得到压缩数据并发送至消息队列中。

其中，对识别结果数据进行预处理具体可以是对该识别结果数据进行校验、整理数据结构。此外，通过对预处理后的数据进行打包发送至消息队列中，以有效降低数据传输过程中占用的带宽，以及减少在消息队列中占用的内存，从而提高对数据进行传输的效率。

步骤s180：从消息队列中获取压缩数据，并对所述压缩数据进行解压、整理得到图像对应的整理后的识别结果数据，且该整理后的识别结果数据中包括人体的人脸朝向信息和人体的头部位置信息，并将该头部位置信息作为所述人体的位置信息并进行标记，以及将标记后的图像对应的识别结果数据作为人体识别数据存储至所述时序数据库。

具体的，对所述压缩数据进行解压、整理得到图像可以是：对所述压缩数据进行解压后整理得到所述图像对应的识别结果数据，对所述解压后的数据进行整理可以是整理解压后的数据的数据结构，还可以整理解压后的数据的数据结构后进一步计算人体头部位置坐标以及人脸的朝向。将标记后的图像可以按照每个摄像头的标识信息进行存储至所述时序数据库中。

计算人体头部位置的方式可以是，针对每个行人，用一长方形边框框住该行人，将与长方形顶边的中点的之间的距离为预设距离的点所在的位置作为头部位置，其中预设距离可以为15～20％*h，h为长方形的长度。

请参阅图6，在上述基础上，本发明还提供一种可应用于上述服务器10的人脸朝向聚合装置100，所述人脸朝向聚合装置100包括：第一获得模块110、第二获得模块120、坐标获得模块130以及图像生成模块140。

所述第一获得模块110，用于接收所述客户端发送的图像获取指令，并基于所述图像获取指令从所述服务器10关联的数据库中获得目标图像的人体识别数据，其中，所述人体识别数据包括人体的位置信息和人脸朝向信息。由于第一获得模块110和图2中步骤s110的实现原理类似，因此可以参照对步骤s110的具体描述在此不作更多说明。

请参照图7，在本实施例中，所述第一获得模块110包括：获得子模块112、构造子模块114以及查找子模块116。

所述获得子模块112，用于获得所述图像获取指令中包括的目标摄像头的标识信息和一设定时间段。

所述构造子模块114，用于构造包括所述目标摄像头的标识信息和设定时间段的网格筛选查询语句。

所述查找子模块116，用于根据所述网格筛选查询语句从与所述服务器10关联数据库中查找获得与所述标识信息对应的目标摄像头在所述设定时间段内拍摄到的目标图像的人体识别数据。

所述第二获得模块120，用于针对预设多个网格区间中的每个网格区间，获得坐落于该网格区间内的人体，基于该网格区间内各人体的位置信息得到各人体在该网格区间内的位置坐标，以及基于该网格区间内各人体的人脸朝向信息得到该网格区间内的人脸朝向统计信息，其中，所述人脸朝向统计信息包括该网格区间内不同朝向的统计数量。由于第二获得模块120和图2中步骤s120的实现原理类似，因此可以参照对步骤s120的具体描述在此不作更多说明。

所述坐标获得模块130，用于针对每个所述网格区间，根据该网格区间内的人体的位置坐标得到该网格区间内的目标坐标。由于坐标获得模块130和图2中步骤s130的实现原理类似，因此可以参照对步骤s130的具体描述在此不作更多说明。

在本实施例中，所述坐标获得模块130还用于，针对每个所述网格区间，对该网格区间内所有人体的位置坐标取平均值，并将取平均值后获得的位置坐标作为目标坐标。

所述图像生成模块140，用于根据每个所述网格区间内的目标坐标和人脸朝向统计信息得到人脸朝向聚合图。由于图像生成模块140和图2中步骤s140的实现原理类似，因此可以参照对步骤s140的具体描述在此不作更多说明。

请参阅图8，在本实施例中，所述图像生成模块140包括绘制子模块142和处理子模块144。

所述绘制子模块142，用于根据每个网格区间对应的人脸朝向统计信息在该网格区间中的目标坐标处绘制人脸朝向指向图。

所述处理子模块144，用于将所述人脸朝向指向图与所述目标图像进行叠加处理以得到人脸朝向聚合图。

请参阅图9，在本实施例中，所述人脸朝向聚合装置100还包括：数据获得模块150、第一处理模块160、第二处理模块170以及第三处理模块180。

所述数据获得模块150，用于获取摄像头的标识信息、该摄像头采集到的图像以及采集该图像的时间，并基于所述标识信息、所述图像以及采集该图像的时间得到图像数据。由于数据获得模块150和图5中步骤s150的实现原理类似，因此可以参照对步骤s150的具体描述在此不作更多说明。

所述第一处理模块160，用于对所述图像数据深度学习预测处理得到识别结果数据，其中，所述识别结果数据中包括人体识别结果，该人体识别结果为存在人体或不存在人体。由于第一处理模块160和图5中步骤s160的实现原理类似，因此可以参照对步骤s160的具体描述在此不作更多说明。

所述第二处理模块170，用于获取所述人体识别结果为存在人体的识别结果数据，并对该识别结果数据进行预处理，并将预处理后的数据打包的得到压缩数据并发送至消息队列中。由于图像生成模块140和图5中步骤s170的实现原理类似，因此可以参照对步骤s170的具体描述在此不作更多说明。

所述第三处理模块180，用于从消息队列中获取压缩数据，并对所述压缩数据进行解压、整理，得到图像对应的整理后的识别结果数据，该整理后的识别结果数据中包括人体的人脸朝向信息和人体的头部位置信息，并将该头部位置信息作为所述人体的位置信息并进行标记，以及将标记后的图像对应的识别结果数据作为人体识别数据存储至所述时序数据库。由于第三处理模块180和图5中步骤s180的实现原理类似，因此可以参照对步骤s180的具体描述在此不作更多说明。

综上，本发明实施例所提供的人脸朝向聚合方法及装置，能够基于人脸朝向图对行人或客流的需求进行分析，并能有效保障分析的准确性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。