一种多图片的加速处理方法、装置及电子设备与流程

本申请涉及人工智能算法领域，特别涉及一种多图片的加速处理方法、装置及电子设备。

背景技术：

1、在目标检测，特征提取，分类算法，车牌识别等方面进行图像运算时，现有的技术是多个运算线程进行资源抢占，先抢到权限的线程进行推理运算，如此不能很好的进行资源调度分配，使得这样的方式下运算效率不高，造成计算资源浪费，无法充分发挥设备性能。

技术实现思路

1、有鉴于此，本发明提供了一种多图片的加速处理方法、装置及电子设备。

2、第一方面，本申请实施例提供一种多图片的加速处理方法，所述方法通过处理装置执行，所述处理装置中包括多个获取模块、多个处理模块和响应模块，所述方法包括：获取多个数据包；所述数据包中包括图片数据、与所述图片数据对应的算法类型，以及异步数据；根据处理模块的数量和算法类型数量开启相应数量的一级缓存管道，分别对多个所述数据包进行一级缓存；提取所述一级缓存中的每一数据包中的图片数据进行预处理，并按照所述图片数据对应的算法类型将多个图片数据组合得到目标图片数据；从多个处理模块中选择最佳处理模块，对所述目标图片数据及其对应的算法类型进行二级缓存；所述最佳处理模块依次选择二级缓存中的算法类型，对所述算法类型对应的目标图片数据进行推理运算，得到运算结果；响应模块通过所述异步数据读取所述运算结果。

3、在一些实施例中，在获取数据包之前，所述方法还包括：对每一获取模块进行算法类型赋值；获取模块按时间顺序连续获取图片数据；将所述获取模块的算法类型及所述获取模块获取的一帧图片数据组合得到一个数据包。

4、在一些实施例中，所述异步数据为异步消息机制，所述异步消息机制为：当产生所述运算结果时，采用所述运算结果自动赋值所述异步数据。

5、在一些实施例中，所述根据处理模块的数量和算法类型数量开启相应数量的一级缓存管道，包括：计算所述处理模块的数量与所述算法类型的乘积，开启与所述乘积相同数量的一级缓存管道。

6、在一些实施例中，所述提取所述一级缓存中的每一数据包中的图片数据进行预处理，并按照所述图片数据对应的算法类型将多个图片数据组合得到目标图片数据，包括：提取所述一级缓存中的每一数据包中的图片数据，对所述图片数据进行标准化处理得到第一图片数据；对所述第一图片数据进行通道变换处理，得到第二图片数据；根据所述第二图片数据对应的算法类型将多个第二图片数据组合得到目标图片数据，其中，所述目标图片数据中的第二图片数据数量小于等于预设阈值。

7、在一些实施例中，所述从多个处理模块中选择最佳处理模块，包括：计算每一所述处理模块的当前负载量，选择其中当前负载量最小的处理模块作为最佳处理模块。

8、在一些实施例中，所述最佳处理模块依次选择二级缓存中的算法类型，对所述算法类型对应的目标图片数据进行推理运算，得到运算结果，包括：按照所述算法类型对目标图片数据中的每一第二图片数据进行推理运算，得到与每一第二图片数据对应的运算结果。

9、在一些实施例中，所述方法还包括：响应模块基于所述运算结果生成响应指令。

10、第二方面，本申请实施例提供一种基于多图加速推理处理装置，所述装置包括：多个获取模块，用于获取多个数据包；所述数据包中包括图片数据、与所述图片数据对应的算法类型，以及异步数据；多个处理模块，用于根据处理模块的数量和算法类型数量开启相应数量的一级缓存管道，分别对多个所述数据包进行一级缓存；提取所述一级缓存中的每一数据包中的图片数据进行预处理，并按照所述图片数据对应的算法类型将多个图片数据组合得到目标图片数据；从多个处理模块中选择最佳处理模块，对所述目标图片数据及其对应的算法类型进行二级缓存；所述最佳处理模块用于依次选择二级缓存中的算法类型，对所述算法类型对应的目标图片数据进行推理运算，得到运算结果；响应模块，用于通过所述异步数据读取所述运算结果。

11、第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如上述的处理方法。

12、本发明提供的多图片的加速处理方法，采用一级缓存、二级缓存的两次缓存方法对获取的图片数据进行调度，在推理运算之前将经过预处理组合后的图片数据按照算法类型分类缓存在相应的运算线程上，不仅能够避免推理运算线程抢占资源，还能防止推理运算过程中零散数据访问线程拖慢运算速度，在对图片数据进行推理运算时最大程度发挥装置的性能，提高推理运算效率。

技术特征：

1.一种多图片的加速处理方法，其特征在于，所述方法通过处理装置执行，所述处理装置中包括多个获取模块、多个处理模块和响应模块，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在获取数据包之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述异步数据为异步消息机制，所述异步消息机制为：当产生所述运算结果时，采用所述运算结果自动赋值所述异步数据。

4.根据权利要求3所述的方法，其特征在于，所述根据处理模块的数量和算法类型数量开启相应数量的一级缓存管道，包括：

5.根据权利要求4所述的方法，其特征在于，所述提取所述一级缓存中的每一数据包中的图片数据进行预处理，并按照所述图片数据对应的算法类型将多个图片数据组合得到目标图片数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述从多个处理模块中选择最佳处理模块，包括：

7.根据权利要求6所述的方法，其特征在于，所述最佳处理模块依次选择二级缓存中的算法类型，对所述算法类型对应的目标图片数据进行推理运算，得到运算结果，包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.一种基于多图片的加速处理装置，其特征在于，所述装置包括：

10.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的处理方法。

技术总结
本发明提供一种多图片的加速处理方法、装置及电子设备，所述方法包括：获取多个数据包；所述数据包中包括图片数据、与所述图片数据对应的算法类型，以及异步数据；根据处理模块的数量和算法类型数量开启相应数量的一级缓存管道，分别对多个所述数据包进行一级缓存；对每一数据包中的图片数据进行预处理、组合，得到目标图片数据；从多个处理模块中选择最佳处理模块，对所述目标图片数据及其对应的算法类型进行二级缓存；所述最佳处理模块依次选择二级缓存中的算法类型，对所述算法类型对应的目标图片数据进行推理运算，得到运算结果；响应模块通过所述异步数据读取所述运算结果。

技术研发人员：尹科才,何欣,肖伟,董文杰
受保护的技术使用者：南京奥看信息科技有限公司
技术研发日：
技术公布日：2024/1/16