技术特征：
1.一种推理框架，其特征在于，所述推理框架包括插件定义模块和基础功能模块；其中，所述插件定义模块包括多个推理设备中每一所述推理设备对应的功能插件；所述功能插件用于将推理过程封装为内部插件接口；所述基础功能模块用于对每一所述推理设备对应的内部插件接口嵌套组合生成对应的外部插件接口；所述外部插件接口用于响应于基于目标推理设备的推理请求，调用所述目标推理设备对应的内部插件接口将待推理数据转换为业务数据。2.根据权利要求1所述的推理框架，其特征在于，所述内部插件接口包括内部设备接口，所述外部插件接口包括外部设备接口，所述功能插件包括用于的提供内部设备接口的设备插件，其中，所述基础功能模块对所述内部设备接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的设备管理请求的情况下，所述外部设备接口用于基于所述设备管理请求调用所述目标推理设备对应的内部设备接口，对所述目标推理设备进行管理。3.根据权利要求1或2所述的推理框架，其特征在于，所述内部设备接口包括设备绑定子接口、设备状态获取子接口和设备内存操作子接口；其中：所述设备绑定子接口用于获取推理设备的标识信息；所述设备状态获取子接口用于获取推理设备的设备状态；所述设备内存操作子接口用于操作设备内存。4.根据权利要求1至3任一项所述的推理框架，其特征在于，所述内部插件接口包括内部处理接口，所述外部插件接口包括外部处理接口，所述功能插件包括用于的提供内部处理接口的处理插件；其中，所述基础功能模块对多个推理设备的设备插件接口嵌套组合生成外部接口；在所述推理请求包括前处理请求的情况下，所述外部处理接口用于基于所述前处理请求调用所述目标推理设备对应的内部处理接口，将待推理数据转换为推理模型的输入数据；在所述推理请求包括后处理请求的情况下，所述外部处理接口用于基于所述后处理请求调用所述目标推理设备对应的内部处理接口，将推理模型的输出数据转换为业务数据。5.根据权利要求4所述的推理框架，其特征在于，所述内部设备接口包括前处理子接口和后处理子接口；所述前处理子接口用于将待推理数据转换为推理模型的输入数据；所述后处理子接口用于将所述推理模型的输出数据转换为业务数据。6.根据权利要求1至5任一项所述的推理框架，其特征在于，所述内部插件接口包括内部推理接口，所述外部插件接口包括外部推理接口，所述功能插件包括用于的提供内部推理接口的推理插件；其中，所述基础功能模块对所述内部推理接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的模型推理请求的情况下，所述外部推理接口用于基于所述模型推理请求调用所述目标推理设备对应的内部推理接口，基于推理模型将输入数据转换为输出数据。7.根据权利要求6所述的推理框架，其特征在于，所述内部推理接口包括至少一个推理模型对应的内部推理接口；所述外部推理接口用于基于针对所述目标推理设备的模型推理
请求调用所述目标推理设备对应的目标内部推理接口，基于目标推理模型将输入数据转换为输出数据；所述推理请求用于调用所述至少一个推理模型中的所述目标推理模型，所述目标推理接口用于管理所述目标推理模型的推理过程。8.根据权利要求6或7所述的推理框架，其特征在于，所述内部推理接口包括：解析模型子接口、模型配置子接口、模型推理子接口和获取结果子接口；其中，所述解析模型子接口，用于获取模型文件，并进行解析；所述模型配置子接口，用于对解析后的模型进行配置，得到配置后的模型；所述模型推理子接口，用于基于配置后的模型完成模型推理过程；所述获取结果子接口，用于获取模型推理过程的推理结果。9.根据权利要求6至8任一项所述的推理框架，其特征在于，所述基础功能模块用于提供至少一个业务函数；所述业务函数被调用的情况下执行以下至少之一：在所述业务函数被所述内部推理接口调用的情况下，将所述输入数据转换为所述输出数据；在所述业务函数被所述内部处理接口调用的情况下，将待推理数据转换为推理模型的输入数据；在所述业务函数被所述内部处理接口调用的情况下，将所述推理模型的输出数据转换为业务数据。10.根据权利要求4至9任一项所述的推理框架，其特征在于，所述基础功能模块用于提供每一所述推理设备对应的交换数据结构；所述推理请求用于将第一数据结构的待推理数据转换为第二数据结构的业务数据；所述内部处理接口被调用的情况下，还用于将所述第一数据结构的待推理数据转换为第三数据结构的待推理数据；所述内部处理接口被调用的情况下，还用于将第四数据结构的业务数据转换为所述第二数据结构的业务数据；所述第三数据结构和所述第四数据结构为所述目标推理设备支持的数据结构。11.根据权利要求6至10任一项所述的推理框架，其特征在于，所述基础功能模块用于提供每一所述推理模型对应的模型数据结构；所述内部推理接口被调用的情况下，还用于将所述第五数据结构的输入数据转换为第六数据结构的输入数据；所述内部推理接口用于基于所述目标推理模型将所述第六数据结构的输入数据转换为第七数据结构的输出数据；所述内部推理接口被调用的情况下，还用于将第七数据结构的输出数据转换为所述第八数据结构的业务数据。12.根据权利要求1至11任一项所述的推理框架，其特征在于，所述基础功能模块用于提供以下组件的至少之一：跨平台函数组件、插件管理组件和日志管理组件，其中：所述跨平台函数组件，用于提供多个系统函数中每一所述系统函数的函数库；所述函数库包括至少一个系统平台对应的所述系统函数；所述插件管理组件，用于对所述插件定义模块的插件进行生命周期管理；所述日志管理组件，用于对监测所述插件定义模块中插件的生命周期变化事件，并基于所述生命周期变化事件生成对应的日志。
13.一种推理方法，其特征在于，应用于推理框架，所述推理框架提供外部插件接口；所述方法包括：接收基于目标推理设备的推理请求；响应于所述推理请求，通过所述推理框架提供的外部插件接口，在所述推理框架提供的多个推理设备的内部插件接口中调用所述目标推理设备对应的内部插件接口将所述待推理数据转换为业务数据。14.根据权利要求13所述的推理方法，其特征在于，所述外部插件接口包括外部设备接口、外部处理接口和外部推理接口；所述通过所述推理框架提供的外部插件接口，在所述推理框架提供的多个推理设备的内部插件接口中调用所述目标推理设备对应的内部插件接口将所述待推理数据转换为业务数据，包括：基于所述推理框架提供的外部设备接口，调用所述推理框架中所述目标推理设备对应的内部设备接口，在所述目标推理设备中加载推理模型；基于所述推理框架提供的外部处理接口，调用所述推理框架中所述目标推理设备对应的内部处理接口，对所述待推理数据进行处理得到输入数据，并将所述输入数据输入所述推理模型；基于所述推理框架提供的外部推理接口，调用所述推理框架中所述目标推理设备对应的内部推理接口，利用所述推理模型将所述输入数据转换为输出数据；基于所述推理框架提供的外部处理接口，调用所述推理框架中所述目标推理设备对应的内部处理接口，将所述输出数据转换为所述业务数据；基于所述推理框架提供的外部设备接口，调用所述推理框架中所述目标推理设备对应的内部设备接口，在所述目标推理设备中释放推理模型。15.一种推理装置，其特征在于，所述装置包括：接收模块，用于接收基于目标推理设备的推理请求；推理模块，用于响应于所述推理请求，通过所述推理框架提供的外部插件接口，在所述推理框架提供的多个推理设备的内部插件接口中调用所述目标推理设备对应的内部插件接口将所述待推理数据转换为业务数据。16.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求13至14任一项所述方法中的步骤。17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求13至14任一项所述方法中的步骤。
技术总结
本公开实施例公开了一种推理框架、推理方法、装置、设备及存储介质，所述推理框架包括插件定义模块和基础功能模块；其中，所述插件定义模块包括多个推理设备中每一所述推理设备对应的功能插件；所述功能插件用于将推理过程封装为内部插件接口；所述基础功能模块用于对每一所述推理设备对应的内部插件接口嵌套组合生成对应的外部插件接口；所述外部插件接口用于响应于基于目标推理设备的推理请求，调用所述目标推理设备对应的内部插件接口将待推理数据转换为业务数据。理数据转换为业务数据。理数据转换为业务数据。
技术研发人员：张涛 高鹏 宁向东 王鹏 王森
受保护的技术使用者：北京市商汤科技开发有限公司
技术研发日：2022.05.18
技术公布日：2022/8/22