一种可扩展异构边缘计算架构的病理分析方法及装置与流程

文档序号:25543439发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种可扩展异构边缘计算架构的病理分析方法,其特征在于,包括:

主cpu获取病理切片的整体轮廓信息并进行子图划分;

主cpu进行子cpu资源和gpu资源的动态调度,分配子图的处理任务给调度的子cpu和gpu;

利用fpga的并行和流水特性完成子图图像数据的并行流水采集,并传输给分配的子cpu和gpu;

利用gpu或子cpu完成子图的指定ai预测推断任务;

利用子cpu完成子图的拼接存储任务;

主cpu完成所有子图处理结果的信息整合,将病理切片的切片全景图信息和指定ai预测推断任务执行结果存储到主cpu维护的文件列表以备读取。

2.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,所述主cpu获取病理切片的整体轮廓信息并进行子图划分包括:获取病理切片的整体轮廓信息,根据病理切片的整体轮廓信息得到进行子图划分的子图的行数rows和列数columns,从而将病理切片进行子图划分,得到任意第mn列的子图i(m,n),其中m取值范围为1~行数rows,n取值范围为1~columns。

3.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,所述主cpu进行子cpu资源和gpu资源的动态调度的步骤包括:

主cpu计算第一系数rt1,所述第一系数rt1为单个gpu对一张子图进行ai预测推断从输入到输出的完整处理过程的平均时间tgpu除以一张子图采集处理从输入到输出的完整处理过程的平均时间tcpu1得到的结果;

主cpu根据第一系数rt1执行子cpu资源和gpu资源的动态调度:

若满足rt1≤1,则为每一个执行子图的拼接存储任务的子cpu分配一个gpu执行子图的指定ai预测推断任务;

若满足1<rt1<2,则主cpu根据计算第二系数rt2,所述第二系数rt2为cpu对一张子图进行ai预测推断从输入到输出的完整处理过程的平均时间tcpu2除以一张子图采集处理从输入到输出的完整处理过程的平均时间tcpu1得到的结果;当满足rt2≤1时,为每一个执行子图的拼接存储任务的子cpu分配一个gpu和一个子cpu执行子图的指定ai预测推断任务,当满足rt2>1时,为每一个执行子图的拼接存储任务的子cpu分配两个gpu执行子图的指定ai预测推断任务;

若满足rt1≥2,则主cpu根据计算第二系数rt2,当满足rt2≤1时,为每一个执行子图的拼接存储任务的子cpu分配一个gpu和多个子cpu执行子图的指定ai预测推断任务,当满足rt2>1时,为每一个执行子图的拼接存储任务的子cpu分配两个gpu和一个或多个子cpu执行子图的指定ai预测推断任务;

根据子cpu资源和gpu资源的动态调度结果,主cpu从维护的子cpu负载调度集合cs中按照当前时刻t0使用率最低的原则选择所需的子cpu资源,从维护的gpu负载调度集合gs中按照当前时刻t0使用率最低的原则选择所需的子gpu资源。

4.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,所述利用fpga的并行和流水特性完成子图图像数据的并行流水采集,并传输给分配的子cpu和gpu包括:

主cpu将选择的子cpu资源中使用率最低的子cpu,记选择的使用率最低的子cpu为cpu1(t0),通过cpu1(t0)确定待进行聚焦的位置点并传输给fpga;

fpga控制扫描相机的运动电机运动到相对应的位置点对每一个聚焦点完成聚焦任务,并将聚焦结果返回给cpu1(t0);

cpu1(t0)根据所有返回得到的聚焦位置完成该病理切片的聚焦映射面的拟合,从而得到待扫描切片的每一张子图对应的位置将这些位置发送给fpga;

fpga根据每一张子图对应的位置,控制扫描相机的x、y、z轴运动到对应位置,完成子图的图像数据采集,并通过基于pcie传输协议将fpga映射为虚拟内存或现存空间,通过dma数据传输技术将采集得到的子图的图像数据传输给分配的子cpu和gpu。

5.根据权利要求2所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,利用gpu完成子图的指定ai预测推断任务的步骤包括:gpu首先执行预先训练好的卷积神经网络,卷积神经网络的输入为当前的子图i(m,n)、输出为子图i(m,n)对应的检测目标区域集合os(m,n),且函数表达式为:

os(m,n)={(xrect(m,n,k),yrect(m,n,k),wrect(m,n,k),hrect(m,n,k))},

上式中,(xrect(m,n,k),yrect(m,n,k))为第k个检测目标区域左上角的像素坐标,(wrect(m,n,k),hrect(m,n,k))为第k个检测目标区域的宽度和高度,然后将检测目标区域集合os(m,n)传输给对应的cpu,k=0,1,2,…,bb表示检测目标区域总数量。

6.根据权利要求5所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,利用子cpu完成指定ai预测推断任务的步骤包括:子cpu首先执行预先训练好的卷积神经网络,卷积神经网络的输入为当前的子图i(m,n)、输出为子图i(m,n)对应的检测目标区域集合os(m,n),且函数表达式为:

os(m,n)={(xrect(m,n,k),yrect(m,n,k),wrect(m,n,k),hrect(m,n,k)},

上式中,(xrect(m,n,k),yrect(m,n,k))为第k个检测目标区域左上角的像素坐标,(wrect(m,n,k),hrect(m,n,k))为第k个检测目标区域的宽度和高度,k=0,1,2,…,bb表示检测目标区域总数量。

7.根据权利要求6所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,所述利用子cpu完成子图的拼接存储任务包括:

子cpu根据下式确定子图i(m,n)左上角位置在病理切片中的绝对像素坐标位置;

posx(m,n)=n×img_width-∑n-1j=1wm,j

posy(m,n)=n×img_height-∑n-1j=1wi,n

上式中,posx(m,n)和posy(m,n)分别为子图i(m,n)左上角位置在病理切片中的绝对像素坐标位置,img_width表示病理切片的宽度,img_height表示病理切片的高度,wm,j表示病理切片的左右相邻两张子图的重叠像素值,wi,n表示病理切片的上下相邻两张子图的重叠像素值,i=1,2,…,rows-1,j=1,2,…,columns-1,rows为病理切片的子图行数,columns为病理切片的子图列数;

子cpu将收到的检测目标区域集合os(m,n)的检测目标区域左上角的像素坐标映射为病理切片的绝对像素坐标位置,得到应的矩形框坐标集合os_abs(m,n),且函数表达式为:

os_abs(m,n)={(xrect(m,n,k)+posx(m,n),yrect(m,n,k)+posy(m,n),wrect(m,n,k),hrect(m,n,k))},

上式中,posx(m,n)和posy(m,n)分别为子图i(m,n)左上角位置在病理切片中的绝对像素坐标位置,k为检测目标区域的序号,k=0,1,2,…,bb表示检测目标区域总数量;

子cpu将收到的所有子图i(m,n)进行拼接并合并重叠区域,并将拼接结果以及ai预测推断任务执行结果存放在该子cpu一一对应的外部驱动器上,并将拼接结果以及ai预测推断任务执行结果存放的文件索引发送到主cpu以通过主cpu提供外部访问服务。

8.根据权利要求5所述的可扩展异构边缘计算架构的病理分析方法,其特征在于,所述将病理切片的切片全景图信息和指定ai预测推断任务执行结果存储到主cpu维护的文件列表以备读取之后还包括主cpu响应外部访问服务的步骤:主cpu将收到的文件索引维护更新一个数据文件列表,当主cpu收到外部访问者的访问请求时将数据文件列表发送给外部访问者,且主cpu在收到外部访问者请求指定的文件索引时将访问请求转发给对应的子cpu,并通过该子cpu从其对应的外部驱动器上读取对应的拼接结果以及ai预测推断任务执行结果并返回给外部访问者。

9.一种用于应用权利要求1~8中任意一项所述可扩展异构边缘计算架构的病理分析方法的病理分析装置,其特征在于,包括扫描相机单元、fpga、gpu单元、子cpu单元、主cpu、预览相机、网络模块以及存储单元,所述扫描相机单元包括n路扫描相机,所述gpu单元包括k个gpu,所述子cpu单元包括m个子cpu,所述fpga通过pcie总线分别与扫描相机、gpu、子cpu以及主cpu相连,所述主cpu分别与预览相机、网络模块相连,所述存储单元包括m+1个外部存储器,其中m个外部存储器与子cpu一一对应连接,剩余的1个外部存储器和主cpu对应连接。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述可扩展异构边缘计算架构的病理分析方法的计算机程序。


技术总结
本发明公开了一种可扩展异构边缘计算架构的病理分析方法及装置,本发明包括进行子图划分;主CPU进行子CPU资源和GPU资源的动态调度;利用FPGA的并行和流水特性完成子图图像数据的并行流水采集,传输给分配的子CPU和GPU;利用GPU或子CPU完成子图的指定AI预测推断任务;利用子CPU完成子图的拼接存储任务;主CPU完成子图处理结果的信息整合,将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取。本发明能够协同多个CPU、GPU和FPGA等处理器分别发挥各自特长,可实现CPU、GPU和FPGA协同完成病理切片扫描和智能辅助诊断整体处理过程。

技术研发人员:韩方剑;余莉;黄少冰;鲁佳;苏文剑;徐传玲
受保护的技术使用者:宁波兰茜生物科技有限公司
技术研发日:2021.04.20
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1