CT重建图像的处理方法与流程

本发明涉及ct重建图像检测，尤其涉及一种ct重建图像的处理方法。

背景技术：

1、ct安检设备在安防安保系统中的作用至关重要，尤其是在机场、火车站、地铁站等人流密集的交通节点中，安检设备是确保旅客人身财产安全乃至国家、社会稳定的重要安全保障工具，ct安检设备经常用于例如违禁品等的目标物的识别中。

2、目前现有技术中通常将三维ct重建图像进行降维生成多个二维视图，再针对多个二维视图进行目标物的识别。然而，现有技术没有充分利用物体本身的三维信息，虽然能够在爆炸物、毒品等物质属性上具有较强可分性的违禁品识别上具有良好的性能，但对于具有较强的三维形状特征且物质组成和物理属性比较复杂的目标物的识别，表现出明显的局限性。比如：普通棍棒在多个视角下形状差异不大、物质属性简单、特征明显，十分利于分类；而刀只在正反视角面积较大、物质属性较为复杂(刀身、刀把材质往往不同)、在其他视角只有薄薄一层甚至只有几个像素点的厚度，这十分不利于目标检测中的分类。

3、因此，亟需一种新的对ct重建图像进行处理的技术方案。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种ct重建图像的处理方法，用以解决现有技术中ct重建图像识别不准确的问题。

2、本发明实施例提供了一种ct重建图像的处理方法，所述处理方法包括：

3、对ct重建图像进行第一预设视角的投影，得到第一预设视角对应的多个二维投影图像；

4、将多个二维投影图像依次输入至预先训练完成的目标框检测模型，得到每个二维投影图像对应的二维包围框；目标框检测模型为基于注意力机制的神经网络模型；

5、将多个二维投影图像对应的二维包围框按照第一预设视角反映射回ct重建图像中，得到ct重建图像中所包括的待识别目标，每个待识别目标对应唯一的三维包围框；

6、从ct重建图像中依次提取每个待识别目标的三维体素，并且对每个待识别目标的三维体素进行第二预设视角下的渲染，得到每个待识别目标的多个渲染图像；

7、依次将每个待识别目标的多个渲染图像输入至预先训练完成的目标类别识别模型，得到每个待识别目标对应的类别。

8、基于上述处理方法的进一步改进，所述目标框检测模型包括框特征提取层、框特征融合层和框预测层；

9、框特征提取层，用于接收每个二维投影图像，并基于注意力机制对每个二维投影图像不同尺度的特征图进行提取，并将提取得到的不同尺度的特征图输入至框特征融合层；

10、框特征融合层，用于将不同尺度的特征图进行融合，并将融合后的特征图输入至框预测层；

11、框预测层，用于根据融合后的特征图对每个二维投影图像进行预测，得到每个二维投影图像所包括的待识别目标的二维包围框。

12、基于上述处理方法的进一步改进，所述框特征提取层包括依次连接的第一卷积模块、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；

13、第一卷积模块，用于接收每个二维投影图像，并对每个二维投影图像进行一次卷积操作得到初始特征图输入至第一特征提取层；

14、第一特征提取层，用于对初始特征图进行一次卷积操作和残差卷积操作，得到第一特征图，并将第一特征图输入至第二特征提取层和框特征融合层；

15、第二特征提取层，用于对第一特征图进行一次卷积操作和残差卷积操作，得到第二特征图，并将第二特征图输入至第三特征提取层和框特征融合层；

16、第三特征提取层，用于对第二特征图进行一次卷积操作和残差卷积操作，得到第三特征图，并将第三特征图输入至第四特征提取层和框特征融合层；

17、第四特征提取层，用于对第三特征图依次进行一次卷积操作、残差卷积操作、空间通道注意力操作和融合操作，得到第四特征图，并将第四特征图输入至框特征融合层。

18、基于上述处理方法的进一步改进，第一特征提取层、第二特征提取层和第三特征提取层均包括依次连接的第二卷积模块和第一残差卷积模块；第四特征提取层包括依次连接的第二卷积模块、第一残差卷积模块、空间通道注意力模块和融合模块；

19、第二卷积模块，用于对输入的特征图进行一次卷积操作，并将卷积操作后的特征图输入至第一残差卷积模块；

20、第一残差卷积模块，用于对输入的特征图进行残差卷积操作，并将卷积操作后的特征图输出；

21、空间通道注意力模块，用于对输入的特征图进行空间通道注意力操作，并将空间通道注意力操作后的特征图输入至融合模块；

22、融合模块，用于对空间通道注意力操作后的特征图进行融合，得到第四特征图，并将第四特征图输入至框特征融合层。

23、基于上述处理方法的进一步改进，空间通道注意力模块包括依次连接的通道注意力模块和空间注意力模块；

24、通道注意力模块用于基于输入的特征图，得到第一注意力特征图，并且根据第一注意力特征图确定各个通道的权重，基于各个通道的权重和第一注意力特征图相乘得到第二注意力特征图；

25、空间注意力模块接收第二注意力特征图，并根据第二注意力特征图确定各个空间的权重，基于各个空间的权重和第二注意力特征图得到第三注意力特征图，第三注意力特征图作为空间通道注意力操作后的特征图输入至融合模块。

26、基于上述处理方法的进一步改进，框特征融合层包括由深到浅融合层和由浅到深融合层；由深到浅融合层包括依次连接的第一采样融合层、第二采样融合层和第三采样融合层；由浅到深融合层包括依次连接的第一卷积融合层、第二卷积融合层和第三卷积融合层；

27、第一采样融合层，用于接收第四特征图和第三特征图并进行融合，得到第一融合特征图；第二采样融合层，用于接收第一融合特征图和第二特征图并进行融合，得到第二融合特征图；第三采样融合层，用于接收第二融合特征图和第一特征图并进行融合，得到第三融合特征图；

28、第一卷积融合层，用于接收第二融合特征图和第三融合特征图并进行融合，得到第四融合特征图；第二卷积融合层，用于接收第四融合特征图和第一融合特征图并进行融合，得到第五融合特征图；第三卷积融合层，用于接收第五融合特征图和第四特征图并进行融合，得到第六融合特征图；

29、将第三融合特征图、第四融合特征图、第五融合特征图和第六融合特征图输入至框预测层。

30、基于上述处理方法的进一步改进，框预测层包括第一预测层、第二预测层、第三预测层和第四预测层，用于分别接收第三融合特征图、第四融合特征图、第五融合特征图和第六融合特征图，并根据各自的融合特征图得到第一预测结果、第二预测结果、第三预测结果和第四预测结果；

31、框预测层还包括平均输出层，平均输出层用于接收第一预测结果、第二预测结果、第三预测结果和第四预测结果，并确定目标框检测模型的预测结果。

32、基于上述处理方法的进一步改进，通过以下任意一种投影方法对ct重建图像进行第一预设视角的投影：

33、正交投影；

34、透视投影；

35、正射投影；

36、飞行投影；

37、非线性投影。

38、基于上述处理方法的进一步改进，所述从ct重建图像中依次提取每个待识别目标的三维体素，并且对每个待识别目标的三维体素进行第二预设视角下的渲染，包括：

39、基于每个待识别目标的三维包围框，确定每个待识别目标对应的矩阵掩模数组；

40、将每个待识别目标对应的矩阵掩模数组与ct重建图像对应的三维体素相乘，得到每个待识别目标的三维体素；

41、基于每个第二预设视角分别利用光线投射算法，对每个待识别目标的三维体素进行虚拟相机渲染，得到每个第二预设视角下的渲染图像。

42、基于上述处理方法的进一步改进，所述预先训练完成的目标类别识别模型通过以下任意一项网络训练完成：

43、多视角卷积神经网络mvcnn；

44、成组视角的卷积神经网络gvcnn；

45、多视角长短记忆网络mv-lstm；

46、多视角变形神经网络mvtransformer。

47、与现有技术相比，本发明至少可实现如下有益效果之一：

48、1、通过基于注意力机制的目标框检测模型获取ct重建图像中多个个二维投影图像对应的精准的二维包围框，同时通过目标类别识别模型对待识别目标进行类别识别，提升了对ct重建图像的识别精度；

49、2、通过在目标框检测模型中，基于注意力机制对每个二维投影图像不同尺度的特征图进行提取，并进行融合，得到不同尺度的融合特征图，结合框预测层进一步提高对ct重建图像中待识别目标的三维包围框的识别精度；

50、3、通过框特征提取层对二维投影图像获取从浅到深的四个特征图，在框特征融合层结合深到浅融合层和由浅到深融合层对特征图进行融合，得到丰富的特征信息，最后通过框预测层进一步提高对二维投影图像的二维包围框的识别精度；

51、4、通过对每个待识别目标的三维体素进行第二预设视角下的渲染，再根据得到的多个渲染图像利用目标类别识别模型，提高了对ct重建图像的待识别目标的类别识别精度。

52、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。