体位动作识别方法及系统与流程

本发明属于图像识别，尤其涉及一种体位动作识别方法及系统。

背景技术：

1、胶囊内窥镜进入人体内后，通过调整人体体位可以使得胶囊内窥镜更容易到达目标区域，以便胶囊内窥镜采集所需图像，比如通过调整人体体位使得胶囊内窥镜通过胃幽门等，因此，判断人体体位动作是否标准尤为重要。

2、目前，主要是通过深度学习算法对图像进行识别获得人体体位动作分类，适用于具有明显特征和简单背景的场景，比如适用于站立人体以及处于简单背景环境中人体的体位动作识别，而在胶囊内窥镜使用场景下人体处于卧姿、家庭卧室的床上等存在被褥或其他遮挡物遮挡人体场景时，现有的深度学习识别人体体位动作的算法无法准确识别出人体的体位动作。

技术实现思路

1、本发明实施例的目的在于提供一种体位动作识别方法及系统，旨在解决现有深度学习算法在胶囊内窥镜使用场景下，无法准确识别人体处于卧姿以及人体受阻挡时的人体体位动作的问题。

2、为实现上述目的，本发明实施例提供如下技术方案：

3、本发明提实施例供一种体位动作识别方法，具体包括以下步骤：

4、获取包含人体姿势的待识别图像；

5、将所述待识别图像输入预先训练好的体位动作识别模型中，得到所述待识别图像中人体姿势的第一体位动作数据；

6、其中，所述体位动作识别模型包括骨干网络和头部网络，所述骨干网络包括多个阶段依次连接的、卷积核尺寸递增的卷积网络，所述头部网络基于所述骨干网络输出的显式特征编码和隐式特征编码识别体位动作。

7、作为本发明实施例技术方案的进一步限定，将所述待识别图像输入预先训练好的体位动作识别模型中，得到所述待识别图像中人体姿势的第一体位动作数据，具体包括以下步骤：

8、将所述待识别图像输入预先训练好的体位动作识别模型中，在所述骨干网络中对所述待识别图像进行多个阶段的、卷积核尺寸递增的卷积操作，得到显式特征编码和隐式特征编码；

9、在所述头部网络中基于所述显式特征编码和隐式特征编码识别所述待识别图像中人体姿势的第一体位动作数据。

10、作为本发明实施例技术方案的进一步限定，具体还包括以下步骤：

11、根据所述第一体位动作数据和预置的第二体位动作数据计算动作误差值，所述第二体位动作数据为标准体位动作的数据；

12、判断所述动作误差值是否小于预置的阈值；

13、若是，确定所述待识别图像中人体的体位动作合格；

14、若否，确定所述待识别图像中人体的体位动作不合格，生成提示信息。

15、作为本发明实施例技术方案的进一步限定，所述体位动作识别模型通过以下步骤训练：

16、获取训练图像；

17、构建体位动作识别模型，所述体位动作识别模型包括骨干网络和头部网络，所述骨干网络包括多个阶段依次连接的、卷积核尺寸递增的卷积网络，所述头部网络基于所述骨干网络输出的显式特征编码和隐式特征编码识别体位动作；

18、采用所述训练图像训练所述体位动作识别模型。

19、作为本发明实施例技术方案的进一步限定，所述构建体位动作识别模型，具体包括以下步骤：

20、构建多个依次连接的n个阶段的卷积网络作为骨干网络，第一阶段到第n阶段的卷积网络的卷积核尺寸递增，第i阶段的卷积网络包括卷积分支网络、x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络，第i阶段的卷积分支网络、x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络以第i-1阶段的卷积网络输出的特征编码作为输入，第i阶段的卷积分支网络、x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络输出的特征编码拼接后作为第i+1阶段的卷积网络的输入，其中i为自然数并且2≤i≤n；

21、构建头部网络，所述头部网络的输入层与所述骨干网络中的第n阶段的卷积网络的输出层连接。

22、作为本发明实施例技术方案的进一步限定，所述骨干网络包括4个阶段的卷积网络，其中，第一阶段的卷积网络的卷积核尺寸为4×4，第二阶段到第四阶段的卷积网络中卷积分支网络的卷积核尺寸分别为5×5、7×7、9×9。

23、作为本发明实施例技术方案的进一步限定，所述头部网络的目标函数如下：

24、y=fθ(x)★gθ(z)；

25、其中，fθ表示卷积网络的操作，θ是卷积网络的参数，x为卷积网络输出的显式特征编码，z表示预置的隐式特征编码，gθ表示从显式特征编码和隐式特征编码进行选择或组合，★表示相加或相乘。

26、作为本发明实施例技术方案的进一步限定，所述训练图像标注有第三体位动作数据，所述采用所述训练图像训练所述体位动作识别模型，包括：

27、随机提取训练图像输入体位动作识别模型中得到第四体位动作数据；

28、采用所述第三体位动作数据和所述第四体位动作数据计算损失率；

29、判断是否满足训练条件；

30、若是，对所述骨干网络中各个阶段的卷积网络进行重参数化操作，得到训练完成的体位动作识别模型；

31、若否，依据所述损失率对所述体位动作识别模型的参数进行调整，返回随机提取训练图像输入体位动作识别模型中得到第四体位动作数据的步骤。

32、作为本发明实施例技术方案的进一步限定，所述随机提取训练图像输入体位动作识别模型中得到第四体位动作数据，包括：

33、在所述骨干网络的第一阶段的卷积网络中对所述训练图像进行卷积操作，从所述第一阶段的卷积网络中输出特征图；

34、将第一阶段的卷积网络所输出特征图输入第二阶段的卷积网络中，以在第二阶段到第n阶段的卷积网络的卷积分支网络、x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络提取卷积特征、x方向的sobel特征、y方向的sobel特征以及laplace特征，并对卷积特征、x方向的sobel特征、y方向的sobel特征以及laplace特征融合，在第n阶段的卷积网络输出最终的特征图；

35、在所述头部网络中输入最终的特征图作为显式特征编码以及输入预置的隐式特征编码，识别所述训练图像中的第四体位动作数据。

36、作为本发明实施例技术方案的进一步限定，所述对所述骨干网络中各个阶段的卷积网络进行重参数化操作，得到训练完成的体位动作识别模型，包括：

37、将所述骨干网络中各个阶段的卷积网络中的卷积分支网络的参数、x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络的参数进行融合，得到融合卷积参数；

38、在各个阶段的卷积网络中删除x方向的sobel算子分支网络、y方向的sobel算子分支网络以及laplace算子分支网络，并采用所述融合卷积参数替换掉卷积分支网络的参数，得到训练完成的体位动作识别模型。

39、一种体位动作识别系统，具体包括以下模块：

40、待识别图像获取模块，用于获取包含人体姿势的待识别图像；

41、体位动作识别模块，用于将所述待识别图像输入预先训练好的体位动作识别模型中，得到所述待识别图像中人体姿势的第一体位动作数据；

42、其中，所述体位动作识别模型包括骨干网络和头部网络，所述骨干网络包括多个阶段依次连接的、卷积核尺寸递增的卷积网络，所述头部网络基于所述骨干网络输出的显式特征编码和隐式特征编码识别体位动作。

43、与现有技术相比，本发明的有益效果是：

44、本发明实施例用于对待识别图像识别体位动作的体位动作识别模型包括骨干网络和头部网络，由于骨干网络中多个阶段的卷积网络的卷积核尺寸递增，实现了在浅层阶段通过小尺寸卷积核提取图像中细粒度的语义特征，在深层阶段通过大尺寸卷积核提取图像中粗粒度的全局语义特征，适用于胶囊内窥镜检查人体处于卧姿时宽度大于高度的场景，既可以从图像中捕获人体处于卧姿时的全局语义特征，又可以提取细粒度的边缘和方向等特征，另外，头部网络引入隐式特征编码，通过隐式特征编码可以排除胶囊内窥镜检查环境中人体被被单遮挡、畸变等复杂环境的干扰，提高了体位动作识别模型对胶囊内窥镜场景下人体卧姿的体位动作识别的准确度，以通过识别到的高准确度的体位动作辅助胶囊内窥镜检查，提高检查效率和减轻医务人员的工作负担。

45、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。