胃黏膜柔软程度量化方法、装置及其相关设备与流程

本技术涉及辅助医疗，具体涉及一种胃黏膜柔软程度量化方法、装置及其相关设备。

背景技术：

1、上消化道内镜是检出胃腔病变的最直接方法之一。内镜医师操作内镜，通过内镜前端的高清摄像头返回的实时影像，识别和判断当前视野中胃黏膜是否存在异常。

2、本技术发明人发现内镜下胃黏膜柔软程度与其健康状况具有相关性，对疾病预测具有指示性。然而，现有技术无法准确和高效地对胃黏膜柔软程度进行量化。

3、因此，如何准确和高效地对胃黏膜柔软程度进行量化，是当前辅助医疗技术领域亟需解决的技术问题。

技术实现思路

1、本技术提供一种胃黏膜柔软程度量化方法、装置及其相关设备，旨在解决如何准确和高效地对胃黏膜柔软程度进行量化的技术问题。

2、一方面，本技术提供一种胃黏膜柔软程度量化方法，所述方法包括：

3、获取预设时间段内针对患者的胃部进行预先构建的三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集；

4、识别所述多个第一时序模拟图像集中沿第一目标视角针对所述胃部的第一目标粘膜处拍摄的第二时序模拟图像集，和沿第二目标视角针对所述胃部的第二目标粘膜处拍摄的第三时序模拟图像集，所述第一目标视角为侧视视角，所述第二目标视角为俯视视角；

5、基于所述第二时序模拟图像集，确定所述第一目标粘膜沿第一预设方向的高度变化速度、以及所述第一目标粘膜沿第二预设方向的横向移动速度；

6、基于所述第三时序模拟图像集，确定所述第二目标粘膜中目标区域的宽度变化速率、横向移动速度以及所述目标区域的亮度变化速率，所述目标区域为所述第三时序模拟图像转换为hsv颜色空间后对应的高亮区域；

7、基于所述高度变化速度、所述第一目标粘膜沿第二预设方向的横向移动速度、所述目标区域的宽度变化速率、横向移动速度以及所述亮度变化速率，对所述胃部的粘膜柔软程度进行量化。

8、在本技术一种可能的实现方式中，所述基于所述第三时序模拟图像集，确定所述第二目标粘膜中目标区域的宽度变化速率、横向移动速度以及所述目标区域的亮度变化速率，包括：

9、将所述第三时序模拟图像集中所有图像的rgb颜色空间转换为hsv颜色空间，得到第四时序模拟图像集；

10、从所述第四时序模拟图像集中选取两张时序模拟图像，得到第三目标时序模拟图像和所述第三目标时序模拟图像对应的第三时序时刻，以及第四目标时序模拟图像和所述第四目标时序模拟图像对应的第四时序时刻，其中，所述第三时序时刻与所述第一时序时刻相同，所述第四时序时刻与所述第二时序时刻相同；

11、基于预先训练的高亮区域目标检测模型，分别对所述第三目标时序模拟图像和所述第四目标时序模拟图像的h通道进行识别，得到所述第三目标时序模拟图像和所述第四目标时序模拟图像的高亮区域的坐标；

12、基于所述第三目标时序模拟图像和所述第四目标时序模拟图像的高亮区域的坐标，确定所述高亮区域的宽度变化速率和横向移动速度；

13、基于所述第三目标时序模拟图像和所述第四目标时序模拟图像的亮度区域的亮度平均值和非亮度区域的亮度平均值、以及所述第三时序时刻和所述第四时序时刻，确定所述高亮区域的亮度变化速率。

14、在本技术一种可能的实现方式中，所述基于所述第二时序模拟图像集，确定所述第一目标粘膜沿第一预设方向的高度变化速度，包括：

15、基于所述第二时序模拟图像集，确定所述第一目标粘膜的基准平面，所述基准平面为所述第一目标粘膜的平坦位置对应的平面；

16、从所述第二时序模拟图像集中选取两张时序模拟图像，得到第一目标时序模拟图像和所述第一目标时序模拟图像对应的第一时序时刻，以及第二目标时序模拟图像和所述第二目标时序模拟图像对应的第二时序时刻；

17、基于所述基准平面、所述第一目标时序模拟图像，确定所述第一目标粘膜在所述第一时序时刻隆起的第一高度数据；

18、基于所述基准平面、所述第二目标时序模拟图像，确定所述第一目标粘膜在所述第二时序时刻隆起的第二高度数据；

19、基于所述第一高度数据、所述第二高度数据、所述第一时序时刻以及所述第二时序时刻，确定所述第一目标粘膜沿第一预设方向的高度变化速度。

20、在本技术一种可能的实现方式中，所述基于所述第二时序模拟图像集，确定所述第一目标粘膜沿第二预设方向的横向移动速度，包括：

21、基于所述第一目标时序模拟图像和所述第二时序模拟图像，确定所述第一目标粘膜沿第二预设方向的横向移动距离；

22、基于所述横向移动距离、所述第一时序时刻以及所述第二时序时刻，确定所述第一目标粘膜沿第二预设方向的横向移动速度。

23、在本技术一种可能的实现方式中，所述基于所述高度变化速度、所述第一目标粘膜沿第二预设方向的横向移动速度、所述目标区域的宽度变化速率、横向移动速度以及所述亮度变化速率，对所述胃部的粘膜柔软程度进行量化，包括：

24、将所述高度变化速度、所述第一目标粘膜沿第二预设方向的横向移动速度、所述目标区域的宽度变化速率、横向移动速度以及所述亮度变化速率进行拟合，得到拟合参数；

25、基于所述拟合参数和预设的阈值，对所述胃部的粘膜柔软程度进行量化。

26、在本技术一种可能的实现方式中，所述获取预设时间段内针对患者的胃部进行预先构建的三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集，包括：

27、获取预设时间段内针对患者的胃部的初始内镜图像集；

28、基于预先训练的观察距离识别模型，对所述初始内镜图像集进行筛选，得到符合预设距离要求的第二内镜图像集；

29、基于所述第二内镜图像集，构建所述胃部的三维模型；

30、获取所述三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集。

31、在本技术一种可能的实现方式中，所述基于所述第二内镜图像集，构建所述胃部的三维模型，包括：

32、获取所述第二内镜图像集中各第二内镜图像的相似度；

33、基于所述各第二内镜图像的相似度和预设的相似度阈值，确定符合预设相似度要求的目标内镜图像；

34、基于所述目标内镜图像，构建所述胃部的三维模型。

35、另一方面，本技术提供一种胃黏膜柔软程度量化装置，所述装置包括：

36、第一获取单元，用于获取预设时间段内针对患者的胃部进行预先构建的三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集；

37、第一识别单元，用于识别所述多个第一时序模拟图像集中沿第一目标视角针对所述胃部的第一目标粘膜处拍摄的第二时序模拟图像集，和沿第二目标视角针对所述胃部的第二目标粘膜处拍摄的第三时序模拟图像集，所述第一目标视角为侧视视角，所述第二目标视角为俯视视角；

38、第一确定单元，用于基于所述第二时序模拟图像集，确定所述第一目标粘膜沿第一预设方向的高度变化速度、以及所述第一目标粘膜沿第二预设方向的横向移动速度；

39、第二确定单元，用于基于所述第三时序模拟图像集，确定所述第二目标粘膜中目标区域的宽度变化速率、横向移动速度以及所述目标区域的亮度变化速率，所述目标区域为所述第三时序模拟图像转换为hsv颜色空间后对应的高亮区域；

40、第一量化单元，用于基于所述高度变化速度、所述第一目标粘膜沿第二预设方向的横向移动速度、所述目标区域的宽度变化速率、横向移动速度以及所述亮度变化速率，对所述胃部的粘膜柔软程度进行量化。

41、在本技术一种可能的实现方式中，所述第二确定单元，具体用于：

42、将所述第三时序模拟图像集中所有图像的rgb颜色空间转换为hsv颜色空间，得到第四时序模拟图像集；

43、从所述第四时序模拟图像集中选取两张时序模拟图像，得到第三目标时序模拟图像和所述第三目标时序模拟图像对应的第三时序时刻，以及第四目标时序模拟图像和所述第四目标时序模拟图像对应的第四时序时刻，其中，所述第三时序时刻与所述第一时序时刻相同，所述第四时序时刻与所述第二时序时刻相同；

44、基于预先训练的高亮区域目标检测模型，分别对所述第三目标时序模拟图像和所述第四目标时序模拟图像的h通道进行识别，得到所述第三目标时序模拟图像和所述第四目标时序模拟图像的高亮区域的坐标；

45、基于所述第三目标时序模拟图像和所述第四目标时序模拟图像的高亮区域的坐标，确定所述高亮区域的宽度变化速率和横向移动速度；

46、基于所述第三目标时序模拟图像和所述第四目标时序模拟图像的亮度区域的亮度平均值和非亮度区域的亮度平均值、以及所述第三时序时刻和所述第四时序时刻，确定所述高亮区域的亮度变化速率。

47、在本技术一种可能的实现方式中，所述第一确定单元，具体用于：

48、基于所述第二时序模拟图像集，确定所述第一目标粘膜的基准平面，所述基准平面为所述第一目标粘膜的平坦位置对应的平面；

49、从所述第二时序模拟图像集中选取两张时序模拟图像，得到第一目标时序模拟图像和所述第一目标时序模拟图像对应的第一时序时刻，以及第二目标时序模拟图像和所述第二目标时序模拟图像对应的第二时序时刻；

50、基于所述基准平面、所述第一目标时序模拟图像，确定所述第一目标粘膜在所述第一时序时刻隆起的第一高度数据；

51、基于所述基准平面、所述第二目标时序模拟图像，确定所述第一目标粘膜在所述第二时序时刻隆起的第二高度数据；

52、基于所述第一高度数据、所述第二高度数据、所述第一时序时刻以及所述第二时序时刻，确定所述第一目标粘膜沿第一预设方向的高度变化速度。

53、在本技术一种可能的实现方式中，所述第一确定单元，还用于：

54、基于所述第一目标时序模拟图像和所述第二时序模拟图像，确定所述第一目标粘膜沿第二预设方向的横向移动距离；

55、基于所述横向移动距离、所述第一时序时刻以及所述第二时序时刻，确定所述第一目标粘膜沿第二预设方向的横向移动速度。

56、在本技术一种可能的实现方式中，所述第一量化单元，具体用于：

57、将所述高度变化速度、所述第一目标粘膜沿第二预设方向的横向移动速度、所述目标区域的宽度变化速率、横向移动速度以及所述亮度变化速率进行拟合，得到拟合参数；

58、基于所述拟合参数和预设的阈值，对所述胃部的粘膜柔软程度进行量化。

59、在本技术一种可能的实现方式中，所述第一获取单元，具体包括：

60、第二获取单元，用于获取预设时间段内针对患者的胃部的初始内镜图像集；

61、第一筛选单元，用于基于预先训练的观察距离识别模型，对所述初始内镜图像集进行筛选，得到符合预设距离要求的第二内镜图像集；

62、第一构建单元，用于基于所述第二内镜图像集，构建所述胃部的三维模型；

63、第三获取单元，用于获取所述三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集。

64、在本技术一种可能的实现方式中，所述第一构建单元，具体用于：

65、获取所述第二内镜图像集中各第二内镜图像的相似度；

66、基于所述各第二内镜图像的相似度和预设的相似度阈值，确定符合预设相似度要求的目标内镜图像；

67、基于所述目标内镜图像，构建所述胃部的三维模型。

68、另一方面，本技术还提供一种计算机设备，所述计算机设备包括：

69、一个或多个处理器；

70、存储器；以及

71、一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的胃黏膜柔软程度量化方法。

72、另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的胃黏膜柔软程度量化方法中的步骤。

73、本技术实施例通过获取预设时间段内针对患者的胃部进行预先构建的三维模型沿多个视角同时进行拍摄的多个第一时序模拟图像集；识别多个第一时序模拟图像集中沿第一目标视角针对胃部的第一目标粘膜处拍摄的第二时序模拟图像集，和沿第二目标视角针对胃部的第二目标粘膜处拍摄的第三时序模拟图像集，第一目标视角为侧视视角，第二目标视角为俯视视角；基于第二时序模拟图像集，确定第一目标粘膜沿第一预设方向的高度变化速度、以及第一目标粘膜沿垂直于第一预设方向的横向移动速度；基于第三时序模拟图像集，确定第二目标粘膜中目标区域的宽度变化速率、横向移动速度以及目标区域的亮度变化速率，目标区域为第三时序模拟图像转换为hsv颜色空间后对应的高亮区域；基于高度变化速度、第一目标粘膜沿垂直于第一预设方向的横向移动速度、目标区域的宽度变化速率、横向移动速度以及亮度变化速率，对胃部的粘膜柔软程度进行量化。实现了对胃部的粘膜柔软程度进行高效且准确的量化，内镜下辅助内镜医师判断胃黏膜健康状态，辅助疾病诊断。