一种用于血管超声扫查的自主寻位方法、装置及机器人与流程

1.本公开涉及机械自动化技术领域，尤其涉及一种用于血管超声扫查的自主寻位方法、装置及机器人。


背景技术：

2.传统的超声扫描机器人需要手动将探头拖至起始位置才能完成自主扫描。
3.例如中国专利申请号cn202121704420.x公开一种移动底盘及超声扫描机器人，包括底盘架和多个轮柱单元，多个轮柱单元均匀间隔的分布在底盘架的底部；每个轮柱单元均包括脚柱和行走轮，脚柱固定安装在底盘架的底部，其内部中空且下端敞口；行走轮安装在脚柱内，其可上下移动并定位；行走轮可上移至脚柱与地面接触，或下移至脚柱与地面分离。但未实现扫描扫查前的自动寻位，未实现全流程的自动化。


技术实现要素：

4.本公开的目的在于提出一种用于血管超声扫查的自主寻位方法、装置及机器人，以解决上述技术问题之一。
5.为实现上述目的，本公开第一方面提供了一种用于血管超声扫查的自主寻位方法，包括：
6.获取超声图像数据；
7.根据获取的超声图像数据，提取血管区域点云；
8.计算所述血管区域点云中的每个点的法向量，得到法向量点云；
9.根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描。
10.为实现上述目的，本公开第二方面提供了一种用于血管超声扫查的自主寻位装置，包括：
11.设置在机器人本体上的机械臂、安装在机械臂末端的超声探头、设置在机器人本体上的工控机、安装在固定支架上并通过网口连接到工控机上的3d相机、通过视频采集卡与安装有扫描监控软件的工控机连接的超声诊断仪；
12.一个或多个处理器；
13.存储器，用于存储一个或多个程序；
14.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行上述的用于血管超声扫查的自主寻位方法。
15.为实现上述目的，本公开第三方面提供了一种机器人，包括：本体和上述的用于血管超声扫查的自主寻位装置。
16.由上可见，本公开提供的一种用于血管超声扫查的自主寻位方法，该方法采用计算所述血管区域点云中的每个点的法向量，得到法向量点云；根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描，实现了全流程的自动化；自动
将探头拖至起始位置，能完成自主扫描。
附图说明
17.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本公开实施例中的用于血管超声扫查的自主寻位方法流程图；
19.图2为本公开实施例中的用于血管超声扫查的自主寻位方法另一流程图；
20.图3为本公开实施例中的用于血管超声扫查的自主寻位方法另一流程图；
21.图4为本公开实施例中的用于血管超声扫查的自主寻位方法另一流程图；
22.图5为本公开实施例中的用于血管超声扫查的自主寻位装置。
23.附图标记：1-机器人本体；2-机械臂；3-超声探头；4-工控机；5-超声诊断仪。
具体实施方式
24.下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
25.如图1所示，本公开提供一种用于血管超声扫查的自主寻位方法，包括：
26.s101、获取超声图像数据；本公开实施例中血管可以是人体颈部的颈动脉，具体地，利用3d相机对人体颈部进行拍照。
27.s102、根据获取的超声图像数据，提取血管区域点云；
28.所述超声图像数据包括：对齐的彩色图数据和深度图数据；
29.如图2所示，所述根据获取的超声图像数据，提取所述血管区域点云包括：
30.s201、采用深度学习识别，从彩色图数据中分割出血管区域，得到区域掩膜；
31.s202、根据所述区域掩膜和所述深度图数据，以提取血管区域点云。
32.所述根据所述区域掩膜和所述深度图数据，以提取血管区域点云采取下述公式：
33.p＝{p
ij
|m(i，j)＞o，d(i，j)＞0}
[0034][0035]
其中f
x
，fy，c
x
，cy为3d相机的内参数，m(i，j)为血管区域p
ij
的掩膜数据，d(i，j)为血管区域p
ij
深度图数据。
[0036]
所述根据所述区域掩膜和所述深度图数据，以提取血管区域点云之后包括：
[0037]
根据所述血管区域点云，计算区域掩膜的形心(center
x
，centery)并转换到3d空间坐标系，得到起始点o(xc，yc，zc)。具体地，
[0038][0039][0040][0041][0042]
zc＝d(center
x
，center
x
)
[0043]
其中，center
x
，centery是非整数，d(center
x
，centery)通过在深度图上双线性插值得到；
[0044]
所述计算所述血管区域点云中的每个点的法向量，得到法向量点云包括：
[0045]
在点云中搜索起始点0的邻域点，计算所述起始点0处的法向量。
[0046]
所述计算所述血管区域点云中的每个点的法向量，得到法向量点云还包括：
[0047]
根据得到的法向量点云，得到血管的延伸方向。
[0048]
人体颈部的点云可近似为圆柱曲面，颈动脉的延伸方向近似为颈部轴向，可以通过下式计算颈动脉的延伸方向:
[0049][0050][0051]
其中是点p处的法向量，表示向量，为单位向量，即为所求的颈动脉的延伸方向，表示最小值，|| ||表示归一化，s.t.是约束条件的标号。
[0052]
s103、计算所述血管区域点云中的每个点的法向量，得到法向量点云；
[0053]
s104、根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描。
[0054]
如图3所示，所述根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描还包括：
[0055]
s301、采用深度学习(例如利用u-net网络实例分割算法)识别超声图像中的血管；
[0056]
s302、判断超声图像中的血管是否在超声图像视野预设位置；
[0057]
s303、若血管出现在超声图像视野预设位置(例如若颈动脉出现在超声图像视野中部)，则完成初始位置的寻位。
[0058]
为了应对超声探头在起始点无法扫描到颈动脉或者颈动脉不在超声视野中部的情形，需要规划路径来移动探头，如图4所示，所述根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描还包括：
[0059]
s401、以起始点o为规划路径的起点，计算前进方向
[0060][0061]
式中，正负号取决于颈动脉的延伸方向的朝向和待检测动脉的方位。若颈动脉的延伸方向指向头部向上，检测左动脉，则取正号，检测右动脉取负号；若颈动脉的延伸方向指向头部向下，则
[0062][0063]
相反。
[0064]
s402、设定前进步长d，根据前进方向和前进步长d，计算理想前进点o”；
[0065][0066]
其中，是点p处的法向量，是从p点到o’的向量，表示最大值。
[0067]
s403、根据理想前进点，计算颈部点云中与理想前进点最接近的点，作为实际前进点；
[0068]
s404、机械臂引导探头移动到实际前进点o”点，超声探头的轴向与实际前进点o”处法向量平行，超声探头的扫描切面的法向量与血管的延伸方向平行，识别超声图像中的血管(例如若颈动脉出现在超声图像视野中部)，结束，否则进行下一步。
[0069]
将实际前进点o”作为新的起始点，执行s401，规划下一个前进点。
[0070]
本公开提供的一种用于血管超声扫查的自主寻位方法，该方法采用计算所述血管区域点云中的每个点的法向量，得到法向量点云；根据得到的法向量点云，利用机械臂引导超声探头运动到起始点，超声探头开始进行扫描，实现了全流程的自动化；自动将探头拖至起始位置，能完成自主扫描。
[0071]
如图5所示，本公开提供一种用于血管超声扫查的自主寻位装置，包括：设置在机器人本体1上的机械臂2、安装在机械臂末端的超声探头3、设置在机器人本体上的工控机4且布局形式能够完整拍摄到人体颈部区域并显示在扫描监控软件界面上、安装在固定支架上并通过网口连接到工控机上的3d相机(图中未示出)、通过视频采集卡与安装有扫描监控软件的工控机连接的超声诊断仪5；
[0072]
一个或多个处理器；
[0073]
存储器，用于存储一个或多个程序；
[0074]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行上述的用于血管超声扫查的自主寻位方法。
[0075]
本公开提供一种用于血管超声扫查的自主寻位装置，在人体颈部扫查前，将超声探头贴合人体颈部，从而使扫描监控软件可实时获取超声诊断仪采集的颈动脉超声图像，在监控软件中观察到颈动脉。然后利用3d相机实现寻位过程的自主寻位。
[0076]
如图5所示，本公开提供了一种机器人，包括：本体和上述的用于血管超声扫查的自主寻位装置。
[0077]
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施
例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。