一种应用于ECMO的血栓识别方法及装置与流程

本发明涉及医疗器械技术领域，具体涉及一种应用于ecmo的血栓识别方法及装置。

背景技术：

血栓会使膜肺氧合效率降低，当血栓增加到一定程度时，需要更换新的膜肺，血栓的图像特点是：颜色比正常血液发白、发黄、发黑；总之有颜色上的差异；在血流的冲击作用下，位置会移动或摆动。在现有的ecmo系统中，医护人员通过观察膜肺和输血管中的血流情况和颜色，以此来判断是否出现血栓等不良状况。因为没有特殊设计的照明装置或专门的血栓传感器，能否及时发现血栓主要依靠医师的观察经验；而且为了避免强光影响患者休息，ecmo的使用场合常常光线比较昏暗，医护人员只能使用手电筒对膜肺进行照明，而对于便携式ecmo，由于收纳的需要，有可能将膜肺固定在某个比较狭小的空间中，使得观察膜肺时光线不好，都给医师的观察、判断带来很大不便。

技术实现要素：

本申请提供一种应用于ecmo的血栓识别方法及装置，为ecmo设置了照明装置并结合图形识别的手段，可在出现血栓时实现智能识别。

根据第一方面，一种实施例中提供一种应用于ecmo的血栓识别方法，通过在膜肺和输血管路周围设置摄像头进行图像识别，所述血栓识别方法包括：

获取图像步骤：定时获取摄像头所拍摄的图像；

纹理分析步骤：计算所述图像中各个像素点纹理粗糙度；

判断步骤：根据所述纹理粗糙度判断对应像素点是否为异物边界；若是异物边界，进一步识别异物类型，若异物边界为不规则边界，则判断发生血栓。

在一些实施例，所述计算所述图像中各个像素点纹理粗糙度包括：

对图像中每个像素点p(x,y)，取以其为中心的三种不同大小的相邻窗口区域，分别计算红、绿、蓝三种颜色的平均值，以p点为中心的三种窗口大小为：2k*2k，(k＝0,1,2)；

分别计算像素点p的相邻窗口区域红色最大差dr、绿色最大差dg和蓝色最大差db；

计算p点相邻图像的粗糙度cp＝α*dr+β*dg+γ*db；其中α、β、γ称为权重因子，α+β+γ＝1。

在一些实施例，α＝0.3，β＝0.6，γ＝0.1。

在一些实施例，在获取图像步骤和纹理分析步骤之间，还包括：

放射变换步骤：对摄像头所拍摄的图像进行仿射变换，将图像中具有复杂几何形状的光场转换为空间距离间隔均匀的光场。

在一些实施例，对于膜肺判断血栓时，设置至少3个摄像头。

根据第二方面，一种实施例中提供一种应用于ecmo的血栓识别装置，包括：套设于膜肺外侧的环形灯带、设置于膜肺周围的至少3个摄像头以及套设于输血管路上的血栓检验装置；所述血栓检验装置包括：具有u型槽的壳体和设置于u型槽上方的上盖，u型槽内用于设置输血管路；所述u型槽底部设置有摄像头，在壳体内，输血管路的两侧设置弧面镜，摄像头正对输血管路正下方直接获取输血管路下方图像，并经过弧面镜的反射获取输血管路上方和两侧的图像；所述上盖包括设置于上部的遮光板和两侧的透明板。

在一些实施例，所述壳体为遮光材料，壳体内壁设置有照明装置。

在一些实施例，膜肺设置3个摄像头时，两两摄像头之间呈120度。

根据第三方面，一种实施例中提供一种输血管路的血栓检验装置，具有u型槽的壳体和设置于u型槽上方的上盖，u型槽内用于设置输血管路；所述u型槽底部设置有摄像头，在壳体内，输血管路的两侧设置弧面镜，摄像头正对输血管路正下方直接获取输血管路下方图像，并经过弧面镜的反射获取输血管路上方和两侧的图像；所述上盖包括设置于上部的遮光板和两侧的透明板。

根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如第一方面所述的方法。

依据上述实施例，本申请分别针对血液管路和膜肺设置照明装置和摄像装置，通过人工智能算法判断血液管路和膜肺的血栓形成情况，实现了在出现血栓时实现智能识别，便于医师进行血栓观察、判断，及时采取相应措施。

附图说明

图1为一种实施例的膜肺周围设置照明装置和摄像头的效果图一；

图2为一种实施例的膜肺周围设置照明装置和摄像头的效果图二；

图3为一种实施例的输血管路血栓检验装置立体结构示意图；

图4为一种实施例的输血管路血栓检验装置内部结构示意图；

图5为一种实施例的应用于ecmo的血栓识别方法的流程示意图；

图6为k＝0时，像素点p(x,y)的相邻窗口区域示意图，其中，黑色方块为p点，灰色区域是各个相邻窗口；

图7为k＝1时，像素点p(x,y)的相邻窗口区域示意图，其中，黑色方块为p点，灰色区域是各个相邻窗口；

图8为k＝2时，像素点p(x,y)的相邻窗口区域示意图，其中，黑色方块为p点，灰色区域是各个相邻窗口；

图9为输血管截面图的三个扇形观察区示意图；

图10为摄像头拍摄的输血管图像仿射变换效果图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

参考图1-5，本申请提供一种应用于ecmo的血栓识别装置，包括：套设于膜肺100外侧的环形灯带10、设置于膜肺100周围的至少3个摄像头20以及套设于输血管路300上的血栓检验装置。具体地，环形灯带10发出光的颜色以白色为宜，光必须有红光的成分；绿色或蓝色波长的单色光源可能无法判断血栓；紫外光有可能破坏血液中的活性物质，不宜采用。由于膜肺外壳是一个光滑的筒状或盒状结构，会对照明光线产生镜面反射，摄像头的安装角度应避开镜面反射光直入镜头；环形灯带10的大小和安装位置也不应使得灯光散射角直射人眼。具体地，环形灯带10可以由多个单独的发光单元或发光阵列构成。

该血栓检验装置包括：具有u型槽301的壳体30和设置于u型槽301上方的上盖，u型槽301内用于设置输血管路300；该u型槽301底部设置有摄像头20，在壳体30内，输血管路300的两侧设置弧面镜33，摄像头20正对输血管路300正下方直接获取输血管路300下方图像，并通过弧面镜33的反射获取输血管路300上方和两侧的图像；该上盖包括设置于上部的遮光板32和两侧的透明板31。

在一些实施例，壳体30为遮光材料，壳体30内壁设置有照明装置(如led灯条)，使输血管路300受到均匀的光照，且光线不会直射摄像头形成明亮光斑。

在一些实施例，膜肺设置3个摄像头时，两两摄像头之间呈120度。这样可将输血管路300的截面分成三个大于或等于120度的扇形观察区：a区、b区和c区，abc三个区域的交界位置有一定的重叠区域，避免造成漏检。摄像头20正对a区，b区和c区分别经过弧面镜33的反射后图像被摄像头20获取。

相应地，本申请提供一种应用于ecmo的血栓识别方法，该方法通过在膜肺和输血管路周围设置摄像头进行图像识别，具体步骤包括：

获取图像步骤：定时获取摄像头所拍摄的图像，摄像头以预设间隔时间δ毫秒拍摄一副血管/膜肺观察面的图案；

放射变换步骤：对摄像头所拍摄的图像进行仿射变换，将图像中具有复杂几何形状的光场转换为空间距离间隔均匀的光场；在一些实施例，仿射变换时，采用现有的计算机图形学的标准算法；

纹理分析步骤：计算该图像中各个像素点纹理粗糙度；

判断步骤：根据纹理粗糙度判断对应像素点是否为异物边界；若是异物边界，进一步识别异物类型，若异物边界为不规则边界，则判断发生血栓。识别异物类型时，气泡会构成圆形，气柱会构成直线或弧线断面，而血栓则为不规则边界。

在具体实施例，计算图像中各个像素点纹理粗糙度包括：

(1)对图像中每个像素点p(x,y)，取以其为中心的三种不同大小的相邻窗口区域，分别计算红、绿、蓝三种颜色的平均值rk(x,y)、gk(x,y)和bk(x,y)。参考图6-8，以p点为中心的三种窗口大小为：2k*2k,(k＝0,1,2)。其中，

函数r(x,y)为图像在坐标(x,y)处的红色值；函数g(x,y)为图像在坐标(x,y)处的绿色值；函数b(x,y)为图像在坐标(x,y)处的蓝色值。

(2)遍历全部领域，找到像素点p的相邻窗口区域中红色窗口平均值最大值rmax和最小值rmin和绿色窗口平均值最大值gmax和最小值gmin以及蓝色窗口平均值最大值bmax和最小值bmin，算出红色最大差dr＝|rmax-rmin|和绿色最大差dg＝|gmax-gmin|以及蓝色最大差db＝|bmax-bmin|；邻域的数量为：(2k+3)²。即，k＝0时，共9个邻域；k＝1时，共25个邻域；k＝2时，共49个邻域。

(3)计算p点相邻图像的粗糙度cp＝α*dr+β*dg+γ*db；其中α、β、γ称为权重因子，α+β+γ＝1。三个权重因子根据实际测量结果可进行调整，会受到照明光颜色、强度、摄像头颜色偏差、灵敏度等因素的影响。一般情况下，取经验值：α＝0.3，β＝0.6，γ＝0.1。

在一些实施例，判断步骤不仅包括根据纹理粗糙度判断对应像素点是否为异物边界；还包括：识别异物的形状、大小、运动方向和速度。

对于识别某像素是否为异物边界

如果图像是纯粹的血液或气体，那么上述纹理检测的结果应为“图像均匀”，即粗糙度cp的值很小，在光照均匀的情况下应低于0.05。在照明条件为300流明的情况下，各类异物边界的粗糙度如下表1：

表1

需指出的是，刚形成的血栓通常是颜色略浅的丝絮状物。而从人体中带出的凝血块有可能呈现黑紫的颜色，本申请不对其做进一步鉴定，将其归类为血中异物。

根据上表1，可以直接识别出异物的类型。

对于识别异物的形状

血液中小气泡和异物最显著的区别在于：气泡呈现出完美的圆形或椭圆形，气柱呈现完美的左右对称弧形，而异物则呈现不规则形状。判断方法包括：

判断左右对称的方法

1)设异物边界点ei，其坐标表示为(xi,yi)的集合是e＝[e1、e2、e3....en]；异物的中心点坐标为(cx,cy)；其中，

2)计算e在x和y上的分布：

dx＝max(xi)-min(xi)，

dy＝max(yi)-min(yi)，

如果dx接近血液管路的直径，且dy小于某一阈值(需试验测定)则可认为边界呈径向分布；

3)取一个点ei，其坐标表示为(xi,yi),算出它相对于cx的对称位置mx(镜像点)，mx＝2cx-xi。

4)检查在坐标mx和yi的位置上是否存在一个边界点em属于e；考虑到计算误差，只要em距离mx、yi位置足够近即可；

5)如果e中的大多数元素(例如90％以上)的镜像点都落在e中，则认为该异物是一个左右对称的规则边界，即气柱与血的边界。

判断中心对称的方法

2)1)设异物边界点ei，其坐标表示为(xi,yi)的集合是e＝[e1、e2、e3....en]；异物的中心点坐标为(cx,cy)；其中，

2)取一个点ei，其坐标表示为(xi,yi)，算出它相对于cx、cy的对称位置mx和my(镜像点)；mx＝2cx-xi；my＝2cy-yi；

3)检查在坐标mx和my的位置上是否存在一个边界点em属于e；考虑到计算误差，只要em距离mx、my位置足够近即可；

4)如果e中的大多数元素(例如90％以上)的镜像点都落在e中，则认为该异物是一个中心对称的规则边界，即气泡。

而其它类型，可根据粗糙度的阈值，判断是血栓或血中异物。

对于识别异物的大小

对于气泡和气柱，可以比较准确的计算其大小；

对于不规则的血栓或异物，可以近似的估计其大小；

气泡和不规则物体的体积：取e集合中的max(xi)、min(xi)、max(xyi)和min(yi)；

dx＝max(xi)-min(xi)，

dy＝max(yi)-min(yi)，

则气泡体积、

气柱的体积：如果能观察到两个气血界面，则计算公式为：

气柱体积vo＝s*d，s表示血液管路的截面积，d表示两个气血界面之间的距离；

如果只能观察到一个气血界面，则无法计算气柱的大小。

对于识别异物的运动方向和速度

摄像头两帧的时间分别为t1和t2，它们之间的时间差为dt；

对两帧图像分别处理，算出t1时刻的cx1和cy1；以及t2时刻的cx2和cy2；

根据(cx2、cy2)相对于(cx1、cy1)的变化，可判断出运动方向；

运动速度为：

在具体实施例，对于输血管路判断血栓时，参考图9-10，摄像头通过反射获得b区和c区图像，经仿射变换后，将弧形图像展开成平面图像并调整尺寸后，得到与a区图像尺寸比例一致的图像。需要指出的是，输血管路本身是没有条纹的，这里为了说明光场的形状，在图像加上了条纹。

在具体实施例，对于膜肺判断血栓时，设置至少3个摄像头20。当设置3个摄像头20时，两两摄像头之间呈120度，这样每个摄像头20拍摄范围为一个120度的扇形区，可获取膜肺的完整图像，因获取的图像为正对视角直接拍摄，各摄像头获取的图形尺寸相同，进行仿射变换时，仅需将弧形图像展开成平面图像。

相应地，本申请提供还一种电子产品，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述的方法。

相应地，本申请提供还一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述的方法。本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。