用于创面评估与管理的方法和系统与流程

根据35U.S.C.§119(e)，本申请基于2013年12月3日递交的美国申请No.61/911,162和2014年4月23日递交的美国申请No.61/983,022的专利要求优先权，其中每一个的所有内容都通过引用并入本文。

背景技术：

包括静脉、糖尿病和褥疮的慢性和复杂创面、外科手术创面、造口术和其它复杂的创面，仅在美国就影响数百万患者。在美国，每年花费在治疗慢性创面的费用高达数十亿美元，其中上十亿美元的费用花费在创面护理产品上。由于人口老龄化和糖尿病与肥胖症的发病率不断上升，治疗慢性创面的费用逐年持续增长。治疗慢性创面的费用已成为个人和社会的一项重要财政负担。

虽然医疗技术的进步帮助为各种类型的创面带来了新的治疗方法，但对于创面及创面愈合进展的准确和客观评估仍有大量未满足的需求，其中包括创面的深度、体积、面积、周长测量和创面的分类。创面愈合进展的客观评估是确定治疗途径的有效性的基础，也是选择最佳治疗方案的关键。然而，在临床上，这样的测量通常是不准确、主观且不一致(用尺子、透明度追踪和深度的Q提示来手动地进行)的。由于缺乏标准和可靠性，这些测量结果通常难以应用于医疗决策作出的临床实践中。此外，对创面评估的不一致也导致远程管理或多学科创面护理协调难以实施。为了解决这一问题，已开发了使用结构光以及立体成像技术的多种创面测量工具。然而，这些系统需要使用专业/昂贵的设备，这样的设备难以使用、缺乏与病历管理系统的整合，并且准确评估创面的整体效率不高。因此，这些创面测量工具在即时(point-of-care)环境中并不实用。

在创面和诸多其他疾病管理领域(包括但不限于皮肤科、美容、化妆品、肿瘤科、眼科和耳鼻喉科)中另一个未被满足的需求是越来越需要一个用于管理可视化和其他多媒体信息的高效、安全和协作的系统。

本文所提供的“背景技术”的描述是为了概要介绍本公开文本的来龙去脉。当前点名的发明人在此背景介绍的叙述范围内的工作以及在递交时可能算不上现有技术的描述都不被明确地或暗示地承认其是针对本发明的现有技术。

附图说明

因为通过在参考以下详细说明的同时结合附图考虑更易于理解本公开实施例和其中所附许多优点，所以很容易得出对本公开实施例和其中所附许多优点的更完整评价，其中：

图1示出了基于一个实施例的系统示意图示例；

图2示出了基于一个实施例的另一个系统示意图示例；

图3示出了根据一个实施例的使用从成像传感器和结构传感器获得的信息在服务器处执行的处理的概要；

图4示出了使用2D图像信息来显示创面分割处理的流程图；

图5示出了基于一个实施例的创面示例，其中对应于创面的前景区域和背景区域已被指定；

图6示出了基于一个实施例的实施示例；

图7示出了流程图，显示从结构传感器数据和所获得的分割图像计算3D测量结果的处理；

图8示出了用成像传感器为结构传感器校准的一个示例；

图9示出了前景掩模应用到深度数据使得只获得该区域内的深度信息；

图10示出了对创面中组织进行分类的处理；

图11示出了手动与自动分割之间的比较

图12示出了基于一个实施例的系统接口的示例；以及

图13示出了基于一个实施例的示例计算系统。

具体实施方式

本公开描述了用于确定医疗损伤的特征的系统。该系统包括用来获得感兴趣区域的成像信息和拓扑信息的一个或多个成像传感器，以及电路，其被配置为确定感兴趣区域的成像信息内的损伤部分的边界，将成像信息与拓扑信息相关联，并且将成像信息内指定的损伤部分的边界应用到拓扑信息以指定掩模区域，和根据拓扑信息和成像信息确定掩模区域内的损伤部分的特征。

该系统还包括一个实施例，其中，电路被进一步配置为：从感兴趣区域的成像信息指定感兴趣区域的代表性背景部分，从感兴趣区域的成像信息指定感兴趣区域的代表性损伤部分，并根据指定的代表性背景和损伤部分确定感兴趣区域的成像信息内的损伤部分的边界。

该系统还包括一个实施例，其中，电路被进一步配置为根据用户输入或像素特性差异从感兴趣区域的成像信息指定感兴趣区域的代表性损伤部分。

系统还包括一个实施例，其中，电路被进一步配置为根据成像信息在掩模区域内对损伤部分进行分类。

系统还包括一个实施例，其中，电路被进一步配置为通过被进行以下配置来对掩模区域内的损伤部分进行分类：将损伤部分划分成拼贴片，计算每个拼贴片成像值的集中趋势的度量，并且使用由先前训练的分类器所生成的损伤类型信息对每一个拼贴片进行分类。

系统还包括一个实施例，其中，损伤类型信息包括健康、腐肉和焦痂组织。

系统还包括一个实施例，其中，先前训练的支持向量机使用已被进行以下配置的电路生成损伤类型信息：针对一组带有注释的图像，将每个图像划分成拼贴片，计算每个拼贴片成像值的集中趋势的度量，根据损伤类型指定每个拼贴片，并且使用独立的测试集应用交叉验证。

系统还包括一个实施例，其中，掩模区域内的损伤部分的特征包括损伤的深度、宽度和长度。

系统还包括一个实施例，其中，掩模区域内的损伤部分的特征包括损伤的周长、面积和体积。

系统还包括一个实施例，其中，电路被配置为利用自动图像分割算法来确定感兴趣区域的成像信息内的损伤部分的边界。

系统还包括一个实施例，其中，电路被配置为通过检测感兴趣区域的代表性损伤部分中的轮廓来确定感兴趣区域的成像信息内的损伤部分的边界。

系统还包括一个实施例，其中，电路被配置为通过检测感兴趣区域的代表性损伤部分中的轮廓和迭代所有轮廓来确定感兴趣区域的成像信息内的损伤部分的边界。

系统还包括一个实施例，其中，医疗损伤是创面。

还描述了一种用于确定医疗损伤的特征的设备的一个实施例。该设备包括电路，被配置为：确定在感兴趣区域的成像信息内的损伤部分的边界，将由一个或多个成像传感器得到的成像信息与拓扑信息相关联，并且将成像信息内指定的损伤部分的边界应用到拓扑信息中以指定掩模区域，和根据拓扑信息和成像信息确定掩模区域内的损伤部分的特征。

该设备还包括一个实施例，其中，电路被配置为从感兴趣区域的成像信息指定一个感兴趣区域的代表性背景部分，从感兴趣区域的成像信息指定一个感兴趣区域的代表性损伤部分，并且根据指定的代表性背景和损伤部分确定感兴趣区域的成像信息内损伤部分的边界。

该设备还包括一个实施例，其中，电路被配置为根据用户输入或像素特性差异，从感兴趣区域的成像信息指定一个感兴趣区域的代表性损伤部分。

该设备还包括一个实施例，其中，电路被配置为根据成像信息对掩模区域内的损伤部分进行分类。

该设备还包括一个实施例，其中，电路被配置为通过被进行以下配置来对掩模区域内的损伤部分进行分类：将损伤部分分成拼贴片，计算每个拼贴片成像值的集中趋势度量，并且使用由先前训练的支持向量机生成的损伤类型信息对每个拼贴片进行分类。

该设备还包括一个实施例，其中，损伤类型信息包括健康、腐肉和焦痂组织。

该设备还包括一个实施例，其中，先前训练的支持向量机使用已被进行以下配置的电路生成损伤类型信息：针对一组带有注释的图像，将每个图像划分成拼贴片，计算每个拼贴片成像值的集中趋势的度量，根据损伤类型指定每个拼贴片，并且使用独立的测试集应用交叉验证。

该设备还包一个实施例，其中，掩模区域内的损伤部分的特征包括损伤的深度、宽度和长度。

该设备还包括一个实施例，其中，掩模区域内的损伤部分的特征包括损伤的周长、面积和体积。

该设备还包括一个实施例，其中，电路被配置为通过利用抓取切割算法确定感兴趣区域的成像信息内的损伤部分的边界。

该设备还包括一个实施例，其中，电路被配置为通过检测感兴趣区域的代表性损伤部分的轮廓确定在感兴趣区域的成像信息内的损伤部分的边界。

该设备还包括一个实施例，其中，电路被配置为通过检测感兴趣区域的代表性损伤部的轮廓和迭代所有轮廓来确定感兴趣区域的成像信息内损伤部分的边界。

该设备还包括一个实施例，其中，医疗损伤是创面。

还描述了一种用于确定医疗损伤的特征的方法的一个实施例。该方法包括：利用处理电路确定感兴趣区域的成像信息内的损伤部分的边界，利用处理电路将由一个或多个成像传感器获得的成像信息和拓扑信息相关联，利用处理电路将成像信息内指定的损伤部分的边界应用到拓扑信息中以指定掩模区域，以及利用处理电路，根据拓扑信息和成像信息确定掩模区域内损伤部分特征的步骤。

该方法还包括一个实施例，包括以下步骤：从感兴趣区域的成像信息指定感兴趣区域的一个代表性背景部分，从感兴趣区域的成像信息指定感兴趣区域的一个代表性损伤部分，以及根据指定的代表性背景和损伤部分确定感兴趣区域的成像信息内的损伤部分边界。

该方法还包括一个实施例，包括以下步骤：根据用户输入或像素特性差异，从感兴趣区域的成像信息指定一个感兴趣区域的代表性损伤部分。

该方法还包括一个实施例，包括根据成像信息对掩模区域内损伤部分进行分类的步骤。

该方法还包括一个实施例，包括以下步骤：通过将损伤部分分成拼贴片，计算每个拼贴片成像值的集中趋势度量，以及使用由先前培训的支持向量机生成的损伤类型信息对每个拼贴片进行分类，来进一步对掩模区域内损伤部分进行分类。

该方法还包括一个实施例，其中，损伤类型信息包括健康、腐肉和焦痂组织。

该方法还包括一个实施例，其中，先前训练的支持向量机使用已被进行以下配置的电路生成损伤类型信息：针对一组带有注释的图像，将每个图像划分成拼贴片，计算每个拼贴片成像值的集中趋势的度量，根据损伤类型指定每个拼贴片，并且使用独立的测试集应用交叉验证。

该方法还包括一个实施例，其中，掩模区域内损伤部分特征包括损伤的深度、宽度和长度。

该方法还包括一个实施例，其中，掩模区域内损伤部分特征包括损伤的周长、面积和体积。

该方法还包括一个实施例，其中，包括通过利用抓取分割算法确定感兴趣区域的成像信息内损伤部分边界的步骤。

该方法还包括一个实施例，其中，包括通过检测感兴趣区域代表性损伤部分的轮廓来确定感兴趣区域的成像信息内损伤部分边界的步骤。

该方法还包括一个实施例，其中，包括通过检测感兴趣区域代表性损伤部分的轮廓和迭代所有轮廓来确定感兴趣区域的成像信息内损伤部分边界的步骤。

该方法还包括一个实施例，其中，医疗损伤是创面。

现在参照的附图，其中相同的附图标记可指定几个视图内完全相同或对应的零部件，图1示出了用于慢性和复杂创面(例如但不限于褥疮、糖尿病溃疡、动脉供血不足溃疡、静脉淤滞性溃疡和烧伤)的体积评估的系统。慢性创面往往需要不断的监测和关注。除了可以通过传统的单2D照相机来获得可视信息外，三维表面数据具有特别的临床意义。因此，使用移动设备、具有结构化传感器能力的专用相机和云/网络基础设施来捕获、分析和传输临床数据和图像，可以提供相对于已有技术的明显改善。本实施例结合上述要素，以提供完整的平台，以为了预防和治疗创面的目的来捕获、评估、记录和交流临床信息。

图1为基于一个实施例的系统图。在图1中，包括移动设备1，该移动设备具有附接/连接到其上的2D成像传感器2和结构性传感器3。本实施例不限于移动设备1，但也可以是能够在传感器2和3以及网络20之间传输信息的任何计算设备。移动设备1经由网络连接到服务器10。服务器10还连接到门户(portal)11和信息学部(informatics)12。

移动设备1可以是具有处理能力和经由成像传感器2的嵌入2D拍照功能的蜂窝/无线使能的便携式设备。移动设备1可以包括通过触摸屏、触笔、鼠标、键盘或其他输入手段的用户互动。移动设备1还可以通过与结构传感器3连接而具有(3D)结构感应功能，该结构传感器3经由输入/输出口(例如USES端口)或其他连接方法(如经由蓝牙或近场通信(“NFC”))连接到移动设备1。该移动设备可以是苹果电脑公司生产的Ipad^TM或三星公司生产的Galaxy Tab^TM或任何其他适当的有输入/输出能力的移动或平板设备。

成像传感器2可以是嵌入或包括在移动设备1内的数字CCD传感器，比如苹果公司生产的iSight camera^TM产品。成像传感器2可以具有任何适当的分辨率(如640x480分辨率)和任何适当的像素数(如8百万像素)。然而，使用2D照相机对创面做出测量的挑战是缺乏缩放比例信息和失真校正。在实践中，摄影师往往在要拍摄照片的同一场景中放置参考物体(直尺或已知尺寸的物体，比如一个便士)，所以测量结果可以随后推导出。然而，这种方法需要相机垂直于测量平面，并且是繁琐和不准确的。然而，已开发出解决这个问题的一些技术，其中包括除了成像传感器2外还包括和使用结构传感器3的实施例，，以及不配备结构传感器3并且利用屏幕向导与来自成像传感器2的信息一起提供缩放比例信息和失真校正的实施例。

结构传感器3可以是3D成像传感器，比如由Occipital公司开发的Occipital结构传感器^TM。由于成像传感器2和结构传感器3的空间关系已知，所以从成像传感器2拍摄的2D图像可以被映射到由结构传感器3获取的3D结构数据。因此，当获得一个创面信息时，传感器2和结构传感器3二者来得到图像。在一个替代实施例中，可以只从结构传感器3或只从成像传感器2来获得成像信息。

在没有任何其他专门设备或不需要任何复杂处理的条件下，结构传感器3使得使用移动设备1进行准确的3D测量成为可能。使用支架可以将结构传感器3安装到移动设备1上。除了使用Occipital结构传感器^TM来实现之外，结构传感器3还可以通过3D立体照相机实现。或者，结构传感器3可以是可以与现有移动设备串联使用，使得能够进行立体图像捕获的装置，可以与现有照相机一起使用来产生结构光的装置(比如由J.Ryan Kruse在“three-dimensional scanner for hand-held phones”中教导的，US20I20281087A1)、小型激光测距仪或可以与移动设备1串联使用来获取创面部位的三维信息的任何可能装置。

可以使用例如支架将结构传感器3安装到移动设备1上。或者，结构传感器3可以是在移动设备1外部并且不连接到移动设备1。

当使用成像传感器2和结构传感器3获得图像信息和3D信息时，可以提供指导取得图像的用户拍摄最佳可能画面的屏幕向导。当用户试图拍摄照片时，可以显示屏幕向导，并将提醒用户关于设备是否处于捕获图像的最佳位置。此外，除了有关照明和倾斜信息外，向导可以指导用户例如更多地向上、向下、向左或向右等信息。

除了通过成像传感器2和结构传感器3得到的2D可视化信息和3D测量结果外，其他生理信息也可以是临床诊断的重要部分。这种其他生理信息可以使用其他装置与移动设备1一起测量。例如，近红外热成像可以用于检测指示感染的发热；高光谱成像技术可以适于移动平台，并用于测量组织灌流和坏死；传感器可用于检测和记录气味；以及其它化学传感器或细菌检测器可与当前移动平台串联使用。这些附加传感器可以被包括在与结构传感器3相同的附件配备中，或可以做作为不同结构实现。这些附加传感器也可以作为经由有线或无线通信连接到移动设备1的外部设备实现。

服务器10可以在医生办公室内或在医院中局部实施，或可以经由实施如Amazon^TMAWS的云服务的服务器在云中实施。处理私人医疗信息的任何服务器都可以作为一个安全的HIPAA兼容服务器实施。HIPAA兼容服务器是符合1996年的健康保险流通与责任法案(The Health Insurance Portability and Accountability Act，HIPAA；Pub.L.104-191,110Stat.1936,1996年8月21日颁布)的服务器。该服务器可以包括数据库或连接到在其中存储关于创面信息的数据库。服务器10可以执行处理，以分析由移动设备1获得的信息。该处理将在下面进行详细说明。

从业者门户11被连接到服务器10，并且被设计为向从业者提供有关患者创面的信息。可以将创面信息与从业者现有的患者电子病历结合和集成起来。

信息学部12为访问数据库中的匿名临床数据提供了一种途径，以支持临床研究和卫生信息学，来促进创面护理。

图2示出了基于一个实施例的说明系统的流程的图。在这个过程中，通过移动设备1捕获患者的图像，从而生成图像信息。该信息可以包括来自成像传感器2和结构传感器3或如上述讨论的其他传感器的信息。

使用移动设备1以及相关的成像传感器2和结构传感器3的功能，通过移动设备1捕获创面的2D和3D信息。如下所示的表1提供了由结构传感器3获得3D测量值的例子。

宽度(cm)

长度(cm)

周长(cm)

面积(cm^2)

深度(最深处，cm)

体积(cm^3)

分割：肉芽、腐肉、坏死

百分比(％)

面积(cm^2)

测量日期

表1

从业者5经由移动设备输入信息，以扩充从患者4得到的图像信息。在一个替代实施例中，从业者可以经由与捕获成像信息的移动设备1不同的界面输入信息。

表2显示由从业者处获得的相关临床参数的示例。

表2

将表1和表2中找到的信息从移动设备1(或其他设备)转移至服务器10，在服务器10处与先前生成的创面参数一起存储在数据库中。然后对转移的信息进行图像分析。该图像分析可以在服务器10中执行，或者在一个替代实施例中，图像分析也可以在移动设备1上本地进行。

图3示出了使用从成像传感器2和结构传感器3得到的信息在服务器处进行处理的概述。特别是使用2D图像信息进行创面分割以得到创面边界信息，将结果与计算的3D网格信息相结合。因此，2D图像中分割的创面边界可以被映射到3D空间，从3D结构数据中可以计算3D测量结果。服务器10并不局限于使用来自成像传感器2的成像数据或来自结构传感器3的3D数据进行处理。服务器10还可以使用保存的图像或远程地获得和转发到服务器10的图像进行处理。如上所述，图像处理也可以在移动设备1上进行，并且在这种情况下，可以通过使用内置的摄像头、从互联网(专用服务器)上下载图像，或通过如USB接口使用USB闪存驱动器的输入/输出接口(如可行)进行图像采集。

图4示出了流程图，其示出了利用2D图像信息进行创面分割处理。采用半自动算法进行图像分割。图像的处理可以包括在图像分割处理中用户或从业者的互动。或者，该处理可以在没有任何用户互动的条件下进行，使得在图4中所描述的任何用户输入将用自动预测或输入替代。

在步骤S100中，在服务器10或移动设备1处获得2D图像信息。在步骤S101中，将得到的图像进行缩放。由于计算时间取决于图像大小，为了确保“实时”(动态(on-the-fly))分割，图像被缩小。在步骤S102中，所获得的图像被裁剪，并且裁剪后的区域被保存。具体地，为了能够更近地看到创面，系统变焦(如x2)到图像里，以便聚焦到图像中心中的预定区域。这假定图像将创面放在大约图像中心的位置。图像的不可见部分限定了裁剪区域。或者，例如，当创面不在图像的中心时，在裁剪处理中，系统可包括创面检测步骤以对于环境检测创面的位置。在步骤S103中，用定义感兴趣区域(ROI)的矩形对抓取分割算法(grab cut algorithm)进行初始化。在从边界偏移20像素处定义ROI，或者，ROI可以被定义为任何数量的不同形状或创面位置，或从边界偏移任何像素数。

在步骤S104中，向用户展示获取的图像和分割方向。具体地，向用户展示经裁剪和缩放的图像。用户首先使用他/或她的手指或手写笔在触摸屏上、用鼠标或触摸板指出物体的部分和背景的部分，或者反之亦然。因此，创面(前景区)和背景由用户交互来识别。图5示出了其中对应创面的前景区51和背景区50已被用户指定的示例性创面。如图5中所示，区域53已被指定为背景区，以确保该区域不被检测作为创面的一部分。然而，在一个替代实施例中，系统基于距离图片中心的距离和基于图像中存在其他创面和/或创面之间的相对尺寸，将该区域从主要创面区分出来。正如前面所指出的，图像的前景和背景部分的检测可以在服务器10或移动设备1处自动进行。鉴于创面的形状、颜色、位置、患者体位和图像中的其他物体(毛毯、手等)的多样性，创面的检测是一项艰巨的任务，需要像能够用边界检测来权衡创面的同质化的抓取分割算法的智能算法或学习将像素区域分类为创面或非创面的机器学习方法。这两种方法都可以被调整为在没有用户互动的条件下自动工作，以提供一个初始结果。分割创面的内在困难通常要求分割处理利用可以由用户实施来校正分割不足和/或过度分割或由另一种算法实施的后期处理。

此处的描述了进行自动创面图像分割的两种示例性算法。也可以使用其他算法。第一个示例性算法是基于向用户展示的创面和在图像中心的矩形重叠区的抓取分割算法。要求用户将创面对齐在矩形内并取得图像。矩形之外的一切都被视为背景，矩形之内的一切有可能被分配为背景或前景。在抓取分割算法初始化后，将自动计算初始结果，并向用户显示。

第二个示例性途径是基于机器学习的，这需要系统从几百个图像中学习作为背景的皮肤、手或其他物体以及作为前景的肉芽、腐肉的焦痂组织等。在训练机器学习算法后，将新图像分成数个拼贴片，并分类为背景或前景。

两种示例性方法还可以给予用户校正最终误差和事后调整分割的能力。

在分别对物体(前景)和背景二者分别做出定义之后或者响应于该定义，自动开始进一步图像处理。或者，在用户给出指定完成的指示后，执行进一步图像处理。

进一步图像处理在步骤S105中开始，在该步骤中，得到在前景定义内的中心像素位置。抓取分割算法可以将几个不连接的面块(patch)作为创面。当用户将一个区域定义为创面时，这表明用户的意图是将该区域分割为创面，从而使用该区域之内的一个像素作为前景。然后，系统可以迭代创面面块，并丢弃不包含前景像素的面块。第S107步后，迭代开始，这取决于是否已发现一个以上的轮廓。

在步骤S106中，对于前景像素过滤输出掩模。在每次迭代后，抓取分割算法输出定义背景为0、前景为1、或者背景为2、或者前景为3的掩模。该掩模只针对前景像素过滤。所有其他分配(0,2,3)用0代替。结果是包含针对前景像素的1和针对背景像素的0的二进制掩模。

在步骤S107中，检测前景掩模中的轮廓，确定在前景掩模中是否有一个以上的轮廓。当发现一个以上的轮廓时，在步骤S109中，系统迭代所有的轮廓，并检测每个轮廓是否包含前景像素。如上所述，一次分割迭代的结果可能是图像上的几个前景面块。在步骤S107中，二进制掩模被用于检测这些面块的轮廓。在步骤S109中，确定前景像素是否在轮廓之一的内部，如果是，则该轮廓被定义为感兴趣的创面，否则如果前景像素不在该轮廓之内，则该区域被确定为不是创面。

对于不包含前景像素的每个轮廓，该轮廓在步骤S111中都被填充背景值。为了确保只有一个轮廓进入步骤S112，系统以修改的二进制掩模再次检测轮廓，并通过再次迭代这些轮廓来解决任何额外的轮廓。在只有一个轮廓被留下的情况下，流程进入步骤S112。

在步骤S112中，执行抓取分割算法的下一次迭代。此处理生成使用突出的多边形叠加(prominent polygon overlay)来划定物体边界的初始分割。

在步骤S113中，判断用户对结果是否满意。如果不满意，则流程返回步骤S104，从而用户可以通过使用对象或背景或这二者的附加指示来细化分割，直到满意为止。

在步骤S114中，使用保存的被裁剪区域，使生成图像不被裁剪。生成图像作为经分割的图像输出。

这种半自动分割算法可以使用抓取分割算法或诸如图割算法(graph cut algorithm)的其他分割算法来实施，抓取分割算法由Carsten Rother,Vladimir Kolmogorov,和Andrew Blake在2004年在以下文献中描述，通过引用将其结合在这里："GrabCut"：interactive foreground extraction using iterated graph cuts，在ACM SIGGRAPH2004论文(SIGGRAPH'04)中，Joe Marks(Ed).ACM,New York,NY,USA,309-314.DO1＝10.1145/1186562.1015720。在这个处理中，用户在触摸屏上使用一个简单的手指滑动，指定创面和非创面区的种子区。分割结果被实时地显示，用户还可以具有如果需要的话微调分割的灵活性。该算法需要最小的监督，但提供了一个非常快速的性能。

使用选择的被用于验证的60个创面图像，得到图像分割有效性的示例性证据。5位医生被要求在运行Matlab程序的视窗平板上使用手写笔来跟踪创面边界。使用标准化重叠得分，将结果与本创面边界分割处理相比较。如图6所示，分割算法的当前实施显示处与专家手动分割有很好的重叠(重叠得分90％左右)。该算法也将任务时间从40秒左右缩短到<4秒。

图7示出了表示从结构传感器3数据和从如图4所示的过程得到的分割图像计算3D测量结果的处理的流程图。结构传感器3数据是提供有关医疗损伤(创面)的信息的拓扑信息。具体地，一旦创面边界被分割成2D彩色图像，则分割图像可以被映射到3D空间，从而使得能够提取三维创面模型。如宽度和长度的尺寸可以通过将主成分分析(Principal Component Analysis，PCA)应用到点云来进行计算。或者，可以找到围绕创面的最小面积的旋转矩形。矩形的宽度和长度分别定义创面的范围，即宽度和长度。周长可以通过将划定创面边界的线段相加来计算。对于面积、体积和深度，首先利用抛物面拟合来创建基准面以闭合该三维创面模型。该基准面遵循周边身体曲率的解剖学形状，表示在没有创面的情况下正常皮肤表面应该怎样。创面面积可以按照围绕在创面边界内的基准面的表面积进行计算。体积是由基准面与创面表面包围的空间；深度是这两个表面之间的最大距离。这些自动算法可以例如在OpenCV中实施。

另一个重要的方面是结构传感器3与成像传感器2的对准。在一个实施例中，由于固定安装支架，这两个传感器之间有刚性6DOF转换。在本实施例中，如在OpenCV中发现，棋盘靶和立体校准算法被用于确定转换。为此，分别对各个传感器进行校准：使用零失真模型校准结构传感器3，使用失真和离中心(de-centering)模型校准成像传感器2。然后，在所有内部传感器参数(包括焦距)固定的情况下，使用立体校准功能(比如OpenCV立体校准功能)，在两个传感器之间计算外部转换。如图8所示，两只传感器观察同一平面，从而允许计算外在校准，类似于Kinect的深度照相机与其自身的RGB照相机的校准。或者，可以使用具有深度照相机的彩色照相机的自动校准方法。在具有良好的校准的情况下，彩色图像中的分割的创面边界可以被更准确地被映射到3D结构数据上，并可以计算准确的创面尺寸。

在步骤S200的图7中，从结构传感器3和前景掩模得到且对应于分割图像的深度图被获得。前景掩模是一种与彩色图像具有相同尺寸的二进制图像，但通过将1分配到属于创面的像素并将0分配到其他像素(背景)来将创面编码为前景。

在步骤S201中。所有深度图被组合成单个的深度图。为了确保形成均匀的深度图，所以执行这个步骤。尤其是，深度图是充满噪音的。因此，深度图中的一些深度值缺失。通过保存若干连续的深度图，可以通过将全部深度图组合成一个深度图而填补空白。虽然这一步减少了大部分缺失的深度值，但仍然可能保留部分空白。步骤S202通过使用相邻像素的深度值应用另一种方法来填充空白。

在步骤S202中，任何缺失的深度信息都通过邻近值的内插进行填补。

在步骤S203中，由前景掩模表示的区域内的深度信息用于进一步处理。例如，图9示出了前景掩模32被应用于深度数据，使得只得到该区域内的深度信息。

在步骤S204中，使用深度图和结构传感器3的固有参数，将2D图像空间中的像素位置转换成相机空间的对应的3D坐标。

在步骤S205中，确定前景掩模区域内的轮廓，并在步骤S206中，将确定的轮廓投影到三维空间，从而计算周长。该周长是创面边界的总长度，类似于圆的周长，但是是在3D空间中。

在步骤S207中，将最小围绕矩形投影到3D空间，并计算创面的长度和宽度。因此，步骤S206计算创面的周长，步骤S207计算创面的最大长度和宽度。

在步骤S208中，将分割部(前景掩模)投影到3D空间，并计算出面积。

在步骤S209中，抛物线形状被使用轮廓深度信息拟合以估算表面。

在步骤S210中，计算创面内的最深点，并在步骤S211中，计算创面的体积。

在步骤S212中，输出在上述步骤测定的创面的宽度、长度、周长、面积、体积、深度(最深点)和分割部。

服务器10也可以进行创面组织分类处理。或者，该处理也可以在移动设备1处进行。图10示出了用于分类创面中的组织的处理。在这个处理中，在提取创面边界后，创面组织可被分类为肉芽、和/或腐肉、和/或焦痂组织。基于拼贴片的多类支持向量机(Support Vector Machine，SVM)分类器可用于自动执行这个任务。SVM可以在不同创面的100张图像上进行训练，每个图像可提供数百个拼贴片用于学习分类器的特征。交叉验证和网格搜索可用于优化学习过程和归纳的质量。实验测试表明，手动和自动分割之间具有良好的重叠(重叠得分>80％)，如图11所示。在该图中，元素A表示原始创面图像，元素B表示与分类算法输出的叠加，元素C表示针对肉芽的自动分类，元素D表示针对腐肉组织分类，元素E表示由专家针对肉芽进行的手动分类，以及元素F表示由专家针对腐肉组织进行手动分类。

在图10的步骤S300中，由图像传感器2获得的彩色图像连同前景掩模都被获得。

在步骤S301中，得到对应前景掩模的彩色图像区域内的颜色信息。

在步骤S302中，具有掩模的颜色信息被分成拼贴片，比如正方形拼贴片。也可以使用其他形状的拼贴片。在步骤S303中，计算每个拼贴片的特征。特征是所提取的元素。特别地，在一个例子中，当图像以RGB彩色格式给出时，可以从RGB转换成HSV、LAB和/或灰度格式，并提取以下特征：a)每个拼贴片中的H和S值各自的平均值和标准偏差；b)每个拼贴片中的L、A和B值各自的平均值和标准偏差；和c)灰度值各自的平均值和标准偏差。在步骤S304中，使用经过训练的支持向量机对每个拼贴片进行分类。训练流程如步骤S400-S406所示。

在步骤S400中，得到注释了创面中的健康、腐肉和/或焦痂组织的区域的一组图像。然后，在步骤S401中对这些图像进行进一步处理，使得在注释区域内的各自的颜色信息被与各自的注释联系起来。在步骤S402中，图像分别被划分成正方形拼贴片。然后在步骤S403中，对于每个拼贴片计算上面提到的特征。在步骤S404中，根据它所属的组织类别，将每个拼贴片做出标记。在步骤S405中，通过使用单独的测试集(test set)，应用交叉验证来找出支持向量机的最佳参数。在步骤S406a中，生成SVM模型。

将在步骤S406中生成的模型用于步骤S304中，以对每个拼贴片进行分类。在步骤S305中，根据所属的类别，将每个拼贴片用预定颜色涂色，使得每个类别有不同的颜色。在步骤S306中，输出其上具有突出显示的颜色的分类图像。

当在服务器10处进行处理时，服务器10将数据传回移动设备1以向从业者展示。该数据也可以被传递给替代移动设备1的不同设备。

图12示出了提供给从业者的界面的示例。填充这一界面的信息可以在移动设备1内生成的，或者从服务器10发送到移动设备1或其他替代设备的。

该界面显示彩色图像60，并向用户提供通过选择切换61标记创面51和通过选择切换62标记背景50的能力。按钮63使用户能够抹掉标记。一旦放置了标记50和51，用户便可以选择分割按钮64，从而启动如图4所示的处理。一旦该处理完成，则创面边界信息被返回将如边界72所显示的界面。

然后，用户可选择测量按钮65，从而启动如图7所示的处理。一旦该处理完成，得到处理结果，则显示最小围绕矩形71和显示创面测量结果66。

用户也可以选择创面组织分类按钮67，该按钮使用不同颜色基于类别68对创面的不同部分进行分类。一旦选定按钮67，则会执行如图10所示的处理。处理结果被覆盖到创面上。

由服务器10生成的数据，除了被转发到移动设备1外，也被保存在数据库中。数据库可以对于服务器10是本地的或远程的或云端位置。由于数据可能具有医学敏感性，所以数据可以用加密形式和/或用保护方式保存，以确保隐私得到保护。

由服务器10生成的或在移动设备1处本地生成的数据都可以保存在数据库中。该数据包括创面图像以及相关临床数据，该相关临床数据既是手动输入也是利用图像处理方法自动生成的。使用特定患者数据库中的历史数据，可以分析患者创面愈合进程，以输出类似于如下表3所列出的参数。因此，接着将该信息与创面的其他视觉特征整合在一起，以支持临床决策。从数据库中可以访问包括表1、2和3中所列出的信息的临床信息，以便于在创面管理或从业者门户11中报告。存储在数据库中的信息可以被纳入由从业者管理的患者电子病历中。利用管理门户11，医生、护士、研究人员或任何具有适当授权和证书的从业者都可以访问此信息，以提供符合HIPAA方式的创面管理。这个门户网站也可用于治疗协调工作。

变化％(/周，相比于最后一次测量，相比于具体测量日期)：

面积

体积

深度(最深处)

组织分类

绝对变化(/周，相比于最后一次测量，相比于具体测量日期)：

面积

体积

深度(最深处)

组织分类

基准范围：个体、实践、机构、地区、国家

表3

同样，可经由信息学界面12访问数据库中的匿名临床数据，以支持临床研究和健康信息学，来推进创面护理。

本实施例可提供明显的优势。例如，本系统能够有效确保创面被统一地测量。该系统的统一性使咨询和交叉引用更加可行。该系统的另一个优势是对医疗保险和医疗保险/医疗补助(Medicare/Medicaid)财政中介机构的文件的审核流程在提供图表审计服务的情况下得到显著增强。存储的图像证明治疗计划、皮肤代替应用和愈合的进展(或缺乏)。该系统的另一个优势是补充关于创面基准愈合程序的内部组织审计能力。

此外，移动设备1还可以包括患者的培训材料和保健提供者的参考资料，如创面分类和一线治疗方式指南、用于皮肤替代的现行CPT编码指南、与创面管理/感染控制相关的药物的补充资料和确保连接到现有电子病历(HER)系统上的能力。

为了支持护理者之间的合作，该系统还能够使患者能够在不同的机构之间转换时被授予访问病历资料的权利，并允许医疗小组与患者自身通过自我监督和自我报告一起共同撰写患者病历。

本实施例也可应用于除了创面管理以外的其他应用。

在另一个实施例中，本实施例也可以用作发生慢性创面风险较高人群的预防措施，该人群例如是易于发生糖尿病足溃疡的糖尿病患者、易于发生褥疮的卧床不起的患者和患有周围血管疾病的患者。发生溃疡的主要原因是供血不足，从而导致组织局部缺血，这最终发展成坏死和溃疡。将多光谱成像或其他先进成像技术和/或图像分析算法合并于其中的本实施例可以被用于评估身体表面的血供或血液灌注。例如，带通、带阻、低通或高通滤波器可用于在不同波长的光下拍摄图像，这些图像可以用于分析皮肤表层的血氧含量，与用于脉搏血氧仪的技术类似。例如，可以使用具有两种不同波长的近红外区域的光源。光滤波器连同光源可以被结合在一起，并配备到现有的照相手机，以增强其对测量血液灌注的多光谱成像能力。

在另一个实施例中，本实施例可用于监测耳、鼻、喉、口和眼部等疾病。为了增强视觉图像，可以使用辅助光源。导光管也可以用于拍摄难以到达位置的图像，或在某些情况或状况下，也可以使用稳定和放大。这些特征也可以发展而被配备到现有的移动设备上，以允许患者拍摄质量更好的图象，从而使计算机能够更准确地提取临床信息，使护理者能够更好地监测疾病进展以及检测和解决并发症的风险。

在另一个实施例中，本实施例可用于监测有身体表面上的可见膨出、肿胀或突出特征的疾病状况，其中包括但不限于：周围血管疾病、皮肤肿块、疝和痔疮。这些病变的大小和形状具有临床相关性，使用本实施例可以很容易地测定和跟踪。

在另一个实施例中，本实施例可用于整形重建手术或减肥治疗方案，其中体形的变化可以被测量和记录。

在另一个实施例中，本实施例可用于监测患者排泄，如排便和排尿，其中的视觉特性可能具有临床相关性。

在另一个实施例中，本实施例可用于针对其中流体和固体摄入必须要监控的若干医疗条件监测患者的热量摄入，该热量摄入以体积和所识别的食物类别为基础。

总之，本公开文本可以应用于使用移动设备、基于患者自我监测和自我报告的慢性疾病管理的方法和系统。具体地说，本公开利用具有照相机功能的移动设备(配备或不配备特殊的附加设备，如立体照相机、结构光、多光谱光成像器或其他光源或光导管)，来获得感兴趣的部位的视觉信息，感兴趣的部位包括但不限于造口、创面、溃疡、皮肤疾病、牙齿、耳、鼻、喉和眼睛。或者，该任务可以通过利用具有网络摄像头功能的笔记本电脑，或照相机与计算机系统的结合来实现。视觉信息在监测疾病进展方面具有重要的临床价值，该视觉信息包括但不限于尺寸、形状、颜色、色调、饱和度、对比度、纹理、图案、3D表面或体积的信息。本实施例公开了一项技术，技术利用具有照相机功能的移动设备(配备或不配备增强、改善或添加成像能力的附加设备)获取图像、分析和提取所获取图像中的临床相关特征，这些临床相关特征随后被发送到的远程服务器。或者，所有的图像分析和特征识别可以在远程服务器站点进行。医疗专业人士或计算机自动算法可以访问这些患者的数据，并确定疾病恶化的风险、早期并发症的警告信号或者患者对治疗的依从性。在一个实施例中，计算机自动化技术将作为防御的第一道防线。该系统能够筛查所有患者的数据来寻找早期警告信号。风险一旦被识别，当某些指标超出正常范围或趋势不利时，护理者和/或患者都可以得到警告。于是护理者可以评估这个情况，证实或解除警告，并采取适当的行动解决该警告，其中包括与患者沟通、调整治疗方案或提醒患者坚持治疗。根据从图像提取的临床信息、患者沟通和患者的疾病简报以及提供者的治疗计划，该系统可以用于放置有针对性的广告和进行产品推荐。

在一个替代实施例中，深度信息和图像信息可以通过单个成像装置或传感器获得。在本实施例中，成像装置或传感器，除了捕获创面图像外，还能够捕获创面的深度信息。此外，也可能基于自动聚焦信息的确定图像的部分(诸如创面)的距离。例如，通过识别创面与背景之间的距离差，能够确定创面的深度信息。

至少在如上所述处理的某些部分，如图4、7和10所示的这些处理例如可以通过使用某种形式的具有至少一个微处理器的嵌入或外部的计算机或通过使用一个电路/处理电路来实现或辅助。任何上述处理都可以使用计算机或电路或处理电路来实现。如本领域技术人员所认识的，计算机处理器可以被实施作为离散的逻辑门、作为一个专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它复杂的可编程逻辑器件(CPLD)。FPGA或CPLD的实现可以用VHDL、Verilog或任何其他硬件描述语言编码，并且该编码可以被直接存储在FPGA或CPLD内的电子存储器中，或作为一个单独的电子存储器。此外，电子存储器可以是非易失性的，如ROM、EEPROM或FLASH存储器。电子存储器也可以是易失性，比如静态或动态RAM，并且可以提供一个处理器(如微控制器或微处理器)来管理电子存储器，以及管理FPGA或CPLD与电子存储器之间的交互。

或者，计算机处理器可以执行包括执行本文所描述功能的一组计算机可读指令的计算机程序，该程序被存储在任何上述非易失性电子存储器和/或硬盘驱动器、CD、DVD、闪存驱动器或任何其它已知的存储介质中。另外，计算机可读指令可作为一个实用程序、后台守护进程或操作系统的组成部分或它们的组合来提供，结合处理器和操作系统来执行，该处理器例如是美国英特尔的志强处理器或美国AMD的皓龙处理器，该操作系统例如是微软VISTA、UNIX、Solaris、Linux或苹果MAC-OSX和对本领域技术人员来说已知的其他操作系统。

此外，该实施例的某些功能可以利用基于计算机的系统来实现(图13)。计算机1000包括总线B或用于传送信息的其他通信机构，以及与总线B耦合的用于处理信息的处理器/CPU 1004。计算机1000还包括耦合到总线B用于存储由处理器/CPU 1004执行的信息和指令的主存储器/存储单元1003，比如随机存取存储器(RAM)或其它动态存储设备(例如，动态RAM(DRAM)、静态RAM(SRAM)和同步DRAM(SDRAM))。此外，存储单元1003可以用于在执行由CPU 1004发出的指令期间，存储临时变量或其它中间信息。计算机1000还可以进一步包括耦合到总线B用于存储CPU 1004的静态信息和指令的只读存储器(ROM)或其它静态存储设备(例如，可编程ROM(PROM)、可擦除PROM(EPROM)和电可擦除PROM(EEPROM))。

计算机1000还可以包括耦合到总线B来控制一个或多个用于存储信息和指令的存储设备的盘控制器，该存储设备例如是大容量存储器1002和驱动装置1006(例如，只读紧凑型盘驱动器、读/写紧凑型盘驱动器、紧凑型盘点唱机和可移动的磁-光驱动器)。该存储设备可以使用适当的设备接口(例如，小型计算机系统接口(SCSI)、集成设备电路(IDE)、增强IDE(E-IDE)、直接存贮器存取(DMA)或超DMA)添加到计算机1000。

计算机1000还可以包括专用逻辑设备(例如，专用集成电路(ASIC))或可配置逻辑设备(例如，简单可编程逻辑设备(SPLD)、复杂可编程逻辑设备(CPLD)和现场可编程门阵列(FPGA))。

计算机1000还可以包括显示控制器，该显示控制器耦合到总线B，以控制用于向计算机用户显示信息的显示器。该计算机系统包括用于与计算机用户互动和向处理器提供信息的输入设备，比如键盘和指示装置。指点装置，例如，可以是鼠标、轨迹球或指点杆，用于将方向信息和命令选择传递给处理器和用于控制显示器上的光标移动。此外，打印机可以提供由计算机系统存储和/或生成的数据的打印的列表。

响应于CPU 1004执行一个存储器(比如存储单元1003)所包含的一个或多个序列的一个或多个指令，计算机1000执行至少本发明处理步骤的一部分。这样的指令可以从另一台计算机可读介质(如大容量存储1002或可移动介质1001)读入存储单元。在一个多处理布置中的一个或多个处理器也可以被用于执行在存储单元1003中所包含的指令序列。在替代实施例中，硬连线电路可以用于代替软件指令或与软件指令结合使用。因此，实施例不限于硬件电路和软件的任何特定组配。

如上所述，计算机1000包括至少一个计算机可读介质1001或存储器，它们用于支持根据本发明的教导而编程的指令和用于在其中容纳本文所描述的数据结构、表、记录或其他数据。计算机可读介质的示例为紧凑型盘、硬盘、磁-光盘、PROM(EPROM、EEPROM、闪存EPROM)、DRAM、SRAM、SDRAM或任何其它磁介质、紧凑型盘(例如，CD-ROM)或计算机可以从其进行读取的任何其它介质。

通过存储在计算机可读介质中的任何一个或组合中，本发明包括用于控制主处理单元1004的软件，该软件用于驱动实现本发明的一个或多个设备或设备和用于使主处理单元1004能够与人类用户交互。这样的软件可包括但不限于，设备驱动器、操作系统、开发工具和应用软件。这种计算机可读介质还包括本发明的计算机程序产品，其用于执行全部或一部分(如果处理是分布式的)在实现本发明中所执行的处理。

在本发明介质上的计算机代码元素可以是任何可解释或可执行的代码机制，包括但不限于脚本、可解释程序、动态链接库(DLL)、Java类和完整的可执行程序。此外，为了实现更好的性能、可靠性和/或成本，本发明的处理部分可以是分布式的。

如本文所用的术语“计算机可读介质”，指的是参与提供供CPU1004所执行指令的任何介质。计算机可读介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘、磁盘和磁光盘，比如大容量存储器1002或可移动介质1001。易失性介质包括动态存储器，比如存储单元1003。

各种形式的计算机可读介质可涉及将一个或多个序列的一个或多个指令携带到CPU 1004以进行执行。例如，指令最初可以在远程计算机的磁盘中承载。耦合到总线B的输入可以接收数据，并将数据放到总线B上。总线B将数据携带到存储单元1003，CPU 1004从存储单元1003中获取数据并执行指令。由存储单元1003接收的指令在由CPU 1004执行之前或之后可以被选择性地存储在大容量存储单元1002。

计算机1000还包括耦合到总线B的通信接口1005。通信接口1004提供耦合到网络的双向数据通信，该网络被连接到例如局域网(LAN)或如因特网的其他通信网络。例如，通信接口1005可以是连接到任何分组交换LAN的网络接口卡。作为另一个例子，通信接口1005可以是非对称数字用户线路(ADSL)卡、综合业务数字网(ISDN)卡或提供到相应类型通信线路的数据通信连接的调制解调器。也可以实现无线链路。在任何这种实现中，通信接口1005发送和接收携带代表各种类信息的数字数据流的电、电磁或光信号。

该网络通常通过一个或多个网络提供与其他数据设备的数据通信。例如，网络可以通过本地网络(例如，LAN)或通过由服务商操作的通过通信网络提供通信服务的设备，提供与另一台计算机的连接。例如，本地网络和通信网络使用例如携带数字数据流的电、电磁或光信号和相关的物理层(例如，CAT5电缆、同轴电缆、光纤等)。此外，网络可以提供与比如手提电脑或蜂窝式电话的移动设备的连接。

在上述说明中，流程图中的任何过程、描述或区块都应该被理解为代表代码的模块、片段或部分，其包括在过程中执行特定逻辑功能或步骤的一个或多个可执行指令，并且替代实现方式被包括在本进展的示例性实施例的范围内，其中根据所涉及的功能，功能可以不按所展示或讨论的顺序执行，包括基本上同时或以相反的顺序进行，正如被本领域技术人员所理解的一样。

虽然某些实施例已被描述，但这些实施例仅以举例的方式介绍，并且不旨在限制本发明的范围。实际上，这里所描述的新颖的方法、设备和系统可以以其他各种形式体现；此外，本文中所描述的方法、设备和系统可以在不脱离本发明精神的情况下作出各种省略、替换和形式改变。所附权利要求及其等价物旨在涵盖将落入本发明范围和精神内的形式或修改。