图像识别方法及系统与流程

本发明涉及医疗器械及图像识别技术领域，特别涉及一种图像识别方法及系统，用于对胶囊采集到的图片位置进行自动识别，从而对胶囊是否完成整个运行区域检查提供依据。

背景技术：

物体内部(特别是生物体内部)，由于存在个体差异，如何对其内部结构进行位置识别一直是本领域技术人员研究的问题。

近年来，随着计算机人工智能和大数据深度学习领域的发展，给智能医学领域注入了新的技术力量。

例如，在本发明的一种应用场景中：利用胶囊内镜检查消化道时，现有的一种方法为磁控胶囊通过体外磁场来对磁控胶囊进行控制，主动实现对人体胃部的自动检查，通过医生实时观察胶囊在体内采集图片的信息，来判断磁控胶囊当前采集图片的位置，进而判断是否完成整个胃部检查，这种判断方法比较依赖医生的经验以及主观判断，效率较慢且容易出错。

使用深度学习方法进行图片识别判断解剖位置，该方法对数据量多的部位(如，胃体，胃窦)识别准确率较高，但对于数据量较少的部位(如，贲门、幽门)识别准确率欠缺。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种图像识别方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图像识别方法，在胃部解剖位置识别算法之前或之后设置有姿态检测步骤，所述姿态检测步骤包括：

获取图片a的姿态角(x1,y1,z1)；

获取图片b的姿态角(x2,y2,z2)；

图片a和图片b的拍摄时间间隔在δt以内，所述δt为正数；

若|x1-x2|＞αor|z1-z2|＞γ，则图片a和图片b不属于同一解剖位置；

若|x1-x2|≤αand|z1-z2|≤γ，则图片a和图片b属于同一解剖位置；

所述α,γ分别为同一位置相邻图片姿态角x分量差值的阈值和z分量差值的阈值。

本发明图像识别方法利用姿态信息和图像信息对图像进行识别处理。姿态检测单元将两信息融合，得出最终判断结果送入并显示，既能够提高识别精度，防止误删除，特别是对于数据量较少的部位(如，贲门、幽门)识别准确率较高。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像识别系统，其包括图像采集系统和处理器；所述处理器包括位置识别单元和姿态检测单元，所述图像采集系统采集图像信息并传输给处理器，所述处理器内的位置识别单元对图片位置进行识别；姿态检测单元对位置识别单元处理前或处理后的图片按照本发明所述的方法进行处理。

本发明图像识别系统能够提高胃部解剖位置的识别精度，防止误删除，特别是对于数据量较少的部位(如，贲门、幽门)识别准确率较高。

为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种图像识别系统，其包括胶囊内镜、外部控制装置和处理器；所述胶囊内镜包括图像采集单元；所述外部控制装置控制胶囊运动；所述处理器包括位置识别单元和姿态检测单元，所述胶囊内的图像采集单元采集图像信息并传输给处理器，所述处理器内的位置识别单元对图片位置进行识别；姿态检测单元对位置识别单元处理前或处理后的图片按照权利要求1所述的方法进行处理。

本发明的图像识别系统采用胶囊内镜实现胃部解剖位置的高精度识别，防止误删除，特别是对于数据量较少的部位(如，贲门、幽门)识别准确率较高。

在本发明的一种优选实施方式中，位置识别算法包括如下步骤：

s1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征；

s2，将步骤s1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠；

s3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类；

s4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型；

s5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤s5的开始位置继续利用所述训练集对当前深度网络模型进行训练；

s6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

本发明的磁控胶囊运行区域检测图片的位置识别方法对磁控胶囊采集到的图片位置进行自动识别，对胶囊是否完成整个运行区域检查提供依据。

本发明采用对位置识别网络模型进行预训练，在训练集中数据较少时仍然能够进行深度网络训练，采用了基于大量自然图像首先对网络模型进行初步训练得到一个基础网络模型，进而再采用训练出的基础网络模型来对磁控胶囊采集到的图像进行训练的方法，并采用了逐层参数训练法，从而得准确度高的深度网络模型。采用该种方法，能够满足样本量相对较少的解剖位置的自动识别。减少了标注训练数据需要的时间和人力，降低了人力负担，提高了效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中图像识别方法的流程框图；

图2是本发明一种优选实施方式中姿态检测步骤的流程图；

图3是本发明一种优选实施方式中位置识别方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

为提高识别准确率，可以从数据量和数据质量上改进。但在医学领域，数据的稀缺性导致要从数据方面提升算法准确率很难。本发明提出在进行图片识别判断胃部解剖位置的基础上，结合胶囊姿态信息提升整个图像识别系统的识别准确率。

本发明提供了一种图像识别方法，在胃部解剖位置识别算法之前或之后设置有姿态检测步骤，如图2所示，所述姿态检测步骤包括：

获取图片a的姿态角(x1,y1,z1)；

获取图片b的姿态角(x2,y2,z2)；

图片a和图片b的拍摄时间间隔在δt以内，所述δt为正数；

若|x1-x2|＞αor|z1-z2|＞γ，则图片a和图片b不属于同一解剖位置；

若|x1-x2|≤αand|z1-z2|≤γ，则图片a和图片b属于同一解剖位置；

所述α,γ分别为同一位置相邻图片姿态角分量差值的阈值。

如图1所示，姿态信息和图像信息分别由姿态检测单元和图像采集单元采集传输至处理器，姿态信息和图像信息同步或者分部上传。上传至处理器后，图像信息和姿态信息分开处理。图像信息通过处理并经深度学习模块判断预测所属部位后，送入位置姿态监测单元。姿态信息经处理校准得到姿态角后也送入位置姿态检测单元(位置姿态记录及判断模块)。位置姿态记录及判断模块将两信息融合，得出最终判断结果送入并显示。

在本实施方式中，所述姿态监测步骤对胃部解剖位置识别算法识别出的图片进行检测(如图2所示)，或者对胃部解剖位置识别算法未识别出的图片进行检测(如图2所示)，或者对胶囊检测的所有图片在进行检测位置识别算法识别之前进行检测。例如图2中，先利用位置识别算法识别图片，并获取图片a的姿态角(x1,y1,z1)和图片b的姿态角(x2,y2,z2)(以图片a和图b为相邻的两帧图片为例)，当位置识别算法识别图片a和图片b为同一位置时，则判断是否有|x1-x2|＞αor|z1-z2|＞γ，如果满足，则图片a和图b不属于同一位置；如果不满足，则图片a和图b属于同一位置。如果位置识别算法识别图片a和图片b为同一位置时，则判断是否有|x1-x2|≤αand|z1-z2|≤γ，如果满足，则图片a和图b属于同一位置；如果不满足，则图片a和图b不属于同一位置。

在本实施方式中，拍摄时间间隔δt与帧率负相关。例如第1帧图片和第2帧图片是连续的两帧拍摄图片，针对帧率低(5帧以下)的拍摄图片判断方法为上一帧和下一帧判断，帧率高(5帧以上)判断方法可以调整为上1帧及下5帧。根据实际情况使用可调。

a位置和b位置是胃部解剖位置代号，可以为贲门，胃底，胃体，胃角，胃窦或幽门等。

(x1,y1,z1)和(x2,y2,z2)分别代表第1帧图片a和第2帧图片b那一时刻的姿态角(俯仰角，横滚角，航向角)。α、γ分别代表判断胶囊俯仰角和航向角的角度阈值，该阈值取值可取90°、180°等，能代表胶囊内镜镜头突然转向的值，该值需要根据临床试验验证数据调整。(胶囊拍摄图片的方位与横滚角无关，故不用判断横滚角。)

在本实施方式中，胃部解剖位置识别算法可以为任意的胃部解剖位置识别算法，具体可以为但不限于采用人工或者机器学习的以图像相似比较为基础的识别算法，优选地，位置识别算法如图3所示，其包括如下步骤：

s1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征。

s2，将步骤s1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠。

s3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类。

s4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型。

s5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤s5的开始位置继续利用所述训练集对当前深度网络模型进行训练。

在本实施方式中，识别精度＝识别出的测试集中所有真阳性图片数/测试集中标记出的所有图片数，真阳性是指被检出为正确的图片。

灵敏度＝自动识别出的某位置的真阳性图片数/标记出的对应位置的图片张数*100％。

特异性＝自动识别出的某位置的真阴性图片数/标记出的其他位置对应的图片张数，其中，真阴性是指该位置之外的其他位置被正确排除的图片。

本发明中，利用所述训练集对当前深度网络模型进行训练包括:将所述训练集中包含的图片组合成多个子训练集，其中每个子训练集包含的图片不完全相同；利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度，选取对应识别精度表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。

s6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

以胶囊内镜对胃部检查为例，首先由临床医生将不同解剖位置的胶囊内镜图像挑选出来，依据为单张图像的解剖位置可明显辨认。为了排除时间关联的影响，将所有图片顺序打乱，再由医生进行分类，将不同解剖位置的单张图片分别归类到不同类别的文件夹中。

然后对上述不同类别的文件夹进行编号，如0,1,2，...，不同数字表示不同的解剖部位，如贲门，胃底，胃体，胃角，胃窦，幽门等。若某一患者数据要作为测试使用，则训练的图像数据需要排除该患者图像，将剩下的患者图像合并为训练数据集。

由于标注用于训练的数据需要耗费大量的时间和人力，为了克服标注的数据量不足以满足深度网络训练的要求。本发明对网络初始化训练采用了自然场景数据来进行网络权重初始化，首先采用了imagenet数据来对模型进行初始化，在本实施例中，采用了imagenet1000个类的网络，也可以加载训练好的imagenet模型。在imagenet的基础上，采用海量数据调节网络权重，例如使用places365数据集训练(1000万张图片)调节网络权重。使网络能能够更好的适应各种自然场景的分类问题。最后再用磁控胃胶囊数据逐层调节与训练模型网络。采用这种方式优点在于：当人工标记的胃部解剖位置图片数据不足或者图片数据量不足以满足深度网络训练的要求时，利用现有的自然图像数据库来对网络模型进行初始化和权重调节，再利用相对人工标记出的胃部位置图片数据库来对网络进行逐层调节，可以得到相对较好的网络训练结果，这样对于医学领域中目前没有形成统一的病例数据集的情况或者某一些解剖位置类别图片数据较少的情况，是一种较好的基于大数据的深度网络学习模式。

为了克服模型生成中的一些问题包括：训练数据太少、内镜图像呈现不同的变化状态、模型过拟合。本发明中可以对训练集和测试集中包含的图像进行预设角度旋转处理、图像增强处理、预设范围的图像平移处理、预设范围的图像剪切和预设范围的图像缩放处理。例如：180度随机图像旋转保证模型适应图像旋转；±20％范围内图像随机左右平移；±20％范围内图像随机上下平移；±20％范围内图像随机剪切变换,±20％范围内图像随机缩放。

胃部位置识别网络模型逐层调节过程为：除了第一次完全从数据训练网络以外，采用与训练模型和胃部不同位置图片数据对网络的训练均采用逐层调节方法。具体做法上，先锁定模型的卷积层，训练全链接层；在实验条件较好即胃部解剖图片数据量较大的情况下，从上到下逐层放开卷基层进行训练，以获得适应于胃部解剖位置识别的网络模型。

数据测试：通过读取每张图像并判断类别,最后将每个病人的图像测试结果与标注结果进行比对，计算模型的检测性能。对于分类别检测最重要的评价指标主要包括：精度、灵敏度、特异性。检测系统的统计性能是将多个病人测试的精度、灵敏度、特异性做平均。若统计性能指标满足预先设定要求，则所述深度网络模型可以用于后期产品用，若不满足要求，则需要对网络模型进行调参或者模型网络结构进行调整。

对于不断进行调整和训练得到的满足要求的深度网络模型，加载到本文所述的处理器中位置识别单元，供处理器实时调用。由胶囊采集到每张图像，都通过处理器中的位置识别单元进行分类，并统计每一种解剖位置识别出的已检图像张数，若达到预设条件，则将该类解剖位置进行保存，并标记为已检位置存储在消化道已检部位存储模块中。本发明预设条件根据解剖位置的不同而不同，并且根据临床实际操作得到的经验数据。如胃角、贲门位置由本系统得到的图片数量相对较少，一般设置为10张左右，而对于胃底，胃体，胃窦区域，采集到的图像数量较多，一般设置为100张以上。从而判断是否已经对该部位进行了检测。

本发明中还可以具有如下步骤：判断识别出的位置是否满足预设条件，若是，则保存该解剖位置，所述预设条件为每个位置对应的待检测图像张数，设定不同位置对应的待检图像张数不同。

本发明还提供了一种图像识别系统，其包括图像采集系统和处理器；所述处理器包括位置识别单元和姿态检测单元，所述图像采集系统采集图像信息并传输给处理器，所述处理器内的位置识别单元对图片位置进行识别；姿态检测单元对位置识别单元处理前或处理后的图片按照本发明所述的方法进行处理。

本发明的另一种图像识别系统中包括胶囊内镜、外部控制装置和处理器；所述胶囊内镜包括图像采集单元；所述外部控制装置控制胶囊运动；所述处理器包括位置识别单元和姿态检测单元，所述胶囊内的图像采集单元采集图像信息并传输给处理器，所述处理器内的位置识别单元对图片位置进行识别；姿态检测单元对位置识别单元处理前或处理后的图片按版本发明所述的图像识别方法进行处理。

在本实时方式中，可以采用磁控胶囊或者其他控制方式控制胶囊的运行，以磁控胶囊为例，胶囊内镜包括胶囊外壳、光照单元、图像采集单元、微处理器、收发单元、加速度传感器、磁场传感器、内部磁体、电池。其中，加速度传感器用于胶囊自身加速度向量的检测，磁场传感器用于胶囊当前位置处由外部磁场发生器产生的磁场向量。

外部控制装置为外部磁场装置，外部磁场装置包括外部磁场发生装置；外部磁场发生装置用于产生外部驱动磁场，对胶囊内镜产生拉力和扭矩力，从而驱动胶囊运动。内部磁场检测装置(胶囊内镜中的内部磁体)检测胶囊所处位置的磁场强度，外部磁场检测装置检测外部磁场发生装置产生的磁场强度，内部磁场检测装置和/或外部磁场检测装置将检测结果传输给外部磁场发生装置，调控外部磁场发生装置产生的磁场。

处理器包含胶囊解剖位置识别单元及智能提示检查单元。还是以检测消化道为例，胶囊解剖位置识别单元根据胶囊采集到的消化道图片，对消化道解剖位置进行分类，采用本发明的深度学习方法，自动识别图片表示的消化道解剖位置，胶囊解剖位置识别单元包括图片识别模块和已检部位存储模块。图片识别模块根据本发明的方法对接收到的图片分类、识别图片表示的位置；图片识别模块判断识别出的位置是否满足预设条件，若是，则将已识别的位置及其对应的图片传输给已检部位存储模块进行存储。预设条件为每个不同的解剖位置待检的图像张数，不同的解剖位置设定的待检图像张数不同，对于解剖位置比如胃角、贲门设置的待检图像张数相对较少，而对于胃底、胃体、胃窦等位置设置的待检图像张数相对较多。智能提示检查单元用于对胶囊是否完成了预设解剖位置进行判断，若是，则提示完成整个胃部检查，若否，则提示尚未检查到的胃部解剖位置，为医生操作过程中提供检查依据。

在本实施方式中，处理器还包括智能提示检查单元，智能提示检查单元内预存有所有的位置信息，图片识别模块识别出位置并传输给智能提示检查单元，智能提示检查单元判断胶囊是否完成了预设位置的检查，若是，则提示完成检查，若否，则提示尚未检查到的位置。

智能提示检查单元用于对胶囊是否完成了预设解剖位置进行判断，所述预设解剖位置在本文实施例中包含贲门、胃底、胃体、胃角、幽门、胃窦几大部位，当然，对于解剖位置的分类可以比上述所列举位置更粗略或者更详细，都在本发明所保护范围内。通过对来自消化道已检部位存储模块中的结果进行比较，若已检部位全部包含了预设解剖位置，则提示完成整个胃部检查，若已检部位少于预设解剖位置，则提示本次检查尚未检查到的胃部解剖位置，为医生操作过程提供检查依据，减少因为操作带来的漏检。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。