基于多图像的特征识别和设备的制作方法

本发明涉及人工智能图像处理领域，具体涉及一种基于多图像的特征识别和设备。

背景技术

利用机器学习、深度学习和神经网络算法等人工智能的手段，对图像进行分类和识别是工业界以及学术界较为普遍的分析方法。上述识别方法需要先对初始的模型进行训练，训练的方式是利用大量的单张图像及其对应的标签(特征信息)输入模型，模型可以通过学习到的权重对输入图片给出一个预测。当认为模型识别准确性达到预期目标后，即可使用该模型对未知特征信息的图像进行分类识别，以确定其特征信息。这种方法对模型的输入要求不高，可以适用于大多数问题。

在一些应用领域中，存在着具有较强关联信息的图像，例如眼底图像。在一般环境下，被检测者的左眼和右眼图像是都有必要进行采集的，而对于同一个人，左眼和右眼包含的异常(特征信息)是大概率相似的。利用这种图像，以现有的模型训练方式能够得到一个识别模型，但该模型是分别根据两张图像进行识别，最终得到两个特征信息，就识别过程而言并没有任何关联性。虽然通过大量样本数据的训练，能够提高模型识别的准确性，但其准确性的瓶颈很难被突破，实际使用时，该模型仍很可能会针对同一个人的左眼图像和右眼图像识别出不同的特征信息。

由于现有的基于人工智能的图像特征识别方式没有考虑多个图像本身的关联性，因此其在面临识别多图像的问题时准确性仍有待提高。

技术实现要素：

有鉴于此，本发明提供了一种基于多图像的特征识别方法，包括：

获取多个图像，所述多个图像是用于确定至少一个相同的特征信息的具有关联性的图像序列；

分别获取所述多个图像的特征向量；

对获取的特征向量进行多种组合；

利用第一机器学习模型对所述多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，所述第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。

可选地，所述分别获取所述多个图像的特征向量，包括：

分别将所述多个图像输入第二机器学习模型，使所述第二机器学习模型分别对所述多个图像进行识别，其中所述第二机器学习模型是利用样本图像和相应的特征信息进行训练得到的；

获取所述第二机器学习模型在识别各个所述图像时，其中一个中间层输出的特征向量。

可选地，所述中间层是所述第二机器学习模型的中间层中的最后一层。

可选地，所述特征向量的组合是将不同的至少两个特征向量进行首尾相接。

可选地，生成的各个特征向量组合分别包含所有的特征向量。

可选地，所述对获取的特征向量进行多种组合，包括：

根据预定的特征向量组合与图像顺序的对应关系，从特征向量组合的全部方式中选定与所述图像数量相同及相应的特征向量组合方式；

按照选定的特征向量组合方式对特征向量进行组合。

可选地，所述多个图像为眼底图像，所述多个图像的数量是2个，分别为左眼眼底图像和右眼眼底图像，所述图像特征信息为病灶信息。

本发明还提供了一种多图像特征识别模型训练方法，包括：

获取多个图像及其对应的特征信息，其中所述多个图像均对应相同的特征信息；

获取所述多个图像的特征向量；

对获取的特征向量进行多种组合；

确定样本数据，所述样本数据为所述图像对应的特征向量组合和所述特征信息，其中不同的图像对应的特征向量的组合不相同；

利用多个所述样本数据对机器学习模型进行训练，以使所述机器学习模型根据所述图像对应的特征向量组合识别出所述特征信息。

本发明还提供了另一种多图像特征识别模型训练方法，包括：

获取多个样本数据，每个所述样本数据均包括多个图像及其对应的特征信息，并且每个所述样本数据中的多个图像均对应相同的特征信息；

将所述多个样本数据输入到机器学习模型的第一分类模块中，使所述第一分类模块根据所述多个图像识别出所述特征信息；

获取所述第一分类模块在识别各个所述图像时，其中一个中间层输出的特征向量；

对获取的特征向量进行多种组合；

将所述多个图像对应的特征向量输入到所述机器学习模型的第二分类模块中，使所述第二分类模块根据所述多个图像对应的特征向量的组合识别出所述特征信息。

本发明还提供了一种基于多图像的特征识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于多图像的特征识别方法。

根据本发明提供的基于多图像的特征识别方法和设备，首先获取具有关联性的图像序列，进而分别获取各个图像的特征向量，以特征向量反应出各个图像的特征，将特征向量进行组合，使得到的特征向量组合综合多个图像的特点；将对应于各个图像的不同的特征向量组合输入机器学习模型，使机器学习模型根据各个相关联图像的特征向量组合而识别图像序列所包含的语义特征，使得识别过程不再根据单张图像进行识别，而利用特征向量的组合对多个图像建立联系，使机器学习模型考虑图像序列本身的关联性，由此可以提高识别结果的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的基于多图像的特征识别方法的流程图；

图2为本发明实施例中的基于双眼底图像的特征识别方法的流程图；

图3为本发明实施例中的一种多图像特征识别模型训练方法的流程图；

图4为本发明实施例中的另一种多图像特征识别模型训练方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种基于多图像的特征识别方法，该方法可以由计算机、服务器等电子设备执行，如图1所示该方法包括如下步骤：

s1，获取多个图像，这些图像是用于确定至少一个相同的特征信息的具有关联性的图像序列。作为一种举例说明，假设有一个被拍摄对象存在一个或多个特征，可以分别从不同的角度对该对象进行拍摄从而获得多张图像，这些图像即为上述图像序列；作为另一种举例说明，假设有多个拍摄对象，它们本身存在一个或多个相同的特征，可以分别对这些对象进行拍摄，所得到的图像即为上述图像序列。由此可以得知，本发明中图像的拍摄对象可以是同一个目标，也可以是不同的目标，而这些图像本身用作确定一致的特征。特征信息是一种语义信息，例如表示图片中的被拍摄对象是什么物体，或者被拍摄对象是什么形状，或者被拍摄对象存在什么异常等等。

s2，分别获取上述具有关联性的多个图像的特征向量。获得特征向量的算法有多种，例如可以基于机器视觉的原理，根据图像中的像素值、线条等物理特征计算出特征向量，或者也可以利用人工智能的手段，通过训练特征识别模型，由模型中的隐层输出特征向量。假设有i1……in这n个图像，分别对每个图像抽取m维特征向量即可得到：

featurei1＝[v11,v12,v13,…,v1(m-1),v1m]、

featurei2＝[v21,v22,v23,…,v2(m-1),v2m]、

……

featurein＝[vn1,vn2,vn3,…,vn(m-1),vnm]，这n个特征向量。

s3，对获取的特征向量进行多种组合。组合的方式有多种，例如可以选取n个特征向量中的一部分进行组合，也可以选取n个特征向量中的全部进行组合，由此得到组合后的特征向量featurei1&featurei2，或者featurei1&featurei2&……&featurein等,此处将符号“&”作为说明特征向量组合的一种示例性的表达方式，而不应理解为运算符号，下文中将使用feature&1……feature&n表示不同的特征向量组合。向量的组合算法有多种，例如是向量相加、向量叉积、向量相减、向量相接等等。针对不同的应用场景，例如不同的被拍摄目标、图像的数量、特征信息的类型或者数量等因素预先测试各种组合方式和算法，以达到最优的识别效果，此步骤可以根据预定的组合方式和算法根据n个特征向量确定至少n个不同的特征向量组合，每个特征向量组合都是根据至少两个特征向量得到的。

s4，利用第一机器学习模型对多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。

在识别过程中，所使用的第一机器学习模型可以是深度学习模型、神经网络模型等，使用sgd、rmsprop等算法经过样本数据训练得到的模型，对于训练过程，具体将在下文进行详细介绍。在本实施例中，需要向训练好的第一机器学习模型输入n个数据，每个数据均包括各个图像对应的特征向量组合，例如第一个输入数据为feature&1(对应于图像i1)、第二个输入数据为feature&2(对应于图像i2)……第n个输入数据为feature&n(对应于图像in),使第一机器学习模型根据这n个输入数据输出一个或多个特征信息，也即根据n个图像对应的特征向量，确定输入图像的语义信息。

根据本发明实施例提供的基于多图像的特征识别方法，首先获取具有关联性的图像序列，进而分别获取各个图像的特征向量，以特征向量反应出各个图像的特征，将特征向量进行组合，使得到的特征向量组合综合多个图像的特点；将对应于各个图像的不同的特征向量组合输入机器学习模型，使机器学习模型根据各个相关联图像的特征向量组合而识别图像序列所包含的语义特征，使得识别过程不再根据单张图像进行识别，而利用特征向量的组合对多个图像建立联系，使机器学习模型考虑图像序列本身的关联性，由此可以提高识别结果的准确性。

作为一个优选的实施方式，本实施例采用人工智能的手段获取图像的特征向量。具体地，上述步骤s2可以包括如下步骤：

s21，分别将多个图像输入第二机器学习模型，使第二机器学习模型分别对多个图像进行识别，其中第二机器学习模型是利用样本图像和相应的特征信息进行训练得到的。

在识别过程中，所使用的第二机器学习模型可以是深度学习模型、神经网络模型等，通过不限于传统机器学习中的如svm(supportvectormachine)，xgboost等分类算法经过样本数据训练得到的模型。在本实施例中，需要向训练好的第二机器学习模型输入上述n个图像，该模型将分别根据这n个图像来识别特征信息。

s22，获取第二机器学习模型在识别各个图像时，其中一个中间层输出的特征向量。本领域技术人员应当理解，机器学习模型由输入层、隐层、输出层组成，其输入层用于接收输入数据，也即本实施例中的图像，其输出层用于输出识别结果，即特征信息。对于隐层而言，不同的模型具有不同数量的隐层，隐层之间所传递的是特征向量及参数和权重等内容，每层网络都能抽取出当前层得到代表一定图片信息的特征向量，并向下一层进行传递。在本实施例中可以选取其中一个隐层所抽取的特征向量，关于隐层的选取，针对不同的应用场景，例如不同的被拍摄目标、图像的数量、特征信息的类型或者数量等因素预先对各层的抽取结果进行测试，确定最优的识别效果，从而预先设定选取一个隐层。

根据模型网络的原理可知，隐层中的最后一层提取出的语义信息最多，因此多数情况下优选用隐层中的最后一层网络抽取的特征向量。

根据上述优选方式，第二机器学习相当于一个特征向量抽取模块，利用机器学习模型抽取图像的特征向量具有较高的计算效率，并且由于多数模型普遍具有多个隐层，因此针对每一个图像均可得到多个特征向量，针对不同的应用场景可以选取来自不同隐层输出的特征向量，扩大了选择的范围，提高了本方案的实用性。

如上所述，特征向量的组合方式有多种，作为一个优选的实施例，上述步骤s3可以包括如下步骤：

s31，根据预定的特征向量组合与图像顺序的对应关系，从特征向量组合的全部方式中选定与图像数量相同及相应的特征向量组合方式。作为一个举例说明，比如当图像的数量是4个时，通过步骤s2可以得到featurei1、featurei2、featurei3、featurei4这4个特征向量。以首尾相接这种组合方式为例，根据排列组合可知4个特征特征向量有16种组合方式，而最终需要输入第一机器学习模型的特征向量是4个，在此可以预先设定各个图像所对应的特征向量组合，从16个组合方式中选择其中4种。

s32，按照选定的特征向量组合方式对特征向量进行组合。通过测试性能发现，按照“1324”的先后顺序拼接特征向量来代表图像序列中第一张图像的特征、按照“2134”的先后顺序拼接特征向量来代表图像序列中第二张图像的特征、按照“3124”的先后顺序拼接特征向量来代表图像序列中第三张图像的特征、按照“4132”的先后顺序拼接特征向量来代表序列中第四张图像的特征，能够取得最佳的性能，在此步骤中则按此经验得到的每张图片对应的顺序进行拼接组合。

在面临不同的应用场景时，可以预先测试特征向量组合与图像顺序的对应关系，从而确定其中最优的组合方式，在识别过程中则按照预先设定的方式进行组合，由此来提高计算效率和识别准确性。

下面结合一个具体的应用场景对本发明提供的技术方案进行说明。本发明的一个实施例提供了一种基于双眼底图像的特征识别方法，如图2所示，该方法包括如下步骤：

s’1，获取来自同一被检测者的左眼眼底图像i1和右眼眼底图像i2，这两个眼底图像用于确定至少一个相同的特征信息。特征信息可以是一种分类标签信息，如正常、眼底出血、黄斑异常、视盘异常等标签信息。对于人体而言，上述信息所反映的情况通常同时出现在双眼眼底图像中，因此这两个图像是具有关联性的图像序列。

s’2，分别将左眼眼底图像i1和右眼眼底图像i2输入机器学习模型model1，使机器学习模型model1分别对眼眼底图像i1和右眼眼底图像i2进行识别，其中机器学习模型model1是利用样本图像和相应的特征信息进行训练得到的。具体而言，用于训练model1的样本图像可以是来自其它被检测者的眼底图像，以及和它们相应的特征信息，即如正常、眼底出血、黄斑异常、视盘异常等标签信息。

s’3，获取机器学习模型model1在识别左眼眼底图像i1和右眼眼底图像i2时，其中一个中间层输出的特征向量。例如选取其中最后一个隐层抽取的m维特征向量，得到featurei1＝[v11,v12,v13,…,v1(m-1),v1m]和featurei2＝[v21,v22,v23,…,v2(m-1),v2m]。

s’4，对获取的特征向量进行多种组合，在本实施例中特征向量的组合是将不同的至少两个特征向量进行首尾相接，并且生成的各个特征向量组合分别包含所有的特征向量。在本实施例中，由于只有两个特征向量，因此最多能得到两种组合：

和

在此，可以预先设定左眼眼底图像i1对应于[v11…v1m，v21…v2m]，右眼眼底图像i2对应于[v21…v2m，v11…v1m]。

s’5，利用机器学习模型model2对左眼眼底图像i1和右眼眼底图像i2对应的特征向量组合进行识别以得到图像特征信息，其中机器学习模型model2是利用样本特征向量组合和相应的特征信息进行训练得到的。具体而言，用于训练model2的样本数据可以是来自其它被检测者的眼底图像的特征向量和相应的特征信息(标签信息)。

在此步骤中，输入机器学习模型model2的数据是[v11…v1m，v21…v2m]和[v21…v2m，v11…v1m]，model2输出最终识别结果，例如左眼眼底图像i1和右眼眼底图像i2是否属于正常、眼底出血、黄斑异常、视盘异常中的某一种。

根据本发明实施例提供的基于双眼底图像的特征识别方法，首先获取双眼眼底图像，通过机器学习模型model1分别获取两个眼底图像的特征向量，以特征向量反应出各个图像的特征；然后将特征向量进行组合，使得到的特征向量组合综合两个眼底图像的特点；将对应于两个眼底图像的两种特征向量组合输入机器学习模型model2，使机器学习模型model2根据两种特征向量组合而识别两个眼底图像所包含的语义特征，使得识别过程不再根据单眼眼底图像进行识别，而利用特征向量的组合对两个眼底图像建立联系，使机器学习模型考虑两个眼底图像本身的关联性，由此可以提高识别结果的准确性。

本发明实施例还提供一种基于多图像的特征识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于多图像的特征识别方法。

本发明的一个实施例还提供了一种多图像特征识别模型训练方法，如图3所示，该方法包括如下步骤：

s01，获取多个图像及其对应的特征信息，其中多个图像均对应相同的特征信息，例如图像序列i1……in，它们对应于一个特征f，或者它们均对应于多个特征f1……fn；

s02，获取多个图像的特征向量，具体可参见上述识别方法中相应的步骤；

s03，对获取的特征向量进行多种组合，具体可参见上述识别方法中相应的步骤；

s04，确定样本数据，样本数据为图像对应的特征向量组合和特征信息，其中不同的图像对应的特征向量的组合不相同。对于一个样本数据而言，它本身即包含一个具有关联性的图像序列所对应的各种特征向量组合，以及一个或多个特征信息，如标签信息。假设某一图像序列的特征信息是唯一的，则一个样本数据本身则包含多个特征向量组合-标签信息的对应组。

s05，利用多个样本数据对机器学习模型进行训练，以使机器学习模型根据图像对应的特征向量组合识别出特征信息。利用如步骤s04所述的多个样本数据对同一个机器学习模型进行训练，使其学习特征向量组合与标签信息的对应关系，从而能够根据多个特征向量组合识别出标签信息。

根据本发明实施例提供的模型训练方法，首先获取具有关联性的样本图像序列，进而分别获取各个图像的特征向量，以特征向量反应出各个图像的特征，将特征向量进行组合，使得到的特征向量组合综合多个图像的特点，将其作为机器学习模型的训练数据，使机器学习模型学习特征向量组合与图像序列特征信息的对应关系，由此得到的机器学习模型不再根据单张图像识别特征信息，而利用特征向量的组合这种反应图像关联性的数据识别特征信息，由此可以提高模型识别结果的准确性。

本发明的一个实施例还提供了另一种多图像特征识别模型训练方法，如图4所示，该方法包括如下步骤：

s’01，获取多个样本数据，每个样本数据均包括多个图像及其对应的特征信息，并且每个样本数据中的多个图像均对应相同的特征信息。对于每个样本数据，均有包含图像序列i1……in，并且它们对应于一个特征f，或者它们均对应于多个特征f1……fn；

s’02，将多个样本数据输入到机器学习模型的第一分类模块中，使第一分类模块根据多个图像识别出特征信息。第一分类模块本身即为一个机器学习模型，它分别学习样本数据中的各个图像与对应的特征信息的对应关系。

s’03，获取第一分类模块在识别各个图像时，其中一个中间层输出的特征向量，在学习和识别过程中，第一分类模块的隐层会输出特征向量，此步骤可以选取隐层中的最后一层输出的特征向量。

s’04，对获取的特征向量进行多种组合，具体可参见上述识别方法中相应的步骤；

s’05，将多个图像对应的特征向量和特征信息输入到机器学习模型的第二分类模块中，使第二分类模块根据多个图像及其对应的特征向量的组合识别出特征信息。第二分类模块本身是一个机器学习模型，与第一分类模块不同，第二分类模块学习的是各个图像所对应的特征向量的组合与特征信息间的对应关系。通过对大量的样本数据进行学习，从而能够根据多个特征向量组合识别出特征信息(标签信息)。

根据本发明实施例提供的模型训练方法，将具有关联性的样本图像序列及其对应的特征信息组成样本数据，利用第一分类模块学习图像和特征信息的对应关系，并在学习过程中抽取特征向量；然后将特征向量进行组合，使得到的特征向量组合综合多个图像的特点，将其作为第二分类模块的输入数据，使第二分类模块学习特征向量组合与图像序列特征信息的对应关系，由此得到的机器学习模型不再根据单张图像识别特征信息，而利用特征向量的组合这种反应图像关联性的数据识别特征信息，由此可以提高模型识别结果的准确性。并且上述方法采用end-end的训练方式同时训练两个分类模块，具有较高的训练效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。