基于深度学习网络的复杂医学生物信号处理方法和装置与流程

本发明涉及人工智能技术领域，特别涉及一种基于深度学习网络的复杂医学生物信号处理方法和装置。

背景技术：

目前虽然有穿戴设备提供有生物讯号分析功能，但功能上相对简单，且在诊断精度上稍嫌不足(如一般设备只是能监测心率)，因此若使用者需要心律不整与疲劳诊断等功能，将在诊断精度达不到用户的要求。

最近深度学习算法有快速的发展，使复杂信号分析得到可能的解决方案。然而，穿戴式设备会比固定式设备遭遇更大的噪声挑战，因此设计出合适的深度学习算法与架构，将是解决穿戴式健康设备的关键技术。

技术实现要素：

基于此，有必要提供一种基于深度学习网络的复杂医学生物信号处理方法和装置，可解决穿戴设备在多功能、诊断精度和准确度上的问题。

为实现上述发明目的，本发明采用以下技术方案。

本发明提供一种基于深度学习网络的复杂医学生物信号处理方法，包括步骤：

采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；

构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；

构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；

构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述方法中，还包括步骤：

构建动态生成网络模型，将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；

构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充；

构建后端训练预测模型，对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述方法中，所述构建动态生成网络模型，将复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集的步骤具体包括：

构建lstm网络模型，将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；

构建鉴别网络模型，对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；

构建一个二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。

上述方法中，所述构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据的步骤具体包括：

创建多个lstm网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵m，m的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点m^(m)，并通过为个本地记忆节点与一个全局记忆节点m^(s)进行联系；上述读写操作联系定义为：

则，lstm的单元表示如下：

(ht，mt，ct)＝me-lstm(ht-1，mt-1，ct-1，xt，θp，θq)，

其中，θp表示lstm所有内部的参数，θq表示所有外部记忆节点的参数；所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：

其中，表示各输出任务的各类概率分布情况。

上述方法中，所述构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充的步骤具体包括：

构建两个相同的卷积神经网络，将已有公开数据集输入其中第一个网络，将所述个性化的生成数据输入第二个网络，且两个卷积神经网络之间共享权值；

在第一个网络和第二个网络中的特征层之间增设一适应层，用于计算第一个网络和第二个网络的域损失；

采用mmd来表征所述域损失，对所述mmd进行最小化处理。

本发明还提供一种基于深度学习网络的复杂医学生物信号处理装置，包括：

穿戴式传感器，用于采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；

卷积神经网络模型，用于将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；

多功循环神经网络模型，用于对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；

前端预测模型，用于将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述装置中，还包括：

动态生成网络模型，用于将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；

长时迁移网络模型，用于通过机器学习将所述个性化的生成数据集进行扩充；

后端训练预测模型，用于对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述装置中，所述动态生成网络模型具体包括：

lstm网络，用于将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；

鉴别网络，用于对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；

二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。

上述装置中，所述多功循环神经网络模型具体包括：

多个lstm网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵m，m的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点m^(m)，并通过为个本地记忆节点与一个全局记忆节点m^(s)进行联系；上述读写操作联系定义为：

则，lstm的单元表示如下：

(ht，mt，ct)＝me-lstm(ht-1，mt-1，ct-1，xt，θp，θq)，

其中，θp表示lstm所有内部的参数，θq表示所有外部记忆节点的参数；

所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：

其中，表示各输出任务的各类概率分布情况。

上述装置中，所述长时迁移网络模型具体包括：

两个相同的卷积神经网络，其中第一个网络输入已有公开数据，第二个网络输入所述个性化的生成数据，且两个卷积神经网络之间共享权值；

一适应层，设于第一个网络和第二个网络中的特征层之间，用于计算第一个网络和第二个网络的域损失；采用mmd来表征所述域损失，对所述mmd进行最小化处理。

本发明采用卷积神经网络对采集到的复杂医学特征数据进行标准化预处理后，利用多功循环神经网络、动态生成网络、长时迁移网络和后端训练预测模型对复杂医学特征数据进行数据分类、个性化的生成数据集输出、数据集扩充，以及数据集的训练和验证，等等，高效地将复杂的多维异源数据进行拟合和分类，并实现精准的预测，有效地解决了训练样本少、生物信号采集时间长，和个体差异大等问题，可有效地根据采集到的复杂生物数据的动态变化实现多功能的用途，如疾病诊断、身份识别和动作识别等。

附图说明

图1为本实施例中基于深度学习网络的复杂医学生物信号处理方法的流程示意图；

图2为本实施例中基于深度学习网络的复杂医学生物信号处理装置的框架结构示意图；

图3为本实施例中动态生成网络模型的原理架构图；

图4为本实施例中多功循环神经网络模型的原架构图；

图5为本实施例中长时迁移网络模型的原理架构图。

本发明目的的实现及其功能、原理将在具体实施方式中结合附图作进一步阐述。

具体实施方式

下面结合附图及具体实施例做进一步说明。

如图1所示，本实施例提供一种基于深度学习网络的复杂医学生物信号处理方法，包括步骤：

s1：采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；

s2：构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；

s3：构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；

s4：构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述方法主要用于智能手表、手环和项链等穿戴设备上解决心电、心音、血氧信号的采集和处理，并根据处理结果进行预测人体健康状况、身份识别和动作识别等应用。

在对包含心电、心音、血氧数据中的两种或以上的多变量异源数据的复杂医学生物数据进行采样时，由于数据复杂多变，而且存在动态与长时问题，需要可靠的算法和模型对采集到的数据进行训练和预测，最终得到较为准确和可靠的数据模型。为实现本发明的目的，首先需要解决的是复杂医学生物数据的多变量和长时动态问题，才能在此基础上实现多功能应用的精准输出。

为此，本实施例的方法中，还包括步骤：

s5：构建动态生成网络模型，将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；

s6：构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充；

s7：构建后端训练预测模型，对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

其中，所述构建动态生成网络模型，将复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集的步骤具体包括：

s51：构建lstm(longshort-termmemory，长短期记忆网络)模型，将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；

s52：构建鉴别网络模型，对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；

s53：构建一个二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。

上述已有公开数据库是指包含根据实践和经验总结出的一般规律的所有数据，它是符合人体生物特征的普遍规律的样本集，本实施例所提出的动态生成网络模型中，需要将该样本集与待测人体的心电数据、心音数据和/或血氧数据进行拟合，输出反映个体特性的生物数据。

上述鉴别网络是指以生成网络的生成波形和本次测得的数据集进行合并，再进行鉴别，以加入个体特征，进而拟合出一个新的数据集。

然后现通过上述二分类器，以判断输入的波形是否是一个合理的波形，并输出包含特定波形样本的个性化的生成数据集。

本实施例中，所述步骤s3具体包括：

创建多个lstm网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵m，m的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点m^(m)，并通过为个本地记忆节点与一个全局记忆节点m^(s)进行联系；设上述读写操作联系定义为：

则，lstm的单元表示如下：

(ht，mt，ct)＝me-lstm(ht-1，mt-1，ct-1，xt，θp，θq)，

其中，θp表示lstm所有内部的参数，θq表示所有外部记忆节点的参数；

所述多功循环神经网络模型还包括一softmax(逻辑回归)层，其输出方式定义为：

其中，表示各输出任务的各类概率分布情况。

例如m＝3，则最后总的全局损失函数为这三个任务的损失函数的线性组合，即：

其中，λm为对应任务m的各自所占的比例。

上述方法中，所述构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充的步骤具体包括：

构建两个相同的卷积神经网络，将已有公开数据集输入其中第一个网络，将所述个性化的生成数据输入第二个网络，且两个卷积神经网络之间共享权值；

在第一个网络和第二个网络中的特征层之间增设一适应层，用于计算第一个网络和第二个网络的域损失；

采用mmd来表征所述域损失，对所述mmd进行最小化处理。

上述已有公开数据集为之前已进行训练的医学生物数据库，可能是公开数据集或者早期所采集的数据集，具有能在一定程度上真实反映人体生物特征讯号与人体健康、身份识别和/或动作识别相关联的参考价值。

mmd(maximummeandiscrepancy，最大均值差异)是迁移学习中使用频率最高的度量标准，通常度量在再生希尔伯特空间(rkhs)中的两个分布的距离，是一种核学习方法，采用以下算式来表征：

其中，φ(.)是映射，用于把原变量映射到再生核希尔伯特空间，希尔伯特空间是对于函数的内积完备的,而再生核希尔伯特空间是具有再生性<k(x；)；k(y；)>h＝k(x；y)的希尔伯特空间.将平方展开后,希尔伯特空间中的内积就可以转换成核函数，所以最终mmd可以直接通过核函数进行计算：

l＝lc(ds；ys)+λla(ds；dt)

l表示网络的最终损失，lc(ds；ys)表示网络在有标注的数据(大部分是源域)上的常规分类损失(这与普通的深度网络完全一致)，la(ds；dt)表示网络的自适应损失。最后一部分是传统的深度网络所不具有的、迁移学习所独有的。此部分为源域和目标域的分布差异，式中的λ是权衡两部分的权重参数。

mmd可衡量上述两个网络之间的适应层输出的域特征，本实施例采用mmd来表征该域特征之间的域损失，从而可以通过对mmd进行最小化处理来达到扩充的数据集能以假乱真的目的，增强数据的真实性。

可见，透过上述算法，可实现穿戴式设备的多功能应用，并能低成本地处理复杂丰富的医学生物数据，增加系统可靠度与效能。同时，透过动态个性化生成网络与长时迁移学习，进行有效的数据集扩增，扩展有用数据提高模型的泛化与个性化能力，让系统可以在运动与长时心率变化较大的情况下，依旧可以作出高精度的分析判断。

如图2所示，本实施例提供一种基于深度学习网络的复杂医学生物信号处理装置100，包括：

穿戴式传感器10，用于采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；

卷积神经网络模型20，用于将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；

多功循环神经网络模型30，用于对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；

前端预测模型40，用于将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

上述装置主要用于智能手表、手环和项链等穿戴设备上解决心电、心音、血氧信号的采集和处理，并根据处理结果进行预测人体健康状况、身份识别和动作识别等应用。

在对包含心电、心音、血氧数据中的两种或以上的多变量异源数据的复杂医学生物数据进行采样时，由于数据复杂多变，而且存在动态与长时问题，需要可靠的算法和模型对采集到的数据进行训练和预测，最终得到较为准确和可靠的数据模型。为实现本发明的目的，首先需要解决的是复杂医学生物数据的多变量和长时动态问题，才能在此基础上实现多功能应用的精准输出。

本实施例的基于深度学习网络的复杂医学生物信号处理装置100中，还包括：

动态生成网络模型50，用于将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；

长时迁移网络模型60，用于通过机器学习将所述个性化的生成数据集进行扩充；

后端训练预测模型70，用于对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。

请参照图3所示，上述装置中，所述动态生成网络模型50进一步包括：

lstm网络51，用于将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；

鉴别网络52，用于对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；

二分类器53，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。

穿戴式设备主要负责心电、心音、血氧等信号的采集、前期预处理与前端的预测。还可以提供动态信号生成网络与长时迁移网络，将公开或现有数据，扩展生成更多更好的个性化生成数据，以供后端训练预测模型70。另外用户若对前端模型预测40结果感到不满意，也可以选择使用后端训练预测模型70来进行更复杂的计算预测。

如图4所示，所述多功循环神经网络模型30具体包括：

多个lstm网络31以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵m，m的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点m^(m)，并通过为个本地记忆节点与一个全局记忆节点m^(s)进行联系；设上述读写操作联系定义为：

则，lstm的单元表示如下：

(ht，mt，ct)＝me-lstm(ht-1，mt-1，ct-1，xt，θp，θq)，

其中，θp表示lstm所有内部的参数，θq表示所有外部记忆节点的参数；所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：

其中，表示各输出任务的各类概率分布情况。

例如m＝3，则最后总的全局损失函数为这三个任务的损失函数的线性组合，即：

其中，λm为对应任务m的各自所占的比例。

参照图5所示，所述长时迁移网络模型具体包括：

两个相同的卷积神经网络，其中第一个网络(深色)输入已有公开数据，第二个网络(浅色)输入最新的个性化的生成数据，且两个流向的卷积神经网络之间共享权值；

一适应层，设于第一个网络和第二个网络中的特征层之间，用于计算第一个网络和第二个网络的域损失；采用mmd来表征所述域损失，对所述mmd进行最小化处理。

上述已有公开数据集为之前已进行训练的医学生物数据库，可能是公开数据集或者早期所采集的数据集，具有能在一定程度上真实反映人体生物特征讯号与人体健康、身份识别和/或动作识别相关联的参考价值。

mmd是迁移学习中使用频率最高的度量标准，通常度量在再生希尔伯特空间(rkhs)中的两个分布的距离，是一种核学习方法，采用以下算式来表征：

其中，φ(.)是映射，用于把原变量映射到再生核希尔伯特空间，希尔伯特空间是对于函数的内积完备的,而再生核希尔伯特空间是具有再生性＜k(x；)；k(y；)>h＝k(x；y)的希尔伯特空间.将平方展开后,希尔伯特空间中的内积就可以转换成核函数，所以最终mmd可以直接通过核函数进行计算：

l＝lc(ds；ys)+λla(ds；dt)

l表示网络的最终损失，lc(ds；ys)表示网络在有标注的数据(大部分是源域)上的常规分类损失(这与普通的深度网络完全一致)，la(ds；dt)表示网络的自适应损失。最后一部分是传统的深度网络所不具有的、迁移学习所独有的。此部分为源域和目标域的分布差异，式中的λ是权衡两部分的权重参数。

mmd可衡量上述两个网络之间的适应层输出的域特征，本实施例采用mmd来表征该域特征之间的域损失，从而可以通过对mmd进行最小化处理来达到扩充的数据集能以假乱真的目的，增强数据的真实性。

综上所述，本发明采用卷积神经网络对采集到的复杂医学特征数据进行标准化预处理后，利用多功循环神经网络、动态生成网络、长时迁移网络和后端训练预测模型对复杂医学特征数据进行数据分类、个性化的生成数据集输出、数据集扩充，以及数据集的训练和验证，等等，高效地将复杂的多维异源数据进行拟合和分类，并实现精准的预测，有效地解决了训练样本少、生物信号采集时间长，和个体差异大等问题，可有效地根据采集到的复杂生物数据的动态变化实现多功能的用途，如疾病诊断、身份识别和动作识别等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。