多模态医学数据融合的评估方法、装置、设备及存储介质与流程

1.本技术涉及医疗技术领域，例如涉及一种多模态医学数据融合的评估方法、装置、设备及存储介质。


背景技术：

2.直肠癌是威胁我国居民生命健康的主要癌症之一，造成了严重的社会负担。直肠癌的主要治疗方法包括手术、放疗、化疗、靶向治疗等综合治疗手段。虽有规范的综合治疗手段，但低位直肠癌患者因肿瘤或手术造成的损伤，可能导致肛门功能受损、肛门缺失、结肠造瘘，严重影响患者生存治疗。许多局部进展期直肠癌患者因一期手术不能达到根治目的，不适合行手术治疗。目前，局部进展期直肠癌（≥ct 3 或n+）的标准治疗方式为新辅助放化疗联合全直肠系膜切除术及辅助化疗的综合治疗。新辅助治疗可有效实现肿瘤降期，提高切除率和保肛率。新辅助治疗也为保留低位直肠癌患者的器官功能提供了更好的选择。直肠癌新辅助治疗的疗效评估，即治疗后是否达到临床缓解、达到病理缓解的几率如何，是进行临床决策和评估患者预后的关键环节。
3.现阶段直肠癌新辅助治疗效果评估，多数临床指南和专家共识建议通过内镜、直肠指检、直肠核磁、血清肿瘤标志物水平及胸腹盆增强ct等多模态数据综合判断患者是否达到临床缓解或接近临床缓解。直肠癌新辅助治疗效果的评估依赖于拥有包括外科、内科、放疗科、影像科、消化内镜、病理科等科室经验丰富专家的肿瘤多学科诊疗团队。由于缺乏某些专业方向的专家，导致许多医疗机构不能很好的开展直肠癌新辅助治疗。对于专家经验的依赖，也导致对直肠癌新辅助治疗疗效的评估可能因人为因素造成判断误差和决策标准不一。临床急需一种能综合多模态医学数据、客观一致的评估直肠癌新辅助治疗疗效的工具和方法。


技术实现要素：

4.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
5.本公开实施例提供了一种多模态医学数据融合的评估方法、装置、设备及存储介质，以解决相关技术中临床医生通过人工的方式难以准确评估患者病情缓解情况，导致患者的医疗风险较高的技术问题。
6.在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估方法，包括：获取目标对象的多种模态的待评估医学数据；分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；对所述多个特征向量进行融合，得到融合特征向量；将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先
训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
7.在一些实施例中，将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵w(in)，通过第一函数对特征向量第一矩阵w(in)进行位置编码，得到特征向量第二矩阵w(p)，采用的公式如下：其中，t表示特征向量第一矩阵w(in)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵w(in)中的序号位；d表示特征向量第一矩阵w(in)的矩阵水平方向维度数量；将所述特征向量第二矩阵w(p)输入至第二函数，计算得到在子空间上的高维特征表示矩阵w(m)，采用的公式如下：其中，concat函数表示第二函数， f(1)、f(2)
……
f(i)表示对特征向量第二矩阵w(p)中的第i个特征子向量进行公式f计算；表示特征向量第一矩阵w(in)的转置；f（i）中的x表示输入的特征向量第二矩阵w(p)中的第i个特征子向量；q、k、v表示多模态融合评估模型的隐含层的参数n的线性感知层；q(x)表示对x进行线性回归；通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出 w(out) 输入至线性回归层，通过线性回归层将w(out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
8.在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：获取目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视角图像；获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；
获取目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。
9.在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：将所述第一模态数据、第二模态数据分别输入至预先训练好的神经网络模型；通过所述神经网络模型的硬连线层分别对所述所述第一模态数据、第二模态数据中的医学图像进行矩阵连接；通过所述神经网络模型的α个三维卷积模块对矩阵连接后的所述医学图像进行卷积计算和最大池化操作，提取出高维特征图；通过所述神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，分别得到第一特征向量和第二特征向量。
10.在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：将所述第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；将所述数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
11.在一些实施例中，所述神经网络模型的训练过程包括：将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使所述初始神经网络模型输出相应的初始特征向量；若所述初始特征向量满足预设要求，则所述初始神经网络模型训练成功，得到所述预先训练好的神经网络模型；若所述初始特征向量不满足预设要求，则通过调整所述初始神经网络模型中的损失参数，继续对所述初始神经网络模型进行训练，直至所述损失参数拟合并达到预设损失参数阈值，得到所述预先训练好的神经网络模型。
12.在一些实施例中，所述多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至所述交叉熵损失函数拟合。
13.在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估装置，包括：医学数据获取模块，被配置为获取目标对象的多种模态的待评估医学数据；特征向量提取模块，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；特征向量融合模块，被配置为对所述多个特征向量进行融合，得到融合特征向量；多模态融合评估模块，被配置为将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
14.在一些实施例中，本公开实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
15.在一些实施例中，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
16.本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备及存储介质，可以实现以下技术效果：本公开实施例基于人工智能对多模态医学数据进行特征提取，得到多个特征向量，对得到的多个特征向量进行融合得到融合特征向量，并基于融合特征向量利用训练好的多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
17.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
18.至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：图1是本公开实施例提供的一种多模态医学数据融合的评估方法的流程示意图；图2是本公开实施例提供的对多模态医学数据进行特征提取和数据评估的示意图；图3是本公开实施例提供的一种多模态医学数据融合的评估装置的结构示意图；图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
19.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
20.本公开实施例提供了一种多模态医学数据融合的评估方法，如图1所示，包括以下步骤：s101、获取目标对象的多种模态的待评估医学数据。
21.s102、分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量。
22.s103、对多个特征向量进行融合，得到融合特征向量。
23.s104、将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
24.在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：通过内窥镜获取目标对象的直肠癌图像数据集作为第一模态数据，其中，直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像（通常采用1
张）、近视角图像（通常采用1张）和微观视角图像（通常采用2张）；宏观视角图像是指距离肿瘤区域或距离已退缩肿瘤区域在第一预设距离区间内且正对肠腔中心的区域的全景图像，例如，将距离“肿瘤区域”或“已退缩肿瘤区域
”ꢀ
0.8mm
‑
20mm远且正对肠腔中心的区域拍摄的全景图像作为宏观视角图像；近视角图像是指肿瘤区域或者已退缩肿瘤区域的最长边界小于视野边界的预设缩放比例的图像，例如，将“肿瘤区域”或“已退缩肿瘤区域
”ꢀ
的最长边界小于视野边界的10%下拍摄的图像作为近视角图像；微观视角图像是指距离肿瘤区域或已退缩区域在预设阈值范围内（例如，在0.8mm范围内）且正对肿瘤表面的局部图像。
25.获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；可以采用自动标注或人工标注的方式分别对初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像。其中，初始直肠癌磁共振影像数据可以是目标对象在接受治疗前的数据，目标直肠癌磁共振影像数据可以是目标对象在接受治疗后的数据。
26.获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息。初始临床数据集可以是目标对象在接受治疗前的数据，目标临床数据集可以是目标对象在接受治疗后的数据。目标对象的个人信息可以包括但不限于年龄、身高、体重等信息，目标对象的病例信息可以包括但不限于恶性肿瘤家族史、肿瘤个人史、治疗方案、肿瘤位置、肿瘤分化程度、治疗前t分期、治疗前n分期、肿瘤浸润深度、肿瘤距肛缘距离等信息。
27.获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。其中，初始肿瘤标志物信息和初始血液信息可以是目标对象在接受治疗前的数据，目标肿瘤标志物信息和目标血液信息可以是目标对象在接受治疗后的数据。可选地，初始肿瘤标志物信息和目标肿瘤标志物信息可以包括但不限于糖类抗原125（ca125）、糖类抗原153（ca153）、糖类抗原199（ca199）、癌胚抗原（cea）和甲胎蛋白（afp）的数据；初始血液信息和目标血液信息可以包括但不限于红细胞、血红蛋白、血小板、血小板容积、白细胞、中性粒细胞、淋巴细胞、单核细胞、c反应蛋白、超敏c反应蛋白、总蛋白、白蛋白和前白蛋白等血常规数据。
28.在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：将第一模态数据输入至预先训练好的第一神经网络模型；通过第一神经网络模型的硬连线层对宏观视角图像、近视角图像和微观视角图像进行矩阵连接；通过第一神经网络模型的α个三维卷积模块对矩阵连接后的宏观视角图像、近视角图像和微观视角图像进行卷积计算和最大池化操作，提取出高维特征图；通过第一神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第一特征向量，其中，α可以取值为7，β可以取值为5。
29.在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第二模态数据输入至预先训练好的第二神经网络模型；通过第二神经网络模型的硬连线层对第二模态数据中标注的若干张包含肿瘤区域或已退缩肿瘤区域的切片图像进行矩阵连接；通过第二神经网络模型的α个三维卷积模块对矩阵连接后的切片图像进行卷积计算和最大池化操作，提取出高维特征图；通过第二神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第二特征向量，其中，α可以取值为5，β可以取值为3。
30.在一些实施例中，第一神经网络模型、第二神经网络模型的训练过程包括：将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使初始神经网络模型输出相应的初始特征向量；若初始特征向量满足预设要求，则初始神经网络模型训练成功，得到预先训练好的神经网络模型；若初始特征向量不满足预设要求，则通过调整初始神经网络模型中的损失参数，继续对初始神经网络模型进行训练，直至损失参数拟合并达到预设损失参数阈值，得到预先训练好的神经网络模型。
31.可选地，第一神经网络模型、第二神经网络模型可以采用三维卷积网络（3dcnn），本公开实施例对此不做限定。
32.在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：将第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；将数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
33.可选地，在对第三模态数据的进行特征提取过程中，若目标对象没有恶性肿瘤家族史，则映射成数字0；若目标对象由恶性肿瘤家族史，则映射成数字1；同样的，将其它文字描述特征映射成相应的数值特征如下所示：肿瘤个人史（无0，有1）、复发性肿瘤（是1，否0）、新辅助化疗（是1，否0）、新辅助放疗（是1，否0）、治疗方案(单药1，双药2，三药3)、肿瘤位置（直肠上1、直肠中2、直肠下3）、肿瘤分化程度（分化程度高1、分化程度中2、分化程度低3）、大小（占肠周径1/3为0, 占肠周径2/3为1, 占肠周径1周为2）。
34.如图2所示，在一些实施例中，将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果，包括：将融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵w(in)，通过第一函数对特征向量第一矩阵w(in)进行位置编码，得到特征向量第二矩阵w(p)，采用的公式如下：
其中，t表示特征向量第一矩阵w(in)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵w(in)中的序号位；d表示特征向量第一矩阵w(in)的矩阵水平方向维度数量；将特征向量第二矩阵w(p)输入至第二函数，计算得到在子空间上的高维特征表示矩阵w(m)，采用的公式如下：其中，concat函数表示第二函数， f(1)、f(2)
……
f(i)表示对特征向量第二矩阵w(p)中的第i个特征子向量进行公式f计算；表示特征向量第一矩阵w(in)的转置；f（i）中的x表示输入的特征向量第二矩阵w(p)中的第i个特征子向量；q、k、v表示多模态融合评估模型的隐含层的参数n的线性感知层；q(x)表示对x进行线性回归；通过多模态融合评估模型的编码器对各个图像特征向量进行编码，将编码器的输出 w(out) 输入至线性回归层，通过线性回归层将w(out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。通过将上述的第一、二、三、四特征向量输入至预先训练好的多模态融合评估模型，完成决策，最终得到结果为目标对象的病情完全缓解或非完全缓解的评估结果，以及与评估结果相对应的概率，例如，完全缓解的概率、非完全缓解的概率。
35.可选地，多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至交叉熵损失函数拟合。
36.本公开实施例还提供了一种多模态医学数据融合的评估装置，如图3所示，包括：医学数据获取模块301，被配置为获取目标对象的多种模态的待评估医学数据；特征向量提取模块302，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；特征向量融合模块303，被配置为对多个特征向量进行融合，得到融合特征向量；多模态融合评估模块304，被配置为将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
37.本公开实施例还提供了一种电子设备，其结构如图4所示，包括：处理器（processor）400和存储器（memory）401，还可以包括通信接口（communication interface）402和通信总线403。其中，处理器400、通信接口402、存储器401可以通过通信总线403完成相互间的通信。通信接口402可以用于信息传输。处理器400可以调用存储器401中的逻辑指令，以执行上述实施例的多模态医学数据融合的评估方法。
38.此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
39.存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程
序，如本公开实施例中的方法对应的程序指令/模块。处理器400通过运行存储在存储器401中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的多模态医学数据融合的评估方法。
40.存储器401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器。
41.本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述的多模态医学数据融合的评估方法。
42.本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述的多模态医学数据融合的评估方法上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
43.本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备和存储介质，采用三维卷积网络（3dcnn）技术，融合多视角图像，对内窥镜下直肠癌的宏观视角图像、近视角图像与微观视图图像进行融合特征提取。鉴于传统的机器学习预测模型，其输入要求有规范的数据格式，若不满足输入要求则会极大影响其性能，故本技术提出的基于人工智能的多模态融合评估模型，除了拥有出色的性能，还具有自注意权重，可依靠其自我感知能力，在数据存在部分缺失的情况下（本发明四种模态数据应至少输入三种模态数据），仍有着比较优秀的性能，可以快速且精准的输出评估结果，更加贴近临床使用场景。可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
44.本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括至少一个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
45.以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本技术中时，虽然术语“第一”、“第二”等可能会在本技术中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清
楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
46.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
47.本文所披露的实施例中，所揭露的方法、产品（包括但不限于装置、设备等），可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
48.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。