图像处理方法、装置及设备与流程

文档序号:32607428发布日期:2022-12-20 18:11阅读:54来源:国知局
图像处理方法、装置及设备与流程

1.本技术涉及计算机技术领域,具体涉及一种图像处理方法、装置及设备。


背景技术:

2.在医疗健康领域,医生可以通过显微设备观察细胞图片进行病理诊断, 然而,由于基层医院细胞学病理医生匮乏,且由于病理医生的不一致性、以 及学医成本高等原因,已有广泛的研究试图通过人工智能技术辅助病理医生 进行诊断。
3.然而,在相关技术中,只能排除细胞切片中的大部分阴性细胞,仍然需 要医生人工检查细胞切片做出判断,并且存在准确度较低的缺点。


技术实现要素:

4.本技术实施例提供一种图像处理方法、装置及设备,提高了对病理细胞 分类的准确性,并减少病理医生的工作量。
5.一方面,提供一种图像处理方法,应用于计算机设备,所述计算机设备 部署有级联的细胞检测模型和全片分类模型,所述方法包括:
6.获取目标数字切片的多个视野图像;
7.基于所述细胞检测模型提取每个所述视野图像中的阳性细胞所对应的细 胞图像特征和阳性概率;
8.基于所述视野图像中阳性细胞所对应的阳性概率,确定所述目标数字切 片中的目标阳性细胞;
9.当所述目标阳性细胞所对应的阳性概率与可疑概率区间相匹配时,基于 所述全片分类模型,根据所述阳性细胞所对应的细胞图像特征和阳性概率, 确定所述目标数字切片的切片类别。
10.另一方面,提供一种图像处理装置,应用于计算机设备,所述计算机设 备部署有级联的细胞检测模型和全片分类模型,包括:
11.第一获取模块,用于获取目标数字切片的多个视野图像;
12.第二获取模块,用于基于所述细胞检测模型提取每个所述视野图像中的 阳性细胞所对应的细胞图像特征和阳性概率;
13.第一确定模块,用于基于所述视野图像中阳性细胞所对应的阳性概率, 确定所述目标数字切片中的目标阳性细胞;
14.第二确定模块,用于当所述目标阳性细胞所对应的阳性概率与可疑概率 区间相匹配时,基于所述全片分类模型,根据所述阳性细胞所对应的细胞图 像特征和阳性概率,确定所述目标数字切片的切片类别。
15.另一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存 储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实 施例所述的图像处理方法中的步骤。
16.另一方面,提供一种计算机设备,所述计算机设备包括处理器和存储器, 所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的 所述计算机程序,用于执行如上任一实施例所述的图像处理方法中的步骤。
17.另一方面,提供一种计算机程序产品,包括计算机指令,所述计算机指 令被处理器执行时实现如上任一实施例所述的图像处理方法中的步骤。
18.本技术实施例提供了一种图像处理方法、装置和设备,通过获取目标数 字切片的多个视野图像,然后基于细胞检测模型提取每个视野图像中的阳性 细胞所对应的细胞图像特征和阳性概率,然后基于视野图像中阳性细胞所对 应阳性概率,确定目标数字切片中的目标阳性细胞,当目标阳性细胞所对应 的阳性概率与可疑概率区间相匹配时,基于全片分类模型,根据阳性细胞所 对应的细胞图像特征和阳性概率,确定目标数字切片的切片类别。本技术实 施例通过将细胞检测模型和全片分类模型进行级联,基于细胞检测模型检测 目标数字切片中的阳性细胞,得到阳性细胞所对应的特征图和阳性概率,先 确定目标阳性细胞,并根据目标阳性细胞所对应的阳性概率对目标数字切片 的切片类别进行第一次判定,若目标阳性细胞所对应的阳性概率与可以概率 区间相匹配,则基于全片分类模型确定目标数字切片的切片类别,从而对目 标数字切片的病理类别进行判断,从而辅助病理医生进行细胞学诊断,减少 医生的工作量,提高效率和准确率。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中 所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提 下,还可以根据这些附图获得其他的附图。
20.图1为本技术实施例提供的图像处理方法的第一流程示意图。
21.图2为本技术实施例提供的图像处理方法的第一应用场景示意图。
22.图3为本技术实施例提供的图像处理方法的第二应用场景示意图。
23.图4为本技术实施例提供的图像处理方法的第三应用场景示意图。
24.图5为本技术实施例提供的图像处理方法的第二流程示意图。
25.图6为本技术实施例提供的图像处理装置的结构示意图。
26.图7为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而 不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
28.本技术实施例提供一种图像处理方法、装置、计算机设备和存储介质。 具体地,本技术实施例的图像处理方法可以由计算机设备执行,其中,该计 算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、 笔记本电脑、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备, 终端还可以包括客户端,该客户端可以是应用程序客
户端、浏览器客户端或 即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服 务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、 云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安 全服务、内容分发网络(content delivery network,cdn)、以及大数据和人 工智能平台等基础云计算服务的云服务器。
29.本技术实施例可应用于各种场景,包括但不限于人工智能医疗技术、机 器学习等各种场景。其中,人工智能医疗技术场景可以包括医疗诊断等应用 场景。
30.首先,在对本技术实施例进行描述的过程中出现的部分名词或者术语作 如下解释:
31.人工智能(artificial intelligence,简称ai)是利用数字计算机或者数字计算 机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识 获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算 机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人 类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器 的设计原理与实现方法,使机器具有感知、推理与决策的功能。
32.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也 有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯 片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等 技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语 言处理技术以及机器学习/深度学习等几大方向。
33.计算机视觉技术(computer vision,简称cv)计算机视觉是一门研究如何 使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目 标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适 合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究 相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智 能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图 像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重 建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常 见的人脸识别、指纹识别等生物特征识别技术。
34.机器学习(machine learning,简称ml)是一门多领域交叉学科,涉及概率 论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算 机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有 的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计 算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深 度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、 式教学习等技术。
35.残差网络(residual network,resnet)是一种卷积神经网络,残差网络 的特点是容易优化,并且能够通过增加相当的深度来提高准确率。
36.faster-rcnn(一种目标检测算法)发表于2015年的论文《faster r-cnn: towards real-time object detection with region proposal networks(基于区域 提议网络的实时目标检测)》。该算法最大的创新点是提出了rpn(regionproposal network)网络,利用anchor(锚点)机制将区域生成与卷积网络联 系到一起。
37.全视野数字切片(whole slide image,wsi)是一种高分辨率的数字病理 图像,一张病理切片数字化后就形成一个wsi,其所包含的巨大信息为数字病 理的定量分析提供了可靠的基础。
38.阴阳性:阴性在医学检查中,一般来说是代表正常,阳性代表有问题。阴 性和阳性在医学上使用得较多,已成为一种术语,是泛指存在与否,或用来 表示某种检查的结果。通常,阳性多数表示疾病或者发生某种病变;阴性, 则多数否定或排除某种病变的可能性。
39.宫颈癌,是威胁女性健康最常见的恶性肿瘤之一,集中高发于经济欠发 达的发展中国家。宫颈癌病因明确,可以通过筛查、早期诊断和早期治疗, 有效减少发病率和死亡率。目前,有效的筛查方案包括高危型hpv检测、宫 颈细胞学筛查和两者联合筛查等模式。宫颈细胞学筛查是基于宫颈细胞涂片 进行病理诊断,属于细胞形态学诊断。
40.在相关技术中,可以通过神经网络模型辅助病理医生进行病理诊断,然 而,目前只能排除切片中大部分的阴性细胞,从而减少病理医生的工作量, 仍然需要医生检查每个阳性切片后做出诊断。在相关的全片分析技术中,仍 然存在准确性较低的问题。
41.因此,本技术实施例提出一种图像处理方法,通过将细胞检测模型和全 片分类模型进行级联,基于细胞检测模型检测目标数字切片中的阳性细胞, 得到阳性细胞的特征图和阳性细胞的阳性概率,若根据阳性概率第一次判定 目标数字切片为可疑阳性切片,则通过全片分类模型确定目标数字切片的切 片阳性概率,并根据该切片阳性概率第二次判定目标数字切片的切片类别, 从而对目标数字切片的病理类别进行判断,从而辅助病理医生进行细胞学诊 断,减少医生的工作量,提高效率和准确率。
42.以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对 实施例优先顺序的限定。
43.本技术各实施例提供了一种图像处理方法,该方法可以由终端或服务器 执行,也可以由终端和服务器共同执行;本技术实施例以图像处理方法由服 务器执行为例来进行说明。
44.请参阅图1至图5,图1、图5均为本技术实施例提供的图像处理方法的流 程示意图,图2至图4均为本技术实施例提供的图像处理方法的应用场景示意 图。该方法可以应用于计算机设备,该计算机设备部署有级联的细胞检测模 型和全片分类模型,包括:
45.101,获取目标数字切片的多个视野图像。
46.其中,细胞检测模型用于检测视野图像中的阳性细胞所对应的细胞图像 和阳性概率,并根据阳性细胞所对应的阳性概率第一次判定目标数字切片的 切片类别。全片分类模型用于若第一次判定目标数字切片为可疑阳性切片, 则第二次判定目标数字切片的切片类别。其中,可以认为切片类别即目标数 字切片的病理类别。其中,第一次判定的病理类别可以包括阳性、阴性、可 疑阳性的其中之一者。
47.其中,目标数字切片可以为全视野数字切片(whole slide images,简称 wsi)。
48.在本实施例中,步骤101可以包括:获取目标数字切片;基于目标数字切 片进行前景提取,得到目标数字切片的前景区域;基于网格划分方式将前景 区域切分为预设大小的多个视野图像。
49.具体地,可以通过网格切分方式,将一张wsi且分为不同的视野图像。 具体地,针对一张wsi,首先,可以采用传统图像分割方法提取前景区域(细 胞区域),然后,对前景区
域基于网格划分方式切分成固定大小的视野图像, 其中,本技术对视野图像的固定大小不作限定,可以根据细胞检测模型确定, 比如,该固定大小可以设置为1280x1280。
50.譬如,请参阅图2,将wsi输入计算机设备,计算机设备采用传统的图像 分割方法,提取除wsi的前景区域,即细胞区域,然后基于网格划分方式, 将前景区域切分成固定大小的视野图像。然后,将切分得到的视野图像输入 细胞检测模型。
51.容易理解的是,通常wsi中包含细胞的数量级十分庞大,为了降低后续 进行细胞特征提取的难度,以及提高后续对细胞处理的效率,可以先将wsi 切分为多个视野图像,然后分别对每个视野图像进行后续处理。
52.102,基于细胞检测模型提取每个视野图像中的阳性细胞所对应的细胞图 像特征和阳性概率。
53.其中,细胞检测模型是根据标注了阳性细胞的阳性视野图像和未标注阳 性细胞的阴性视野图像训练得到的,通过输入视野图像,该细胞检测模型即 可输出视野图像中阳性细胞所对应的细胞图像特征和阳性概率。
54.具体地,细胞检测模型可以采用常用的两阶段检测模型,分别采用fasterrcnn和采用imagenet数据集进行预训练的resnet50,其中,模型的检测类 别可以设置为1个类别,即检测视野图像的阳性细胞。
55.其中,阳性概率用于表征细胞为阳性细胞的概率。具体地,若该阳性概 率大于预设的阳性阈值,则可以确定阳性细胞的病理类别为阳性。若该阳性 概率小于预设的阴性阈值,则可以确定阳性细胞的病理类别为阴性。若该阳 性概率不小于预设的阴性阈值并不小于预设的阴性阈值,则需要与细胞检测 模型级联的全片分类模型确定该视野图像的病理类别。如此,基于两个模型 的级联系统,可以大大提高模型病例分析的准确性。
56.103,基于视野图像中阳性细胞所对应的阳性概率,确定目标数字切片中 的目标阳性细胞。
57.其中,目标阳性细胞所对应的阳性概率可以用于第一次判定目标数字切 片的切片类别,第一次判定的切片类别可以包括阳性切片、阴性切片、可疑 阳性切片中的其中之一者。
58.在一些实施例中,步骤103主要可以包括:将目标数字切片的所有阳性细 胞中阳性概率最大的阳性细胞确定为目标阳性细胞。
59.具体地,将阳性概率中最大的阳性概率确定为目标阳性细胞对应的阳性 概率,通过将目标阳性细胞对应的阳性概率与各个概率区间相匹配,即通过 将阳性概率中最大的阳性概率与各个概率区间相匹配,若最大的阳性概率与 阳性概率区间相匹配,则可以确定该视野图像存在病理特征为阳性的细胞, 则可以确定该目标数字切片的切片类别为阳性切片。若最大的阳性概率与阴 性概率区间相匹配,则可以确定所有细胞的阳性概率均与阴性概率区间相匹 配,则可以确定该目标数字切片的切片类别为阴性切片。
60.在一些实施例中,步骤103主要可以包括:按照阳性概率对阳性细胞降序 排序;将排序顺序中位于前第一预设数量的阳性细胞确定为目标数字切片中 的目标阳性细胞;以及对排序顺序中位于前第一预设数量的阳性细胞所对应 的阳性概率求平均值,并将平均值确定为目标阳性细胞所对应的阳性概率。
61.其中,本技术对第一预设数量不作限定。通常,细胞数量的数量级较大, 因此,可
以取排序顺序中位于前第一预设数量的阳性细胞,作为目标阳性细 胞。具体地,可以认为目标阳性细胞为所有阳性细胞中阳性特征较为显著的 细胞。因此,可以对前第一预设数量的阳性细胞对应的阳性概率求平均值, 即阳性特征较为显著的阳性概率求平均值,并将该平均值确定为目标阳性细 胞所对应的阳性概率,之后根据该目标阳性细胞所对应的阳性概率判定目标 数字切片的切片类别。譬如,可以将排序顺序中前三个阳性细胞确定为目标 阳性细胞,以及对排序顺序中前三个阳性细胞对应的阳性概率求平均值,并 将该平均值确定为目标阳性细胞所对应的阳性概率,若目标阳性细胞所对应 的阳性概率与阳性概率区间相匹配,则可以确定该视野图像存在病理特征为 阳性的细胞,则可以确定该目标数字切片的切片类别为阳性。若目标阳性细 胞所对应的阳性概率与阴性概率区间相匹配,则可以确定所有阳性细胞的阳 性概率均与阴性概率区间相匹配,则可以确定该目标数字切片的切片类别为 阴性。
62.在本实施例中,细胞检测模型获取到所有视野图像的检出结果后,该检 出结果可以包括所有视野图像中的阳性细胞所对应的细胞图像特征和阳性概 率,可以合并所有视野图像的检出结果,并基于合并后的检出结果按照阳性 概率对所有阳性细胞进行排序,取排序顺序中前一定数量的阳性细胞,将前 一定数量的阳性细胞中概率最大的阳性细胞确定为目标阳性细胞。
63.同理,在本实施例中,细胞检测模型获取到所有视野图像的检出结果后, 可以合并所有视野图像的检出结果,并基于合并后的检出结果按照阳性概率 阳性细胞进行排序,取排序顺序中前一定数量的阳性细胞,之后,将前一定 数量的阳性细胞中前第一预设数量的阳性细胞确定为目标阳性细胞,并对前 第一预设数量的阳性细胞所对应的阳性概率求平均值,并将该平均值确定为 目标阳性细胞所对应的阳性概率。
64.其中,该前一定数量的阳性细胞可以为下述前第二预设数量的阳性细胞。 即,可以先从合并后的检出结果中取前第二预设数量的阳性细胞作为可疑阳 性细胞,然后将该前第二预设数量的可疑阳性细胞中前第一预设数量可疑阳 性细胞确定为目标阳性细胞,以及根据该前第二预设数量的可疑阳性细胞中 前第一预设数量可疑阳性细胞对应的阳性概率确定目标阳性细胞所对应的杨 概率。
65.在本实施例中,以宫颈液基细胞的诊断场景为例说明,因宫颈液基细胞 诊断主要是为了筛查上皮内病变,阳性细胞可以但不限于分为至少6种阳性细 胞,具体如下:非典型鳞状细胞(atypical squamouscells of undeterminedsignificance,简称asc-us),低度鳞状上皮内病变(lowsquamous intraepitheliallesion,简称lsil),非典型鳞状细胞(atypical squamouscell-cannot excludehisl,简称asch),高度鳞状上皮内病变(high squamousintraepithelial lesion, 简称hsil),鳞癌(squamous cell carcinoma,简称scc)和非典型腺细胞(atypicalglandular cells,简称agc)。其中,上述阳性细胞的区别可以但不限在于处于 不同的病理周期,例如非典型鳞状细胞倾向于高度病变,处于高度病变周期 等。
66.在一些实施例中,该方法还可以包括:若目标阳性细胞所对应的阳性概 率与阳性概率区间相匹配,则判定目标数字切片的切片类别为阳性切片,其 中,阳性概率区间内的最小概率大于可疑概率区间内的最大概率;若目标阳 性细胞所对应的阳性概率与阴性概率区间相匹配,则确定判定目标数字切片 的切片类别为阴性切片,其中,阴性概率区间内
的最大概率小于可疑概率区 间内的最小概率。
67.其中,可疑概率区间为介于阳性概率区间和阴性概率区间之间的一个概 率区间,譬如,阳性概率区间为大于t2,阴性概率区间为小于t1,其中,t2大 于t1,则可以认为t1到t2为可疑概率区间。若目标阳性细胞所对应的阳性概率 大于t2,即与阳性概率区间相匹配,则可以确定该视野图像的病理类别为阳 性。若目标阳性细胞所对应的阳性概率小于t1,即与阴性概率区间相匹配, 则可以确定该视野图像的病理类别为阴性。
68.具体地,若目标阳性细胞所对应的阳性概率与可以概率区间相匹配,则 可以认为目标数字切片为可疑阳性切片,即目前无法准确判断目标数字切片 为阳性切片还是阴性切片,为了准确判定目标数字切片的切片类别,可以基 于全片分类模型,根据阳性细胞所对应的细胞图像特征和阳性概率,准确判 断目标数字切片的切片阳性概率。
69.104,当目标阳性细胞所对应的阳性概率与可疑概率区间相匹配时,基于 全片分类模型,根据阳性细胞所对应的细胞图像特征和阳性概率,确定目标 数字切片的切片类别。
70.其中,当目标阳性细胞所对应的阳性概率与可疑概率区间相匹配时,可 以第一次判定该目标数字切片的切片类别为可疑阳性切片,接着,基于全片 分类模型,根据阳性细胞所对应的细胞图像特征和阳性概率进行第二次判定。 其中,第二次判定的切片类别包括阳性切片、阴性切片中的其中之一者,可 疑概率区间为介于阳性概率区间和阴性概率区间之间的概率区间。
71.在本实施例中,步骤104主要可以包括:根据阳性细胞所对应的细胞图像 特征和阳性概率,确定目标数字切片所对应的切片阳性概率;根据切片阳性 概率确定目标数字切片的切片类别。
72.其中,全片分类模型是根据细胞检测模型输出的标注了切片类别(阳性 切片或者阴性切片)的wsi的可疑阳性细胞对应的细胞图像特征训练得到的, 通过输入可疑阳性细胞对应的细胞图像特征,该全片分类模型即可得到目标 数字切片的切片类别。
73.其中,该切片阳性概率用于表征该目标数字切片的切片类别为阳性切片 的概率。根据该切片阳性概率,可以预测目标数字切片的切片类别。譬如, 若目标数字切片的切片阳性概率大于预设的全片阳性阈值,则确定该目标数 字切片的切片类别为阳性切片;若目标数字切片的切片阳性概率不大于预设 的全片阳性阈值,则确定该目标数字切片的切片类别为阴性切片。
74.在本实施例中,步骤“根据阳性细胞所对应的细胞图像特征和阳性概率, 确定目标数字切片所对应的切片阳性概率”主要可以包括:按照阳性概率对 阳性细胞降序排序,并将排序顺序中位于前第二预设数量的阳性细胞确定为 可疑阳性细胞;根据可疑阳性细胞所对应的细胞图像特征、以及目标阳性细 胞所对应的细胞图像特征,确定目标数字切片所对应的切片阳性概率。
75.其中,当目标阳性细胞为按照阳性概率对阳性细胞降序排序后,位于前 第一预设数量的阳性细胞时,该目标阳性细胞所对应的特征可以为目标阳性 细胞所对应的特征的融合特征。
76.具体地,请参阅图2,视野图像输入细胞检测模型后,细胞检测模型输出 视野图像中阳性细胞所对应的阳性特征图以及阳性概率,根据阳性概率对阳 性特征图进行排序,可
以选取排序中前第二预设数量个阳性细胞特征图作为 可疑阳性细胞特效图。其中,本技术对第二预设数量不作限定,譬如,在本 实施例中,该第二预设数量可以设置为32,即选择排序中前32个阳性细胞特 效图作为可疑阳性细胞特效图,然后,将可疑阳性细胞特效图输入全片模型。
77.在本实施例中,步骤“根据可疑阳性细胞所对应的细胞图像特征、以及 目标阳性细胞所对应的细胞图像特征,确定目标数字切片所对应的切片阳性 概率”可以包括:对可疑阳性细胞所对应的细胞图像特征进行融合,得到第 一融合特征;将第一融合特征与目标阳性细胞所对应的细胞图像特征进行融 合,得到第二融合特征;根据第二融合特征确定目标数字切片所对应的切片 阳性概率。
78.具体地,请参阅图3,通过将wsi的32个可疑阳性细胞所对应的细胞图像 特征输入全片分类模型,该全片分类模型的自注意力模块(self-attention模块) 对可疑阳性细胞所对应的细胞图像特征进行融合,并通过注意力机制 (attention)来融合所有的细胞特征,得到第一融合特征。然后,全片分类模 型将第一融合特征和目标阳性细胞所对应的细胞图像特征进一步融合来增 强,具体的融合方式是将第一融合特征和目标阳性细胞所对应的细胞图像特 征拼接(concat)在一起,然后再通过一个线性层(linear)来进一步融合, 得到第二融合特征。然后。通过全片分类模型的分类器(classifier)就可以 得到切片阳性概率。
79.具体地,通过将32个可疑阳性细胞的特征进行融合,可以增强wsi对应 特征的完整性,根据融合的特征预测wsi的切片阳性概率,可以提高预测的 准确性。
80.在一些实施例中,在101之前,还可以包括:获取样本图像集合,样本图 像集合包括多个已标注样本数字切片图像以及每个已标注样本数字切片图像 的真值标签,真值标签包括每个已标注样本数字切片图像上样本阳性细胞的 标注位置,以及每个样本数字切片图像上样本阳性细胞的真值阳性概率;将 样本图像集合输入初始细胞检测模型,以训练得到细胞检测模型。
81.容易理解的是,人工智能最大的特点就是学习能力强,通过将标注的样 本数据输入拥有随机参数的初始模型进行训练,在出现误差时调整初始模型 的参数,通过大量的训练之后,可以形成所需模型。
82.在一些实施例中,步骤“将样本图像集合输入初始细胞检测模型,以训 练得到细胞检测模型”主要可以包括:将样本图像集合输入初始细胞检测模 型,并获取初始细胞检测模型根据已标注样本数字切片图像确定的样本阳性 细胞的预测位置,以及样本阳性细胞的预测阳性概率;根据预测位置、预测 阳性概率,以及标注位置、真值阳性概率确定第一损失函数;根据第一损失 函数对初始细胞检测模型进行训练,得到细胞检测模型。
83.在本实施例中,上述已标注的样本数字切片图像的真值标签包括样本阳 性细胞的标注位置,以及样本阳性细胞的真值阳性概率。具体地,可以通过 标注框对样本阳性细胞进行标注,主要可以包括标注框的中心点坐标信息, 标注框的长度和宽度信息。具体地,样本图像集合还可以包括未标注样本数 字切片图像,即为阴性样本。可以将已标注样本数字切片图像记为正样本, 将未标注样本数字切片图像记为负样本,正负样本可以按比例分配。之后, 将样本图像集合输入初始细胞检测模型,并根据初始细胞检测模型输出的结 果以及已标注样本数字切片图像的真值标签确定损失函数,对初始细胞检测 模型进行训练。
84.在本实施例中,步骤“根据预测位置、预测阳性概率,以及标注位置、 真值阳性概率确定第一损失函数”可以包括:根据第一预设比例和已标注样 本数字切片图像确定第一验证样本;根据初始细胞检测模型根据第一验证样 本确定的第一验证样本中样本阳性细胞的预测位置、第一验证样本中样本阳 性细胞的预测阳性概率,以及第一验证样本中样本阳性细胞的标注位置、第 一验证样本中样本阳性细胞的真值阳性概率确定第一损失函数。
85.容易理解的是,为了提高训练的效率,可以按照比例从样本图像集合中 选择一部分样本数字切片图像作为验证样本,根据验证样本确定损失函数, 对初始检测模型进行训练。值得注意的是,本技术对第一预设比例不作限定, 可以自定义。
86.譬如,请参阅图4,其中,左侧有标注框的样本数字切片图像为阳性样本, 右侧不存在标注的样本数字切片图像为阴性样本。
87.在本实施例中,该方法还可以包括:基于训练得到的细胞检测模型,提 取多个样本数字切片图像中的可疑阳性细胞所对应的细胞图像特征;将多个 可疑阳性细胞所对应的细胞图像特征输入初始全片分类模型,以训练得到全 片分类模型。
88.具体地,已标注样本数字切片图像的真值标签还包括该样本数字切片图 像的真值切片阳性概率。将可疑阳性细胞的特征输入初始全片分类模型,并 根据初始全片分类模型输出的结果以及样本数字切片图像对应的真值切片阳 性概率确定损失函数,对初始全片分类模型进行训练,得到全片分类模型。
89.在一些实施例中,步骤“将多个样本可疑阳性细胞所对应的细胞图像特 征输入初始全片分类模型,以训练得到全片分类模型”可以包括:将多个样 本可疑阳性细胞所对应的细胞图像特征输入初始全片分类模型,并获取初始 全片分类模型根据多个样本可疑阳性细胞所对应的细胞图像特征确定的已标 注样本数字切片图像的预测切片阳性概率;根据预测切片阳性概率,和已标 注样本数字切片图像的真值切片阳性概率确定第二损失函数;根据第二损失 函数对初始全片分类模型进行训练,得到全片分类模型。
90.同理,为了提高训练的效率,可以按照比例从样本图像集合中选择一部 分样本数字切片图像作为验证样本,根据验证样本确定第二损失函数,对初 始全片分类模型进行训练。步骤“根据预测切片阳性概率,和已标注样本数 字切片图像的真值切片阳性概率确定第二损失函数”可以包括:根据第二预 设比例和已标注样本数字切片图像确定第二验证样本;基于全片分类模型根 据第二验证样本对应的多个样本可疑阳性细胞确定的第二验证样本的预测切 片阳性概率,以及第二验证样本的真值切片阳性概率确定第二损失函数。
91.具体地,训练得到的全片分类模型,根据wsi的多个可疑阳性细胞的特 征,可以输出wsi的切片阳性概率。该切片阳性概率用于表征该wsi切片的阳 性概率。
92.为了更好的说明本技术实施例提供的图像处理方法,请参阅图5,本申 请实施例提供的图像处理方法的流程可总结归纳为下述步骤:
93.步骤201,通过细胞检测模型获取目标数字切片的多个视野图像。
94.其中,目标数字切片可以为全视野数字切片(wsi)。可以通过网格切分方 式,将一张wsi且分为不同的视野图像。具体地,针对一张wsi,首先,可以 采用传统图像分割方法提取前景区域(细胞区域),然后,对前景区域基于网 格划分方式切分成固定大小的视野图像,其中,本技术对视野图像的固定大 小不作限定,可以根据细胞检测模型确定,比如,该固定大小可以设置为 1280x1280。
95.步骤202,基于细胞检测模型提取每个视野图像中的阳性细胞所对应的细 胞图像特征和阳性概率。
96.其中,细胞检测模型是根据标注了阳性细胞的阳性视野图像和未标注阳 性细胞的阴性视野图像训练得到的,通过输入视野图像,该细胞检测模型即 可输出视野图像中阳性细胞所对应的细胞图像特征和阳性概率。
97.步骤203,基于视野图像中阳性细胞所对应的阳性概率,确定目标数字切 片中的目标阳性细胞,以及确定目标阳性细胞所对应的阳性概率。
98.在一些实施例中,步骤203主要可以包括:将目标数字切片的所有阳性细 胞中阳性概率最大的阳性细胞确定为目标阳性细胞。
99.具体地,将阳性概率中最大的阳性概率确定为目标阳性细胞对应的阳性 概率,通过将目标阳性细胞对应的阳性概率与各个概率区间相匹配,即通过 将阳性概率中最大的阳性概率与各个概率区间相匹配,若最大的阳性概率与 阳性概率区间相匹配,则可以确定该视野图像存在病理特征为阳性的细胞, 则可以确定该目标数字切片的切片类别为阳性切片。若最大的阳性概率与阴 性概率区间相匹配,则可以确定所有细胞的阳性概率均与阴性概率区间相匹 配,则可以确定该目标数字切片的切片类别为阴性切片。
100.在一些实施例中,步骤103主要可以包括:按照阳性概率对阳性细胞降序 排序;将排序顺序中位于前第一预设数量的阳性细胞确定为目标数字切片中 的目标阳性细胞;以及对排序顺序中位于前第一预设数量的阳性细胞所对应 的阳性概率求平均值,并将平均值确定为目标阳性细胞所对应的阳性概率。
101.其中,本技术对第一预设数量不作限定。通常,细胞数量的数量级较大, 因此,可以取排序顺序中位于前第一预设数量的阳性细胞,作为目标阳性细 胞。具体地,可以认为目标阳性细胞为所有阳性细胞中阳性特征较为显著的 细胞。因此,可以对前第一预设数量的阳性细胞对应的阳性概率求平均值, 即阳性特征较为显著的阳性概率求平均值,并将该平均值确定为目标阳性细 胞所对应的阳性概率,之后根据该目标阳性细胞所对应的阳性概率判定目标 数字切片的切片类别。譬如,可以将排序顺序中前三个阳性细胞确定为目标 阳性细胞,以及对排序顺序中前三个阳性细胞对应的阳性概率求平均值,并 将该平均值确定为目标阳性细胞所对应的阳性概率,若目标阳性细胞所对应 的阳性概率与阳性概率区间相匹配,则可以确定该视野图像存在病理特征为 阳性的细胞,则可以确定该目标数字切片的切片类别为阳性。若目标阳性细 胞所对应的阳性概率与阴性概率区间相匹配,则可以确定所有阳性细胞的阳 性概率均与阴性概率区间相匹配,则可以确定该目标数字切片的切片类别为 阴性。
102.步骤204,根据目标阳性细胞所对应的阳性概率对目标数字切片的切片类 别进行第一次判定。
103.其中,第一次判定的切片类别可以包括阳性切片、阴性切片、可疑阳性 切片中的其中之一者。
104.具体地,若目标阳性细胞所对应的阳性概率与阳性概率区间相匹配,则 确定目标数字切片为阳性切片,其中,阳性概率区间内的最小概率大于可疑 概率区间内的最大概率。若目标阳性细胞所对应的阳性概率与阴性概率区间 相匹配,则确定目标数字切片为阴性切片,其中,阴性概率区间内的最大概 率小于可疑概率区间内的最小概率。
105.步骤205,若目标阳性细胞所对应的阳性概率与可疑概率区间相匹配,则 判定目标数字切片的切片类别为可疑阳性切片,并基于全片分类模型,根据 可疑阳性细胞所对应的细胞图像特征和目标阳性细胞所对应的细胞图像特 征,确定目标数字切片的切片阳性概率,以及根据切片阳性概率第二次判定 目标数字切片的切片类别。
106.其中,可疑概率区间为介于阳性概率区间和阴性概率区间之间的概率区 间,可疑阳性细胞为阳性细胞中按照阳性概率降序排列后,在排列顺序中位 于前第二预设数量的阳性细胞。
107.其中,第二次判定的切片类别包括阳性切片、阴性切片中的其中之一者。
108.其中,全片分类模型是根据细胞检测模型输出的标注了病理类别(阳性 或者阴性)的wsi的可疑阳性细胞所对应的细胞图像特征训练得到的,通过 输入可疑阳性细胞所对应的细胞图像特征,该全片分类模型即可确定目标数 字切片的切片阳性概率。其中,该切片阳性概率用于表征该目标数字切片为 阳性切片的概率。根据该切片阳性概率,可以预测目标数字切片的病理类别。 譬如,若目标数字切片的切片阳性概率大于预设的全片阳性阈值,则确定该 目标数字切片为阳性切片;若目标数字切片的切片阳性概率不大于预设的全 片阳性阈值,则确定该目标数字切片为阴性切片。
109.其中,可疑概率区间为介于阳性概率区间和阴性概率区间之间的一个概 率区间,譬如,阳性概率区间为大于t2,阴性概率区间为小于t1,其中,t2大 于t1,则可以认为t1到t2为可疑概率区间。若目标阳性细胞所对应的阳性概率 大于t2,即与阳性概率区间相匹配,则可以确定该视野图像的病理类别为阳 性。若目标阳性细胞所对应的阳性概率小于t1,即与阴性概率区间相匹配, 则可以确定该视野图像的病理类别为阴性。
110.在本实施例中,该图像处理方法可以但不限于应用在宫颈液基细胞诊断 场景下,例如,先将宫颈液基细胞扫描成wsi,然后,将wsi切分为固定大 小的视野图像,并将视野图像输入细胞检测模型。细胞检测模型根据视野图 像提取视野图像中的阳性细胞所对应的细胞图像特征和阳性概率,然后,若 目标阳性细胞所对应的阳性概率(阳性概率中最大的阳性概率)与可疑概率 区间相匹配,则将可疑阳性细胞所对应的细胞图像特征输入全片分类模型, 该全片分类模型根据该可疑阳性细胞所对应的细胞图像特征和目标阳性细胞 所对应的细胞图像特征,确定wsi的切片阳性概率,根据该切片阳性概率可 以确定wsi的病理类别(阳性切片或阴性切片)。容易理解的是,该图像处 理方法可以但不限于辅助病理医生进行宫颈液基细胞诊断,并减少病理医生 的工作量,提升病理医生的工作效率,也可以但不限于代替病理医生进行宫 颈液基细胞诊断,以确定病理切片的病理类别,以及记录阳性切片中对应的 阳性细胞区域,进而实现了提高宫颈液基细胞的诊断效率的效果。
111.上述所有的技术方案,可以采用任意结合形成本技术的可选实施例,在 此不再一一赘述。
112.本技术实施例通过获取目标数字切片的多个视野图像,然后基于细胞检 测模型提取每个视野图像中的阳性细胞所对应的细胞图像特征和阳性概率, 然后基于视野图像中阳性细胞所对应的阳性概率,确定目标数字切片中的目 标阳性细胞,当目标阳性细胞所对应的阳性概率与可疑概率区间相匹配时, 基于全片分类模型,根据阳性细胞所对应的细胞图像特征和阳性概率,确定 目标数字切片的切片类别。本技术实施例通过将细胞检测模型和全片分类模 型进行级联,基于细胞检测模型检测目标数字切片中的阳性细胞,得到阳
性 细胞所对应的特征图和阳性概率,先确定目标阳性细胞,并根据目标阳性细 胞所对应的阳性概率对目标数字切片的切片类别进行第一次判定,若目标阳 性细胞所对应的阳性概率与可以概率区间相匹配,则基于全片分类模型确定 目标数字切片的切片类别,从而对目标数字切片的病理类别进行判断,从而 辅助病理医生进行细胞学诊断,减少医生的工作量,提高效率和准确率。
113.为便于更好的实施本技术实施例的图像处理方法,本技术实施例还提供 一种图像处理装置。请参阅图6,图6为本技术实施例提供的图像处理装置的 第一结构示意图。其中,该图像处理装置10可以应用于计算机设备,计算机 设备部署有级联的细胞检测模型和全片分类模型,包括:
114.第一获取模块11,用于获取目标数字切片的多个视野图像;
115.第二获取模块12,用于基于细胞检测模型提取每个视野图像中的阳性细 胞所对应的细胞图像特征和阳性概率;
116.第一确定模块13,用于基视野图像中阳性细胞所对应的阳性概率,确定 目标数字切片中的目标阳性细胞;
117.第二确定模块14,用于当目标阳性细胞所对应的阳性概率与可疑概率区 间相匹配时,基于全片分类模型,根据阳性细胞所对应的特征和阳性概率, 确定目标数字切片的切片类别。
118.可选的,第一确定模块13,可以用于:按照阳性概率对阳性细胞降序排 序;将排序顺序中位于前第一预设数量的阳性细胞确定为目标数字切片中的 目标阳性细胞;以及对排序顺序中位于前第一预设数量的阳性细胞所对应的 阳性概率求平均值,并将平均值确定为目标阳性细胞所对应的阳性概率。
119.可选的,第二确定模块14,可以用于:根据阳性细胞所对应的细胞图像 特征和阳性概率,确定目标数字切片所对应的切片阳性概率;根据切片阳性 概率确定目标数字切片的切片类别。
120.可选的,第二确定模块14,可以用于:按照阳性概率对阳性细胞降序排 序,并将排序顺序中位于前第二预设数量的阳性细胞确定为可疑阳性细胞; 根据可疑阳性细胞所对应的细胞图像特征、以及目标阳性细胞所对应的细胞 图像特征,确定目标数字切片的切片阳性概率。
121.可选的,第二确定模块14,可以用于:对可疑阳性细胞所对应的细胞图 像特征进行融合,得到第一融合特征;将第一融合特征与目标阳性细胞所对 应的细胞图像特征进行融合,得到第二融合特征;根据第二融合特征确定目 标数字切片的切片阳性概率。
122.可选的,该图像处理装置10还可以包括第三确定模块,可以用于:若目 标阳性细胞所对应的阳性概率与阳性概率区间相匹配,则判定目标数字切片 的切片类别为阳性切片,其中,阳性概率区间内的最小概率大于可疑概率区 间内的最大概率;若目标阳性细胞所对应的阳性概率与阴性概率区间相匹配, 则判定目标数字切片的切片类别为阴性切片,其中,阴性概率区间内的最大 概率小于可疑概率区间内的最小概率。
123.可选的,第一获取模块11,可以用于:获取目标数字切片;基于目标数 字切片进行前景提取,得到目标数字切片的前景区域;基于网格划分方式将 前景区域切分为预设大小的多个视野图像。
124.可选的,该图像处理装置10还可以包括:训练模块,可以用于:获取样 本图像集合,样本图像集合包括多个已标注样本数字切片图像以及每个已标 注样本数字切片图像的真值标签,真值标签包括每个已标注样本数字切片图 像上样本阳性细胞的标注位置,以及每个样本数字切片图像上样本阳性细胞 的真值阳性概率;将样本图像集合输入初始细胞检测模型,以训练得到细胞 检测模型。
125.可选的,训练模块,具体可以用于:将多样本图像集合输入初始细胞检 测模型,并获取初始细胞检测模型根据已标注数字切片图像确定的样本阳性 细胞的预测位置,以及样本阳性细胞的预测阳性概率;根据预测位置、预测 阳性概率,以及标注位置、真值阳性概率确定第一损失函数;根据第一损失 函数对初始细胞检测模型进行训练,得到细胞检测模型。
126.可选的,训练模块,还可以用于:基于训练得到的细胞检测模型,提取 多个样本数字切片图像中的样本可疑阳性细胞所对应的细胞图像特征;将多 个样本可疑阳性细胞所对应的细胞图像特征输入初始全片分类模型,以训练 得到全片分类模型。
127.可选的,已标注样本数字切片图像还标注有已标注样本数字切片图像的 真值切片阳性概率,训练模块,具体可以用于:将多个样本可疑阳性细胞所 对应的细胞图像特征输入初始全片分类模型,并获取初始全片分类模型根据 多个样本可疑阳性细胞所对应的细胞图像特征确定的已标注样本数字切片图 像的预测切片阳性概率;根据预测切片阳性概率,和已标注样本数字切片图 像的真值切片阳性概率确定第二损失函数;根据第二损失函数对初始全片分 类模型进行训练,得到全片分类模型。
128.需要说明的是,本技术实施例中的图像处理装置10中各模块的功能可对 应参考上述各方法实施例中的具体实现方式,这里不再赘述。
129.上述图像处理装置10中的各个单元可全部或部分通过软件、硬件及其组 合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处 理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器 调用执行上述各个单元对应的操作。
130.图像处理装置10,可以集成在具备储存器并安装有处理器而具有运算能 力的终端或服务器中,或者该图像处理装置10为该终端或服务器。
131.本技术实施例提供的图像处理装置10,应用于计算机设备,计算机设备 部署有级联的细胞检测模型和全片分类模型,通过第一获取模块11获取目标 数字切片的多个视野图像,接着第二获取模块12基于细胞检测模型提取每个 视野图像中的阳性细胞所对应的细胞图像特征和阳性概率,然后,第一确定 模块13基于视野图像中阳性细胞所对应的细胞图像特征和阳性概率,确定目 标数字切片中的目标阳性细胞当目标阳性细胞所对应的阳性概率与可疑概率 区间相匹配时,第二确定模块14基于全片分类模型,根据阳性细胞所对应的 细胞图像特征和阳性概率,确定目标数字切片的切片类别,从而辅助病理医 生进行细胞学诊断,减少医生的工作量,提高效率和准确率。
132.可选的,本技术还提供了一种计算机设备,包括存储器和处理器,存储 器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例 中的步骤。
133.图7为本技术实施例提供的计算机设备的结构示意图,该计算机设备可以 是图1所示的终端或服务器。如图7所示,该计算机设备20可以包括:通信接 口21,存储器22,处理
器23和通信总线24。通信接口21,存储器22,处理 器23通过通信总线24实现相互间的通信。通信接口21用于计算机设备20与 外部设备进行数据通信。存储器22可用于存储软件程序以及模块,处理器23 通过运行存储在存储器22的软件程序以及模块,例如前述方法实施例中的相 应操作的软件程序。
134.可选的,该处理器23可以调用存储在存储器22的软件程序以及模块执行 如下操作:获取目标数字切片的多个视野图像;基于细胞检测模型提取每个 视野图像中的阳性细胞所对应的细胞图像特征和阳性概率;基于视野图像中 阳性细胞所对应的阳性概率,确定目标数字切片中的目标阳性细胞;当目标 阳性细胞所对应的阳性概率与可疑概率区间相匹配时,基于全片分类模型, 根据阳性细胞所对应的细胞图像特征和阳性概率,确定目标数字切片的切片 类别。
135.本技术还提供了一种计算机可读存储介质,用于存储计算机程序。该计 算机可读存储介质可应用于计算机设备,并且该计算机程序使得计算机设备 执行本技术实施例中的图像处理方法中的相应流程,为了简洁,在此不再赘 述。
136.本技术还提供了一种计算机程序产品,该计算机程序产品包括计算机指 令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计 算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算 机设备执行本技术实施例中的图像处理方法中的相应流程,为了简洁,在此 不再赘述。
137.本技术还提供了一种计算机程序,该计算机程序包括计算机指令,计算 机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存 储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行 本技术实施例中的图像处理方法中的相应流程,为了简洁,在此不再赘述。
138.应理解,本技术实施例的处理器可能是一种集成电路芯片,具有信号的 处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬 件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理 器、数字信号处理器(digital signal processor,dsp)、专用集成电路 (application specific integrated circuit,asic)、现成可编程门阵列(fieldprogrammable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶 体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的 各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以 是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体 现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合 执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读 存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该 存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方 法的步骤。
139.可以理解,本技术实施例中的存储器可以是易失性存储器或非易失性存 储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以 是只读存储器(read-only memory,rom)、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电 可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性 存储器可以是随机存取存储器(random access memory,ram),其用作外 部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静 态随机存取存储
器(static ram,sram)、动态随机存取存储器(dynamicram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、 双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、 同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总 线随机存取存储器(direct rambus ram,dr ram)。应注意,本文描述的 系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
140.应理解,上述存储器为示例性但不是限制性说明,例如,本技术实施例 中的存储器还可以是静态随机存取存储器(static ram,sram)、动态随机 存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronousdram,sdram)、双倍数据速率同步动态随机存取存储器(double data ratesdram,ddr sdram)、增强型同步动态随机存取存储器(enhancedsdram,esdram)、同步连接动态随机存取存储器(synch link dram, sldram)以及直接内存总线随机存取存储器(direct rambus ram,drram)等等。也就是说,本技术实施例中的存储器旨在包括但不限于这些和 任意其它适合类型的存储器。
141.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各 示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结 合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
142.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描 述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应 过程,在此不再赘述。
143.在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和 方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示 意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可 以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个 系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合 或通信连接,可以是电性,机械或其它的形式。
144.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作 为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
145.另外,在本技术实施例中的各功能单元可以集成在一个处理单元中,也 可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元 中。
146.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用 时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的 技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可 以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中, 包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器)执行 本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u 盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
147.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限 于此,任
何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易 想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护 范围应所述以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1