图像处理的系统和方法与流程

图像处理的系统和方法
交叉引用
1.本技术要求2020年11月26日提交的美国申请号us17/105,613的优先权，其内容通过引用结合于此。
技术领域
2.本技术涉及处理图像的系统和方法，特别涉及用于处理3d图像的系统和方法。


背景技术：

3.图像处理，特别是3d图像处理，被广泛使用。在许多情况下，应用2d图像的处理方法在切片的基础上处理3d图像可以更方便、更高效、更有效。例如，用于处理3d图像的现有技术通常使用3d样本图像训练的神经网络。然而，相对于设计应用于2d图像的神经网络，训练应用于3d图像的神经网络可能更难，而且这种神经网络的训练和使用通常消耗大量的计算资源。因此，期望提供一种用于处理3d图像的系统和方法，可以减少计算资源，并且能改善其性能，同时实现良好的3d图像质量。


技术实现要素：

4.本技术实施例一方面公开了一种用于处理3d图像的系统，包括：至少一个存储设备，包括用于处理3d图像的一组指令；以及与所述至少一个存储设备通信的至少一个处理器，其中当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行操作，所述操作包括：沿所述3d图像的一个方向，从所述3d图像获取所述方向的至少两个切片；利用转换模型处理所述方向的所述至少两个切片，获取所述方向的至少两个处理的切片，以及基于所述至少两个处理的切片，确定所述方向的转换的3d图像。
5.在一些实施例中，所述操作还包括：基于所述至少两个处理的切片，获取要显示的所述方向的至少一个第二切片。
6.在一些实施例中，所述操作还包括：沿所述3d图像的第二方向，从所述3d图像获取所述第二方向的至少两个切片；利用第二转换模型处理所述第二方向的所述至少两个切片，获取所述第二方向的至少两个处理的切片，以及基于所述至少两个处理的切片，确定所述第二方向的转换的3d图像。
7.在一些实施例中，所述操作包括：基于所述第二方向的所述至少两个处理的切片，确定所述第二方向的转换的3d图像。
8.在一些实施例中，所述转换模型与所述第二转换模型不同。
9.在一些实施例中，所述方向与所述第二方向不同。
10.在一些实施例中，所述3d图像可以为cbct图像。
11.在一些实施例中，所述转换模型可以通过以下过程获得：获取至少两个训练样本，每个训练样本包括样本msct图像和样本cbct图像，以及通过基于所述至少两个训练样本训练出事模型，以获取所述转换模型。
12.在一些实施例中，所述转换模型为图像风格转换(style-transfer)模型。
13.在一些实施例中，基于所述至少两个训练样本，训练所述初步模型包括：对于所述至少两个训练样本中的每一个，从所述训练样本的所述样本cbct图像中获取所述方向的至少两个样本cbct切片；从所述训练样本的所述样本msct图像中获取所述方向的至少两个样本msct切片；以及利用所述方向的所述至少两个样本cbct切片作为输入和所述方向的所述至少两个样本msct切片作为预期输出，训练所述初步模型。
14.在一些实施例中，对于所述至少两个训练样本中的至少一个，通过在所述训练样本的所述样本msct图像上应用模拟操作，确定所述训练样本的所述样本cbct图像。
15.在一些实施例中，所述模拟操作包括：将所述样本msct图像转换为至少一个3d阵列；至少部分地基于所述至少一个3d阵列，通过在所述样本msct图像上执行投影算法和噪声模拟算法，获得所述样本msct图像的投影值；以及通过利用重建算法重建所述投影值，获取所述样本cbct图像。
16.在一些实施例中，所述方向与所述3d图像的轴向平面、冠状平面或矢状平面中的至少一个相关。
17.在一些实施例中，所述转换模型是用于处理至少两个方向的切片的单个转换模型，所述单个转换模型通过以下过程获得：利用所述至少两个方向的至少两个样本切片训练初步模型。
18.在一些实施例中，所述至少一个处理器被配置为所述系统进一步执行所述操作还包括：沿所述3d图像的第二方向，从所述3d图像获取所述第二方向的至少两个切片；以及利用所述转换模型处理所述第二方向的所述至少两个切片，获取所述第二方向的至少两个处理的切片，所述方向与所述第二方向不同。
19.本技术一些实施例另一方面公开了一种用于处理3d图像的方法，所述方法包括：沿所述3d图像的一个方向，从所述3d图像获取所述方向的至少两个切片；利用转换模型处理所述方向的所述至少两个切片，获取所述方向的至少两个处理的切片，以及基于所述至少两个处理的切片，确定所述方向的转换的3d图像。
20.本技术一些实施例另一方面公开了一种非暂时性可读介质，所述介质包括至少一组用于处理3d图像的指令。当至少一个处理器执行所述至少一组指令时，所述至少一个处理器执行一种方法，所述方法包括：沿所述3d图像的一个方向，从所述3d图像获取所述方向的至少两个切片；利用转换模型处理所述方向的所述至少两个切片，获取所述方向的至少两个处理的切片，以及基于所述至少两个处理的切片，确定所述方向的转换的3d图像。
21.本技术一些实施例另一方面公开了一种系统，包括：至少一个存储设备，所述至少一个存储设备包括一组指令；以及与所述至少一个存储设备通信的至少一个处理器，当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行操作，所述操作包括：从不同方向的至少两个转换的3d图像中识别与所述不同方向相对应的至少两个第二切片，所述至少两个转换的3d图像通过处理3d图像的所述不同方向的第一切片获得；以及将对应于所述不同方向的所述至少两个第二切片发送到至少一个用于显示的终端。
22.在一些实施例中，所述操作还包括：生成并向所述至少一个终端发送通知，所述通知是所述至少两个第二切片是从所述至少两个转换的3d图像中获得的，其中每个所述转换的3d图像是通过处理所述不同方向中的一个方向的切片获得的。
23.在一些实施例中，通过以下方式获取所述至少两个转换的3d图像：利用至少两个转换模型处理所述不同方向的所述切片，所述至少两个转换模型中的每一个对应于所述不同方向的一个方向；以及基于所述对应方向的至少两个处理的切片，确定所述至少两个转换的3d图像中的每一个。
24.在一些实施例中，对应于所述至少两个方向的所述至少两个转换模型彼此不同。
25.在一些实施例中，通过以下方式获取所述至少两个转换的3d图像：利用转换模型处理所述不同方向的所述切片；以及基于所述相应方向的所述至少两个处理的切片，确定所述至少两个转换的3d图像中的每一个。
26.在一些实施例中，所述3d图像沿不同方向的多个视图平面的可视化通过沿相应视图平面同步显示转换3d图像的第二切片来产生，其中，所述多个方向的多个视图平面在所述3d图像中的选定点相交。所述转换3d图像是沿相同或类似方向的相应多个视图平面处理的。
27.在一些实施例中，所述选定点由用户交互地选择，或者基于预定的轨迹自动确定。
28.本技术一些实施例还公开了一种图像处理系统，包括：至少一个存储设备，所述至少一个存储设备包括一组指令；以及与至少一个存储设备通信的至少一个处理器，当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行操作，所述操作包括：获取兆伏cbct图像；利用转换模型处理所述兆伏cbct图像的切片，确定千伏msct图像；以及确定所述千伏msct图像的感兴趣区域(roi)。
29.在一些实施例中，所述操作还包括：获取治疗计划，所述治疗计划是基于所述千伏msct图像的所述roi确定的。
30.在一些实施例中，所述操作还包括：通过配准所述千伏msct图像与计划图像，确定配准结果；以及确定是否根据所述配准结果修改所述治疗计划。
31.本技术的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本技术的一部分附加特性对于本领域技术人员是明显的。通过实践或使用下面详细示例中阐述的方法、工具和组合的各种方面，可以实现本公开的特征。
附图说明
32.本技术将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图不是按照比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
33.图1是根据本技术一些实施例所示的示例性图像处理系统的示意图；
34.图2是根据本技术一些实施例所示的可实现处理设备的示例性计算设备的硬件和/或软件组件的示意图；
35.图3是根据本技术一些实施例所示的示例性移动设备的硬件和/或软件组件的示意图；
36.图4a是根据本技术一些实施例所示的示例性处理设备的框架图；
37.图4b是根据本技术一些实施例所示的示例性处理设备的框架图；
38.图5是根据本技术一些实施例所示的用于处理目标的3d图像的示例性流程图；
39.图6是根据本技术一些实施例所示的用于生成一个方向的转换模型的示例性流程图；
40.图7是根据本技术一些实施例所示的模拟操作的示例性流程图；
41.图8是根据本技术一些实施例所示的示例性测试的轴向msct切片的示意图；
42.图9是根据本技术一些实施例所示的示例性测试的矢状msct切片的示意图；
43.图10是根据本技术一些实施例所示的示例性测试的冠状msct切片的示意图；
44.图11是根据本技术一些实施例所示的示例性测试的轴向cbct切片的示意图；
45.图12是根据本技术一些实施例所示的示例性测试的矢状cbct切片的示意图；
46.图13是根据本技术一些实施例所示的示例性测试的冠状cbct切片的示意图；
47.图14是根据本技术一些实施例所示的轴向转换的3d cbct图像的示例性轴向切片的示意图；
48.图15是根据本技术一些实施例所示的轴向转换的3d cbct图像的示例性矢状切片的示意图；
49.图16是根据本技术一些实施例所示的轴向转换的3d cbct图像的示例性冠状切片的示意图；
50.图17是根据本技术一些实施例所示的示例性处理的轴向cbct切片的示意图；
51.图18是根据本技术一些实施例所示的示例性处理的矢状cbct切片的示意图；以及
52.图19是根据本技术一些实施例所示的示例性处理的冠状cbct切片的示意图。
具体实施方式
53.以下描述可以使本领域技术人员能够制造和使用本公开，并且提供在特定应用背景下的要求。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本技术的原则和范围的情况下，本技术中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本公开不限于所示的实施例，而是符合与权利要求一致的最宽的范围。
54.本技术中所使用的术语仅出于描述特定示例实施例的目的，而非限制性的。如本技术使用的单数形式“一”、“一个”及“该”同样可以包括复数形式，除非上下文明确提示例外情形。还应理解，术语“包括”在本公开中使用时，指定的存在表示特性、整数、步骤、操作、元素、和/或组件，但不排除存在或增加一个或多个其他特性、整数、步骤、操作、元素、组件和/或组等。
55.通常，这里使用的词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或者是软件指令的集合。本文描述的模块、单位或块可以实现为软件和/或硬件，并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解，可以从其他模块/单位/块或本身调用软件模块，和/或可以响应于检测到的事件或中断而调用。配置用于在计算设备上执行的软件模块/单元/块可以在计算机可读介质上提供，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或者作为数字下载(并且最初可以以压缩或可安装的格式存储，在执行之前需要安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入固
件中，例如可擦除可编程只读存储器(eprom)。还应当理解，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门和触发器，和/或可以包括可编程单元，例如可编程门阵列或处理器。这里描述的模块/单位/块或计算设备功能可以实现为软件模块/单位/块，但可以以硬件或固件表示。通常，这里描述的模块/单元/块指的是逻辑模块/单元/块，其可以与其他模块/单元/块组合或者分成子模块/子单元/子块，尽管它们是物理组织或存储器件。该描述可适用于系统、引擎或其一部分。
56.应当理解，术语“系统”、“发动机”、“单位、”单位、“模块、”和/或“块”是用于区分不同级别的不同组件、元素、零件、部分或组装的方法。然而，如果可以达到相同的目的，这些术语也可以被其他表达替换。
57.应当理解，当一个单元、发动机、模块或块被称为“开启”、“连接”或“耦合”到另一个单元、发动机、模块或块，其可以直接开启、连接或耦合、或连通到另一个单元、发动机、模块、或块、或中间的单元、发动机、模块、或块，除非上下文另有明确指示。在本技术中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
58.本公开的这些和其他特征以及结构和结构相关元件的操作和功能的方法以及制造的零件和经济体的组合，在考虑以下关于附图的描述时可能变得更加明显。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本技术的范围。应当理解的是，附图并不是按比例绘制的。
59.用于本公开的流程图示出了根据本公开中的一些实施例的系统实现的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，操作可以以反相的顺序或同时实现。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
60.本公开的一个方面涉及用于处理3d图像的系统和方法。该系统和方法可以将转换模型应用于3d图像的一个方向(例如，对应于3d图像的轴向平面、冠状平面或矢状平面的方向)的切片，并基于处理的切片获得所述方向的转换的3d图像。该系统和方法可以使用不同的转换模型来处理不同方向的切片。在一些实施例中，该模型可以被配置为通过处理较低图像质量的3d图像的某一方向的切片来生成具有改善的图像质量(根据期望的显示或任务性能而言)的3d图像。在一些实施例中，转换模型可以被配置为基于第一模态的3d图像，通过对第一模态的3d图像的特定方向的切片进行处理，生成第二模态的3d图像，其中，第一模态和第二模态不同。可以使用3d训练图像的方向的2d样本切片来训练对应于该方向的转换模型。与直接使用3d训练图像的模型训练相比，使用如本文所公开的2d样本切片的模型训练可以更容易地收敛和消耗少的计算资源。转换的3d图像或其一个或多个切片相较于原始3d图像或对应的一个或多个切片可以有改善的图像质量，例如，更少的伪影、减少的噪音、改善的显示、提高的对比度、和/或包括不同的或附加信息(例如，在第二模态的转换的3d图像中可用或可见，而在第一模态的原始3d图像中不可用或不可见)等。
61.图1是根据本技术一些实施例所示的示例性图像处理系统100的示意图。成像系统100可以包括图像获取设备110、处理设备120、存储设备130、一个或多个终端140和网络150。成像系统100中的组件可以以一种或多种方式连接。仅作为示例，图像获取设备110可以通过网络150连接到处理设备120。作为另一示例，图像获取设备110可以直接连接到处理设备120，如图1所示。作为另一示例，终端140可以经由网络150连接到成像系统100(例如，
处理设备120)的另一组件。作为又一个示例，终端140可以直接连接到处理设备120，如图1中的虚线箭头所示。作为又一个示例，存储设备130可以直接连接到成像系统100(例如，处理设备120)的另一组件，如图1所示。
62.图像获取设备110可以被配置为获取目标的图像数据。目标的图像数据可以包括图像(例如，图像切片)、投影数据等，或其组合。在一些实施例中，图像数据可以是二维(2d)图像数据、三维(3d)图像数据、四维(4d)图像数据(例如，随时间推移的一系列3d图像数据)等，或其任意组合。目标可以是生物学或非生物学的。例如，目标可以包括人、人造物体等，或其一部分。在一些实施例中，图像获取设备110可以包括医学成像设备111、相机112等。在一些实施例中，医学成像设备111可以包括计算机断层扫描(ct)设备(例如，锥形光束ct(cbct)设备、风扇光束ct(fbct)设备、多切片ct(msct)设备等)、磁共振成像(mri)设备、超声成像设备、荧光成像设备、单光子发射计算断层摄影(spect)设备、正电子发射断层扫描(pet)设备、x射线成像设备等，或其任意组合。
63.处理设备120可以处理从图像获取设备110、终端140和/或存储设备130获得的数据和/或信息。例如，处理设备120可以从图像获取设备110获得目标的2d图像数据，并重建2d图像数据以获得目标的3d图像。作为另一示例，处理设备120可以从沿着一方向的3d图像中获取至少两个切片。处理设备120可以在至少两个切片上应用转换模型以获得至少两个处理的切片。处理设备120还可以基于至少两个处理的切片确定该方向的转换的3d图像。处理设备120可以将转换的3d图像的至少一个第二切片发送到终端140，用于在终端140的显示器上显示。在一些实施例中，处理设备120可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式或分布式的。在一些实施例中，处理设备120可以是本地的或远程的。例如，处理设备120可以经由网络150访问存储在图像获取设备110、终端140和/或存储设备130中的信息和/或数据。作为另一示例，处理设备120可以直接连接到图像获取设备110、终端140和/或存储设备130以访问存储的信息和/或数据。在一些实施例中，处理设备120可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。在一些实施例中，处理设备120可以由图2所示的具有一个或多个组件的计算设备200来实现。
64.存储设备130可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备130可以存储从图像获取设备110、终端140和/或处理设备120获得的数据。例如，存储设备130可以存储由图像获取设备110获取的图像数据。作为另一示例，存储设备130可以存储对应于各种方向的转换模型。在一些实施例中，存储设备130可以存储数据和/或指令，即处理设备120可以执行或用于执行本公开中描述的示例性方法/系统。在一些实施例中，存储设备130可以包括大容量存储、可移动存储、易失性读写存储器、只读存储器(rom)等，或其任何组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(ram)。示例性ram可包括动态随机存取内存(dram)、双倍数据速率同步动态随机存取内存(ddrsdram)、静态随机存取内存(sram)、晶闸管随机存取内存(t-ram)和零电容随机存取内存(z-ram)等。示例性rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除的可编程rom(eprom)、电可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字多功能磁盘等。在一些实施例中，存储设备130可以在云平台上实现。仅作为示例，该云平台可以包
括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
65.在一些实施例中，存储设备130可以连接到网络150以与成像系统100中的一个或多个其他组件通信(例如，处理设备120、终端140等)。成像系统100中的一个或多个组件可以通过网络150访问存储在存储设备130中的数据或指令。在一些实施例中，存储设备130可以直接连接到成像系统100中的一个或多个其他组件(例如，处理设备120、终端140等)。在一些实施例中，存储设备130可以是处理设备120的一部分。
66.终端140可以使用户和成像系统100之间的用户交互能够实现。在一些实施例中，终端140可以与图像获取设备110、处理设备120、终端140和/或存储设备130连接和/或通信。例如，终端140可以显示从处理设备120或图像获取设备110获取目标的图像(例如，3d图像，3d图像的切片等)。终端140可以包括移动设备141、平板计算机142、膝上型计算机143等，或其任何组合。在一些实施例中，移动设备141可以包括智能家庭设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手镯、鞋、眼镜、头盔、手表、衣服、背包、智能附件等，或其任何组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(pda)、游戏设备、导航设备、销售点(pos)设备、笔记本电脑、平板电脑、台式电脑等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括google glass
tm
，oculus rift
tm
，ahololens
tm
，gear vr
tm
等。在一些实施例中，终端140可以是处理设备120的一部分。
67.网络150可以包括任何合适的网络，其可以便于为成像系统100交换信息和/或数据。在一些实施例中，图像获取设备110(例如，mri设备)，终端140，处理设备120，存储设备130等中的一个或多个组件可以经由网络150与成像系统100的一个或多个其他组件传送信息和/或数据。例如，处理设备120可以经由网络150从图像获取设备110获取数据。作为另一示例，处理设备120可以通过网络150从终端140获取用户指令。网络150可以和/或包括公共网络(例如，因特网)、专用网络(例如，局域网(lan)、广域网(wan)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、wi-fi网络等)、蜂窝网络(例如，长期演进(lte)网络)、帧中继网络、虚拟专用网络(“vpn”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机等、或其任意组合。仅作为示例，网络150可以包括电缆网络、有线网络、光纤网络、电信网络、内部网、无线局域网(wlan)、城域网(man)、公共电话交换网络(pstn)、蓝牙
tm
网络、zigbee
tm
网络、近场通信(nfc)网络等，或其任何组合。在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线和/或无线网络接入点，例如基站和/或因特网交换点，通过成像系统100的一个或多个组件连接到网络150可以交换数据和/或信息。
68.应当注意，上面的对成像系统100的描述仅用于说明，而不是旨在限制本公开的范围。对于本领域的普通技术人员来说，可以根据本技术的描述，做出各种各样的变化和修改。例如，成像系统100的组件和/或功能可以根据具体实现场景而变化或改变。
69.图2是根据本技术一些实施例所示的示例性计算设备200的硬件和/或软件组件的示意图。计算设备200可以用于实现如本文所述的成像系统100的任何组件。例如，处理设备
120和/或终端140可以通过其硬件、软件程序、固件或其组合分别在计算设备200上实现。尽管仅示出了一个这样的计算设备，但是为了方便起见，与如本文所述的相似的成像系统100有关的计算机功能可以以分布式方式在多个类似的平台上以分布式方式实现，以分配处理负荷。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(i/o)230和通信端口240。
70.处理器210可以根据本文描述的技术执行计算机指令(程序代码)和处理设备120执行一样的功能。计算机指令可以包括，例如，执行本文描述的特定功能的例程、程序、对象、组件、信号、数据结构、过程、模块和功能。例如，处理器210可以处理从图像获取设备110、终端140、存储设备130和/或成像系统100的任何其他组件获得的数据。具体地，处理器210可以处理从图像获取设备110获得的数据。例如，处理器210可以基于数据生成图像(例如，3d图像、2d图像等)。在一些实施例中，生成的图像可以存储在存储设备130中、存储器220等。在一些实施例中，可以通过输入/输出230在显示屏设备上显示所生成的图像。在一些实施例中，处理器210可以执行从终端140获得的指令。在一些实施例中，处理器210可以包括一个或多个硬件处理器，例如微控制器、微处理器、减少指令集计算机(risc)、专用集成电路(asic)、特定于应用的指令集处理器(asip)、中央处理器(cpu)、图像处理器(gpu)、物理处理器(ppu)、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、高级risc机(arm)、可编程逻辑器件(pld)等能够执行一种或多种功能的任何电路或处理器，或其任意组合。
71.仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应该注意，本公开中的计算设备200还可以包括多个处理器。因此，由如本公开中所述执行的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或单独执行。例如，如果在本公开中，计算设备200的处理器执行操作a和操作b，应该理解，操作a和操作b也可以由两个或更多个不同的处理器在计算设备200中联合或单独地执行(例如，第一处理器执行操作a和第二处理器执行操作b，或者第一处理器和第二处理器联合执行操作a和操作b)。
72.存储器220可以存储从图像获取设备110、终端140、存储设备130或成像系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(rom)等，或其任何组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存驱动器、软盘、光盘、存储器卡、拉链盘、磁带等。易失性读写存储器可以包括随机存取存储器(ram)。ram可以包括动态ram(dram)、双日期速率同步动态ram(ddrsdram)、静态ram(sram)、晶闸管ram(t-ram)和零电容ram(z-ram)等。rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除的可编程rom(perom)、可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字多功能rom等。在一些实施例中，存储器220可以存储一个或多个程序和/或指令以执行本公开中描述的示例性方法。
73.输入/输出230可以输入或输出信号、数据和/或信息。在一些实施例中，输入/输出230可以使用户与处理设备120能够交互。在一些实施例中，输入/输出230可以包括输入设备和输出设备。示例性输入设备可以包括键盘、鼠标、触摸屏、麦克风等，或其任意组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等，或其任意组合。示例性显示设备可以包括液晶显示器(lcd)、基于发光二极管(led)的显示器、平板显示器、弯曲屏幕、电
视装置、阴极射线管(crt)等，或其任意组合。
74.通信端口240可以与网络(例如，网络150)连接以便于数据通信。通信端口240可以在处理设备120和图像获取设备110、终端140或存储设备130之间建立连接。所述连接可以是有线连接、无线连接或两者的组合，使得数据能够传输和接收。有线连接可以包括电缆、光缆、电话线等，或其任何组合。无线连接可以包括蓝牙网络、wi-fi网络、wimax网络、wlan、zigbee网络、移动网络(例如，3g、4g、5g等)等，或其任何组合。在一些实施例中，通信端口240可以是标准化通信端口，例如rs232、rs485等。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，通信端口240可以根据医学(dicom)协议中的数字成像和通信设计。
75.图3是根据本技术一些实施例所示的示例性移动设备300的硬件和/或软件组件的示意图。在一些实施例中，一个或多个终端140和/或处理设备120分别可以在移动设备300上实现。
76.如图3所示，移动设备300可以包括通信平台310、显示屏幕320、图形处理单元(gpu)330、中央处理单元(cpu)340、输入/输出(i/o)350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，移动操作系统(os)370(例如，ios、android、windows电话等)和一个或多个应用程序380可以从存储器390加载到内存360中，该操作由cpu340执行。应用程序(apps)380可以包括浏览器或任何其他合适的移动应用，用于接收和呈现与图像数据获取或来自处理设备120的其他信息有关的信息。可以通过输入/输出350实现与信息流的用户交互，并经由网络150提供给处理设备120和/或成像系统100的其他组件。
77.为了实现本公开中描述的各种模块、单元和功能，计算机硬件平台可以用作本文描述的一个或多个元件的硬件平台。这种计算机的硬件元件、操作系统和编程语言是传统的，视为本领域技术人员已经充分熟悉，以适应那些如本文所述的图像数据采集技术。具有用户界面元素的计算机可用于实现个人计算机(pc)或其他类型的工作站或终端设备，尽管计算机进行适当编程也可以充当服务器。相信本领域技术人员熟悉这种计算机设备的结构、编程和一般操作，并且附图可以对此进行说明。
78.图4a和图4b是根据本技术一些实施例所示的示例性处理设备120a和120b的框架图。在一些实施例中，处理设备120a和120b可以是图1所述的处理设备120的实施例。在一些实施例中，处理设备120a和120b可以分别在处理单元(例如，图2中所示的处理器210或图3中所示的cpu340)。仅作为示例，处理设备120a可以在终端设备的cpu340上实现，并且处理设备120b可以在计算设备200上实现。或者，处理设备120a和120b可以在相同的计算设备200或相同的cpu340上实现。例如，处理设备120a和120b可以在相同的计算设备200上实现。
79.如图4a所示，处理设备120a可以包括切片获取模块410、处理模块420、重建模块430、显示模块440和模型获取模块450。
80.切片获取模块410可以被配置为获取3d图像的切片(或被称为第一切片)。例如，切片获取模块410可以从3d图像获取一个方向的至少两个切片。在一些实施例中，所述方向可以是空间中的任何方向。所述方向可以相对于3d图像来定义。例如，所述方向可以与3d图像中的目标的轴平面、冠状平面、矢状平面等有关。例如，所述方向可以是平行于3d图像的轴向平面、冠状平面、矢状平面等的方向。在一些实施例中，至少两个切片可以是3d图像的2d
图像。在一些实施例中，切片获取模块410可以从3d图像中沿着方向检索至少两个切片。例如，切片获取模块410可以沿着3d图像的方向识别多个平面和多个平面中的每个平面的转换矩阵。基于3d图像的阵列和至少两个平面中的每一个平面的转换矩阵可以获取至少两个切片中的一个。作为另一示例，切片获取模块410可以从3d图像中获取第二方向的至少两个第一切片。在一些实施例中，第一方向可以与第二方向不同。
81.处理模块420可以被配置为处理从切片获取模块410获得的切片(或被称为第一切片)。例如，处理模块420可以使用转换模型处理该方向的至少两个切片。在一些实施例中，转换模型可以是处理2d图像的过程或算法。例如，转换模型可以是深度学习模型。在一些实施例中，处理模块420可以将所述方向上的至少两个切片输入到转换模型中。转换模型的输出可以包括该方向上的至少两个处理的切片，每个处理的切片对应于该方向上的至少两个输入切片中的一个。作为另一示例，处理模块420可以使用第二转换模型处理第二方向的至少两个第二切片，以获得第二方向的至少两个第二处理的切片。在一些实施例中，第二转换模型可以与第一转换模型不同。
82.重建模块430可以被配置为重建所述方向的转换的3d图像。例如，重建模块430可以基于所述方向的至少两个处理的切片，确定该方向上的转换的3d图像。在一些实施例中，重建模块430可以对准所述方向的至少两个处理的切片并堆叠对准的切片以获得转换的3d图像。作为另一示例，重建模块430可以基于第二方向的至少两个第二处理的切片确定第二方向的第二转换的3d图像。
83.显示模块440可以被配置获取要显示的3d图像(原始3d图像)的切片(也被称为第一切片)和/或转换的3d图像的第二切片。例如，显示模块440可以从第一方向的转换的3d图像中获取要显示的第一方向上至少一个第二切片。在一些实施例中，显示模块440可以基于用户指令从转换的3d图像中获取至少一个第二切片。例如，用户可以经由用户终端140选择要显示的至少一个第二切片。作为另一示例，用户可以经由用户终端140选择转换的3d图像中表示的目标的对象(例如，转换的3d图像中目标的器官)，并且显示模块440可以识别包括目标的描述的一个或多个切片，作为至少一个第二切片。在一些实施例中，显示模块440可以将至少一个第二切片发送到终端140。终端140可以在终端140的用户界面(例如，显示屏幕)上显示至少一个第二切片。作为另一示例，显示模块440可以从第二方向的第二转换的3d图像中获取要显示的第二方向的至少一个第二切片。
84.模型获取模块450可以被配置为获取训练模型。例如，模型获取模块450可以获取第一方向的转换模型。作为另一示例，模型获取模块450可以获取第二方向的第二转换模型。
85.如图4b所示，处理设备120b可以包括训练样本获取模块460、切片获取模块470、训练模块480和样本合成模块490。
86.训练样本获取模块460可以被配置为获取训练样本。例如，训练样本获取模块460可以获取用于训练转换模型(或第二转换模型)的多个训练样本(或被称为样本图像对)。样本图像对可以包括用于模型训练的样本目标图像和相应的样本输入图像(例如，作为样本目标图像的样本msct图像和作为样本输入图像的样本cbct图像)。样本图像对可以包括两个相应的不同图像质量和/或不同模态的相应图像。如本文所用，如果每个图像包括表示相同的目标或其相同的部分，则认为图像之间彼此相互对应。
87.切片获取模块470可以被配置为获得取训练样本的样本切片。例如，切片获取模块470可以沿着所述方向从样本图像(例如，样本目标图像、样本输入图像)获取至少两个样本切片。例如，切片获取模块470可以沿着样本图像的所述方向和所述至少两个平面中的每一个平面的转换矩阵，识别至少两个平面。基于样本图像和至少两个平面中的每一个平面的转换矩阵的阵列可以获取至少两个样本切片中的一个。样本输入图像的至少一部分样本切片中的每一个可以对应于样本目标图像的样本切片。
88.训练模块480可以被配置为训练初步模型以获得转换模型(或第二转换模型)。例如，训练模块480可以利用多个训练样本中的每一个训练样本中的样本输入图像的所述方向(或第二方向)上的至少两个样本切片和目标图像的所述方向(或第二方向)的相应的样本切片，训练初步模型，以获得转换模型(或第二转换模型)。在一些实施例中，可以利用第一方向的样品切片训练第一方向的转换模型。在一些实施例中，可以利用与第一方向不同的一个或多个第二方向的样品切片训练第一方向的转换模型。在一些实施例中，训练模块480可以利用至少两个不同方向的样本切片训练初步模型以获得单个转换模型。单个转换模型可用于处理至少两个不同方向中的任何一个方向的切片。例如，单个转换模型可以利用冠状平面的样本切片、轴向平面的样本切片和矢状平面的样本切片训练，并用于处理轴向平面、矢状平面和冠状平面中的任一平面的切片，或任何其他方向的切片。
89.样本合成模块490可以被配置为基于样本目标图像合成样本输入图像。例如，样本合成模块490可以将样本目标图像转换为至少一个3d阵列，并至少部分基于至少一个3d阵列，通过在样本目标图像上执行投影算法和噪声模拟算法来获得样本目标图像的投影值。样本合成模块490可以通过使用重建算法重建投影值来确定合成的样本图像。
90.应当注意的是，以上描述仅出于说明的目的，并不旨在限制本技术的范围。显然，对于本领域的普通技术人员来说，可以根据本技术的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本技术的范围。例如，处理模块420和重建模块430可以集成到单个模块中。作为另一示例，可以在处理设备120a和120b中添加和/或省略一些其他组件/模块(例如，存储模块)。作为又一个示例，处理设备120a和处理设备120b可以集成到一个处理设备120中。在一些实施例中，处理设备120a和/或处理设备120b可以共享两个或更多个模块，并且可以将任何一个模块分成两个或更多个单元。例如，处理设备120a和120b可以共享相同的切片获取模块；也就是说，切片获取模块410和切片获取模块470是相同的模块。上述每个模块可以是设计用于执行某些动作的硬件电路，例如，根据存储在一个或以上存储介质中的指令，和/或硬件电路和一个或以上存储介质的任何组合。
91.图5是根据本技术一些实施例所示的用于处理目标的3d图像的示例性流程图。在一些实施例中，流程500可以实现为存储在存储设备130、存储器220或存储器390中的一组指令(例如，应用程序)。处理设备120、处理器210和/或cpu340可以执行所述指令，并且当执行指令时，处理设备120、处理器210和/或cpu340可以被配置为执行流程500。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程500可以用未描述的一个或多个另外的操作和/或没有讨论的一个或多个操作来完成。另外，图5中所示的流程500和下面描述的操作顺序并不旨在限制。
92.在步骤502中，处理设备120a(例如，切片获取模块410)可以从3d图像中获取一个方向的至少两个切片(或被称为第一切片)。
93.在一些实施例中，3d图像可以从图像获取设备110直接获得。例如，图像获取设备110可以包括3d成像设备以捕获目标的3d图像，并将3d图像发送到处理设备120a。在一些实施例中，处理设备120a可以从图像获取设备110获取目标的图像数据。图像数据可以被重建以获取3d图像。在一些实施例中，3d图像可以是3d医学图像。例如，3d图像可以包括cbct图像、fbct图像、msct图像、mri图像、超声图像、spect图像、pet图像、x射线图像等，或其任何组合。
94.在一些实施例中，方向可以是空间中的任何方向。方向可以相对于3d图像来定义。例如，方向可以与目标在3d图像中表示的轴平面、冠状平面、矢状平面等相关。例如，方向可以是平行于3d图像的轴向平面、冠状平面、矢状平面等的方向。在一些实施例中，轴向平面可以是假想的平面，其将目标(例如，人体)分成上部和下部。在一些实施例中，冠状平面可以是假想的平面，其将目标分成前部和后部。例如，目标是人体，冠状平面可以将人体分成腹部和背部部分。在一些实施例中，矢状平面可以是假想平面，其将目标(例如，人体)划分为右部和左部。
95.在一些实施例中，至少两个切片(或被称为第一切片)可以是3d图像的2d图像。在一些实施例中，处理设备120a可以从3d图像中沿着所述方向获取至少两个切片。例如，处理设备120a可以沿着3d图像和至少两个平面中的每个平面的转换矩阵的方向识别至少两个平面。基于至少两个平面中的每个平面的转换矩阵和3d图像的阵列，可以获得至少两个切片中的一个切片。在一些实施例中，处理设备120a可以识别3d图像中的目标(例如，3d图像中的人体的组织)。处理设备120a可以识别包括所述目标的一个或多个切片作为所述至少两个切片。
96.在步骤504中，处理设备120a(例如，处理模块420)可以利用转换模型处理所述方向上的至少两个切片(或被称为第一切片)。
97.在一些实施例中，转换模型可以是处理2d图像的过程或算法。在一些实施例中，转换模型可以是图像风格转换(style-transfer)模型。图像风格转换模型可以将来自第一类型的图像从第一类转换为第二类型(例如，从图像的热图像转换到图像的rgb图像)。在一些实施例中，转换模型可以是深度学习模型。例如，转换模型可以包括卷积神经网络(cnn)模型、复发性神经网络(rnn)模型、生成的对手网络(gan)模型、cycleangan模型、pix2pix模型等，或任何组合。
98.在一些实施例中，转换模型可以与方向相关。转换模型可以利用包括方向上的2d图像(或切片)的训练样本训练得到。例如，该方向可以平行于3d图像的冠状平面。转换模型可以利用多个训练样本进行训练。训练样本可以包括对应于相同样本目标的3d图像对。3d图像对中的每一个可以包括一方向的至少两个2d图像，例如冠状平面中的至少两个2d图像。在一些实施例中，转换模型可以与至少两个不同的方向相关。利用包括至少两个不同方向的2d图像(或切片)的训练样本可以训练转换模型。例如，训练样本可以包括3d图像中不同方向的2d图像，例如，冠状平面中的至少两个2d图像、轴平面中的至少两个2d图像、以及矢状平面中的至少两个2d图像。作为另一示例，利用至少两个不同方向的样本切片可以获得单个转换模型。单个转换模型可用于处理至少两个不同方向中的任何一个方向的切片。关于转换模型的训练的更多描述可以在本公开的其他地方找到。参见图6及其相关描述。
99.在一些实施例中，处理设备120a可以将所述方向的至少两个切片输入到转换模型
中。转换模型的输出可以包括该方向上至少两个处理的切片，每个处理切片对应于该方向的至少两个输入切片中的一个。
100.在步骤506中，处理设备120a(例如，重建模块430)可以基于所述方向的至少两个处理的切片，确定该方向的转换的3d图像。
101.在一些实施例中，处理设备120a可以对准所述方向的至少两个处理的切片，并堆叠对准的切片以获得转换的3d图像。在一些实施例中，处理设备120a可以基于所述方向的至少两个处理的切片来重建转换的3d图像。示例性重建算法可以包括基于立体声对应的点技术、非立体声相应的轮廓方法(ncs)、表面渲染技术、投影重建技术、仿射重建技术、欧几里德重建技术等，或其任何组合。
102.在步骤508中，处理设备120a(例如，显示模块440)可以基于至少两个处理的切片或从所述方向的转换的3d图像中，获取用于显示的至少一个第二切片。
103.在一些实施例中，处理设备120a可以从该方向的转换的3d图像的至少两个处理的切片中获取用于显示的一个或多个第二切片。也就是说，用于显示的第二切片与处理的切片相同。在一些实施例中，处理设备120a可以基于从所述方向的转换的3d图像的至少两个处理的切片中获取一个或多个处理的切片，生成第二切片。例如，处理设备120a可以通过插值、外推等，基于至少两个处理的切片中的一个或多个生成第二切片。
104.在一些实施例中，处理设备120a可以基于用户指令从转换的3d图像中获取至少一个第二切片。例如，用户可以经由用户终端140选择要显示的至少一个第二切片。作为另一示例，用户可以经由用户终端140选择转换的3d图像中表示的目标的对象(例如，转换的3d图像中的目标的器官)，并且处理设备120a可以将包括目标的展示的至少一个第二切片识别为一个或多个第二切片。在一些实施例中，处理设备120a可以将至少一个第二切片发送到终端140。终端140可以在终端140的用户界面(例如，显示屏幕)上显示至少一个第二切片。
105.在一些实施例中，处理设备120a可以沿着与过程500的步骤502-506中描述的方向不同的第二方向处理(原始)3d图像。例如，对于第二方向，处理设备120a可以从3d图像中获得第二方向的至少两个切片。例如，所述方向可以与矢状平面平行，并且第二方向可以平行于3d图像的冠状平面。处理设备120a可以通过第二转换模型处理第二方向的至少两个切片。在一些实施例中，第二转换模型可以与步骤504中描述的转换模型不同。例如，步骤502中的转换模型可以用所述方向的样本切片(例如，矢状平面中的样本切片)训练，第二转换模型可以用第二方向的样本切片(例如，冠状平面中的样本切片)训练。在一些实施例中，处理设备120a可以通过流程500的步骤504中描述的转换模型来处理第二方向的至少两个切片(或被称为第一切片)。例如，可以用矢状平面(例如，所述方向)中的样本切片训练的转换模型，处理冠状平面(例如，第二方向)中的至少两个切片。
106.为了沿第二方向处理(原始)3d模型，可以将第二方向的至少两个切片输入到第二转换模型中，并且第二转换模型的输出可以是第二方向的至少两个处理的切片。处理设备120a可以基于第二方向的至少两个处理的切片，确定第二方向的转换的3d图像。在一些实施例中，处理设备120a可以从第二方向的转换的3d图像中进一步获得用于显示的第二方向的至少一个第二切片。
107.在一些实施例中，处理设备120a可以相对于3d图像识别至少两个不同的方向。对
于至少两个方向中的每一个，处理设备120a可以执行流程500的步骤502-508。例如，处理设备120a可以识别三个方向，每个方向分别平行于轴向平面(第一方向)、冠状平面(第二方向)和(原始)的矢状平面(第三方向)。处理设备120a可以对三个方向中的每一个执行流程500，以获取第一方向(例如，在轴向平面中)的转换的3d图像、第二方向(例如，在冠状平面中)的转换的3d图像和第三方向(例如，在矢状平面中)的转换的3d图像。
108.处理设备120a可以从例如存储设备中获取转换的3d图像或其部分，并发送到一个或多个终端140以供显示。在一些实施例中，可以同时和同步地在多个终端140上显示所接收的内容。一个终端140上的显示内容的变化也可以反映在另一个终端140上。例如，用户可以提供在一个终端140上放大或缩小的指令，多个终端140上显示内容的缩放级别相应地改变。在一些实施例中，可以允许用户指定在一个终端140上显示的更改，或者在多个终端140上同步显示的内容。
109.仅仅是参考一个终端140上显示的示例，两个或多个，即所述方向的至少一个第二切片、所述第二方向的至少一个第二切片、所述第三方向的至少一个第二切片，可以在终端140的用户界面(例如，显示屏幕)上的不同区域中显示。例如，用户界面可以包括多个面板，在每个面板中，可以同时和/或同步地显示一方向的至少一个第二切片。在一些实施例中，处理设备120a可以在不同方向的多个转换的3d图像的每一个中识别对应于目标的相同对象的第二切片。处理设备120a可以向终端140发送用于同时和同步显示的第二切片。例如，在终端140上同时显示的两个方向上的两个(或三个)第二切片。当用户开启或提供指向一个方向的一组第二切片的指令时，另一个(或另两个)方向的一组第二切片可以进行与用户的操作一致的改变。在一些实施例中，不同方向的至少一个第二切片可以顺序的显示在终端140上。例如，终端140可以在终端140的用户界面(例如，显示屏幕)上显示在第二方向的至少一个第二切片之前的该方向的至少一个第二切片。在一些实施例中，处理设备120a可以生成通知，示出用于显示的不同组的第二切片可以从不同方向的转换的3d图像获得。通过处理相同3d图像的不同方向的切片可以获得不同方向的转换的3d图像。处理设备120a还可以将通知发送到终端140。在一些实施例中，第二切片和通知可以显示在相同的终端140上。在一些实施例中，第二切片和通知可以显示在至少两个不同的终端140上。例如，第二切片可以显示在第一终端140上，通知可以是在与第一终端140不同的第二终端140上播放的一条语音。
110.在一些实施例中，用于显示的转换的3d图像(或其部分)的视平面可以与获得所述转换的3d图像时所处理的所述3d图像的至少两个切片的视平面的方向相同或类似。例如，转换的3d图像的视图平面与沿其获得的转换的3d图像时所处理相应切片的视图平面之间的差值可以低于预定角度阈值(例如，3度、5度、10度等)。作为另一示例，基于3d图像的至少两个轴向切片可以获得转换的3d图像。用于显示的转换的3d图像的视平面可以是转换的3d图像的轴向平面。在一些实施例中，所述3d图像沿不同方向的多个视图平面的可视化可以通过沿相应视图平面同步显示转换3d图像的第二切片来产生，其中，所述多个方向的多个视图平面可以在所述3d图像中的选定点相交。所述转换3d图像可以是沿相同或类似方向的相应多个视图平面处理的。例如，当用户希望沿轴向平面、冠状平面、矢状平面同步观看3d图像时，可以在3d图像中选择一个点。相交于选择点的轴向转换的3d图像的轴向平面、冠状转换的3d图像的冠状平面、以及矢状转换的3d图像的矢状平面可以被确定。轴向转换的3d
图像的轴向平面的轴向第二切片，冠状转换的3d图像的冠状平面的冠状第二切片，以及矢状平面转换的3d图像的矢状平面的矢状第二切片可以同步显示。在一些实施例中，所选定点可以由用户交互地选择。在一些实施例中，可以基于预定的轨迹自动确定所选定点。例如，预定轨迹可以以自动的方式穿过目标(或3d图像)。所述选定点可以是预定轨迹上的任何点。
111.在一些实施例中，通过2d视图浏览对应于一个或多个方向的转换的3d图像的浏览过程可以与经由2d视图浏览原始3d图像(转换后3d图像由此生成)的浏览过程基本相同。例如，通过显示3d图像的轴向平面切片、冠状平面切片和矢状平面切片，在终端140的用户界面上示出了人体的原始3d图像(或简称为所述3d图像)。三个平面在选定点上相交。在3d图像的浏览期间，所述选定点可以沿轴向(或沿着冠状平面的和矢状平面的交叉线)移动，从而随着选定点的移动显示沿轴向从人体头部到脚趾的切片。在浏览期间，3d图像的冠状平面切片和矢状平面切片可以保持相同。类似地，转换的3d图像(通过处理3d图像的切片获得的)可以以相同的方式经由2d视图从一个或多个方向浏览。例如，可以通过显示沿轴向转换的3d图像的轴向平面的轴向第二切片、沿冠状转换的3d图像的冠状平面的冠状第二切片、以及沿矢状转换的3d图像的矢状平面的矢状第二切片，在终端140的用户界面上显示人体的轴向转换的3d图像(通过处理3d图像的轴向切片获得的)、冠状转换的3d图像(通过处理3d图像的冠状切片获得的)和矢状转换的3d图像(通过处理3d图像的矢状切片获得的)。轴向平面、冠状平面和矢状平面可以在选定点处相交。在浏览转换的3d图像期间，所述选定点可以沿轴向转换的3d图像的轴向(或沿冠状转换的3d图像的冠状平面和矢状转换的3d图像的矢状平面的交叉点)移动，由此沿轴向转换的3d图像的轴向从人体头部到脚趾的第二切片可以显示为所述选定点的移动。在浏览期间，冠状转换的3d图像的冠状平面的第二切片和矢状转换的3d图像的矢状平面的第二切片可以保持相同。应当注意，仅描述沿轴向的浏览过程仅用于说明目的，可以以任何已知方式浏览3d图像和/或转换的3d图像。
112.在一些实施例中，如本公开的通过2d操作获得转换后3d图像的2d视图的浏览过程与通过3d操作获得转换的3d图像的浏览过程可以相同。如本公开所使用的，3d图像的3d操作是指利用直接在3d图像上操作的转换模型的3d图像的转换，而不是根据本公开的实施例所述的在3d图像的一个方向的2d切片上操作。在3d操作中使用的这种转换模型可以用3d训练图像直接训练，而不是根据本公开的实施例所用的3d训练图像的一个方向的2d切片训练获得。
113.应当注意，以上描述仅用于图示，而不是旨在限制本公开的范围。对于本领域的普通技术人员来说，可以根据本技术的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本技术的范围。在一些实施例中，可以省略一个或多个操作和/或添加一个或多个附加操作。例如，可以在流程500中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在一些实施例中，处理设备120a可以存储成像系统100的存储设备(例如，存储设备130、存储器220、存储器390)中的转换的3d图像(例如，所述方向的转换的3d图像、第二方向的转换的3d图像、第三方向的转换的3d图像)或其一部分(例如，所述方向的至少一个第二切片、第二方向的至少一个第二切片、第三方向的至少一个第二切片)。
114.仅仅是示例，可以根据本公开的方法处理由cbct设备(图像获取设备110)获取的3dcbct图像。就对比度、对比度噪声比、分辨率等而言，cbct图像可以比由msct设备获取的
msct图像具有较差的图像质量。例如，由于msct图像中骨骼的平均原子序数(反过来，由于骨骼中的钙含量)高于cbct图像，因此可以在msct图像中以较高的对比度呈现骨骼。作为另一示例，cbct设备的散射和光束硬化可能降低cbct图像的图像质量。
115.在一些实施例中，可以根据本公开的方法处理兆伏(mv)cbct图像以获得千伏(kv)msct图像。例如，可以使用样本图像对训练转换模型。每个样本图像对可以包括样本mvcbct图像和相应的样本千伏msct图像。根据本公开的方法可以利用转换模型处理cbct设备(图像获取设备110)获取的mvcbct图像(或被称为3d图像)。例如，可以用转换模型获取和处理mvcbct图像的切片，以获取处理的切片。基于处理的切片可以确定与mvcbct图像对应的千伏msct图像(或被称为转换的3d图像)。在一些实施例中，千伏msct图像可以用于促进放射治疗过程中(例如，一种自适应放射治疗(art)过程)的目标的治疗。例如，获取千伏msct图像之后，千伏msct图像的感兴趣区域(roi)可以通过千伏msct图像上roi轮廓来确定。可以基于医生或处理设备120a基于千伏msct图像上的轮廓roi来确定处理目标的治疗计划。在一些实施例中，在目标的放射治疗过程之前，可以获取规划图像。规划图像可以用于识别和定位目标的一个或多个辐射目标。通过注册具有规划图像的千伏msct图像可以确定配准结果。配准结果可以用于确定千伏msct图像与规划图像之间的差异，以及进一步优化治疗计划。例如，处理设备120a可以基于配准结果确定是否修改治疗计划。改进的治疗计划可以在目标上实施。在一些实施例中，可以通过模拟千伏msct图像上的投影来生成drr(数字重建射线图像法)图像。并且可以通过cbct设备的检测器(例如，放射治疗设备的epid)获取放射治疗过程中的2d图像。确定drr图像和2d图像之间的配准结果，还可以用于确定是否修改治疗计划或调整机器参数。由此，可以在放射治疗过程中优化治疗计划。
116.在一些实施例中，可以训练转换模型，用于处理cbct图像的切片，以生成与msct图像类似的转换的3d图像。例如，可以通过至少两个msct-cbct图像对训练初步模，以获取转换模型。初步模型可以是深度学习模型。例如，初步模型可以包括卷积神经网络(cnn)模型、复发性神经网络(rnn)模型、生成的对抗网络(gan)模型、cycleangan模型、pix2pix模型等，或任何组合。在一些实施例中，可以通过训练转换模型提高cbct图像的图像质量，例如，通过减少由cbct设备的散射和光束硬化、降低图像劣化噪声、提高对比度、信噪比、分辨率等，或其任意组合。可以在其他地方找到用于获取转换模型的示例性过程(例如，图6-图7，及其相关描述)。
117.在一些实施例中，处理设备120a可以识别cbct图像的方向。处理设备120a可以从cbct图像获取所述方向上至少两个切片，并将该方向的转换模型应用于至少两个切片。例如，转换模型的输入可以包括至少两个切片，并且转换模型的输出可以包括该方向的至少两个处理的切片，每个处理的切片对应于至少两个切片之一。处理设备120a还可以基于至少两个处理的切片生成转换的cbct图像。终端140上可以显示所述方向的转换的cbct图像的一个或多个第二切片。
118.在一些实施例中，处理设备120a可以使用不同方向的不同转换模型处理cbct图像。例如，对于平行于轴向平面、冠状平面和矢状平面的每个方向，处理设备120a可以获取至少两个轴向切片、至少两个冠状切片和至少两个矢状切片。在一些实施例中，至少两个轴向切片、至少两个冠状切片和至少两个矢状切片分别可以分别输入轴向转换模型、冠状转换模型和矢状转换模型，以获取至少两个处理的轴向切片、至少两个处理的冠状切片、以及
至少两个处理的矢状切片。处理至少两个处理的轴向切片、至少两个处理的冠状切片和至少两个处理的矢状切片，可以分别生成转换的轴向cbct图像、转换的冠状cbct图像和转换的矢状cbct图像。在一些实施例中，处理设备120a可以获取用于显示的轴向转换的轴向cbct图像的至少一个第二轴向切片、转换的冠状cbct图像的至少一个第二冠状切片、和/或转换的矢状cbct图像的至少一个第二矢状切片。例如，在终端140的用户界面上，三个单独的面板中可以同时显示第二轴向切片、第二冠状切片和第二矢状切片。作为另一示例，终端140可以在用户界面上一次仅显示第二轴向切片、第二冠状切片和第二矢状切片中的一个或两个。或者，所有至少两个轴向切片、至少两个冠状切片和至少两个矢状切片可以输入到轴向转换模型(或冠状转换模型、或矢状转换模型)中，以获取至少两个处理的轴向切片、至少两个处理的冠状切片，以及至少两个处理的矢状切片。
119.在一些实施例中，可以使用至少两个样本轴向msct-cbct图像对训练轴向转换模型。样本轴向msct-cbct图像对可以包括样本轴向msct切片和相应的样本轴向cbct切片。至少两个样本冠状msct-cbct图像对可以用于训练冠状转换模型。样本冠状msct-cbct图像对可以包括样本冠状msct切片和相应的样本冠状cbct切片。至少两个样本矢状msct-cbct图像对可以用于训练矢状转换模型。样本矢状msct-cbct图像对可以包括样本矢状msct切片和样本矢状cbct切片。
120.图6是根据本技术一些实施例所示的用于生成方向的转换模型的示例性流程600的流程图。在一些实施例中，流程600可以实现为存储在存储设备130、存储器220或存储器390中的一组指令(例如，应用程序)。处理设备120、处理器210和/或cpu340可以执行该组指令，并且当执行指令时，处理设备120、处理器210和/或cpu340可以被配置为执行流程600。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程600可以通过未描述的一个或多个附加操作和/或没有讨论的操作中的一个或多个来实现。另外，图6所示和下面描述的流程600的操作顺序并不用于限制。
121.在一些实施例中，方向的转换模型可以离线训练。例如，转换模型可以被训练并存储在成像系统100的存储设备(例如，存储设备130、存储器220、存储器390等)中。处理设备120a可以访问存储设备以检索用于处理3d图像的转换模型。或者，转换模型可以实时培训。例如，处理设备120b可以在使用转换模型之前训练转换模型。
122.在步骤602中，处理设备120b(例如，训练样本获取模块460)可以获取多个训练样本(或被称为样本图像对)。样本图像对可以包括用于模型训练的样本目标图像和相应的样本输入图像(例如，作为样本目标图像的样本msct图像和作为样本数入图像的样本cbct图像)。样本图像对可以包括两个不同图像质量和/或不同模态的相应图像。如本公开所用，如果每个图像包括相同的目标的描述或其相同的部分，则认为两个图像彼此相对应。仅作为示例，样本图像对的第一3d图像可以具有较低的图像质量和/或第一模态；样本图像对的第二3d图像可以具有更高的图像质量和/或具有第二模态。第一3d图像可以包括用于训练转换模型的输入的至少两个第一2d图像。第二3d图像可以包括用于训练转换模型时的预期输出的至少两个第二2d图像。
123.仅作为示例，多个训练样本可以包括多个样本msct图像和多个相应的样本cbct图像。在一些实施例中，可以先使用成像设备(例如，msct设备、cbct设备)扫描获取至少一个样本图像。可以用相同的成像设备或不同的成像设备获取多个样本图像。例如，可以用不同
的msct设备获取多个样本msct图像。在一些实施例中，可以基于从先前扫描获取的图像合成至少一个样本图像。在一些实施例中，基于样本目标图像，可以合成一个或多个样本输入图像。仅通过示例，基于通过先前扫描获取的样本msct图像，可以根据模拟操作合成一个或多个样本cbct图像。通过在样本msct图像上应用模拟操作可以获取样本cbct图像，并且合成的样本cbct图像和样本msct图像可以形成一个训练样本。在本公开中可以找到模拟操作的示例性过程(例如，图7及其其描述)。在一些实施例中，可以预先确定多个训练样本并存储在成像系统100的存储设备(例如，存储设备130、存储器220、存储器390等)中。处理设备120b可以访问存储设备以获取多个训练样本。
124.在步骤604中，处理设备120b(例如，训练模块480)通过基于多个训练样本可以训练初步模型以产生转换模型。
125.在一些实施例中，初步模型可以是过程或算法。在一些实施例中，初步模型可以是深度学习模型。例如，初步模型可以包括卷积神经网络(cnn)模型、复发性神经网络(rnn)模型、生成的对抗网络(gan)模型、cycleangan模型、pix2pix模型等，或任何组合。在一些实施例中，初步模型可以用于处理2d或3d图像。例如，初步模型可以是用于处理3d图像的过程或算法。多个训练样本可以直接用于训练初步模型，从而获得用于处理3d图像的转换模型。作为另一示例，初步模型可以是用于处理2d图像的过程或算法。处理多个训练样本可以获得多个训练样本的样本切片。多个训练样本的样本切片可以用于训练初步模型，从而确定用于处理3d图像的2d切片的转换模型。对于多个训练样本中的每一个，训练模块480可以从训练样本的样本输入图像获取所述方向的多个样本切片。
126.在一些实施例中，切片获取模块470可以沿着方向从样本图像(例如，样本目标图像、样本输入图像)中识别多个样本切片。例如，切片获取模块470可以沿着样本图像的方向和至少两个平面中的每一个平面的转换矩阵识别至少两个平面。基于样本图像的阵列和至少两个平面中的每一个平面的转换矩阵，可以获取至少两个样本切片中的一个。样本输入图像的至少一部分样本切片中的每一个可以对应于样本目标图像的样本切片。
127.仅作为示例，样本输入图像是cbct图像，并且样本目标图像是msct图像。样本cbct图像和样本msct图像可以根据相同的方式处理(例如，沿着方向根据相同厚度间隔)以获取至少两个样本cbct切片和至少两个样本msct切片。至少两个样本cbct切片的至少一部分中的每一个可以与至少两个样本msct切片中的一个一一对应。
128.在一些实施例中，训练模块480可以用样本输入图像的所述方向的多个样本切片和多个训练样本中的每一个的样本目标图像的所述方向的相应样本切片训练初步模型。在一些实施例中，可以用与第一方向不同的一个或多个第二方向的样本切片训练第一方向的转换模型。例如，可以用多个训练样本的样本目标的矢状平面中的样本切片训练目标的冠状平面的方向的转换模型。训练样本可以包括3d图像对，其中一个3d图像包括样本目标矢状面中的多个第一2d图像，作为训练转换模型的输入，而另一个3d图像包括样本目标矢状面中的多个第一2d图像，作为训练转换模型的预期输出。
129.在一些实施例中，初步模型可以包括至少两个层，每个层包括至少两个参数。在一些实施例中，可以在初步模型的训练过程期间并行确定至少两个层。例如，训练模块480可以基于多个训练样本通过迭代和共同更新初步模型的每层的参数来确定多个层。或者，可以在训练初步模型期间顺序确定至少两个层，其中仅在完成上游的所有层之后执行特定层
的训练。例如，可以基于在确定层mi之前确定的训练样本和确定层m1至mi-1来确定初步模型的层mi(i大于1)。
130.在一些实施例中，如果满足终止条件，训练模块480可以终止训练过程以获取转换模型。例如，如果损耗函数的值最小或小于阈值(例如，常数)，则可以认为满足终止条件。确定损失函数可以测量通过将样本输入切片输入到初步模型(在训练过程期间)而获得的输出切片与对应于样本输入切片的样本目标切片之间的差。作为另一示例，如果损失函数的值收敛，则可以认为满足终止条件。在一些实施例中，例如，如果在两个或多个连续迭代中损失函数的值的变化等于或小于阈值(例如，常数)，则可以认为已经发生了收敛。作为又一示例，如果已经执行了一定次数的迭代，则可以认为满足终止条件。作为另一示例，如果用于训练的训练样本的数量达到某个数值，可以认为满足终止条件。
131.在一些实施例中，当新训练样本的数量(或计数)超过计数阈值时，可以触发转换模型的更新，使得可以用新的训练样本来优化转换模型。或者，可以响应于接收到优化转换模型的用户输入来更新转换模型。
132.在一些实施例中，在确定转换模型之后，可以测试转换模型以确定转换模型是否满足预定条件。例如，一个或多个测试样本中的每一个可以包括测试输入图像和测试目标图像，测试目标图像可以用于测试或验证转换模型。例如，对于用cbct图像和对应的msct图像训练的转换模型，至少两个测试样本还可以包括cbct图像和对应的msct图像的图像对。
133.在一些实施例中，可以通过先使用成像设备的扫描来获取至少两个测试样本的至少一个测试图像。在一些实施例中，可以合成至少两个测试样本的至少一个测试图像。如结合步骤602所述，可以与训练样本类似地获取测试样本，其描述在此处不再重复。在一些实施例中，一些训练样本可被指定为用于测试确定的转换模型的测试样本。
134.在一些实施例中，对于包括测试输入图像和测试目标图像的测试样本，可以将测试输入图像的所述方向的至少两个切片输入到转换模型中以获得至少两个输出切片。可以确定多个输出切片中的每一个与测试样本的测试目标图像的对应切片之间的差，并与阈值进行比较。如果差超过阈值，则可以认为转换模型不满足预定条件，并且可能需要进一步训练转换模型。如果差低于阈值，则可以认为转换模型满足预定条件，并且转换模型可以用于处理3d图像。
135.应当注意，以上描述仅用于图示，而不是旨在限制本公开的范围。对于本领域的普通技术人员来说，可以根据本技术的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本技术的范围。例如，可以在流程600中添加一个或多个其他可选操作(例如，存储操作)。处理设备120可以存储成像系统100的存储设备(例如，存储设备130、存储器220、存储器390等)的信息和/或数据(例如，样本输入图像和/或其切片、样本目标图像和/或其切片、测试输入图像和/或其切片、测试目标图像和/或其切片等)。
136.图7是根据本技术一些实施例所示的模拟操作的示例性流程图。在一些实施例中，流程700可以实现为存储在存储设备130、存储器220或存储器390中的一组指令(例如，应用程序)。处理设备120、处理器210和/或cpu340可以执行该组指令，并且当执行指令时，处理设备120、处理器210和/或cpu340可以被配置为执行流程700。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程700可以通过未描述的一个或多个附加操作和/或没有讨论的操作中的一个或多个来实现。另外，图7中所示和下面描述的流程700的操作顺序并
不旨在限制。在一些实施例中，对于多个训练样本中的一个训练样本，可以通过在相应的样本目标图像上施加流程700来确定样本输入图像。
137.在步骤702中，处理设备120b(例如，样本合成模块490)可以将样本目标图像转换到至少一个3d阵列中。在一些实施例中，3d阵列可以表示样本目标图像中的物理构成。例如，3d阵列可以反映组织类型(例如，骨骼、软组织、空气等)、样品目标图像中的组织的密度等。在一些实施例中，可以将样本目标图像转换成表示组织分布的3d阵列(例如，骨组织、软组织、空气等的分布)、密度分布的3d阵列等，或其任何组合。
138.在步骤704中，样本合成模块490可以基于样本目标图像合成样本输入图像。例如，样本目标图像可以是样本msct图像。样本msct图像的投影值可以通过至少部分基于至少一个3d阵列对样本msct图像执行投影算法和噪声模拟算法来获得。
139.在一些实施例中，用cbct频谱/相位空间作为光束，可以以多个投影角度在至少一个3d阵列上执行前向投影多色射线传输器，以获取至少一个投影2d阵列。例如，mv级频谱/相位空间可以作为光束，在样本msct图像的至少一个3d阵列上执行以获取mv级样本cbct图像。作为另一示例，kv级频谱/相位空间可以作为光束，在样本msct图像的至少一个3d阵列上执行以获取kv级样本cbct图像。在一些实施例中，在执行前向投影多色射线跟踪算法之后，可以对至少一个投影2d阵列执行电子噪声模拟算法或量子噪声模拟算法以获得样本msct图像的投影值。例如，可以将泊松/高斯噪声(使用随机数发生器)添加到至少一个投影2d阵列以获得投影值。在一些实施例中，检测器能量响应模型和/或检测器光学模型可应用于投影值，以模拟由cbct设备的检测器检测到的能量和/或光信号。
140.样本合成模块490可以通过使用重建算法重建投影值来确定合成的样本cbct图像。在一些实施例中，可以使用与cbct设备中使用的类似重建算法来重建投影值。例如，重建算法可以包括fdk算法、可变fdk算法(v-fdk算法)、fdk-fast算法、曲线过滤的fdk(c-fdk)算法等，或其任何组合。
141.应当注意，以上描述仅用于图示，而不是旨在限制本公开的范围。对于本领域的普通技术人员来说，可以根据本技术的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本技术的范围。例如，可以在流程700中的其他地方添加一个或以上其他可选操作(例如，存储操作)。处理设备120可以存储成像系统100的存储设备(例如，存储设备130、存储器220、存储器390等)中的信息和/或数据(例如，样本目标图像)。实施例
142.提供以下实施例用于说明目的，而不是限制性的。
143.初步模型可以是pix2pix模型。通过使用训练样本训练pix2pix模型可以获取第一方向的第一转换模型。训练样本可以包括作为样本输入图像的样本cbct图像和作为样本目标图像的样本msct图像。用于训练第一转换模型的训练样本的每个样本cbct图像和样本msct图像包括平行于轴向平面的第一方向的切片。
144.通过使用训练样本训练pix2pix模型可以获得第二方向的第二转换模型。训练样本包括作为样本输入图像的样本cbct图像和作为样本目标图像的样本msct图像。用于训练第二转换模型的训练样本的每个样本cbct图像和样本msct图像包括平行于矢状平面的第二方向的切片。
145.通过使用训练样本训练pix2pix模型可以获得第三方向的第三转换模型。训练样
本包括作为样本输入图像的样本cbct图像和作为样本目标图像的样本msct图像。用于训练第三转换模型的训练样本的每个样本cbct图像和样本msct图像包括平行于冠状平面的第三方向的切片。
146.msct设备扫描样本的腹部，可以获得测试msct图像。测试msct图像沿第一、第二和第三方向切割可以获得至少两个测试切片，并用于测试第一方向的第一转换模型、第二方向的第二转换模型和第三方向的第三转换模型。第一方向的第一转换模型、第二方向的第二转换模型以及第三方向的第三转换模型用于图像处理的结果如图14-图19所示。
147.图8是根据本技术一些实施例所示的测试轴向msct切片的示意图。从测试msct图像沿平行于测试msct图像轴向平面的第一方向获取测试轴向msct切片。图9是根据本技术一些实施例所示的测试矢状msct切片的示意图。从测试msct图像沿平行于测试msct图像的矢状平面的第二方向获取测试矢状msct切片。图10是根据本技术一些实施例所示的测试冠状msct切片的示意图。从测试msct图像沿平行于测试msct图像的冠状平面的第三方向获取测试冠状msct切片。
148.在一些实施例中，如流程700中所述的模拟操作施加在测试msct图像上以合成测试cbct图像。沿着第一方向、第二方向和第三方向分别从测试cbct图像中获得至少两个测试cbct切片。图11是根据本技术一些实施例所示的测试轴向cbct切片的示意图。图12是根据本技术一些实施例所示的测试矢状cbct切片的示意图。图13是根据本技术一些实施例所示的测试冠状cbct切片的示意图。实施例1
149.将第一转换模型应用于至少两个测试轴向cbct切片可以获得至少两个处理的测试轴向cbct切片。具体地，将至少两个测试轴向cbct切片输入到第一转换模型中，并且第一转换模型的输出包括至少两个处理的测试轴向cbct切片。基于至少两个处理的测试轴向cbct切片重建轴向转换的3d cbct图像。轴向转换的3d cbct图像的轴向切片、矢状切片和冠状切片分别如图14-图16所示。
150.如图14-图16所示，轴向转换的3d cbct图像的轴向切片没有切片不连续伪影(例如，阶跃伪影)，而轴向转换的3d cbct图像的矢状切片和冠状切片有较大伪影。实施例2
151.如图11所示，第一转换模型应用于测试轴向cbct切片。如图12所示，第二转换模型应用于测试矢状cbct切片。如图13所示，第三转换模型应用于测试冠状cbct切片。第一转换模型的输出(处理的轴向cbct切片)如图17所示。第二转换模型的输出(处理的矢状cbct切片)如图18所示。第三转换模型的输出(处理的冠状cbct切片)如图19所示。
152.如图17-图19所示，处理的轴向cbct切片、处理的矢状cbct切片、和处理的冠状cbct切片没有切片不连续伪影，并且处理的(轴向、矢状和冠状)cbct切片在对比度、对比噪声比或分辨率方面与相应的测试(轴向、矢状和冠状)msct切片类似。
153.上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本技术的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。
154.同时，本技术使用了特定词语来描述本技术的实施例。例如，术语“一个实施例”、“一个实施例”和/或“一些实施例”意味着结合实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
155.此外，本领域的普通技术人员可以理解，本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本公开的各个方面可以完全由硬件、软件(包括固件、驻留软件、微代码等)或结合软件和硬件实现，它们在本公开中通常被称为“单元”、“模块”或“系统”。此外，本公开的各个方面可以采取计算机程序产品的形式，该计算机程序产品体现在一个或多个计算机可读介质中，其上体现有计算机可读程序代码。
156.非暂时性计算机可读信号介质可以包括传播的数据信号，其中包含计算机可读程序代码，例如，在基带中或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf等，或任何上述介质的组合。
157.用于执行本公开的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包括面向目标的编程语言，如java、scala、simal talk、effele、jade、emerald、c++、c#、vb.net、python等，或其任意组合，传统的过程编程语言，如“c”编程语言、visual basic、fortran、perl、cobol、php、abap，动态编程语言，如python、ruby和groovy，或其他编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。后一种情况，远程计算机可以通过任何类型的网络连接到用户计算机，包括局域网(lan)或广域网(wan)，或者可以将连接到外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
158.此外，除非权利要求中明确说明，本技术所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本技术流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本技术实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
159.类似地，应该理解的是，在本技术的实施例的前述描述中，各种特征有时在单个实施例、图或其描述中组合在一起，以简化本技术，有助于理解各个发明实施例的一个或以上。然而，本技术的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。
160.在一些实施例中，用于描述和索取应用程序的数量，属性等的数字应理解为在某些情况下被术语“约”的“近似”或“基本上”的某些情况进行修改。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以
发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本技术一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
161.除与本文件相关的任何起诉文件历史记录、与本文件不一致或与本文件冲突的任何起诉文件历史记录、或可能对目前或以后与本文件相关的权利要求的最广泛范围产生限制作用的任何起诉文件历史记录外，此处引用的每项专利、专利申请、专利申请出版物和其他材料，如文章、书籍、规范、出版物、文件、物品和/或类似物，均通过本引用完整地并入此处，用于所有目的。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。
162.最后，应当理解的是，本技术中所述实施例仅用以说明本技术实施例的原则。其他的变形也可能属于本技术的范围。因此，作为示例而非限制，本技术实施例的替代配置可视为与本技术的教导一致。相应地，本技术的实施例不仅限于本技术明确介绍和描述的实施例。