用于成像应用的数据处理管理方法与流程

背景技术：

1、a.发明的领域

2、成像应用涵盖工业检测、自动化制造、自动驾驶汽车、遥感、机器人、过程自动化、药物筛选、科学研究等广泛领域。例如，显微成像实验中的图像可能需要一系列2d到6d(x、y、z、时间、通道)捕获，目的是将每个平台位置或其他配置装置的视图合成到所准备的样本的单个n维图像中。每次捕获通常具有相同的总尺寸，例如以xyztc 1000×1000×1000×50×4。捕获可以在主题空间中重叠。随着对大数据管理的要求也越来越高，其他成像应用也有类似的数据格式。

3、在每次捕获中，检测器信号强度的样本通常会被格式化为简单的平面几何形状，通道序列要么在最里面，要么在最外面。这种格式虽然简单，但对计算机化图像和数据处理工具提出了挑战，因为从一个局部区域访问样本需要从更长的总扫描线中提取许多短扫描线，而这可能是一项昂贵的操作。因此，图像采集管道越来越多地包含一个重新格式化步骤，该步骤定义了一个规则的块网格，其中样本被排序，就好像它们本身就是一个完整的捕获。这会使访问数据变得更加复杂，但它的好处是局部访问从分布不广的源数据中提取扫描线，有时可以立即提取整个块并按原样使用，而无需进一步重新格式化。

4、图像采集的另一个趋势是对每次捕获的每个块应用压缩，以便更多数据可以适合一个应用的用户的可用存储空间。这也对图像软件提出了挑战，因为未察觉压缩的数据遍历会导致对同一源数据的重复解压缩，从而使访问非常慢。继续这个示例，单个图像可能包含一百个重叠的捕获，每个大小总计数百gb，具有以几个排序之一的四个或五个维度，并且内部格式化为100×100×100×50×4个块的10×10×10网格，网格和块维度也以几个可能独立的排序之一。由于图像边不能被块边整分割，分块还可能导致原始数据的填充，这是连续访问的另一个障碍。

5、如果足够小心，这个示例对于图像处理工具来说并不难正确读取。但是，很难以高速执行此操作，尤其是当渲染目标具有不同的格式或缩放比例(例如金字塔图像级别)时，或者当源数据被压缩或需要后期处理(例如重叠捕获的融合)时。在启发本发明的两个场景中，像这样的挑战变得特别棘手：(1)有效访问单个可能比工作存储器大得多的n维图像数据集；(2)高效生成派生数据集，包括图像和非图像。示例包括用于显示的合成、用于处理的过滤以及统计信息的生成、测量和分析。

6、b.现有技术是如何解决问题的？

7、支持大图像的典型软件工具保持与原始文件的开放连接，导致重复访问可能被压缩的或由于其他原因访问较慢的文件中的数据。一个简单的存储器内缓存通常用于减少访问时间。

8、支持派生数据生成的典型软件工具要么立即导出到与原始文件相似或相同的文件，要么使用通用数据库来管理数据直到可以导出，或者以附带限制将所有派生数据保存在存储器中。数据生成通常是一个全有或全无的过程，要么阻塞整个系统，要么是并发的，但必须在使用之前完成。

技术实现思路

1、a.本发明的目的/优点

2、本发明的第一个目的是通过显式数据流图的固有异步性以及通过所有用户请求的完全异步入口点来减少数据处理延迟。本发明的第二个目的是由于调度器应用带来的并行性来执行数据流图遍历而增加的吞吐量。本发明的第三个目的是利用n维图像的专门域，在工作单元优化区域具有特殊优势，以基于关于公共外部和内部数据源的知识，减少空间开销和更可预测的时间开销，这些知识包括了解哪些数据遍历的精确排序和划分比其他方式更有效。本发明的第四个目的是基于过去、现在和预测的用户活动以及可用资源的总利用率的集中知识来协调子系统。本发明的第五个目的是动态更新自适应数据处理管理的应用知识。本发明的第六个目的是使用机器学习来生成和应用用于最佳数据处理管理的应用知识。

3、b.本发明如何解决问题

4、本发明提供了一种数据处理方法或系统，结合了以下内容：

5、·针对大量内部和外部图像数据进行优化的缓存组件，由缓存节点和后备存储的灵活图组成，被设计为高效地利用异构资源，诸如ssd(固态驱动器)和hdd(硬盘驱动器)组合或网络图像服务器。

6、·由格式特定图像节点和数据节点以及它们之间的有向非循环操作(函数)组成的数据流图。节点最初被配置为匹配现有数据和预期任务请求的格式化。当图像操作需要端点时添加节点。根据启发式和特定任务请求，随着数据在节点之间流动，操作以增量方式或并行方式应用，数据由缓存系统传递。

7、·任务执行调度(调度程序)异步地为应用请求和管理任务提供服务，并通过利用已知的图像格式化和已知的数据流和缓存拓扑自动并行化图像操作。

技术特征：

1.一种用于成像应用的计算机化的高效数据处理管理方法，所述方法包括以下步骤：

2.根据权利要求1所述的计算机化的高效数据处理管理方法，其中，所述缓存系统配置包括缓存节点和后备存储的图。

3.根据前述权利要求中任一项所述的计算机化的高效数据处理管理方法，其中，所述数据流图包括多个格式特定图像节点、多个数据节点和多个有向非循环操作，每个操作在所述节点中的两个之间。

4.根据前述权利要求中任一项所述的计算机化的高效数据处理管理方法，其中，所述任务执行调度包括以下步骤：

5.根据权利要求4所述的计算机化的高效数据处理管理方法，其中，所述任务执行调度的任务分类遍历所述数据流图。

6.一种用于成像应用的计算机化的自适应数据处理管理方法，所述方法包括以下步骤：

7.根据权利要求6所述的计算机化的自适应数据处理管理方法，其中，所述数据流图包括多个格式特定图像节点、多个数据节点和多个有向非循环操作，每个操作在所述节点中的两个之间。

8.根据权利要求6或7所述的计算机化的自适应数据处理管理方法，其中，所述初始缓存系统配置包括缓存节点和后备存储的图。

9.根据权利要求8所述的计算机化的自适应数据处理管理方法，其中，所述初始缓存系统配置的缓存节点和后备存储的图基于应用活动的模型执行不同子系统的协调。

10.根据权利要求9所述的计算机化的自适应数据处理管理方法，其中，所述应用活动的模型是使用应用数据通过机器学习生成的。

11.根据权利要求9或10所述的计算机自适应数据处理管理方法，其中，所述缓存系统更新使用所述至少一个图像数据和所述至少一个请求的任务来更新所述应用活动的模型。

12.根据权利要求6-11中任一项所述的计算机化的自适应数据处理管理方法，其中，所述任务执行调度包括以下步骤：

13.根据权利要求12所述的计算机化的自适应数据处理管理方法，其中，所述任务执行调度的任务分类遍历所述数据流图。

14.一种用于成像应用的计算机化的最佳数据处理管理方法，所述方法包括以下步骤：

15.根据权利要求14所述的计算机化的最佳数据处理管理方法，其中，所述初始数据流图包括多个格式特定图像节点、多个数据节点和多个有向非循环操作，每个操作在所述节点中的两个之间。

16.根据权利要求15所述的计算机化的最佳数据处理管理方法，其中，所述多个格式特定图像节点和所述多个数据节点被初始配置为匹配现有数据和预期任务。

17.根据权利要求15或16所述的计算机化的最佳数据处理管理方法，其中，所述数据流图更新将所述至少一个图像数据和所述至少一个请求的任务的节点和操作添加至所述初始数据流图。

18.根据权利要求14-17中任一项所述的计算机化的最佳数据处理管理方法，其中，所述初始缓存系统配置包括缓存节点和后备存储的图。

19.根据权利要求18所述的计算机化的最佳数据处理管理方法，其中，所述初始缓存系统配置的缓存节点和后备存储的图基于应用活动的模型执行不同子系统的协调。

20.根据权利要求19所述的计算机化的最佳数据处理管理方法，其中，所述应用活动的模型是使用应用数据通过机器学习生成的。

21.根据权利要求19或20所述的计算机化的最佳数据处理管理方法，其中，所述缓存系统更新使用所述至少一个图像数据和所述至少一个请求的任务来更新所述应用活动的模型。

22.根据权利要求14-21中任一项所述的计算机化的自适应数据处理管理方法，其中，所述任务执行调度包括以下步骤：

23.根据权利要求22所述的计算机化的最佳数据处理管理方法，其中，所述任务执行调度的任务分类遍历所述数据流图。

24.一种包括一个或多个处理器和一个或多个存储装置的系统，其中所述系统被配置为：

25.一种具有程序代码的计算机程序，当计算机程序产品在计算机上运行时，所述程序代码能够操作用于执行根据权利要求1-23中任一项所述的方法。

技术总结
一种用于成像应用的计算机化的高效数据处理管理方法，首先通过计算装置使用至少一个图像数据和至少一个请求的任务执行数据流图生成，以生成数据流图。然后，该方法使用生成的数据流图、缓存系统配置、至少一个图像数据和至少一个请求的任务应用任务执行调度来调度至少一个请求的任务的执行以生成任务执行输出。此外，自适应数据处理方法执行缓存系统更新，最佳数据处理方法进一步执行数据流图更新。

技术研发人员：C·伯恩鲍姆,S-J·J·李,T·攀
受保护的技术使用者：徕卡显微系统复合显微镜有限公司
技术研发日：
技术公布日：2024/1/12