一种图像处理方法及系统与流程

1.本公开涉及图像处理领域，具体地，本公开涉及一种对三维图像进行分割并展示的方法和系统。


背景技术：

2.对图像进行分割是图像处理科学的重要任务，对于三维图像而言，分割后常常需要三维的展示，给用户更直观的视觉体验。而对于分割结果，常常有不准确的问题。


技术实现要素：

3.有鉴于此，本公开提供一种对三维图像进行分割并展示的方法和系统。
4.根据本公开的示例性实施例，一种图像三维展示方法，包括：获取步骤：获取第一图像，所述第一图像是三维图像；分割步骤：使用图像分割模型，对所述第一图像进行分割处理，得到第二图像；展示步骤：将所述第二图像以三维形式展示；其中，在分割步骤之后，还包括更新步骤：获取对第二图像的第一操作，以对第二图像的分割结果进行调整，更新所述第二图像。
5.根据本公开的示例性实施例，所述分割步骤在第一处理装置进行，所述展示步骤在第二处理装置进行，所述第一处理装置的处理能力高于所述第二处理装置，所述第一处理装置和所述第二处理装置通信连接。
6.根据本公开的示例性实施例，所述更新步骤中获取对第二图像的第一操作是由所述第二处理装置和/或第三处理装置进行捕获，其中：所述第二处理装置是3d眼镜；所述第三处理装置通过通讯网络和所述第一处理装置连接；所述第一处理装置的处理能力高于所述第三处理装置。
7.根据本公开的示例性实施例，所述分割步骤包括：存储步骤：将获取的所述第一图像存储在所述第一处理装置中；提取图像信息步骤：将所述第一图像的来源信息进行提取并存储在所述第一处理装置中；自动分割步骤：调取预先训练好的分割模型，对所述第一图像进行分割；三维模型建立步骤：将分割后的图像重建为三维图像，得到所述第二图像；输出步骤：将所述第二图像输入给所述第二处理装置。
8.根据本公开的示例性实施例，其中，在分割步骤之后，还包括备选图像提供步骤，包括：获取对所述第二图像的第二操作，以对所述第二图像的分割结果进行调整，并将调整后的结果另存为第三图像，所述第二操作由所述第二处理装置和/或第三处理装置捕获；所述第二处理装置捕获所述第一操作和/或所述第二操作是通过捕获手势进行识别。
9.根据本公开的示例性实施例，其中所述展示步骤中，将所述第二图像和所述第三图像叠加进行展示，并根据第三操作选择展示所述第二图像或所述第三图像。
10.根据本公开的示例性实施例，其中所述第二操作包括n个，相应的，所述第三图像包括n个，并且：在输出步骤中，输出所述第二图像和m个所述第三图像给所述第二处理装置；在展示步骤中，展示所述第二图像和q个所述第三图像的叠加，n、m、q是大于等于1的正
整数，n≧m≧q；其中将所述n个第三图像进行排序，并选择前面的q个图像和m个图像作为所述q个图像和m个图像，排序策略至少包括以下至少一个：比较经过所述第二操作后的图像，将相类似图像数量多的结果排序靠前；获取所述第二操作的操作者身份，根据预定信息，将特定身份操作者的结果排序靠前；如果所述第二操作在展示其中一个第三图像后进行，并生成了另一个第三图像，将所述另一个第三图像排在所述一个第三图像前。
11.根据本公开的示例性实施例，获取所述第三操作，响应于所述m个第三图像还剩p个图像没有显示，输出除所述m个第三图像之外的其它第三图像给所述第二处理装置，其中m≧p。
12.根据本公开的示例性实施例，还包括：获取第四操作，将所述第四操作选定的所述第三图像中的特定第三图像更新为所述第二图像。
13.根据本公开的示例性实施例，一种医学图像展示系统，包括：第一处理装置，获取第一图像，所述第一图像是三维图像；使用图像分割模型，对所述第一图像进行分割处理，得到第二图像；第二处理装置，将所述第二图像以三维形式展示；其中，在对所述第一图像进行分割处理之后，还包括获取对第二图像的第一操作，以对第二图像的分割结果进行调整，更新所述第二图像。
14.根据本公开的示例性实施例，一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现本公开实施例中的方法。
15.根据本公开的示例性实施例，一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现本公开实施例中的方法。
16.根据本公开提供的对三维图像进行分割并展示的方法和系统，可以对三维图像进行全自动的分割与展示。
附图说明
17.下面将通过参照附图详细描述本公开的优选实施例，使本领域的普通技术人员更清楚本公开的上述及其它特征和优点，附图中：
18.图1为本公开示例性实施例的系统架构框图；
19.图2为本公开示例性实施例的系统部署图；
20.图3为本公开示例性实施例的自动处理流程图；
21.图4为本公开示例性实施例的端到端的自动处理流程图；
22.其中，附图标记如下：
[0023][0024]
具体实施方式
[0025]
为使本公开的目的、技术方案和优点更加清楚，以下举实施例对本公开进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0026]
在一个示例性的实施例中，一种图像三维展示方法，包括：获取步骤：获取第一图像，第一图像是三维图像；分割步骤：使用图像分割模型，对第一图像进行分割处理，得到第二图像；展示步骤：将第二图像以三维形式展示；其中，在分割步骤之后，还包括更新步骤：获取对第二图像的第一操作，以对第二图像的分割结果进行调整，更新第二图像。这里，更新步骤既可以在展示步骤之前，也可以在展示步骤之后。在该实施例中，对三维的第一图像
首先进行自动分割，再进行展示，可以使用户有更直观的体验。比如，分割出的不同的区域使用不同色彩进行展示，或者，每次仅展示其中一个或若干个区域，或者，高亮其中的一个或若干个区域，这可以使用户对每个区域进行详细的观察。进一步的，图像的分割算法可能出错，故设置更新步骤，用户或专家可以干预图像的分割结果。例如，用户或专家发现某一部位的分割并不准确，可以对分割后的图像进行第一操作，该操作可以是分割不准确的部位进行的重新分割，例如人工的确定分割的边界。根据第一操作，更新第二图像，使得第二图像更新为更准确的分割结果。第一操作可以在展示的三维第二图像上直接进行，当然，也可以在未进行3d展示之前进行，例如，可以在三维图像的二维投影的显示上进行。
[0027]
在一个示例性的实施例中，分割步骤在第一处理装置进行，展示步骤在第二处理装置进行，第一处理装置的处理能力高于第二处理装置，第一处理装置和第二处理装置通信连接。图像分割所需要的算力较强，如果放在图像展示的第二处理装置，会造成第二处理装置的成本高体积大。故采用在算力较强的第一处理装置进行分割，然后通过通信连接第二处理装置，第二处理装置仅用于展示，所需算力较小，容易低成本和轻量化。第二处理装置可以有一个，也可以有多个。在第一处理装置中分割好的第二图像可以传递个多个第二处理装置进行展示。
[0028]
在一个示例性的实施例中，特别参见图1-2，更新步骤中获取对第二图像的第一操作是由第二处理装置和/或第三处理装置进行捕获，这里，第一处理装置是应用服务器11，第二处理装置是hololens全息眼镜13，通常由用户佩戴，但专家也是可以佩戴的，第三处理装置是桌面工作站12，通常由专家进行操作。桌面工作站12通过通讯网络和第一处理装置应用服务器11连接；应用服务器11的处理能力高于桌面工作站12和全息眼镜13。在图1所示的系统架构框图中，第一处理装置应用服务器11上有服务器应用1，服务器应用1读取第一图像后，首先进行图像存储4，然后进行自动分割5，最后进行3d模型存储/输出6，把分割好的第二图像发送给全息透镜应用程序3。在全息透镜应用程序3中，具有患者列表7，并具有3d模型操作9，既可以在全息眼镜13中通过读取患者列表7展示患者的信息，也可以通过3d模型操作9使佩戴全息眼镜13的用户可以对模型的展示方式进行操作，操作包括并不限于，旋转、平移、放大、缩小、赋予不同分割部分不同颜色、仅显示某一或某一些部分、突出显示某一或某一些部分。架构还具有web应用程序2，设置于桌面工作站12中。web应用程序2中有患者列表7和微调3d模型8。专家可以通过web应用程序2对分割结果进行调整，例如,微调3d模型8可以是微调(fine-tuning 3dmodels)，来修改神经网络的参数值。这个调整的过程可以在分割后的任何时刻进行，只要专家或用户发现分割的结果需要调整就可以进行第一操作。
[0029]
未图示的，第一操作也可也在全息眼镜13中进行，专家或者用户在佩戴3d眼镜时，如果发现分割结果不准确，可以直接使用手势对分割结果进行调整。例如，利用手指/手掌的滑动将显示的图像调整到需要重新分割的部位，用双指/双掌的远离或靠近调整图像到合适的大小，在利用特殊手势，如4指的滑动对需分割的边缘进行确定。由于佩戴的眼镜是3d的，这种交互非常友好。图2示例性的示出了系统部署图，应用服务器11和桌面工作站12通过rj45 14和无线路由器10通信连接，而全息眼镜13为了便于移动，通过wi-fi15和无线路由器10通信连接。
[0030]
在一个示例性实施例中，特别参见图3，在应用服务器11中的图像处理流程18包
括：
[0031]
第一步，图像存储13，将获取的第一图像存储在第一处理装置应用服务器11的数据存储19中。这里以医学图像为例，将从数据源16读取的医学图像，例如从pacs20系统读取的，或是从医疗影像设备ct/mr/pet/dsa21读取的第一图像，以dicom文件28存储在应用服务器11的数据存储19上。将图像存储在应用服务器11，便于随时读取源图像，而不必每次访问数据源16。
[0032]
第二步，提取图像信息步骤，这里是提取患者信息24步骤：将第一图像的来源信息进行提取并存储在应用服务器11的数据存储19中。在对每幅图像进行处理前，记录下处理的是哪一幅图像。另外，在展示时，也同时展示患者的基本信息。提取患者信息是根据实际情况进行选择的，为了隐私，可以不提取患者的个人信息，仅仅显示疾病的类型，如肝癌病例，这种信息在展示3d图像时，方便用户知晓应对图像的哪些方面进行关注。
[0033]
第三步，自动分割25步骤：调取预先训练好的分割模型，对第一图像进行分割。这里是从ai服务17里调取的预先训练好的u-net模型22，u-net模型对于医学影像分割尤其有效，示例性的，这里采用u-net模型，但其它任何分割模型都是可选的，本领域技术人员可以根据实际需要进行选择。分割后，将分割图像文件30(segmentation mask files)存储到数据存储19内，这里以nifti格式为例。这种存储方便了后续的进一步运算，如果进一步的运算需要这些分割图像文件30，直接在数据存储19中进行读取，而不必再次进行计算，节省了算力资源。
[0034]
第四步，三维模型建立，即构建3d模型26步骤：将分割后的图像重建为三维图像，得到第二图像；
[0035]
第五步，输出步骤，即输出3d模型27步骤：3d模型27即第二图像，将第二图像输出给全息眼镜13。在输出的同时，还将3d数据文件31存入数据存储19内，这里以glb文件为例，使用gltf格式进行存储。这种格式在较低数据量的情况下仍有较佳效果，适用于全息眼镜13的无线通信环境。
[0036]
在应用服务器11中，本实施例在数据存储19中存储了源图像dicom文件28、患者信息数据库29、分割图像文件30和3d数据文件31，这些存储的步骤充分利用了服务器存储空间大的现有特点，对各种中间文件进行存储，在需要再一次访问这些文件时，不需要进一步的运算，节省了算力和计算时间。这是因为，在3d图像处理领域，运算量大，时间是关键的，避免用户的等待时间可以提高用户体验。
[0037]
在一个示例性实施例中，在分割步骤之后，还包括备选图像提供步骤，包括：获取对第二图像的第二操作，以对第二图像的分割结果进行调整，并将调整后的结果另存为第三图像，第二操作由第二处理装置和/或第三处理装置捕获；第二处理装置捕获第一操作和/或第二操作是通过捕获手势识别。在图像被ai算法自动分割之后，当认为分割的结果有误的情况下，本实施例提供了对分割结果进行调整的手段。并且，这种调整分为两种，一种是基于第一操作，调整好直接将第二图像进行更新，而原第二图像结果不予以保存，这种适用于对调整结果的正确性非常确认的情况下。另一种是基于第二操作，将调整的结果另存为第三图像，而保留原来的分割结果第二图像。这种适用于对调整结果的正确性没有十分确定的情况下。当然，第三图像可以有多幅。示例性的，第一操作和第二操作可以根据操作的执行主体进行区分。例如，专家的操作被认为是第一操作，而实习医生或是普通用户的操
作被认为是第二操作。第一操作和第二操作还可以根据操作的方式进行区分，示例性的，专家、实习医生或用户可以首先选择“更新”还是“另存”，然后再进行分割结果的调整操作。其中，第三图像可以有多幅，即每个实习医生或是普通用户，或是每次选择“另存”，都会生成新的第三图像。
[0038]
在一个示例性的实施例中，其中展示步骤中，将第二图像和第三图像叠加进行展示，并根据第三操作选择展示第二图像或第三图像。无论是ai模型自动分割出的第二图像，还是被人工更新过的第二图像，都不能确保其分割的正确性，故在本公开中，将不同的分割结果进行叠加显示，供用户进行参考。示例性的，可以将第二图像以第一种色彩进行显示，而将第三图像以其它种类色彩进行显示，第一种色彩比其它种类的色彩更加艳丽，视觉上更加突出。叠加显示的第三图像为多幅的情况下，每个第三图像使用不同的色彩。用户看到叠加显示的图像后，可以通过第三操作选择仅显示其中一幅，例如，界面上有多个按钮，每个按钮一个颜色，和每个被叠加的图像的色彩相对应，点击相应颜色的按钮作为第三操作，就可以显示相应的第二图像或第三图像。也可以设计切换的按钮或手势作为第三操作，每次切换到不同图像，直至符合观看图像的需求。这种叠加显示可以是全局的，也可以是局部的，可以根据需求或是修改的部位进行。
[0039]
在一个示例性的实施例中，其中第二操作包括n个，相应的，第三图像包括n个，并且：在输出步骤中，输出第二图像和m个第三图像给第二处理装置；在展示步骤中，展示第二图像和q个第三图像的叠加，n、m、q是大于等于1的正整数，n≧m≧q。每次第二操作都产生一个第三图像，共产生了n个图像，n的数量可能会很大，例如超过10幅，如果每一幅第三图像都传给第二处理装置全息眼镜13，全息眼镜13将有很重的存储负担，成本也将上升。故仅从n个第三图像中选出m个，传输给全息眼镜13。在全息眼镜13中，每次还可以从m个第三图像中仅仅选择q个和所述第二图像叠加显示，避免过多的叠加让用户难以分辨。当然，根据用户的特定操作，如第五操作，可以把除q个图像外的图像进行叠加，也可以把除m个图像外的其它图像传导全息眼镜13，替换掉之前存在的图像。这种操作是随着操作者的需求进行的，操作者还需要更多的分割结果进行参考，往往会进行此类的操作。
[0040]
选择q个图像和m个图像通过将n个第三图像进行排序得到，排序后选择前面的q个图像和m个图像作为所述q个图像和m个图像，排序策略至少包括以下至少一个：
[0041]
比较经过第二操作后的图像，将相类似图像数量多的结果排序靠前。如果更多个操作者对图像分割的结果类似或相同，那该分割结果为正确结果的可能性就更大。当然，也可以仅统计特定用户的操作结果，例如专家和实习医生，而将普通用户的操作结果排除在外。
[0042]
获取第二操作的操作者身份，根据预定信息，将特定身份的结果排序靠前。这种方式将领域资深医生的排序结果放在前面，因为其正确的可能性是最高的。另一种方式是对不同的操作者的操作结果赋予不同的权值，专家最高，实习医生次之，普通用户最低。当然，医生也可以根据其资历和专业再进行权值的赋予。加权后再计算排名。
[0043]
如果第二操作在展示其中一个第三图像后进行，并生成了另一个第三图像，将所述另一个第三图像排在所述一个第三图像前。在该策略下，如果操作者在阅读过一种分割结果后，仍对该结果进行调整，修改后的结果正确的概率更高。
[0044]
三种策略可以单独使用，也可以混合使用，在混合使用时，可以设定每种策略的优
先级，也可以对每种策略的结果赋予权值，再进行排序。
[0045]
在一个示例性的实施例中，获取第三操作，响应于m个第三图像还剩p个图像没有显示的，输出除所述m个第三图像之外的其它第三图像给所述第二处理装置，其中m≧p。在用户对图像进行切换的时候，如果全息眼镜13存储中，剩下的未显示图像不多了，这里是仅有p个，应用服务器11会继续输出除所述m个第三图像之外的其它第三图像给全息眼镜13。用户在阅读完所有的m个第三图像后，可以快速的继续浏览，省去了下载图像的时间。
[0046]
在一个示例性的实施例中，获取第四操作，将第四操作选定的第三图像中的特定第三图像更新为第二图像。该实施例提供了另一种确定第二图像的手段。在本公开中，第二图像有一个，作为最可能符合实际的分割结果，而第三图像可以有多个，作为备选。当发现作为备选的第三图像为符合实际的分割结果时，可以经过第四操作，将特定的第三图像更新为第二图像。这样，第二图像可以在对其本身的操作时进行更新，也可以通过选择特定的第三图像进行更新。
[0047]
在一个示例性的实施例中，特别参见图2、4，提供一种医学图像展示系统，包括：第一处理装置应用服务器11，获取第一图像，第一图像是三维图像；使用图像分割模型，对第一图像进行分割处理，得到第二图像；第二处理装置全息眼镜13，将第二图像以三维形式展示；其中，在对第一图像进行分割处理之后，还包括获取对第二图像的第一操作，以对第二图像的分割结果进行调整，更新第二图像。在图4实施例中，医疗设备32发送dicom影像33给应用服务器11，在应用服务器11中，拥有自动分割/构建全息模型35对图像进行自动分割，桌面工作站12通过预览/微调全息模型36和应用服务器11进行沟通，对分割结果进行调整，而全息眼镜13通过操作全息模型35和应用服务器11进行沟通，对展示的3d图像进行操作。
[0048]
在一个示例性的实施例中，医学成像越来越影响医学实践，极大地促进了改善疾病的诊断、治疗和随访。医疗影像在将精准医学应用于临床实践方面发挥着越来越重要的作用。vr和ar的技术进步以及低成本的头戴式显示器(hmd)设备产生了巨大的影响，并引发了非常活跃的研究领域。增强现实(ar)领域的最新技术进步和诸如全息(光)透镜hololens(hl)之类的消费者头戴式显示器(hmd)设备有大量机会在医学成像方面进行应用。医学影像中的分割是重要的，受限于自动分割的不准确，一种方式是手工进行图像分割、进行3d模型的构建，然后手工导入到hololens中。全过程耗时且准确性差，难以快速的应用临床场景中。本公开示例性实施例提出了一种端到端的无缝工作流自动影像处理系统。从而实现自动接收患者扫描影像，自动调用预先训练的ai分割模型对影像进行分割并标注相应器官，并自动生成3d全息影像模型，使用户在hololens中浏览时能够自动加载患者的全息影像，示例性的参见图1：
[0049]
1)服务器应用1：具有dicom图像存储4，示例性的是，是dicom c-store scp服务，用于接收pacs或者ct/mr等影像设备发送来的dicom影像数据并能够自动存储与服务器中，能够提取dicom影像设备中的患者及检查信息自动生成患者检查列表数据将其存储于数据库中。自动分割5，能够自动调用预训练好的ai模型，进行全自动的器官分割和标注。通过vtk将影像数据和分割数据进行3d模型的重建，并自动导出生成3d数据文件glb并存储于服务器中。3d模型存储/输出6，为hololens提供数据接口，使其能够访问患者检查列表和下载3d全息模型。
[0050]
2)web应用程序2：使医生能通过web浏览器登录本系统，检查服务器中各个任务的
处理状态。同时在浏览器中对分割数据和3d模型进行预览，同时能够根据需要对分割数据进行微调，使模型更加优化。
[0051]
3)全息透镜应用程序3：安装于hololens中的应用程序，能够预览患者检查列表，并能根据选择自动加载患者的3d全息影像数据。支持手部隔空操作及眼部跟踪，能够根据需要对3d模型进行全息的操作。
[0052]
系统的部署图示例性的参见图2所示，主要由四部分构成：无线路由器10、应用服务器11、桌面工作站12和全息眼镜14。各个系统通过无线路由器进行网络互联，医生在桌面工作站12上访问web应用进行预览和微调等操作。用户通过全息眼镜14进行最终全息影像的调阅和使用。
[0053]
在一个示例性的实施例中，具体参见图3，整体系统架构为：处理流程18：第一步.图像存储23，提供c-store scp服务，自动接收患者的扫描影像数据，并自动将接收的影像数据存储于服务器中，便于后续的处理；第二步.提取患者信息24，从接收到的患者影像中，自动提取患者基本信息和相关检查信息，并存储于数据库中，从而构建患者的列表；第三步.自动分割25，自动调用预先训练的分割模型，根据影像的扫描部位自动进行影像的3d分割并标注；第四步.构建3d模型26，对影像数据和分割数据调用vtk(视觉化工具函式库)进行3d模型的构建；第五步.输出3d模型27，根据3d构建的模型，导出为gltf的格式并进行存储。
[0054]
在一个示例性的实施例中，具体参见图3，系统对接第三方pacs 20或者ct、mr影像设备21，自动接收患者的影像数据，到hololens中全息影像的操作实现端到端的智能化处理。
[0055]
在一个示例性的实施例中，使用gltf进行3d全息模型的传输：由于3d的obj模型格式的大量非压缩的普通文本数据，所以针对移动式的hololens设备的数据传输，采用gltf格式使得整体模型的在保证质量的基础上，能够压缩数据提高传输效率。
[0056]
在一个示例性的实施例中，在hololens中添加模型的修改功能，使用户能够在hololens虚拟现实中进行浏览模型的时候能够同步的进行模型的修改，并将修改的结果保存于服务器中，在全息眼镜13的手势操作为：
[0057]
1.用手指轻触“编辑全息模型”按钮；
[0058]
2.用手指在模型上需要修改的部位轻触，选中对应的身体分割器官；
[0059]
3.然后用手捏住选中器官的进行空间中的拖拽，实现调整其位置的效果；
[0060]
4.当调整完成后，松开捏着的手指，模型则自动固定与调整后的位置；
[0061]
5.用手指轻触“保存全息模型”按钮，将调整后的模型自动保存于服务器中。
[0062]
本技术示例性的实施例在以下场景中是特别有用的：
[0063]
a.解剖教学：医学影像已成为解剖教学中越来越重要的工具。三维全息技术有可能进一步改善虚拟解剖结构，并通过提供更逼真的、基于患者的图像以及与多种疾病相关的改变的解剖结构来增加价值。可以通过三维全息技术工作站随时与不同患者和疾病的解剖结构进行交互。
[0064]
b.患者教育：三维全息技术提供的良好图像质量可以改善与患者的沟通。“一张图片胜过千言万语。”医生和外科医生可以使用3d全息图像来说明疾病特征和潜在的治疗方法。对于患者教育而言，3d全息图像比灰色阴影的传统平面和横截面图像要好得多，因为后
者很少有利于直观的解释。3d全息图像也是独特的、定制的、忠实的真实器官和疾病的表现。与传统医学图像相比，3d全息图像可能更有助于患者了解疾病和对治疗计划的承诺。
[0065]
c.手术导航：手术计划和术前模拟是三维成像的额外优势。基于三维图像和模型的规划已经彻底改变了手术实践。
[0066]
根据本公开实施例的另一方面，提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，计算机程序在被处理器执行时实现根据本公开上述任一实施例的图像三维展示方法。
[0067]
根据本公开实施例的另一方面，提出了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开上述任一实施例的图像三维展示方法。
[0068]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0069]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0070]
在本公开的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读存储介质可以是计算可读信号介质或计算机可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0071]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0072]
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
[0073]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。