光片荧光显微镜、图像处理系统和图像处理方法与流程

1.本公开涉及图像处理领域，具体涉及光片荧光显微镜、图像处理系统、图像处理方法以及可移除记录介质。


背景技术：

2.光片荧光显微镜(light sheet fluorescence microscopy)将激光光束准直形成一束“光片”，该“光片”仅照射需要观测的平面而无需背景光，从而例如可以直接使用诸如ccd相机的成像设备高速成像(例如，512*512 1000帧/s,2048*2048 50帧/s)，并且进行三维重构，比如最大密度投影(mip,maximum intensity projection)或最小密度投影(min-ip,minimum intensity projection)。


技术实现要素：

3.在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
4.本公开的目的是提供一种改进的光片荧光显微镜、包括该光片荧光显微镜的图像处理系统以及基于该光片荧光显微镜的图像处理方法。
5.根据本公开的一方面，提供了一种光片荧光显微镜，包括：样品载物台；光发射单元，被配置成朝向所述样品载物台上的样品发射光片，所述光片与所述样品载物台的表面呈预定角度；以及成像单元，被配置成对所述样品进行成像，以获取所述样品的、在与所述光片平行的平面上的多个二维图像，以用于基于所述多个二维图像的三维图像的重构处理，其中，所述成像单元的光轴与所述光片垂直，并且所述成像单元进一步被配置成使得物理空间中的第一物理方向被映射到图像空间中的与用于存储所述多个二维图像的存储器的数据行方向对应的第一图像方向，其中，所述第一物理方向是所述样品载物台的表面的法线方向，以及其中，所述预定角度大于0度且小于90度。
6.根据本公开的另一方面，提供了一种包括上述光片荧光显微镜的图像处理系统，所述图像处理系统还包括：图像处理单元，被配置成对经由所述成像单元获取的所述样品的多个二维图像进行处理，以重构所述样品的三维图像。
7.根据本公开的再一方面，提供了一种基于上述光片荧光显微镜的图像处理方法，包括：在使所述光片或所述样品载物台在物理空间中的第二物理方向上移动的情况下，利用所述成像单元获取所述样品的、在与所述光片平行的平面上的多个二维图像，以用于基于所述多个二维图像的三维图像的重构处理，其中，所述第二物理方向平行于所述样品载物台的表面并且与物理空间中的第三物理方向正交，以及其中，所述第三物理方向平行于所述样品载物台的表面并且平行于所述光片。
8.根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序
代码和计算机程序产品，以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。
9.在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。
附图说明
10.本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
11.图1是示出根据本公开的实施例的光片荧光显微镜100的功能配置示例的框图；
12.图2是示出根据本公开的实施例的光片荧光显微镜100的硬件配置示例的示意图；
13.图3a示出在成像单元106包括ccd相机的示例情况下、现有技术的光片荧光显微镜的物理空间与图像空间之间的映射关系的示例；
14.图3b示出在成像单元106包括ccd相机的示例情况下、本公开的实施例的光片荧光显微镜100的物理空间与图像空间之间的映射关系的示例；
15.图4是示出根据本公开的实施例的图像处理系统400的功能配置示例的框图；
16.图5a和图5b分别示出原始二维图像的示例和经扩展的二维图像的示例；
17.图6示出在采用了示例性亚采样操作的情况下、根据本公开的实施例的图像处理系统400的三维重构性能的示例；
18.图7是示出根据本公开的实施例的图像处理方法的流程示例的流程图；以及
19.图8是示出作为本公开的实施例中可采用的个人计算机的示例结构的框图。
具体实施方式
20.在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
21.注意，在本文中，“第一物理方向”、“第二物理方向”和“第三物理方向”分别表示物理空间中的第一方向、第二方向和第三方向。另外，“第一图像方向”、“第二图像方向”和“第三图像方向”分别表示图像空间中的第一方向、第二方向和第三方向。
22.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。
23.下面结合附图详细说明根据本公开的实施例。
24.首先，将参照图1和图2描述根据本公开的实施例的光片荧光显微镜100的实现示例。图1是示出根据本公开的实施例的光片荧光显微镜100的功能配置示例的框图。图2是示
出根据本公开的实施例的光片荧光显微镜100的硬件配置示例的示意图。
25.如图1和2所示，光片荧光显微镜100可以包括样品载物台102、光发射单元104和成像单元106。
26.光发射单元104可以被配置成朝向样品载物台102上的样品发射光片，该光片与样品载物台102的表面呈预定角度θ。其中，该预定角度θ可以大于0度且小于90度。例如，该预定角度θ可以大于0度且小于60度。然而，预定角度θ并不限于上述示例，而是本领域技术人员可以根据实际需要设置预定角度θ。
27.例如，如图2所示，光发射单元104可以包括光源和激发物镜。
28.成像单元106可以被配置成对样品进行成像，以获取样品的、在与光片平行的平面上的多个二维图像(在下文中，所获取的二维图像也称为“片层图像”)，以用于基于所获取的多个二维图像的三维图像的重构处理。成像单元106的光轴与光片垂直，并且成像单元106可以进一步被配置成使得物理空间中的第一物理方向(例如，图2中所示的y”轴方向)被映射到图像空间中的与用于存储上述多个二维图像的存储器的数据行方向对应的第一图像方向(例如，图3a和图3b中所示的逻辑上的y轴方向)，其中，第一物理方向是样品载物台的表面的法线方向。例如，可以通过使成像单元106相对于其中第一物理方向被映射到第二图像方向(例如，图3a和图3b中所示的x轴方向)的现有技术的成像单元旋转特定角度(例如，90度)，来使得第一物理方向被映射到与用于存储图像的存储器的数据行方向对应的第一图像方向。
29.例如，如图2所示，成像单元106可以包括成像物镜、滤镜、镜筒透镜和成像设备。
30.例如，成像单元106可以包括电荷耦合器件(ccd，charge coupled device)相机。此外，本领域技术人员可以根据实际需要，使成像单元106包括除ccd相机之外的合适的成像设备，这里将不再赘述。
31.注意，虽然在图2中示出了光发射单元104和成像单元106的具体配置，然而图2中所示出的具体配置仅仅是示例，本领域技术人员可以根据实际需要采用适当的光发射单元104和成像单元106的具体配置。
32.图3a和图3b分别示出在成像单元106包括ccd相机的示例情况下现有技术的光片荧光显微镜的物理空间与图像空间之间的映射关系的示例以及本公开的实施例的光片荧光显微镜100的物理空间与图像空间之间的映射关系的示例。
33.如图3a所示，对于现有技术的光片荧光显微镜，第一物理方向(例如y”轴方向)被映射到图像空间中的第二图像方向(例如，x轴方向)。另一方面，如图3b所示，对于本公开的实施例的光片荧光显微镜100，第一物理方向(例如y”轴方向)被映射到图像空间中的第一图像方向(例如，y轴方向)。由于第一图像方向与存储器(例如，内存)的数据行方向对应，也就是说，第一图像方向与存储器地址方向(例如，在c++内存存储行方向)一致，从而使得可以高效地将所获取的二维图像的图像数据拷贝到存储器中的期望位置，降低数据处理时间，并且提高数据处理效率。
34.注意，在图3a和图3b中，为了方便说明，示出了光片垂直于由第二物理方向(例如，z”轴方向)与第三物理方向(例如，x”轴方向)限定的、物理空间中的第一物理平面(即，与样品载物台的表面平行的平面，例如x”z”平面)的情形，然而在实际使用中，由于光片荧光显微镜的光路特点，如图1所示，光片不垂直于第一物理平面，而是光片与第一物理平面呈大
于0度且小于90度的预定角度θ。
35.根据本公开的实施例，还可以提供一种包括上述光片荧光显微镜100的图像处理系统。图4是示出根据本公开的实施例的图像处理系统400的功能配置示例的框图。
36.如图4所示，图像处理系统400可以包括光片荧光显微镜100和图像处理单元402。图像处理单元402可以被配置成对经由成像单元106获取的样品的多个二维图像进行处理，以重构样品的三维图像。
37.例如，根据本公开的实施例，图像处理单元402可以基于预定角度θ、多个二维图像中的相邻二维图像之间的距离以及多个二维图像的图像数目，对多个二维图像进行扩展，从而获取多个经扩展的二维图像，以及使用基于mip或minip的三维重构方法、基于多个经扩展的二维图像来重构样品的三维图像。其中，多个经扩展的二维图像在第一图像方向(例如，y轴方向)上彼此对准。图像处理单元402可以在三维图形渲染时基于预定角度θ构建投影坐标系，从而对经扩展的二维图像与图像空间中的由第一图像方向和第二图像方向限定第二图像平面(例如，图5b中的xy平面)之间的角度进行校正。例如，图像处理单元402可以基于预定角度θ构建投影坐标系，以使得重构的三维图像的高度方向(即，与第一图像方向对应的方向)平行于投影空间中的竖直方向。
38.例如，图像处理单元402可以采用基于opengl的gpu渲染方法进行三维图形渲染。
39.例如，图像处理单元402还可以将经扩展的二维图像的图像数据输出到文件(诸如tif文件)中，以便用户可以离线对图像数据进行分析以及/或者基于所保存的图像数据进行离线三维重构。例如，图像处理单元402可以在对多个经扩展的二维图像进行保存的同时进行实时的三维图形渲染。
40.下面将参照图5a和图5b结合具体示例，对图像处理单元402进行的图像扩展处理进行进一步说明。注意，在下文对图像扩展处理的描述中，为了方便描述，假设样品载物台或光片沿图2所示的z”轴方向移动，并且要获取的图像是样品的与图2所示的x”y”平面对应的片层图像(即，与图像空间中的xy平面平行的图像)。
41.如上所述，由于光片荧光显微镜的光路特点，光片不垂直于第一物理平面。受能量限制，激光穿透样品的深度是固定的,在样品载物台或光片沿如图1所示的z”轴方向移动的过程中,如图5a所示，会出现以下两个问题：1)随着层数的增加，所获取的图像的在y轴(第一图像方向的示例)上的底部从低到高增长；2)所获取的样品的片层图像与实际的xy平面之间存在倾角θ’＝90
°
－θ。上述两个问题导致基于光片荧光显微镜获取的原始片层图像重构的片层体(即，三维图像)存在一定的扭曲。
42.如图5a所示，由于片层图像垂直于yz平面和xz’平面，并且片层图像与xz平面成预定角度θ，因此，y轴与多个片层图像的底部所对应的z’轴之间夹角为θ。因此，由所获取的多个片层图像构成的片层体在y轴上的高度h’可以通过下式(1)表示。
43.h’＝h+n*step*cos(θ)
ꢀꢀꢀ
式(1)
44.在上式(1)中，h是单个片层图像在y轴上的高度，step是样品载物台或光片的移动步长(即，相邻片层图像之间的距离)，n为片层图像的数目且n为大于0的自然数。
45.由上式(1)可见，片层体的高度h’大于单个片层图像的高度。因此，例如可以通过在y轴上对多个片层图像进行扩展来获取在y轴上彼此对准的多个经扩展的图像。
46.作为示例，可以针对每个图像，通过对预定图像区域中的除该图像占据的区域之
外的区域进行零值填充来对该图像进行扩展。上述预定图像区域是基于预定角度、多个二维图像中的相邻二维图像之间的距离以及多个二维图像的图像数目而确定的。
47.例如，可以将预定图像区域在y轴上的高度设置为片层体的高度h’，并且将预定图像区域在x轴上的宽度设置为片层体的宽度(即，片层图像的宽度)。
48.第n(0＜n≤n)个片层图像的底部在整个片层体中在y轴上的坐标yn以由下式(2)表示：
49.yn＝h
’‑
n*step*cos(θ)
ꢀꢀꢀ
式(2)
50.例如，针对第n个片层图像，可以基于经由上式(2)确定的该片层图像在y轴上的坐标yn将该片层图像拷贝到预定图像区域，并且将预定图像区域中的除该片层图像占据的区域之外的区域进行零值填充来对该图像进行扩展，如图5b所示的那样。在图5b中，各个片层图像的扩展部分通过虚线框示出，片层体通过实线框示出。
51.作为示例，可以在片层图像的图像数据传输的同时完成对片层图像的扩展。例如，可以预先将用于存储多个二维图像的存储器(例如内存)中的、与片层体对应的区域用零值填充，然后基于经由上式(2)确定的n个片层图像在y轴上的坐标将n个片层图像的图像数据拷贝到与片层体对应的区域中的相应区域，以获得由n个经扩展的片层图像构成的片层体的图像数据。由于内存拷贝操作(memcpy)非常高效，因此可以高效地实现片层图像的扩展。
52.如上所述，基于光片荧光显微镜获取的原始片层图像重构的片层体(即，三维图像)存在一定的扭曲。为了消除或减小扭曲，例如可以在进行三维重构之前进行扭曲校正。在现有技术中，通过旋转矩阵变换来进行扭曲校正。例如，在片层体是x*y*z并且通道数是c的情况下，通过旋转矩阵变换进行扭曲校正的计算量是x*y*z*c的线性倍数。例如，一种典型的光片荧光显微镜的配置是x*y＝2048*2048、z＝256、c＝4。对于这种光片荧光显微镜的配置，旋转矩阵的元素数目是2048*2048*256*4＝8g。
53.在实际使用中，希望可以实时重构三维图像以方便用户在拍摄过程中实时观看样品的三维结构。为了实时重构三维图像，希望一个片层体的三维重构处理的时间不能超过下一个片层体的获取时间。例如，对于上述光片荧光显微镜的配置，如果曝光时间是20ms，则一个片层体的获取时间为z*c*20ms≈20s。由于旋转矩阵变换的计算量巨大，为了在一个片层体的获取时间内完成扭曲校正和三维图像重构，现有技术的方法在gpu或者gpu集群上进行扭曲校正和三维图像重构的处理(参见，例如，https://www.intelligent-imaging.com/wp-content/uploads/2019/01/ddn-micro volution-white-paper-v1.pdf)。然而，这种方法需要将整个片层体的数据加载到gpu,因而需要占用较多的gpu显存。例如，对于上述光片荧光显微镜的配置，即使只存储源片层体和目的片层体，不考虑其它的中间结果，就需要16gb的gpu显存。另外，16gb的数据从内存到显存以及从显存到内存的交换需要吞吐量更大的数据总线。对大容量的gpu显存和大吞吐量的数据总线的需求导致现有技术的方法的成本较高。
54.如上所述，根据本公开的实施例的图像处理系统400可以通过在第一图像方向上对多个片层图像进行扩展，以获得在第一方向上彼此对准的多个经扩展的片层图像，并且在三维图形渲染时引入倾角，从而获得经过扭曲校正的片层体。根据本公开的实施例的图像处理系统400的这种处理使得不需要通过旋转矩阵变换对原始图像进行倾角校正，从而可以提高数据处理速度和效率，节约诸如gpu的处理器的处理时间和显存。此外，根据本公
开的实施例的图像处理系统400的这种处理使得例如可以在普通的笔记本电脑或者工作站上实现实时三维重构，因而可以降低成本。
55.考虑到实时三维重构时用户主要是希望能够快速地先看到大致的效果，可以容忍稍低一些的分辨率，因而例如图像处理单元402可以对多个经扩展的图像进行亚采样，并且基于经由亚采样所获得的经扩展的图像来重构样品的三维图像，以便减小数据量，使得可以进一步减小处理时间和/或对图像处理单元402的处理性能的需求。
56.例如，可以根据用户的硬件配置(例如，gpu的显存大小)对多个经扩展的图像进行1/2、1/4、1/8等亚采样。
57.例如，根据本公开的实施例，图像处理单元402可以在c++环境下进行样品的三维图像的重构处理。
58.图6示出在采用了示例性亚采样操作的情况下、根据本公开的实施例的图像处理系统400的三维重构性能的示例。对于图6的示例，针对x和y进行1/2亚采样，而没有针对z进行亚采样。如图6所示，对于x*y*z*c＝1024*1024*241*4的片层体，在配置为笔记本电脑(配置为intel i5-7200@2.5g,gpu-nvidia geforce 940mx,2gb)和工作站(配置为(hp z6 workstation，intel xeon 5122 3.6 2666mhz 4c cpu.gpu-nvidia p4000,8gb)的三维重构时间分别为9s和8s，两者均小于拍照时间(20s)，因此使得可以方便用户在拍摄过程中实时观看样品的三维结构。
59.上文已经描述了根据本公开的实施例的图像处理系统，与上述图像处理系统的实施例相对应的，本公开还提供了以下基于光片荧光显微镜的图像处理方法的实施例。
60.图7是示出根据本公开的实施例的图像处理方法700的流程示例的流程图。如图7所示，根据本公开的实施例的图像处理方法700可以开始于开始步骤s702，并且结束于结束步骤s708。图像处理方法700可以包括二维图像获取步骤s704。
61.在二维图像获取步骤s704中，在使光片或样品载物台在物理空间中的第二物理方向(例如，图2中所示的z”方向)上移动的情况下，利用成像单元106获取样品的、在与光片平行的平面上的多个二维图像，以用于基于多个二维图像的三维图像的重构处理。第二物理方向平行于样品载物台的表面并且与物理空间中的第三物理方向(例如，图2中所示的x”方向)正交。第三物理方向平行于样品载物台的表面并且平行于光片。
62.例如，根据本公开的实施例，图像处理方法700还可以包括三维图像重构步骤s706。在三维图像重构步骤中，可以对经由成像单元106获取的样品的多个图像进行处理，以重构样品的三维图像。例如，三维图像重构步骤s706可以由上面的图像处理系统400中的图像处理单元402来实施，因此具体细节可以参见上面对的图像处理单元402的详细描述。
63.例如，根据本公开的实施例，在三维图像重构步骤s706中，可以基于预定角度θ、多个二维图像中的相邻二维图像之间的距离以及多个二维图像的图像数目，对多个二维图像进行扩展，从而获取多个经扩展的二维图像，并且使用基于mip或minip的三维重构方法、基于多个经扩展的二维图像来重构样品的三维图像。其中，多个经扩展的二维图像在第一图像方向(例如，y轴方向)上彼此对准。此外，可以在三维图形渲染时基于预定角度构建投影坐标系，从而对经扩展的二维图像与图像空间中的由第一图像方向和第二图像方向限定第二图像平面(例如，图5b中的xy平面)之间的角度进行校正。例如，可以基于预定角度θ构建投影坐标系，以使得重构的三维图像的高度方向(即，与第一图像方向对应的方向)平行于
投影空间中的竖直方向。例如，在三维图像重构步骤s706中，可以采用基于opengl的gpu渲染方法进行三维图形渲染。
64.作为示例，可以在片层图像的图像数据传输的同时完成对片层图像的扩展。例如，可以预先将用于存储多个二维图像的存储器(例如内存)中的、与片层体对应的区域用零值填充，然后基于经由上式(2)确定的n个片层图像在y轴上的坐标将n个片层图像的图像数据拷贝到与片层体对应的区域中的相应区域，以获得由n个经扩展的片层图像构成的片层体的图像数据。由于内存拷贝操作(memcpy)非常高效，因此可以高效地实现片层图像的扩展。
65.如上所述，根据本公开的实施例的图像处理方法700可以通过在第一图像方向上对多个片层图像进行扩展，以获得在第一方向上彼此对准的多个经扩展的片层图像，并且在三维图形渲染时引入倾角，从而获得经过扭曲校正的片层体。根据本公开的实施例的图像处理方法700的这种处理使得不需要通过旋转矩阵变换对原始图像进行倾角校正，从而可以提高数据处理速度和效率，节约诸如gpu的处理器的处理时间和显存。此外，根据本公开的实施例的图像处理方法700的这种处理使得例如可以在普通的笔记本电脑或者工作站上实现实时三维重构，因而可以降低成本。
66.在三维图像重构步骤s706中，可以对多个经扩展的图像进行亚采样，并且基于经由亚采样所获得的经扩展的图像来重构样品的三维图像，以便减小数据量，使得可以进一步减小处理时间和/或对处理性能的需求。
67.例如，可以根据用户的硬件配置(例如，gpu的显存大小)对多个经扩展的图像进行1/2、1/4、1/8亚采样。
68.例如，根据本公开的实施例，可以在c++环境下进行三维图像重构步骤s706。
69.应指出，尽管以上描述了根据本公开的实施例的光片荧光显微镜、图像处理系统和图像处理方法的功能配置和操作，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块和操作进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。
70.此外，还应指出，这里的方法实施例是与上述系统实施例相对应的，因此在方法实施例中未详细描述的内容可参见系统实施例中相应部分的描述，在此不再重复描述。
71.此外，本公开还提供了存储介质和程序产品。应理解，根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述图像处理方法，因此在此未详细描述的内容可参考先前相应部分的描述，在此不再重复进行描述。
72.相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
73.另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图8所示的通用个人计算机800安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
74.在图8中，中央处理单元(cpu)801根据只读存储器(rom)802中存储的程序或从存储部分808加载到随机存取存储器(ram)803的程序执行各种处理。在ram 803中，也根据需要存储当cpu 801执行各种处理等时所需的数据。
75.cpu 801、rom 802和ram 803经由总线804彼此连接。输入/输出接口805也连接到
总线804。
76.下述部件连接到输入/输出接口805：输入部分806，包括键盘、鼠标等；输出部分807，包括显示器，比如阴极射线管(crt)、液晶显示器(lcd)等，和扬声器等；存储部分808，包括硬盘等；和通信部分809，包括网络接口卡比如lan卡、调制解调器等。通信部分809经由网络比如因特网执行通信处理。
77.根据需要，驱动器810也连接到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。
78.在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。
79.本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者，存储介质可以是rom802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
80.以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
81.例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
82.在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。