本发明主张在2016年01月07日提出的申请号为62/275,818的美国临时专利申请的优先权。该美国临时专利申请整体以引用方式并入本文中。
本发明涉及图像和视频编解码。具体地，本发明涉及自360度全景视频转换的立方体面图像的图像处理与视频压缩的技术。
背景技术：
360度视频，也称为沉浸式视频，是一种新兴技术，其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景来围绕使用者来实现，具体是用360度视场。“身临其境的感觉”还可以通过立体渲染来提升。因此，全景视频正被广泛应用于虚拟现实(virtualreality，vr)应用中。
沉浸式视频涉及使用多个摄像机捕捉场景以覆盖全景视图，例如360度视场。沉浸式摄像机通常使用用于捕捉360度视场的一组摄像机。通常，两个或以上摄像机用于沉浸式摄像机。所有视频必须同时被捕捉，以及场景的单独段(也称为单独透视图)被记录。此外，一组摄像机常常被设置成水平地捕捉视图，而这些摄像机的其他设置也是可能的。
图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可以采用360度球面全景摄像机来捕捉。球面图像处理单元110自摄像机接收原始图像数据，以形成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本技术领域中是熟知的，且在本公开中省略其细节。来自于球面图像处理单元110的360度球面全景图像的示例在图像112中示出。如果摄像机被定位以使得顶端朝上，则360度球面全景图像的顶端对应于垂直上方(或天空)，且底端指向大地。然而，如果摄像机被配置有陀螺仪，则垂直顶端可以总是被确定而无论摄像机如何被定位。在360度球面全景格式中，场景中的内容似乎是失真的。通常，球面格式被投影到立方体的表面，作为可选的360度格式。转换可以由投影变换单元120来执行，以推导出对应于立方体的六个面的六面图像122。在立方体的面上，这六个图像被连接于立方体的边缘处。由于360度图像序列可能需要较大存储空间或者需要较高带宽以用于传输，视频编码器130的视频编码可以被应用于包括六面图像序列的视频序列。在接收器侧或显示侧处，已压缩视频数据使用视频解码器140来解码以恢复六面图像序列，以在显示设备150(例如，vr显示)上进行显示。
图2a示出了投影转换的示例，其中球面图像被投影到立方体的六个面上。立方体的六个面从1到6进行编号。三个可见侧210(即1、4和5)和三个不可见侧220在图2a中示出。每侧的方向由其相应的侧编号来表示。虚线圈中的侧编号表示透视图像，是由于这些图像位于立方体的后侧。这六个立方面从一个面到连接面连续于连接边缘处。例如，面1与面5连接于边缘214处。因此，如图2b所示，面1的顶端边缘连续地延伸到面5的底端边缘，又例如，面4与面5的右侧连接与边缘212。因此，如图2c所示，面4的顶端边缘连续地延伸到面5的右侧。面1与面5之间以及面4与面5之间的细缝隙旨在示出两个面之间的图像边界。
为了允许图像处理系统或视频处理系统采用六个立方体面之间的空间和/或时间相关性或冗余，需要开发将这六个立方体面组装成已组装矩形图像的方法，以用于有效的处理或压缩。
技术实现要素：
本发明公开了一种处理立方体面图像的方法及装置。根据一个方法，通过将每六个立方体面图像的集合进行组装，每六个立方体面图像的集合被转换成一个矩形组装图像，以最大化连续边界的数量并最小化不连续边界的数量，其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界，并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界。该方法还包括：将视频编解码应用于视频序列。在这种情况下，输出数据对应于视频序列的已压缩数据。
矩形组装图像可以对应于6x1组装图像。在这种情况下，6x1组装图像包括两个3x1连接图像，每个3x1连接图像具有两个连续边界，并且6x1组装图像具有两个3x1连接图像的边界之间的一个不连续边界。矩形组装图像可以对应于1x6组装图像。在这种情况下，1x6组装图像包括两个1x3连接图像，每个1x3连接图像具有两个连续边界，并且1x6组装图像具有两个1x3连接图像的边界之间的一个不连续边界。
矩形组装图像可以对应于3x2组装图像。在这种情况下，3x2组装图像包括对接于两个3x1连接图像的长边缘处的两个3x1连接图像，每个3x1连接图像具有两个连续边界，并且3x2组装图像具有两个3x1连接图像的边界之间的三个不连续边界。矩形组装图像可以对应于2x3组装图像。在这种情况下，2x3组装图像包括对接于两个1x3连接图像的长边缘处的两个1x3连接图像，每个1x3连接图像具有两个连续边界，并且2x3组装图像具有两个1x3连接图像的边界之间的三个不连续边界。
通过如下流程，每六个立方体面图像的集合可以被转换成矩形组装图像：将每六个立方体面图像的集合展开成连接网格；旋转连接网格的一个或多个立方体面图像，以形成两个连接尺寸为3的图像、三个尺寸为2的连接图像或一个尺寸为4的连接图像加两个尺寸为1的图像，其中尺寸为3的图像包括三个连续面图像，且每个尺寸为2的图像包括两个连续面图像；以及将两个连接尺寸为3的图像或三个尺寸为2的连接图像组装成一个6x1矩形组装图像、一个1x6矩形组装图像、一个3x2矩形组装图像或一个2x3矩形组装图像，或者将一个尺寸为4的连接图像加两个尺寸为1的图像组装成一个6x1矩形组装图像或一个1x6矩形组装图像。
根据另一方法，生成表示来自于立方体的六个面的展开图像的全部连接立方体面图像，其中所有六个立方体面在全部连接立方体面图像内连接，且全部连接立方体面图像的两个连接立方体面之间的任何边界穿过该边界是连续的。通过用填充数据填充任何空白区域，生成覆盖全部连接立方体面图像的矩形组装图像。提供对应于包括矩形组装图像序列的视频序列的输出数据。此外，视频编解码可以被应用于视频序列。在这种情况下，输出数据包括视频序列的已压缩数据。在一个实施例中，填充数据可以具有对应于0(黑色)、2bitdepth-1(灰色)或2bitdepth–1(白色)的像素值，其中bitdepth是用于表示像素的每个颜色分量的比特数。
附图说明
图1示出了360度球面全景帧的示例性处理链。
图2a示出了投影转换的示例，其中球面图像被投影到立方体的六个表面。
图2b-图2c示出了穿过边界具有连续内容的两个连接面的示例。
图3a示出了根据本发明实施例的示例性360度全景系统处理链，其中立方体面组装器用于将六个立方体面组装成已组装图像。
图3b示出了立方体组装器的示例性实施方式，其中展开面可以被部分连接或全部连接。
图4示出了立方体图像展开的11种示例，其中每个展开类型称为一种立方体网格。
图5a-图5k示出了对应于图2a中所示的六个立方体面的11种示例性展开图像。
图6示出了通过用已知的像素数据修补(patching)异型(odd-shaped)的立方体网格图像来推导出360度球面图像的矩形图像的示例。
图7a-图7k示出了根据图6中的流程的11种示例性已修补图像。
图8示出了通过形成多个部分连接矩形图像来推导出360度球面图像的矩形组装图像的另一示例。
图9a-图9k示出了根据图8中的流程的11种示例性的多个部分连接矩形图像。
图10示出了根据本发明实施例的不同类型的部分连接图像的示例。
图11a示出了具有标识的面连接的段(segmentation)a连接图像和段b1连接图像的组装的示例。
图11b示出了具有标识的面连接的段c连接图像的组装的示例。
图11c示出了具有标识的面连接的段b2连接图像的组装的示例。
图12示出了根据本发明实施例的视频处理系统的示例性流程图，其中六个面的集合被转换成矩形组装图像，每个矩形组装图像实现最大数量的连续边界和最小数量的不连续边界。
图13示出了根据本发明实施例的视频处理系统的示例性流程图，其中六个面的集合被转换成对应于全部连接立方体面图像的矩形组装图像。
具体实施方式
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视权利要求书所界定为准。
如前面所述，表示360度全景图像的六个立方体面在两个连接面的边界处是连续的。为了保持面之间的连续性，本发明公开了不同的方式以组装这六个立方体面。通过保持连续性，其可以有助于提高处理效率，例如提高编解码效率。图3a示出了根据本发明实施例的360度全景系统处理链，其中立方体面组装器310用于将这六个立方体面组装成已组装图像。随后，已组装图像序列经历进一步的处理，例如，视频编码与解码。图3b示出了立方体面组装器310的示例性实施方式，其中，在步骤312中，这六个面被展开。在这些面被展开之后，其可以使用全部连接组装器314或部分连接组装器316来进行组装。开关318可以用于在这两个组装器之间进行选择。这六个面可以已被存储，作为单个图像。在这种情况下，步骤312可以被省略。然而，如图2a中所示，相对于立方体的六个面之间的关系应被存储或对解码器已知，使得这六个面可以被正确地使用。此外，组装器可以仅具有一种类型的组装器(全部连接组装器314或部分连接组装器316)。在这种情况下，开关318是不需要的。
图4示出了立方体图像展开的11种示例。每个展开类型在本发明中称为一种立方体网格。这些展开示例对应于沿着边缘切开立方体盒而同时保持所有六个面仍连接。面1在图4的每个立方体网格中进行标记。因此，剩余的图像顺序可以被确定。如图4所示，这些展开的六个面在展开图像的每个中总是具有5个连接面边界。此外，所有这些连接边界是连续边界，因为图4中的每个连接边界对应于立方体的两个连接面的边缘。如前面所述，面的内容穿过边缘从一个面到另一个面是连续的。
对于图2a的六个立方体面，图5a到图5k示出了11种对应的展开图像。如图5a到图5k所示，任何两个连接面穿过边界总是连续的。面编号被标记以用于每个面，以显示面的定位。
每个立方体网格中的六个面包含所需的所有信息，以呈现360度全景图像。然而，与立方体网格相关的六个面形成了异型的图像，其不符合矩形形状的传统图像格式。为了生成360度球面图像的矩形形状，本发明实施例用已知像素数据(例如，0值像素)来修补对应于立方体网格的图像，以形成矩形图像。图6示出了通过用已知像素数据修补异型的立方体网格图像来推导出360度球面图像的矩形图像的示例。如图6所示，在步骤610中，在立方体展开流程312之后，选择立方体网格。随后，立方体网格图像中的空白区域用修补数据进行填充。修补数据的像素值是已知的。例如，在8比特像素值被使用(即用于表示像素的每个颜色分量的比特数，即bitdepth为8)的情况中，修补值可以为0(黑色)、128(2bitdepth-1＝28-1，灰色)、255(2bitdepth–1＝28-1，白色)。在这种方式中，立方体网格图像被修补以生成每六个立方体面的集合的单个图像。因此，已生成的图像是全部连接的。
对于11种展开立方体网格图像，图7a到图7k示出了根据图6中的立方体面图像组装流程的这些已修补图像，其中用交叉孵化线填充的区域表示已修补区域。如图7a到图7k所示，任何两个连接面穿过边界是连续的。
图8示出了通过形成多个部分连接矩形图像来推导出360度球面图像的矩形组装图像的另一示例。如图8所示，在步骤810中，展开面图像被旋转到具有正确定位的所需位置处。这些面可以被旋转以形成一形状，其可以被分段成较小数量的具有相同尺寸的连接矩形图像而保持最大连接性。在步骤820中，已旋转面中的连接被标识，随后，在步骤830中，已旋转且已连接面相应地被组装成矩形组装图像。
对于11种展开立方体网格图像，图9a到图9k示出了根据图8中的流程的面旋转，其中如每个图的左手边上所示，所需的旋转由箭头来表示。在图9a到图9k中，如图10的第一列中所总结，旋转之后，存在三种类型的连接图像(即a、b和c)。根据图8中所示的流程，已旋转面中的连接在步骤820中被标识。类型a的连接面包括两个连接矩形图像(即如图10的第二列中的段a中所示，每个的尺寸为3)，其中，箭头表示与尺寸为3的连接矩形图像相关的三个面。在每个尺寸为3的连接矩形图像内，图像内容穿过两个连接面的边界从一个面到另一个面是连续的。类型b的连接面也包括两个连接矩形图像(即如图10中的段b1中所示，每个的尺寸为3)。对于两个尺寸为3的连接矩形图像，一个被水平定位，而另一个被垂直定位。同样地，在每个尺寸为3的连接矩形图像内，图像内容穿过面边界从一个面到另一个面是连续的。可选地，如图10的最后一列中的段b2所指定，类型b的连接图像可以被处理为一个尺寸为4的连接矩形图像以及两个单独面。对于尺寸为4的连接矩形图像，四个面的内容穿过四个面的边界是连续的。类型c的连接面包括三个连接矩形图像(即，如图10中的段c所指定，每个的尺寸为2)。每个尺寸为2的连接图像的内容穿过面边界是连续的。
如图10所示，由不同段类型(即a、b1、b2和c)所标识的连接图像具有不同程度的连接性。对于段类型a和段类型b1，每六个面的集合具有4个连续的边界。对于段类型b2和段类型c，每六个面的集合具有3个连续的边界。
在面连接被标识之后，面可以被组装成对应于与每个360度球面全景图像相关的六个面的一个矩形图像。图11a示出了具有标识的面连接的段a(1100a)连接图像和段b1(1100b1)连接图像的组装的示例。由于段a和段b均包括两个尺寸为3的连接图像，这两个段在面图像组装流程期间以相同的方式进行处理。对于段a，两个尺寸为3的连接面图像被连接于面4与面6之间。此外，两个尺寸为3的连接面图像具有相同的定位(即均是水平的)。对于段b1，两个尺寸为3的连接面图像被连接于面4与面3之间。此外，两个尺寸为3的连接面图像具有不同的定位(即一个是水平的，一个是垂直的)。虽然两个尺寸为3的连接面图像在段a和段b1中是不同地连接的，但是段a和段b1的这两个尺寸为3的连接面图像是相同的。一个尺寸为3的连接面图像包括面2、面1和面4，另一个包括面6、面3和面5。段a和段b1中的这些面图像在尺寸为3的连接面图像内以相同的方式进行连接。
如图11a所示，四个不同的立方体面图像组装(1110到1116)是可能的。对于图像组装1110，通过将两个尺寸为3的图像在长图像边(即具有3个面图像的边)上对接在一起，两个尺寸为3的图像被组装成一个3x2图像。对于图像组装1112，通过将两个尺寸为3的图像在长图像边(即具有3个面图像的边)上对接在一起，两个尺寸为3的图像被组装成一个2x3图像。可选地，通过将两个尺寸为3的图像在短图像边(即具有1个面图像的边)上对接在一起，两个尺寸为3的图像可以被组装成一个1x6图像(即1114)。通过将两个尺寸为3的图像在短图像边(即具有1个面图像的边)上对接在一起，两个尺寸为3的图像可以被组装成一个6x1图像(即1116)。在这四种已组装图像中，两个尺寸为3的图像之间的边界(1121、1122、1123或1124)是不连续的。对于面图像组装1110和面图像组装1112，沿着边界1121与1122分别存在三个不连续面边界。对于面图像组装1114和面图像组装1116，仅存在分别沿着边界1123和边界1124的一个不连续面边界。对于所有四种面图像组装，存在四个连续面图像边界，其对应于两个尺寸为3的连接图像中的每个内的两个连续面边界。因此，面图像组装1114和面图像组装1116具有最小数量的不连续面边界。
同样地，如图11b所示，段c图像(即1100c)的四种不同的立方体面图像组装(即1130到1136)是可能的。对于图像组装1130，通过将三个尺寸为2的图像在长图像边(即具有2个面图像的边)上对接在一起，三个尺寸为2的图像被组装成一个3x2图像。对于图像组装1132，通过将三个尺寸为2的图像在长图像边(即具有2个面图像的边)上对接在一起，三个尺寸为2的图像被组装成一个2x3图像。同样地，通过将三个尺寸为2的图像在短图像边(即具有1个面图像的边)上对接在一起，三个尺寸为2的图像可以被组装成一个1x6图像(即1134)或一个6x1图像(即1136)。在这些已组装图像中，三个尺寸为2的图像之间的边界(1141到1148)是不连续的。对于段c图像，存在三个连续面边界，其对应于三个尺寸为2的图像中每个内的一个。对于面图像组装1130和面图像组装1132，存在四个不连续面边界，其对应于两个尺寸为2的图像之间的边界中的每个的两个。另一方面，对于面图像组装1134和面图像组装1136，存在两个不连续面边界，其对应于两个尺寸为2的图像之间的边界中每个的一个。
在图11c中，示出了段b2图像(即1100b2)的面图像组装(即1150和1152)，其中图像被分段成一个尺寸为4的连接面图像和两个单独面。对于图像组装1150，尺寸为4的连接面图像和两个单独面被组装成一个1x6图像。对于图像组装1152，尺寸为4的连接面图像和两个单独面被组装成一个6x1图像。在这些已组装图像中，尺寸为4的图像与每个单独图像之间的边界(即1161、1162、1163或1164)是不连续的。对于组装1150和组装1152，最终矩形图像具有三个连续面边界和两个不连续面边界。
如图3a所示，已组装图像的一个目的用途是视频压缩。由于对应于使用360度全景摄像机所捕捉的视频的图像序列导致了比2d应用的传统视频多得多的视频数据，因此，非常需要压缩360度全景图像序列。对于传统视频源存在有不同的现有视频编解码标准，例如mpeg-2、mpeg-4/avc、vc-9、hevc等。根据本发明的组装流程生成矩形图像，其可以很容易适用于传统视频编解码的环境。
如视频编解码中所已知，编解码流程通过采用视频源中的空间和/时间冗余来实现压缩。各种类型的面图像组装形成了具有不同数量的连续面和不同数量的不连续面的矩形组装图像。对于具有更高数量的连续面和/或更低数量的不连续面的矩形组装图像，据推测具有更高的空间和/或时间冗余。因此，这种矩形组装图像很可能实现更好的压缩效率。例如，图11a中的组装6x1矩形图像和组装1x6矩形图像(即1116和1114)具有最大数量的连续面边界(即4个)和最小数量的不连续面边界(即1个)，因此，这些矩形组装图像被期望实现最佳压缩性能。存在对应于其他段的其他的组装6x1矩形图像和组装1x6矩形图像。例如，图11b中的组装6x1矩形图像和组装1x6矩形图像(即1136和1134)具有三个连续面边界和两个不连续面边界。图11c中的组装6x1矩形图像和组装1x6矩形图像(即1150和1152)也具有三个连续面边界和两个不连续面边界。图11a中的组装3x2矩形图像和组装2x3矩形图像(即1110和1112)具有四个连续面边界和三个不连续面边界。图11b中的组装3x2矩形图像和组装2x3矩形图像(即1130和1132)具有三个连续面边界和四个不连续面边界。
基于上述观察，图11a中的组装6x1矩形图像和组装1x6矩形图像(即1116和1114)在图11a-图11c中所示的不同组装图像类型中很可能具有最佳编解码性能。已对图11a-图11c的不同组装图像类型进行性能比较。锚系统使用2x3图像，其中没有一个相邻面穿过任何两个连接面的边界具有连续内容。传统的标准hevc被用作视频编解码器以用于比较。图11a中的组装6x1矩形图像和组装1x6矩形图像(即1116和1114)在三个不同测试序列下实现了3.0-5.4％之间的编解码增益的最佳性能。具体地，6x1组装矩形图像略优于1x6组装矩形图像。图11a中的组装3x2矩形图像和组装2x3矩形图像(即1110和1112)在三个不同测试序列下实现了1.7-3.6％之间的编解码增益的次最佳性能。
虽然图11a中的组装6x1矩形图像和组装1x6矩形图像(即1116和1114)实现最佳性能，但是组装6x1矩形图像在实作上优于组装1x6矩形图像。对于使用帧间/帧内预测的视频编解码，线缓存器通常用于存储先前编解码单元行的必要编解码信息。越宽的图像将需要越大的线缓存器。6x1组装图像比1x6组装图像窄得多。因此，图11a中的组装6x1矩形图像是本发明的较优实施例。
图12示出了根据本发明实施例的视频处理系统的示例性流程图，其中六个立方体面图像的集合被转换成矩形组装图像。根据该方法，在步骤1210中，接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面图像的集合。如图3a所示，360度全景视频序列可以是对360度全景摄像机捕捉的数据使用缝合和校准(即110)生成的。随后，每个球面图像通过投影转换(即120)被映射到立方体面图像的集合。随后，立方体面图像的集合用作立方体面组装器(即310)的输入。每六个立方体面图像的集合对应于被投影到如图2a所示的立方体的六个表面的六个子图像，以用于渲染360度虚拟现实。在步骤1220中，通过将每六个立方体面图像的集合进行组装，将每六个立方体面图像的集合转换成一个矩形组装图像，以最大化连续边界的数量并最小化不连续边界的数量，其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界，并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界。这种类型的立方体面图像组装对应于图3b中的流程316。图9a到图9k示出了生成连接图像而使得连续边界可以被最大化的示例。图11a到图11c示出了对接连接图像以形成矩形组装图像而使得不连续边界可以被最小化的示例。在步骤1230中，提供对应于包括矩形组装图像序列的视频序列的输出数据。如图3a所示，包括矩形组装图像的视频序列可以被输出，以用于进一步处理，例如视频编码(即130)。
图13示出了根据本发明实施例的视频处理系统的示例性流程图，其中六个面的集合被转换成对应于全部连接立方体面图像的矩形组装图像。根据该方法，在步骤1310中，接收通过投影转换自360度全景视频序列中的每个球面图像转换的每六个立方体面的集合。如图3a所示，360度全景视频序列可以是对360度全景摄像机捕捉的数据使用缝合和校准(即110)生成的。随后，每个球面图像通过投影转换(即120)被映射到立方体面的集合。随后，立方体面的集合用作立方体面组装器(即310)的输入。每六个立方体面的集合对应于被投影到如图2a所示的立方体的六个表面的六个子图像，以用于渲染360度虚拟现实。在步骤1320中，生成表示来自于立方体的六个面的展开图像的全部连接立方体面图像，其中所有六个立方体面在全部连接立方体面图像内连接，全部连接立方体面图像的两个连接立方体面之间的任何边界穿过该边界是连续的。如步骤1330所示，通过用填充数据填充任何空白区域，生成覆盖全部连接立方体面图像的矩形组装图像。这种类型的立方体面图像组装对应于图3b中的流程314。图7a到图7k示出了全部连接立方体面图像的示例。在步骤1340中，提供对应于包括矩形组装图像序列的视频序列的输出数据。如图3a所示，包括矩形组装图像的视频序列可以被输出，以用于进一步处理，例如视频编码(即130)。
上述流程图可以对应于计算机、移动设备、数字信号处理器或本发明的可编程设备上执行的软件程序代码。程序代码可以以各种编程语言编写，例如，c++。该流程图还可以对应于基于硬件的实现，其中一个或多个电子电路(例如专用集成电路(applicationspecificintegratedcircuits，asic)以及现场可编程门阵列(fieldprogrammablegatearray，fpga)或处理器(例如数字信号处理器(digitalsignalprocessor，dsp))。
上述说明，使得本领域的普通技术人员能够在特定应用程序的上下文及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可是在数字信号处理器(digitalsignalprocessor，dsp)上执行的程序代码，以执行本文所描述的处理。本发明还可包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可由不同的编程语言和不同的格式或样式开发。软件代码也可编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。