在图像中进行测量的制作方法

1.本文的实施例涉及成像和在图像中进行测量。


背景技术：

2.本公开属于图像分析领域。在诸如医学成像的领域中，通常需要确定图像中的感兴趣的特征(例如，对象)的长度。例如，在医学领域，许多放射学发现被报告为长度测量，例如，器官大小、肿瘤大小、血管口径、支气管腔等。此类长度测量对于治疗决策和进展监测等可以是决定性的。实体瘤中的反应评估标准(recist；参见seymour等人2017年标题为“irecist:guidelines for response criteria for use in trials testing immunotherapeutics”的论文)是以这种方式使用测量的诊断程序的一个示例。
3.本文实施例的目的是改进在包括但不限于医学图像的图像中进行测量的方法。


技术实现要素：

4.在医学成像中，测量通常由阅读的放射科医师或放射技师使用电子测径器工具以交互方式生成。电子测径器可以包括一对端点，该对端点可以被描绘为覆盖在放射图像上的图形轴线或圆。
5.交互式测径测量可能是昂贵的工作量负担，并且可能遭受读者之间的可变性和主观性。因此，由于这两个原因，在图像中进行测量的改进方法是合乎需要的。
6.实现自动轴线长度测量的传统方法通常基于组合的解剖学-数学限定，例如，可以执行对于特定器官的分割，随后确定该器官的对应分段的2d或3d中的数学最长轴线。还可以应用最优性标准来产生物理上有意义的客观结果，例如“在最高图像梯度的位置限定边界”。
7.然而，许多放射性测量是习惯性的，已经发展和修改了许多年，用户可能无法针对其提供清晰的数学描述或目标。例如，放射技师可能描述关于难以数学限定的特定界标的特定测量。此外，测量可能存在警告。可能根据复杂和详细的标准进行测量。警告测量标准的示例可以是，例如：“界标xxx到此界标yyy，约在aaa和bbb的中间，除了ccc的存在，则更相关的是忽略yyy并向ddd测量，但是如果eee被切除，则我们用hhh测量到器官fff和ggg的三触点；我们更喜欢选择主动脉或iii可见的切片，但前提是不显示条纹伪影；坏死区域不应相交；选择窗口/级别，使皮层变得刚好可见
……”
此类标准因此难以用算法捕获。因此，需要提供在诸如医学图像的图像中自动进行测量捕获的改进方法。
8.因此，根据第一方面，存在一种进行与图像中的感兴趣的特征相关联的测量的计算机实现的方法。该方法包括使用利用机器学习过程训练的模型来将图像作为输入并预测在其之间进行图像中的感兴趣的特征的测量的一对点，以及基于预测的一对点来确定测量。
9.以这种方式，机器学习模型可以被训练并用于基于图像本身来预测适当的端点，在这些端点之间对图像中的感兴趣的特征进行测量。以这种方式，模型可以被训练为固有
地考虑复杂的测量标准，而不需要对标准进行显式编码。可以使用各种各样的图像来训练模型，例如，由不同的专家注释者确定的用测量的正确放置来注释的图像。通过这种方式，模型可以将所有注释者的经验结合到单个模型中，从而提供比任何单个注释者更好的测量。
10.根据第二方面，存在一种训练模型的方法，该模型用于进行与图像中的感兴趣的特征相关联的测量。该方法包括向模型提供训练数据，该训练数据包括：i)示例图像；以及ii)对于每个图像，指示在其之间进行对示例图像中的感兴趣的特征的测量的适当位置的一对地面真值点。该方法然后包括训练该模型来预测对于每个示例图像的相关联的该对地面真值点。
11.根据第三方面，存在一种用于进行与图像中的感兴趣的特征相关联的测量的系统。该系统包括：存储器，其包括表示一组指令的指令数据；以及处理器，其被配置为与存储器通信并执行该组指令。当该组指令由处理器执行时，使得处理器使用利用机器学习过程训练的模型来将图像作为输入，并预测在其之间进行图像中的感兴趣的特征的测量的一对点，并基于预测的一对点来确定测量。
12.根据第四方面，存在一种包括计算机可读介质的计算机程序产品，该计算机可读介质包括计算机可读介质，该计算机可读介质具有嵌入其中的计算机可读代码，该计算机可读代码被配置为使得在由合适的计算机或处理器执行时，该计算机或处理器被促使执行第一方面或第二方面的任何实施例。
附图说明
13.为了更好地理解和更清楚地示出如何实现本文的实施例，现在将仅通过示例的方式参考附图，在附图中：
14.图1(a)示出了在图像中进行测量的现有技术方法；
15.图1(b)示出了在图像中进行测量的现有技术方法；
16.图1(c)说明了根据现有技术方法测量肿瘤的不同方法；
17.图2(a)示出了两个腹部病灶的不正确测量；
18.图2(b)示出了图2(a)中两个腹部病灶的正确测量；
19.图3示出了根据本文一些实施例的方法；
20.图4示出了根据本文一些实施例的另一方法；以及
21.图5示出了根据本文一些实施例的系统。
具体实施方式
22.如上所述，在诸如医学图像的图像中进行测量，可能需要有经验的从业者的专业知识，特别是如果，例如，对于特定对象(例如，诸如特定器官或肿瘤)的测量标准不容易用数学方法限定。
23.图1(a)示出了在医学图像100中进行测量的现有技术方法。在此方法中，当测量图像100中的感兴趣的特征(诸如特征102)时，可以使用电子测径器。例如，电子测径器可以包括一对点104，该对点可以由临床医生在图像中单独移动/放置。然后在该对点104之间进行测量，例如沿着线106。在图1(b)中示出了另一个示例，其中特征108使用测径器110测量。
24.电子测径器的端部(例如，该对点104)的精确放置可能是主观的和/或需要专业知识。这在图1(c)中示出，图1(c)示出了可以应用于肿瘤的不同类型的测量。图1(c)摘自如下论文：于2014年3月公开的、lei liu等人的、标题为“easl-and mrecist-evaluated responses to combination therapy of sorafenib with transarterial chemoembolization predict survival in patients with hepatocellular carcinoma,journal of clinical cancer research”doi:10.1158/1078-0432.ccr-13-1716。
25.结节内的灰色区域表示增强的存活病灶，并且白色区域表示未增强或碘化油滞留病灶。治疗前测量由结节112示出。在此示例中，距离a表示治疗前整个肿瘤的最大直径；并且直径b垂直于a。治疗后的测量包括由标记114-118所示的测量：其中距离a’表示治疗后整个肿瘤的最大直径；距离a
″
表示治疗后肿瘤增强区域的最大直径；并且b”表示垂直于a”的直径。
26.图2a和图2b示出了在两个腹部病灶的图像中的不正确的电子测径器放置202和正确的电子测径器放置204、206的示例。在这个示例中，正确的测量包括分别测量每个病灶的长轴线，而不是在一个组合的测量中。
27.本文实施例的目的是提供在诸如医学图像的图像中进行测量的改进方法。
28.简而言之，如将在下文详细描述的，本文的一些实施例尤其提出应用端到端机器学习来自动建议用于常规临床测量的电子测径器位置，特别是对于可能不容易根据数学或最优化标准或目标函数来限定的测量，或者涉及多个器官群的环境的测量。
29.可以训练使用例如深度卷积神经网络的机器学习模型，以从底层图像内容中直接再现测径器放置的起点和终点。在部署阶段，对于新的输入图像，可以计算模型推断，产生例如建议的测径器位置的概率映射图，其可以作为图形覆盖呈现给用户。在一些实施例中，用户可以交互地免除不想要的测径器，或者以通常的方式确认或修改它们。
30.图3示出了根据本文的一些实施例的进行与图像中的感兴趣的特征相关联的测量的计算机实现的方法300。在第一框302中，方法300包括使用利用机器学习过程训练的模型来将图像作为输入，并预测在其之间进行图像中的感兴趣的特征的测量的一对点。在第二框304中，方法300然后包括基于所预测的该对点来确定测量。
31.以这种方式，使用机器学习过程训练的模型可以用于在不需要训练有素的临床专家的情况下确定图像中的感兴趣的特征的测量。如果该模型被训练，例如，使用包括由许多临床医生进行的注释测量的示例的训练数据，那么该模型可以有效地结合所有注释者的经验，增加准确性并减少测量过程的主观性。
32.在一些实施例中，图像可以包括医学图像。医学图像可以包括使用任何成像模态获取的图像。医学图像的示例包括但不限于(例如，来自计算机断层摄影(ct)扫描的)ct图像(诸如c形臂ct图像、光谱ct图像或相位对比ct图像)、(例如，来自x射线扫描的)x射线图像、(例如，来自磁共振(mr)扫描的)mr图像、(例如，来自超声扫描的)超声(us)图像、荧光透视图像、核医学图像或任何其他三维医学图像。
33.图像可以以任何格式(存储)，例如，图像可以是dicom图像格式、fits图像格式、jpeg图像格式、gif图像格式或任何其他图像格式。
34.感兴趣的特征可以包括图像中可见的任何类型的特征。例如，该模型可以被训练来预测对于任何类型的特征或任何类型的测量的一对点。在图像包括医学图像的实施例
中，感兴趣的特征可以包括解剖特征或解剖特征的一部分。例如，感兴趣的特征可以包括与器官或器官的一部分、血管或血管的一部分相关联的特征。在一些实施例中，感兴趣的特征可以包括肿瘤。在一些实施例中，感兴趣的特征可以包括胎儿。通常，该测量可以是感兴趣的特征的某个方面，或者与感兴趣的特征的某个方面相关联。在一些实施例中，测量可以包括体积估计。
35.虽然本文的示例通常是根据医学图像给出的，但是应理解，本文所描述的原理同样适用于在其他类型的图像中进行测量。其他类型图像的示例包括但不限于：在地质图像中测量地质特征，诸如地质雷达勘测；在卫星图像中测量人造或自然结构；以及在天文图像中测量天文结构的特征。
36.通常，图像可以包括二维图像、三维图像或任何其他维度的图像。通常，图像可以包括多个(或一组)图像分量。例如，在图像包括二维图像的实施例中，图像可以由包括像素的图像分量组成。在图像包括三维图像的实施例中，图像可以由包括体素的图像分量组成。
37.通常，本文的原理可以应用于对任何类型的图像中的任何类型的特征进行测量，以便确定在其之间进行测量的一对点的适当位置，在该图像中测量标准例如不容易用数学方法限定(例如，由习惯限定)或者需要评估多个标准。
38.在图像包括医学图像的实施例中，可以调节(例如临床调节)进行测量的方式。例如，在图像包括医学图像的实施例中，可以定位该对点，以便满足与测量相关联的临床要求。
39.在框302中，由机器学习过程训练的模型用于将图像作为输入，并预测在其之间进行图像中的感兴趣的特征的测量的一对点。
40.该模型可以包括可以使用机器学习过程来训练的任何类型的模型，以将图像(例如，诸如医学图像)作为输入，并预测在其之间进行图像中的感兴趣的特征的测量的一对点的适当放置。在一些实施例中，可以根据如下所述的方法400来训练模型。
41.如下面将参考方法400更详细描述的，在一些实施例中，经训练的模型可能已经使用训练数据进行了训练，该训练数据包括：i)示例图像；以及ii)对于每个图像，指示在其之间进行对示例图像中的感兴趣的特征的测量的适当位置的一对地面真值点。在此意义上，地面真值表示了用于对应输入图像的“正确”预测的示例。
42.在一些实施例中，模型可以包括经训练的神经网络，诸如经训练的f-net或经训练的u-net。技术人员将熟悉神经网络，但简而言之，神经网络是一种受监督的机器学习模型，其可以被训练来预测给定输入数据的期望输出。使用训练数据来训练神经网络，该训练数据包括示例输入数据和对应的“正确的”或所需的地面真值结果。神经网络包括多层神经元，每个神经元表示应用于输入数据的数学运算。神经网络中每一层的输出被馈送到下一层以产生输出。对于每条训练数据，调整与神经元相关联的权重，直到找到最佳权重，该最佳权重针对训练示例产生反映对应地面真值的预测。
43.在其他可能的实施例中，可以使用支持向量回归、或随机森林回归或其他非线性回归来训练模型。技术人员将熟悉这些其他类型的受监督的机器学习模型，该这些其他类型的受监督的机器学习模型可以被训练来预测针对给定输入数据的期望输出。
44.虽然本文描述了神经网络，但是应理解，本文的教导更一般地适用于任何类型的模型，该任何类型的模型可以用于预测一对点的适当放置，在该对点之间进行图像中的感
兴趣的特征的测量。例如，在一些实施例中，模型包括受监督的机器学习模型。在一些实施例中，模型包括随机森林模型或决策树。该模型可以包括分类模型或回归模型。下文提供这两种类型的示例。
45.在一些实施例中，模型被训练以将图像(例如仅图像)作为输入。在其他实施例中，模型可以包括另外的输入通道(例如，获取另外的输入)。该模型可以将例如以下类型参数的任一个或任意组合作为输入：i)所需测量类型的指示，ii)图像类型的指示，例如图像模态等，iii)图像内容的指示。此类输入可以使模型能够更好地预测所需的测量类型，从而提高模型的预测能力。
46.在图像包括医学图像的实施例中，模型可以进一步将与测量和/或医学图像的临床环境或临床目的相关的信息作为输入。其他输入可以包括例如图像中的解剖特征的指示、要进行的测量的类型和/或检查目的或描述。
47.临床医生在医学图像中放置测径器的方式可以取决于用于向临床医生显示图像的显示设置。因此，在一些实施例中，可以提供显示设置作为模型的输入，该显示设置诸如图像窗口/级别设置、对比度设置或图像的其他显示设置，与在其中观看图像的显示设置相关联。
48.在图像包括三维图像的实施例中，模型可以进一步将三维图像的视角(例如，观察视角)作为输入。通常，可以将观察视角输入到模型中(例如，轴向、冠状、矢状)。然后，考虑到观察者对图像中的感兴趣的特征的视角，可以训练该模型来确定适当的测量。
49.在一些实施例中，与测量和/或医学图像的临床环境相关的信息可以从存储在图像中的元数据获得。例如，存储在放射信息系统(ris)中的数据。此类数据可以存储在图像的头部中，诸如dicom图像头部或fits图像头部。
50.在一些实施例中，模型可以将图像的分割作为输入。因此，方法300可以进一步包括执行图像分割的框，以及提供来自分割的分段(或多个分段)作为模型的另外的输入的框。
51.技术人员将熟悉图像分割，但简言之，图像分割涉及提取关于图像中捕获的对象或形状的形状/形式信息。这可以通过将图像转换成组成框或“分段”来实现，每个分段中的像素或体素具有共同的属性。在一些方法中，图像分割可以包括将模型拟合到图像中的一个或多个特征。
52.可以作为方法300的一部分执行的图像分割的示例包括但不限于：基于模型的分割(mbs)，由此目标结构(例如，心脏、大脑、肺等)的三角网格以迭代的方式适应图像中的特征；以及机器学习(ml)分割，其中ml模型用于基于类似的像素/体素值和图像梯度将图像转换成多个组成形状(例如，框形状或框体积)。关于应用于医学图像的mbs的进一步信息可以在例如如下论文中找到：ecabert,o.等人的、2008年的、标题为“automatic model-based segmentation of the heart in ct images”，ieee trans.med.imaging 27(9),1189
–
1201。
53.可以结合图像使用分割，以使模型能够更好地确定图像中的感兴趣的特征(或其他对象)的边缘和/或边界。这可以提高模型的辨别能力，从而使模型能够预测在其之间进行测量的该对点的更好位置。
54.如上所述，该模型获取输入并使用它们来预测一对点，在该一对点之间对图像中
的感兴趣的特征进行测量。换句话说，模型的输出可以包括一对点，例如图像中两个点的位置。输出可以包括针对该对点中每个点的坐标。例如，在一些实施例中，可以使用回归技术(例如，改进的卷积神经网络)来直接预测测量的坐标(类似于区域提议网络)。
55.在一些实施例中，该模型提供一个或多个置信度映射图作为输出，该置信度映射图指示与该对点的不同放置相关联的置信度值。例如，在一些实施例中，可以训练完全卷积神经网络(u-net、f-net、
…
)或其他回归模型(支持向量回归、随机森林回归)来预测针对新图像中各个界标的位置的“置信度映射图”。在此类实施例中，输出映射图中的峰值可以表示针对测量的预测最佳起点和终点。以这种方式的置信度映射图包括基于分类的技术的示例。
56.在一些实施例中，模型可以进一步输出描述针对此特定测量的测量类型(描述符、类型)的标签。此类标签还可以由模型训练和预测。
57.除了上述输出之外或作为上述输出的替代，可以预测的其他输出的示例包括测量的估计(例如，轮廓映射图的一对点或峰值之间的距离的估计)。
58.在一些实施例中，这对点表示电子测径器的端点，如关于图1(a)至图1(c)和图2所述。熟练的技术人员将熟悉电子测径器。在此类实施例中，在框304中，可以在电子测径器的端点之间确定测量。
59.除了图1(a)至图1(c)和图2中示出的那些之外，本文还考虑了电动测径器的其他表示。例如，在一些实施例中，该对点中的第一点可以表示圆(或3d中的球体)的中心，该对点中的第二点可以表示圆/球体的边界(例如，半径)。在此类示例中，可以在框304中确定测量，例如，相对于圆的半径。
60.在另一个示例中，该对点可以包括表示矩形框的一个角的第一点，以及表示矩形框的(例如，相对的)第二角的第二点。在此类示例中，在框304中可以相对于矩形框的任何(预限定的)对角来确定测量。
61.在框304中，可以根据该对点之间的距离来确定测量。可以使用技术人员熟悉的校准将像素距离转换成物理距离。
62.现在转向特定实施例，例如，可以使用关键点检测来确定该对点。例如，关键点检测可以被认为是回归问题。在采用关键点检测的示例实施例中，该模型可以包括卷积神经网络序列，该卷积神经网络序列可以用于直接预测各个界标的坐标。在此实施例中，序列中的第一网络可以将整个图像作为输入(例如，使得可以考虑全局特征)，而随后的网络(使用从先前网络预测的区域作为输入)可以允许对估计坐标进行细化。替代地，此任务可以实现为单个端到端卷积神经网络(或其他模型)。在一些实施例中，使用级联(堆叠)网络(或其他模型)可能是有利的。
63.方法300可以进一步包括向用户显示图像和/或所预测的该对点。在由模型输出概率映射图的实施例中，概率映射图的峰值然后可以被识别并用作一个或多个建议测径器的位置，其可以作为映射图形覆盖映射图呈现给用户。然后，用户可以例如调整(例如拖放)这对点中的一个或另一个，以在他们认为合适时改进定位。
64.现在转向模型的训练，在一些实施例中，可以根据如图4中所示的方法400来训练模型。方法400包括训练模型的计算机实现的方法，该模型用于进行与图像中的感兴趣的特征相关联的测量。使用方法400训练的模型可以用于如上所述的方法300中。
65.方法400可以包括，在第一框402中，向模型提供训练数据，该训练数据包括：i)示例图像；以及ii)对于每个示例图像，指示在其之间进行对示例图像中的感兴趣的特征的测量的适当位置的一对地面真值点。在第二框404中，方法400可以包括训练模型来预测对于每个示例图像的相关联的该对地面真值点。
66.技术人员将熟悉使用训练数据(例如，梯度下降等)训练诸如神经网络的模型的方法，并且理解训练数据可以包括数百或数千行训练数据。训练数据可以进一步包括另外的示例输入字段和另外的地面真值输出字段。换句话说，该模型可以被训练以获取进一步的输入来进行预测并且还提供另外的输出。
67.可能的其他输入参数和输出参数已经在上面关于方法300进行了详细讨论(具体参见步骤302)，并且其中的细节将被理解为同样适用于方法400的输入训练数据和输出训练数据。
68.训练数据可以包括用该对点的适当位置注释的图像，例如在其之间进行测量的适当的或“正确的”端点。
69.在一些实施例中，模型可以进一步输出描述针对此特定测量的测量类型(描述符、类型)的标签。在此类实施例中，训练数据可以进一步包括描述要进行的测量类型的标签。在此类实施例中，可以进一步训练模型来预测标签。
70.在一些实施例中，对于每个示例图像的该对地面真值点可以从相关联示例图像的元数据获得。例如，临床医生可能已经预先分析了医学图像，并且为图像中的感兴趣的解剖特征的特定测量确定了电子测径器的适当定位。例如，此分析可以存储在图像头部中。因此，历史数据可以用作用于模型的训练数据。
71.在一些实施例中，可以通过向用户显示示例图像并从由用户提供的输入接收该对地面真值点来获得训练数据。例如，可以提示用户实时注释图像。在此类实施例中，对于每个示例图像，训练数据可以进一步包括与向用户显示示例图像相关联的显示设置。此类显示设置可以进一步在训练期间作为输入提供到模型。
72.上面关于方法300更详细地描述了显示设置，并且其中的细节将被理解为同样适用于方法400。
73.现在转向图5，在一些实施例中，存在用于在二维显示器上显示图像的三维体积的系统500。该系统可以形成专用装备的一部分，诸如专用医疗装备，替代地，该系统可以形成计算机系统的一部分，诸如膝上型计算机、台式计算机或其他装备，或者系统500可以形成云/分布式计算装备的一部分。
74.该系统包括：存储器504，其包括表示一组指令的指令数据；以及处理器502，其被配置为与存储器通信并执行该组指令。通常，当由处理器执行时，该组指令可以使得处理器执行如上所述的方法300或400的任何实施例。在一些实现方式中，该组指令可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或者用于执行本文所描述的方法的单个或多个步骤。
75.更具体地，在一些实施例中，当由处理器执行时，该组指令使得处理器使用利用机器学习过程训练的模型，以将图像作为输入，并预测在其之间进行图像中的感兴趣的特征的测量的一对点，并基于预测的一对点来确定测量。
76.关于方法300的框302和304详细描述了使用利用机器学习过程训练的模型以将图
像作为输入并预测在其之间进行图像中的感兴趣的特征的测量的一对点，以及基于预测的一对点来确定测量，并且其中的细节将被理解为同样适用于处理器502的实施例的配置。
77.在一些实施例中，当由处理器执行时，该组指令可以另外地或替代地使得处理器向模型提供训练数据，该训练数据包括：i)示例图像；以及ii)对于每个图像，指示在其之间进行对示例图像中的感兴趣的特征的测量的适当位置的一对地面真值点，并且训练该模型以预测对于每个示例图像的相关联的该对地面真值点。
78.上文关于方法400的框402和框404描述了向模型提供训练数据和训练模型以预测对于每个示例图像的该对地面真值点，并且其中的细节将被理解为同样适用于处理器502的实施例的配置。
79.通常，处理器502可以包括一个或多个处理器、处理单元、多核处理器或模块，该一个或多个处理器、处理单元、多核处理器或模块被配置或编程为以本文所描述的方式控制系统500。在特定实现方式中，处理器502可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或者用于执行本文所描述的方法的单个或多个步骤。处理器502可以包括一个或多个处理器、处理单元、多核处理器和/或模块，它们被配置或编程为以本文所描述的方式控制系统500。例如，在一些实现方式中，处理器502可以包括被配置用于分布式处理的多个(例如，互操作的)处理器、处理单元、多核处理器和/或模块。本领域的技术人员将了解，此类处理器、处理单元、多核处理器和/或模块可以位于不同位置，并且可以执行本文所描述方法的不同步骤和/或单个步骤的不同部分。
80.存储器504被配置为存储程序代码，该程序代码可以由处理器102执行以执行本文所描述的方法。替代地或另外地，一个或多个存储器504可以在系统500的外部(即，与系统500分离或远离系统500)。例如，一个或多个存储器504可以是另一个设备的一部分。存储器504可以用于存储由装置500的处理器502或从系统500外部的任何接口、存储器或装置接收、计算或确定的图像、信息和/或数据。处理器502可以被配置为控制存储器504来存储本文计算或确定的图像、信息、数据和测量。
81.在一些实施例中，存储器504可以包括多个子存储器，每个子存储器能够存储一条指令数据。例如，至少一个子存储器可以存储表示该组指令的至少一个指令的指令数据，而至少一个其他子存储器可以存储表示该组指令的至少一个其他指令的指令数据。
82.在一些实施例中，系统500可以进一步包括二维显示器，用于显示/呈现图像和/或指示测量位置的一对点和/或线。显示器可以包括例如计算机屏幕、移动电话或平板电脑上的屏幕、形成医疗装备或医疗诊断工具的一部分的屏幕。
83.该系统可以进一步包括用户输入，诸如键盘、鼠标或使用户能够与系统交互的另外的输入设备，例如，以提供将在本文所描述的方法中使用的初始输入参数和/或用于调整模型的输出(例如，由模型预测该对点的位置)。
84.应理解，图5仅示出了说明本公开的此方面所需的部件，并且在实际实现方式中，系统500可以包括示出的部件之外的另外的部件。例如，系统500可以包括用于为系统500供电的电池或其他电源，或者用于将系统500连接到主电源的设备。
85.在另一个实施例中，提供了一种包括计算机可读介质的计算机程序产品，该计算机可读介质具有在其中实施的计算机可读代码，该计算机可读代码被配置为使得在由合适的计算机或处理器执行时，该计算机或处理器被促使执行本文所描述的一种或多种方法。
86.因此，应理解，本公开还适用于计算机程序，特别是载体上或载体中的计算机程序，适于将实施例付诸实践。该程序可以是源代码、目标代码、代码中间源和目标代码的形式，诸如部分编译的形式，或者适用于实现根据本文所描述的实施例的方法的任何其他形式。
87.还应理解，此类程序可以具有许多不同的架构设计。例如，实现该方法或系统的功能的程序代码可以被细分成一个或多个子程序。在这些子程序之间分配功能的许多不同方式对于技术人员来说将是显而易见的。子程序可以一起存储在一个可执行文件中，以形成自包含程序。此类可执行文件可以包括计算机可执行指令，例如处理器指令和/或解译器指令(例如java解译器指令)。替代地，一个或多个或所有子程序可以存储在至少一个外部库文件中，并与主程序静态或动态地(例如在运行时)链接。主程序包含对子程序中的至少一个的至少一个调用。子程序还可以包括彼此的函数调用。
88.计算机程序的载体可以是能够携载该程序的任何实体或设备。例如，载体可以包括数据存储器，诸如rom，例如cdrom或半导体rom，或者磁记录介质，例如硬盘。此外，载体可以是可传输的载体(诸如电信号或光信号)，其可以经由电缆或光缆或者经由无线电或其他手段来传输。当在此类信号中实施程序时，载体可以由此类电缆或其他设备或装置构成。替代地，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行相关方法，或者用于执行相关方法。
89.根据对附图、公开内容和所附权利要求的研究，本领域技术人员可以理解和实现所公开的实施例的变型。在权利要求中，词语“包括”不排除其他元件或步骤，不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中列举的若干项的功能。在相互不同的从属权利要求中引用某些测量的事实并不指示这些测量的组合不能被有利地使用。计算机程序可以存储/分布在合适的介质上，诸如与其他硬件一起供应或作为其他硬件的一部分的光学存储介质或固态介质，但是还可以以其他形式分布，诸如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。