对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器与流程

本发明涉及对监视车辆的盲点进行监视的方法和使用该方法的盲点监视器。更具体地，涉及一种对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器，所述方法包括以下步骤：(a)在盲点监视器完成以下处理的条件下：(i)获取与距离监视车辆单位距离并位于监视车辆的盲点中的一个或多个参考车辆相关的用于采样的后视频图像，(ii)创建与用于采样的后视频图像的每一者中的参考车辆相对应的参考框，以及(iii)将参考框设定为m个建议框，所述m个建议框用作监视车辆的盲点中的候选区域，其中，候选区域具有检测至少一个被监视车辆的概率，则如果从运行的监视车辆获取用于测试的后视频图像，则盲点监视器从用于测试的后视频图像中获取用于测试的至少一个特征映射；(b)盲点监视器(i)通过将池化运算(poolingoperation)应用于用于测试的特征映射上的m个建议框来获取与m个建议框中的每一者相对应的用于测试的特征向量的每一者，(ii)将用于测试的特征向量输入到至少一个完全连接层，(iii)获取与m个建议框中的每一者相对应的每个类的用于测试的分类分数，以及(iv)获取与m个建议框中的每一者相对应的每个类的用于测试的回归信息；(c)盲点监视器执行以下处理：(i)通过参照用于测试的分类分数在m个建议框中选择j个建议框，(ii)通过使用与j个建议框中的每一者相对应的用于测试的回归信息获取与j个建议框中的每一者相对应的边界框的每一者，(iii)确认边界框中的每一者是否与j个建议框中的其对应的建议框的匹配度等于或大于第一阈值，以及(iv)确定被监视车辆是否位于j个建议框中的每一者中，由此确定被监视车辆是否位于监视车辆的盲点中。

背景技术：

监视车辆的每一侧具有侧视镜，并且在其舱室的前部中央具有后视镜，用于驾驶员改变车道所需的侧面和后面的良好视野。

虽然侧视镜用于观察每一侧和其后面，但是其具有驾驶员不能看到被监视车辆或与其非常接近的任何其他物体的盲点(bs)。

这已经成为一个问题，因为如果驾驶员在没有看到被监视车辆的情况下改变车道，被监视车辆在盲点中，则可能发生事故。

为了防止这样的问题，驾驶员有时将凸面镜放置在侧视镜的角部上，这使得驾驶员能够看到盲点。

然而，即使将凸面镜加到侧视镜上时，驾驶员也必须用自己的眼睛看到盲点来改变车道，这给驾驶员带来了更大的压力，并且可能存在即使驾驶员改变自己的头部位置通过凸面镜仍然无法看到的盲点。

为了防止这种情况，最近提出了一种盲点监视系统，其旨在通过利用位于监视车辆后部的传感器向驾驶员提供关于位于盲点或接近盲点的被监视车辆的检测的信息，来防止在驾驶员没有注意到盲点中的被监视车辆而改变车道时发生事故。

特别地，使用视觉传感器的盲点监视系统通常采用能够基于视觉信息检测若干特征的算法。

然而，这些算法可能显示出受外部环境、物体形状以及系统结构限制的受限的检测率。由于准确的检测需要许多视觉处理，所以计算负担非常重。因此，由于有限的处理资源，在嵌入式系统中实时检测可能是困难的。

在卷积神经网络(cnn)中导致速度慢的主要问题之一是区域建议网络(rpn)。为了从最终特征映射中提取候选者，rpn确定滑动窗口是否在每个位置包括候选者。完全连接(fc)确定候选者是否是车辆，然而，许多候选者彼此重叠并且rpn消耗大量运行时间对这些几乎无助于提高检测率的冗余候选者执行计算。

作为使用视觉传感器检测被监视车辆的另一示例，存在一种通过运动矢量表示视觉像素的移动的光流方法。然而，使用光流方法识别被监视车辆的算法很大程度上依赖于背景状态和视觉噪声的变化，并且需要巨大的计算负荷，因此，不容易进行被监视车辆的实时检测。

技术实现要素：

本发明的一个目的是解决所有的上述问题。

本发明的另一个目的是容易地检测位于盲点中的被监视车辆。

本发明的又一个目的是检测位于盲点中的被监视车辆而无需考虑驾驶环境。

本发明的又一个目的是提供一种算法，该算法对于检测位于盲点中的被监视车辆需要较少的计算。

本发明的又一个目的是实时检测位于盲点中的被监视车辆，而无需考虑背景状态和视觉噪声的变化。

本发明的又一个目的是使用cnn精确地检测位于盲点中的被监视车辆。

根据本发明的一个方面，提供一种通过使用盲点监视器对监视车辆的盲点进行监视的方法，包括以下步骤：(a)在盲点监视器完成或支持另一装置完成以下处理的条件下：(i)获取与距离监视车辆单位距离并位于监视车辆的盲点中的一个或多个参考车辆相关的用于采样的后视频图像，(ii)创建与用于采样的后视频图像的每一者中的参考车辆相对应的参考框，以及(iii)将参考框设定为m个建议框，所述m个建议框用作监视车辆的盲点中的候选区域，其中，候选区域具有检测至少一个被监视车辆的概率，则如果从运行的监视车辆中获取用于测试的后视频图像，则盲点监视器从用于测试的后视频图像中获取或支持另一装置获取用于测试的至少一个特征映射；(b)盲点监视器(i)通过将池化运算应用于用于测试的特征映射上的m个建议框来获取或支持另一装置获取与所述m个建议框中的每一者相对应的用于测试的特征向量的每一者，(ii)输入或支持另一装置输入用于测试的特征向量到至少一个完全连接层，(iii)获取或支持另一装置获取与m个建议框中的每一者相对应的每个类的用于测试的分类分数，以及(iv)获取或支持另一装置获取与m个建议框中的每一者相对应的每个类的用于测试的回归信息；(c)盲点监视器执行或支持另一装置执行以下处理：(i)通过参照用于测试的分类分数在m个建议框中选择j个建议框，(ii)通过使用与j个建议框中的每一者相对应的用于测试的回归信息获取与j个建议框中的每一者相对应的边界框的每一者，(iii)确认边界框中的每一者是否与j个建议框中的其对应的建议框的匹配度等于或大于第一阈值，以及(iv)确定被监视车辆是否位于j个建议框中的任一者中，由此确定被监视车辆是否位于监视车辆的盲点中。

根据本发明的另一个方面，提供一种用于对监视车辆的盲点进行监视的盲点监视器，包括：通信部，在以下条件下：获取与距离监视车辆单位距离并位于监视车辆的盲点中的一个或多个参考车辆相关的从监视车辆拍摄的用于采样的后视频图像；创建与用于采样的后视频图像的每一者中的参考车辆相对应的参考框；以及将参考框设定为m个建议框，所述m个建议框用作监视车辆的盲点中的候选区域，其中，候选区域具有检测至少一个被监视车辆的概率，所述通信部用于从正在驾驶的监视车辆中获取或支持另一装置获取用于测试的后视频图像；以及处理器，用于执行或支持另一装置执行以下处理：(i)从用于测试的后视频图像中获取用于测试的特征映射；(ii)通过对用于测试的特征映射上的与m个建议框相对应的区域的每一者应用池化运算来获取与m个建议框中的每一者相对应的特征向量，将与m个建议框中的每一者相对应的用于测试的特征向量输入到至少一个完全连接层，(ii-1)获取与m个建议框中的每一者相对应的每个类的用于测试的分类分数，(ii-2)获取与m个建议框中的每一者相对应的每个类的用于测试的回归信息；以及(iii)通过参照用于测试的分类分数在m个建议框中选择j个建议框，通过使用与j个建议框中的每一者相对应的用于测试的回归信息获取与j个建议框中的每一者相对应的边界框，确认边界框中的每一者是否与j个建议框中的其对应的建议框的匹配度等于或大于第一阈值，以及确定被监视车辆是否位于j个建议框中的任一者中，由此确定被监视车辆是否位于监视车辆的盲点中。

另外，还提供可被计算机读取的用于存储计算机程序以执行本发明的方法的可记录介质。

附图说明

用于说明本发明的示例实施例的以下的附图仅是本发明的示例实施例的一部分，本领域的技术人员可以在不付出创造性劳动的情况下基于附图获得其他图。

图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图；

图2是示意性示出根据本发明的一个示例实施例的监视车辆上的盲点监视系统的图；

图3是示意性示出根据本发明的一个示例实施例执行盲点监视的cnn的框图；

图4是示意性示出根据本发明的一个示例实施例的使用用于采样的后视频图像来设定用于盲点监视的建议框的处理的图；

图5是示意性示出根据本发明的一个示例实施例执行盲点监视的处理的图；

图6是示意性示出根据本发明的一个示例实施例添加用于盲点监视的动态建议框的处理的图。

具体实施方式

下面参考示作可实施本发明的具体实施例示例的附图和图示对本发明进行详细说明，以使本发明的目的、技术方案和优点变得清楚。这些实施例被充分详细地描述，以使本领域技术人员能够实施本发明。

此外，在本发明的详细说明和权利要求中，术语“包括”及其变型不旨在排除其他的技术特征、添加物、部件或步骤。本发明的其他目的、益处和特征将部分地通过说明书并且部分地通过本发明的实施例披露给本领域的技术人员。下面的实施例和附图将提供作为示例，但它们不旨在限制本发明。

此外，本发明涵盖本说明书中指出的示例实施例的所有可能的组合。应该理解的是，本发明的各种实施例虽然不同，但不一定是相互排斥的。例如，在不脱离本发明的精神和范围的情况下，可以在其他实施例中实施本文结合一个实施例描述的特定特征、结构或特性。另外，应该理解的是，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例中的各元件的位置或布置。因此，以下的详细描述不应被视为具有限制意义，本发明的范围仅由所附权利要求限定，并与权利要求的等同物的全部范围一起被适当地解释。在附图中，在所有的图中相同的附图标记表示相同或相似的功能。

为了使本领域技术人员容易地实施本发明，在下面参照附图对本发明的示例性实施例进行详细说明。

首先，图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图。参照图1，盲点监视系统可以包括盲点监视器(bsm)100和监视车辆200。

盲点监视器100可以检测位于监视车辆的盲点或接近盲点的另一车辆，即被监视车辆。具体地，盲点监视器100可以通过使用视觉传感器10(例如，相机)分析从监视车辆获取的后视频图像来确定被监视车辆是否位于盲点中。

然后，通过参照关于转向系统的信息以及从盲点监视器100发送的信息，可以防止监视车辆200在朝向被监视车辆被确定为所位于的盲点的方向上改变车道，或者可以允许警报系统警告驾驶员被监视车辆处于盲点中的事实。特别地，在监视车辆200是自主车辆(autonomousvehicle)的情况下，可以通过参照关于驾驶环境的信息和关于从盲点监视器100接收到的盲点中的被监视车辆的信息来确定是否在驾驶的同时改变车道。

此外，盲点监视器100可以包括通信部110和处理器120，通信部110使用视觉传感器10从监视车辆获取后视频图像，处理器120通过分析所获取的后视频图像来判断被监视车辆是否处于监视车辆的盲点中。在此，如图2所示，安装在监视车辆200的任意位置上的视觉传感器10可以捕获其后视图的视频，并且可以包括光学传感器，例如电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)或图像捕获装置。

进一步，处理器120可以执行以下处理：(i)从所获取的后视频图像中获取至少一个特征映射，(ii)将池化运算应用于特征映射上的与m个建议框中的每一者相对应的区域的每一者，以及(iii)获取与m个建议框中的每一者相对应的特征向量的每一者。在此，m可以是预定值。然后，处理器120可以执行以下处理：(i)将特征向量输入到至少一个完全连接(fc)层，(ii)获取与m个建议框中的每一者相对应的每个类的分类分数，以及(iii)获取与m个建议框中的每一者相对应的每个类的回归信息。之后，处理器120可以执行以下处理：(i)通过参照分类分数，在m个建议框中选择被确定为具有被监视车辆的j个建议框，(ii)通过使用与j个建议框中的每一者相对应的每条回归信息获取与j个建议框中的每一者相对应的边界框的每一者，(iii)确认边界框中的每一者是否与j个建议框中的其对应的建议框的匹配度等于或大于第一阈值，以及相应地(iv)确定被监视车辆是否位于j个建议框中的任一者中。因此，可以获取关于被监视车辆是否位于监视车辆的盲点中的信息。

在下面通过参照图3至图6来更具体地对用于监视被监视车辆是否位于监视车辆的盲点中的方法进行说明。

首先，如图3所示，在步骤s1，驾驶员将m个建议框设定为候选区域。这里，候选区域具有等于或大于预定值的检测至少一个被监视车辆的概率。

作为一个示例，如图4所示，驾驶员可以获取关于在监视车辆的盲点中位于单位距离的参考车辆的从监视车辆捕获的用于采样的后视频图像。换言之，在参考车辆在距离监视车辆一个或多个单元距离处位于左右车道的情况下，可以使用安装在监视车辆上的视觉传感器捕获用于采样的后视频图像。这里，为了方便，在图4中单位距离设定为一米，但也可以是任意值。可以改变单位距离和捕获参考车辆的图像的数量，使得所有可能的候选区域都被覆盖在盲点中。

然后，参考框p1、p2和p3的每一者可以创建为分别对应于在每个参考车辆位于每个距离处的情况下捕获的用于采样的后视频图像中的每个参考车辆，创建的参考框p1、p2和p3可以设定为用作候选区域的m个建议框p1、p2和p3。在图3至图6，为了方便，m的值设定为3。

这里，在监视车辆的左侧和右侧各存在盲点，因此，通过设定一侧的m个建议框p1、p2和p3的等效物作为另一侧的盲点中的其他建议框，可以设定对监视车辆两侧的盲点进行监视所需的整组建议框。

接下来，在如图4中那样设定作为候选区域的m个建议框p1、p2和p3的条件下，如果如图5所示在监视车辆正在运行(即被驾驶)时经由通信部110获取从监视车辆捕获的后视频图像，则在图3的步骤s2中，盲点监视器100可以从后视频图像中获取特征映射。

作为一个示例，当监视车辆正在运行中，如果视觉传感器10捕获并发送监视车辆的后视频图像，则通信部110可以获取从视觉传感器10发送的后视频图像，处理器120可以将后视频图像输入到卷积层，并通过对后视频图像应用卷积运算来获取特征映射。

这里，在填充(pad)设定为零的条件下，处理器120可以通过以预定步幅滑动的滤波器对后视频图像应用卷积运算或者对从后视频图像创建的特征映射应用卷积运算。这里，填充用于调整从卷积层的输出大小，步幅是滤波器移位的量。换言之，处理器120可以对后视频图像应用卷积运算以减小它们的大小，并且可以执行多个卷积运算以获取具有预定大小的特征映射。与此相反，在填充设定在某个非零值的填充情况下执行卷积的条件下，处理器120可以执行以下处理：(i)获取大小与后视频图像的大小相同的特征映射；(ii)通过对所获取的特征映射应用池化运算来缩小特征映射的大小；以及(iii)通过重复卷积和池化来创建具有预定大小的特征映射。

此外，处理器120可以在从视觉传感器10获取的后视频图像的每一者的整个区域上或者在与设定为后视频图像中的盲点的区域相对应的一部分图像上使用卷积层执行卷积，并因此获取特征映射。

接下来，处理器120可以在步骤s3中对特征映射上的与m个建议框p1、p2和p3相对应的区域应用池化运算，并且可以获取与m个建议框中的每一者相对应的特征向量。

作为一个示例，处理器120可以执行以下处理：(i)将特征映射中的与m个建议框p1、p2和p3中的每一者相对应的一部分特征映射输入到roi池化层中；(ii)在特征映射的与m个建议框p1、p2、...、pm相对应的每个区域执行最大池化或平均池化；以及(iii)获取与m个建议框p1、p2和p3中的每一者相对应的特征向量的每一者。

接下来，处理器120可以执行以下处理：(i)在步骤s4，将与m个建议框p1、p2和p3中的每一者相对应的特征向量的每一者输入到至少一个完全连接(fc)层；(ii)从第一fc层获取与m个建议框p1、p2和p3中的每一者相对应的每个类的分类分数；以及(iii)从第二fc层获取与m个建议框p1、p2和p3中的每一者相对应的每个类的回归信息。这里，类可以用于确定检测的对象是什么或者用于确定检测的对象是否是车辆。

接下来，在步骤s5，处理器120可以通过参照从第一fc层获取的每个类的分类分数将m个建议框p1、p2和p3中的j个建议框确定为包括被监视车辆。

接下来，在步骤s6，处理器120可以通过使用与j个建议框中的每一者相对应的每条回归信息获取与确定为包括被监视车辆的j个建议框中的每一者相对应的边界框。

作为一个示例，盲点监视器100的处理器120可以在与j个建议框中的一者相对应的一部分回归信息中选择与指定为车辆的类相对应的类特定(class-specific)回归信息，并且可以通过使用类特定回归信息使特定建议框回归来获取包围被监视车辆的边界框。

接下来，处理器120可以执行以下处理：(i)确定边界框的每一者是否与j个建议框中的每个相对应的建议框的匹配度等于或大于第一阈值；(ii)确定被监视车辆是否位于j个建议框中的至少一个建议框中；以及(iii)确定被监视车辆是否位于监视车辆的盲点中。

另一方面，如果与j个建议框中的相对应的建议框的匹配度小于第二阈值的至少一个特定边界框被确定为被检测到，则处理器120可以将特定边界框设定为至少一个动态建议框，如图5中的dpb(动态建议框)所示，所述动态建议框被添加为包括候选区域的组的新元素，从而获取更新组。这里，第一阈值和第二阈值可以彼此相同或不同。通过除了使用物体图像的下一帧上的m个建议框p1、p2和p3还使用添加的动态建议框，盲点监视器100可以跟踪特定被监视车辆。

例如，参照图6，如果从后视频图像的t帧获取特定边界框(即dpb)，则处理器120可以将动态建议框和m个建议框p1、p2和p3设定为包括在后视频图像的t+1帧上的更新组中。

进一步，如果满足以下所有的条件：(i)动态建议框和m个建议框p1、p2和p3被设定为如上所述的候选区域；(ii)被监视车辆被确定为位于从t+1帧到t+(k-1)帧的动态建议框中；以及(iii)被监视车辆被确定为不位于t+k帧上的动态建议框中，则处理器120可以通过使用t+k+1帧上的m个建议框p1、p2和p3来确定被监视车辆是否位于盲点中。

这里，处理器120可以执行以下处理：(i)计算第一重叠区域，所述第一重叠区域包括边界框的每一者与其对应的j个建议框彼此重叠的区域；以及(ii)将与等于或大于第三阈值的第一重叠区域中的特定第一重叠区域相对应的某个建议框确定为包括被监视车辆。这里，边界框与j个建议框具有双射对应关系(bijectivecorrespondence)。作为一个示例，如果获取了与特定建议框相对应的某个边界框，则处理器120可以计算该某个边界框与该特定建议框之间的第一重叠率，即，通过将(i)该某个边界框与该特定建议框重叠的区域除以(ii)该某个边界框的区域与该特定建议框的区域之和(union)得到的比率，并且如果第一重叠率等于或大于第三阈值，则可以将特定建议框确定为包括被监视车辆。

此外，处理器120可以执行以下处理：(i)计算边界框彼此重叠的第二重叠区域，每个边界框对应于j个建议框中的每一者；(ii)将被确认为与等于或大于第四阈值的第二重叠区域中的至少一个特定第二重叠区域相对应的至少一个特定边界框确定为包括单个相同的被监视车辆；以及(iii)将与其对应的建议框重叠的区域最大的特定边界框中的所选择的边界框确定为包括被监视车辆。这里，边界框与j个建议框具有双射对应关系。

进一步，处理器120可以执行以下处理：(i)计算第二重叠区域，以及(ii)将被确认为与小于第五阈值的第二重叠区域中的特定第二重叠区域的每一者相对应的特定边界框的每一者确定为包括各个被监视车辆。

作为一个示例，在获取了与第一建议框和第二建议框分别相对应的第一边界框和第二边界框的情况下，处理器120可以计算第一边界框和第二边界框之间的第二重叠率，即，通过将(i)第一边界框与第二边界框重叠的区域除以(ii)第一边界框的区域与第二边界框的区域之和得到的比率，并且如果第二重叠率等于或大于第四阈值，则处理器120可以将第一边界框和第二边界框确定为包括单个相同的被监视车辆，并且如果第二重叠率小于第五阈值，则处理器120可以将第一边界框和第二边界框确定为包括各个被监视车辆。这里，第四阈值和第五阈值可以彼此相同或不同。进一步，如果第一边界框和第二边界框被确定为包括单个相同的被监视车辆，则处理器120可以将第一边界框和第一建议框之间的第三重叠率与第二边界框和第二建议框之间的第四重叠率进行比较，并且如果第三重叠率大于第四重叠率，则可以将第一边界框确定为包括被监视车辆。

接下来，处理器120可以通过将关于位于盲点中的被监视车辆的信息发送到控制单元，来支持监视车辆200的控制单元以防止监视车辆200在朝向被监视车辆被确定为所位于的盲点的方向上改变车道。

这里，在驾驶员想要改变车道并且被监视车辆被检测为位于驾驶员想要移动到的车道上的盲点的情况下，通过参照关于监视车辆200的转向系统的信息，监视车辆200的控制单元可以使警报系统警告驾驶员被监视车辆位于盲点中的事实，并且可以使驾驶员避免由于改变车道可能发生的危险情况。此外，如果监视车辆200是自主车辆，则控制单元可以通过参照关于驾驶环境的信息以及关于被监视车辆是否位于盲点的信息使自主车辆安全地改变车道。

在上文中，关于单侧的车道说明了确认盲点中的被监视车辆的处理，然而，可以通过对监视车辆的另一侧的车道中的盲点进行相同的步骤来执行在两侧的每个盲点中的被监视车辆的确认。

同时，盲点监视器可以包括cnn，cnn能够通过使用已经被学习装置预先调整的至少一个卷积参数、至少一个分类参数和至少一个框回归参数来执行卷积、分类和框回归的操作。

这里，学习装置可以与盲点监视器相同，但不限于盲点监视器。学习装置和盲点监视器可以被划分为若干装置来执行其功能，然而，为了方便，本说明书描述实现为单个装置的学习装置。根据本发明的学习装置可以包括卷积层、区域建议网络和fc层等中的至少一部分。显而易见地，类似的条件可以应用于盲点监视器。

关于学习装置或盲点监视器如何学习的示意性说明如下：

首先，在训练图像上执行卷积的操作来获取用于训练的特征映射，用于训练的特征映射被输送到区域建议网络中，并且与位于训练图像中的物体相对应的用于训练的建议框被获取。然后，通过对训练图像上的区域应用池化运算获取与用于训练的建议框的每一者相对应的用于训练的特征向量。之后，将用于训练的特征向量输送到至少一个fc层，并且获取与用于训练的建议框的每一个相对应的每个类的用于训练的分类分数，并且获取与用于训练的建议框的每一者相对应的每个类的用于训练的框回归信息。然后，通过将分类分数与分类的预定地面真值进行比较来获取分类损失值，通过比较框回归信息和框回归的预定地面真值来获取回归损失值。然后，通过反向传播所获取的分类损失值和所获取的回归损失值中的每一者来调整卷积参数、分类参数以及框回归参数。

本发明具有通过使用cnn准确地检测位于盲点中的被监视车辆的效果。

本发明具有另一个效果：准确地检测位于盲点中的被监视车辆而无需考虑监视车辆的驾驶环境。

本发明还具有又一个效果：与对每个规模和纵横比的建议框进行穷举搜索的以往的物体检测网络的rpn相反，通过使用最少数量的建议框执行面向任务的检测来以减少的计算负荷检测位于盲点中的被监视车辆，而无需基于车辆规模和由盲点区域限定的纵横比的先前知识对每个规模和纵横比的建议框进行穷举搜索。

本发明还具有另一效果：通过较少的计算实时检测位于盲点中的被监视车辆，而无需考虑背景状态和视觉噪声的变化。

如上所述的本发明的实施例可以通过可记录到计算机可读介质的各种计算机装置以可执行程序命令的形式实施。计算机可读介质可以单独地或组合地包括程序命令、数据文件和数据结构。记录到介质的程序命令可以是为本发明专门设计的部件，或者可以对于计算机软件领域的技术人员可用。计算机可读介质包括诸如硬盘、软盘和磁带的磁介质、诸如cd-rom和dvd的光学介质、诸如光盘的磁光介质、以及诸如rom、ram和专门设计用于存储和执行程序命令的闪存的硬件装置。程序命令不仅包括由编译器生成的机器语言代码，还包括由计算机执行的可被解释器等使用的高级代码。上述的硬件装置可以不仅仅用作用于执行本发明的动作的软件模块，在相反的情况下它们能够同样使用。

如上所述，已经通过诸如详细的部件、有限的实施例和附图的特定事项对本发明进行了说明。它们仅仅是为了帮助更全面地理解本发明。然而，本领域技术人员将理解的是，在不背离下面的权利要求书中限定的本发明的精神和范围的情况下，可以从说明书中进行各种改变和变更。

因此，本发明的思想不应局限于所说明的实施例，下面的专利权利要求以及包括与专利权利要求等同或等效的变化的所有内容都属于本发明的思想范畴。