一种多相机同步工作的方法、装置、介质和电子设备与流程

本发明涉及计算机技术领域，具体而言，涉及一种多相机同步工作的方法、装置、介质和电子设备。

背景技术：

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

虚拟现实系统是由运动捕捉系统、数据处理以及三维重建系统以及显示系统组成。虚拟现实系统是实时的时空处理系统，需要系统内的各个分系统完全同步方能保证系统的数据采集以及重建的实时准确性。然而现在虚拟现实系统各个分系统各自内同步，系统之间信息采集和传递确是异步的，使得虚拟现实系统数据采集以及重建过程中时空存在不确定性，导致系统存在错帧，跳跃，顿挫等问题。由于动作捕捉跟显示不能及时有效的同步，严重时会导致体验者出现眩晕甚至呕吐的严重后果。因此，在长期的研发当中，发明人对多个相机如何实现同步的问题进行了大量的研究，提出了一种多相机同步工作的方法，以解决上述技术问题之一。

技术实现要素：

本发明的目的在于提供一种多相机同步工作的方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本发明的具体实施方式，第一方面，本公开提供一种多相机同步工作的方法，包括：

当检测到显卡帧同步刷新信号时，则确定获取与同步指令对应的至少一个帧同步的广播数据包；

以广播的方式将所述帧同步的广播数据包发送至至少一个相机，以同步触发至少一个相机启动图像采集，并得到相应的图像采集数据；

将多个相机的图像采集数据按照预先设定的次序依次传输至上位机，以便于上位机对多个相机的图像采集数据和对应的至少一个内容数据进行数据融合处理，得到融合数据，并将所述融合数据输出至显示模块；

控制所述显示模块以一帧画面的显示方式同步显示所述融合数据。

可选的，所述将多个相机的图像采集数据按照预先设定的次序依次传输至上位机包括：

获取预先设置的进行排序的至少一个排序参数；

根据至少一个排序参数确定出预先设定的次序；

将多个相机的图像采集数据按照所述预先设定的次序传输至所述上位机。

可选的，所述方法还包括：

获取所述排序参数至少包括：

每一个相机对应的启动曝光的时刻，每一个相机对应的启动曝光的时刻与启动传输图像采集数据的时刻之间的时间间隔。

可选的，所述方法还包括：

获取所述显卡帧同步刷新信号，并将所述显卡帧同步刷新信号作为对两个或两个以上的相机进行同步曝光的同步源。

可选的，所述方法还包括：

当检测到所述显示帧同步刷新信号时，则记录当前时间信息，将当前时间信息设置为标准时间，并对进行同步工作的每一个相机进行时间校准，以将进行同步工作的每一个相机的基准时间均为设置出的所述标准时间。

可选的，所述方法还包括：

获取所述内容数据；

其中，所述内容数据为对应相机图像采集数据的坐标数据。

根据本发明的具体实施方式，第二方面，本发明提供一种多相机同步工作的装置，包括：

获取模块，当检测到显卡帧同步刷新信号时，则确定获取与同步指令对应的至少一个帧同步的广播数据包；

发送模块，以广播的方式将所述获取模块获取到的所述帧同步的广播数据包发送至至少一个相机，以同步触发至少一个相机启动图像采集，并得到相应的图像采集数据；

处理模块，将所述发送模块触发得到的多个相机的图像采集数据按照预先设定的次序依次传输至上位机，以便于上位机对多个相机的图像采集数据和内容数据进行数据融合处理，得到融合数据，并将所述融合数据输出至显示设备；

控制模块，控制所述显示设备以一帧画面的显示方式同步显示所述处理模块处理得到的所述融合数据。

根据本发明的具体实施方式，第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。

根据本发明的具体实施方式，第四方面，本发明提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的方法。

本发明实施例的上述方案与现有技术相比，至少具有以下有益效果：本公开通过提供一种多相机同步工作的方法、装置、介质和电子设备，通过显卡帧同步刷新信号同步触发多个相机启动图像采集，能够有效保证同一个系统内的每一个相机均基于系统显示输出的帧同步信号同步启动图像采集，多相机同步采集数据输出时串行有序避免冲突，达到信号输入和信号输出都是同步工作的目的，提高了整个系统同步工作的可靠性和精准性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本发明实施例的多相机同步工作的方法流程图；

图2示出了根据本发明实施例的另一多相机同步工作的方法流程图；

图3示出了根据本发明实施例的多相机同步工作的装置结构示意图；

图4示出了根据本发明实施例的多相机同步工作的无线传输结构示意图；

图5示出了根据本发明实施例的多相机同步工作的以太网传输结构示意图；

图6示出了根据本发明实施例的多相机同步工作中的各个相机的无线传输结构示意图；

图7示出了根据本发明实施例的多相机同步工作中的各个相机的以太网传输结构示意图；

图8示出了根据本发明的实施例的电子设备连接结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本发明的可选实施例。

实施例1

如图1所示，根据本公开的具体实施方式，第一方面，本公开提供一种多相机同步工作的方法，包括：

s102：当检测到显卡帧同步刷新信号时，则确定获取与同步指令对应的至少一个帧同步的广播数据包。

在此步骤中，当检测到显卡帧同步刷新信号时，则确定获取与同步指令对应的至少一个帧同步的广播数据包，以通过该帧同步的广播数据包控制处于同一系统中的多个相机实现同步采集的目的。

s104：以广播的方式将所述帧同步的广播数据包发送至至少一个相机，以同步触发至少一个相机启动图像采集，并得到相应的图像采集数据。

在此步骤中，通过广播的方式将该帧同步的广播数据包发送至处于同一系统中的每一个相机，并接受每一个相机返回的反馈信息，并根据每一个相机的反馈信息进一步确认是否每一个相机均接收到该帧同步的广播数据包，并以该帧同步的广播数据包中携带的启动同步的时刻作为触发时刻，在该时刻同步触发每一个相机均启动图像采集，并得到相应的图像采集数据。

在此步骤中，由于通过广播的方式，这样由于处于同一系统中的每一个相机距离广播源的远近不同，一些相机接收到帧同步的广播数据包可能会出现延迟，为了提高多个相机同步工作的精准性，还需要对可能出现的延迟进行校准。

预先估计同一系统的各个相机因为距离广播源的远近而可能出现的时间延迟，并将该延迟的时间作为校准微调时间，并通过每个相机对应的校准微调时间对处于同一系统中的每一个相机进行时间校准，从而提高了多相机同步的精准性，提高了用户体验度。

s106：将多个相机的图像采集数据按照预先设定的次序依次传输至上位机，以便于上位机对多个相机的图像采集数据和对应的至少一个内容数据进行数据融合处理，得到融合数据，并将所述融合数据输出至显示设备。需要说明的是，各个相机采集完图像并进行简单处理后传输数据结果时，是按预先设定的次序依次传输，而不是随机传输的，这样可以保障数据更可靠的传输，而不会因为冲突导致数据丢失；避免出现如下现象：串行传输时，如果有一个相机已经占用完了带宽了，另外的相机再发数据时，就容易造成数据丢失。

此外，预设的图像采集数据传输次序规则，可以根据用户的不同需求进行预先设置；也可以根据统计出来的大数据，对该规则进行规划，以获得较佳的同步效果；或者，根据历史多相机同步工作的跟踪统计数据，对现有的预设规则中的关键参数进行调整和优化，得到更加优化的规则，并基于优化的规则得到优化的算法，再基于不断优化的算法构建图像采集数据传输次序模型，以得到更加流畅的画面，避免由于不同步所产生的错帧、跳跃、顿挫等问题，提高了用户体验度。

s108：控制所述显示设备以一帧画面的显示方式同步显示所述融合数据。

可选的，所述将多个相机的图像采集数据按照预先设定的次序依次传输至上位机包括：

获取预先设置的进行排序的至少一个排序参数；

根据至少一个排序参数确定出预先设定的次序；

将多个相机的图像采集数据按照所述预先设定的次序传输至所述上位机；这样，可以通过排序参数可以精准地确定出预先设定的次序，并将多个相机的图像采集数据按照预先设定的次序依次传输至上位机。

可选的，所述方法还包括：

获取所述排序参数，其中，所述排序参数至少包括：

每一个相机对应的启动曝光的时刻，每一个相机对应的启动曝光的时刻与启动传输图像采集数据的时刻之间的时间间隔；这样，通过对不同相机设置不同的时间间隔。

在实际应用中，在当前相机的启动曝光的时刻到达之后，且当前相机的启动曝光的时刻与启动传输图像采集数据的时刻之间的时间间隔到达之后，才启动对当前相机的图像采集数据的传输过程，并将当前相机的图像采集数据传输至上位机。

在实际应用中，通过对不同的相机设置不同的启动曝光的时刻，以及对不同的相机设置不同的启动曝光的时刻与启动传输图像采集数据的时刻之间的时间间隔，以确定出各个相机传输图像采集数据的传输次序，达到对不同相机图像采集数据进行精准排序，并按照预先设定的次序依次传输图像采集数据的目的。

可选的，所述方法还包括：

获取所述显卡帧同步刷新信号，并将所述显卡帧同步刷新信号作为对两个或两个以上的相机进行同步曝光的同步源。

需要说明的是，相机同步工作(同步曝光)的同步源来自计算机显示输出的帧同步信号，即：显卡帧同步刷新信号，利用帧同步信号来同步触发各个相机启动采集图像。

可选的，所述方法还包括：

当检测到所述显示帧同步刷新信号时，则记录当前时间信息，将当前时间信息设置为标准时间，并对进行同步工作的每一个相机进行时间校准，以将进行同步工作的每一个相机的基准时间均为设置出的所述标准时间。

可选的，所述方法还包括：

获取所述内容数据；

其中，所述内容数据为对应相机图像采集数据的坐标数据。

在实际应用中，各个相机传输给上位机的数据有可能是图像数据，也有可能是图像处理之后的坐标数据。

上述仅仅罗列了内容数据为相机图像采集数据对应的坐标数据，还可以为其它内容数据，在此不再一一赘述。

如图2所示，示出了根据本发明实施例的另一多相机同步工作的方法流程图；所述方法包括以下步骤：

s202：获取显卡帧同步刷新信号作为相机同步曝光的同步源；

s204：通过通讯接口以广播的方式发送显卡帧同步刷新信号；

s206：在相机接收到显卡帧同步刷新信号时，控制图像传感器启动图像曝光采集；

s208：控制相机按预先设定的次序依次传输图像采集处理数据；

s210：融合多个相机的图像处理数据及其它数据，得到融合后的数据，并对融合后的数据进行输出和显示。

如图2所示的多相机同步工作的方法，可适用于同步至少一个相机同步执行图像采集。该方法通过运行在计算机上的软件获取显卡驱动的帧同步刷新信号，每次检测到显卡的帧同步刷新信号有效时，都通过通讯接口以广播的方式发送显卡的帧同步有效信号。网络上的动捕相机接收到显卡的帧同步有效信号时启动新的一帧图像曝光采集。存在两个或以上的动捕相机时，采集预处理后的图像处理数据按预先设定的次序依次传输到上位机，上位机接收到图像处理数据后再进行相应的处理。

通过在计算机操作系统上运行的检测软件，通过gpu显示驱动提供的回调api函数得到图像帧显示更新信号。检测到这个信号时，通过通讯接口的api函数，将帧同步信号以广播的方式发送到至少一个相机。计算机传输数据的通讯接口可以是网口，也可以是通过网口或usb转的无线传输接口。采用网口通讯方式时，可以采用udp协议，以网络广播包的形式发送到至少一个相机。采用无线通讯方式时，可以采用特定的或者自定义的广播数据包的形式将帧同步信号发送到至少一个相机。

相机中的数字可编程逻辑器件fpga实时从网口phy芯片或者无线模块中解析接收到的数据包，解析到帧同步信号时，直接对图像传感器发送曝光开始信号。图像传感器接收到曝光开始信号立即进行图像采集曝光。根据图像传感器的不同，有的图像传感器通过曝光触发引脚上电平信号的高低变化进行曝光，这种传感器则由fpga按预先设定的曝光时间值向图像传感器的曝光触发引脚发送相应的高低电平信号。如果传感器以高电平为曝光有效信号，则fpga芯片向图像传感器的曝光控制引脚从曝光开始直到曝光时间结束的这个时间段一直输出高电平信号。有的传感器则通过通讯接口，比如i2c或者spi接口，接收到曝光指令后按它寄存器预先设定的曝光时间值开始一次图像采集曝光，这种传感器则由fpga向传感器发送相应的通讯指令。

有两个或以上的相机时，所有相机都按预先设定的次序依次传输图像采集处理数据通过同一个通讯接口传送到计算机。预先设定的次序可以是根据在相机内预先设置的参数排序，比如从曝光开始的时间值大小。曝光开始后到这个时间值时才开始传输图像采集处理数据，不同的相机设置不同的时间值。图像采集处理数据，可以是图像数据，也可以是图像处理之后的其它数据，比如标志点的二维图像坐标值，或者图像及其它数据都有。图像数据可以先进入到dram数据缓存中进行缓存处理。

计算机接收到所有相机的数据后，根据具体的软件应用功能需求，融合其它数据处理后，将需要呈现给用户观看的图像内容发送动到显卡缓存，由显卡驱动显示器将图像内容显示出来。图像内容可以是三维虚拟现实应用内容。显卡驱动显示器显示内容的时候，又会触发一次帧同步刷新信号，然后接着触发一次相机图像采集。从第一帧同步刷新信号检测到，并由它触发一次图像采集，采集的图像处理数据接收到计算机，并融合其它数据处理后进行显示，最快的情况下可以在第二帧图像显示的时候就能应用上。因此可以做到非常精确的输入采集输出显示同步和极高的实时性。

通过在有显卡的计算机上运行软件，检测到显卡同步信号时,发送显卡同步信号到连接到计算机上的单个相机，这个相机启动图像采集，将图像定位数据或图像数据发送到计算机，计算机再将融合了相机数据的图像内容显示到显示器上。这样从图像采集数据，到融合了图像数据的显示内容输出显示，延时至少一帧图像数据。

通过在有显卡的计算机上运行软件，检测到显卡同步信号时,发送显卡帧同步信号到连接到计算机上的至少两个相机，至少两个相机同步启动图像采集，将图像定位数据或图像数据按预先设定的次序依次发送到计算机，计算机再将融合了相机数据的图像内容显示到显示器上。这样从图像采集数据，到融合了图像数据的显示内容输出显示，最快的情况下只有一帧延时时间。

本公开提供一种多相机同步工作的方法、装置、介质和电子设备，

通过显卡帧同步刷新信号同步触发多个相机启动图像采集，能够有效保证同一个系统内的每一个相机均基于系统显示输出的帧同步信号同步启动图像采集，多相机同步采集数据输出时串行有序避免冲突，达到信号输入和信号输出都是同步工作的目的，提高了整个系统同步工作的可靠性和精准性。

实施例2

如图3所示，根据本公开的具体实施方式，第二方面，本公开提供一种多相机同步工作的装置，该装置包括获取模块302、发送模块304、处理模块306和控制模块308等，具体如下：

获取模块302，当检测到显卡帧同步刷新信号时，则确定获取与同步指令对应的至少一个帧同步的广播数据包；

发送模块304，以广播的方式将所述获取模块获取到的所述帧同步的广播数据包发送至至少一个相机，以同步触发至少一个相机启动图像采集，并得到相应的图像采集数据；

处理模块306，将所述发送模块304触发得到的多个相机的图像采集数据按照预先设定的次序依次传输至上位机，以便于上位机对多个相机的图像采集数据和内容数据进行数据融合处理，得到融合数据，并将所述融合数据输出至显示设备；

控制模块308，控制所述显示设备以一帧画面的显示方式同步显示所述处理模块306处理得到的所述融合数据。

可选的，所述处理模块306具体用于：

获取预先设置的进行排序的至少一个排序参数；

根据至少一个排序参数确定出预先设定的次序；

将多个相机的图像采集数据按照所述预先设定的次序传输至所述上位机。

可选的，所述获取模块302还用于：

获取所述排序参数，其中，所述排序参数至少包括：

每一个相机对应的启动曝光的时刻，每一个相机对应的启动曝光的时刻与启动传输图像采集数据的时刻之间的时间间隔。

可选的，所述获取模块302还用于：

获取所述显卡帧同步刷新信号；

所述处理模块306还用于：

将所述获取模块302获取到的所述显卡帧同步刷新信号作为对两个或两个以上的相机进行同步曝光的同步源。

可选的，所述装置还包括：

设置标准时间模块310：用于当检测到所述显示帧同步刷新信号时，则记录当前时间信息，将当前时间信息设置为标准时间，并对进行同步工作的每一个相机进行时间校准，以将进行同步工作的每一个相机的基准时间均为设置出的所述标准时间。

可选的，所述获取模块302还用于：

获取所述内容数据；

其中，所述内容数据为对应相机图像采集数据的坐标数据。

图4示出了根据本发明实施例的多相机同步工作的无线传输结构示意图；

图5示出了根据本发明实施例的多相机同步工作的以太网传输结构示意图；

图6示出了根据本发明实施例的多相机同步工作中的各个相机的无线传输结构示意图；

图7示出了根据本发明实施例的多相机同步工作中的各个相机的以太网传输结构示意图；

关于图5至图7的相关详细描述，烦请参见图1和图2的方法步骤的相关描述，在此不再赘述。

本公开提供一种多相机同步工作的方法、装置、介质和电子设备，通过显卡帧同步刷新信号来同步触发各个相机启动采集图像的过程，能够有效保证同一个系统内的每一个相机均基于系统显示输出的帧同步信号同步启动图像采集，多相机同步采集数据输出时串行有序避免冲突，达到信号输入和信号输出都是同步工作的目的，提高了整个系统同步工作的可靠性和精准性。

实施例3

如图8所示，本实施例提供一种电子设备，该设备用于多相机同步的方法，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过显卡帧同步刷新信号来同步触发各个相机启动采集图像的过程，能够有效保证同一个系统内的每一个相机均基于系统显示输出的帧同步信号同步启动图像采集，多相机同步采集数据输出时串行有序避免冲突，达到信号输入和信号输出都是同步工作的目的，提高了整个系统同步工作的可靠性和精准性。

实施例4

本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多相机同步工作的方法。

实施例5

下面参考图8，其示出了适于用来实现本公开实施例的电子设备800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。

通常，以下装置可以连接至i/o接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从rom802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。