电视的媒体信息识别方法、交互方法及设备与流程

本发明涉及电视技术领域，尤其涉及一种电视的媒体信息识别方法、电视交互操作方法、电视、计算机可读存储介质及计算机设备。

背景技术：

电视上播放的电视节目中可以插入广告，广告中可以展示商品或活动等内容。如果用户希望购买看到的商品或参与看到的活动，可以通过发短信、打电话的方式实现。随着技术的进步，用户还可以通过扫描电视上显示的包含商品信息或活动信息的二维码，并通过手机上的应用app将商品添加到购物车中进行购买，或者在手机上参与相应活动。无论如何，目前与电视交互的方式，每次都需要用户使用手机进行一系列操作。但是，用户看电视的主要目的通常是观看电视节目，而不是购物或参与活动，所以频繁地拿起手机进行大量操会打扰用户观看电视节目，从而降低了用户体验。

技术实现要素：

本发明提供一种电视的媒体信息识别方法、电视交互操作方法、电视、计算机可读存储介质及计算机设备，以提高观看电视节目的用户体验。

本发明实施例提供一种电视的媒体信息识别方法，包括：获取电视播放的视频的画面图像，并从所述画面图像中提取图像编码；将所述图像编码与设定编码进行比对；在比对结果一致的情况下，输出所述图像编码，以根据所述图像编码得到设定媒体信息；所述设定编码预先与所述设定媒体信息关联。

一个实施例中，将所述图像编码与设定编码进行比对，包括：接收从编码样本库下载的所述设定编码，所述编码样本库设置于所述电视或一服务器；比对所述图像编码与所述设定编码。

一个实施例中，将所述图像编码与设定编码进行比对，包括：将所述图像编码发送至一服务器，以利用所述服务器比对所述图像编码与所述设定编码，所述设定编码存储在编码样本库中，所述编码样本库设置于所述服务器。

一个实施例中，从所述画面图像中提取图像编码，包括：从所述画面图像中提取图像标识；所述图像标识是根据所述图像编码预先生成并被预先植入所述画面图像对应的媒体资源中；根据所述图像标识得到所述图像编码。

一个实施例中，从所述画面图像中提取图像编码，包括：从所述画面图像中提取图像特征；根据所述图像特征在预先建立的图像特征与图像编码的对应表中查找所述图像编码。

一个实施例中，从所述画面图像中提取图像特征，包括：在所述画面图像中沿设定形状路径进行图像采样，得到图像采样信息；将图像采样信息进行二值化，得到所述图像特征。

一个实施例中，该电视的媒体信息识别方法还包括：在媒体资源投产前，利用一服务器从所述媒体资源提取图像信息，将所述图像信息转换为设定编码，并将转换得到的设定编码存储至编码样本库中；所述媒体资源包含所述电视播放的视频的画面图像。

一个实施例中，该电视的媒体信息识别方法还包括：利用一服务器从所述画面图像对应的媒体资源中截取图像，对截取的图像进行特征提取，为特征提取的结果建立唯一编码，并根据所述特征提取的结果和所述唯一编码生成所述的图像特征与图像编码的对应表。

一个实施例中，该电视的媒体信息识别方法还包括：在所述图像编码与所述设定编码比对不一致的情况下，销毁获取的所述画面图像。

本发明实施例还提供一种电视交互操作方法，包括：利用电视的sdk捕获所述电视播放的视频的画面图像，并从所述画面图像中提取图像编码；利用所述sdk将所述图像编码与设定编码进行比对；在比对结果一致的情况下，所述sdk输出所述图像编码；所述电视根据输出的所述图像编码得到设定媒体信息，并显示与所述设定媒体信息对应的互动信息，以获取通过遥控器返回的针对所述互动信息的用户操作信息；所述设定编码预先与所述设定媒体信息关联。

本发明实施例还提供一种电视，包括sdk，所述sdk被执行时实现上述各实施例所述的方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。

本实施例的电视的媒体信息识别方法、电视交互操作方法、电视、计算机可读存储介质及计算机设备，通过获取电视播放的视频的画面图像，从所述画面图像中提取图像编码，将所述图像编码与设定编码进行比对，以及在比对结果一致的情况下输出所述图像编码，根据所述图像编码得到设定媒体信息，以此能够基于图像实现自动识别电视中的媒体信息，能够提高观看电视节目的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例的电视的媒体信息识别方法的流程示意图；

图2是本发明一实施例中将图像编码与设定编码进行比对的方法流程示意图；

图3是本发明另一实施例中从画面图像中提取图像编码的方法流程示意图；

图4是本发明又一实施例中提取图像编码的方法流程示意图；

图5是本发明一实施例的电视交互操作方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1是本发明一实施例的电视的媒体信息识别方法的流程示意图。如图1所示，该电视的媒体信息识别方法，可包括：

步骤s110：获取电视播放的视频的画面图像，并从所述画面图像中提取图像编码；

步骤s120：将所述图像编码与设定编码进行比对；

步骤s130：在比对结果一致的情况下，输出所述图像编码，以根据所述图像编码得到设定媒体信息；所述设定编码预先与所述设定媒体信息关联。

该电视可以是智能电视。可以通过安装在电视上的软件(例如sdk)电视播放的视频实时截图，得到上述画面图像。该画面图像可以是电视屏幕显示的整个画面，或者是部分画面，或者是指定区域的画面。该设定编码可以预先存放在编码样本库中，编码样本库可以存储有多个设定编码。该设定媒体信息可以是媒体资源的相关信息，例如特定媒体资源中设定好的商品sku(库存量单位)或设定好的参数。该媒体资源可以是广告、活动等资源，可以用于在电视上展示。该媒体资源可以来自于电视台、视频网站等。所述设定编码预先与所述设定媒体信息可以在一服务器中进行关联，并存储在该服务器中，或者可以存储在电视中。实施例中，通过对比的结果，得到相似度值，如超过阈值，可以认为为同一图像编码，可进一步认为是同一媒体信息，例如广告。上述步骤s110至步骤s130利用电视安装上的sdk(softwaredevelopmentkit，软件开发工具包)实现。

本实施例中，通过获取电视播放的视频的画面图像，从所述画面图像中提取图像编码，将所述图像编码与设定编码进行比对，以及在比对结果一致的情况下输出所述图像编码，根据所述图像编码得到设定媒体信息，以此能够基于图像实现自动识别电视中的媒体信息，能够提高观看电视节目的用户体验。通过本方法可以识别电视中的广告，并将广告所展示商品进行下上线下导流，让观众更方便的进行购买。

图2是本发明一实施例中将图像编码与设定编码进行比对的方法流程示意图。如图2所示，在上述步骤s120中，将所述图像编码与设定编码进行比对的方法，可包括：

步骤1211：接收从编码样本库下载的所述设定编码，所述编码样本库设置于所述电视或一服务器；

步骤1212：比对所述图像编码与所述设定编码。

编码样本库可以存储在所述电视内的存储设备或该服务器的存储设备。可以将所述图像编码与所述编码样本库中的各个设定编码进行比对，若能够找到比对一致的设定编码，则可说明比对结果一致。

实施例中，在智能电视上进行比对，样本库中的图像编码下载到智能电视sdk中，sdk实时截图得到电视中的画面图像，同步进行图像编码比对，得到比对结果。

一些实施例中，在上述步骤s120中，将所述图像编码与设定编码进行比对，可包括：将所述图像编码发送至一服务器，以利用所述服务器比对所述图像编码与所述设定编码，所述设定编码存储在编码样本库中，所述编码样本库设置于所述服务器。

实施例中，智能电视只获取画面图像并转换为图像编码，将图像编码转送到服务器端，由服务器端进行图像编码与样本图像编码的比对，得到比对结果。

图3是本发明另一实施例中从画面图像中提取图像编码的方法流程示意图。如图3所示，在上述步骤s120中，从所述画面图像中提取图像编码，可包括：

步骤s1221：从所述画面图像中提取图像标识；所述图像标识是根据所述图像编码预先生成并被预先植入所述画面图像对应的媒体资源中；

步骤s1222：根据所述图像标识得到所述图像编码。

该图像标识可以是图像水印、二维码等。如果利用sdk从电视播放的视频截图后识别到预定的图像水印或二维码，则可直接从图像水印和二维码中提取图像编码，例如交互编码和参数信息。这种提取图像编码的方法，不需要频繁与服务器进行大量的数据交换，在sdk所在的电视端就可以实现，识别效率更高，可靠性一致性好。

图4是本发明又一实施例中提取图像编码的方法流程示意图。如图4所示，在上述步骤s120中，从所述画面图像中提取图像编码，可包括：

步骤s1231：从所述画面图像中提取图像特征；

步骤s1232：根据所述图像特征在预先建立的图像特征与图像编码的对应表中查找所述图像编码。

上述步骤s1231和步骤s1232可以利用安装在电视中的sdk实现。上述步骤s1231中，可以通过采集图像信息，并对采集的图像信息进行处理，例如二值化，得到图像特征。上述步骤s1232中，在预先建立的图像特征与图像编码的对应表中，图像特征与图像编码一一对应，查找到所述图像特征，即可得到所述图像编码。这种提取图像编码的方法，可以不需要提前对媒体资源(例如节目或广告视频)进行操作，直接利用原有视频的画面图像进行特征转换达到交互目的，但识别有一定延时。

一些实施例中，上述步骤s1231可包括，在所述画面图像中沿设定形状路径进行图像采样，得到图像采样信息；将图像采样信息进行二值化，得到所述图像特征。图像采样信息例如可包括色相、对比度、色值等信息。

一些实施例中，在上述步骤s120中，从所述画面图像中提取图像编码，可包括：

步骤s1221：从所述画面图像中提取图像标识；所述图像标识是根据所述图像编码预先生成并被预先植入所述画面图像对应的媒体资源中；

步骤s1223：在未提取到所述图像标识的情况下，从所述画面图像中提取图像特征；

步骤s1224：根据所述图像特征在预先建立的图像特征与图像编码的对应表中查找所述图像编码。

该实施例中，如果利用sdk截图后没有识别到图像水印或二维码，则可在预定的形状路径上进行图像采样，获得色相、对比、色值等信息，并图像进行二值化，记录二值化后的图像特征，并可进行与sdk本地预存的样本图像特征的对比或将特征上传至服务器比对，通过比对获得图像对应的交互编码和参数信息。

一些实施例中，在上述步骤s1231中，各实施例的电视的媒体信息识别方法中，生成所述的图像特征与图像编码的对应表的方法，可包括：在媒体资源投产前，利用一服务器从所述媒体资源中截取图像，对截取的图像进行特征提取，为特征提取的结果建立唯一编码，并根据所述特征提取的结果和所述唯一编码生成所述的图像特征与图像编码的对应表；所述媒体资源包含所述画面图像。

该实施例中，从所述媒体资源中截取图像，可以是电视屏幕显示的整个画面，或者是部分画面，或者是指定区域的画面。对截取的图像进行特征提取的方法可以通过采集图像信息，并对采集的图像信息进行处理得到，例如二值化处理。

一些实施例中，各实施例的电视的媒体信息识别方法中，编码样本库的生成方法，可包括：

在媒体资源投产前，利用一服务器从所述媒体资源提取图像信息，将所述图像信息转换为设定编码，并将转换得到的设定编码存储至编码样本库中；所述媒体资源包含所述电视播放的视频的画面图像。媒体资源例如可以是广告或活动的视频、图片等。

一些实施例中，在步骤s120之后，还可包括：在所述图像编码与所述设定编码比对不一致的情况下，销毁获取的所述画面图像。在将所述图像编码与所述设定编码比对进行比对时，通常需要将所述图像编码储存在内存或硬盘，所以，通过在发现所述画面图像不是所需图像时进行销毁，可以节省运行空间或存储空间。

基于与上述电视的媒体信息识别方法，本发明实施例还提供一种电视交互操作方法。

图5是本发明一实施例的电视交互操作方法的流程示意图，如图5所示，该电视交互操作方法，可包括：

步骤s210：利用电视的sdk捕获所述电视播放的视频的画面图像，并从所述画面图像中提取图像编码；

步骤s220：利用所述sdk将所述图像编码与设定编码进行比对；

步骤s230：在比对结果一致的情况下，所述sdk输出所述图像编码；

步骤s240：所述电视根据输出的所述图像编码得到设定媒体信息，并显示与所述设定媒体信息对应的互动信息，以获取通过遥控器返回的针对所述互动信息的用户操作信息；所述设定编码预先与所述设定媒体信息关联。

上述步骤s210至步骤s230的具体实施方式可参照上述媒体信息识别方法得知，故再此不再赘述。上述步骤s240中，所述设定编码与所述设定媒体信息的关联信息可以在电视之外生成，可以存储在电视的存储设备上，或存储在一服务器上(需传至电视)。当该设定媒体信息为广告信息时，该互动信息可以是确认购物的按钮；当该设定媒体信息为参与电视活动的信息时，该互动信息可以是参与投票的按钮。针对所述互动信息的用户操作信息例如可以是通过遥控器按下确认键或取消键。

本发明实施例还提供一种电视，包括sdk，所述sdk被执行时实现上述各实施例所述的电视的媒体信息识别方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。

一个实施例中，电视交互操作方法，可包括：

步骤s310：获取电视播放的画面图像；

步骤s320：从所述画面图像中获取设定图像编码，并触发所述电视显示所述设定图像编码对应的互动信息的事件；所述设定图像编码预先与所述互动信息关联；

步骤s330：根据针对所述互动信息返回的操作信息发送包含所述电视的id和所述设定图像编码相关信息的操作请求信息，以在所述设定图像编码对应的应用的用户账号上完成对应所述操作请求信息的操作；所述操作信息是用户通过所述电视的遥控器返回的。

可以是实时获取电视播放的画面图像，例如，智能电视中安装有sdk，利用sdk通过智能电视屏幕快照接口实时截取整个电视屏幕正在播放的视频瞬间成为静态图片。获得的完整截图可以用于图像特征比对，进行逻辑判断。电视的id例如可以是由mac地址、androidid、电视账号等编码组成的唯一识别id。互动信息例如是广告信息、投票活动等。各种设定图像编码可以在广告或节目播出前预先与设定商品sku或参数关联。一旦识别出关联的设定图像编码就可以触发相应的事件，触发的事件可以携带互动信息发送给电视设备，电视设备可以显示该互动信息，例如将商品加入购物车的按钮、投票按钮等。实施例中，可以利用sdk通过智能电视屏幕快照接口实时截取整个电视屏幕正在播放的视频瞬间成为静态图片。

对应所述操作请求信息的操作例如可以是确认或取消购物或投票的操作。该应用例如是购物app、社交媒体等。接收到该操作请求信息的服务器可以根据电视的id和设定图像编码查找预先存储的电视id(电视的标识)、设定图像编码及应用的对应表，查找到同时与所述电视的id和所述设定图像编码对应的应用的id，从而与应用的id进行交互，将该操作信息通过该应用id下发给用户账号，完成相应操作，例如加入购物车、商品下单、投票等操作。其他实施例中，可以先根据电视的id查表找到多个应用，在根据设定图像编码从该多个应用中找到对应的应用。其他实施例中，可以在电视端完成查找同时与所述电视的id和所述设定图像编码对应的应用的id的过程。操作请求信息还可以包括其他可能需要的信息。

一些实施例中，上述步骤s320中，从所述画面图像中获取设定图像编码的具体实施方式，可包括：从所述画面图像中识别图像标识，并通过所述图像标识获取设定图像编码；所述图像标识包括图像水印或设定特征二维码，是根据设定规则生成并被预先植入所述画面图像所对应的视频中。

另一些实施例中，上述步骤s320中，从所述画面图像中获取设定图像编码的方法，可包括：

步骤s321：从所述画面图像中提取图像特征；

步骤s322：在图像特征与交互编码的对应表中查找所述图像特征对应的交互编码，并根据查找到的交互编码获取设定图像编码；所述图像特征与交互编码的对应表是预先建立的。

一些实施例中，该电视交互操作方法，还可包括：在未从所述画面图像中获取到设定图像编码的情况下，销毁所述画面图像。

一些实施例中，另提供一种电视交互操作方法，可以在服务器端执行。该电视交互操作方法，可包括：

步骤s410：接收包含电视的id和设定图像编码相关信息的操作请求信息；所述操作请求信息是根据操作信息发送的；所述操作信息是用户通过所述电视的遥控器并针对互动信息返回的；所述互动信息是由所述电视显示并与所述设定图像编码对应的；所述设定图像编码是从所述电视播放的画面图像中获取的；所述设定图像编码预先与所述互动信息关联；

步骤s420：根据所述操作请求信息将所述设定图像编码相关信息发送至与所述设定图像编码对应的应用的用户账号；所述应用已与所述电视的id绑定。

一些实施例中，在上述步骤s420之前，即，根据所述操作请求信息将所述设定图像编码相关信息发送至与所述设定图像编码对应的应用的用户账号之前，还可包括：步骤s430：与所述应用交互，以将所述电视的id与所述应用的id绑定。

本发明实施例还提供一种电视交互操作系统，该电视交互操作系统，可包括：

sdk510，用于：获取电视播放的画面图像；从所述画面图像中获取设定图像编码，并触发所述电视显示所述设定图像编码对应的互动信息的事件；所述设定图像编码预先与所述互动信息关联；根据针对所述互动信息返回的操作信息发送包含所述电视的id和所述设定图像编码相关信息的操作请求信息；

所述电视520，用于：显示所述设定图像编码对应的互动信息，并接收用户通过所述电视的遥控器返回的所述操作信息；

服务器530，用于：接收所述操作请求信息，并根据所述操作请求信息将所述设定图像编码相关信息发送至与所述设定图像编码对应的应用的用户账号；所述应用的id已与所述电视的id绑定。

一些实施例中，所述互动信息包括：二维码，携带所述电视的id和所述设定图像编码，用于使用户移动终端跳转url携带所述电视id和所述设定图像编码；所述服务器530，还用于：接收所述url携带的所述电视id和所述设定图像编码，并与所述应用交互，以绑定所述电视id和所述应用的id。

实施例中，智能电视，可带有操作系统，可安装软件的电视或ott(overthetop，互联网电视)盒子。sdk，安装在电视中，用户不可见的系统级软件，获取电视机的图像与将图像转为图像特征或在原始视频中加入特定图像水印或二维码，如果sdk截图后识别到预定的图像水印或二维码，则直接从图像水印和二维码中提取交互编码和参数信息；如果sdk截图后没有识别到图像水印或二维码，则会在预定的形状路径上进行图像采样，获得色相、对比、色值等信息，并图像进行二值化，记录二值化后的图像特征，并进行与sdk本地预存的样本图像特征的对比或将特征上传至服务器比对，通过比对获得图像对应的交互编码和参数信息。样本图像库，存放媒体方广告本样图像特征，将广告主提供的广告提取图像特征，放入样本库中，用于调取。媒体方，电视台或视频网站等，可提供广告展示的媒体资源方。

以在智能电视上识别广告或内容为例，用户与电视交互的方法的实施流程，可以包括以下一个或多个步骤；

1、智能电视上安装我们的sdk，sdk通过智能电视屏幕快照接口实时截取整个电视屏幕正在播放的视频瞬间成为静态图片，获得完整截图后交付下一步图像特征比对进行逻辑判断。

2、图像特征的比对方式，有两种：

a)主动模式，在视频节目或广告播出前，在视频中植入图像水印或特定二维码，sdk截图后扫描图像先判断是否存在特定水印或二维码，根据统一的规则识别出水印或二维码中携带的参数，将参数传递给电视机。

b)被动模式，在视频节目或广告播出前，把需要交互的视频位置进行截图，将截图按照统一算法进行特征提取并设定一个交互编码，随后将图像特征和交互编码对照表存在服务器端或者下发到智能电视sdk端。当观众在智能电视上观看节目时，sdk实时截取的图像并按统一算算法提取特征，将图像特征转送到服务器或者与sdk预下载的特征进行比对，相似度达到预设值则，则找到这个特征图像所对应的编码，并将参数传递给电视。

3、如果判断无交互信息，则自动销毁这张截图释放存储资源。否则，由电视机弹出相应的交互提示。

4、观众根据提示决定是否参与，如果按电视机遥控器确认建，则有电视机将之前获得参数发送给服务器，服务器与第三方应用交互，如果已经绑定了电视和第三方应用app(应用程序)账号，则直接与该app进行互动。

智能电视中植入本发明的sdk，sdk会实时截图，通过图像分析提取图片特征对应的图片编码，图片编码会与事先关联设定好的商品sku或者参数关联，电视端播出视频时，一旦识别关联的图片编码就会触发相应的事件，事件会携带图像编码和参数发送给电视设备，电视及设备显示相应的提示。观众看到提示，如果有购买或参与互动的需求，只需要按电视机遥控器确认按钮，之后请求会发到服务端进行比对，如果这台电视没有绑定观众的手机，则需要进行一次绑定，将智能电视id(身份认证)和手机中某个app账号绑定，绑定后观众在电视上看到的商品订单或活动信息会自动下发到观众的手机上，在不打扰观众电视内容观看的同时将信息导流在手机侧完成，让观众更方便的进行购买电视广告中的商品，或参与电视互动活动。

本发明提供了一种在智能电视上精确识别广告或内容的方法，并将广告或内容所展示商品或活动，通过电视遥控器进行直接交互，而不需要每次都用手机与电视交互，交互本身可以是通过电视遥控器自动向观众手机app(应用程序)购物车里加商品，也可以通过电视遥控器在观众手机社交媒体账号的活动里参与投票或互动。

综上所述，本实施例的电视的媒体信息识别方法、电视交互操作方法、电视、计算机可读存储介质及计算机设备，通过获取电视播放的视频的画面图像，从所述画面图像中提取图像编码，将所述图像编码与设定编码进行比对，以及在比对结果一致的情况下输出所述图像编码，根据所述图像编码得到设定媒体信息，以此能够基于图像实现自动识别电视中的媒体信息，能够提高观看电视节目的用户体验。通过本方法可以识别电视中的广告，并将广告所展示商品进行下上线下导流，让观众更方便的进行购买。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。