一种监控视频调取显示的方法及智能终端与流程

本申请涉及计算机数据处理技术领域，特别地，涉及一种监控视频调取显示的方法及智能终端。

背景技术：

视频监控系统由摄像、传输、控制、显示、存储等功能组件构成，摄像机通过同轴电缆、网线、光纤将视频图像传输到控制主机，控制主机再将视频信号分配至各监视器、录像设备进行显示和存储。监控视频的调取是指用户通过发出控制指令，在视频监控系统的多路摄像机中选择一路、或多路视频信号，并将其输出至显示装置。

在一些监控视频调取显示的实现中，首先，根据调取视频所在的区域名称，在视频监控系统设备表中通过手动输入区域名称查找相应的摄像机设备编号；然后，根据摄像机编号在监控系统中进行精确检索得到调取视频所在区域的摄像机；最后，在视频监控系统中对已查找到的摄像机进行双击操作、或拖拽操作，将调取视频输出至大屏幕。

然而，通常视频监控系统包含的摄像机数量是非常多的，当用户手动输入较长、较复杂的搜索内容时，需要较长的操作时间、且双手无法同时进行其它操作，或用户输入的搜索内容有误、输入内容不完全与目标检索列表的内容匹配、或输入格式不符合检索规则时，则无法调取监控视频、或调取了一个错误的监控视频。

技术实现要素：

本申请提供了一种监控视频调取显示的方法及智能终端，通过对第一语音输入、第二语音输入、上屏的语音输入进行识别、语义纠错、语义匹配搜索、获取最终检索列表，一定程度上可以解决手动调取监控视频操作时间长、无法解放双手、无法识别不规范指令、不能进行关键词检索、不能同时调取多个监控视频的问题。

本申请的实施例是这样实现的：

本申请实施例的第一方面提供一种智能终端，包括：

显示屏，所述显示屏用于显示界面；

处理器，所述处理器被配置为：

接收第一语音输入，在所述显示屏上显示基于所述第一语音输入的第一检索列表；

接收第二语音输入，在所述显示屏上显示基于所述第二语音输入和第一检索列表的第二检索列表；

接收上屏的语音输入，发送将基于所述第二检索列表的视频显示于另一智能终端的指令。

本申请实施例的第二方面提供一种智能终端，包括：

显示屏，所述显示屏用于显示界面；

处理器，所述处理器被配置为：

接收第一语音输入，在所述显示屏上显示基于所述第一语音输入的第一检索列表；

接收上屏的语音输入，发送将基于所述第一检索列表的视频显示于另一智能终端的指令。

本申请实施例的第三方面提供一种监控视频调取显示的方法，所述方法包括：

接收第一语音输入，在第一智能终端上显示基于所述第一语音输入的第一检索列表；

接收第二语音输入，在所述第一智能终端上显示基于所述第二语音输入和第一检索列表的第二检索列表；

接收上屏的语音输入，发送将基于所述第二检索列表的视频显示于第二智能终端的指令。

本申请实施例的第四方面提供一种监控视频调取显示的方法，所述方法包括：

s1：接收第一语音输入，在第一智能终端上显示基于所述第一语音输入的第一检索列表；

s2：接收第二语音输入，在所述第一智能终端上显示基于所述第二语音输入和第一检索列表的第二检索列表；

s3：重复执行步骤s2，直至显示最终检索列表；

s4：接收上屏的语音输入，发送将基于所述最终检索列表的视频显示于第二智能终端的指令。

本申请的有益效果：通过对第一语音输入、第二语音输入、上屏的语音输入进行识别，可以减少监控视频调取操作时间，提高操作便捷性；进一步通过语义纠错，可以实现不规范监控调取指令的识别；进一步通过语义匹配搜索，可以实现通过关键词输入监控调取指令；进一步通过获取最终检索列表，可以实现调取多个监控视频同时输出。

附图说明

具体为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a/1b示出了本申请实施例一种智能终端的操作界面示意图1；

图2a/2b示出了本申请实施例一种智能终端的操作界面示意图2；

图3a/3b示出了本申请实施例一种智能终端的操作界面示意图3；

图4a/4b示出了本申请实施例一种智能终端的操作界面示意图4；

图5a/5b示出了本申请实施例一种智能终端的操作界面示意图5；

图6a/6b示出了本申请实施例一种智能终端的操作界面示意图6；

图7示出了本申请实施例一种调取监控视频方法的流程示意图；

图8示出了本申请实施例一种调取监控视频方法中语音识别纠错的流程示意图；

图9示出了本申请实施例一种调取监控视频方法中使用知识图谱推理的方法进行语义匹配搜索的逻辑示意图；

图10示出了本申请实施例一种调取监控视频方法中使用基于知识图谱快速索引的方法进行语义匹配搜索的逻辑示意图。

具体实施方式

现在将描述某些示例性实施方案，以从整体上理解本文所公开的装置和方法的结构、功能、制造和用途的原理。这些实施方案的一个或多个示例已在附图中示出。本领域的普通技术人员将会理解，在本文中具体描述并示出于附图中的装置和方法为非限制性的示例性实施方案，并且本发明的多个实施方案的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征可与其他实施方案的特征进行组合。这种修改和变型旨在包括在本发明的范围之内。

本说明书通篇提及的″多个实施例″、″一些实施例″、″一个实施例″或″实施例″等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语″在多个实施例中″、″在一些实施例中″、″在至少另一个实施例中″或″在实施例中″等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本发明的范围之内。

本申请提供了一种监控视频调取显示的方法及智能终端，下文将以交通部门管辖的公路视频监控场景为示例，阐述本申请所述智能终端的操作界面。

图1a/b-图6a/b示出了本申请实施例一种智能终端的操作界面示意图。

每个图中包括a、b两部分，其中a部分为第一智能终端的操作界面，b部分是第二智能终端，用于接收第一智能终端发送的指令并播放基于所述指令的监控视频。所述第二智能终端也称为目标显示装置，所述目标显示装置通常可实施为大屏幕，设置于监管部门的监控室内。

图1a，示出了第一智能终端的操作界面，其暂处于待机状态，用户通过按住语音识别键输入语音指令；

图1b是监控室内大屏幕的实时显示画面，其播放内容来自于所述智能终端，图1b中，大屏幕暂时没有播放监控视频内容；

下面将开始进行调取监控视频的操作，用户按住语音识别键，发出语音指令″青石线″，然后松开所述语音识别键。

图2a示出了第一智能终端在收到了语音控制指令″青石线″后，其屏幕的显示界面。

屏幕顶部显示收到的语音控制指令：″您说的是：青石线″；

其中，青石线表示用户最近一次输入的语音指令；

屏幕中部显示检索列表，包括5个摄像头的项目信息：

″g309青石线-城阳-k22-0001″

″g309青石线-城阳-k22-0002″

″g309青石线-城阳-k22-0003″

″g309青石线-城阳-k23-0001″

″g309青石线-即墨-k29-0005″

以″g309青石线-城阳-k22-0001″为例，g309青石线表示线路名称，由编号和汉字组成；城阳表示主管分局，即摄像头由城阳分局管辖；k22表示22公里路段位置处；0001表示第一个摄像头；

图2b的显示界面没有发生变化，与图1b相同，表示暂没有播放监控视频内容。

然后，用户按住语音识别键，发出语音指令″城阳″，再松开语音识别键。

图3a示出了第一智能终端的在收到了语音控制指令″城阳″后的显示界面。

屏幕顶部显示语音信息：″您说的是：青石线城阳″；

其中，城阳表示用户最近一次输入的语音指令；

屏幕中部显示检索列表，包括4个摄像头的项目信息：

″g309青石线-城阳-k22-0001″

″g309青石线-城阳-k22-0002″

″g309青石线-城阳-k22-0003″

″g309青石线-城阳-k23-0001″

图3b的显示界面没有发生变化，与图2b相同，表示暂没有播放监控视频内容。

然后，用户按住语音识别键，发出语音指令″k22″，再松开语音识别键。

图4a示出了第一智能终端在收到了语音控制指令″k22″后的显示界面。

屏幕顶部显示语音信息：″您说的是：青石线城阳k22″；

其中，k22表示用户最近一次输入的语音指令；

屏幕中部显示检索列表，包括3个摄像头的项目信息：

″g309青石线-城阳-k22-0001″

″g309青石线-城阳-k22-0002″

″g309青石线-城阳-k22-0003″

图4b的显示界面没有发生变化，与图3b相同，表示暂没有播放监控视频内容。

然后，用户按住语音识别键，发出语音指令″0001″，再松开语音识别键。

图5a示出了第一智能终端在收到了语音控制指令″0001″后的显示界面。

屏幕顶部显示语音信息：″您说的是：青石线城阳k220001″；

其中，0001表示用户最近一次输入的语音指令；

屏幕中部显示检索列表，包括1个摄像头的项目信息：

″g309青石线-城阳-k22-0001″

图5b的显示界面没有发生变化，与图4b相同，表示暂没有播放监控视频内容。然后，用户按住语音识别键，发出语音指令″上大屏″，再松开语音识别键。

图6a示出了第一智能终端在收到了语音控制指令″上大屏″后的显示界面。

屏幕顶部显示语音信息：″您说的是：青石线城阳k220001上大屏″；

其中，上大屏表示用户最近一次输入的语音指令；

屏幕中部显示检索列表，包括1个摄像头的项目信息：

″g309青石线-城阳-k22-0001″

图6b的第二智能终端，即大屏幕显示了调取监控视频，所述监控视频来自于″g309青石线-城阳-k22-0001″编号摄像头，完成调取监控视频。

下面将对本申请提供的监控视频调取显示的方法进行详细的阐述。

图7示出了本申请实施例一种监控视频调取显示方法的流程示意图。

在步骤s1中，接收第一语音输入，在第一智能终端上显示基于所述第一语音输入的第一检索列表。

接收第一语音输入，所述第一语音输入为待识别监控调取指令的部分内容。

在一些实施例中，所述待识别监控调取指令包括多个待识别表达部分和输出调取部分，所述多个待识别表达部分包括第一语音输入、第二语音输入、第三语音输入、...、第n语音输入；所述输出调取部分也称为上屏的语音输入。

在一些实施例中，所述第一语音输入、第二语音输入、...，第n语音输入，即待识别监控调取指令的多个待识别表达部分通常分为两类：

待识别监控调取指令为具有搜索限定范围监控视频的指令。例如″查找市南分局管辖下的监控视频″，其监控调取指令具有搜索范围的特点。

待识别监控调取指令为按照规则组合的监控视频编号指令。例如，某市公路管理局对监控摄像头按照″线路名称-主管分局-设置位置″的规则进行编号。″g309青石线-城阳-k22-0001″表示监控视频来自于g309青石线、桩号k22-0001处(22公里处第一个桩杆的摄像头)，城阳分局管辖下的摄像头拍摄。

在一些实施例中，所述多个待识别表达部分和所述输出调取部分可以被分为多个部分逐级依次接收。也可以认为所述多个待识别表达部分和所述输出调取部分可以被分为第一语音输入、第二语音输入、上屏的语音输入逐级由第一智能终端接收。。

例如，第一智能终端接收第一语音输入第一次查询″青石线″，接收第二语音输入第二次查询″城阳″，接收第三语音输入第三次查询″k22″，接收第四语音输入第四次查询″0001″；通过逐级的语音指令，可以定位1个、或多个摄像头所采集的监控视频，然后第一智能终端接收上屏的语音输入，即″上大屏″语音指令，完成监控视频的调取。

所述″青石线″、″城阳″、″k22″、″0001″，即为待识别监控调取指令中包括的多个待识别表达部分；所述″上大屏″即为待识别监控调取指令包括的输出调取部分。

所述输出调取部分指令用于：将第一智能终端当前显示页面的检索列表内项目代表的监控视频内容输出至第二智能终端，所述第二智能终端为目标显示装置，在一些实施例中可实施为大屏幕。

所述输出调取部分指令可以根据实际情况进行预设，本申请不做具体的限定，在本实施例中，所述输出调取部分指令设定为″上大屏″。

下面将就第一智能终端接收第一语音输入后的数据处理进行阐述。

基于第一语音输入，即至少一个待识别表达部分，进行语音识别纠错、及语义匹配搜索，生成包含已识别表达部分的第一检索列表。

图8示出了本申请实施例一种监控视频调取显示方法中语音识别纠错的流程示意图。

在步骤801中，将接收到的待识别监控调取指令进行语音识别处理，得到初步识别文本。

在一些实施例中，所述第一智能终端调用语音识别服务组件，例如可以是百度语音识别组件，通过其api接口接收待识别表达部分语音指令，然后进行语音识别，以获取初步识别文本。

在一些实施例中，可以在语音识别服务组件的词库中上传客户的自定义词库，所述自定义词库包含监控视频编号内容中的公路字段，以及内容中包含的字母及阿拉伯数字，以提高语音识别的准确率。

在步骤802中，基于监控视频编号规则，将所述初步识别文本进行语义纠错处理得到标准格式文本，所述标准格式文本符合所述监控视频编号规则。

在上述步骤中得到所述待识别表达部分语音指令的初步识别文本后，对所述初步识别文本进行语义纠错处理。

所述语义纠错处理采用基于监控视频编号规则的语义纠错方法，根据监控视频编号规则进行纠错。

通常，在同一监控视频系统下，监控视频编码遵循相同的规则。例如，某市公路管理局监控视频系统的监控视频编号规则遵循：

以g(国道)、s(省道)、x(县道)、y(乡道)、z(专用公路)、q(其它公路)开头；

字母后为阿拉伯数字；

阿拉伯数字后如果有信息则为汉字，否则编号片段结束。

首先判断所述初步识别文本归属于编号规则的片段，然后基于片段对所述初步识别文本的内容进一步进行判断、语义纠错得到标准格式文本。

在一些实施例中，获取所述标准格式文本后，首先判断所述文本是否为上屏的语音输入，例如可以为″上大屏″指令，即判断所述标准格式文本是否是输出调取部分；如果是，则发送显示当前最终检索列表所映射的监控视频的指令至第二智能终端；如果否，则对所述标准格式文本进行语义匹配检索，以获取检索列表。

语义匹配搜索，对所述标注格式文本进行语义匹配检索以获取检索列表。

在一些实施例中，所述语义匹配搜索包括两个类型：

对于待识别监控调取指令为具有搜索限定范围监控视频的指令，使用知识图谱推理的方法进行搜索；

对于待识别监控调取指令为按照规则组合的监控视频编号指令，使用基于知识图谱快速索引的方法进行检索。

基于不同类型的待识别监控调取指令进行不同方式的语义匹配搜索，通过进入不同的推理搜索流程，模糊查询视频库中的监控视频名称，并在所述第一智能终端中显示得到的检索列表。

知识图谱是一种海量、异构、动态的交通时空数据，可以对表达、组织、管理以及利用数据分析提供更为有效的表达方式，使得网络的智能化水平更高，更加接近于人类的认知思维。例如，在本实施中，以路网视频监控系统中的地区、视频、道路、负责人为实体，以监控视频与所述实体之间的关系为边，创建视频监控的知识图谱，并基于只是图谱的推理方法，利用关系路径中的蕴涵信息，通过图谱中两个实体间的路径预测它们之间的语义关系。

图9示出了本申请实施例一种监控视频调取显示方法中使用知识图谱推理的方法进行语义匹配搜索的逻辑示意图。

首先，输入上文中得到的标准格式文本与aiml(artificialintelligencemarkuplanguage：人工智能标记语言)模板进行匹配，提取所述标准格式文本的关键信息；如果标准格式文本与aiml模板不匹配，则在所述第一智能终端的屏幕返回提示信息，进行再次用户交互；

然后，基于所述关键信息，即关键词，在知识图谱中确定所述关键信息的实体；

其次，基于所述实体在知识图谱数据库中查询得到其对应的语句映射；

最后，根据所述语句映射生成所述标准格式文本匹配的检索列表，并将所述检索列表，即生成答案，返回所述第一智能终端的显示屏。

图10示出了本申请实施例一种监控视频调取显示方法中使用基于知识图谱快速索引的方法进行语义匹配搜索的逻辑示意图。

使用开源的全文搜索引擎，对监控视频及其属性信息构建的索引，进行索引检索。

首先，基于所述标准格式文本在知识图谱数据库中进行精确检索，将整个字符串输入搜索引擎，如果有返回结果则输出完全匹配的检索列表；

如果上述精确检索不能够返回结果，则基于所述标准格式文本在知识图谱数据库中对索引进行模糊检索，得到模糊结果列表。所述索引可以提高搜索定位的速度，在一些实现方式中，平均搜索时间小于0.06秒，在精确检索失败后，进行二次模糊检索不会影响用户体验。

然后，在所述模糊结果列表中筛选去除不合有所述标准格式文本中任意分词的内容后，输出检索列表。所述模糊结果列表需要经过一个过滤组件以过滤噪音数据，所述过滤组件对搜索引擎接收的标准格式文本进行分词，判断输出检索列表中每个项目的文本元素是否含有切分后的任意分词；如果检索列表中的项目不含有任意分词，则将对应的项目从所述检索列表中筛选去除，即删除该项；过滤后留下的检索列表，即为返回第一智能终端显示屏的检索列表，也称为第一检索列表。

继续参考图7，在步骤s2中，接收第二语音输入，在所述第一智能终端上显示基于所述第二语音输入和第一检索列表的第二检索列表。

基于接收的第二语音输入，即至少另一个待识别表达部分在所述第一检索列表中进行语音识别纠错、及语义匹配搜索，生成包含已识别表达部分的第二检索列表，并将其显示在第一智能终端的显示屏上。

继续参考图7，在步骤s3中，重复执行步骤s2，直至显示最终检索列表。

在得到第二检索列表后，第一智能终端再次接收待识别监控调取指令剩余部分的至少一个或多个待识别表达部分，即第三语音输入、第四语音输入...，并再次进行语音识别纠错、语义匹配搜索处理得到返回第一智能终端的最终检索列表。所述最终检索列表包含待识别监控调取指令的全部待识别表达部分。

需要说明的是，生成第四检索列表、第五检索列表、...、第n检索列表、最终检索列表，所述最终检索列表包含所述待识别监控调取指令中全部待识别表达部分，即实现了所述待识别监控调取指令对应映射视频的指定选择。

继续参考图7，在步骤s4中，接收上屏的语音输入，发送将所述基于最终检索列表的视频显示于第二智能终端的指令。

接收上屏的语音输入，即待识别监控调取指令的输出调取部分，然后第一智能终端发送指令至第二智能终端，所述指令为将所述最终检索列表映射的监控视频输出至第二智能终端。

完成全部待识别表达部分的语音识别纠错、语义匹配搜索后，第一智能终端接收上屏的语音输入，即输出调取部分的语音指令，如本申请示例的″上大屏″指令。第一智能终端发出将所述最终检索列表内所有项目映射的监控视频输出至第二智能终端的指令，所述第二智能终端为目标显示装置，可实施为大屏幕，完成监控视频的调取。

在一些实施例中，一轮监控调取指令完成后，第一智能终端将等待再次接收语音指令；

如果在预设的等待时间阈值内，例如在3s之内，第一智能终端再次接收到语音输入，即待识别监控调取指令，则在所述最终检索列表中继续识别所述语音输入；若所述第一智能终端不能返回检索列表，则在监控视频库内重新发起一轮监控视频调取流程。

如果在预设的等待时间阈值外，例如在3s之外，第一智能终端重新开始监控视频调取。所述等待时间阈值可根据实际情况进行设定，本申请不做具体的限定。

本申请还提供了一种智能终端，至少包括显示屏和处理器。

显示屏被配置为用于显示界面，所述显示屏可以是液晶显示器、有机发光显示器、投影设备。具体显示设备类型、尺寸大小和分辨率等不作限定。显示屏与处理器通过多种通信方式进行数据通信。

所述处理器被配置为接收第一语音输入，在所述显示屏上显示基于所述第一语音输入的第一检索列表；接收第二语音输入，在所述显示屏上显示基于所述第二语音输入和第一检索列表的第二检索列表；接收上屏的语音输入，发送将基于所述第二检索列表的视频显示于另一智能终端的指令。所述处理器具体实现智能终端调取监控视频的内容描述在本申请前文的方法内容已经做了详细的阐述，此处不再赘述。

本申请的有益效果：通过语音识别监控调取指令，可以减少监控调取操作时间，提高操作便捷性；进一步通过语义纠错，可以实现不规范监控调取指令的识别；进一步通过语义匹配搜索，可以实现通过关键词输入监控调取指令；进一步通过获取最终检索列表，可以实现调取多个监控视频同时输出。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为″数据块″、″模块″、″引擎″、″单元″、″组件″或″系统″。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内合有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等，常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)、或连接至外部计算机(例如通过因特网)、或在云计算环境中、或作为服务使用如软件即服务(saas)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。