一种基于增强现实的视频监控方法及视频监控系统与流程

本发明涉及增强现实技术领域，具体涉及一种基于增强现实的视频监控方法及视频监控系统。

背景技术：

在传统监控技术中，采用在关键位置设置摄像头的模式采集视频信号，通过交叠的覆盖范围形成监控区域，当监控区域出现告警时，安保人员通过查看监控视频能够了解现场的图像视频。

传统的视频监控系统在获取监控区域内的视频信息后，直接将摄像头捕捉到的视频通过显示器直接显示给安保人员。

现有的视频监控系统提供的视频只能向用户显示通过现场设置的摄像头获取到的图像，无法提供更多关于现场的信息，不利于安保人员对监控现场情况的了解。

技术实现要素：

本发明提供一种导航信息的处理方法及导航信息处理模块，用于解决现有技术中视频监控系统提供的监控现场信息量过小的问题。

本发明实施例的一方面提供了一种基于增强现实的视频监控方法，包括：

获取目标环境的监控图像；

识别所述监控图像中的目标物体；

确定所述目标物体对应的虚拟信息；

根据所述虚拟信息生成虚拟显示内容；

将所述虚拟显示内容与所述监控图像进行叠加，生成合成图像；

显示所述合成图像。

结合第一方面，在第一方面的第一种可能的实现方式中，所述确定所述目标物体对应的虚拟信息包括：

判断所述目标物体是否为人；

若是，则对所述目标物体进行人脸识别；

根据人脸识别结果从预存的人物信息中确定所述目标物体对应的目标人物信息；

确定所述目标人物信息为所述目标物体对应的虚拟信息。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，若判定所述目标物体不是人，所述方法还包括：

判断所述目标物体是否符合预存的标准图像；

若否，则生成所述目标物体对应的所述监控图像与所述标准图像的目标差异信息；

根据所述目标差异信息生成所述目标物体对应的虚拟信息。

结合第一方面、第一方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中任意一种可能的实现方式，在第一方面的第三种可能的实现方式中，在识别所述监控图像中的目标物体之后，在确定所述目标物体对应的虚拟信息之前，所述方法还包括：

接收用户对所述监控图像中所述目标物体的选择指令。

结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式和第一方面的第三种可能的实现方式之中任意一种，在第一方面的第四种可能的实现方式中，在根据所述虚拟信息生成虚拟显示内容之前，所述方法还包括：

获取对所述目标环境的检测结果；

所述根据所述虚拟信息生成虚拟显示内容包括：

根据所述虚拟信息和所述目标环境的检测结果生成所述虚拟显示内容。

本发明实施例的第二方面提供了一种基于增强现实的视频监控系统，包括：

获取模块，用于获取目标环境的监控图像；

处理模块，用于识别所述监控图像中的目标物体，确定所述目标物体对应的虚拟信息，根据所述虚拟信息生成虚拟显示内容，将所述虚拟显示内容与所述监控图像进行叠加，生成合成图像；

显示模块，用于显示所述合成图像。

结合第二方面，在第二方面的第一种可能的实现方式中，所述处理模块还用于：

判断所述目标物体是否为人；

若是，则对所述目标物体进行人脸识别；

根据人脸识别结果从预存的人物信息中确定所述目标物体对应的目标人物信息；

确定所述目标人物信息为所述目标物体对应的虚拟信息。

结合第二方面或者第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述处理模块还用于：

判断所述目标物体是否符合预存的标准图像；

若否，则生成所述目标物体对应的所述监控图像与所述标准图像的目标差异信息；

根据所述目标差异信息生成所述目标物体对应的虚拟信息。

结合第二方面、第二方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中任意一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述处理模块还用于接收用户对所述监控图像中所述目标物体的选择指令。

结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式和第二方面的第三种可能的实现方式之中任意一种，在第二方面的第四种可能的实现方式中，所述处理模块还用于：

获取对所述目标环境的检测结果；

所述根据所述虚拟信息生成虚拟显示内容包括：

根据所述虚拟信息和所述目标环境的检测结果生成所述虚拟显示内容。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明可以在获取到目标环境的监控图像之后，识别监控图像中的目标物体，并根据目标物体生成虚拟显示内容，之后通过将虚拟显示内容与监控图像进行叠加，生成并显示合成图像，能够向安保人员提供更多关于监控的目标环境中的信息，方便安保人员对监控现场情况的了解。

附图说明

图1是本发明基于增强现实的视频监控方法一个实施例示意图；

图2是本发明基于增强现实的视频监控方法另一个实施例示意图；

图3是本发明目标环境的监控图像一个示意图；

图4是本发明目标环境的标准图像一个示意图；

图5是本发明得到的合成图像一个示意图；

图6是本发明基于增强现实的视频监控系统一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于增强现实的视频监控方法及视频监控系统，用于提供更多关于现场的视频监控信息，便于安保人员对监控现场情况的了解。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中基于增强现实的视频监控方法一个实施例包括：

101、获取目标环境的监控图像；

视频监控系统可以通过图像获取装置获取目标环境的监控图像，监控图像可以指监控视频中的一帧图像。

102、识别监控图像中的目标物体；

视频监控系统获取到目标环境的监控图像之后，可以识别监控图像中的目标物体。具体的，视频监控系统可以预存多个增强现实ar模型，其中若包括目标物体的ar模型，视频监控系统可以根据预存的目标物体的ar模型识别监控图像中的目标物体。

103、确定目标物体对应的虚拟信息；

视频监控系统识别到监控图像中的目标物体之后，可以确定目标物体对应的虚拟信息。

104、根据虚拟信息生成虚拟显示内容；

视频监控系统确定目标物体对应的虚拟信息之后，可以根据虚拟信息生成虚拟显示内容。

105、将虚拟显示内容与监控图像进行叠加，生成合成图像；

视频监控系统生成虚拟显示内容之后，可以将生成的虚拟显示内容与监控图像进行叠加，生成合成图像。

106、显示合成图像。

视频监控系统得到合成图像之后，可以显示目标物体和对应的虚拟显示内容叠加在一起的合成图像。

本发明实施例提供的基于增强现实的视频监控方法，在获取到目标环境的监控图像之后，可以识别监控图像中的目标物体，并根据目标物体生成虚拟显示内容，之后通过将虚拟显示内容与监控图像进行叠加，生成并显示合成图像，能够向安保人员提供更多关于监控的目标环境中的信息，方便安保人员对监控现场情况的了解。

优选的，请参阅图2，本发明实施例中基于增强现实的视频监控方法另一个实施例包括：

201、获取目标环境的监控图像；

视频监控系统可以通过图像获取装置获取目标环境的监控图像，监控图像可以指监控视频中的一帧图像。假设监控系统用于对某个住宅小区进行监控，那么可以在该小区内的多个位置设置摄像装置，每个摄像装置可以获取一定环境区域的图像，那么可以将该摄像装置对应的环境区域称为目标环境。假设视频监控系统通过某个图像获取装置获取到的目标环境的监控图像如图3所示。

202、识别监控图像中的目标物体；

视频监控系统获取到目标环境的监控图像之后，可以识别监控图像中的目标物体。具体的，视频监控系统可以预存多个增强现实ar模型，其中若包括目标物体的ar模型，视频监控系统可以根据预存的目标物体的ar模型识别监控图像中的目标物体。在监控图像中识别出的目标物体可以有1个，也可以为多个。在本发明实施例中，假设视频监控系统可以识别出监控图像中的人、三个路灯、花盆，已在图3中通过虚线框出轮廓，三个路灯从图右至左依次为路灯1、路灯2、路灯3。

203、接收用户对监控图像中目标物体的选择指令；

视频监控系统识别出监控图像中的目标物体之后，用户可以通过鼠标等方式选择监控图像中的一个或多个目标物体，此时视频监控系统可以接收用户对监控图像中目标物体的选择指令，确定用户选择的目标物体。

204、判断目标物体是否为人，若是，则执行步骤205，若否，则执行步骤207；

视频监控系统接收用户对监控图像中目标物体的选择指令之后，可以判断目标物体是否为人，若是，则执行步骤205，若否，则执行步骤207。小区中的物体除了相对固定的设置的物体，还有可以独立活动的物体，常见的更为关注的就是人。优选的，视频监控系统最好对这两类物体进行区别化处理，因此首先需要对目标物体进行分类。

205、对目标物体进行人脸识别；

若用户选择的目标物体为图3中的人，视频监控系统可以判定目标物体为人，那么视频监控系统可以对目标物体进行人脸识别。

206、根据人脸识别结果从预存的人物信息中确定目标物体对应的目标人物信息；

视频监控系统对目标物体进行人脸识别，具体的，视频监控系统可以预存大量人脸信息，通过将该人的人脸信息与预存的人脸信息进行比对，可以实现对该人的人脸识别，从而确定该人的身份信息，也就是目标物体对应的目标人物信息，比如姓名、年龄、住址、紧急联系人信息等，假设监控图像中的人为住户甲。

207、判断目标物体是否符合预存的标准图像，若否，则执行步骤208，若是，则执行步骤214；

视频监控系统可以预存目标环境的标准图像，也就是在过去某个时刻获取的目标环境的图像，并以此图像作为标准图像，为了更加准确的对比，可以预存目标环境在不同时刻的多张标准图像，比如可以存有两张标准图像，分别对应于白天某个时刻和黑天某个时刻。若监控图像对应的时刻为夜晚，则以黑天某个时刻获取的目标环境的图像作为标准图像。假设监控图像对应的时刻为夜晚，目标环境的标准图像如图4所示。若视频监控系统判定目标物体不为人，则视频监控系统可以判断目标物体是否符合预存的标准图像，若否，则执行步骤208，若是，则执行步骤213。作为举例，判定目标物体不符合预存的标准图像可以包括以下几种情况：

a、标准图像中不存在目标物体；

b、标准图像中存在目标物体，但是标准图像中的目标物体与监控图像中的目标物体不相同，比如在图像中的位置不同、形状不同、状态不同等。

208、生成目标物体对应的监控图像与标准图像的目标差异信息；

若判定目标物体不符合预存的标准图像，则视频监控系统可以生成目标物体对应的监控图像与标准图像的目标差异信息。若用户选择的目标物体为花盆、路灯，那么通过比较图3和图4，不难看出，二者均不符合标准图像。具体的，标准图像中没有花盆，标准图像中的路灯1为发光的路灯，而监控图像中的路灯1为不发光的路灯。那么，在判定目标物体不符合预存的标准图像之后，视频监控系统可以根据比较结果生成目标物体对应的监控图像与标准图像的目标差异信息，在本发明实施例中，目标差异信息用以指示监控图像中增加了花盆，并且路灯1应该发光，实际上却未发光等。

209、根据目标差异信息生成目标物体对应的虚拟信息；

视频监控系统生成目标差异信息之后，可以根据目标差异信息生成目标物体对应的虚拟信息，比如，花盆对应的虚拟信息可以用以提示“障碍物，需要清理”，路灯1对应的虚拟信息可以用以提示“需要维修，灯泡型号、价格、库存量”。

210、获取对目标环境的检测结果；

优选，为了完善向安保人员提供的视频监控信息，视频监控系统不仅需要通过图像分析以及和预存信息的比较，还需要对现场环境的检测信息，视频监控系统可以在现场设置有检测模块，比如红外检测模块、湿度检测模块等。若目标物体为住户甲，则可以通过红外检测模块获取人的红外信息，确定住户甲的体温信息。通过湿度检测模块可以确定小区是否干燥，容易失火。

211、根据虚拟信息和目标环境的检测结果生成虚拟显示内容；

步骤206或者步骤209均能确定目标物体对应的虚拟信息，在步骤206或步骤209之后，视频监控系统可以根据虚拟信息和目标环境的检测结果生成虚拟显示内容。比如，花盆对应的虚拟显示内容可以为文字内容“障碍物”，路灯1对应的虚拟显示内容可以为文字内容“故障，原因可能是灯泡坏了，匹配的灯泡型号为**，价格为**，库存量为*”，住户甲对应的虚拟显示内容可以为文字内容“为住户甲，体温正常”。

在实际应用中，视频监控系统也可以只根据虚拟信息生成虚拟显示内容，此处不做具体限定。

212、将虚拟显示内容与监控图像进行叠加，生成合成图像；

视频监控系统生成虚拟显示内容之后，可以将生成的虚拟显示内容与监控图像进行叠加，生成合成图像。比如，可以在合成图像中将目标物体对应的虚拟内容显示在目标物体旁边。

213、显示合成图像；

视频监控系统得到合成图像之后，可以显示目标物体和对应的虚拟显示内容叠加在一起的合成图像，显示的合成图像可以如图5所示。

214、执行其他操作。

若判定目标物体符合预存的标准图像，则可以执行其他操作，比如显示提示内容“无异常”，或者确定并显示目标物体的常规信息，比如路灯中灯泡的型号。

需要说明的是，由于视频监控系统在监控图像中识别到的目标物体有很多，在有限的屏幕内显示大量虚拟信息，显示内容过于混乱，容易干扰安保人员对目标环境的情况观察，通过步骤3，在接收用户的选择指令后，对用户选择的目标物体进行增强现实的显示，能够解决上述问题。

上面对本发明实施例中基于增强现实的视频监控方法进行了描述，下面对本发明实施例中基于增强现实的视频监控系统进行描述。

请参阅图6，本发明实施例中基于增强现实的视频监控系统的一个实施例包括：

获取模块601，用于获取目标环境的监控图像；

处理模块602，用于识别监控图像中的目标物体，确定目标物体对应的虚拟信息，根据虚拟信息生成虚拟显示内容，将虚拟显示内容与监控图像进行叠加，生成合成图像；

显示模块603，用于显示合成图像。

优选的，处理模块602还用于：

判断目标物体是否为人；

若是，则对目标物体进行人脸识别；

根据人脸识别结果从预存的人物信息中确定目标物体对应的目标人物信息；

确定目标人物信息为目标物体对应的虚拟信息。

优选的，处理模块602还用于：

判断目标物体是否符合预存的标准图像；

若否，则生成目标物体对应的监控图像与标准图像的目标差异信息；

根据目标差异信息生成目标物体对应的虚拟信息。

优选的，处理模块602还用于接收用户对监控图像中目标物体的选择指令。

优选的，处理模块602还用于获取对目标环境的检测结果；

根据虚拟信息生成虚拟显示内容包括：

根据虚拟信息和目标环境的检测结果生成虚拟显示内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。