基于全景视图来监视场景的方法和系统与流程

本公开总体上涉及监视场景的方法和系统，更具体地涉及基于实时生成的表示全景视图的数据来监视场景的方法和系统。

背景技术：

全景视图监视涉及：根据摄像头捕获的图像或视频来创建关注区域的全景视图，并向用户呈现该全景视图。用户可能想要实时监视关注区域，这对现有的提供全景视图的方法提出了一些挑战。一种方法使用云台(pan-tilt-zoom，“PTZ”)摄像头从各个角度捕获场景，将捕获的场景的视图拼接成全景视图,然后呈现给客户端设备。另一方法使用多个广角摄像头来产生多通道视频流，其流图像在这些摄像头的外部站点拼接，以提供用于事后监视的全景视图。然而，这些方法并不满足特定需求。对于使用万向或伺服马达的PTZ摄像头，由机械齿轮的移动产生的糟糕的可操作性和噪声会影响记录质量。伺服系统容易发生机械故障。仅在依次考虑了所有形成全景视图所需的视角然后拼接在一起之后才提供全景视图，因而不提供实时监视。对于使用多个广角摄像头的监视系统，对来自摄像头的多个流的复用占用了额外的带宽。需要多于一个摄像头也导致较高的成本。此外，在摄像头外部的处理站点生成全景视图，导致客户端设备处监视的时延和不便。

所公开的方法和系统解决了上述问题中的一个或多个。

技术实现要素：

与本公开的实施例一致，提供了一种基于全景视图来监视场景的方法。所述方法可以包括：通过多个捕获单元捕获场景；基于捕获单元输出的图像数据，实时生成表示全景视图的数据；以及向客户端设备发送全景视图数据，以在客户端设备处显示为全景视图。

与本公开的实施例一致，提供了一种用于基于实时生成的表示全景视图的数据来监视场景的方法。所述方法可以包括：与捕获设备建立第一连接。捕获设备可以包括：多个捕获单元，被配置为捕获场景，并输出表示场景视图的图像数据；以及图像处理单元，用于基于捕获单元输出的图像数据，实时生成表示全景视图的数据。所述方法可以包括：建立与客户端设备的第二连接，用于接收捕获设备所生成的全景视图数据；以及根据第一传输协议，从捕获设备向客户端设备发送所述全景视图数据，以在客户端设备处监视所述场景。

与本公开的实施例一致，提供了另一种用于基于全景视图监视场景的方法。所述方法可以包括：向捕获设备发送请求，请求发送表示第一全景图像的数据。所述捕获设备可以包括：用于捕获场景的多个捕获单元；以及图像处理单元，用于基于从捕获单元输出的图像数据，实时生成第一全景图像数据。所述方法可以包括：接收第一全景图像数据，并基于所述第一全景图像数据来显示第一全景图像的视图。

与本公开的实施例一致，提供了一种用于基于全景视图来监视场景的系统。所述系统可以包括：捕获设备，用于捕获场景，并实时生成表示全景视图的数据。所述捕获设备可以包括：用于捕获场景的多个捕获单元；以及图像处理单元，用于基于从捕获单元输出的图像数据，实时生成表示全景视图的数据。所述系统可以包括：服务器，被配置为将捕获设备与客户端设备连接，并根据传输协议，通过网络从捕获设备向客户端设备发送全景视图数据，以在客户端设备处显示。

应理解的是，前述的一般描述和以下详细描述均仅是示例性且说明性的，而不对所要求保护的发明构成限制。

附图说明

根据示例性实施例进一步描述本公开描述的方法、系统和/或设备。参照附图详细描述这些示例性实施例。这些实施例是非限制性示例性实施例，其中在附图的视图中，类似的数字表示类似的结构，其中

图1是示出了与本公开一致的用于基于实时生成的表示全景视图的数据来监视场景的系统的示意图；

图2是与本公开一致的操作用于基于全景视图监视场景的系统的流程图；

图3是与本公开一致的用于基于全景视图监视场景的方法的流程图；

图4是与本公开一致的用于基于实时生成的表示全景视图的数据来监视场景的方法的流程图；以及

图5是与本公开一致的用于基于全景视图监视场景的另一方法的流程图。

具体实施方式

现在将详细参照所公开的实施例，其例子图示在附图中。在方便时，在整个附图中使用相同的附图标记来指代相同或类似的部件。

当参照附图考虑以下说明时，本公开的这些和其他特点和特征、以及操作方法和相关的结构元件的功能以及部分的组合和制造的经济性可以变得更加明显，所有附图形成本说明书的一部分。但是，应理解，附图只是用于说明和描述的目的而不意欲作为对发明的限定的定义。如说明书和权利要求书中所使用的，除非上下文清楚地另有说明，否则单数形式“一”、“一个”和“该”包括复数。

如本公开中使用的，“图像”可以指视觉介质，如静止图像或视频帧。“图像数据”可以指表示静止图像、视频流或视频帧的数据。视频的“帧”或“视频帧”可以指一系列静止图像之一，其显示被感知为运动图像。“视频流”可以指用于显示运动图像的一系列视频帧。

与本公开一致，图1示出了用于基于实时生成的表示全景视图的数据来监视场景的系统100。系统100可以包括：捕获设备110，用于捕获场景并生成表示全景视图的数据；客户端设备120，用于访问并控制捕获设备110，并示出所述全景视图；服务器130，用于将捕获设备110与客户端设备120连接，并通过网络140，根据传输协议将全景视图数据从捕获设备110发送至客户端设备120。

捕获设备110可以被配置为仪表盘摄像头、车载摄像头、运动摄像头、监视摄像头、视频会议摄像头等，并且可以包括用于捕获场所的场景的两个或更多个图像捕获单元112。该场所可以包括某一地理位置，并且该场景的内容可以包括该场所下的对象，包括有生命对象和无生命对象。每个捕获单元112可以被配置为捕获场景的一部分，以及捕获单元112可以被配置为使得可以根据所捕获的场景生成表示该场所的全景视图(如，360°视图、360°(水平)×360°(垂直)视图、以及广角视图)的数据。捕获单元112中的一个或多个可以包括与小于要生成的完整全景视图相对应的视场。然而，可以优选最小化或消除捕获设备对于要捕获的场景的盲点。例如，可以在捕获设备110中布置两个捕获单元112，使得每个单元可以捕获场景的实质上不同的部分，以生成全景视图。所生成的全景视图将具有期望的场景覆盖。一个捕获单元112的视场可以与另一捕获单元的视场重叠。

捕获单元112可以包括镜头和图像传感器(未示出)。图像传感器可以包括互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)图像传感器。捕获单元112可以包括附加的光学、电气和/或机械组件，以实现图像捕获并处理图像数据。图像传感器可以被配置为执行成像并输出图像数据，如具有4K像素分辨率的高清静止图像或视频流(例如，超高清(“UHD”)视频流)的数据。

捕获设备110可以包括图像处理单元114，用于处理从捕获单元112输出的图像，包括静止图像或视频帧。捕获单元112可以同时向图像处理单元113输出视频帧集合，图像处理单元114可以同时实时处理所输出的视频帧，作为视频流。因而，从捕获单元112输出的图像可以在捕获设备110处被立即处理(而无需发送至外部处理站点)以生成表示全景视图的数据。

图像处理单元114可以包括拼接器，用于根据从捕获单元112输出的图像生成表示全景视图的数据。该拼接器可以被配置为将静止图像“拼接”(即，组合)为拼接图(mosaic)的至少一部分，以生成具有全景视图的全景图像。例如，拼接器可以被配置为对所输出的静止图像或视频帧执行单应性变换，以生成全景视图。

全景视图可以包括例如由图像处理单元114应用的平面(flat)效果、极面(polar)效果、星球(planet)效果、鱼眼效果和圆形效果。备选地，客户端设备120可以被配置为对从捕获设备110发送的全景视图应用图形效果。可以生成全景视图以由虚拟现实设备显示。

图像处理单元114可以包括图形处理单元和/或电路，用于处理从捕获单元112输出的图像。捕获设备110可以包括用于在片上系统(“SoC”)上处理图像的电路。例如，图像处理单元114可以被配置为对由输出的视频帧拼接的全景图像进行“畸变校正(de-warp)”(即，降低该全景图像的失真)，以生成平面全景视图。

图像处理单元114可以被配置为基于一组识别规则来分析图像或全景视图。识别规则可以被预编程和/或由用户定义，并存储在捕获设备110的数据库中。识别规则可以包括从捕获单元112所输出的图像或所生成的全景视图，检测特定对象、环境属性和/或某种信息的存在、不存在或其状态或情形的改变。例如，识别规则可以包括面部识别、车牌识别、闯入者检测、QR码识别、以及对根据所捕获的内容分析的信息的其他识别。

图像处理单元114可以包括用于执行识别的运动检测器。运动检测器可以被配置为在全景视图上标记所识别的全景视图内容。

捕获单元112可以被配置为：与捕获设备110中的本地时钟同步地开始、暂停和停止成像，如记录视频。可以给诸如视频帧之类的图像加时间戳，以跟踪该记录或用于后续处理。图像处理单元114可以被配置为经由高速接口从捕获单元112直接接收图像。

图像处理单元114可以被配置为响应于用户动作来处理全景视图，以模拟PTZ移动。例如，图像处理单元114可以处理全景视图以模拟摇摄或倾斜摄，从而对应于手指在客户端设备120的屏幕上示出的全景图像上的滑动。例如，用户的抓捏动作可以使图像处理单元114执行例如数字缩放。备选地，PTZ移动的模拟可以在客户端设备120处执行。

捕获设备110可以被配置为对在全景视图上选择关注区(“ROI”)做出响应。例如，查看在客户端设备120的屏幕上显示的全景视图的用户可以通过敲击全景图像上的屏幕来选择ROI，与敲击所在位置相关联的图像区域可以构成ROI。捕获设备110的图像处理单元114可以接收从客户端设备120发送的承载ROI选择信息的信号，并例如通过放大ROI、重新处理全景视图的与ROI相对应的部分、或重新处理全景视图的不与ROI相对应的部分来响应该信号。网络接口116可以被配置为向客户端设备120发送仅与ROI相对应的图像数据。备选地，可以配置为比ROI图像数据的比特速率低的比特速率，向客户端设备120发送非ROI图像数据，如与ROI外部的区域相对应的图像数据。

图像处理单元114可以被配置为对被捕获图像的内容进行编码。具体地，图像处理单元114可以被配置为将全景图像压缩为不同的质量或比特速率，该不同的质量或比特速率可以是用户指定给捕获设备110的，或基于所使用的特定传输协议而适配的。可以基于硬件限制、软件限制、网络限制、传输协议限制、和/或用户要求来选择压缩。

捕获设备110可以包括用于存储由图像处理单元114生成的全景图像的存储设备。该存储设备可以包括与捕获设备110连接的存储器设备。客户端设备120和/或服务器130可以包括用于存储从捕获设备110发送的全景图像的存储器设备。

捕获设备110可以包括因特网协议(“IP”)摄像头、或能够与客户端设备120和服务器130通信的摄像头。因而，捕获设备110可以包括以有线和/或无线配置与网络连接的网络接口116。网络接口116可以被配置为建立与客户端设备120和服务器130的连接，并通过网络140向客户端设备120和服务器130发送可以包括全景视图的图像。网络140可以包括有线和/或无线网络，以及网络接口116可以被配置为同时与有线网络和无线网络连接。网络接口116可以被配置为通过有线网络发送图像数据，同时通过无线网络接收并发送非图像数据，如从客户端设备120接收的命令和从捕获设备110向客户端设备120发送的状态信号。

客户端设备120可以包括智能电话、平板电脑、PC、虚拟现实设备和与捕获设备110和服务器130通信的其他个人或移动电子设备。客户端设备120可以包括软件应用，用于例如通过指示捕获设备110将表示全景视图的数据从捕获设备110发送至客户端设备120，访问并控制捕获设备110。客户端设备120可以被配置为允许用户例如识别捕获设备110，开始、暂停和停止捕获设备110捕获场景，开始从捕获设备110向客户端设备120或服务器130传输表示全景视图的数据，以及通过广播全景视频流将全景视图与其他设备共享。

客户端设备120可以提供一组物理和/或虚拟控件，允许用户选择针对捕获设备110的某种操作，如前述动作中的一个或多个。用户可以通过客户端设备120的接收触觉输入、机械输入、电输入、语音输入和/或其他感官输入的接口，访问并控制捕获设备110。客户端设备120可以是移动的，并且可以允许用户基于发送至客户端设备120并显示在客户端设备120上的全景视图来远程监视场景。

客户端设备可以被配置为接收对ROI的选择，并指示捕获设备110响应于对ROI的选择。通过实时选择ROI，捕获设备110可以被配置为例如立即对选择做出响应，并生成表示更新后的全景视图的数据。

客户端设备120可以包括用于示出从捕获设备110发送的全景视图的显示设备。客户端设备120可以被配置为提供关于全景视图的信息，以帮助用户识别该视图和/或视图的内容。显示全景视图和/或提供关于全景视图的附加信息可以允许用户实时监视所捕获的场景。客户端设备120可以被配置为访问先前生成的全景图像，以便非实时查看。

客户端设备120可以被配置为促进与捕获设备110的设备配对。例如客户端设备120可以被配置为允许用户创建用户账户，登录用户账户，识别并注册捕获设备110，并将捕获设备110与用户账户配对。

客户端设备120可以被配置为向提供设备注册的服务注册用户账户。这种服务可以由服务器130、或与服务器130通信的另一服务器提供。经由客户端设备120，可以向已经注册有客户端设备120的同一服务注册捕获设备110。可以通过捕获设备110或客户端设备120向设备注册服务或服务器130发送与客户端设备120和用户账户之间的设备配对有关的信息。

服务器130可以被配置为根据捕获设备110或客户端设备120的请求，在捕获设备110与客户端设备120之间建立连接。服务器130可以被配置为采用传输协议以实现从捕获设备110到客户端设备120的全景图像的传输或流传输。为了实时监视的目的，可以优选确保低时延的传输协议。在其他情况下，可以优选提供广播功能的传输协议，以将全景图像发送给若干终端设备，包括诸如智能电话、计算机之类的客户端设备和在那些设备上的诸如网页之类的应用或其他软件应用。

服务器130可以被配置为在捕获设备110与客户端设备120之间提供直接连接，使得全景图像可以从捕获设备110直接发送至客户端设备120。服务器130也可以被配置为在捕获设备110与客户端设备120之间提供间接连接，使得可以首先将全景图像发送至服务器130，然后从服务器130发送至客户端设备120。例如，服务器130可以包括实时传输协议(“RTP”)、实时流协议(“RTSP”)、实时消息收发协议(“RTMP”)、对等(“P2P”)协议、或其他类似传输协议、或其变体。

捕获设备110与客户端设备120之间的连接的建立和/或表示全景视图的数据的传输可以是基于事件的。捕获设备110可以例如通过检测所捕获的场景中的对象、或通过检测环境属性来确定是否发生了特定事件，并且如果发生了事件，则请求服务器130提供与客户端设备120的连接。同样，客户端设备120可以在发生用户触发事件(例如启动在客户端设备120处进行监视的应用)时，请求与捕获设备110的连接。

服务器130可以被配置为基于在捕获设备110处确定所捕获的场景，向客户端设备120发出警报，以通知可能已经发生的特定事件。可以将表示所捕获的场景的全景视图的数据作为警告的一部分或与警告一起实时发送给客户端设备。该警告可以包括全景视图的视频流。这种“视频警告”也可以通过捕获设备110直接警告客户端设备120。例如，可以从捕获设备110直接向客户端设备120发送警告，同时表示全景视图的数据从捕获设备110到客户端设备120的传输可以遵循用于传输的特定传输协议的规则。

服务器130可以被配置为连续地从捕获设备110接收图像数据，包括构成全景图像的数据。例如，捕获设备110可以被配置为全天候或长期地记录场景，并向服务器130连续发送基于所记录的视频数据生成的全景视频以进行存储。所存储的全景视频可以排序成列表，并表示记录历史，并且可以从列表中选择全景视频以传输给客户端设备120进行查看。关于存储视频，服务器130可以被配置为提供客户端设备120可以访问的云存储或云服务。服务器130可以被配置为在捕获设备110和/或客户端设备120可以本地存储全景图像时存储所述全景图像的备份拷贝。

服务器130可以被配置为处理从捕获设备110发送的图像数据。例如，服务器130可以被配置为处理从捕获设备110发送的全景视频，以进行图形处理或广播，或被配置为向视频提供附加信息。服务器130可以被配置为对全景图像执行专用和/或定制化图形处理，并向客户端设备120和/或其他终端设备发送“处理后的”全景图像。

如上所述，服务器130可以被配置为从客户端设备120注册用户账户。服务器130可以被配置为基于用户账户、捕获设备110和/或客户端设备120的信息，对从其他终端设备访问捕获设备110的请求进行认证。服务器130可以包括用于存储配对信息、注册信息、账户信息、设备信息、访问信息和传输记录的数据库。

服务器130可以包括被配置为与本公开一致的虚拟机。

现在参照图2，图2示出了描绘用于操作基于实时生成的表示全景视图的数据来监视场景的系统的示例性方法200。方法200可以使用系统100或其部分实现。应注意，本公开不限于以下描述的方法200中的步骤的顺序。与本公开一致，对基于实时生成的表示全景视图的数据来监视场景的系统的操作可以具有比方法200少或多的步骤，并且可以具有与方法200不同的步骤顺序。

在步骤201，用户使用客户端设备在服务器处创建用户账户。用户可以使用在客户端设备上运行的软件应用来创建用户账户。软件应用可以被配置为向服务器发送用户信息以创建用户账户。服务器可以被配置为在服务器的数据库中注册用户账户，并且也可以在数据库中与用户账户一起注册客户端设备。

在步骤202，用户使用客户端设备将捕获设备与服务器连接。捕获设备需要设立(包括建立)与服务器的连接。用户可以使用客户端设备生成QR码并在客户端设备的屏幕上显示该QR码。该QR码可以嵌入网络的接入码。捕获设备可以被配置为捕获客户端设备显示的QR码，并接入网络与服务器连接。捕获设备可以被配置为：一旦捕获设备接入了网络，就建立与服务器的连接。

在步骤203，服务器将捕获设备与用户账户配对。为了与用户账户配对，捕获设备可以被配置为将关于捕获设备的信息与账户信息一起上传至服务器，以及服务器可以被配置为基于从捕获设备接收的请求和信息，将捕获设备与用户账户配对。

在步骤204，服务器基于传输协议，提供捕获设备与客户端设备之间的连接。服务器可以被配置为提供捕获设备与客户端设备之间的连接，以实现将在捕获设备端实时生成的表示全景视图的数据基于传输协议传输至客户端设备。此外，服务器可以被配置为提供广播服务，以使在捕获设备端实时生成的数据所表示的全景视图能够基于传输协议发送至多个终端设备。

在步骤205，用户使用客户端设备访问并控制捕获设备。客户端设备可以向捕获设备发送用户输入的指令。该指令可以通过WiFi网络或因特网发送。例如，用户可以指示捕获设备开始或停止捕获场景，发送表示被捕获场景的全景视图的数据，选择ROI，发送与ROI相对应的视频数据等。

在步骤206，捕获设备捕获场景，并实时生成表示全景视图的数据。捕获设备的多个捕获单元可以开始捕获场景，并且捕获设备的图像处理单元可以基于从捕获单元输出的视频实时生成具有全景视图的全景视频。

在步骤207，捕获设备向服务器或客户端设备发送全景视图数据。取决于用户偏好和服务器所采用的传输协议，可以将在捕获设备处实时生成的表示全景视图的数据发送至客户端设备以显示为全景视图，和/或发送至服务器进行存储或广播至多个终端设备。用户可以查看客户端设备上的全景视图，以监视场景。

现在参照图3，图3示出了基于全景视图监视场景的方法300的流程图。方法300可以基于图2所示的流程图或其一部分实现。方法300可以使用系统100及其一部分实现。在步骤301，提供具有多个捕获单元的捕获设备用于捕获场景。捕获单元可以被配置为捕获场景。场景可以通过同时操作的捕获单元捕获。每个捕获单元可以被配置为捕获与要生成的全景视图相对应的场景的一部分。

在步骤302，通过捕获设备，基于由捕获单元输出的诸如构成视频帧的图像数据之类的图像数据，实时生成表示全景视图的数据。可以通过捕获设备的图像处理单元来拼接所输出的视频帧，以实时生成表示全景视图的数据。

在步骤303，全景视图数据从捕获设备发送至客户端设备，以显示为全景视图。全景视图数据可以基于传输协议发送。可以通过采用该传输协议的服务器来提供全景视图数据至客户端设备的发送。全景视图可以显示在客户端设备的屏幕上进行监视。

在方法300中，捕获设备可以通过基于对显示在客户端设备上的全景视图上的ROI的选择向客户端设备发送表示更新的全景视图的数据，对该ROI的选择做出响应。更新的全景视图数据的发送可以包括：仅发送与该ROI相对应的视频数据。可以不向客户端设备发送、或者可以以低比特速率向客户端设备发送与ROI之外的区域相对应的视频数据。

现在参照图4，图4示出了基于实时生成的表示全景视图的数据来监视场景的方法400的流程图。方法400可以基于图2所示的流程图或其一部分实现。方法400可以使用系统100及其一部分实现。在步骤401，服务器与捕获设备建立第一连接，所述捕获设备具有：多个捕获单元，用于捕获场景；以及图像处理单元，用于基于捕获单元输出的图像数据，实时生成表示全景视图的数据。

在步骤402，服务器建立与客户端设备的第二连接，用于接收捕获设备所生成的表示全景视图的数据。

在步骤403，服务器提供第一传输协议，以使得能够将表示全景视图的数据从捕获设备发送至客户端设备，以在客户端设备处监视。全景视图数据可以通过图像处理单元基于由捕获单元输出的图像数据来生成。

在步骤404，服务器提供第二传输协议，以使捕获设备生成的全景视图数据能够发送到多个终端设备以便查看。

在方法400中，服务器可以存储具有由捕获设备生成的全景视图的视频。服务器可以向客户端设备和/或其他终端设备提供由捕获设备先前生成的全景视频。

现在参照图5，图5示出了基于全景视图来监视场景的方法500的流程图。方法500可以基于图2所示的流程图或其一部分实现。方法500可以使用系统100及其一部分实现。在步骤501，客户端设备将发送全景图像的请求发送至捕获设备。全景图像可以包括全景静态图像或全景视频流。捕获设备可以包括用于捕获场景的多个捕获单元和用于基于捕获单元所输出的图像数据来实时生成表示全景视图的数据的图像处理单元。

在步骤502，客户端设备接收由捕获设备实时生成的表示第一全景图像的数据。

在步骤503，客户端设备基于第一全景图像数据，显示第一全景图像的视图。

在步骤504，客户端设备接收选择第一全景图像上的ROI的输入。

在步骤505，客户端设备向捕获设备发送关于选择ROI的信息。

在步骤506，客户端设备基于对ROI的选择，接收由捕获设备实时生成的表示第二全景图像的数据。

在步骤507，客户端设备基于第二全景图像数据，显示第二全景图像的视图。

在方法500中，客户端设备可以对第一或第二全景图像的视图提供应用平面效果、极面效果、星球效果、鱼眼效果和圆形效果的选项。

虽然在此描述了说明性实施例，但基于本公开本领域技术人员将理解，任意或所有实施例的范围具有等同元素、更改、省略、组合(例如多种实施例交叉的方案)、适配和/或改变。权利要求中的要素要基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中描述的或本申请审查期间的例子，这些例子应当解读为非排他的。此外，所公开的方法中的步骤可用任何方式修改，包括对步骤重新排序或插入或删除步骤。因此，说明书和例子仅旨在示例，而真实范围和精神由随附的权利要求及其等同的全部范围来表示。