一种管理和分析多媒体信息的系统和方法

一种管理和分析多媒体信息的系统和方法
【专利摘要】本发明提出了一种无人机数据处理和管理系统，其包括编码广播设备和数据管理器，该系统向终端用户提供单独的接口，用于从任何设备搜索和共享任何视频或图像资源，而不需要客户端软件。资源的数据输入可包括无人机视频、照片、交通摄像头、固定监视系统、iOS和安卓设备图片，以及其它数据(如文本、电子邮件)，还包括来自所有形式的社交媒体比如Twitter、Instagram、Facebook等的输入。基于云的管理器有协作和共享思想的功能，但同时还具有数据保密、安全性保护、监管链控制和审计记录维护。分析工具被相应地集成为“插件”或可用的应用程序资源库，其很容易被删除，添加，以及基于用户需求、系统要求和成本限制进行自定义。
【专利说明】
_种管理和分析多媒体信息的系统和方法
技术领域
[0001]本发明涉及用于连接互联网和移动网络的无人机集成硬件和软件系统。本发明包括无人机编码流装置、软件系统和接口，终端用户可通过该接口搜索来自各种孤立来源的视频和照片馈送的地理信息，从而进行直接的数据访问并且很容易地建立对诸如规则应用、时间轴构建、监管链和其它各种参数的分析。
【背景技术】
[0002]本发明来源于涉及了对用于电影制片厂的全运动视频(FMV)和无人机(UAV)的资产管理项目。关于无人机的一些问题，与指挥链、监管链和审计数据等问题有关。
[0003]源自无人机的动态数据流通常需要进行管理。目前对于来自无人机和其它类型远程传感器的商业视频和图像，缺乏面向消费者的融合和管理系统。前述传感器的范围可从最复杂的无人机视频流到使用苹果或安卓手机拍摄并发布在互联网上的照片。其它传感器的例子包括舰载传感器、闭路电视、水下航行器、仪表盘摄像头、可穿戴相机、建筑物或者家庭安全传感器以及Twitter、Instagram、Facebook和智能手机的传感器数据等等。
[0004]对于集成系统而言更进一步的需要是，使用低成本的硬件和软件来实现此类管理功能的方法。
[0005]对构成本发明的硬件设备的设计目标是接受各种类型的视频格式，包括HDM1、SD1、模拟、数字、分量或复合信号，以便生成可供在网站上观看的标准h.264或WebM馈送的信息。此外，本发明的硬件能够存档具有密钥长度值(KLV)元数据的运动图像标准配置文件(MISP)传输流。
[0006]此外，还需要提供一个有内置GPS功能的系统，该系统具有附加的GPS定位元件，以使终端用户可以通过其视频文档来搜索，并且例如，不仅可以看到传感器在看何处，还可以看到平台传感器在何时何地被导航通过目标位置，以及传感器从何处过来。另外，还需要提供一个有灵活存档功能的系统，该系统使用标准的存储设备，比如SD存储卡。
[0007]因此，本发明提供了一种能够提供数小时的视频和其它数据传感器存储能力的存档。例如，在移动4G或者LTE不可用的情况下，该系统将提供一个通过内置的数据管理和分析工具将被存档的数据上传的一键上传选项。该系统还包括内置WiFi和以太网功能，用于加快本地共享和广域网络互联。
[0008]本发明的硬件组件也可被加固，并且可以有蓄电能力以便于在远离电源时进行远程操作。
[0009]此外，形成本发明一部分的软件系统被设计成用于部分地解决图1中强调的问题。
[0010]图1是一个犯罪现场的航拍图，其中原来停在一栋建筑旁边的拖车101被偷了。而警察不知道它是何时或如何被偷的。警察没有任何数据的原因是，他们没有得到相关的安全摄像头信息。这些数据并未起到作用，相反陷入了如图2所示的各种数据孤岛中。
[0011 ]特别地，在图2中，拖车目标可视区域1I有至少十个潜在的摄像头的馈送源401 -410，所有这些馈送源本应在警方报告进入系统时已经被整合，并在警官的“手头”上作为调查资源随时可用于协助追捕拖车窃贼。
[0012]解锁孤立信息资源的一种方法是给终端用户提供一个集成接口，这与以方便的方式收集互联网数据有很大的相同之处。这样的结果是，输入信息或者无人机视频之类的内容能以用户友好的方式被查看、分析和存储。
[0013]本发明上述的以及其它的目标、特征和优势，将在对后序的如附图所示的示例性实施方式的具体描述中体现得更加明显，其中相同的参考序号通常代表本发明中相同的部分或者相同的示例性实施方式。
【附图说明】
[0014]图1是显示被盗车辆位置的航拍图；
[0015]图2是显示被盗车辆附近孤立的摄像机位置的航拍图；
[0016]图3是本发明原理的流程框图；
[0017]图4是编码广播设备330的电路图；
[0018]图5是连同管理器350—起使用的知情决策环(informed decis1n loop)的流程图；
[0019]图6是在本发明中使用的使用设置功能(usesetting funct1n)的相机区域的一个示例；
[0020]图7是包括管理器350的单元的流程框图；
[0021]图8显示了如与无人机系统(UAS)地面站320相关地部署的本发明提供的改进；
[0022]图9显示了伦敦恐怖袭击爆炸的地图定位；
[0023]图10是由执行了管理器350功能的集成服务器产生的图形用户界面的互联网页面的屏幕截图(以下简称“屏幕截图”);
[0024]图11是一个显示来自事件墙(eventwall)的数据类型的图形用户界面的屏幕截图；
[0025]图12是图形用户界面提醒设置功能的屏幕截图；
[0026]图13是管理器350的地图成像特征的屏幕截图；
[0027]图14是另一个任务的消息发布的图形用户界面屏幕截图；
[0028]图15是一个显示搜索结果的扩展地图的图形用户界面屏幕截图；
[0029]图16是一个通过用户描述的、在图15的地图上的指定区域的图形用户界面屏幕截图；
[0030]图17是另一个街区地图搜索的图形用户界面屏幕截图；
[0031]图18是一个目标侦查请求(TOR)任务的图形用户界面屏幕截图；
[0032]图19是更加详细地描绘了TOR特征的图形用户界面屏幕截图；
[0033]图20是描绘管理器350的视频播放功能的图形用户界面屏幕截图；
[0034]图21是传感器标签的详细操作的图形用户界面屏幕截图；
[0035]图22是地图标签功能的图形用户界面屏幕截图；
[0036]图23是显示地图标签功能进一步操作的图形用户界面屏幕截图；
[0037]图24是提醒/聊天标签功能的图形用户界面屏幕截图；
[0038]图25是视频播放器播放目录标签功能的图形用户界面屏幕截图；
[0039]图26是管理器时间轴功能的图形用户界面屏幕截图；
[0040]图27是所构建的时间轴图像的图形用户界面屏幕截图；
[0041]图28是来自位于时间顺序图上的证据锁定区的图形用户界面屏幕截图；
[0042]图29是以一次系列爆炸为例的时间轴功能的图形用户界面屏幕截图；
[0043]图30是更详细的时间轴功能的图形用户界面屏幕截图。
【具体实施方式】
[0044]图3是本发明的系统300的单元的流程框图。如图所示，系统300接收各种输入312，其中包括来自无人机310的输入。传感器数据312包括标准和/或非标准格式的遥感数据以及模拟或者数字的视频。除了无人机，输入312还可以包括社交媒体馈送、移动设备数据、图像或其它传感器数据。无人机系统(UAS)地面站320接收无人机载荷312，并反过来把视频和传感器数据320输出到具有存储能力的视频编码广播设备330。关于该编码广播设备330的设计和功能的更多细节如图4所示。在工作时，编码器/广播设备以同步或异步的传感器数据/遥感数据和视频322的形式，接收来自无人机系统地面站320的视频馈送322。然后单元330对模拟视频信号进行编码，和/或将数字视频信号转码为与运动图像标准配置文件(MISP)兼容的数据流。与MISP兼容的数据流还通过编码器被嵌入KLV元数据。
[0045]编码广播设备330执行三个同时的操作。首先，其把经过编码的直播视频根据分析通过WiFi或以太网连接338传输到本地数据缓存340。本地缓存340可依用户选择，根据关联分析342按顺序存储经过编码的直播数据。
[0046]第二步，本地缓存340向浏览器346和/或一个或多个移动设备348提供数据访问、分析或其它使用。编码器/广播设备330通过蜂窝数据链路332向云或其它设备350传输直播视频。在优选实施例中，蜂窝数据链路将被加密。
[0047]第三步，编码器/广播设备330通过链路325把更高质量版本的视频/数据馈送流入或写入内部存储设备，目的是提高通过云存储的上传质量，例如长期存储存档352。存档数据也可以向本地缓存342或原始内容传输网络(CDN)354和/或远程⑶N 360的内存提供数据。
[0048]被编码广播的直播馈送332或存档的编码内容334可供在原始⑶N354或者任何其它本地或远程⑶N 340或者360上的任何视频处理应用或工具使用。在优选实施例中，视频数据被提供给视频和传感器数据管理器350，其中传感器数据管理器350在位于云355的原始⑶N 354的集成服务器上操作，其包括分析功能，以及通过一个基于网页的接口的一键上传的操作功能。
[0049]最后，现有线路传输或互联网络可以与基于云的管理器350交互，执行本地操作；例如，可以通过一个远程操作中心360实现操作。数据可以被存储362，或通过浏览器传递给适当的工作站或服务器364，或被传递给一个或多个移动单元366。
[0050]图4是一个编码器/广播设备330的电路布局图。主信号处理器DSP420连接到输入信道，以便经由视频多路复用器芯片432接收HDMI数据430、432，经由模块480接收GPS和蜂窝数据470，以及通过WiFi模块490接收WiFi输入信号。SDI和HDMI音频通过立体音频编解码器462和音频多路复用器芯片460进行处理。音频输入流主要用于监听无人机发动机噪声，但其可以用于其它应用(例如船马达噪声，水下航行器螺旋桨噪声；以及来自移动设备的用户聊天)C3DSP处理器420通过成对的总线427和429分别与DDR-RAM芯片426和428相连接。此外，DSP由现场可编程门阵列(FPGA)440控制，FPGA 440执行动态编码/解码、数据存档和信号分包和封装等逻辑功能。
[0051 ] 视频编码特性包括单通道HD和SD编码。对于HD，编码器处理HD-SDI，HDMI和VGA格式以及HDMI直通。SD输入包括复合模拟(NTSC/PAL)和SD-SDI。编码器产生一个传输流(美国国家地理空间情报局(NGA)认可的MISP格式)和一个基本码流(H.264)。直播的基本码流，其经由加密的蜂窝数据连接332，被接近实时地传输到互联网云355(图3)。编码器350还通过WiFi或以太网338(图3)，接近实时地把直播基本码流传输给本地用户。在324(图3)，编码器把使用256位AES加密的高质量(全分辨率的元数据)传输流以NGA认可的MISP格式存档，并且是存档到SD卡422(与转换器424—起)JD卡是可移动的，因此存档内容能够随后再向视频传感器管理器350或者向所希望的其它地方发布。
[0052]因此，编码器/广播设备330避免了现有系统的很多弊端。
[0053]如图8右侧所示，应急车辆810不需要停在附近，因为编码器/广播设备330不需要发电机820供电(图8左侧所示指明了没有编码器330的系统)。同样也不需要部署一个配备有典型无人机组件的设备车830，如配备遥控潜水器(ROV)、地面机器人、地面站、网络交换机、无线接入点和高清电视(HDTV)等，所有这些都必须连接电源820。编码器/广播设备330解决的另一个缺陷是提供连接，因为通常没有办法把视频从地面站320传输到一些需要用到的地方，例如卡车810、设备车830或者云355(不连通以虚线840代表)。
[0054]相比之下，如图8右侧所示，编码器/广播设备330通过互联网云355为所有经过身份验证的用户842、844提供直播视频访问，不管用户在什么位置。这样，远程计算机用户844可以通过云355访问视频。手机用户842可以从云或者从WiFi 338或366直接访问视频，只要其距离近得足以位于WiFi热点区域内即可。而且，用户可以访问活动视频和直播视频。
[0055]现在将根据图5详细描述管理器350的一些操作。
[0056]管理器350向用户，如应急响应人员，提供支持知情决策环50的协作工具、报告和工作流程。这些用户通常在事件开始52后登录，经过登录步骤54，用户身份验证56，并且依照系统级别权限和策略60获得用户数据访问授权58。这些步骤能够使用对于具有一般技能的人而言可用的操作流程和工具来完成。
[0057]然后，经过授权的用户被询问关于任务类型62的问题，如果他们的回答是“否”，则他们要选择任务64。随后用户进入决策环50。
[0058]应急响应是一种协作性和交互性的活动。新信息不断进入。个人和团队不断地分析信息并与他人共享分析结果。接收新信息和分析结果的人对其做出响应，这些响应又可能触发新的信息和其它的响应。在这种连续不断的循环中的每时每刻，团队和个人使用管理器350保持知情并且沟通新的信息。这发生在知情决策环50内部。该决策环包括搜索内容(asset)/发布的信息72，发布提醒或提醒内容74，创建一个供他人浏览的信息发布76，评论别人发布的信息78，以及上传内容80。个人也可以浏览被发布的信息/内容84，标记感兴趣的项目86，浏览感兴趣的项目88以及通过图形用户界面(GUI)聊天90。个人根据一些选项决定下一步行动。通过这一行动使得他们或其它人得知更多情况，并促使其做出额外的决策和额外的行动。
[0059]图6显示了确定摄像机视野120的方法，该方法构成了基于位置搜索固定摄像机的基础。
[0060]在通过管理器350控制的摄像机登记过程中，摄像机和在摄像机视野120中的一定数量的固定物体的GPS坐标将被采集。如图6所示，多个对象121-128被登记到摄像机视野120中。采集到的坐标121-128被馈送至一算法，该算法在每个摄像机相应的视野120中创建了一个可计算的GPS坐标“网格”。系统将拥有所有经过登记的摄像机所能看到的数据，而固定摄像机/闭路电视系统知道时间，在将两者结合后，用户可以根据时间和地点搜索数据，而系统将只搜索相关的摄像机记录。
[0061]图7是示出了管理器350的单元的流程框图。每个单元可包括独立的功能单元(如专用处理器)，或安装在作为互联网上的原始内容传输网络CDN—部分的集成服务器354上的软件模块。如图3所示，集成服务器可以作为公共的或私有的云网络355的一部分，本地和远程用户都可以像在传统场景中所知的那样去访问它。下面进一步描述管理器350的其它操作。
[0062]终端用户接入他们的远程移动设备366，就发生在他们附近的事件710进行通信。在这个情况下，本区域内的应急响应人员捕获了火灾710的照片，则该应急响应人员把文本、图像或视频通过互联网或他们的手机网络380提交给管理器350。提交的消息以安全的SSL加密的JSON格式，作为从应急响应人员的移动客户端366到应用程序编程接口API 720的呼叫，被管理器350接收。然后，接收到的输入要通过管理器的所有适用策略的验证。在本实施例中，这些策略包括身份验证732和授权734。身份验证和授权可使用通用的用户模型或用户配置文件736。用户模型检索来自存储器352的数据以便加载用户属性，身份验证732和授权734策略可使用这些用户属性来允许或拒绝访问和行为。这些策略可以反映一些准贝1J，例如医院设备的健康保险流通与责任法案(HIPAA)的要求，警务安全，军事安全和公司安全，消防部门或其它应急响应部门的准则，等等。
[0063]到达这一点的所有操作和所有后续操作，被建模为日志738的实例，并被保存到存储器352。在通过所有策略730的验证后，管理器360开始把接收应急响应人员所提交事件的操作交给控制器740。具体地，控制器740通过各种模式加载和保存信息。在这种情况下，应急响应人员发布消息的行为已经自动创建了消息发布742、事件744、视频746、位置750和内容748，以及众多的日志738实例。这些模型实例中的一些与应急响应人员的用户736实例，以及用户当前所在团队752、任务754和位置756相关的实例相关联。所有这些都作为新的文档或文件或文件夹被保存到存储器352，每个模型存一个文档。每个模型实例中还保存了关联，其中包括关联的双方。此外，控制器740产生消息381，并发送给所有订阅了任一模型实例的客户端。这些操作通过使用TCP/IP套接字的加密通信经过互联网380进行，或在本地338进行。
[0064]举例来说，客户端收到一个或多个模型变动的通知后，将更新他们的用户经验设置(UX)，以显示与变更后的模型相关的新信息。他们通过使用对报告服务的安全HTTP调用来完成这一操作，如在传统技术中所知的那样，进行客户端设备上的用户经验设置显示。在这个示例中，操作中心的工作人员看到了从应急响应人员的移动设备366发布的消息。工作人员把这条新消息标记为高优先级的提醒。这一举动通过互联网380或本地网络338将消息383发送回管理器350。这条消息要经过如上所述的所有必需的策略检查730。在通过策略检查后，控制器740开始实施提醒。提醒模型758的实例被创建，并与应急响应人员366创建的消息发布实例相关联。这被保存到存储器352。通知实例760也被创建。最后，订阅了提醒758或者通知760的客户端会收到通知，并相应地更新他们的用户经验设置，并且该应急响应人员366也会看到关于提醒758的通知。聚合是任意组的模型实例。这些聚合可以用来汇集不同的视频、图片、消息提醒等用于任何用途。聚合770可被设定为可更新的，也可被设定为不可更新的。不可更新的聚合770可以接受添加新的模型实例。一旦添加，这些实例将连同所有访问的记录和实例所有的先前版本一起，被复制到聚合770。复制的数据是永久的，不会再发生改变。模型实例一旦被复制到聚合770，就不能被删除。因此，不可更新的聚合可以用来保存证据的监管链。
[0065]分析模型的实例表示对其它模型实例进行二次分析的结果。例如，一个面部识别分析服务可以分析与多个视频模型实例相关的视频数据。对于可以识别出某张脸的每个视频模型实例，分析服务可保存涉及该视频模型实例的相应分析模型实例。另外，其还可以保存一个分析模型实例，作为其操作和参数的记录。链路模型实例被用来记录一个网络通用资源标识符(URI)的位置，例如twitter上一个消息发布的位置。
[0066]现在，在图9中描述管理器系统350的优势。如前面结合图2所述，当警察开始调查被盗的拖车时，他们在失盗地点附近发现了多个摄像机源401-410。然而，这些管理器源的数据的存储方式使其非常难以被访问和使用。
[0067]首先，大量的数据被记录在磁带或者驻留在每个摄像机的专用数字视频记录仪(DVR)的内存中。因此，获取此类数据本身就需要花费大量的时间去收集，因为其涉及到获取物理存在的每个磁带或者DVR单元。
[0068]其次，不使用耗时的模拟-数字转换，这些数据就不能与软件分析工具整合到一起。此外，这些存储格式不允许地理空间搜索，因为很大一部分数据缺乏遥感信息。
[0069]图9显示了需要该系统的另一个例子，其与2005年7月7日的伦敦公共汽车爆炸案有关。即使当时YouTube已经是可用的网络资源，但是调查人员仍不能使用监视或摄像数据进行监控。这是因为YouTube仅限于视频输入，其数据不可搜索，而且其不能处理直播馈送内容。相反，图9重建了伦敦爆炸案，包括事件涉及的背包(如2013年波士顿马拉松爆炸案)。然而，伦敦调查人员为了重建数据视频记录，不得不拿来全伦敦的硬盘。
[0070]由于伦敦爆炸案和其它像波士顿马拉松爆炸案一样的悲剧，不仅对如图4所示的数据编码器有明显的需求，而且对可以把所有的数据源按“故事主线”的前后关系自动整合的基于软件的管理器也有很大的需求。此外，还有对驻于互联网云中的有序资源的需求，以便不同的用户可以迅速快捷地访问这些数据。不像当时的伦敦，现在所有这些基础设施都已存在，并且可以快速访问，这在波士顿马拉松爆炸案中已得到证实。
[0071]此外，还需要一个单独的接口，其用于从任何设备搜索和共享任何视频或图像资源，而不需要客户端软件。这些资源的数据输入可以包括无人机视频、照片、交通摄像头、固定监视系统、1S和安卓设备图片，以及其它数据(如文本、电子邮件)，还包括来自所有形式的社交媒体比如Twitter、Instagram、Facebook等的输入。
[0072]基于云的管理器350(图3)有协作和共享思想的功能，但同时还具有数据保密、安全性保护、监管链控制和审计记录维护。分析工具被相应地集成为“插件”或可用的应用程序资源库，其很容易被删除，添加，以及基于用户需求、系统要求和成本限制进行自定义。
[0073]目前基于云的管理器350允许访问数据块，并且包括被适当保护的私有数据。可以使用一组适当的规则对数据进行动态监测。例如，可以把各种区域性的隐私法则应用于地理空间映射的无人机输入流，从而使得能够动态地改变访问权限，比如当无人机摄像头经过州或国家边界时。由于其地理映射和数据协调能力，系统创建了一个用户友好的方式来定义各种规则和法律。
[0074]虽然该管理器是规则无关的，但其提供了应用程序编程接口，对于例如警察、国家安全机构或有特殊保密需要的商业客户(例如，HIPAA法案下有关病人隐私的急救系统)这样的用户，可以由用户设置保密、监管链和审计规则。
[0075]例如，存在新的非军事无人机数据的市场。最近，美国联邦航空管理局允许无人机在美国上空飞行。无人机输出的数据可以为本发明提供重要的资源。如前面在图3中指出的那样，本发明330可以处理固定监测数据、twitter数据以及1S或安卓设备输出的数据。但无人机数据更引人注目，因为目前还没有用于无人机数据的商业平台。通过创建无人机数据管理、监控和分析平台350，重要数据可以传递到互联网云，这会大大降低人力资源管理的需求。顾名思义，本发明使用可用的技术解决了大数据问题，使得用户可以有效地筛选大量的数据，并可以很容易地把许多可用的分析工具应用于数据。换言之，有太多的信息等同于没有足够的信息。目前的系统会被数据淹没。实时监测的分析变得繁琐费时，并且阻碍了调查和行动的及时进行。
[0076]仅在美国，无人机每年产生的视频数据如果连续观看的话，需要看24年。而且，更新的无人机模型预计产生的信息将会是2012年的三十倍。
[0077]此外，新的无人机资源必然产生安全问题。数据保密、保护、监管链(共享的)、静止数据、传输中数据一一所有这些都有不同的审计需求和法律后果。由于大量的法律问题，一些无人机用户只是简单地不去记录数据。对于这些用户，无人机，作为一个数据来源，就成为无效的了。例如，一些用户担心无人机数据会成为证据，并有可能导致“毒害” 一个案件；根据信息自由法(FOIA)的要求还需要审计。目前，用户甚至不能确定无人机是否设置为“不记录”模式。
[0078]帮助解决这些法律挑战的市场是巨大的。用户包括应急响应人员、精细农业、效用检验、房地产、建筑、保护区管理、交通基础设施，以及安全和治安等等。
[0079]目前有很多此类应用程序，但其都不具有本管理器350的优势和特点。在Evemote、Skitch、Dropbox、Facebook、Twitter、NetfIix、Google Instant中都有此类应用程序。例如Evemote，提供了一个地理空间标记和头脑风暴工具；Skitch提供了一个应用程序，其类似约翰.马登(John Madden)内容示意图(注释和标记工具)。
[0080]图10是管理器350的一个图形用户界面1600的截图，其为所有数据的管理、访问、监控和协调提供了一个事件墙1602。该GUI是作为内容传输网络⑶N源中的集成服务器的一个网页提供的，其包括多个领域的合作，比如共享数据提醒1604的页面部分，以及即时在线聊天1606。后面将描述该GUI的应用示例。GUI的数据处理和存储过程如图3中的系统流程框图所示。
[0081 ]事件墙1602使一个终端用户可以在他/她的浏览器(346、364)或移动设备(348、366)上显示该用户参加过的所有活动的“任务”和过去的“任务”(在下面将更详细描述)。随着新信息被记录、检索或者研究和共享，更新被发布在事件墙1602，通过互联网380的内容传输网络CDN源，或者通过当地的WiFi连接338传递给用户。从本质上讲，终端用户被赋予在事件墙上发布任何东西的能力。
[0082]图10是一场森林火灾任务的不例，其以各种视图显不在事件墙1608上。在GUI1604的右边部分上关于任务的提醒被用不同颜色编码，从而使得所有关于“加莱纳(Galena)火灾”的提醒很容易被发现。关于“管道监测”的独立任务也被发布在事件墙1604上，以不同的颜色标出。而关于这一独立任务的提醒，其在事件墙1604上同样是用不同颜色编码的。
[0083]图11是显示了事件墙上的数据类型的GUI的截图。在GUI1600的左边显示了能够在GUI 1602上指定的数据类型。数据类型包括消息、“信息”、队友、照片、视频和事件1702。部分1704将第三方应用报告、分析数据和工具进行列表。
[0084]GUI部分1706显示由管理器350覆盖的任务组的列表。这些任务组被按照各个用户访问管理器350的安全级别提供给终端用户。当前用户可访问所有任务组，其包括管道监测、火灾监测、精细农业、矿业、电力线检查、火山和地震监测、以及灾害响应。
[0085]提醒1604只与被监视的高亮显示的任务有关。
[0086]图12是提醒过滤GUI1800的屏幕截图。如图所示，提醒可与一般提醒策略相关联，通过颜色进行区分，以便终端用户只看到重要提醒。如图所示，绿色提醒1802意味着任务的状态是正常的，红色提醒1804表明有问题需要注意并且需要采取行动;黄色提醒1806是对可能发生的问题的警告信号并且需要得到有关处理方式的建议;蓝色提醒1808是发送给用户的关于任务情况的一般消息。当然，为了有效地利用数据，系统管理员可以采用任何提醒策略。
[0087]图13是管理器350的地图成像特性的屏幕截图。在图13中间的图像上还有一个时间轴(在下面进行描述)AUI 1602的左上角还提供了地图成像1902，其是可以放大的。团队领导者的页面还可以显示与他人(比如环保员工)不同的信息，而团队领导者的页面也会与任务指挥者的页面有所不同。例如，任务指挥者可能会使用Wiki工具来帮助他或她建立即时报告，该即时报告为系统和其它用户给出了可供追随的重要的事件描述。
[0088]通过点击任务组1706(图11)，GUI 1602显示了聚集于某一特定任务的事件墙1604，为所有的参与者显示出发布的消息、更新和提醒。视频馈送被直接集成到墙视图中，而其它数据则来自例如众包、dropbox风格的文档共享，或来自其它标记的内容。如前所述，能够被发布的数据的类型可以包括图像、视频、标签和提醒、文本文件、word文档、excel电子表格和Powerpoint文稿。
[0089]图14是加莱纳消防任务的GUI1602的另一个视图。如图所示，提醒2002是由所有任务发布的消息，这允许操作员迅速切换到不同任务，并且监视和管理新出现的问题。还可以使用dropbox工具2004，其包括视频、文档和外部链路集成。这个工具上的所有文件被索弓丨，并且根据地理位置表示在地图1902上。GUI的左下部分2006提供了一个任务专辑，其中包括与该任务相关的所有图像和视频。
[0090]当从事件墙1604移到任务页面1900时，GUI1602的右侧会发生变化。尤其是右侧现在显示特定于该任务的提醒2008和参与者聊天2010。
[0091]图15是显示数据搜索功能2102的搜索结果的扩展地图1902的图形用户界面屏幕截图。具体地，地图搜索功能依赖于用户在屏幕上画框。在一个实施例中，用户用单个手指来画框。一旦框被创建，其就被添加到事件墙以用于分析。
[0092]图16是通过用户画框指定地图2202中的某一区域的图形用户界面屏幕截图，在本实施例中是画在谷歌地图上用于快速搜索。画框的区域可以是方形，圆形或者任意形状。用户还可以给所画感兴趣的区域加上书签2204，并共享书签和/或接收基于该书签区域上有关活动的提醒。地图区域的搜索结果显示在2206。结果清单包括任务名称、视频开始和结束的时间、所获取的视频的持续时间和数据源平台。
[0093]图17是另一个街区地图搜索的图形用户界面屏幕截图。在该图中，地图搜索是在包括大量固定摄像机位置的街区进行的。固定摄像机比如2320被显示在地图上，还包括搜索区域2302。在GUI 1602的底部，搜索结果显示在区域2304。然而，不同于加莱纳火灾任务的例子，这里的映射区域包括来自许多固定监控摄像头的数据，其可以在搜索结果部分2304观看到视频的缩略图。此外，搜索结果可以用来创建视频时间轴，该时间轴与每天的时间或者在给定区域选定的时间相匹配。时间轴功能将与图26-28结合作进一步的描述。
[0094]在图形用户界面1602左边，给出了一个搜索区域2310，其中用户可以按照开始和结束日期以及按照开始时间和结束时间进行搜索。此外，还为位于区域2302中的摄像头提供了固定摄像头搜索列表2312，其中每个摄像头都可以从搜索请求中选择/去掉。此外，分析工具可自动部署与司法和数据相关的法律规定相关的插件，以便筛选数据，并且删除违反这些法律的数据，或者标记那些需要批准才能使用的数据资源。另外，分析工具还可以用来建立特定的法律参数或阈值，如建立可能的动机。还可以利用额外的分析搜索焦点信息，如面部识别、汽车牌照、或其它可用的产品或服务。
[0095]其它形式的标记工具可用于被加了书签的区域。同时，不同的用户可以在被加了书签的区域(如2302)标记不同的项目。最后，加了书签的区域是自动更新的，并且在状态变化时或者更新信息可用时，自动生成提醒。例如，高温提醒、水灾提醒、状态变化提醒、甚至地面压力提醒都可以被系统自动提取、标记和发出提醒。
[0096]本发明的另一个方面是，其可以提供收到信息的属性。例如，对于固定摄像机位置，现有的视频源可能不会包括相关遥感数据，但为了确定摄像机的位置甚至其从流动的遥感流拍摄的内容，这些遥感数据是必需的。因此，本发明可以看向固定点，并且给自动指向该位置的伪遥感流中插入坐标。
[0097]图18是目标侦查请求(TOR)任务2400的图形用户界面屏幕截图。TOR的价值在于，其允许序号与侦查区域相关联。例如，在过去，在飓风艾克(Ike)期间，要给飞行员提供一百二十个坐标点的列表，以便让每个飞行员进行监测。但这些坐标点的顺序是随机的。其结果是，飞行员对这些固定坐标点的监测杂乱无章。在任务结束的时候，一共只有16个固定坐标点被找到。TOR工具2400则解决了这个缺陷。
[0098]TOR工具包括软件目标分析，其中通过点击图像2402，可以在该图像上确定一个目标并为其分配优先级2404-2410。然后为每个选定的目标创建坐标，并按逻辑顺序排序。对每个目标2412创建注解，使得用户可以根据其它目标判断准则来判断该目标的重要性。还创建目标侦查列表2420，其中列出每一个目标，及其军事网格参考系统(MGRS)、最后一次侦查的时间、其优先级、该目标侦察请求发起人、以及系统中的其它侦查请求的数据。这样TOR功能就为飞行员生成了被优化的飞行计划和目标清单，该清单启动了整个监管链过程。
[0099]图19是更详细地描绘了TOR特征的图形用户界面的屏幕截图。如上所述，每个目标使用目标点功能2510来识别。目标侦查工具2512激活了在屏幕上选定目标的目标点功能。使用标尺2514来测量与目标相关联的地理坐标，然后提供关于该目标的信息，用作其它用途，比如无人机飞行路线所必需的坐标。目标书签功能2516类似于地图书签，一旦书签被激活，只要监测到目标，系统就将生成提醒。目标请求者注解2412包括最后一次观测到的目标图像2520。
[0100]图20是描绘管理器350的视频播放功能的图形用户界面屏幕截图。如图所示，视频播放器提供了两个功能。第一个是其产生需要响应的提醒2602。系统监控提醒的响应，并且可以对响应应用内置的规则，或者也可以不用。第二个是标签功能2602。例如，为了创建一个阻燃剂滴位，需要给映射的区域加上标签。例如，被加上标签的位置2602可能是一个正与计划洒阻燃剂的工作人员聊天的消防观测员。被加上标签的位置是至关重要的，不仅因为要避免阻燃剂洒在消防队员身上，还因为要提供地面通信和观察。传感器数据标签2610为用户提供与视频源相关的数据，从而使得评估视频源。
[0101]图21是传感器标签具体操作(可定制)的图形用户界面屏幕截图。视频图像显示部分2702与无损文本覆盖2712结合，协助操作员完成监控目标化操作。例如，指南针2710通过相关的指南针单元(如飞行方向指示器2714和正确北方2716)放置在所需的目标区域。还可用视频播放器工具栏2720。工具栏的功能包括具有地理空间坐标的提醒产生器2722，具有通/断开关2724的文本覆盖，和标尺功能2726，其可以用来测量两个点之间的距离。工具2728被设计成生成地理空间标签，并且工具2730和2732分别生成视频剪辑或相机快照(两者都有地理空间标签)。
[0102]应该注意的是，管理器350给图像数据增加了一层时间编码，其精确到毫秒，从而使得可以将图像数据在以后重新组装。系统350被设计成在聊天中加上了时间戳遥感内容。这样，操作者才能够使整个系统带有时间编码。
[0103]图22是地图标签功能的图形用户界面屏幕截图。地图标签2810显示在视频屏幕2702旁边。在本实施例中，地图标签显示了飞行路径2812，洒落目标位置2815，以及传感器的当前位置(比如目前摄像机/传感器视野的中心点)2814。还显示了邻近目标位置的提醒源2602的位置。
[0104]图23是显示地图标签2810功能进一步操作的图形用户界面屏幕截图。2810包括对屏幕部分2702上视频负责的相关无人机挂载传感器/摄像头倾斜角度2910的信息。
[0105]图24是视频播放器⑶I的提醒/聊天标签3002功能的图形用户界面屏幕截图。提醒窗口 3004列出了由另一个用户推送的预设关键词喜好产生的所有提醒。该列表中包括在视频图像2702中被地理编码的提醒点3006。聊天窗口 3008提供了一个监管链记录，因为其按照时间和位置同步到视频，所以对于评估系统的人来说是完全可搜索的3010。姓名标签3012允许用户只查看那些由特定用户发布的聊天，并且也可以即时查看所有评估了被标记位置数据的用户。
[0106]图25是视频播放器播放目录标签3110功能的图形用户界面屏幕截图。当摄像机移动时该标签起作用，这样系统可以推断出坐标。标签3110允许用户为其它直播数据插入标尺与时间信息。直播任务栏3112列出了不在感兴趣的核心点但在同一地理区域的所有直播视频或其它图像数据。这些数据可以包括twitter图像、飞机视频、新闻等等。这个区域作用的方式类似于电视直播频道指南。
[0107]存档任务栏3114把要存档的数据根据与目标区域联系紧密度来排列。已阅栏3116包括所有带书签的或者已阅的视频。最后，共享的窗口区3118引入被推荐给用户观看的视频。例如，可能有一个来自更远处的固定摄像机视图，或红外版本的视频甚至更原始的传感器数据，比如感兴趣区域内的碳氢化合物踪迹的数据。
[0108]本发明没有展示的另一个特征是报告键。报告键可以是一个Wiki系统，其生成幻灯片来提供信息。用户，如项目经理，可以创建其自己的报告。单选按钮允许用户自定义报生口 ο
[0109]图26是管理器时间轴功能的图形用户界面屏幕截图；如图所示，搜索功能(如图17中例子所示)3206还可以包括时间轴功能。这个功能使得用户可以基于选自加书签的地图区域的图像/视频来构建时间轴。如图所示，在选定的时间段内的感兴趣的图像/视频被拖进一个搜索结果列表。此外，这些图像被存储在证据锁定区3202。在那里把项目复制(如果尚未复制的话)、存储进系统，并标记为特殊项目，可供集成服务器/CDN 354用于分析处理。然后用分析工具3204处理证据锁定区3202中的信息，把相关适用的法律和规定应用于选定的数据。如图所示，列表3214显示了拖进证据锁定区3202所有项目。这些规则的运行有特定的目的，即成为支持重要法律要求的可用的证据，比如成为支持搜查或逮捕行动的可能原因。
[0110]图27和图28是地图和所构造的时间线图的图形用户界面屏幕截图。在使用过程中，用户在地图上拖动鼠标或光标，使区域3614中的3610、3612高亮显示。将鼠标/光标拖动到标签3610等等上，会使相应的事件3610在时间轴3620上按顺序高亮显示，反之亦然。如图28所示，每一块数据被绘制在时间图上，而感兴趣的事件3610位于中间。这些图像可反映所有的数据类型，包括Twitter图片3650。时间轴3620上的回形针图标3660表示有分析工具处理这些数据，并把分析结果和原始视频/图像绑定。纵轴3680代表与这一事件的物理距离，而水平轴3620则表示在位于显示区域中心位置的、感兴趣的事件之前或之后的时间差。点击时间轴上的标签，会显示分析结果和相关视频/图像3690。
[0111]证据锁定区的图像已经通过了法律分析检验，以时间排序的方式置于地图上，提供了带有时间戳和地理地标的图像的大致路径，并连同有在证据锁定区中用到的审计跟踪信息。因此，对适用于基于事件的应用程序而言，时间轴成为了数据挖掘引擎。
[0112]总之，时间轴功能包括:拖拽图像，定格图像，然后将其拖入证据框，自动创建图像图标，把该图标置于时间轴上，并与访问该时间轴映射的其它人进行共享。然后被标记有时间轴的图像引用被映射以确定嫌疑人的运动路径。
[0113]图29是以一次橄榄球场中的系列爆炸为例的时间轴功能的图形用户界面屏幕截图。在⑶I 1602上，事件墙上显示被识别的视频和图像。地图3510也显示了这个带有虚构的爆炸3520的时间和地点标签的橄榄球场。如图30所示，在地图3510上绘有框3610，而时间和日期搜索参数被输入搜索框3550。返回的搜索结果列表显示在地图3530下方。然后用户可以阅读结果，从中寻找感兴趣的结果，并且在点击感兴趣的结果后，会弹出具体内容，或者在结果列表右边框中播放具体内容(图中没有显示)。具体内容旁边还会出现一个复选框，使用户可以选定自己感兴趣的内容。单击复选框，则该内容(可以是照片、视频、文档或其它信息)被截取到时间轴3530并呈现在地图上。当用户切换到时间轴视图模式时(没有显示出来)，可以查看时间轴。结果，时间轴中的元素将会呈现在地图中，以便显示事件的位置以及跨位置和时间跟踪项目的模式。
[0114]一旦把选定项目从搜索结果中移动到时间轴3530，可能的原因已被确认，视频/图像或其它确认数据就成为了证据锁定区的一部分，可用于使用各种相关的分析工具作进一步的数据挖掘和处理。数据处理的结果被加上标签，并被标注于视频/图像，并用图标3540在时间轴3530上表示出来。
[0115]图30是来自时间顺序图3530上的证据锁定区的图像的图形用户界面屏幕截图。时间轴上，图像和视频的显示也有所不同。例如，一个或多个视频3620显示了在时间轴3530上持续的时间，而照片3650则表示为一个瞬间，反映这张照片的拍摄时间。视频或图像上还显示有回形针或记事本图标，表示其是手动标记的(记事本)，或是由分析工具标记的(回形针)。时间轴上显示的项目也被画在地图上(见图28)，从事件到事件从开始到结束会有一条线来表示。
[0116]尽管参照一些实施例对本发明进行了描述，但可以理解的是，本发明并不只限于这些细节所描述的内容。前面的描述中已经提出了各种替换和修改的方案，对本领域技术人员来说还可以进行其它修改。所有替换和修改都应落入在本发明范围内，如所附的权利要求书中所述。
【主权项】
1.一种无人机数据管理系统，包括: 无人机； 无人机系统地面站； 信号编码广播设备； 本地缓存，其用于接收来自所述编码广播设备的数据进行本地存储； 数据管理器，其位于互联网云上，用于接收来自所述信号编码广播设备的直播视频数据和来自所述本地缓存的存档数据；以及 远程内容传送网络，其用于将信号传输到电脑浏览器和至少一个移动设备，其中来自所述无人机的动态数据流被管理，并与来自其它远程传感器的图像和数据融合，以便通过所述浏览器传送给终端用户。2.如权利要求1所述的无人机数据管理系统，其中所述编码广播设备包括用来存储直播编码数据并附带选择的分析功能的本地数据缓存。3.如权利要求1所述的无人机数据管理系统，还包括用户身份认证，以使所述编码广播设备能够通过互联网向认证用户传输无人机直播视频，以及接收来自认证用户的通信信息。4.如权利要求1所述的无人机数据管理系统，其中至少一个移动设备的用户能够与直接来自互联网或移动网络连接的无人机视频互动。5.如权利要求1所述的无人机数据管理系统，其中系统从所述信号编码广播设备向所述系统管理器提供活动或者直播视频。6.—个数据管理系统，包括: 集成服务器，其位于互联网云处； 存档内存，其连接到所述集成服务器，用于存储与MISP兼容的传输流信号，并且内嵌KLV元数据； 本地高速缓存内存； 本地WiFi连接；以及 信号编码广播设备，其具有多个传感器输入，用于通过WiFi连接把编码的直播视频传输到所述本地高速缓存，把直播视频传输到所述集成服务器，以及把高质量的上传内容流入所述存档内存。7.如权利要求6所述的数据管理系统，还包括在所述集成服务器和所述编码广播设备之间的蜂窝链路，用来传输和接收在所述服务器和所述编码广播设备之间的加密数据。8.如权利要求6所述的数据管理系统，其中所述集成服务器作为传感器数据管理器平台，以便通过基于网络的接口，为用户提供分析功能和一键上传功能。9.如权利要求6所述的数据管理系统，还包括本地内容传输网络，其通过固定电话或互联网与所述集成服务器通信。10.如权利要求9所述的数据管理系统，其中所述本地内容传输网络还包括能够与所述集成服务器通信的工作站、服务器和移动单元。11.一个多传感器数据管理系统，包括: 多个传感器源，其连接到信号传输设备； 传输连接，其从传输设备到基于互联网的服务器； 数据管理单元，其允许不同的用户通过互联网云访问多个传感器的数据；以及 接口，其为用户提供对来自互联网或移动网络连接设备的多个传感器数据进行数据搜索和共享功能。12.如权利要求11所述的多传感器数据管理系统，其中所述多个传感器源包括无人机视频、照片、交通摄像头，固定监控摄像头，1S和安卓设备照片，文本，电子邮件以及Twitter、Instagram 和 Facebook 的数据。13.如权利要求11所述的多传感器数据管理系统，还包括作为插件模块或基于存储的应用被提供给所述管理器单元的分析工具。14.如权利要求11所述的多传感器数据管理系统，其中所述管理器单元包括动态监测工具，其用来把区域性特定的法律和规定应用于地理空间映射传感器数据，以使某些数据在应用适用法律和规定作分析时具有合法性。15.如权利要求14所述的多传感器数据管理系统，其中所述规定包括当地和国家的警方对证据的要求。16.如权利要求14所述的多传感器数据管理系统，其中所述规定包括隐私规定，法规包括HIPAA。17.如权利要求11所述的多传感器数据管理系统，还包括事件管理器，其包括多个协作区域、提醒消息和特定于任务的索引。18.如权利要求11所述的多传感器数据管理系统，还包括: 映射单元，其用于把来自所述多个传感器源的数据用地理空间表示并加上坐标，变成实时在线地图；以及 时间轴单元，其用于把来自映射传感器源的数据集成到时间轴上显示，显示的坐标上还带有传感器类型，传感器距离和传感器数据的时间。19.如权利要求18所述的多传感器数据管理系统，还包括证据锁定单元，其用于基于用户对数据专门规定的规则的成功应用来测试和存储时间轴集成的数据。20.如权利要求19所述的多传感器数据管理系统，还包括证据映射单元，其用于用连接所述地理空间映射数据元素的线重绘地图，以便重建多个所述传感器数据关联的踪迹，所述地理空间映射数据元素储存在所述证据锁定单元中。
【文档编号】H04N7/20GK105917647SQ201480068288
【公开日】2016年8月31日
【申请日】2014年11月14日
【发明人】詹森·巴顿, 乔恩·加斯托
【申请人】Ksi数据科技公司