用视觉数据工作的科学家面临着由于常规监视器、投影仪和软件应用的范围和功能受限引起的许多限制。
对于依赖视觉数据或数据可视化的科学家来说，监视器、多个显示范围或投影设施固有的局限性会对数据搜集、分析和发现的呈现造成严重限制。使用常规的投影和软件，视觉数据和数据可视化：在现场情况下会难以获取和使用；不容易索引、分段和比较-特别是在格式之间；会难以记录和注释；并且它们会难以与其它材料集成，所述其它材料如现场笔记、视频、实时数据源、互联网资源和印刷材料。
该领域的当前技术和发展集中于静态、线性叙述的沉浸式呈现，限制了交互和协作的可能性。根据现有技术，除了面向呈现的方法之外，还需要分析和协作能力。另外，需要降低创作沉浸式内容的技术障碍，以便为研究人员提供组织、分析和呈现其研究的新能力。
技术实现要素：
发明目的
因此，本发明的目的是提供一种交互式数据可视化环境和用于交互式数据搜集、创作和可视化的相关方法，该方法提供对视听数据的直观且容易的访问，包括具有复杂相互关系的文本、符号、图像、视频。
这个目的通过根据独立权利要求所述的交互式数据可视化环境和相关方法来实现。有利的实施例在从属权利要求中定义。
总之，本发明允许数据的创建、收集和注释；使用地理签名对收集的数据的增强；收集和注释的数据的高效存储。在另一方面，它允许实时管理收集的数据和组织远程团队的数据收集工作；评论数据收集的进展并突出显示感兴趣的地理区域以供进一步研究；将视听、文本和其它数据分组到对于具体地理位置相关或者与具体地理位置相关的交互式可导航集群中；基于数据的类型或者时间或语义分组，将地理定位信息的集群布置到多个层中；在现有位置或计算机生成的景观的全景视听背景上，在虚拟球体的内表面上叠加多个数据层；将多个虚拟球体彼此建立空间关系，将它们连接并编译成所谓的数据景观，以任意非线性方式可交互式遍历的世界。在另一方面，本发明允许借助于沉浸式投影环境(ipe)和虚拟现实头戴式设备(vr-hmd)呈现交互式、可导航的数据景观；重建现有的和模拟的假设环境；导航并与数据景观交互，借助于手势和语音用户接口选择、过滤和注释数据点；基于用户的空间朝向和手势输入放大全景视觉或听觉数据的某些片段，以及将数据景观及其部分散播到各种设备。
附图说明
当结合附图研究本发明的各种实施例的以下详细描述时，将更容易理解本发明的这些和其它方面，其中：
图1a是根据本发明实施例的交互式数据可视化环境的硬件配置的示意性布局。
图1b是根据本发明实施例的交互式数据可视化环境的组件及其交互的更详细框图。
图2是根据本发明实施例的交互式数据可视化环境的、由发明人构建的原型的外部视图。
图3是在图2a所示的实施例中在构造视频投影表面时使用的视频投影表面模块的技术图。
图4a示出了在沉浸式投影环境内部的视频投影表面上的图像投影。
图4b示出了图2中所示的视频投影单元的更详细视图。
图5a示出了根据本发明实施例的、用于导航内容的操作者控制台160的示意图。
图5b示出了图2中所示原型的内部视图，包括操作者控制台和台架(bench)。
图5c、d示出了图2中所示原型的进一步内部视图，包括操作者控制台和台架。
图6示出了根据本发明实施例的交互式数据可视化环境中的软件组件及其交互的示意图。
图7示出了可以用于自动创建全景内容的若干版本的一系列不同投影。
图8示出了根据本发明实施例的自动文本检测和识别的示例。
图9是地图视图，示出了其地理位置处的所有可用数据球体(datasphere)并允许用户添加或移除球体、将它们重新定位到地图上的新坐标或经由拖放在球体之间创建链接。
图10a示出了如何向用户呈现沉浸式视听内容以及与当前球体对应的数据的示例。
图10b示出了用户借助于手势与系统交互的示例。
图11示出了根据本发明实施例使用的网格失真的示例。
图12a示出了根据本发明实施例的不同边缘融合函数。
图12b示出了用于与图3a的边缘融合函数对应的各个投影设备之间的光度(luminosity)调整的边缘融合掩模。
具体实施方式
为了实现上面提到的功能，本发明依赖于一组硬件组件和一组软件应用和工具。
图1a是根据本发明实施例的交互式数据可视化环境的硬件配置的示意性框图。
更具体地，该环境包括客户端110，例如集成有用于数据收集、注释和增强的照片和视频相机以及麦克风和gps接收器模块的各种移动计算机。客户端连接到数据存储组件120，数据存储组件120可以包括用于自动聚合、预处理和存储所收集的数据的各种计算设备。存储组件120连接到用于管理存储的数据和创作数据景观的应用服务器130。
交互式数据可视化环境还包括沉浸式投影环境100或ipe，其包括视频投影单元190、视频投影屏幕140、音频投影单元(未示出)、位于ipe基座中心的操作者控制台160、手势识别设备(未示出)、语音识别设备(未示出)、3d导航控制器(未示出)、媒体服务器(未示出)、触敏辅助显示器、无线网络接入点195和台架150。
另外，用户可以携带各种访客客户端180，例如，也连接到无线网络接入点195的智能电话或平板计算机。
图1b是根据本发明实施例的交互式数据可视化环境的组件及其交互的更详细的示意图。
为了显示创作的交互式呈现，使用在虚拟现实头戴式显示器(vr-hmd)或物理沉浸式投影环境的帮助下呈现的虚拟球形投影表面，来提供允许用户沉浸在场景中的显示系统。
图2是根据本发明实施例的、由发明人构建的物理沉浸式投影环境的原型的外部视图。ipe使交互式数据可视化环境能够投影沉浸式交互式数据景观，并将在不同位置收集的数据作为可导航、互连的多层球体的集合呈现给投影屏幕内的多个访客。
图3是在图2a中所示的实施例中在构造视频投影表面时使用的视频投影表面模块的技术图。投影表面具有直立的开放式圆柱体的形式，并且被构造为12mm厚的热成型杜邦可丽耐(dupontcorian)模块的网格。杜邦可丽耐是一种坚固、均匀的表面材料，由≈1/3的丙烯酸树脂(也称为聚甲基丙烯酸甲酯或pmma)和≈2/3的天然矿物构成。
使用杜邦可丽耐作为材料允许结构自支撑并且，由于模块的部分半透明性，可从外部观察圆柱体内的访客的投影影像(imagery)以及轮廓。该材料选择的另一个好处是可以将临时装置转换成永久装置，借助于接缝粘合剂消除模块之间的接缝，从而在固化后形成均匀的表面。
图4a示出了在沉浸式投影环境内部的视频投影表面上的图像的投影。借助于视频投影单元190来投影图像，该视频投影单元190包括若干视频投影设备，这些视频投影设备的各个图像以完全覆盖投影屏幕的360°周长的方式重叠。在图3所示的实施例中，视频投影单元190附接到圆柱状物顶部中心处的安装座，该安装座可以从天花板或投影屏幕上方的桁架悬挂。图4b示出了视频投影单元190的更详细视图。
在优选实施例中，安装座还保持无线网络接入点和媒体服务器，从而为投影单元提供影像。
环绕声由音频投影单元提供，音频投影单元包括围绕屏幕圆周布置的面向中心的若干扬声器。扬声器的确切数量取决于圆柱状物的半径。
图5a示出了用于导航内容的操作者控制台160的示意图。控制台具有容纳各种控制器的列的形式，所述控制器包括手势识别控制器520、三维鼠标、触控板、用于语音识别的麦克风510以及辅助触敏显示器530。
图5b中所示的用于观众150的灵活、可扩展的台架环绕操作者控制台160。
图6示出了根据本发明实施例的软件组件600及其在交互式数据可视化环境中的交互的示意图，包括用于客户端的数据收集应用610；数据聚合基础设施630；媒体预处理器640；可伸缩存储基础设施和数据库服务器660；通信队列620；创作和编辑应用650；作为前端应用的虚拟研究环境(vre)680；用于翘曲(warp)、边缘融合和颜色校准的投影环境690；虚拟桌面应用；事件队列670；语音识别应用；手势识别应用和沉浸式伙伴应用。
数据收集应用610是在移动客户端上运行的软件。它利用移动客户端的能力来记录视听以及文本或数字数据。然后使用客户端设备的集成传感器来增强数据：gps接收器和罗盘用于在记录期间确定设备的地理定位和方位(bearing)，气压传感器用于计算高度。
这些附加读数以及记录的时间戳作为元数据被添加到数据。然后，用户可以选择注释和评论记录的具体细节，之后，一旦互联网连接可用，就调度记录以传输到数据聚合基础设施630。
数据收集应用610还可以借助于通信队列620使用创作和编辑应用650接收和显示由项目协调团队发送的消息和数据收集请求。一旦设备连接到互联网，消息和请求的列表就会定期更新，并且可以由用户对其进行操作。
在分布式客户端的帮助下收集或创建的数据被传送到专用于存储原始数据的计算设备，并基于数据类型进行索引和分类。对于每个数据资产，创建全局唯一标识符(guid)以及包含所述资产的状态以及与其有关的元数据的数据库记录。数据库记录将在资产的整个生命周期中伴随该资产。然后根据标准化命名方案重命名该资产，并以其原始形式将该资产存储在数据存储装置中。
接收和存储的确认经由通信队列620广播到系统的其它组件，从而触发媒体预处理流水线640的进一步动作。
媒体预处理流水线640是软件工具的集合，用于自动化的数据提取、精炼和分析以及数据格式之间的代码转换以及与支持的呈现平台兼容的数据资产的各版本集的产生。
这些包括自动化图像、视频和音频处理。具体地，这涉及沿着颜色模型的共同基线、音频音量、诸如镜头失真之类的固有相机特性以及针对不同平台/带宽/显示器分辨率场景的预览序列或图像的多个版本的创建来平衡视听数据。
图7示出了可以用于自动创建全景内容的多个版本的一系列不同的投影。具体地，等距离长方圆柱(equirectangular)投影或立方(oracubic)投影可以用于全球体全景内容，或者直线投影或圆柱投影可以用于跨越360°垂直或水平视场的一部分的全景内容。以使得对其一个版本的更新导致所有对应版本的完全重新创建，从而结合该改变的方式来监视每个全景资产。
图8示出了根据本发明实施例的自动文本检测和识别的示例。进一步处理视觉材料，目的是检测和识别非结构化场景上的文本主体。非结构化场景是包含未确定或随机场景的图像。这涉及如下步骤：检测文本区域候选并逐步移除那些不太可能包含文本的候选；在最大稳定极值区域(mser)算法的帮助下检测候选字符区域；借助于使用文本与非文本分类器的基于规则的方法和机器学习方法的组合，基于几何特性逐步移除非文本区域。基于规则的方法可以利用若干几何特性来区分文本与非文本区域，诸如纵横比、偏心率、欧拉数、范围、实度之类。还包括通过使用距离变换和二进制细化(thinning)操作估计检测到的mser区域中的笔划宽度来基于笔划宽度变化移除非文本区域的步骤。测量整个曲线上笔画宽度的变化。在大部分区域上具有很小变化的线和曲线可能是文本，因为类似的宽度是人类可读文本的共同特点。合并文本区域以进行最终检测。应当合并各个文本字符以形成文本行，以提高识别率。为了实现这一点，扩展围绕单个字符的各个边界框，并计算所有边界框的成对重叠率。然后通过计算构成每个连接区域的各个边界框的最小值和最大值，将具有非零重叠率的对合并到文本区域中。移除具有仅一个区域的边界框。为了解决错误检测，具有隔离的单个的文本区域的边界框被认为不太可能是文本并且被移除。在检测到文本区域之后，使用ocr识别每个边界框内的文本。同时，识别检测到的文本的语言。结果得到的文本被映射到360°环境上。每个结果得到的识别出的文本及其边界框基于源摄影的exif数据继承地理定位和方位。然后将它们投影到球体的坐标系上，并且可以使用创作和编辑应用650进一步微调。然后将检测到的文本、边界框尺寸和定位、检测到的语言和检测置信度添加到资产数据库记录，以供检索和显示。然后可以在交互式数据球体的单独的层上显示在照片中检测到的文本。
通信队列620是使得能够与远程团队通信和协调的被授予数据收集任务的应用。
在本实施例中，应用基于在tcp上提供全双工通信通道的websocket协议。通信队列中的所有消息被组织在被指定用于数据收集的位置周围。为这些位置中的每一个指派分开的消息通道，其用数据存储装置660的相关状态改变、在创作和编辑应用650中创建的新指派以及由团队在现场收集的数据来更新。
远程数据收集团队的每个成员可以经由数据收集应用610访问通信队列620。
项目的协调者可以经由创作和编辑应用访问通信队列620，并利用ipe接收关于进度的更新。
创作和编辑应用650是允许用户将收集的数据资产编译成交互式、沉浸式呈现(数据景观)的软件。这些呈现的基本单元是所谓的数据球体，包括所讨论的地理位置的全景图像或视频记录(其为内容的其余部分提供沉浸式背景)、位置的环境声音的全景音频记录、视听、与背景上描绘的具体位置或一般而言数据球体上的位置相关或涉及其的定量或地理记录(资产)，所述数据球体以集群的形式布置并在空间上定向为背景上的叠加。在本发明的优选实施例中，数据球体还包括对各种数据源(诸如twitter、instagram等)的预先配置的api查询，以便获取特定于数据球体的位置的实时或历史数据，附加到具体记录的注释、评论和元数据，关于数据球体的位置的附加信息，辅助文本和视听记录。
数据景观可以由多个数据球体组成，这些数据球体可以或者作为单独的环境呈现，或者可以通过在它们之间创建链接而彼此建立空间关系。
一个或多个用户可以在呈现期间在链接的数据球体之间自由移动。为此，一旦建立了数据球体之间的链接，就自动创建交互式元素形式的特殊可供性，这可以由任何交互控制器激活。
这个元素在背景上的定位是根据如从源数据球体看到的目标数据球体的相对地理方向而导出的。
应用的用户界面包括关于数据不同方面的若干视图。球形视图示出了单个数据球体的预览，并允许用户在各层中布置数据资产、调整单个数据的参数和设置以及记录导览(guidedtour)。资产列表提供数据存储装置处可用的所有数据的概述。用户可以查看和编辑注释和评论、使用具体的关键字标记资产并管理资产的多语言版本。通信窗格在现场提供了来自远程团队的全面消息列表，并允许为这些远程团队以及个人团队成员创建工作指派。分析视图为用户提供用户参与的可视化，并允许微调和改善用户体验以及呈现的叙述。用户可以通过从可用材料的列表中选择全景背景来创建数据球体。然后可以基于其它可用资产的地理位置自动添加其它可用资产，或者由用户手动添加其它可用资产。可以将资产分组成可以在背景上布置的集群。每个资产都可以使用具体的关键字、注释和附加文本进行注释或标记。用户还可以调整参数，根据这些参数，资产可以变得可见或隐藏，其中参数例如一天中的时间、具体关键字或不同的语言设置。用户还可以标记背景上的某些区域(热点)并突出显示这些区域以供进一步研究或将其指定为即将进行的数据收集工作的目标。可以将进一步的评论附加到这些热点并由应用传递到通信队列。用户可以选择并添加环境声音的音频记录、定义这些记录将被回放的次序。可以相对于数据球体的地理方位对双声道或环绕声记录调整其朝向。
图9是地图视图，示出了其地理位置处的所有可用的数据球体，并允许用户添加或移除球体、将它们重新定位到地图上的新坐标或经由拖放在球体之间创建链接。可替代地，如果需要全新的数据球体，那么地图上的位置可以被指定为新的(空)数据球体并指派给远程同事团队以便进行数据收集。
在数据球体被定义、链接并编译成数据景观之后，用户可以通过数据景观来记录和编辑导览。这可以包括整个范围的交互可能性，诸如交互式元素的激活、执行搜索查询以及在不同位置之间跳跃以及观众不可用的动作，诸如显示具有辅助信息的内容覆盖之类。这些交互可以被编写脚本为在满足某些条件之后发生，例如在一天中的某个时间或在没有用户输入的某个时间段之后。可以经由图形界面编辑创建的脚本，其中可以添加、重新排序、修改或删除各个动作。在任何阶段，数据景观都可以在线完成并被导出或发布，以便在vr-hmd或沉浸式呈现环境中使用。在呈现之后，用户可以查看每个数据球体内的以热图的形式可视化的用户交互的聚合日志。
预处理的媒体资产(诸如视频和音频记录之类)被保存在可伸缩对象存储平台660上。每个资产被指派全局唯一标识符(guid)和具有guid作为关键字的数据库记录。该记录还包含二进制资产的url。数据库的结构具有图的形式，其中各个数据球体的地理位置用作根节点，并且所有其它资产和数据记录与这个节点相关地布置为树。基于彼此的地理距离和/或与具体位置或另一个数据点的相关性，数据资产可以手动或自动编译成集群。数据记录还包括收集的资产的元数据，诸如exif参数、海拔高度、自动检测到的正文及其定位，以及与这些相关的注释和评论。
虚拟研究环境680是使用户能够遍历数据景观并与各个球体中呈现的数据交互的应用。它借助于有线或无线网络连接到应用服务器，并且借助于ipe或vr-hmd对在创作和编辑应用的帮助下编译的呈现进行可视化。向用户呈现起始位置或者从列表中选择起始位置的可能性。当从列表中选择当前位置或通过触发从另一个数据球体的位置改变而选择当前位置时，vre查询与新地理位置对应的数据图并准备结果所得的子图中的所有数据以供显示。此时，观看实时数据流相关的处理被建立并被连接到事件队列。
图10a示出了如何向用户呈现沉浸式视听内容以及与当前球体对应的数据的示例。数据借助于多个层来呈现，其中基础层被保留用于全景背景视觉并且其余数据覆盖在顶部上。取决于数据类型，可以定义用于不同种类数据的特殊层，从而允许例如历史图像或统计信息的覆盖，组合要同时呈现的数据的若干时域或类别。最顶层被保留用于界面元素和系统消息。数据集群作为可以借助于支持的交互设备激活(“打开”)的交互式元素呈现给用户。一旦被激活，就在交互式元素的前一定位处揭示具有集群中所有数据点的选择菜单。菜单将可用资产呈现为缩小的预览图像和视频循环。随后，用户可以选择探索当前集群的各个资产或返回主级别。特殊交互式元素表示数据球体之间的链接。当由操作者激活时，他们通知事件队列即将发生的位置改变。
事件队列670是一个应用，其主要目的是在后端、vre以及伙伴应用之间同步状态，并使系统能够对来自手势和语音控制器以及其它输入设备的输入作出反应。它还通知系统对数据结构的更新。与通信队列629类似，它基于web套接字消息传递协议，并提供可以由一系列应用订阅的多个通道。在订阅通道之后，连接的客户端可以发送消息，所述消息在通道中排队并且对于所有订阅的应用可用。消息包括其创建的时间戳、消息类型和变量、应用专用、字母数字或二进制有效载荷。
图10b示出了用户借助于手势与系统交互的示例。手势控制器将消息发送到队列，从而通知系统识别出的手势。然后将消息分类到“手势”通道中并重新广播到vre的事件控制器，vre的事件控制器进而激活对应的功能，例如，允许用户通过沿着空间轴移动手来改变全景背景的比例因子。更具体地，手势识别应用从手势输入控制器接收恒定的状态更新流。其包含用户的手和手指相对于控制器的定位和空间朝向。基于此，应用然后能够计算手相对于物理屏幕的定位和朝向，并将计算出的向量投影到vre680的坐标系中。然后，更新后的手的投影定位以及识别出的由用户手指形成的手势被发送到事件队列670并且可以由vre680对其操作。例如，手势可以用于缩放呈现或者选择和控制特定音频源的音量。
语音识别应用从语音识别控制器接收语音输入，并且在处理之后，它以预定义令牌(token)的形式将用户意图返回到事件队列上的语音输入通道。vre关注语音输入通道并执行用户意图中指定的动作。
沉浸式伙伴应用允许ipe的访问者获得对呈现的内容的特定部分的永久访问权，即使在他们离开呈现环境之后也可以。这是通过扫描特殊的光学标签来实现的，该标签在被应用解码时包含到数据球体、资产集群或单个资产的特殊链接。其被添加到可用内容的列表，并允许用户随意重新访问呈现的部分。
虚拟桌面应用模拟具有适应性图形分辨率、跨越若干物理显示器或视频投影仪的虚拟显示器。该应用允许系统与多个显示器交互，就好像它们是单个无缝面板的各部分一样。虚拟桌面应用拆分最终输出图像，并根据先前定义的映射方案使用连接的显示设备渲染各个片段。
将若干投影仪集成到单个显示器中导致实现各个投影的无缝拼接和像素完美对准的问题。为了解决由此产生的缺陷，相邻投影仪的图像以如下方式布置：在将渲染的图像输出到物理设备之前在图像后处理阶段，相邻投影仪的图像重叠显著的量并抵消重叠投影的效果。来自各个投影设备的多个重叠投影导致光度变化的区域，而圆柱形或球形屏幕的弯曲几何形状导致投影图像的失真。为了实现无缝且无失真的投影，对图形数据应用若干变换。
图11示出了根据本发明实施例使用的网格失真的示例。与单个物理设备对应的虚拟桌面的每个片段被扩展为包括相邻显示片段的部分，然后根据先前配置的失真网格进行变换，从而将原始网格的每个顶点映射到目标网格上的对应位置。
图12a示出了根据本发明实施例的不同边缘融合函数。通过将一个投影仪的重叠区域中的每个像素乘以当将其添加到由第二个投影仪显示的对应像素时的量(x)来抵消重叠区域的更高光度，其结果具有类似于非重叠部分中相同值的像素的光度。使用混合函数确定x的值，该混合函数针对每对设备单独调整。图12b示出了用于与图12a的边缘融合函数对应的各个投影设备之间的光度调整的边缘混合掩模。
应用类似的方法来确保视频投影仪的感知无缝色彩再现-因为即使是同一型号的投影仪也可以在渲染不同颜色的方式上有可见的变化，因此在输出之前，将为每个颜色通道提供修改像素值的功能的校准简档应用于虚拟桌面的每个片段。