数据浏览装置和数据浏览方法与流程

文档序号:11950348阅读:228来源:国知局
数据浏览装置和数据浏览方法与流程

本发明涉及一种用于显示浏览数据的数据浏览装置、数据浏览方法以及存储介质。



背景技术:

近年来,传感器器件和定位系统的进步,使得能够将各种空间数据显示为浏览数据,例如,由智能电话、汽车导航系统等获取的全球定位系统(GPS)定位数据、通过图像分析获取的轨迹数据(即,交通线数据),以及由三维(3D)扫描器获取的测量数据。另一方面,已提出了诸如机器学习等的复杂分析方法,以从大量的这类浏览数据中获取某些图案或知识,但是在分析的初始阶段,人的观察和分析仍然居于重要地位。

鉴于这些情形,目前需要一种切实、高效的浏览方法,以应对大量的浏览数据。例如,针对通过GPS等获取的轨迹数据,一种常用的方法是,使用户在例如以将轨迹数据叠加在地图上的方式显示轨迹数据的状态下,浏览轨迹数据。具体而言,用户可以改变显示的粒度(granularity)或者关注的部分,以从各个方面来浏览数据,由此得以发现关于行为模式等的新知识。

在日本特开平08-219803号公报中,讨论了一种能够使用户高效地浏览浏览数据的方法。日本特开平08-219803号公报中讨论的技术在用户浏览地图数据时,根据用于移动视点的滚动操作的速度,来改变滚动中的地图的详细度。具体而言,该技术随着速度的增加,将显示的道路仅限定为宽阔的或主要的道路。以这种方式限定显示,提高了滚动中的地图的可视性,并节省了用于绘图处理的资源及负荷。

然而,尽管在日本特开平08-219803号公报中讨论的技术提供了高效获取由数据表示的概要的效果,但是,该技术具有如下的问题,即在画面滚动的同时,一直均匀地降低详细度,而不考虑滚动方向。例如,一旦用户开始跟踪显示的数据,则用户在滚动地图的同时,就只能浏览到以低的详细度显示的数据。因此,用户必须停止滚动地图,才能浏览详细的数据。此外,在用户滚动地图的同时被省略的数据中,包括有重要的数据的情况下,用户可能遗漏这些重要的数据。

另一方面,在维持详细度的同时浏览数据,则导致信息量过大,进而增大了可视性降低的可能性。例如,在用户浏览大量的轨迹数据的情况下,当用户在滚动画面的同时、追踪用户关注的轨迹流时,在经过许多轨迹以复杂方式相互交叉的部分时,画面可能发生剧烈的改变,从而使用户丢失用户一直在追踪的轨迹流。

在装置因接收滚动指令而显示画面的情况下,以及在装置显示单个画面内的数据的情况下,都出现类似的问题。难以使装置控制显示,同时在信息量过大的数据之中,区别表示所需方向的数据。



技术实现要素:

本发明是针对一种技术,该技术即使在存在大量的浏览数据时,也能够使用户称心地浏览浏览数据,同时既保持浏览数据的详细度,又维持可视性。

根据本发明的一个方面,一种数据浏览装置包括:数据方向获取单元,其被配置为获取由表示路径的数据所指示的方向,作为数据方向;指令方向获取单元,其被配置为获取所述数据的空间中的方向,作为指令方向;关系获取单元,其被配置为获取所述数据方向与所述指令方向之间的关系;以及显示控制单元,其被配置为进行显示控制,以基于所述关系,使多个所述数据之间在显示内容上不同。

通过以下参照附图对示例性实施例的描述,本发明进一步的特征将变得清楚。

附图说明

图1A是例示根据第一示例性实施例的数据浏览装置的结构的示例的框图,并且图1B是例示根据第一示例性实施例的控制单元的结构的示例的框图。

图2例示了包括根据第一示例性实施例的数据浏览装置的监视系统的概况。

图3例示了表示根据第一示例性实施例的轨迹数据的示例的表格。

图4A例示了轨迹数据的可视化的示例,图4B例示了监视平面布置图的示例,并且图4C例示了数据浏览装置的用户界面的示例。

图5A及图5B例示了在数据浏览装置上进行的操作的示例。

图6A、图6B、图6C及图6D例示了从操作输入单元输入的输入矢量数据与轨迹数据之间的相关度的获取的示例。

图7A是例示数据浏览装置的操作的流程图,并且图7B例示了输入到数据浏览装置中的操作指令的随时间改变的示例。

图8A、图8B、图8C、图8D、图8E及图8F例示了从操作输入单元输入多个操作指令。

图9是例示根据第二示例性实施例的数据浏览装置的操作的流程图。

图10A、图10B、图10C及图10D例示了根据相关度来改变显示单元的显示范围的移动速度。

图11是例示根据第三示例性实施例的数据浏览装置的操作的流程图。

图12例示了包括根据第四示例性实施例的数据浏览装置的监视系统的概况。

图13A、图13B、图13C、图13D及图13E例示了无人飞机的摄像。

图14是例示根据第四示例性实施例的数据浏览装置的操作的流程图。

图15A及图15B例示了计算每预定时间段记录的指令方向与数据方向之间的相关度的示例。

图16A及图16B分别例示了根据获取的数据和指令方向对相关度进行加权的示例。

图17A、图17B、图17C及图17D例示了通过计算位于显示范围外部的数据的相关度、来预测指令方向的示例。

图18A及图18B例示了3D扫描的数据等中的立体造型数据的示例。

图19A、图19B、图19C及图19D例示了基于地图上的点数据的位置来获取数据方向的示例。

具体实施方式

根据本发明的示例性实施例的数据浏览装置包括存储单元、数据方向获取单元、指令方向获取单元、相关度获取单元,以及显示改变单元。

存储单元存储点数据、线数据和面数据之中的至少一个数据。点数据是指表示点或位置的数据,诸如点形状的数据、坐标数据(位置数据)和顶点。此外,线数据是指表示线的数据,诸如轨迹数据、边界线、线型图、树型结构图和社交图。此外,面数据是指表示面的数据,诸如平面、曲面和形成立体形状的面。

数据方向获取单元获取点数据的位置方向、线数据的线方向和面数据的法线方向中的至少一者,作为数据方向。

指令方向获取单元获取数据在空间中的任意方向,作为指令方向。指令方向获取单元基于从输入单元输入的触摸、多点触摸、点击、滚动、拖动、旋转、角度、角速度和方位中的至少一者,来获取指令方向。此外,指令方向获取单元可以获取数据的如下移动的方向,作为指令方向,所述移动是由显示单元上的显示的放大或缩小引起的。此外,指令方向获取单元可以基于摄像单元的移动方向,来获取指令方向。

例如,获取手指在触摸屏上移动的方向,作为指令方向。此外,当通过在触摸屏上进行的双指分开(pinch-out)来放大画面时,获取从双指分开的中心放射的方向,作为指令方向。此外,当无人飞机在安装有摄像单元的状态下移动时,可以获取无人飞机的移动方向作为指令方向。

相关度获取单元计算数据方向与指令方向之间的相关度。相关度获取单元基于如下三者中的至少一者,来计算相关度,所述三者是数据方向与指令方向之间的角度、数据的获取位置与指令方向的获取位置之间的距离,以及数据与指令方向的内积。相关度获取单元可以获取由外部装置计算的相关度。

显示改变单元进行如下的显示控制,即改变关于具有预定相关度的数据的显示样式。显示改变单元在显示单元上,突出显示如下的数据,该数据具有是预定阈值或更高的、或者是预定阈值或更低的相关度。此外,显示改变单元可以从具有最高相关度的数据开始,按相关度的顺序将数据显示在显示单元上。此外,显示改变单元可以根据相关度的统计值,来改变关于数据的显示样式。相关度的统计值的示例包括总和、平均、中值、最大值、最小值、离差、标准偏差、频率。

根据本发明的示例性实施例的数据浏览装置,能够针对浏览画面上的数据之中的、与指令方向具有高相关度的数据,来改变显示样式和提取数据,由此提高可视性。数据浏览装置进行显示控制,以基于诸如相关度等的关系,使多个数据之间在显示内容中产生差异。结果,即使当存在大量的浏览数据时,数据浏览装置也能够使用户称心地浏览浏览数据,同时既保持浏览数据的详细度,又维持可视性。

在以下的描述中,将参照附图,来详细描述应用了本发明的代表性的示例性实施例。

图1A例示了根据第一示例性实施例的数据浏览装置100的结构的示例。图1B例示了根据本示例性实施例的控制单元101的结构的示例。控制单元101包括中央处理单元(CPU)、微处理单元(MPU)等,并且例如进行用于信息处理的计算和逻辑确定等。

控制单元101包括数据更新单元151、指令执行单元(指令方向获取单元)152、对象数据提取单元(数据方向获取单元)153、相关度获取单元154、相关表生成单元155,以及显示改变单元156。控制单元101经由系统总线107,来控制连接到系统总线107的各构成要素。显示单元102包括控制图像信息的显示的控制器(显示控制单元120),以及诸如液晶屏和投影器等的输出装置。

摄像单元103对文档和人(包括人的行为)进行摄像。文档的类型除了诸如单张片材或小册子等的物理介质上的文档之外,例如还包括在平板设备等上显示的电子设备显示文档。操作输入单元104是按钮、触摸屏、键盘、鼠标等,并且输入通过触摸、多点触摸、点击、滚动和拖动而从用户发出的指令。

通信单元105是例如网络控制器,以局域网(LAN)技术、第三代(3G)技术、第四代(4G)技术、Bluetooth(注册商标,中文名称为“蓝牙”)技术和射频标识(RFID)技术为代表,并且通信单元105是控制与其他装置的连接的外部通信单元。通信单元105可以采用能够达到同样目的的其他通信方法。

测量单元106是全球定位系统(GPS)传感器、陀螺传感器、电子罗盘等,并且测量数据浏览装置100的位置、旋转、角度、角速度、方位等。测量单元106与操作输入单元104类似地充当输入单元。随机存取存储器(RAM)108用来临时存储从各构成要素提供的各种数据。例如,RAM 108临时存储点数据、线数据和面数据中的至少一者。

存储单元109利用诸如快闪存储器、硬盘驱动器(HDD)和光盘等的物理介质,来存储诸如在本示例性实施例中要执行的处理程序等的控制程序代码,外加各种设置数据、图像数据等。例如,存储单元109存储点数据、线数据和面数据中的至少一者。

根据从操作输入单元104供给的各种输入,或者经由网络从通信单元105供给的各种输入,来启动包括上述各构成要素的数据浏览装置100。具体而言,在来自操作输入单元104的输入或来自通信单元105的输入的供给时,中断信号被发送到控制单元101。然后,控制单元101读出存储在存储单元109中的各种控制信号,并根据控制信号进行各种控制。

此外,可以把存储根据本示例性实施例的程序的存储介质,电连接到系统或装置,并且使所述系统或所述装置读出存储在所述存储介质中的程序代码,而后执行该程序代码,由此实现本示例性实施例。

图2例示了包括根据本示例性实施例的数据浏览装置100的监视系统的概况。一个或更多穿行人正在监视空间201中行走。监视摄像机装置(摄像单元)203对监视空间201进行摄像。监视服务器装置204经由通信线路205,将监视摄像机装置203和数据浏览装置100彼此连接。

由监视摄像机装置203拍摄的图像被传送到监视服务器装置204,并被监视服务器装置204累积和分析。从图像的分析结果中,获取表示穿行人202的移动踪迹(trail)的轨迹数据,作为空间数据(浏览数据)。轨迹数据是线数据。数据浏览装置100除了控制监视服务器装置204和整个监视系统之外,还输出用于对累积的数据进行浏览的显示画面。此外,数据浏览装置100接收从监视者206发出的指令,并且辅助监视者206执行监视任务。

监视摄像机装置(摄像单元)203的具体示例除了固定式监视摄像机之外,还包括能够改变自身的视角和/或方位的摄像机、安装在可移动云台上的摄像机。可以根据需要,配备多个摄像机作为监视摄像机装置203。此外,监视摄像机装置203可以分析图像。

图3例示了根据本示例性实施例的轨迹数据的示例。如图3所示,在轨迹表301中,登记了与具有预定长度的踪迹(轨迹)相对应的轨迹标识(ID)、测量开始时的日期时间和测量结束时的日期时间。此外,在轨迹坐标表302中,针对在轨迹表301中定义的轨迹ID,登记了测量轨迹的装置、测量轨迹的时刻、坐标、速度、方向等。坐标及速度通过整合由多个摄像单元输出的测量结果而被管理,因而被获取为如下的数据,在该数据中,利用针对诸如摄像的位置及视角等的摄像坐标、而预先获取的信息,坐标被转换为鸟瞰平面布置图中的坐标。

能够用来获取轨迹数据的方法包括使用运动图像中的帧间差的移动体检测、检测面部的坐标的迁移、从GPS或无线标签获取的移动路径。在针对轨迹坐标表302、沿时刻为轴获取诸如表示轨迹数据的坐标系列等的系列值之后,进行下面将描述的处理。

图4A例示了轨迹数据的可视化的示例。基于属于从轨迹表301及轨迹坐标表302中获取的各轨迹的坐标构成的组,把可视化的轨迹数据,显示为通过经由直线将各坐标彼此连接而创建的连续线。一般而言,由于架子的布局、过道的形状等,被观察的轨迹数据被绘制为预定的图案。在图4A中,所有轨迹的全部坐标均被可视化,但是,也可以根据需要,基于特定日期时间和/或特定区域来指定要可视化的轨迹数据。

图4B例示了监视平面布置图的示例。图4B例示了超市的店铺的平面布置图,图4A中所示的轨迹数据从该超市的店铺的平面布置图中获取,在该平面布置图中,由于货架的布局而形成格状的过道410,并且在平面布置图的中央存在过道412,在过道412之间放置有两个圆柱状的货架411。在平面布置图的上、下端不存在墙壁和障碍物,并且如果在监视空间209内发生人的往来和出入,则这些动作会被观察到,但如果这些动作发生在监视空间209外,则观察不到这些动作。

此外,在平面布置图的右侧放置了收银机413,并且,人从柜台的离开会被观察到。也可以通过例如在宽阔区域中配备监视摄像机,来扩大监视空间209。此外,也可以在与其他监视系统之间,输入和输出出入信息等,由此,将表示同一穿行人202的数据彼此关联地进行管理。

图4C例示了数据浏览装置100的用户界面的示例。浏览画面401(显示单元102)显示图4A及4B中所示的平面布置图中的至少一者。此外,根据经由触摸屏(操作输入单元104)而从监视者的手402发出的指令,来执行放大、缩小、视点移动等。监视者206观察和分析利用该用户界面观察到的轨迹数据,由此了解穿行人202的行为模式。

接下来,将参照图5A及图5B、图6A、图6B、图6C及图6D以及图7A及图7B,来描述根据本示例性实施例的数据浏览装置100的操作的示例。图5A及图5B例示了在数据浏览装置100上进行的操作的示例。图6A、图6B、图6C及图6D例示了计算从操作输入单元104输入的输入矢量数据与轨迹数据之间的相关度的示例。图7A是例示数据浏览装置100的操作的流程图。在以下的描述中,假定通过由CPU执行控制程序,来实现流程图。在图7A中,整个过程(S700至S713)被配置为事件等待循环,该事件等待循环在检测到事件的输入时被触发执行,所述事件是诸如对数据进行的改变,以及在画面上进行的操作。

在步骤S700中,监视者206以用户手指,在浏览画面500(显示单元102)的触摸屏(操作输入单元104)上进行操作,由此,事件被输入到数据浏览装置100中。在画面上进行的操作被检测为事件的输入,由此触发执行在图7A中例示的根据本示例性实施例的流程。当触摸屏(操作输入单元104)检测到事件的输入时,处理前进到步骤S701,在步骤S701中,数据更新单元151确认在画面上显示的数据(例如,诸如轨迹数据等的浏览数据)是否存在更新。

在数据更新单元151检测到数据的更新的情况下(步骤S701:是),处理前进到步骤S702,在步骤S702中,再次读入数据。然后,处理前进到步骤S703。在数据更新单元151未检测到数据的更新的情况下(步骤S701:否),处理前进到步骤S703。

在步骤S703中,触摸屏(操作输入单元104)充当操作指令检测单元,并且检测通过监视者206的手指的移动而输入的操作指令,从而检测是否存在操作指令。在检测到操作指令的情况下(步骤S703:是),处理前进到步骤S704。在未检测到操作指令的情况下(步骤S703:否),处理前进到步骤S713。

在本示例性实施例中,如图5A所示,假设监视者206在触摸屏(操作输入单元104)上向右上侧移动用户手指,由此,检测到发出到数据浏览装置100的移动指令501。在触摸屏(操作输入单元104)检测到移动指令501的情况下(步骤S703:是),处理前进到步骤S704。

在步骤S704中,指令执行单元152进行用于获取操作指令的处理。操作指令可以是从操作输入单元104输入的各种操作指令。此外,指令执行单元152充当指令方向获取单元,并且获取从操作输入单元104输入的方向,作为指令方向。在图5A中,指令执行单元152基于移动指令501来获取移动方向及移动距离,作为输入矢量数据(指令方向)。此外,指令执行单元152可以获取如下的数据,作为输入矢量数据(指令方向),所述数据是诸如从鼠标、触摸笔或陀螺传感器输入的方向或角度,或者从电子罗盘输入的方位。

在步骤S705中,指令执行单元152根据在步骤S704中获取到的操作指令,来执行操作指令。例如,指令执行单元152充当显示范围移动单元,并且沿输入矢量数据(指令方向)来移动显示单元102的显示范围。在图5A中,指令执行单元152根据指向右上侧的移动指令501,来使在浏览画面500上显示的图像滚动。如图5B所示,图像的滚动使在浏览画面500上显示的浏览区域(显示范围)502,被移动到监视空间201的左下侧。此外,指令执行单元152可以根据操作指令,来放大或缩小浏览区域502。

在步骤S706中,指令执行单元152确定操作指令是否为开始或继续滚动图像的指令。在操作指令是开始或继续滚动图像的指令的情况下(步骤S706:是),处理前进到步骤S707。

在步骤S707中,对象数据提取单元153在显示于浏览画面500上的浏览数据之中,提取要用来计算与输入矢量数据的相关度的浏览数据(以下称为“对象数据”)。在本示例性实施例中,提取在浏览画面500的浏览区域(显示范围)502中包含的轨迹数据,以及位于浏览区域502附近的轨迹数据,作为对象数据。此外,对象数据提取单元153充当数据方向获取单元,并且获取轨迹数据的线方向作为数据方向。

提取位于浏览区域502附近的轨迹数据,以使得在画面滚动时,附近的轨迹数据被平滑地显示在浏览画面500上。此外,对象数据被限定于这些轨迹数据,以减小用于计算相关度的处理的负荷。例如,在应当对宽阔区域中的轨迹数据,进行用于计算相关度的处理的情况下,或者在由于具备可分配给计算的充裕资源,而可以不必减小用于计算相关度的处理的负荷的情况下,可以提取更多的轨迹数据。

在步骤S708中,相关度获取单元154针对被提取为对象数据的轨迹数据,来计算与从操作输入单元104输入的输入矢量数据的相关度。例如,相关度获取单元154计算如下角的余弦值,所述角是在输入矢量数据的方向与轨迹数据的方向之间形成的。在本示例性实施例中,计算余弦值作为相关度,使得输入矢量数据(指令方向)只需至少包含关于方向的数据。

如图6A所示,可以使用连接两个观测点(被选择点603)的线段613的方向,作为轨迹数据601的数据方向612,所述两个被选择点603是从包含在浏览画面500中的轨迹数据的观测点602中选择的。在这种情况下,相关度获取单元154可以自动选择在浏览画面500的显示区域502中包含的最外侧的两端的两个观测点,作为被选择点603。此外,可以由操作输入单元104(例如,鼠标的点击或者手指的触摸)来选择两个观测点(被选择点603)。

除此之外,可以利用如下的三个方向,来确定轨迹数据601的数据方向612,在所述三个方向中,第一个方向是通过如下方式定义的线段的方向,即选择包含在轨迹数据601中的观测点602(包括位于浏览画面500的显示区域502外部的观测点)之中的两端的点,作为被选择点603,第二个方向是如下线段的平均方向,这些线段各自连接相邻的两个观测点(包括位于浏览画面500的显示区域502外部的观测点),第三个方向是以如下方式获取的线段的方向,即对最新的观测点之前预定时间的轨迹数据进行抽样。此外,可以利用如下的方向、如下的方位等,来确定轨迹数据601的数据方向612,所述方向是通过如下方式获取的线段的方向,即从最新的观测点起,对具有预定长度的轨迹数据进行抽样,所述方位是通过人体的检测而检测的人的方位。

此外,在轨迹数据(线数据)601是点数据的移动的情况下,可以利用连接与任意移动时间段相对应的两个点的线段的方向,或者连接与任意移动距离相对应的两个点的线段的方向,来确定轨迹数据601的数据方向612。此外,可以利用如下线段的方向,来确定轨迹数据601的数据方向612,所述线段连接位于指令方向的起点和终点附近的轨迹数据(线数据)上的两个点。这种情况下的这两个点可以是两个观测点。

以这种方式,对象数据提取单元(数据方向获取单元)153获取如下的三个方向,作为数据方向,在所述三个方向中,第一个方向是线数据的切线方向,第二个方向是如下线段的方向,该线段连接在浏览画面500(显示单元102)上显示的线数据上的任意两点(两个观测点),第三个方向是如下线段的方向,该线段连接线数据上的任意两点(两个观测点),包括未在浏览画面500(显示单元102)上显示的线数据上的点(观测点)。此外,对象数据提取单元(数据方向获取单元)153可以获取多个线段方向的平均,作为数据方向。

如图6B所示,监视者206在触摸屏(操作输入单元104)上移动用户手指,由此,指令执行单元(指令方向获取单元)152获取到输入矢量数据604。例如,利用如下的线段,来获取输入矢量数据604,所述线段连接手指开始触摸触摸屏的点,和手指与触摸屏分离的点。

如图6C所示,相关度获取单元154计算输入矢量数据604的方向614与轨迹数据601的数据方向612之间的相对角度605的余弦值,作为相关度。在步骤S708中,相关度获取单元154针对多个对象数据(例如,关于多个穿行人202的轨迹数据)中的各个,来计算与输入矢量数据604的相对角度及其余弦值。

如图6D所示,相关表生成单元155使轨迹数据601(对象数据)和输入矢量数据604之间的相关度,与轨迹ID相关联,由此生成相关表。

在步骤S709及S710中,显示改变单元156基于存储在相关表中的相关度,来选择具有最高相关度的轨迹数据,并且在浏览画面500(显示单元102)上突出显示所选择的轨迹数据。此外,显示改变单元156可以突出显示如下的轨迹数据,该轨迹数据具有是预定阈值或更高的相关度。

在本示例性实施例中,移动指令501确定浏览画面500的滚动方向,并且还一道确定输入矢量数据(指令方向)604。在这种情况下,指令执行单元152充当显示范围移动单元和指令方向获取单元。移动指令501使浏览画面500滚动,同时使具有高相关度的轨迹数据在浏览画面500上被突出显示。

如图5B所示,滚动方向是监视区域中的左下方向,但是如图6B所示,输入矢量数据604的方向614是右上方向。在这种情况下,突出显示指向右上方向的如下轨迹数据,该轨迹数据与指向右上方向的输入矢量数据604具有高的相关度。另一方面,浏览画面500在突出显示的轨迹数据指向的右上方向的相反方向(左下方向)上滚动,并且这意味着,浏览画面500根据滚动,在回溯时间轴的同时(在时间轴的反方向上)显示观测点。

在相对角度605是60度的情况下,获取的余弦值为0.5。在相对角度605是240度的情况下,获取的余弦值为-0.5。另一方面,在移动指令501在方向上反转的情况下,输入矢量数据604的方向614改变180度,并且余弦值从正值改变为负值(或从负值改变为正值)。在计算相关度,而不管移动指令501是否指向相反方向的情况下,相关度获取单元154计算余弦值的绝对值作为相关度。

此外,当根据浏览画面500的滚动、浏览画面500在追从时间轴的同时(在时间轴的正方向上)显示观测点时,相关度获取单元154计算通过将余弦值乘以-1而获取的值,作为相关度。例如,在监视者206在轨迹数据601的数据方向612的相反方向(左下方向)上,在触摸屏(操作输入单元104)上移动用户手指的情况下,输入指向左下方向的移动指令,并且获取到指向左下方向的输入矢量数据。

在这种情况下,当相关度获取单元154计算通过将余弦值乘以-1而获取的值、作为相关度时,突出显示如下的轨迹数据610,该轨迹数据610指向的方向(右上方向)与指向左下方向的输入矢量数据相反。然后,浏览画面500在与突出显示的轨迹数据610相同的方向(右上方向)上滚动,并且这意味着,浏览画面500根据滚动,在追从时间轴的同时(在时间轴的正方向上)显示观测点。

此外或作为另一选择,相关度获取单元154可以使用被用来获取轨迹数据601的数据方向612的线段的方向及长度,作为轨迹矢量数据,由此计算轨迹矢量数据与输入矢量数据604的内积,作为相关度。通过以这种方式计算相关度,使得在轨迹矢量数据形成相同的相对角度的情况下,在这些轨迹矢量数据之间,较长的轨迹矢量数据能够具有较高的相关度,由此,即使在浏览画面500上,长的轨迹数据混入到其他轨迹数据中,也优先突出显示长的轨迹数据。结果,监视者206能够在滚动浏览画面500的同时追踪轨迹的流动,而不会丢失轨迹的流动。

此外,相关度获取单元154可以计算出通过使上述的内积值,乘以轨迹矢量数据与输入矢量数据604之间的距离的倒数而获取到的值,作为相关度。以这种方式计算相关度,使得与远离于输入矢量数据604的轨迹数据的相关度相比,位于输入矢量数据604附近的轨迹数据能够具有较高的相关度,由此,优先突出显示附近的轨迹数据,结果,监视者206能够辨别位于移动指令501附近的所需轨迹。

可以通过根据使用目的,任意地选择这些相关度,来实现本示例性实施例。只要相关度获取单元154基于如下三者中的至少一者,计算出相关度,能够实现本示例性实施例即可,所述三者是数据方向与指令方向之间的角度、数据的获取位置与指令方向的获取位置之间的距离,以及数据与指令方向的内积。

此外,可以根据监视者206的目的和用途,任意地确定是选择具有高相关度的轨迹数据,还是选择具有低相关度的轨迹数据。在步骤S709中,显示改变单元156可以选择如下三个轨迹数据中的至少一者,所述三个轨迹数据是具有是阈值或更低的相关度的轨迹数据、具有绝对值是阈值或更高的相关度的轨迹数据,以及具有绝对值是阈值或更低的相关度的轨迹数据。以这种方式,显示改变单元156能够设置基准相关度的范围,基于该基准相关度的范围而选择轨迹数据。

显示改变单元156在显示单元102上,突出显示如下的数据,该数据具有是预定阈值或更高的相关度、或者是预定阈值或更低的相关度。

此外,在步骤S710中,可以用各种显示样式,将轨迹数据显示在浏览画面500(显示单元102)上。换言之,以如下的显示样式来显示轨迹数据,所述显示样式使得能够辨别被选择的轨迹数据(以下称为“被选择轨迹数据”)与未被选择的轨迹数据(以下称为“未选择轨迹数据”)。

例如,在浏览画面500滚动的同时,显示单元102可以用与未选择轨迹数据的颜色不同的颜色,来显示被选择轨迹数据的颜色,从而突出显示具有高相关度的被选择轨迹数据。此时,显示单元102可以根据相关度,来改变轨迹数据的宽度、浓淡、亮度、色调、透明度等,以进一步提高被选择轨迹数据的可视性。

此外,在大量的轨迹数据在彼此交叠的同时被显示的情况下,显示改变单元156可以基于相关度对轨迹数据进行排序,以防止监视者206关注的轨迹数据被其他轨迹数据隐藏。在这种情况下,显示单元102可以以根据排序结果的顺序,来绘制轨迹数据。显示改变单元156可以从具有最高相关度的数据开始或从具有最低相关度的数据开始,按相关度的顺序将数据显示在显示单元102上。

在显示改变单元156在步骤S710中改变轨迹数据的显示样式之后,处理前进到步骤S713。另一方面,在步骤S706中,操作指令既不是开始滚动图像的指令,又不是继续滚动图像的指令的情况下(步骤S706:否),处理前进到步骤S711。在步骤S711中,指令执行单元152确定操作指令是否为结束滚动图像的指令。在操作指令是结束滚动图像的指令的情况下(步骤S711:是),处理前进到步骤S712,在步骤S712中,显示单元102使轨迹数据的显示样式返回到标准显示样式。在操作指令不是结束滚动图像的指令的情况下(步骤S711:否),处理前进到步骤S713。

在步骤S713中,显示单元102根据步骤S700至步骤S712的处理,来改变浏览画面500的画面绘制。例如,显示单元102根据浏览区域502的放大或缩小以及各数据的显示样式,来改变浏览画面500的浏览区域502以及显示样式。而后,转变到等待下一事件的输入的状态。

图7B例示了输入到数据浏览装置100中的操作指令的随时间改变的示例,这对应于图5A及图5B中所示的滚动和输入矢量数据。触摸屏(操作输入单元104)输入操作指令503至507。浏览画面508至512分别对应于操作指令503至507。

在步骤S700中,监视者206以用户手指触摸触摸屏(操作输入单元104),由此,操作指令503作为事件而被输入。在这种情况下,在步骤S701及S702中,手指仍然触摸触摸屏,使得浏览画面508处于初始状态。

在步骤S703至步骤S705中,监视者206在触摸屏(操作输入单元104)上,向右上侧移动用户手指,由此,操作指令504、505或506被输入。在操作指令504、505或506是开始或继续滚动图像的指令的情况下(步骤S706:是),在步骤S707中,对象数据提取单元153提取在浏览画面509、510或511上显示的轨迹数据。然后,在步骤S708中,针对轨迹数据,相关度获取单元154基于移动指令504、505或506,来计算与输入矢量数据(操作指令)的相关度。

在图7B中,从指向右上方向的轨迹数据的相关度的计算中,获取到高的值。因此,在步骤S709、S710及S713中,显示改变单元156选择具有是预定阈值或更高的相关度的轨迹数据,并且在浏览画面509、510或511上突出显示被选择轨迹数据。

在步骤S711中,监视者206使用户手指与触摸屏(操作输入单元104)分离,由此,操作指令507作为滚动的结束而被输入。然后,在步骤S712及S713中,显示单元102结束轨迹数据的突出显示,并且使浏览画面512上的轨迹数据的显示样式,返回到标准显示样式。

以这种方式,在从操作指令(移动指令)获取输入矢量数据、并针对各浏览数据(空间数据)计算与输入矢量数据的相关度之后,数据浏览装置100根据相关度,来改变滚动的画面上的浏览数据的显示样式。对于这些处理过程而言,操作指令被连续输入,这使得浏览画面根据操作指令而在各种方向上连续地滚动,并且一道使浏览数据在浏览画面上被连续地突出显示。

利用该结构,即使由于浏览数据(空间数据)以复杂的方式彼此交叉,致使浏览数据以低的可视性被显示,数据浏览装置100也能够藉由浏览数据的突出显示,来提高可视性。结果,能够防止监视者206在滚动画面的同时,丢失监视者206一直在追踪的轨迹的流动。此外,在滚动结束时,使浏览数据的显示样式返回,这消除了切换浏览数据的显示模式等的必要,从而有助于减轻监视者206浏览数据的负荷。

当监视者206快速滚动画面以监视宽阔的监视区域时,这些效果尤其有用。

此外,数据浏览装置100还可以通过使用过渡效果等,来强调浏览数据的显示样式的改变,以提高监视者206浏览浏览数据时的可视性。此外,数据浏览装置100可以不使浏览数据的显示样式返回,而使显示样式维持于改变的状态(例如,突出显示状态),由此提高监视者206浏览浏览数据时的可视性。

此外,当基于相关度来选择浏览数据时,相关表生成单元155基于相关表来生成例如相关度的直方图,并且显示改变单元156选择如下的组,该组对应于是预定阈值或更低的频率。显示单元102突出显示属于该组的浏览数据,由此,即使浏览数据作为包括少量数据的数据组而被埋没在其他浏览数据中,监视者206也能够轻松地找出所述被埋没的浏览数据。

此外,参照在浏览画面上显示的浏览数据(空间数据)是二维数据的示例,而描述了本示例性实施例。然而,数据浏览装置100也可以是包括如下用户界面的浏览装置,所述用户界面显示作为包括高度、深度等的三维数据的浏览数据(空间数据)。

此外,参照浏览数据是轨迹数据的示例,而描述了本示例性实施例,但是,本示例性实施例除了应用于诸如轨迹数据等的空间数据之外,还可以应用于诸如线型图、树型结构图和社交图等的浏览数据。

本示例性实施例在下述情况下是尤其有利的,在监视者206期望的浏览画面的比例尺和信息量、不足以使浏览数据被包含在浏览画面(显示范围)中的情况下,在滚动浏览画面的同时,跟踪特定的浏览数据。此外,以同样的方式,本示例性实施例在下述情况下也是有利的,在浏览数据被包含在浏览画面(显示范围)中、但由于大量数据在彼此交叠的同时被显示致使可视性降低的情况下。这对应于如下的情形,即在固定的显示范围内浏览数据,而不按指令方向来移动显示范围。在这两种情况中的任一情况下,与本示例性实施例类似地,数据浏览装置100利用作为要跟踪的浏览数据的对象数据的部分或全部,来获取数据方向。然后,数据浏览装置100计算获取到的数据方向与输入矢量数据(指令方向)之间的相关度(例如,余弦值或内积),并且改变具有预定相关度的对象数据的显示样式。当如前一种情况所述、浏览数据未被包含在浏览画面中的情况下,以上述方式控制显示便于跟踪跨越画面的数据。另一方面,当如后一种情况所述、浏览数据被包含在浏览画面中的情况下,该显示控制使得根据输入矢量数据,来突出显示大量数据中的一部分,从而便于了解在画面上存在何种数据。

此外,相关度获取单元154可以基于浏览数据拥有的属性值,对相关度进行加权。例如,相关度获取单元154可以使用浏览数据在观测点滞留的时间段以及周边的混杂程度,作为加权系数,由此对相关度进行加权。在这种情况下,相关度获取单元154把滞留时间长的轨迹数据以及周边的混杂程度高的轨迹数据,乘以较大的加权系数,这使得位于人口密度高的监视区域中的轨迹数据被突出显示,从而有助于提高检测混杂的监视者206的可视性。

以下,将利用多点触摸的示例,来描述第二示例性实施例,其中,监视者206用多个用户手指在触摸屏(操作输入单元104)上进行操作。具体而言,数据浏览装置100根据从操作输入单元104输入的多个输入点,利用相关度来改变显示样式。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图8A、图8B、图8C、图8D、图8E及图8F以及图9,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

图8A、图8B、图8C、图8D、图8E及图8F例示了从操作输入单元104输入多个操作指令。图9是例示根据本示例性实施例的数据浏览装置100的操作的流程图。

在图9中,在与7A中所示的步骤S704至步骤S713相对应的处理中,插入了步骤S905及S906,并且步骤S910至步骤S912形成循环结构。步骤S900至步骤S903及步骤S909分别对应于图7A中所示的步骤S700至步骤S703及步骤S707。

在步骤S904中,指令执行单元152进行用于获取第一操作指令的处理。操作指令可以是从操作输入单元104输入的各种操作指令。例如,监视者206用多个用户手指,在浏览画面500(显示单元102)的触摸屏(操作输入单元104)上进行操作。在获取操作指令的输入点的数量之后,指令执行单元152获取各输入点的坐标、移动距离、移动方向等。

在步骤S905中,指令执行单元152确定是否输入了多个输入点(多点触摸)。在输入了多个输入点的情况下(步骤S905:是),处理前进到步骤S906。在未输入多个输入点的情况下(步骤S905:否),处理前进到步骤S907。

在步骤S906中,指令执行单元152基于多个输入点来获取第二操作指令。

例如,图8A、图8B、图8C、图8D、图8E及图8F例示了监视者206用两个用户手指在触摸屏(操作输入单元104)上进行操作。如图8A所示,指令执行单元152获取与两个手指的位置相对应的两个输入点801,并且获取正交矢量803,作为输入矢量数据(指令方向),所述正交矢量803在连接两个输入点801的线段802的中点与线段802正交。

此外,指令执行单元152获取第二操作指令,诸如监视者206在触摸屏(操作输入单元104)上拖动用户的两根手指的操作指令(如图8B所示)、监视者206用用户的两根手指在触摸屏(操作输入单元104)上进行双指分合(pinch)操作从而放大或缩小浏览区域502的操作指令(如图8C所示),以及监视者206用用户的两根手指在触摸屏(操作输入单元104)上进行双指分合操作、从而旋转浏览区域502的操作指令(如图8D所示)。

第二操作指令是经由多点触摸从操作输入单元104输入的各种操作指令中的操作指令。在这种情况下,可以获取由多个输入点的改变获取的输入矢量数据、放大率、缩小率、旋转角等,作为表示第二操作指令的数据。此外,指令执行单元(指令方向获取单元)152可以同时接收多个操作指令。

例如,监视者206可以在图8A中所示的双指分合操作的状态下,如图8B所示拖动用户手指。指令执行单元(指令方向获取单元)152可以在拖动方向上滚动显示范围,并获取滚动方向作为指令方向,并且一道获取正交矢量803作为指令方向。换言之,同时获取两个输入矢量数据(两个指令方向)。

此外,监视者206可以在图8A中所示的双指分合操作的状态下,如图8C所示放大或缩小浏览区域502。指令执行单元(指令方向获取单元)152能够在图8C中所示的放大方向或缩小方向上,放大或缩小显示范围,并且一道获取图8A中所示的正交矢量803,作为输入矢量数据(指令方向)。

此外,监视者206可以在图8A中所示的双指分合操作的状态下,如图8D所示旋转浏览区域502。指令执行单元(指令方向获取单元)152能够在图8D中所示的旋转方向上,使显示范围旋转,并且一道获取图8A中所示的正交矢量803,作为输入矢量数据(指令方向)。

此外,如图8E所示,监视者206在触摸屏(操作输入单元104)上拖动用户的两根手指。指令执行单元152获取与作为拖动的起点的两根手指的位置相对应的两个输入点806,以及与作为拖动的终点的两根手指的位置相对应的两个输入点807。指令执行单元152获取将输入点806间的中点808与输入点807间的中点809进行连接的直线,作为输入矢量数据810。

在步骤S907中,指令执行单元152分别根据在步骤S904和步骤S906中由指令执行单元152获取到的第一操作指令和第二操作指令,来执行操作指令。例如,指令执行单元152滚动浏览画面500上的图像,或者放大或缩小浏览区域502。此外,指令执行单元(指令方向获取单元)152基于从输入单元输入的触摸、点击、滚动、拖动、旋转、角度、角速度和方位中的至少一者,来获取指令方向。

在步骤S908中,指令执行单元152确定操作指令是否为开始或继续滚动图像或者输入多点触摸的指令。在操作指令是开始或继续滚动图像或者输入多点触摸的指令的情况下(步骤S908:是),处理前进到步骤S909。

在步骤S909中,对象数据提取单元153提取对象数据。然后,处理前进到步骤S910至步骤S912的循环。在步骤S910中,相关度获取单元154针对作为对象数据的轨迹数据,来计算与输入矢量数据(指令方向)的相关度。例如,相关度获取单元154计算如下角的余弦值,所述角是在输入矢量数据803或810的方向与轨迹数据的方向之间形成的。在本示例性实施例中,计算余弦值作为相关度,由此,输入矢量数据803或810只需至少包含关于方向的数据。

例如,如图8F所示,相关度获取单元154计算输入矢量数据803的数据方向814与轨迹数据601的数据方向612之间的相对角度804的余弦值,作为相关度。此外,相关度获取单元154可以计算线段802与轨迹数据601的数据方向612之间的相对角度805的余弦值,作为相关度。通过利用连接两个输入点801的线段802计算相关度,即使当监视者206未在触摸屏(操作输入单元104)上移动用户手指时,相关度获取单元154也能够获取指令方向来计算相关度。

此外,在同时获取到两个输入矢量数据的情况下(两个指令方向),相关度获取单元154针对各指令方向,计算与数据方向的相对角度的余弦值,作为相关度。

在步骤S911中,与第一示例性实施例中的步骤S709类似地,显示改变单元156基于相关度来选择数据。在步骤S912中,显示改变单元156改变关于选择的数据的显示样式,以使数据针对各相关度可区分。在上述的步骤S908中,操作指令既不是开始滚动图像的指令,也不是继续滚动图像的指令,又不是输入多点触摸的指令的情况下(步骤S908:否),处理前进到步骤S913。

在步骤S913中,指令执行单元152确定操作指令是否为结束滚动图像的指令。在操作指令是结束滚动图像的指令的情况下(步骤S913:是),处理前进到步骤S914。然后,显示单元102针对数据,使显示样式返回到标准显示样式。在操作指令不是结束滚动图像的指令的情况下(步骤S913:否),处理前进到步骤S915。在步骤S915中,根据在上述处理中确定的关于显示区域(显示范围)502和各数据的显示样式,显示单元102向显示控制单元120发出指令,从而更新画面的绘制。然后,处理前进到下一事件的输入的等待状态。

以这种方式,指令执行单元(指令方向获取单元)152基于从输入单元输入的操作指令,来获取指令方向,并且对象数据提取单元(数据方向获取单元)153获取轨迹数据。然后,相关度获取单元154针对各轨迹数据,来计算与指令方向的相关度,并且显示改变单元156针对各相关度来改变显示样式。此外,指令执行单元(指令方向获取单元)152可以同时获取两个输入矢量数据(两个指令方向)。

本示例性实施例能够使数据浏览装置100通过利用多点触摸操作等,来并入更多操作,因而提供如下的效果,即防止监视者206在滚动画面的同时,丢失在浏览区域(显示范围)502中、监视者206一直以用户自己的眼睛在追踪的所需轨迹数据。

例如,当在上述图8A中所示的双指分合操作的状态下、监视者206如图8B所示拖动用户手指时,指令执行单元(指令方向获取单元)152同时获取两个输入矢量数据(两个指令方向)。此时,相关度获取单元154除了突出显示与图8B中所示的拖动方向(指令方向)具有高相关度的数据,还利用其他显示样式,来突出显示与图8A中所示的正交矢量803具有高相关度的数据。

结果,除了拖动手指以滚动浏览区域502从而移动监视者206的视点的操作指令,指令执行单元(指令方向获取单元)152还能够根据双指分合操作来获取输入矢量(指令方向)。利用该结构,数据浏览装置100突出显示如下的数据,该数据与另一指令方向的相关度高于与滚动方向的相关度,因而,数据浏览装置100能够防止监视者206在滚动画面的同时丢失所需数据。

如下的做法也是有效的,即如图8E所示,使用输入矢量数据810与数据方向之间的相对角度的余弦值,作为相关度。通过由多个输入点的起点和终点来获取指令方向,即使当各输入点表现出剧烈或频繁的改变时,数据浏览装置100也能够基于操作者预期的指令方向来突出显示数据。

此外,即使当根据操作指令来旋转浏览区域502时,数据浏览装置100也能够与浏览区域502的旋转一道旋转指令方向,由此维持使具有高相关度的数据的突出显示。结果,即使当由于旋转移动而使画面改变时,数据浏览装置100也能够防止监视者206丢失所需数据。

除此之外,还可以使用由陀螺传感器检测的方向或角度,或者由电子罗盘检测的方位。监视者206对平板终端之类的数据浏览装置100进行诸如立起、平放和旋转的操作,从而经由重力方向、角度和方位的改变,来旋转指令方向。结果,数据浏览装置100能够根据监视者206保持数据浏览装置100的意图,以及数据浏览装置100周围的状况,动态地突出显示数据。

现在,在图9中所示的流程中,数据浏览装置100在步骤S910至步骤S912的循环中,针对各相关度来改变关于数据的显示样式。然而,步骤S912可以被移动到循环之外,并且,在相关度获取单元154计算全部的相关度之后,显示改变单元156可以在组合多个相关度的同时改变数据的显示样式。该方法能够抑制或防止如下的不利影响,即抑制或防止选择全部的方向来突出显示数据,或者抑制或防止过度地突出显示单个方向。

此外,可以根据数据、操作输入等,动态地改变输入点的数量。例如,在数据浏览装置100具有笔输入模式和手指输入模式的情况下,笔输入模式被假定为不涉及多个输入点。因此,即使当错误地输入多个输入点时,数据浏览装置100也可以省略基于该输入的相关度的计算。数据浏览装置100能够以这种方式来限制根据多点触摸的相关度的计算,由此控制处理负荷。

在本示例性实施例中所述的示例中,数据浏览装置100被假定为处置一个或两个输入点,但在多点触摸被启用时,也可以处置三个或更多输入点。具体而言,可以围绕被设置为三个或更多输入点的平均坐标的中心点,来输入请求旋转的指令操作。此外,数据浏览装置100可以两两地使用三个或更多输入点,以针对每两个输入点来获取指令方向,并且计算各指令方向与数据方向之间的相关度。

以下,将描述第三示例性实施例作为示例,其中,根据相关度的改变,来改变操作指令或者数据的显示样式。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图10A、图10B、图10C及图10D以及图11,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

图10A、图10B、图10C及图10D例示了根据相关度来改变显示单元102的显示范围的移动速度。图11是例示根据本示例性实施例的数据浏览装置100的操作的流程图。

在图11中,在与图7A中所示的步骤S704至步骤S713相对应的处理中,插入了步骤S1109及步骤S1110,并且步骤S1100至步骤S1115形成循环结构。步骤S1100至步骤S1108及步骤S1111至步骤S1115分别对应于图7A中所示的步骤S700至步骤S708及步骤S709至步骤S713。

图10A例示了轨迹数据组(线数据组)的示例。在轨迹数据组1001中,轨迹数据在从左侧流入之后,在右侧分支为4个方向。进行如下的假定,即在以这种方式流动的轨迹数据组1001的数据的空间中,设置了浏览区域(显示范围)1002,并且监视者206观察浏览区域1002的内部。浏览区域1002能够通过滚动而被移动。此时,在步骤S1105中,指令执行单元152执行请求滚动的操作指令,由此,浏览区域1002被移动。

在步骤S1108中,相关度获取单元154计算数据方向与指令方向之间的相关度。在步骤S1109中,相关度获取单元154充当相关度改变检测单元,并且监视浏览区域1002中的相关度,以检测该相关度的改变。例如,在朝向同一方向的轨迹数据组(线数据组)分开或分支的情形下,浏览区域1002中的相关度改变。

图10B例示了在预定时刻观察的轨迹数据及其相关度。图10C例示了沿指令方向1013移动浏览区域(显示范围)1002。在图10C中,根据各时刻的轨迹数据的数据方向与指令方向之间的相关度的总和,来改变浏览区域(显示范围)1002的移动速度。图10D例示了位于浏览区域1002中的轨迹数据的数量,以及这些轨迹数据的相关度的平均及总和。

在图10B、图10C及图10D中所示的示例中,指令执行单元152接收被连续输入的操作指令1003及操作指令1004。响应于此,指令执行单元152充当显示范围移动单元,并且沿指令方向1013,从左侧向右侧移动浏览区域(显示范围)1002。换言之,指令执行单元152滚动浏览区域(显示范围)1002。在这种情况下,如图10D所示,当浏览区域(显示范围)1002经过轨迹数据分支的位置时,相关度的总和在时刻t=6和t=7急剧减小。

在步骤S1110中,在浏览区域(显示范围)1002中的轨迹数据的数据方向与指令方向1013之间的相关度总和或其改变量超过预定阈值的情况下,指令执行单元(显示范围移动单元)152增加/减小滚动速度,或者停止滚动。在图10C中,随着浏览区域(显示范围)1002中的轨迹数据的相关度的总和的减小,指令执行单元(显示范围移动单元)152降低滚动速度。因此,当浏览区域(显示范围)1002经过分支位置时,滚动速度被降低。

利用该结构,数据浏览装置100能够向监视者206,提醒浏览区域1002中的数据的分布发生改变。此外,数据浏览装置100通过减小滚动速度,使监视者206能够避免如下的风险,即浏览区域1002中的数据的分布发生改变时避免遗漏。

根据本示例性实施例,监视者206能够获取如下的效果,即能够检测数据的改变而无需执行复杂的分析,并且监视者206能够检测数据的改变中的异常。在上述的示例中,数据浏览装置100使用浏览区域1002中的数据的相关度的总和,但考虑到浏览区域1002中的数据数量的增加/减少的影响,也可以使用相关度的平均,替代相关度的总和。

除此之外,数据浏览装置100也可以生成浏览区域1002中的数据的相关度的直方图,并且使用相关度之中的众数值的改变。通过该方法,即使当多个数据被分布在多个方向上时,监视者206也能够针对各频率值来检测改变。此外,除了增加/减小滚动速度和停止滚动之外,指令执行单元(显示范围移动单元)152还可以根据相关度,来改变显示单元102的显示范围的移动方向(滚动方向)。例如,指令执行单元(显示范围移动单元)152在轨迹数据的分支位置,在最大数量的轨迹数据分叉的方向上,抓取浏览区域(显示范围)1002的滚动方向。

以下,将描述第四示例性实施例作为示例,其中,利用网络摄像机、无人飞机等,基于图像数据来执行远程监视。

下面,将参照图12、图13A、图13B、图13C、图13D及图13E以及图14,来描述根据本示例性实施例的数据浏览装置100的结构和示例操作。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

图12例示了包括根据本示例性实施例的数据浏览装置100的监视系统的概况。作为与图2的差异,图12中所示的监视系统包括远程监视装置1201和远程操作单元1202。远程监视装置1201包括监视摄像机单元(摄像单元),该监视摄像机单元获取图像数据,以在显示单元102上显示数据。此外,远程监视装置1201是包括驱动单元、从空中对监视空间201进行摄像的无人飞机,该驱动单元实现空中的姿势控制、空中驱动,以及自力推进运动。

远程监视装置1201能够通过在空中悬停或在空中移动,来对监视对象(例如,穿行人202)进行监视。由监视摄像机单元拍摄的图像数据经由无线通信等,被传送到监视服务器装置204。远程操作单元1202操纵远程监视装置1201的运动(向前/向后/向左/向右运动、方向转换,以及上升/下降运动),并且操纵监视摄像机单元的方位、视角等。远程操作单元1202接收由监视者206进行的这些操作,并将这些操作发送到远程监视装置1201。

数据浏览装置100获取由监视摄像机装置203或远程监视装置1201拍摄的图像数据,并且获取表示监视对象(穿行人202)的方位的轨迹数据,作为空间数据(浏览数据)。监视对象的轨迹数据(线数据)或者表示当前位置的动点数据(点数据)在叠加于图像数据上的同时,被显示在显示单元102上。被设置为监视对象的数据以及数据的空间类似于图3以及图4A、图4B及图4C。

图13A、图13B、图13C、图13D及图13E例示了无人飞机的摄像。图14是例示根据本示例性实施例的数据浏览装置100的操作的流程图。

如图13A所示,远程监视装置1201在监视空间201上方的空中移动的同时,对监视空间201进行摄像。监视对象(穿行人1305)正在监视空间201中行走。在本示例性实施例中,针对拍摄的图像数据的各帧,来进行图14中所示的步骤S1401至步骤S1412。首先,在步骤S1401中,数据更新单元151确认在显示单元102上显示的数据(轨迹数据等)是否存在更新。

在数据更新单元151检测到数据的更新的情况下(步骤S1401:是),处理前进到步骤S1402,在步骤S1402中,数据更新单元151再次读入数据。然后,处理前进到步骤S1403。在数据更新单元151未检测到数据的更新的情况下(步骤S1401:否),处理前进到步骤S1403。在步骤S1403中,指令执行单元152充当显示范围移动单元,并且确定浏览区域(显示范围)是否被改变。

浏览区域的改变是指视野的改变、摄像范围的改变和视角的改变,这些改变可能归因于监视摄像机装置203、远程监视装置1201等的摄像单元的运动等。

在图13A中,远程监视装置1201根据从监视者206发出的指令或者自主的移动,从监视位置1301移动到监视位置1302。在这种情况下,使由远程监视装置1201的监视摄像机单元(摄像单元)进行摄像的摄像范围,从摄像范围1303移动到摄像范围1304。该移动导致在显示单元102上显示的显示范围的改变。在步骤S1403中,指令执行单元(显示范围移动单元)152检测由浏览区域(显示范围)的该改变引起的图像数据的改变。

作为用于检测图像数据的改变的方法,指令执行单元152可以通过使用背景的图案匹配,或者通过与监视服务器装置204协作,以使用监视空间201中的远程监视装置1201的绝对坐标和远程监视装置1201的姿势,由此检测改变。除此之外,在能够从监视服务器装置204,获取表示远程监视装置1201的运动(位置、旋转、角度、角速度、方位等)的信息的情况下,指令执行单元152可以通过使用监视空间201中的远程监视装置1201的移动量,来检测图像数据的改变。

在本示例中,假定指令执行单元152基于诸如背景等的固定物与远程监视装置1201之间的相对位置,来检测浏览区域(显示范围)的改变,并且在本示例中,不考虑在图像数据上叠加显示的轨迹数据与远程监视装置1201之间的相对位置、相对速度等。此时,在检测到浏览区域(显示范围)的改变的情况下(步骤S1403:是),处理前进到步骤S1404。在未检测到浏览区域(显示范围)的改变的情况下(步骤S1403:否),处理前进到步骤S1412。

在步骤S1404中,指令执行单元(指令方向获取单元)152获取浏览区域(显示范围)的移动量或改变量。图13B及图13C例示了由于远程监视装置1201的移动而使浏览区域(显示范围)改变的示例。

如图13B所示,在远程监视装置1201的位置1306,监视摄像机单元(摄像单元)对摄像范围1307进行摄像,并且在使位于监视空间201中的动点数据1308叠加于图像数据上的同时,使动点数据1308显示在显示单元102上。此时,如图13C所示,根据远程监视装置1201从位置1306到位置1309的移动,监视摄像机单元在将摄像范围从摄像范围1307移动到摄像范围1310的同时,对摄像范围进行摄像。

针对根据摄像单元以这种方式的移动而连续获取的图像数据,通过针对各帧执行图案匹配等,来量化浏览区域(显示范围)的移动量或改变量。

在步骤S1405中,通过使用浏览区域的改变以及对移动量或改变量的量化的结果,指令执行单元(指令方向获取单元)152确定是否能够基于浏览区域的改变的方向分量而获取到指令方向。

方向分量是指图像数据的改变的方向及其移动量,所述改变可能归因于监视摄像机单元的移动或者摄像机轴的旋转。基于例如通过图案匹配等检测的、图像数据改变的像素数,来确定移动量。在从图像数据的改变中获取到方向分量的情况下(步骤S1405:是),指令执行单元(指令方向获取单元)152基于监视摄像机单元(摄像单元)的运动方向来获取指令方向。然后,处理前进到步骤S1406。

从步骤S1406到S1409的处理是如下的处理,即第一示例性实施例中的“输入矢量数据”被替换为“基于摄像单元的运动方向的指令方向”,并且对应于步骤S707至步骤S710的处理。

另外,在步骤S1406中,对象数据提取单元(数据方向获取单元)153提取对象数据,并获取数据方向。在步骤S1407中,相关度获取单元154针对作为对象数据的轨迹数据,基于摄像单元的运动方向来计算与指令方向的相关度。在步骤S1408及步骤S1409中,显示改变单元156改变关于具有预定相关度的数据的显示样式。

如图13C所示,在远程监视装置1201正在移动的同时,获取远程监视装置1201的移动方向1320作为指令方向,并且基于数据方向与指令方向之间的相关度,突出显示轨迹数据1311,而不突出显示轨迹数据1312。以这种方式,数据浏览装置100基于摄像单元的运动方向,来改变关于具有预定相关度的数据的显示样式,从而能够提高所需数据的可视性。

在步骤S1405中,在未从图像数据的改变中获取到方向分量的情况下(步骤S1405:否),处理前进到步骤S1410。在步骤S1410中,检测远程监视装置1201是否停止移动。在远程监视装置1201停止移动的情况下(步骤S1410:是),处理前进到步骤S1411,在步骤S1411中,显示单元102使轨迹数据的显示样式返回到标准显示样式。

图13D例示了根据远程监视装置1201的移动的停止,数据的突出显示结束,并返回到标准显示样式。如图13D所示,动点数据1313返回到以标准显示样式显示。

在步骤S1410中,在远程监视装置1201未停止移动的情况下(步骤S1410:否),处理前进到步骤S1412。在步骤S1412中,显示单元102基于步骤S1401至步骤S1411的处理,来改变画面的绘制。

对由摄像单元拍摄的图像数据的大量的帧,连续进行上述的循环处理。图13E例示了通过连续进行上述处理而获取的浏览区域的示例。如图13E所示,浏览区域(显示范围)1314至浏览区域(显示范围)1318是沿远程监视装置1201从位置1306到位置1309的移动方向1320进行摄像的浏览区域。

在浏览区域(显示范围)1314及浏览区域(显示范围)1318中,因为远程监视装置1201停止移动,所以轨迹数据的突出显示结束。另一方面,在浏览区域(显示范围)1315至浏览区域(显示范围)1317中,因为远程监视装置1201正在移动,因此,在远程监视装置1201的移动方向1320被设置为指令方向的状态下,突出显示具有高相关度的轨迹数据。

本示例性实施例中的数据是如下的点数据,该点数据是由监视对象(穿行人202)的当前位置和方位(位置方向)来表示的。点数据的位置方向是指在点数据的位置处的方向。例如,使用作为点数据的穿行人202的当前位置处的、穿行人202的面部或身体的方位,作为数据方向。此外,利用表示监视对象的移动踪迹的轨迹数据,也能够实现本示例性实施例。

以这种方式,参照如下的示例,而描述了本示例性实施例,在所述示例中,基于执行远程监视的摄像单元的运动方向,来改变关于数据的显示样式。利用该结构,当在监视区域中存在大量的穿行人202时,数据浏览装置100能够防止监视者206丢失作为监视对象的穿行人202。

即使摄像单元对与远程监视装置1201的移动方向不同的方向进行摄像,但在摄像单元在跟踪监视对象的同时对监视对象进行摄像的情况下,也将该跟踪的方向设置为指令方向,使得数据浏览装置100能够突出显示作为监视对象的轨迹数据。利用该结构,数据浏览装置100能够提高与摄像单元的跟踪方向(指令方向)具有高相关度的轨迹数据的可视性,从而在监视区域中存在大量的穿行人202时,防止监视者206丢失作为监视对象的穿行人202。

参照实时地更新轨迹数据的示例,而描述了本示例性实施例,但是,本示例性实施例也可以应用于在过去获取的轨迹数据。此外,参照通过与监视服务器装置204协作来使用绝对坐标的示例,而描述了本示例性实施例,但是,也可以利用摄像单元与监视对象之间的相对速度,来检测图像数据的改变。

此外,可以获取多个方向分量。例如,在旋转摄像单元的情况下,在位于关于旋转轴的相同角度的观测点之间,方向分量的方向是相同的,但是在位于关于旋转轴的不同角度的观测点之间,方向分量的方向是不同的。此外,在旋转摄像单元的情况下,在位于关于旋转轴相同距离的观测点之间,方向分量的移动量是相同的,但是在位于关旋转轴不同距离的观测点之间,方向分量的移动量是不同的。

此外,在摄像单元变焦拉近或变焦拉远的情况下,浏览区域(显示范围)被放大或缩小,使得获取从放大或缩小的中心放射的方向或其相反方向,作为方向分量的方向。此外,在摄像单元变焦拉近或变焦拉远的情况下,在位于距放大或缩小的中心相同距离的观测点之间,方向分量的移动量是相同的,但是在位于距放大或缩小的中心不同距离的观测点之间,方向分量的移动量是不同的。

在这样的情况下,可以将浏览区域(显示范围)分割为多个区域,而后,可以针对各区域来获取方向分量(指令方向)。

除此之外,如下的做法也是有效的,即在由于浏览区域(显示范围)的切换、远程监视装置1201自身的折叠或展开等,而使浏览区域(显示范围)改变的情况下,使用观测点改变的方向。

以这种方式,指令执行单元(指令方向获取单元)152可以获取数据(例如,观测点)的如下改变的方向,作为方向分量(指令方向),所述改变归因于显示单元102上的显示的旋转、放大、缩小及切换中的至少一者。

利用该结构,数据浏览装置100能够基于摄像单元的运动方向,来获取与浏览区域(显示范围)中的各种改变相对应的方向分量(指令方向),从而提供如下的效果,即提高数据的可视性,并防止监视者206丢失监视者206一直在跟踪的所需数据。

参照使用轨迹数据的示例,而描述了本示例性实施例,但是,本示例性实施例也可以应用于具有方向分量的地图数据。此外,参照将本示例性实施例应用于远程监视装置的示例,而描述了本示例性实施例,但是,本示例性实施例也可以应用于如下的数据浏览装置,该数据浏览装置使用例如可穿戴设备、头戴式显示器(head-mounted display,HMD)、平板设备及其他移动终端,所使用的这些设备能够通过自主运动或远程操作而移动,并包括摄像单元。

例如,本示例性实施例也可以应用于在内视镜手术等中使用的手术辅助装置。在这种情况下,数据浏览装置(用户接口)被假定为显示患者的血管组(线数据组),以及由内视镜拍摄的图像数据。在这种情况下,针对血管的方向(数据方向)与内视镜的移动方向(指令方向)之间的相关度(例如,余弦值的绝对值),数据浏览装置突出显示具有高的所述相关度的血管,从而提供如下的效果,即提高血管的可视性,并利用内视镜来辅助观察。

以下,将描述第五示例性实施例作为示例,其中,计算每预定时间段所记录的指令方向与数据方向之间的相关度。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图15A及图15B,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

图1中所示的存储单元109充当指令方向记录单元,并且记录每预定时间段由指令执行单元(指令方向获取单元)152获取的操作指令(指令方向)的历史(获取位置、方向和长度中的至少一者)。

在图7A中所示的步骤S706中,指令执行单元152确定操作指令是否为开始或继续滚动图像的指令。在操作指令是开始或继续滚动图像的指令的情况下(步骤S706:是),存储单元(指令方向记录单元)109每预定时间段,记录一次浏览区域(显示范围)的滚动方向(指令方向),而后,处理前进到步骤S707。

图15A例示了由存储单元(指令方向记录单元)109记录的指令方向的历史的示例。如图15A所示,每预定时间段(每0.1秒),记录一次输入点的数量、坐标(获取位置),以及输入点的移动矢量(方向及长度)。输入点的移动矢量是由预定时间段内输入点的移动所定义的移动矢量,并且对应于每预定时间段的输入矢量数据(指令方向)。

如图15B所示,记录了从输入点1501到输入点1502的移动矢量1503。在本示例性实施例中,每0.1秒记录一次移动矢量,但是,移动矢量也可以按事件检测间隔来记录,或者可以按如下的时间间隔来记录,该时间间隔使得移动矢量的距离达到预定距离。以这种方式,可以根据用途,来改变记录指令方向的时间间隔。

然后,在指令方向的历史被记录之后,在步骤S708中,相关度获取单元154计算每预定时间段所记录的滚动方向(指令方向)与数据方向之间的相关度。

例如,指令执行单元(指令方向获取单元)152在获取虚拟移动矢量1504之后,导出虚拟输入点1505,所述虚拟移动矢量1504可以在输入点在移动矢量1503的延长方向上移动了预定距离时被定义。相关度获取单元154在将移动矢量1504的方向设置为指令方向的同时,计算数据的相关度。此外,指令执行单元(显示范围移动单元)152可以沿移动矢量1504,来移动显示单元102的显示范围。该处理使得根据操作指令的历史,来突出显示数据。

此外,在利用操作指令的历史的坐标来计算相关度的示例中,还包括以下的方法。对象数据提取单元(数据方向获取单元)153针对各轨迹数据,来选择位于输入点的坐标(获取位置)附近的两个观测点。然后,相关度获取单元154计算连接这两个点的线段与移动矢量之间的相关度,并且在多个时刻,进行用于计算相关度的处理。然后,相关度获取单元154输出分别与各时刻相对应的相关度的总和或平均,作为最终的相关度。

利用该结构,数据浏览装置100能够量化由记录的历史表示的输入点的踪迹与数据之间的相关度。因此,根据操作指令的历史来突出显示数据。

以下,将描述第六示例性实施例作为示例,其中,根据获取的数据或指令方向对相关度进行加权。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图16A及图16B,来描述根据本示例性实施例的数据浏览装置100的操作的示例。将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

相关度获取单元154根据数据和指令方向中的至少一者的获取位置,对相关度进行加权。

在图7A中所示的步骤S707中,对象数据提取单元(数据方向获取单元)153提取对象数据,并获取对象数据的数据方向。在步骤S708中,相关度获取单元154计算作为对象数据的轨迹数据的数据方向与指令方向之间的相关度,并针对各轨迹数据对相关度进行加权。

基于数据的获取位置,来确定加权系数。例如,如图16A所示,可以根据加权系数分区1604,来确定加权系数,所述加权系数分区1604在浏览区域(显示范围)1601中,根据从画面中心到轨迹数据1602的距离1603而被分类为不同阶段。通过该加权,根据数据的获取位置,对轨迹数据1602的相关度进行了加权。

此外,如图16B所示,可以根据加权系数分区1608,来确定加权系数,所述加权系数分区1608根据从输入指令方向的输入点1605到轨迹数据1606的距离1607而被分类为不同阶段。通过该加权,根据指令方向的获取位置,对轨迹数据1606的相关度进行了加权。

在这两种情况中的任一情况下,分区1604及分区1608是以如下方式设置的,即使得随着位置向画面中心或输入点的靠近,加权系数增大,并且随着位置从画面中心或输入点的远离,加权系数减小。例如,通过式(1)来确定加权系数。

(加权系数)=1.0-(像素数距离)×0.001...(1)

结果,对于越靠近画面中心或输入点的轨迹数据,相关度被设置为越高的值。通过上述的处理,数据浏览装置100能够进一步强调显示监视者206关注的数据,因为监视者206关注的轨迹数据,被认为位于画面中心或输入点附近。

此外,可以计数在浏览区域(显示范围)中包含的轨迹数据的观测点的数量,并且可以按如下的方式,来确定加权系数,即使得根据滚动,随着观测点的数量的改变的减少,该轨迹数据的相关度提高。例如,通过下式即式(2),来确定加权系数。

(加权系数)=100-|(滚动前的观测点数)-(滚动后的观测点数)|...(2)

此外,可以针对轨迹数据的特定点,确定在滚动之前和滚动之后,在浏览区域(显示范围)中是否能够观测到该点,并且可以按如下方式,来确定加权系数,即使得在能够观测到特定点的情况下,该轨迹数据的相关度增大。此外,可以针对请求滚动的各操作指令,来计数在浏览区域(显示范围)中显示轨迹数据的特定点的次数,并且可以按如下的方式,来确定加权系数,即使得随着次数的增大,该轨迹数据的相关度增加。结果,对于在浏览区域(显示范围)中长时间滞留的轨迹数据,加权系数增大,这能够使数据浏览装置100改变监视者206正在追踪的所需轨迹数据的显示样式。

以下,将描述第七示例性实施例作为示例,其中,通过计算位于显示单元102的显示范围外部的数据的相关度,来预测指令方向。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图17A、图17B、图17C及图17D,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

指令执行单元152充当方向设置单元,并且设置从显示单元102的浏览区域(显示范围)到浏览区域(显示范围)外部的方向。对象数据提取单元(数据方向获取单元)153获取显示单元102的浏览区域(显示范围)外部的数据方向。指令执行单元152充当指令方向获取单元,并且获取设置的方向作为指令方向。相关度获取单元154计算显示单元102的浏览区域(显示范围)外部的数据方向与设置的方向(指令方向)之间的相关度。

在图7中所示的步骤S704中,指令执行单元152设置朝向浏览区域(显示范围)外部的方向,并获取设置的方向作为指令方向。

在步骤S706中,指令执行单元152确定操作指令是否开始滚动图像或当前正在滚动图像,并一道确定数据浏览装置100是否以预测指令方向的模式被设置。在操作指令是用于开始或继续滚动图像的指令的情况下,或者在数据浏览装置100以预测指令方向的模式被设置的情况下(步骤S706:是),处理前进到步骤S707。在步骤S707中,对象数据提取单元(数据方向获取单元)153获取浏览区域(显示范围)外部的数据方向。

在步骤S708中,相关度获取单元154计算浏览区域(显示范围)外部的数据方向与设置的方向(指令方向)之间的相关度。

如图17A所示,指令执行单元152把8个方向(向上方向U、向下方向D、向左方向L、向右方向R、左上方向UL、右上方向UR、右下方向DR及左下方向DL)1701中的各个,设置为朝向浏览区域(显示范围)外部的方向,并获取设置的各方向作为指令方向。如图17B所示,针对分别通过在8个方向1701上使浏览区域1702移位而定义的各个范围1703,相关度获取单元154计算轨迹数据的数据方向与指令方向之间的相关度。

8个方向1701被设置为在每两个相邻方向间形成45度的角,并且,浏览区域1702与各个范围1703有30%的部分相互交叠。这些角和交叠部分的比例被任意地设置。

图17C例示了针对分别在8个方向1701上移位的各个范围1703,来计算相关度的平均的示例。

在步骤S709中,显示改变单元156基于轨迹数据的数量以及相关度的统计值,来选择具有最高相关度的范围1703。相关度的统计值的示例包括相关度的总和、平均、中值、最大值、最小值、离差、标准偏差、频率等。

例如,在图17C中,针对右下方向DR的相关度的平均表示最大值(0.935)。在图17B中,浏览区域1702不在任何方向上移动,因为该浏览区域是滚动前的浏览区域。在这种情况下,通过计算位于浏览区域1702外部的数据(范围1703内的轨迹数据)的相关度,来预测指令方向。

换言之,将右下方向DR设置为指令方向。然后,如图17D所示,计算浏览区域1705及浏览区域1706中的数据方向与右下方向DR之间的相关度,并且在步骤S710及步骤S713中,根据相关度来突出显示轨迹数据。

通过该处理,数据浏览装置100计算位于浏览区域(显示范围)外部的数据的相关度,并把相关度的平均取最大值的方向,设置为指令方向,从而能够在各个方向之中,显示有许多轨迹数据流动的方向。结果,监视者206能够高效地了解轨迹数据的流动。

除此之外,数据浏览装置100可以通过分析数据,来改变浏览区域中的数据的突出显示。例如,在尽管相关度低,但还是存在大量的数据(大量的轨迹数据)的情况下,存在如下的可能性,即在沿该方向的位置可能出现数据的分支。因此,数据浏览装置100利用诸如轨迹群集等的方法,来分析是否存在分支,并且在存在分支的情况下,通过分支对数据进行分组,进而针对各组采用不同的显示格式。以这种方式,监视者206能够在知晓存在数据的分支的同时,预先观察数据在分支之前如何流动。

此外,参照如下的示例,而描述了本示例性实施例,在所述示例中,基于位于浏览区域(显示范围)外部的数据的相关度,来改变数据的显示样式。然而,指令执行单元(显示范围移动单元)152可以在将指令方向设置为滚动方向的同时,沿滚动方向来移动浏览区域(显示范围)。例如,如图17D所示,可以在右下方向DR上移动浏览区域(显示范围)1705的同时,突出显示浏览区域1705及浏览区域1706中的轨迹数据。

此外,像第三示例性实施例中的步骤S1110一样,指令执行单元(显示范围移动单元)152可以增加/减小滚动速度,或者停止滚动。

以这种方式,数据浏览装置100在无需监视者206进行操作的情况下,预测在设置的方向之中将成为指令方向的方向,并改变数据的显示样式,因而能够辅助监视者206的观察。

将描述第八示例性实施例,作为3D扫描的数据等中的立体造型数据的示例。一般而言,在由3D扫描器获取的数据中,可能在面上出现凸形或凹形的噪声。出于对数据的质量的考虑,期望校正该噪声,但是,要扫描的各物体具有不同的形状,这要求知道物体的正确形状的人通过以用户自己的眼睛检查,来校正该噪声。

该校正任务是如下的任务,即在数据被显示在浏览区域(显示范围)中的状态下,操作者在追踪形成立体造型对象的面的同时,以用户自己的眼睛检查,由此确认是否存在噪声,而后校正噪声。然而,由于噪声确认依赖于人眼的检查,因此,该任务包含遗漏噪声的风险。例如,操作者在浏览区域未被放大的情况下,不能发现微小的凹凸(噪声),并且又必须参与变得过重的浏览任务,这使得难以完成校正任务。

此外,由于在浏览任务期间,会发生浏览区域的放大、物体的旋转、视点的移动、视点的旋转等,因此,在浏览区域中显示的物体的表面高速地移动的情况下,人的视觉难以跟随移动,从而使可视性降低。此外,在当从视点查看时,噪声位于旋转轴上,或者噪声的角度是小的情况下,由于难以将噪声与其周边区分开来,并且分辨率低,因此,物体的旋转和视点的旋转可能使操作者遗漏噪声。

此外,在显示噪声的部分位于浏览区域的边缘或其附近的情况下,操作者也可能遗漏噪声。

为了解决这类问题,将描述第八示例性实施例作为示例,其中,在浏览区域(显示范围)中改变物体表面的显示样式。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图18A及图18B,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

被设置为在浏览区域(显示范围)中显示的对象的物体1801是如下的数据(3D扫描的数据),该数据包括由3D扫描器等获取的三维空间中的点、线及面。

在图7A中所示的步骤S704中,指令执行单元152进行用于获取操作指令的处理。操作指令的示例包括物体1801的移动、物体1801的旋转、物体1801的放大/缩小、视点1802或视点1803的移动、视点1802或视点1803的旋转,以及视点1802或视点1803的视角的改变。此外,操作指令的示例包括光源等的移动、旋转、照度和扩散角。

此外,指令执行单元152充当指令方向获取单元,并且基于操作指令来获取指令方向。例如,如图18A及图18B所示,指令执行单元(指令方向获取单元)152获取从视点1802到视点1803的移动矢量1804,作为指令方向。除此之外,指令执行单元(指令方向获取单元)152可以相对于形成物体1801的面的中点,来计算三维空间中的移动矢量,并获取移动矢量作为指令方向。由此,即使针对物体1801或者视点1802或视点1803的旋转,也获取到指令方向。

在步骤S705中,根据操作指令,指令执行单元152执行操作指令。例如,指令执行单元152充当显示范围移动单元,并且沿移动矢量(指令方向)1804,来移动(滚动)显示单元102的浏览区域(显示范围)。这导致浏览区域中的物体1801的显示位置的改变。

在步骤S706中,指令执行单元152确定操作指令是否为开始或继续滚动图像的指令。在操作指令是用于开始或继续滚动图像的指令的情况下(步骤S706:是),处理前进到步骤S707。

在步骤S707中,对象数据提取单元153在浏览区域(显示范围)中显示的数据(点数据、线数据及面数据)之中,提取面数据作为对象数据。此时,提取包含在浏览区域中的面数据,以及位于浏览区域附近的面数据,作为对象数据。

对象数据提取单元153能够根据与视点1802或视点1803的距离,来确定是否提取从视点1802或视点1803来看被隐藏的面数据。例如,对象数据提取单元153提取位于如下距离以内的隐藏面数据,所述距离是与视点1802或视点1803距离最近的面数据的两倍。

在步骤S708中,相关度获取单元154针对作为对象数据的面数据,来计算与移动矢量(指令方向)1804的相关度。例如,相关度获取单元154计算面数据(以多边形为单位)的法向矢量1805至法向矢量1809,并计算法向矢量1805至法向矢量1809中的各个与移动矢量1804之间的余弦值的绝对值,作为相关度。

由于法向矢量1805至法向矢量1807大致垂直于移动矢量1804,因此,相关度(余弦值的绝对值)接近于零。另一方面,随着法向矢量变得更平行于移动矢量1804,相关度(余弦值的绝对值)增大,使得法向矢量1808及法向矢量1809各自的相关度超过法向矢量1805至法向矢量1807各自的相关度。

在步骤S709及步骤S710中,显示改变单元156选择具有是预定阈值(例如,0.3)或更高的相关度的数据,并改变选择的数据的显示样式。例如,显示改变单元156选择分别具有法向矢量1808及法向矢量1809的面数据1818及面数据1819,并改变面数据1818及面数据1819的显示样式。

在这种情况下,显示改变单元156通过向面数据1818及面数据1819添加颜色,来改变面数据1818及面数据1819的显示样式,以使面数据1818及面数据1819能够与其他面数据相辨别。作为另一选择,显示改变单元156可以沿表面法向矢量或顶点法向矢量,来移动形成面数据1818及面数据1819的点的坐标,由此改变面数据1818及面数据1819的显示样式。

在步骤S713中,在浏览区域中,绘制进行了上述处理的数据。

在每次接收到操作指令时,指令执行单元152重复上述处理,这能够使数据浏览装置100临时地突出显示诸如在扫描时生成的噪声等的凹凸,从而提高可视性。结果,当监视者206通过以用户自己的眼睛检查来执行校正任务时,数据浏览装置能够防止监视者206遗漏噪声。

如有必要,显示改变单元156可以维持改变的显示样式,而不使显示样式返回到标准显示样式,或者可以创建过渡效果且改变显示样式,由此提高可视性。此外,本示例性实施例除了防止监视者206遗漏噪声之外,还提供如下的效果,即在浏览诸如立体地形图上的山峰或山谷的表面等的面数据时,提高立体形状的起伏的可视性。此外,本示例性实施例还可以应用于诸如立体形状的顶点及边界等的点数据及线数据,并且提供提高数据的可视性的效果。

将描述第九示例性实施例作为示例,其中,基于地图上的点数据的位置来获取数据方向。

根据本示例性实施例的数据浏览装置100包括与根据第一示例性实施例的数据浏览装置100类似的构成要素。下面,将参照图19A、图19B、图19C及图19D,来描述根据本示例性实施例的数据浏览装置100的操作的示例。以下,将省略与第一示例性实施例类似的结构、功能及操作的描述,而主要围绕与第一示例性实施例的差异,来描述本示例性实施例。

对象数据提取单元(数据方向获取单元)153获取如下两方向中的至少一者,作为数据方向,所述两方向中的一者是预定基准点与点数据之间的线段的方向,另一者是两个点数据之间的线段的方向。在这种情况下,提供诸如至少包括单个点的目的地或地标等的目的点(点数据),作为点数据。

在图19A中,在任意的监视空间中设置了浏览区域(显示范围)1901,并且能够在任意方向上滚动浏览区域(显示范围)1901。在图19A例示的该示例中,进行了如下的假定,即操作者在了解通向被登记至地图、平面布置图等的地标(目的点)1904的路径的同时,浏览浏览区域1901。将浏览区域1901的中心点设置为基准点1902。有目的点1903位于浏览区域1901内部。此外,还有目的点1903位于浏览区域1901外部。

在监视空间中提供了这些目的点(点数据)1903及点(点数据)1904的状态下,操作者进行滚动浏览区域(显示范围)1901的操作。在图19B中,指向右上方向的滚动方向(指令方向)作为操作指令而被输入。然后,在步骤S704及步骤S705中,指令执行单元(显示范围移动单元)152沿右上方向(指令方向),将显示单元102的浏览区域1901移动到浏览区域1905。

在步骤S708中,针对从基准点1902到对象点1903及对象点1904中的各个的矢量数据(数据方向),计算上述矢量数据与滚动方向(指令方向)之间的余弦值,作为相关度。

例如,获取如下的矢量数据1907,作为指令方向,所述矢量数据1907从滚动前的浏览区域1901中的基准点1902,到正在滚动的浏览区域1905中的基准点1906。此外,获取从滚动前的基准点1902到目的点1903及目的点1904中的各个的矢量数据1917,作为数据方向。

图19C例示了在朝向目的点1903的方向上滚动之前的浏览区域(显示范围)的示例。在基准点1902被置于中心的状态下,显示了分别朝向目的点1903的矢量数据1917及朝向目的点1904的矢量数据1918。朝向目的点1904的矢量数据1918以标准显示样式被显示,因为该矢量数据是滚动前的矢量数据。如图19B所示,在输入请求滚动的操作指令时,在步骤S709及步骤S710中,基于相关度来选择数据,并且针对选择的数据来改变显示样式。

图19D例示了正在朝向目的点1904的方向上滚动的浏览区域(显示范围)的示例。基于基准点1902与目的点1904之间的矢量数据(数据方向)1919、与作为滚动方向(指令方向)的矢量数据1907之间的相关度,来突出显示矢量数据1919。

通过该处理,在浏览区域(显示范围)向特定目的点滚动的情况下,数据浏览装置100能够防止滚动操作从基准点朝向目的点的方向偏离。例如,在输入了如下的操作,该操作是在与朝向特定目的点的方向不同的方向上滚动浏览区域的情况下,与通过标准滚动操作而移动的移动距离相比,数据浏览装置100使浏览区域滚动较短的移动距离,从而使操作者感到不正常,以此提醒操作者注意。此外,数据浏览装置100改变路径数据的显示样式,直至到达特定目的点为止,因而能够辅助操作者,直至到达目的点为止。例如,当操作者在宽阔空间中快速滚动浏览区域时,这种做法尤其有效。

以这种方式,参照如下的示例,而描述了本示例性实施例,在所述示例中,把表示两个点的点数据(包括表示基准点1902的点数据)间的线段的方向,设置为数据方向。数据浏览装置100还可以隐藏具有是预定阈值或更低的相关度的矢量数据、使用曲线替代直线,或者使用到地图上的目的点的最短路径作为数据方向,以提高可视性。

此外,在显示区域中显示复杂的数据的情况下,数据浏览装置100可以将基准点固定预定的时间段,由此抑制或防止在滚动中显示样式剧烈或频繁地改变,从而进一步提高操作者的可视性。此外,数据浏览装置100可以在改变显示样式时,采取使用诸如透明度及宽度等的图形属性的过渡效果,由此进一步提高操作者的可视性。

基准点除了可以是浏览区域(显示范围)的中心点之外,还可以是位于浏览区域(显示范围)内部或外部的任意点。例如,基准点可以是通过在触摸屏上输入的轻点(tap)操作或点击操作而指定的任意的目的点。例如,当显示从操作者下火车的车站到步行导航系统上的目的点的路径时,数据浏览装置100在操作者下火车的车站和目的点被指定之后,在将连接数据的路径设置为数据方向的同时,来计算相关度,从而能够提高在步行导航系统上的操作者的可视性。

此外,像在第三示例性实施例中的步骤S1110中一样,指令执行单元(显示范围移动单元)152可以增加/减小滚动速度,或者停止滚动。

此外,在被指定为目的点的点数据不是由单个点构成,而是由多个点构成的情况下,数据浏览装置100还可以使用通过对多个点进行抽样而获取的点,或者多个点的平均坐标,作为目的点。

此外,参照数据浏览装置100与地图一起使用的示例,而描述了本示例性实施例,但是,数据浏览装置100也可以是包括如下用户接口的浏览装置,该用户接口在对图标或者图片数据的缩略图进行至少二维布置的同时,在浏览区域(显示范围)中显示这些图标或缩略图。可以通过将图标或缩略图当作目的点,并将浏览区域(显示范围)中的中心点当作基准点,来应用本示例性实施例。利用该结构,浏览装置能够在朝向作为目的地的图标或缩略图的方向上引导滚动。

此外,本示例性实施例还可以应用于如下目的,即针对诸如海报、文档和小册子等的文档文件,将诸如文档文件中的图像及段落等的对象的坐标值当作目的点,并将浏览区域(显示范围)中的中心点当作基准点,由此浏览文档文件。利用该结构,浏览装置能够在朝向作为目的地的对象的方向上引导滚动。

以上,描述了本发明的示例性实施例,但是,本发明并不限定于此,并且可以在权利要求中记载的范围内进行改变或变形。

存储在存储单元109中的数据只需是点数据、线数据和面数据中的至少一者。此外,只需获取点数据的位置方向、线数据的线方向和面数据的法线方向中的至少一者,作为数据方向。

可以在显示单元102上,显示除点数据、线数据和面数据以外的数据。例如,可以在显示单元102上显示三维的立体形状。在这种情况下,立体形状的位置或者形成立体形状的点是点数据。立体形状的移动方向或者形成立体形状的线是线数据。形成立体形状的面是面数据。此外,面的位置和形成面的点是点数据,并且,面的移动方向和形成面的线是线数据。

此外,在本发明的示例性实施例中,获取点数据的位置方向、线数据的线方向和面数据的法线方向中的至少一者,作为数据方向。数据方向的示例包括诸如由人体轨迹检测系统输出的人的方向等的方向属性值、由监视对象数据的任意点和监视基准点导出的方向、通过连接多个监视对象数据的任意点而获取的方向,等等。

此外,数据方向的示例包括由轨迹数据等中的一系列值导出的方向、由三维立体形状的顶点信息或面信息导出的方向,等等。

除此之外,数据方向并不限定于与位置相关的数据,并且,只要在被附加至数据的属性被量化的同时,能够获取数据方向,即能够应用本发明。例如,数据方向的示例可以包括基于颜色信息或辉度信息的色相(hue)梯度或辉度梯度。以这种方式,数据浏览装置100能够把浏览数据时的各种属性的改变,当作数据方向,由此根据属性的改变来提高可视性。

此外,不必须把用于获取数据方向的点数据、线数据和面数据,显示在显示单元102上。例如,只需要基于颜色信息或辉度信息来计算色相梯度或辉度梯度,并把这些梯度方向作为数据方向,存储到诸如RAM108或存储单元109等的存储单元中,并且,不必须将这些梯度方向显示在显示单元102上。

在这种情况下,只需要改变关于具有预定相关度的数据的显示样式,或者改变具有预定梯度方向的区域的显示样式。换言之,数据浏览装置100可以改变具有预定相关度的数据本身的显示样式,或者可以改变与具有预定相关度的数据相关的数据(区域等)的显示样式。

此外,获取数据的空间中的任意方向作为指令方向。通过例如利用按下按钮的操作、拖动鼠标的操作等的滚动操作、利用单个手指或多个手指的触摸操作,以及诸如无人飞机等的监视设备的移动,来输入操作指令。利用这些操作指令,基于旋转、放大、缩小、显示窗口的变形、显示窗口的面积的改变、3D显示中的视点的改变、陀螺传感器的改变值等,来获取指令方向。

作为浏览数据时的显示控制,根据数据方向与指令方向之间的相关度,来改变显示样式。显示样式的改变的示例包括关于数据的格式(例如,宽度、浓淡、明度、色调、透明度)的改变、滚动速度的增加/减小、滚动的停止,以及滚动方向的改变。

在这种情况下,数据浏览装置100可以同时进行改变关于数据的格式的控制,和其他图像数据控制(例如,视点、视角的控制),由此提高对象数据的可视性。通过进行这样的显示控制,提供了提高浏览数据时的可视性的效果。例如,在浏览多维数据时,作为追踪对象的数据流与横切(pass through)该数据流的大量其他数据一起被显示的情况下,数据浏览装置100可以通过突出显示作为追踪对象的数据,来提高对象数据的可视性。

此外,本发明能够应用于获取数据的数据方向的数据浏览装置。例如,可以应用本发明的示例性实施例,以使诸如到地图上的目的点的路径、轨迹数据和计算机辅助设计(CAD)数据等的空间数据的数据浏览装置,能够改变如上所述的关于特定数据的显示样式。此外,本发明的示例性实施例能够应用于线型图、社交图、脑图等的数据浏览装置,以改变特定线型图、特定节点链接等的显示样式。

此外,可以应用本发明的示例性实施例,以使针对三维地形数据(多边形数据)等的数据浏览装置,能够改变特定面数据(例如,起伏表面)的显示样式。此外,可以应用本发明的示例性实施例,来改变如下监视对象的移动数据(线数据)的显示样式,所述监视对象是由安装有摄像单元的无人飞机进行摄像的。在这种情况下,可以获取诸如摄像单元的平移及倾斜等的视点的移动方向,作为指令方向。

此外,可以应用本发明的示例性实施例,来改变诸如由在内视镜手术等中使用的医疗摄像装置进行摄像的血管等的图像数据(点数据、线数据和面数据)的显示样式。

除此之外,应用本发明的示例性实施例,来改变使用可穿戴设备、HMD、平板设备等的扩充现实(AR)的图像数据(点数据、线数据和面数据)的显示样式。例如,可以应用本发明的示例性实施例,以通过改变到目的点的路径的显示样式,而将AR设备的操作者引导至特定目的点。

根据示例性实施例的数据浏览装置,能够针对浏览画面上的数据之中的、与指令方向具有高相关度的数据,来改变显示样式,由此提高可视性。结果,即使当存在大量的浏览数据时,数据浏览装置也能够使用户称心地浏览浏览数据,同时既阻止浏览数据的详细度降低,又维持可视性。

其他实施方式

另外,可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如,专用集成电路(ASIC))的系统或装置的计算机,来实现本发明的实施例,并且,可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法,来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如,中央处理单元(CPU),微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一者或更多。

本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限定于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释,以涵盖所有这类修改以及等同的结构和功能。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1