专利名称：访问网格的增强型视频服务模式的实现方法
技术领域：
本发明涉及访问网格和增强现实领域，特别是涉及面向访问网格应用的新的增强型视 频服务模式。
背景技术：
访问网格(Access Grid,简称AG)是网格技术的重要组成部分，是网格系统的访问 界面，它在网格环境下结合人机交互、图形图像、虚拟现实、多媒体等技术，为网格应用 提供沉浸式、交互式、协同式的访问环境，主要包括组与组之间的交流方式、网格资源的 访问方式、用户操作的协同方式等。多个访问网格用户进入协同工作环境后，经常需要在 描述真实环境的视频场景中协同操作网格服务结果的三维几何模型，这要求访问网格能够 拓展其服务功能以支持这一类型的典型应用，在视频场景中同时提供三维几何模型的共享 服务，支持协同工作环境中用户与模型之间的交互作用。但是目前访问网格的视频服务只 能构造一个共享的视频场景，而不能支持在视频场景中操作三维几何模型。
增强现实(Augmented Reality,简称AR)技术借助必要的设备使计算机生成的虚拟 环境(Virtual Environment,简称VE)与客观存在的真实环境(Real Environment,简称 RE)共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟对象(Virtual Object)与真实环境融为一体的增强现实环境。由于增强现实技术具有虚实结合、实时交 互、三维注册的特点，可以将真实环境的视频序列与虚拟环境的三维几何模型融为一体， 所以需要结合增强现实技术，在访问网格系统中提出一种新型的视频服务模式，将访问网 格的真实视频场景与网格服务结果的三维几何模型融为一体，使用户能够在访问网格的真 实视频场景中操作网格服务结果的三维几何模型。
美国阿冈(Argonne)国家实验室研究开发的访问网格工具包Access Grid Toolkit,能 够在协作环境中提供各节点的视频和音频资源，通过基于VIC (Video Conferencing)的 视频服务实现群组之间的可视化交流，为用户构造一个共享的可视化协作空间。但是该访 问网格工具包难以同时共享多种形式的网格服务结果，特别是难以在基于视频资源的可视 化协作空间中共享和操作三维几何模型，这限制了网格用户与网格资源之间的交互作用， 也降低了网格用户之间的协作效率。
美国国家自然科学基金会(NSF)资助的地震工程和仿真网格计划(Network for Earthquake Engineering and Simulation Grid,简称NEESgrid)包括一个面向地震工程的虚拟协作环境，基于实验设备的集成和共享系统，协作用户能够通过视频方式远程观测实验 进展情况，也能够远程操作和控制节点设备。例如获取当前实验设备执行情况的视频图 像，标定和绘制实时实验数据的可视化结果，基于标绘实验数据操作和控制实验仪器。但 是，该协作环境将远程观测与远程控制分成两个部分，只能够通过实验数据间接地操作和 控制远程设备，不能够在视频图像场景中基于三维模型直观地操控实验设备。
荷兰远程信息学院(Telematic Institute)和阿姆斯特丹大学共同承担的虚拟协作实验 室(Collaboratory.nl，简称CNL)项目构建了远程操作设备资源的协同工作空间，能够支 持用户与设备资源的远程交互。它利用视频服务器将共享仪器实验结果的视频图像传输给 协同工作空间的相关操控和可视化工具，用户通过共享的视频信息协同讨论实验情况和确 定操作决策。但是协同工作空间仅仅能够以可视化形式共享仪器设备产生的实验数据，不 能够提供仪器设备在实验过程中的工作状态，并且用户可以直接操控的界面较简单。
加拿大多伦多大学的ETC实验室，基于增强现实技术完成真实环境的物体移动操 作，将仪器设备的几何模型叠加于远端场所的视频图像，使用户能够操作几何模型完成仿 真任务，同时通过视频图像反馈实验情况。但是，该方法要求远程操作的工作空间和用户 视点为静态不变的，只有当某一操作任务终止才会更新工作空间的视频图像，这种交互模 式不能够实时表现工作空间的动态变化，并且不支持多人协同工作。所以该方法不适合表 现访问网格环境下人与人之间的交流、人与网格服务结果之间的交互。
韩国光州科技学院(Gwangju Institute of Science and Technology,简称GIST)的 Sangwoo Han等提出了面向访问网格的扩展型视频服务(Extended Video Service),支持 访问网格传输数字视频DV (Digital Video)、高清晰数字视频HDV (High Definition Video)。 它提供面向多种视频编解码器的接口，能够共享访问网格的高质量视频内容，在更大应用 范围内提高了协同工作空间的视频质量。但是该扩展型视频服务局限于如何提高视频质 量，没有考虑通过三维模型增强视频内容和操控作用。
清华大学国家CIMS工程技术研究中心基于仿真建模和网格技术，提出一种面向设备 资源共享的仿真网格技术。该方法在网格系统中建立共享仪器的仿真模型，通过仿真模型 操作和调度远程仪器资源，虽然能够共享网格服务结果的仿真模型，但是资源共享仅局限 于仿真模型，不支持在协同工作空间的视频场景中操作各种仿真模型，也不支持多用户参 与的交流和交互。
通过对上述国内外研究现状的调研和分析可知，访问网格环境下的视频服务还存在以 下主要问题。(l)作为面向网格用户的群组间可视化交流环境，访问网格目前的服务模式 存在局限性。当用户需要的共享资源同时包括协同工作空间的视频信息与网格服务结果的
三维几何模型时，访问网格目前提供的视频服务和音频服务，已经不能满足用户需要的这 一类型网格应用。所以访问网格需要增加新型的服务模式，加强协同工作空间中用户的交 流方式。(2)不同的网格应用经常需要不同的几何模型与真实视频结合方式，所以支持这 一类型网格应用的服务模式应该能够提供多种几何模型与真实视频结合效果的传输方式。
发明内容
根据上述实际需求和关键问题，本发明的目的在于提出一种访问网格的增强型视频服 务模式实现方法，它能将网格服务结果的几何模型与访问网格的视频序列融为一体，生成 访问网格协同工作空间的增强型视频流，在访问网格的视频场景中共享网格服务结果的几 何三维模型，使用户在协同工作空间中具备操作几何三维模型的能力，能够共同完成基于 网格服务结果的协同工作任务。
为完成上述发明目的，本发明采用的技术方案是定义访问网格的增强型视频服务
(Augmented Video Services,简称AVS)的概念，提出一种访问网格的增强型视频服务 模式。该模式首先明确了基于虚实结合处理的增强型视频生成方法，将网格服务结果的三 维几何模型注册到访问网格的真实视频场景中，生成网格服务结果的几何模型与访问网格 的视频序列融为一体的增强型视频流;然后根据网格应用特点给出了增强型视频信息的传 输方式，主要有生产端跟踪生产端注册(Producer Tracking, Producer Registration,简称 PTPR)方式和生产端跟踪消费端注册(Producer Tracking, Consumer Registration,简称 PTCR)方式，为每个访问网格用户提供共享的增强型视频流；最后利用会话通告协议
(Session Announcement Protocol, 简称SAP)禾卩会话描述协议(Session Description Protocol,简称SDP)管理访问网格的增强型视频会话。
在此基础上，本发明实现了访问网格的增强型视频服务，该服务首先通过三维注册， 在访问网格的真实视频帧中注册三维几何模型，生成增强型视频信息；并且设计与实现增 强型视频生产工具、消费工具、信息传输方式；然后构建增强型视频生产者服务和消费者 服务，同时设计实现这些服务与数据流传输方式之间的接口；最后根据增强型视频信息的 特点，拓展访问网格的已有流分配机制，传输增强型视频信息和会话管理的相关SAP/ SDP消息数据。
本发明的优点是使用户能够在访问网格的协同工作空间中操作网格服务结果的几何 三维模型，共同完成访问网格环境下基于网格服务结果的协同工作任务。
图1是本发明的增强型视频服务组成结构图； 图2是本发明的AVS模式三种执行方式图3是本发明的支持场景同步的节点路径更新图4是本发明的增强型视频信息PTPR传输方式图5是本发明的增强型视频信息PTCR传输方式图6是本发明的增强型视频信息和会话管理信息的组播地址分配图。
具体实施例方式
根据目前访问网格的需求和增强现实技术的特点，本发明定义了 "增强型视频服务
(Augmented Video Services,简称AVS)"这一概念能够将网格服务结果的三维几何模 型与访问网格的真实视频场景融为一体，为用户提供虚实结合的增强型视频资源和三维几 何模型的操作方式的访问网格服务。增强现实能够利用计算机生成的虚拟对象增强现实世 界，"增强型视频服务"沿用了 "增强现实"的"增强"这一名称；同时"增强型视频服 务"又是访问网格视频服务的拓展，因此也沿用了 "视频服务"这一名称。
参阅图1增强型视频服务的组成结构图，增强型视频服务包括增强型视频生产者服务
(Augmented Video Producer Service,简称AVPS)和增强型视频消费者服务(Augmented Video Consumer Service,简称AVCS)。 AVPS负责增强型视频的生成、发送；AVCS负责 增强型视频的接收、渲染以及三维几何模型的操作。AVPS由网络环境中可访问的接口、 会话通告协议(Session Announcement Protocol,简称SAP)服务端和增强型视频生产工具 组成，其中SAP服务端负责生成和发送增强型视频会话的SAP消息，并且管理增强型视 频会话的启动、停止等；增强型视频生产工具负责增强型视频数据的生成、发送等。AVCS 由网络环境中可访问的接口、 SAP客户端和增强型视频消费工具组成，其中SAP客户端 可以监听会话信息，并将接收到的信息解析为SAP消息(SAP报头和SAP有效载荷)， 管理增强型视频消费应用进程；增强型视频消费工具与生产工具相对应，即AVCS根据 AVPS的增强型视频生产工具启用相应的增强型视频消费工具。
利用增强现实的虚实结合处理技术，将网格服务结果的三维几何模型与协同工作空间 的真实视频融为一体，生成访问网格的增强型视频场景，其中主要包括标志物跟踪和三维 注册。根据基于计算机视觉的三维注册方法，本发明首先获取摄像机的位置和方向，计算 标志物坐标系与摄像机坐标系之间的变换。可以在协同工作环境中选择一个基准坐标系描 述摄像机的位置，称该坐标系为世界坐标系。用旋转矩阵R和平移向量t描述摄像机坐标 系与世界坐标系之间的空间关系，则三维空间的一点P在世界坐标系与摄像机坐标系之 间的空间关系为
<formula>formula see original document page 8</formula>其中(Xc,:Tc,Zc)和(J^&Z/)分别是点户在摄像机坐标系和世界坐标系中的坐标。并 且成像平面坐标系与摄像机坐标系之间的空间关系为
<formula>formula see original document page 8</formula>其中/为摄像头焦距，血、办分别为像素的宽度和高度，(t/o,vo)为以物理长度(例如毫
米)为单位的图像坐标系原点在以像素为单位的图像坐标系中的坐标。从而有成像平面坐
标系与世界坐标系之间的空间关系为
<formula>formula see original document page 8</formula>
其中投影矩阵M为3X4矩阵，根据摄像机的内参数f、血、办、"o和V()确定Mc，根据 摄像机的外参数R和t确定4X4矩阵M《。事实上，摄像机的内外参数矩阵Me和Mc/分 别为三维注册的透视矩阵和视景矩阵，可以通过摄像机的标定和基于标志物检测识别的标 定分别确定Mc和M"。
生成增强型视频场景的虚实结合处理主要包括:通过访问网格的摄像机实时采集协同 工作空间的视频序列；根据视频图像计算摄像机与标志物的相对方位；根据定位数据确定 投影矩阵，并将三维几何模型注册到视频图像的正确位置；渲染虚实结合的增强型图像与 视频，生成协同工作空间的增强型视频场景；支持用户协同操作增强型视频场景的三维几 何模型，改变三维几何模型的位置和方向，共享访问网格的增强型视频服务。增强型视频 服务模式通过实物操作界面，支持用户协同操作三维几何模型。实物操作界面能够建立真 实世界的交互行为与信息空间的交互操作之间映射关系，本发明的实物操作界面的实物为 空间标志物，三维几何模型可以随标志物的移动而移动，用户可以利用标志物操作三维几 何模型。
如图2所示，用户在访问网格的真实视频场景中操作网格服务结果的三维几何模型
时，三维几何模型的方位数据包括状态数据和操作数据，为了确保各节点增强型视频场景 的同步性，增强型视频服务模式根据节点路径更新三维几何模型的方位数据，能够维护三 维几何模型的状态数据，也能够关联三维几何模型的操作数据。其中，状态数据包含了 16个双精度类型元素，能够描述三维几何模型的方位状态；操作数据包含了基于用户操 作事件的三维几何模型控制信息，能够描述相应三维几何模型的操作行为。当用户触发三 维几何模型的操作事件时，首先更新相关联的三维几何模型的操作数据，并将操作数据发 送给AVPS节点，然后利用接收到的操作数据更新AVPS节点的旋转量、跟踪数据、状态 数据，同时由AVPS节点告知所有与之相连的AVCS节点，使各节点的状态数据保持一致。
如图3所示，增强型视频流的生成主要包括视频捕获、标志物跟踪、三维注册、显示 和操作等方面，并且能够在AVPS节点和AVCS节点上根据不同的方式执行其生成过程， 主要有以下三种执行方式(l)执行方式一为"生产者跟踪，生产者注册"方式(Producer Tracking Producer Registration,简称PTPR)。 AVPS节点实现视频捕获、标志物跟踪、三 维注册以后，将虚实结合的增强型视频图像传输给AVCS节点。这种执行方式适用于高 分辨率的大规模三维几何模型，不要求每一个增强型视频消费节点具有很强的绘制能力； 也适用于建模代价昂贵、需要版权保护的三维几何模型，增强型视频消费节点没有权限获 得三维几何模型的原始数据，只能获得渲染后的图像结果。但是这种执行方式编码和传输 虚实结合处理后的视频图像，容易降低增强型视频消费节点中关于三维几何模型的渲染质 量。(2)执行方式二为"生产者跟踪，消费者注册"方式(Producer Tracking Consumer Registration,简称PTCR)。 AVPS节点实现视频捕获、标志物跟踪以后，将跟踪数据和视 频图像传输给AVCS节点，然后AVCS节点实现三维注册，并根据接跟踪数据将三维几 何模型正确地注册到视频图像。这种执行方式需要预先将模型部署到各个消费节点，适应 于模型数据量不大、要求模型渲染质量、不需要版权保护的三维几何模型。(3)执行方式 三为"消费者跟踪，消费者注册"方式(Consumer Tracking Consumer Registration,简称 CTCR)， AVPS节点只捕获和传输视频，AVCS节点实现标志物跟踪、三维注册、显示和 操作等。这种执行方式要求每一个AVCS节点跟踪标志物，重复计算摄像机的方位数据， 并且，利用编码和传输的视频图像计算出的跟踪数据具有不可靠性。所以，本发明不鼓励 使用CTCR执行方式，建议应用系统根据具体需求选用PTPR或者PTCR执行方式。
根据本发明的PTPR执行方式和PTCR执行方式，增强型视频服务模式具有两种典型
的增强型视频信息在AVPS节点与AVCS节点之间的传输方式PTPR传输方式和PTCR
传输方式。图4描述了本发明的增强型视频信息PTPR传输方式，根据PTPR执行方式的
特点，AVPS节点负责标志物的识别、状态数据的计算、视频帧的渲染和视频的压縮编码；
AVCS节点负责将接收到的视频解码、显示，并处理用户操作事件，使用户能够远程操作 三维几何模型。图5描述了本发明的增强型视频信息的PTCR传输方式图，根据PTCR 执行方式的特点，AVPS节点负责标志物的识别、状态数据的计算、视频的压縮编码； AVCS节点负责解码、渲染接收到的视频，根据AVPS节点产生的状态数据在AVCS节点 绘制三维几何模型，并处理用户操作事件，使用户能够在AVCS节点操作三维几何模型。 增强型视频流与普通媒体流之间存在一定的差异，例如增强型视频流的传输数据具有 多样性，不但包括视频流，而且包括相应三维几何模型的状态数据，并且这些传输数据直 接影响三维几何模型与视频图像之间的虚实结合效果。所以，本发明拓展了访问网格的已 有流分配机制，为每一路增强型视频分配一个全局唯一的流，使每一路增强型视频拥有独 立的传输通道，并且为增强型视频的会话通告协议(Session Announcement Protocol,简称 SAP)和会话描述信息(Session Description Protocol,简称SDP)的消息分配一个全局共 享的流。在此基础上，本发明结合全局共享和全局唯一两种流分配机制管理增强型视频会 话。
如图6所示，AVS模式给出了两类组播地址 一类是共享组播地址，可以来自协作 服务并被所有节点共享，可以向所有节点发送SAP通告，称为"通告组播地址"；另一类 是某一视频序列独有的组播地址，这类地址由相应AVPS通过协作服务的组播地址分配功 能生成，专门用于传输增强型视频流，称为"增强型视频组播地址"，并且不同的增强型 视频具有不同的"增强型视频组播地址"。另外，AVPS与AVCS具有不同的组播地址分 配方式，由于可以从相应的SAP消息中获取"增强型视频组播地址"，所以AVCS不需要 返回"增强型视频组播地址"，只需要返回"通告组播地址"。
以上所述仅为本发明技术方案的一些基本说明，而依据本发明的技术方案所做的任何 等效变换，均应属于本发明的保护范围。
权利要求
1.一种访问网格的增强型视频服务模式的实现方法，其特征在于包括以下步骤1)将网格服务结果的三维几何模型注册到访问网格的真实视频场景中，生成网格服务结果的几何模型与访问网格的视频序列融为一体的增强型视频流；2)给出增强型视频信息的传输方式，为每个访问网格用户提供共享的增强型视频流；3)利用会话通告协议和会话描述协议管理访问网格的增强型视频会话。
2. 如权利要求1所述的访问网格的增强型视频服务模式的实现方法，其特征在于 所述步骤l)进一步包括以下步骤1.1) 通过访问网格的摄像机实时采集协同工作空间的视频序列；1.2) 根据视频图像计算摄像机与标志物的相对方位；1.3) 根据摄像机的定位数据确定投影矩阵，并将三维几何模型注册到视频图像的正确 位置；1.4) 渲染虚实结合的增强型图像与视频，生成协同工作空间的增强型视频场景。
3. 如权利要求1所述的访问网格的增强型视频服务模式的实现方法，其特征在于所述步骤2)中的传输方式为生产端跟踪生产端注册(PTPR)方式，即由增强型视频生 产者服务(AVPS)节点负责标志物的识别、状态数据的计算、视频帧的渲染和视频的压 縮编码；由增强型视频消费者服务(AVCS)节点负责将接收到的视频解码、显示，并处 理用户操作事件，使用户能够远程操作三维几何模型。
4. 如权利要求1所述的访问网格的增强型视频服务模式的实现方法，其特征在于 所述步骤2)中的传输方式为生产端跟踪消费端注册(PTCR)方式，即由增强型视频生产者服务(AVPS)节点负责标志物的识别、状态数据的计算、视频的压縮编码；由增强 型视频消费者服务(AVCS)节点负责解码、渲染接收到的视频，根据AVPS节点产生的 状态数据在AVCS节点绘制三维几何模型，并处理用户操作事件，使用户能够在AVCS 节点操作三维几何模型。
5. 如权利要求1所述的访问网格的增强型视频服务模式的实现方法，其特征在于 所述步骤3)进一步包括以下步骤3.1) 为每一路增强型视频分配一个全局唯一的流，使每一路增强型视频拥有独立的传 输通道；3.2) 为增强型视频的会话通告协议和会话描述信息的消息分配一个全局共享的流； 在此基础上，结合全局共享和全局唯一两种流的分配机制管理增强型视频会话。
6.如权利要求1所述的访问网格的增强型视频服务模式的实现方法，其特征在于 在协作服务中使用两类组播地址 一类是共享组播地址，该类地址来自协作服务并被 所有节点共享，可以向所有节点发送SAP通告，称为通告组播地址；另一类是某一视频 序列独有的组播地址，这类地址由相应增强型视频生产者服务通过协作服务的组播地址分 配功能生成，专门用于传输增强型视频流，称为增强型视频组播地址，并且不同的增强型 视频具有不同的增强型视频组播地址。
全文摘要
本发明提出了一种访问网格的增强型视频服务模式实现方法。该方法首先将网格服务结果的三维几何模型注册到访问网格的真实视频场景中，生成网格服务结果的几何模型与访问网格的视频序列融为一体的增强型视频流；然后根据网格应用特点给出了增强型视频信息的传输方式，包括PTPR方式和PTCR方式，为每个访问网格用户提供共享的增强型视频流；最后利用会话通告协议和会话描述协议管理访问网格的增强型视频会话。本发明使用户能够在访问网格的协同工作空间中操作网格服务结果的几何三维模型，共同完成访问网格环境下基于网格服务结果的协同工作任务。
文档编号H04L12/56GK101179500SQ20071017655
公开日2008年5月14日 申请日期2007年10月30日 优先权日2007年10月30日
发明者彬 周, 颖 李, 赵沁平, 陈小武 申请人:北京航空航天大学