一种交互式富媒体可视化渲染方法及系统的制作方法
【技术领域】
[0001] 本发明涉及富媒体领域，具体涉及一种交互式富媒体可视化渲染方法及系统。
【背景技术】
[0002] 以文字、图像、声音、视频、动画与交互脚本多种形式组合的富媒体具有丰富的表 现力与互动性。传统的富媒体可视化展示方法通过某种播放器对富媒体文件内容逐一播 放，缺少对可视化场景的交互能力。为体现富媒体互动性优势，通过对富媒体场景对象交互 式操作，收集面向不同用户操作的有价值信息，需要研宄一种交互式富媒体可视化渲染方 法，实现对富媒体场景的可视化沉浸展示。
[0003] 经文献检索发现，在现有富媒体可视化展示研宄中，Adobe公司的FlashLite player、Ikivo公司的MobileSVG和Bitflash公司的SVGPlayer以及符合LASeR或者 DMS标准的富媒体引擎等，采用局部渲染、矢量填充、反走样等方法，实现富媒体场景的可 视化渲染，未考虑采用图形、图像、视频、音频、等多元素混合渲染方式提高渲染效率。在人 机交互方面，也只是单一的时间轴上的交互，未考虑多角度多方位的场景交互方式。发明专 利"一种高效率富媒体展现系统和方法"（申请号 ：201210593871.X)，通过构建数据接收模 块、数据解码模块、富媒体展现模块、接收数据缓存模块和解码数据缓存模块，对该解码的 富媒体数据的内容进行展现，并采用数据缓存队列机制和解码阻塞机制，提高富媒体展现 效率，减少占用系统内存，加快系统响应速度。发明专利"交互式富媒体互动系统的控制方 法"（【申请号】201010589605. 0)，通过构建交互式富媒体互动模型，按照应用需求选择观察 者模式、策略模式与组合模式，定义对象间一对多依赖关系，实现交互式富媒体互动，当一 个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新，简化应用程序 的设计，降低各部分之间的耦合。
[0004] 发明专利"一种高效率富媒体展现系统和方法"（【申请号】201210593871.X)，所述 的技术方案，以减少富媒体展现系统的内存开销，加快富媒体展现系统的响应速度为目标， 对富媒体数据进行解码、展现。当富媒体内容中包含三维图形元素时，数据解码缓存将不适 用于可视化场景的展示，无法提高富媒体展现效率。
[0005] 发明专利"交互式富媒体互动系统的控制方法"（【申请号】01010589605. 0)，所述 的技术方案，以用户的请求为交互主线，将模型和视图连接在一起，不作任何数据处理，交 互方式必须遵循规定的关联关系，无法满足用户对富媒体场景对象的个性化互动操作。
[0006] 综上，现有技术中的富媒体可视化展示方法中，均是对图像、音频与视频播放技术 的研宄，多是通过使用基于XML规范的轻量级媒体标记语言，配合脚本等多种技术展现富 媒体内容，未考虑几何图形、图像、视频、音频等多类型元素混合的可视化渲染表达方式；交 互方式主要是通过时间或事件触发场景发生变化，交互形式单一，未考虑渲染过程中沉浸 式人机交互方式。
【发明内容】
[0007] 针对现有技术的不足，本发明提供一种交互式富媒体可视化渲染方法及系统，将 图形、图像、视频进行融合，通过在富媒体场景中设定交互触点，利用人机交互技术，实现场 景对象的交互触发，提升富媒体场景可视化描述效率与场景互动能力。
[0008] 第一方面，本发明提出了一种交互式富媒体可视化渲染方法，包括：
[0009] SI.将包含图形、图像和视频的异构富媒体场景对象进行存储；
[0010] S2.读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行对象融合，得 到多源异构富媒体场景；
[0011] S3.对所述多源异构富媒体场景进行可视化渲染。
[0012] 其中，所述步骤Sl包括：
[0013] 构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进 行编码压缩，动态分配静态独立存储空间，以并发方式分别进行读取，其中，存储内部读写 操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互 触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。
[0014] 其中，所述步骤Sl还包括：
[0015] 采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息 的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时， 首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换， 若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各 个传输层单元按照时间戳顺序排列，新加入的传输层单元插入合适的位置，每次取缓冲区 中第一个传输层单元进行处理，以减少对单个对象的遍历次数。
[0016] 其中，所述对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景 包括：
[0017] (1)输入富媒体场景对象仏[1]，％[」]，％[1]与富媒体场景5(^116，1=0，1，2，一 ，n-l;j= 0, 1，2,…，m-1 ;1 = 0, 1，2,…，p-1，其中，UJi]为图形对象、U2[j]为图像对象、 U3[l]为视频对象，i，j，1分别为富媒体场景中图形、图像、视频的个数；
[0018] (2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码 的特征参数工=化卜1，^2,…，d4 5…，lh工={k'l人二，…，4},n-l!"，
[0019] (3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象 的欧氏距离为衡量标准，Xi=dist|Ei(x,y,z)-Uj[x,y,z]I，Ei(x,y,z)为视点在富媒 体场景中世界坐标值，UjX，y，z]为不同元素对象在富媒体场景中的世界坐标值，则 UjaUjjLUjl]的权值分别为：
【主权项】
1. 一种交互式富媒体可视化擅染方法，其特征在于，包括：
51. 将包含图形、图像和视频的异构富媒体场景对象进行存储；
52. 读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合，得到多源异 构富媒体场景；
53. 对所述多源异构富媒体场景进行可视化擅染。
2. 根据权利要求1所述的方法，其特征在于，所述步骤S1包括： 构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编 码压缩，动态分配独立存储空间，W并发方式分别进行读取，其中，存储内部读写操作采用 互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件 时，将存储访问权授予存储访问优先级最高的富媒体场景对象。
3. 根据权利要求2所述的方法，其特征在于，所述步骤S1还包括： 采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传 输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先 根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不 需要，保存传输层单元待合适交互触点再处理，为所述传输层单