元维护一个缓冲区，各个传 输层单元按照时间戳顺序排列，新加入的传输层单元插入合适的位置，每次取缓冲区中第 一个传输层单元进行处理，W减少对单个对象的遍历次数。
4. 根据权利要求1所述的方法，其特征在于，对所述异构富媒体场景对象进行融合，得 到多源异构富媒体场景包括： (1) 输入富媒体场景对象Ui[i], U2[j], lUl]与富媒体场景Scene, i = 0, 1，2,…，n-1 ; j = 0, 1，2,…，m-1 ;1 = 0, 1，2,…，p-1，其中，Ui[i]为图形对象、U2[j]为图像对象、&[1] 为视频对象，i，j，1分别为富媒体场景中图形、图像、视频的个数； (2) 分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特 征参数与,=化,^",:，.'乂,,"-山式：=化:^,:.2，.'乂:,"-^，与3=的.^心^^ (3) 计算特征参数在富媒体场景所占的权值，W当前视点到富媒体场景对象的欧氏距 离为衡量标准，人i= dist |E i(x, y, z)-Uj[x, y, Z] I，Ei (X，y, Z)为视点在富媒体场景中世界 坐标值，Uj. [X，y，z]为不同元素对象在富媒体场景中的世界坐标值，则Ui [i]，U, [ j]，& [1]的 权值分别为：
(4) 当&[1]，&[別，&[1]共同描述同一富媒体场景8〇6116时，共享子空间8油_5为 Sub_S = fWi[i]，U2[j]，U3[l]); (5) 在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模 型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略；Scene = 曰术1[1]+〇2&[別+〇3&[1]; (6) 将融合后的特征向量进行特征重构； (7) 输出融合后的多源异构的富媒体场景。
5. 根据权利要求1所述的方法，其特征在于，对所述多源异构富媒体场景进行可视化 擅染包括；基于视点的几何分块分布式进行擅染，将富媒体场景按元素分为图形场景单元、 图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单 元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包 含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信 息，在帖擅染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的 编号，W及与其相邻的场景单元与子单元的编号。
6. -种交互式富媒体可视化擅染系统，其特征在于，包括： 存储模块，用于将包含图形、图像和视频的异构富媒体场景对象进行存储； 融合模块，用于读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合， 得到多源异构富媒体场景； 擅染模块，用于对所述多源异构富媒体场景进行交互式可视化擅染。
7. 根据权利要求6所述的系统，其特征在于，所述存储模块具体用于构建多层存储架 构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配独 立存储空间，W并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存 储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授 予存储访问优先级最高的富媒体场景对象。
8. 根据权利要求7所述的系统，其特征在于，所述存储模块还用于采用渐进式流传输 方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传 输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的 时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单 元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间 戳顺序排列，新加入的传输层单元插入合适的位置，每次取缓冲区中第一个传输层单元进 行处理，W减少对单个对象的遍历次数。
9. 根据权利要求6所述的系统，其特征在于，所述融合模块具体用于对所述异构富媒 体场景对象进行对象融合，得到多源异构富媒体场景，具体包括： (1)输入富媒体场景对象Ui[i], U2[j], lUl]与富媒体场景Scene, i = 0, 1，2,…，n-1 ; j = 0, 1，2,…，m-1 ;1 = 0, 1，2,…，p-1，其中，Ui[i]为图形对象、U2[j]为图像对象、&[1]
为视频对象，i，j，1分别为富媒体场景中图形、图像、视频的个数； (2) 分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特 (3) 计算特征参数在富媒体场景所占的权值，W当前视点到富媒体场景对象的欧氏距 离为衡量标准，人i= dist |E i(x, y, z)-Uj[x, y, Z] I，Ei (X，y, Z)为视点在富媒体场景中世界 坐标值，Uj. [X，y，z]为不同元素对象在富媒体场景中的世界坐标值，则Ui [i]，U, [ j]，& [1]的 权值分别为：
(4) 当Ui[i]，U2[j]，U3[l]共同描述同一富媒体场景Scene时，共享子空间8油_5为 Sub_S = f(Ui[i]，U2[j]，U3[l]); (5) 在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模 型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略；Scene = 曰术1[1]+〇2&[別+〇3&[1]; (6) 将融合后的特征向量进行特征重构； (7) 输出融合后的多源异构的富媒体场景。
10.根据权利要求6所述的系统，其特征在于，所述擅染模块具体用于基于视点的几 何分块分布式进行擅染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景 单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分 割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单 元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帖擅染的响应逻辑 中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，W及与其相邻的场 景单元与子单元的编号。
【专利摘要】本发明提供了一种交互式富媒体可视化渲染方法，包括：S1.将包含图形、图像和视频的异构富媒体场景对象进行存储；S2.读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合，得到多源异构富媒体场景；S3.对所述多源异构富媒体场景进行可视化渲染。本发明所述的方法及系统，将图形、图像、视频进行融合，通过在富媒体场景中设定交互触点，利用人机交互技术，实现场景对象的交互触发，提升富媒体场景可视化描述效率与场景互动能力。
【IPC分类】H04N21-81, H04N21-44, H04N21-234, H04N21-433
【公开号】CN104602116
【申请号】CN201410830648
【发明人】高荣华, 吴华瑞, 孙想, 李庆学, 陈诚, 朱华吉, 王元胜
【申请人】北京农业智能装备技术研究中心
【公开日】2015年5月6日
【申请日】2014年12月26日