专利名称：面向复杂投影表面的集群式多媒体播放与控制系统的制作方法
技术领域：
本发明涉及计算机图形学、系统软件、多媒体、Web信息管理系统等领域，具体涉及面向复杂投影表面的集群式多媒体播放与控制系统，该系统包括拥有自主计算能力的多媒体播放与控制集群，面向复杂投影表面的多投影校正工具包和在线服务管理平台三个部分。
背景技术：
工业界较成熟的多媒体播放与控制系统是由瑞典公司Dataton研发的Watchout。学术界较有代表的多媒体显示系统包括Princeton的Scalable Display Wall, UNC的PixelFlex, Minnesota的Power Wall和Illinois的SAGE。在实际工程应用中，构建多媒体播放与控制系统业务流程包括:用户购买系统序列号后，在线服务平台提供图形化操作界面帮助用户编排多媒体播放与控制流程，用户将生成的多媒体播放与控制系统所需的配置文件上传到在线服务平台；在线服务平台向操作人员提供多投影校正工具包和多媒体播放与控制系统的使用授权；操作人员根据工程现场实际环境，利用多投影校正工具包对多媒体播放与控制集群的多投影画面进行校正；操作人员将校正结果分发到集群每一个显示结点并通过在线服务平台备份；操作人员从在线服务平台下载所需配置文件并分发给多媒体播放与控制系统；多媒体播放与控制系统加载校正结果和配置文件完成多媒体播放与控制。
然而，随着集群规模的扩大，多媒体播放与控制系统对集群的稳定性和容错性提出了更高的要求，为此本发明提出了拥有自主计算能力的主从式集群架构。此外，随着硬件和文化产业的发展，多媒体播放与控制系统表现形式更为丰富，为此本发明涉及多媒体播放与控制系统支持多种类型输入源、支持通过灯光等设备共同构建完整的多媒体展示。发明内容
本发明提供了一种面向复杂投影表面集群式大规模多媒体播放与控制系统，包括拥有自主计算能力的多媒体播放与控制集群、面向复杂投影表面的多投影校正工具包以及在线服务管理平台三个部分。
本发明中，拥有自主计算能力的多媒体播放与控制集群包含拥有自主计算能力的主从式集群架构和支持丰富表现形式的多媒体播放与控制系统；
所述的拥有自主计算能力的主从式集群架构由网络模块、异常处理模块和自主迁移模块组成，提供稳定、一致、容错、可伸缩的集群运行环境；
所述网络模块，用于主控结点监控并协调各个从属结点状态并保持集群内结点状态的一致性，以视频播放为例，各个结点同步绘制相同视频序列帧。
所述异常处理模块，用于处理从属结点发生异常，当从属结点发生异常时，异常处理模块将该结点剔除集群，并在该结点恢复正常后重新将其加入集群。
所述自主迁移模块，用于处理主控结点发生异常，当主控结点发生异常时，自主迁移模块在集群中推选新的结点，将其指派为主控结点。
所述的支持丰富表现形式的多媒体播放与控制系统由投影显示模块和多媒体控制管理模块组成，支持多种输入源且能协调灯光等设备完成大规模多媒体展示；
所述投影显示模块，用于将多媒体文件通过投影显示，包含解码过程和绘制过程，所述解码过程，用于将输入源转换为统一格式的缓存帧，输入源包含视频、图像、桌面捕获数据等，所述绘制过程，用于加载多投影校正结果并在投影前对画面进行校正；
所述多媒体播放与控制系统管理模块，用于在多媒体播放与控制过程中，根据用户创建的配置文件，与灯光等设备系统通讯，并响应外部控制命令，所述通讯包括通过可执行程序调用、DMX512协议、串口通信和网络通信等方式，所述灯光等设备包括灯光、音响、动感座椅等，所述外部控制命令包括暂停、继续、寻址、循环等控制指令。
本发明中，针对传统多投影校正技术受到物理环境的限制，所述的面向复杂投影表面的多投影校正工具包基于交互式编辑，通过全画布空间设置、几何校正、颜色校正、纹理变形以及遮罩编辑，通过交互式编辑的方式实现多投影输出画面在复杂投影表面的无缝拼接，有效解决了复杂投影表面的多投影画面拼接校正；
所述全画布空间设置，用于建立投影仪与显示表面之间映射关系以及纹理资源与显不表面的映射关系；
所述几何校正，用于实现纹理坐标到投影仪窗口坐标的映射，保持多投影拼接画面几何上的连贯性；
所述颜色校正，用于调节投影仪重叠区域Alpha亮度以及投影仪之间的色差，保持多投影拼接画面亮度和色彩上的一致性；
所述纹理变形，用于对纹理资源本身进行变形，与几何编辑相结合，使多投影拼接画面适用于复杂投影表面；
所述遮罩编辑，用于编辑不规则表面的轮廓并生成包含深度信息的位图作为蒙版，剔除显示表面外的投影画面。
本发明中，在线服务管理平台包含授权认证模块、资源管理模块和多媒体播放与控制系统的配置文件生成模块，为用户编排多媒体播放与控制流程，利用互联网管理和维护多媒体播放与控制系统提供优质的技术服务和方便的管理维护；
所述配置文件生成模块，用于定制多媒体播放与控制流程，根据多媒体展示的需求，利用图形化界面在时间轴上配置多媒体播放与控制过程中灯光等硬件的协同工作；
所述授权认证模块，用于为多媒体播放与控制系统授权认证，通过结合加密狗硬件加密策略和明文许可证文件加密策略防止系统被盗用和侵权；
所述资源管理模块，用于存储和备份多媒体播放与控制系统所需资源和数据，帮助用户更新和维护多媒体播放与控制系统。
本发明采用拥有自主计算能力的多媒体播放与控制集群，该集群中拥有自主计算能力的集群架构，提升了大规模集群运行的稳定性和容错性，为大型多媒体播放与控制提供了稳定、可靠的执行环境，该集群中支持丰富表现形式的多媒体播放与控制系统，充分考虑主流硬件的发展和不断丰富的多媒体展示创意，为多媒体展示提供了技术支持；本发明采用面向复杂投影表面的多投影校正工具包，针对实际工业应用，通过交互式编辑的方式，完成多投影显示画面校正；本发明采用在线服务平台，帮助用户编排多媒体播放与控制流程，利用互联网管理和维护多媒体播放与控制系统。
本发明普遍适用于构建面向复杂投影表面集群式多媒体播放与控制系统，随着文化创意产业的发展，本发明提出的面向复杂投影表面集群式多媒体播放与控制系统具有广阔的应用前景，具有重大的经济价值和社会价值。
本发明的优点是:
1，拥有自主计算能力的多媒体播放与控制集群，支持大规模多媒体展示，有很好的稳定性和容错性，并能协调灯光等硬件设备配合超高分辨率视频，完成丰富的多媒体展示创意。
2，面向复杂投影表面的多投影校正工具包，通过交互式编辑的方式，面向复杂投影表面，画面无缝拼接，完成多投影显示画面校正。
3，在线服务平台，帮助用户编排多媒体播放与控制流程，利用互联网管理和维护多媒体播放与控制系统。
图1为本发明的面向复杂投影表面集群式多媒体播放与控制系统架构示意图。
图2为本发明的多媒体播放与控制集群自主计算的示例流程图。
图3为本发明的投影显示模块的流程图。
图4为本发明的多媒体播放与控制系统管理模块的工作原理示意图。
图5为本发明的使用多投影工具包进行多投影画面校正的一般步骤。
图6为本发明的构建多媒体播放与控制系统的业务流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实例和附图，对本发明进一步详细说明。
下面结合图2对本发明中拥有自主计算能力的集群架构工作原理进行说明。
参见图2，为本发明涉及多媒体播放与控制集群中自主计算的工作原理示意图，如下步骤对工作原理进行说明:
步骤201，基于主从式架构的多媒体播放与控制集群启动后，网络模块协调集群内各个结点状态同步，以视频播放为例，各个结点同步绘制当前序列帧。
步骤202，从结点3出现异常，网络模块监测到该结点异常，异常处理模块将该结点剔除集群列表。
步骤203，从结点3恢复正常，网络模块监测到该结点从异常中恢复，异常处理模块将该结点重新列入集群列表。
步骤204，主结点发生异常，自主迁移模块在集群剩余结点中选取ID最小的结点，将其指派为主控结点。
所述异常包含软件异常、网络异常和硬件异常。所述ID为集群中每个结点拥有的互不相同的标识符号。
下面通过图3、图4的实例对本发明的支持丰富表现形式的多媒体播放与控制系统进行举例说明。
参见图3，为本发明中支持丰富表现形式的多媒体播放与控制系统中投影显示模块的工作流程示意图，如下步骤就解码与显示流程进行描述:
步骤301，解码，用于将输入源转换为统一格式的缓存帧，所述的输入源包含视频、图像、桌面捕获数据和摄像头捕获数据；
步骤302，投影显示，用于加载多投影校正结果并在投影前对画面进行校正。
参见图4，为本发明中支持丰富表现形式的多媒体播放与控制系统中管理模块工作原理示意图，包含多媒体播放流程控制和外部消息处理。
所述多媒体播放流程控制，根据用户定义的多媒体播放与控制系统配置文件中描述，通过可执行程序调用、DMX512协议、串口通信、网络通信等通讯方式，协调灯光等硬件设备完成多媒体播放与控制。所述灯光等硬件设备主要包括灯光，音响、动感座椅等硬件设备。
所述外部消息处理，可在多媒体播放过程中响应用户发起的外部指令，常见有暂停、继续、寻址、循环等。
下面通过图5对本发明中面向复杂投影表面多投影校正技术的步骤进行说明。
参见图5，为本发明中面向复杂投影表面多投影校正技术一般步骤，包含全画布空间技术、几何校正、颜色校正、纹理变形和遮罩编辑:
步骤501，全画布空间技术，用于建立投影仪与显示表面之间映射关系以及纹理资源与显示表面的映射关系；
步骤502，几何校正，用于实现纹理坐标到投影仪窗口坐标的映射，保持多投影拼接画面几何上的连贯性与一致性；
步骤503，颜色校正，用于调节投影仪重叠区域Alpha亮度以及投影仪之间的色差，保持多投影拼接画面亮度和色彩上的一致性与连贯性；
步骤504，纹理变形，用于对纹理资源本身进行变形，与几何编辑相结合，使多投影拼接画面适用于复杂投影表面；
步骤505，遮罩编辑，用于编辑不规则表面的轮廓并生成包含深度信息的位图作为蒙版，剔除显示表面外的投影画面；
步骤504和步骤505根据显示表面的具体特征可以略过，校正结果保存在多媒体播放与控制集群各个结点上，同时在服务平台也有数据备份。
下面通过图6对本发明中多媒体播放与控制系统构建业务流程进行说明
参见图6，为本发明中多媒体播放与控制系统的构建流程，如下步骤包括授权认证、配置文件生成和多投影校正。
步骤601，授权认证，用户通过在线服务平台购买系统序列号，在线服务平台为操作人员提供多媒体播放与控制系统的授权认证，认证方法采用加密狗硬件加密策略和明文许可证文件加密策略相结合的方法，防止系统被盗用和侵权。
步骤602，配置文件生成，用户根据多媒体播放与控制系统的实际需求，用图形化界面在时间轴上配置多媒体播放与控制过程中灯光等硬件设备的协同工作，并将生成的配置文件上传到在线服务平台。
步骤603，多投影校正，操作人员根据现场实际工程环境，利用多投影校正工具包，完成面向复杂投影表面的多投影校正，将校正结果分发到多媒体播放与控制集群并备份至在线服务平台。
以上所述的具体实施例，对本发明的目的、技术方案和结果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，该系统包括一种有自主计算能力的多媒体播放与控制集群、一种面向复杂投影表面的多投影校正工具包以及一种在线服务管理平台； 所述有自主计算能力的多媒体播放与控制集群，支持大规模多媒体显示，有稳定性和容错性，协调硬件设备配合超高分辨率视频，完成多媒体展示； 所述多投影校正工具包，采用交互式编辑的方式，完成复杂表面的多投影画面无缝拼接; 所述在线服务管理平台，为用户编排多媒体播放与控制流程，利用互联网管理和维护多媒体播放与控制系统。
2.如权利要求1所述的面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，所述的有自主计算能力的多媒体播放与控制集群，包含一种有自主计算能力的主从式集群架构系统和一种支持丰富表现形式的多媒体播放与控制系统。
3.如权利要求2所述的面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，所述的有自主计算能力的主从式集群架构系统，包括网络模块、异常处理模块和自主迁移模块； 所述网络模块，用于主控结点监控并协调各个从属结点状态并保持集群内结点状态的一致性； 所述异常处理模块，用于处理从属结点发生异常，当从属结点发生异常时，异常处理模块将该结点剔除集群，并在该结点恢复正常后重新将其加入集群； 所述自主迁移模块，用于处理主控结点发生异常，当主控结点发生异常时，自主迁移模块在集群中推选新的结点，将其指派为主控结点。
4.如权利要求2所述的面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，所述的一种支持丰富表现形式的多媒体播放与控制系统，包括投影显示模块和多媒体控制管理模块； 所述投影显示模块，用于将多媒体文件通过投影显示，包含解码过程和绘制过程，所述解码过程，用于将输入源转换为统一格式的缓存帧，输入源包含视频、图像、桌面捕获数据，所述绘制过程，用于加载多投影校正结果并在投影前对输出画面进行校正； 所述多媒体播放与控制系统管理模块，用于在多媒体播放与控制过程中，根据创建的配置文件，与灯光设备系统通讯，并响应外部控制命令；所述通讯包括可执行程序调用、DMX512协议、串口通讯和网络通信方式，所述灯光设备包括灯光、音响、动感座椅，所述外部控制命令包括暂停、继续、寻址、循环控制指令。
5.如权利要求1所述的面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，所述的一种面向复杂投影表面的多投影校正工具包，使用其进行多投影画面校正的过程包括全画布空间设置、几何校正、颜色校正、纹理变形和遮罩编辑； 所述全画布空间设置，用于建立投影仪与显示表面之间映射关系以及纹理资源与显示表面的映射关系； 所述几何校正，用于实现纹理坐标到投影仪窗口坐标的映射，保持多投影拼接画面几何上的连贯性； 所述颜色校正，用于调节投影仪重叠区域Alpha亮度以及投影仪之间的色差，保持多投影拼接画面亮度和色彩上的一致性； 所述纹理变形，用于对纹理资源本身进行变形，与几何编辑相结合，使多投影拼接画面适用于复杂投影表面； 所述遮罩编辑，用于编辑不规则表面的轮廓并生成包含深度信息的位图作为蒙版，剔除显示表面外的投影画面。
6.如权利要求1所述的面向复杂投影表面集群式大规模多媒体播放与控制系统，其特征在于，所述的一种在线服务平台，包括配置文件生成模块、授权认证模块和资源管理模块； 所述配置文件生成模块，用于定制多媒体播放与控制流程，根据多媒体展示的需求，利用图形化界面在时间轴上配置多媒体播放与控制过程中灯光硬件设备的协同工作； 所述授权认证模块，用于为多媒体播放与控制系统授权认证，通过结合加密狗硬件加密策略和明文许可证文件加密策略防止系统被盗用和侵权； 所述资源管理模块，用于存储和备份多媒体播放与控制系统所需资源和数据，帮助用户更新和维护多媒体播放与控制系统。
全文摘要
本发明涉及计算机图形学、系统软件、多媒体、Web信息管理系统等领域，具体涉及面向复杂投影表面的集群式多媒体播放与控制系统，该系统包括拥有自主计算能力的多媒体播放与控制集群，面向复杂投影表面的多投影校正工具包和在线服务管理平台三个部分。所述拥有自主计算能力的多媒体播放与控制集群，支持大规模多媒体展示，有很好的稳定性和容错性，并能协调灯光等硬件设备配合超高分辨率视频，完成丰富的多媒体展示创意；所述多投影校正工具包，采用交互式编辑的方式，针对复杂表面完成多投影画面无缝拼接；所述在线服务管理平台，帮助用户编排多媒体播放与控制流程，并利用互联网管理和维护多媒体播放与控制系统。本发明系统普遍适用于面向复杂投影表面、基于集群的大规模多媒体展示，可为文化创意产业、数字娱乐、虚拟现实提供技术支持和运营平台。
文档编号H04L12/24GK103207766SQ20121001128
公开日2013年7月17日 申请日期2012年1月14日 优先权日2012年1月14日
发明者姜忠鼎, 梁思毓 申请人:复旦大学