多媒体控制方法与流程

本发明是有关于一种多媒体电子信息技术，且特别是有关于一种关于编辑五维(five-dimensional，简称：5D)多媒体数据其实体特效(physical effects)的电子装置及其多媒体控制方法。

背景技术：

随着科技的演进，为了让使用者能够体验真实的感受，5D电影逐渐发展并成为一种娱乐的新形式。5D电影结合了三维(three-dimensional，简称：3D)图像以及实体特效。上述的实体特效可包括实体动感效果(例如震动、喷射等座椅的动感效果)以及感官体验(例如烟雾效果、水滴等)。

为了制作5D电影，特别是对于第一人称视角的拍摄方式而言，目前的技术可通过后制而将实体特效加入5D电影中。具体而言，在3D电影拍摄并记录完成之后，输出实体特效的特定时间点可被手动记录，之后便可根据上述手动记录的时间点，而将用以提供实体动感效果的装置(例如动感座椅)或是用以提供感官体验的装置(例如喷水器、风扇等)启动。然而，手动记录用以提供实体特效的时间点可能会耗费大量时间及人力资源。此外，后制的实体特效也可能与在拍摄电影期间的原始环境状态不同，而无法提供观众逼真的临场感受。

技术实现要素：

本发明提供一种电子装置的多媒体控制方法，其可有效减少编辑多媒体数据的实体特效所需的时间及人力，并让观众有身临其境的感受。

本发明提出一种多媒体控制方法，其适用于具有图像获取单元及检测单元的电子装置。所述多媒体控制方法包括下列步骤。当通过图像获取单元执行图像获取动作以获得图像信号时，同时通过检测单元检测电子装置的运动信息以及环境信息。根据运动信息以及环境信息来产生至少一特效控制信号。根据图像信号的时序以将特效控制信号输出至特效输出装置。

在本发明的一实施例中，上述的运动信息包括加速度数据、速度数据、位移数据、角度数据、角速度数据以及磁力数据，环境信息包括风速数据及风向数据，且根据运动信息以及环境信息来产生特效控制信号的步骤包括根据部分或全部的加速度数据、速度数据、位移数据、角度数据、角速度数据、磁力数据、风速数据及风向数据之间的权重比例，以计算特效控制信号的强度。

在本发明的一实施例中，上述的特效控制信号包括风向感受信息，且产生特效控制信号的强度的步骤包括根据风向数据、磁力数据以及风向数据与磁力数据之间的权重比例，以计算风向感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括风速感受信息，且产生特效控制信号的强度的步骤包括根据速度数据、加速度数据、风速数据，以及速度数据、加速度数据与风速数据之间的权重比例，以计算风速感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括移动方向感受信息，且产生特效控制信号的强度的步骤包括根据磁力数据、角度数据，以及磁力数据与角度数据之间的权重比例，以计算移动方向感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括震动感受信息，且产生特效控制信号的强度的步骤包括根据角速度数据、位移数据，以及角速度数据与位移数据之间的权重比例，以计算震动感受信息的强度。

在本发明的一实施例中，上述的环境信息还包括大气压力数据，且计算震动感受信息的强度的步骤包括根据大气压力数据来调整震动感受信息的强度。

在本发明的一实施例中，上述的环境信息包括亮度数据以及颜色数据，特效控制信号包括环境光感受信息，且根据运动信息以及环境信息来产生特效控制信号的步骤包括根据亮度数据以及颜色数据，以设定环境光感受信息的强度。

在本发明的一实施例中，上述的环境信息包括温度数据以及湿度数据，特效控制信号包括温度感受信息，且根据运动信息以及环境信息来产生特效控制信号的步骤包括判断湿度数据是否大于湿度临界值，当湿度数据大于湿度临界值时，根据判断温度数据是否大于温度临界值来调整温度感受信息的强度，以及当湿度数据不大于湿度临界值时，根据温度数据设定温度感受信息的强度。

在本发明的一实施例中，上述包括图像信号以及特效控制信号的多媒体数据为四维多媒体数据或五维多媒体数据。

本发明另提出一种电子装置，其包括图像获取单元、检测单元以及处理单元。图像获取单元用以执行图像获取动作以获得图像信号。检测单元用以检测电子装置的运动信息以及环境信息。处理单元耦接图像获取单元以及检测单元。当图像获取单元执行图像获取动作以获得图像信号时，处理单元通过检测单元以同时检测电子装置的运动信息以及环境信息，并根据运动信息以及环境信息来产生至少一特效控制信号，以及根据图像信号的时序以将特效控制信号输出至特效输出装置。

在本发明的一实施例中，上述的运动信息包括加速度数据、速度数据、位移数据、角度数据、角速度数据以及磁力数据，环境信息包括风速数据及风向数据，且处理单元根据部分或全部的加速度数据、速度数据、位移数据、角度数据、角速度数据、磁力数据、风速数据及风向数据之间的权重比例，以计算特效控制信号的强度。

在本发明的一实施例中，上述的特效控制信号包括风向感受信息，且处理单元根据风向数据、磁力数据，以及风向数据与磁力数据之间的权重比例，以计算风向感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括风速感受信息，且处理单元根据速度数据、加速度数据、风速数据，以及速度数据、加速度数据与风速数据之间的权重比例，以计算风速感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括移动方向感受信息，且处理单元根据磁力数据、角度数据，以及磁力数据与角度数据之间的权重比例，以计算移动方向感受信息的强度。

在本发明的一实施例中，上述的特效控制信号包括震动感受信息，且处理单元根据角速度数据、位移数据，以及角速度数据与位移数据之间的权重比例，以计算震动感受信息的强度。

在本发明的一实施例中，上述的环境信息还包括大气压力数据，且处理单元根据大气压力数据来调整震动感受信息的强度。

在本发明的一实施例中，上述的环境信息包括亮度数据以及颜色数据，特效控制信号包括环境光感受信息，且处理单元根据亮度数据以及颜色数据，以设定环境光感受信息的强度。

在本发明的一实施例中，上述的环境信息包括温度数据以及湿度数据，特效控制信号包括温度感受信息，且处理单元判断湿度数据是否大于湿度临界值，当湿度数据大于湿度临界值时，根据判断温度数据是否大于温度临界值来调整温度感受信息的强度，以及当湿度数据不大于湿度临界值时，根据温度数据设定温度感受信息的强度。

在本发明的一实施例中，上述包括图像信号以及特效控制信号的多媒体数据为四维多媒体数据或五维多媒体数据。

基于上述，本发明实施例的电子装置的多媒体控制方法可获得图像信号并同时检测电子装置的运动信息以及环境信息，借此基于电子装置的运动信息以及环境信息来产生特效控制信号以准确地模拟原始环境状态。此外，因后制所需的时间及人力也可有效减少。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明一实施例所示出的一种电子装置的方块图；

图2是本发明一实施例所示出的一种多媒体控制方法的流程图；

图3是本发明一实施例所示出的一种多媒体控制系统的方块图；

图4是本发明另一实施例所示出的一种多媒体控制方法的流程图。

附图标记说明：

100：电子装置；

110：图像获取单元；

120：检测单元；

122：风速风向仪；

124：姿态传感器；

130：处理单元；

140：存储单元；

200：环境特效装置；

300：动感座椅装置；

500：特效输出装置；

AC：加速度数据；

AN：角度数据；

AV：角速度数据；

DI：位移数据；

F1～F4：风扇；

MA：磁力数据；

MDF：移动方向感受信息；

OU1～OU4：运算单元；

VE：速度数据；

VF：震动感受信息；

WD：风向数据；

WS：风速数据；

WDF：风向感受信息；

WSF：风速感受信息；

S210～S230、S410～S460：方法步骤。

具体实施方式

本发明实施例可在执行图像获取动作时，同时检测环境信息和电子装置的运动信息，并可根据所检测到的环境信息和运动信息来产生至少一特效控制信号。换言之，在电影拍摄期间的原始环境状态可被精确地转换为特效控制信号，且相对应的实体特效(包括实体动感效果及感官体验)可在图像拍摄期间便进行编辑。借此，当图像拍摄完成时，相对应的实体特效也可完成编辑。此外，对于为了在5D电影中加入实体特效的后制而言，其所需花费的时间及人力资源也可降低。

图1是本发明一实施例所示出的一种电子装置的方块图。请参照图1，电子装置100包括图像获取单元110、检测单元120、处理单元130以及存储单元140，其功能分述如下。

图像获取单元110可包括镜头以及感光元件。镜头例如是光学定焦镜头或光学变焦镜头。感光元件例如是电荷耦合元件(Charge Coupled Device，简称：CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，简称：CMOS)元件。在本实施例中，图像获取单元110可用以执行图像获取动作以获得图像信号。上述的图像信号可用以形成3D图像。

检测单元120可包括重力传感器(G-sensor)、加速度传感器(accelerometer)、陀螺仪(gyroscope)、磁传感器(magnetometer)等感测元件或其组合，本发明对此不限制。在本实施例中，检测单元120可用以检测电子装置100在三维空间中的运动信息(例如电子装置100的加速度数据、角速度数据以及磁力数据等)。检测单元120也可计算所检测到的数据以推导出例如速度数据、位移数据以及角度数据等。此外，检测单元120也可包括风速风向仪、温度传感器、湿度传感器、光传感器、颜色传感器以及大气压力计等，且这些传感器可用以检测环境信息(例如风速数据、风向数据、温度数据、湿度数据、亮度数据、颜色数据以及大气压力数据等)。

处理单元130例如是单芯片、一般用途处理器(General-Purpose Processor)、特殊用途处理器、传统的处理器、数字信号处理器(Digital Signal Processor，简称：DSP)、多个微处理器(Microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application Specific Integrated Circuit，简称：ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array，简称：FPGA)等。在本实施例中，处理单元130用以实现本发明实施例所提出的多媒体控制方法。

此外，存储装置140可用以存储数据(例如检测到的运动数据及环境信息)并提供处理单元130进行存取。存储装置140例如是硬盘(Hard Disk Drive，HDD)、易失性存储器(Volatile Memory)及非易失性存储器(Non-Volatile Memory)。

图2是本发明一实施例所示出的多媒体控制方法的流程图，且适用于图1的电子装置100。以下即搭配电子装置100的各个元件来说明本方法的详细步骤。

请同时参照图1及图2，在步骤S210中，当图像获取单元110执行图像获取动作以获得图像信号时，同时通过检测单元120检测电子装置100的运动信息以及环境信息。具体而言，在一实施例中，图像获取单元110以及检测单元120可同时启动，因此，在图像获取单元110执行图像获取动作的期间，检测单元120便可用来检测和记录电子装置100的运动及环境状态。

在步骤S220中，处理单元130根据运动信息以及环境信息来产生至少一特效控制信号。在步骤S230中，处理单元130根据图像信号的时序以将该特效控制信号输出至一特效输出装置500。特别是，所述图像信号的时序可在获得图像信号时同时记录。为了便于说明，在图1中仅示出出特效输出装置500作为示意，但本发明并不限制特效输出装置的数量。

详言之，图像信号的时序可使处理单元130同步输出所述特效控制信号和图像信号。处理单元130可使用图像信号以控制立体投射系统来播放3D图像(即，向观众提供立体效果)。处理单元130还可使用所述特效控制信号，以控制对应的特效输出装置500输出实体特效(例如实体动感效果和感官体验)，并与立体效果同步。如此一来，便可呈现包括3D图像以及实体特效的四维(four-dimensional，简称：4D)电影或5D电影，并且有效模拟出原始环境状态。

从另一角度而言，包括图像信号以及特效控制信号的多媒体数据可以是四维多媒体数据或五维多媒体数据。

值得一提的是，在一范例实施例中，所述特效输出装置500可包括动感座椅系统以及环境特效系统。特效控制信号可用来控制动感座椅系统中的一个或多个动感座椅装置，以提供座椅动感特效。此外，特效控制信号也可用来控制环境特效系统中的一个或多个环境特效装置，以提供环境特效。因此，基于特效控制信号，原始环境状态可通过座椅动感特效以及环境特效而有效模拟。

更具体而言，特效控制信号可包括多个感受信息，例如风速感受信息、风向感受信息、移动方向感受信息、震动感受信息、环境光感受信息，以及温度和湿度感受信息。处理单元130可使用所述特效控制信号以控制对应的特效输出装置。这些特效输出装置可具有不同功能，例如动感座椅、空调、喷水器、风扇以及可调色光(例如有机光二极管)等。举例来说，动感座椅可根据移动方向感受信息以及震动感受信息的控制而提供座椅动感特效，而风扇可根据风速感受信息以及风向感受信息的控制而提供环境特效。借此，便可模拟出与3D图像相对应的场景及环境状态。

值得一提的是，在本实施例中，处理单元130可基于感受信息的种类而计算特效控制信号，借此精确地模拟场景及环境状态。例如，在一实施例中，特别是对于动感特效而言，处理单元130可根据所检测到的运动信息、环境信息的部分或全部，借以计算特效控制信号的强度。此外，在一些实施例中，由于不同的环境信息可能在特定条件下会相互影响，故处理单元130还可调整特效控制信号的强度。或者，处理单元130也可直接将所检测到的数据转换成特效控制信号的强度。上述情况将于之后详细说明。

首先说明根据所检测到的运动信息、环境信息的部分或全部，借以计算特效控制信号的强度。

图3是本发明一实施例所示出的一种多媒体控制系统的方块图，且此多媒体控制装置包括图1的电子装置100及特效输出装置500。在本实施例中，特效输出装置500可包括环境特效装置200以及动感座椅装置300。值得注意的是，为了便于说明，在此仅示出出电子装置100的检测单元120以及处理单元130。此外，环境特效装置200以及动感座椅装置300的数量可适应性调整。

请参照图3，检测单元120可包括风速风向仪122以及姿态传感器124。风速风向仪122可用以检测环境信息中的风向数据WD以及风速数据WS。姿态传感器124可包括陀螺仪、加速度传感器以及磁传感器(图3未示出)，其可用以检测运动信息中的加速度数据AC、角速度数据AV以及磁力数据MA。此外，姿态传感器124还可检测速度数据VE、角度数据AN以及位移数据DI。其中，速度数据VE可由加速度数据AC对时间的积分而推导出，角度数据AN可由角速度数据AV对时间的积分而推导出，且位移数据DI可由速度数据VE对时间的积分而推导出。在一些实施例中，速度数据VE、角度数据AN以及位移数据DI可由处理单元130计算而得到。

基于上述检测到的数据，在本实施例中，处理单元130可根据部分或全部的加速度数据、速度数据、位移数据、角度数据、角速度数据、磁力数据、风速数据及风向数据之间的权重比例，以计算特效控制信号的强度。

在图3的实施例中，特效控制信号可包括多个感受信息，例如风速感受信息WSF、风向感受信息WDF、移动方向感受信息MDF以及震动感受信息VF。处理单元130可执行运算单元OU1、OU2、OU3以及OU4以分别计算上述的感受信息WSF、WDF、MDF、VF。运算单元OU1、OU2、OU3、OU4可例如是受控于处理单元130的实体逻辑电路。或者，处理单元130也可存取并执行存储在存储单元140中的软件程序代码，以实现运算单元OU1、OU2、OU3、OU4的功能。换言之，本发明不限制运算单元OU1、OU2、OU3、OU4的实现方式。

详细而言，处理单元130可执行运算单元OU1，借以根据磁力数据MA、风向数据WD，以及磁力数据MA与风向数据WD之间的权重比例，以计算风向感受信息WDF的强度。例如，处理单元130可执行运算单元OU1而以0.5：0.5的权重比例将磁力数据MA与风向数据WD相加，并将运算单元OU1的计算结果设定为风向感受信息WDF的强度。

此外，处理单元130可执行运算单元OU2，借以根据速度数据VE、加速度数据AC、风速数据WS，以及速度数据VE、加速度数据AC与风速数据WS之间的权重比例，以计算风速感受信息WSF的强度。例如，处理单元130可执行运算单元OU2而以0.4：0.3：0.3的权重比例将速度数据VE、加速度数据AC、风速数据WS相加，并将运算单元OU2的计算结果设定为风速感受信息WSF的强度。

再者，处理单元130可执行运算单元OU3，借以根据磁力数据MA、角度数据AN，以及磁力数据MA与角度数据AN之间的权重比例，以计算移动方向感受信息MDF的强度。例如，处理单元130可执行运算单元OU3而以0.5：0.5的权重比例将磁力数据MA与角度数据AN相加，并将运算单元OU3的计算结果设定为移动方向感受信息MDF的强度。

另一方面，处理单元130可执行运算单元OU4，借以根据角速度数据AV、位移数据DI，以及角速度数据AV与位移数据DI之间的权重比例，以计算震动感受信息VF的强度。例如，处理单元130可执行运算单元OU4而以0.5：0.5的权重比例将角速度数据AV与位移数据DI相加，并将运算单元OU4的计算结果设定为震动感受信息VF的强度。

更进一步来说，在一实施例中，环境信息也可包括大气压力数据。处理单元130可基于大气压力和海拔/高度之间的关系，并根据大气压力数据来调整震动感受信息VF的强度。

须注意的是，上述的权重比例仅为范例以便于说明。在其他实施例中，可例如根据检测单元120所包括的检测元件或传感器的检测能力，而将用以计算感受信息的权重比例适应性地调整为不同比例，本发明对此不限制。

在图3的范例实施例中，处理单元130可使用风向感受信息WDF以及风速感受信息WSF来控制环境特效装置200中的风扇F1、F2、F3、F4，借以提供风力特效。其中，风扇F1、F2、F3、F4可例如分别位于电影院空间中的东侧、西侧、南侧以及北侧。此外，处理单元130也可使用移动方向感受信息MDF以及震动感受信息VF来控制动感座椅装置300，借以提供震动特效，从而使动感座椅装置300可在前后方向、上下方向或左右方向上进行震动或移动，或是使动感座椅装置300可在顺时针方向或逆时针方向上进行转动。

另外值得一提的是，本实施例可例如使用四个等级以控制风扇F1、F2、F3、F4输出不同的风速强度。例如，第一级可对应于每秒0至1.5米的风速，第二级可对应于每秒1.6至3.3米的风速，第三级可对应于每秒3.4至5.4米的风速，且第四级可对应于大于每秒5.4米的风速。特别是，第一级至第四级的风速实质上也可反应于风压的强度。

接下来的实施例则对不同环境信息在特定条件下会相互影响的情况进行说明。

以温度和湿度的感受为例，一般而言，在寒冷环境中，湿度越高将使人感受到的温度(例如体感温度)越冷，而在炎热环境中，湿度越高则将使人所感受到的温度越高。考虑上述状况，对于包括温度数据以及湿度数据的环境信息而言，处理单元130可判断湿度数据是否大于一湿度临界值，当湿度数据大于湿度临界值时，处理单元130可根据判断温度数据是否大于一温度临界值来调整温度感受信息的强度。

具体而言，图4是本发明另一实施例所示出的一种多媒体控制方法的流程图，其示出设定特效控制信号的温度感受信息的强度的详细流程。请参照图4，在步骤S410中，处理单元130获得温度数据以及湿度数据。在本实施例中，检测单元120可通过温度传感器来检测温度数据，并通过湿度传感器来检测湿度数据，接着检测单元120并可将温度数据和湿度数据传送至存储单元140以供处理单元130进行存取。在步骤S420中，处理单元130判断湿度数据是否大于一湿度临界值。当湿度数据大于湿度临界值时，在步骤S430中，处理单元130判断温度数据是否大于一温度临界值。当温度数据大于温度临界值时，在步骤S440中，处理单元130将温度感受信息的强度调整为高于温度数据。相对地，当温度数据不大于温度临界值时，在步骤S450中，处理单元130将温度感受信息的强度调整为低于温度数据。另一方面，当湿度数据不大于湿度临界值时，处理单元130进入步骤S460，并根据温度数据设定温度感受信息的强度。

以温度临界值为摄氏25度以及湿度临界值为75％为例，当温度数据不大于摄氏25度且湿度数据大于75％时，处理单元130可将温度感受信息调整为摄氏16度，并基于调整后的温度感受信息而控制环境特效装置200中的空调装置(未示出)，从而提供相对于温度数据较低的温度。当温度数据大于摄氏25度且湿度数据大于75％时，处理单元130可将温度感受信息调整为摄氏35度，并基于调整后的温度感受信息而控制环境特效装置200中的空调装置，从而提供相对于温度数据较高的温度。

至于湿度数据不大于75％的情况，处理单元130可忽略湿度数据的影响，并将温度感受信息设定为与温度数据相同。

或者，在其他实施例中，处理单元130可直接将所检测到的数据转换成特效控制信号的强度。对于环境信息包括亮度数据以及颜色数据的情况而言，处理单元130可根据亮度数据以及颜色数据以设定环境光感受信息的强度。例如，当所检测到的亮度数据为1500勒克斯(lux)且颜色数据为红色(例如，在一火山情境中)时，处理单元130可设定环境光感受信息的强度，借以控制环境特效装置200中的可调颜色光(例如OLED)以输出1500勒克斯及红色的光特效。

基于上述，本发明实施例可适用于5D电影的制作，以使3D图像及其对应的动感特效和感官体验能够同时记录并编辑。以记录搭乘云霄飞车为例，电子装置100可被设置在云霄飞车的前端。当图像获取单元110开始执行图像获取动作以记录3D图像(即，取得图像信号的序列)时，在图像获取单元110执行图像获取动作的期间，检测单元120可同时检测运动信息及环境信息以记录原始环境状态。接着，通过计算部分或全部的运动信息及环境信息，原始环境状态可被转换为特效控制信号，借以控制环境特效装置200以及动感座椅装置300，以基于3D图像的时序而同步提供动感特效和感官体验。借此，原始环境状态可被重现并提供给观众。

例如，检测单元120可检测到加速度数据为2g(其中g为重力场强度)、速度数据为每小时120公里、位移数据为50米、角速度数据为每1.5秒85度、角度数据为向北方倾斜85度，且磁力数据为由南向北。处理单元130可根据上述检测到的数据，从而判断出云霄飞车为从12米高的位置以时速120公里速度由南向北行进，并依此产生对应的特效控制信号。所述特效控制信号可用以控制动感座椅装置300在1.5秒时向前倾斜85度，并维持倾斜1.5秒，以及控制环境特效装置200的风扇F4(位于电影院空间北侧)以输出第四级的风速。因此，基于图像信号的时序，特效控制信号以及图像信号可被同步输出，借此重现搭乘云霄飞车时逼真的临场体验。

综上所述，本发明实施例可获得图像信号并同时检测电子装置的运动信息以及环境信息，借此基于检测到的电子装置的运动信息以及环境信息以准确产生特效控制信号。特别是，考虑部分或全部的电子装置的运动信息以及环境信息之间的权重比例，或是考虑不同环境信息之间的相互作用，原始环境状态可被准确地转换成特效控制信号，借此重现身临其境的体验。此外，后制所需的时间及人力也可因此而有效降低。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。