控制多媒体设备工作的方法及装置与流程

文档序号:16064511发布日期:2018-11-24 12:31阅读:145来源:国知局

本发明涉及图像处理技术领域,具体而言,本发明涉及一种控制多媒体设备工作的方法及装置。

背景技术

随着信息技术的发展,多媒体技术也随之发展,进而多媒体设备应运而生,多媒体设备广泛应用于视频拍摄、3d(threedimensional)全向拍摄、虚拟现实会议、虚拟现实直播、可穿戴式设备、导航系统、机器人以及无人机等领域。

现有的多媒体设备通常具备一个固定的模式,当该多媒体设备设置为某一固定模式时,可通过该固定的模式进行多媒体的采集以及处理。然而,在不同使用场景或使用需求下,可能需要根据不同的场景或需求输出不同的多媒体信息,例如,多媒体设备采用某一固定模式进行拍摄时,仅能输出彩色模式的视频,但是,当某些使用场景下,无需多媒体设备输出彩色模式的视频,而仅输出黑白模式的视频即可满足实际使用需求,此固定模式将导致多媒体设备利用率较低;又例如,多媒体设备采用某一固定模式进行视频处理,如采用高质量视频处理模式,但是在实际应用场景为高度运动状态时,视频变化速率极高,仍旧采用采用高质量视频处理模式会导致视频反馈速率大大降低,无法满足用户视频高反馈需求,进而降低用户的使用体验;又例如,当多个多媒体设备相互协作,共同参与完成某一拍摄时,多个多媒体设备均采用同一固定模式进行拍摄,如均采用输出彩色视频的工作模式,但是,在某些应用场景下,无需多个多媒体设备均输出彩色视频,而仅需要一部分多媒体设备输出彩色视频,其余多媒体设备输出黑白视频即可,所有多媒体设备均采用此固定模式,将造成多媒体设备的低利用率、系统资源浪费等。



技术实现要素:

为解决上述技术问题,本发明提供一种控制多媒体设备工作的方法及装置,实现了在不同的应用场景及设备状态的情形下,对多媒体设备的操作地自适应动态调整或切换,控制多媒体设备进行相应的操,最终达到多媒体设备的工作能力得到最大程度利用的目的。

本发明的实施方式提供了一种控制多媒体设备工作的方法,包括:

确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;

根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进行相应的操作。

本发明的实施方式还提供了一种控制多媒体设备工作的装置,包括:

确定模块,用于确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;

控制模块,用于根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进行相应的操作。

本发明实施方式相对于现有技术而言,确定多个多媒体设备的应用场景,可以准确得到该多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;通过检测多个多媒体设备的设备信息,为后续根据设备信息动态调整或切换多媒体设备的操作提供了前提保证;根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作,实现了在不同的应用场景及设备状态的情形下,对多媒体设备的操作地自适应动态调整或切换,最终达到多媒体设备的工作能力得到最大程度利用的目的。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明第一实施方式的一种控制多媒体设备工作的方法流程图;

图2为本发明第二实施方式的一种控制多媒体设备工作的方法流程图;

图3为本发明第二实施方式的本地终端处理模式的处理过程示意图;

图4为本发明第二实施方式的云服务器处理模式的处理过程示意图;

图5为本发明第二实施方式的第一采集模式的处理过程示意图;

图6为本发明第二实施方式的第二采集模式的处理过程示意图;

图7为本发明第二实施方式的第三采集模式的处理过程示意图;

图8为本发明第二实施方式的存储空间信息存在明显差值的示意图;

图9为本发明第二实施方式的电量信息存在明显差值的示意图;

图10为本发明第三实施方式的一种控制多媒体设备工作的方法流程图;

图11为本发明第三实施方式的两个用户在交互式应用场景的处理过程示意图;

图12为本发明第四实施方式的一种控制多媒体设备工作的方法流程图;

图13为本发明第五实施方式的一种控制多媒体设备工作的方法流程图;

图14为本发明第六实施方式的一种控制多媒体设备工作的方法流程图;

图15为本发明第六实施方式的一种单用户观看场景的处理过程示意图;

图16为本发明第七实施方式的一种控制多媒体设备工作的方法流程图;

图17为本发明第八实施方式的一种控制多媒体设备工作的装置的结构示意图。

具体实施方式

下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本发明的第一实施方式涉及一种控制多媒体设备工作的方法,具体流程如图1所示。

在步骤101中,确定多个多媒体设备的应用场景,和/或检测多个多媒体设备的设备信息。

多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项,多媒体采集设备包括视频采集器、摄像头、相机等,多媒体处理设备包括虚拟/增强现实头戴式显示设备、手机等,而且多媒体采集设备与多媒体处理设备可以协同工作。

优选地,多媒体设备的设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。

优选地,根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设备信息,确定多个多媒体设备的应用场景。

其中,确定多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;和/或检测多个多媒体设备的设备信息,从而准确获取到该多个多媒体设备的设备信息,从而根据设备信息动态调整或切换多媒体设备的操作。

在步骤102中,根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作。

具体地说,根据步骤101确定的应用场景和/或检测到的设备信息,,控制多个多媒体设备进行相应的操作,实现多媒体设备的操作的自适应动态调整或切换,以满足不同情况下对多媒体设备的不同需求。

与现有技术相比,在本实施方式中,确定多个多媒体设备的应用场景,可以准确得到该多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;通过检测多个多媒体设备的设备信息,为后续根据设备信息动态调整或切换多媒体设备的操作提供了前提保证;根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作,实现了在不同的应用场景及设备状态下,对多媒体设备的操作地自适应动态调整或切换,最终达到多媒体设备的工作能力得到最大程度利用的目的。

本发明第二实施方式涉及一种确定多媒体设备的工作模式的方法,在本发明第二实施方式中,具体给出了在任一应用场景下,根据设备信息确定多个多媒体设备的工作模式的过程,如图2所示。

在步骤201中,检测多媒体设备的设备信息。

具体地说,多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项;设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。

在步骤202,根据设备信息,控制多媒体设备进入相应的工作模式。

具体地说,工作模式包括以下至少一项:处理模式;多媒体输出模式;多媒体采集模式;多媒体存储模式。其中,在某一特定应用场景下,当多个多媒体设备相互协作,共同参与完成某一多媒体的采集、处理、存储等时,需要根据多个多媒体设备的设备信息,确定各多媒体设备的工作模式,确保各多媒体设备处于特定应用场景下的性能能够最大程度的发挥。

优选地,当工作模式为处理模式时,根据设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体处理设备的电量信息、存储空间信息、计算能力信息中的一项或多项小于或等于各自相应的预设阈值、和/或多媒体处理设备的带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入云服务器处理模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息大于或等于各自相应的预设阈值,和/或多媒体处理设备的带宽信息小于或等于各自相应的预设阈值,控制多媒体处理设备进入本地终端处理模式。

例如:当电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值,确定上述多个多媒体设备对应的工作模式为云服务器处理模式;又例如:带宽信息大于或等于相应的预设带宽阈值,确定上述多个多媒体设备对应的工作模式为云服务器处理模式;又例如:电量信息大于预设电量阈值和/或存储空间信息大于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值,确定上述多个多媒体设备对应的工作模式为本地终端处理模式;再例如:电量信息大于预设电量阈值和/或存储空间信息大于预设存储空间阈值和/或计算能力信息大于预设计算能力阈值,且带宽信息小于或等于相应的预设带宽阈值,确定上述多个多媒体设备对应的工作模式为本地终端处理模式。

需要说明的是,当多媒体处理设备进入云服务器处理模式时,多媒体处理设备控制多媒体采集设备将采集到的多媒体信息发送至云服务器,以便云服务器对采集到的多媒体信息进行相应处理;当多媒体处理设备进入本地终端处理模式,多媒体处理设备对多媒体采集设备采集到的多媒体信息进行相应处理。其中,图3与图4分别以两个多媒体采集设备为例,展示了本地终端处理模式与云服务器处理模式的大体过程,图3中的第一多媒体采集设备连接到多媒体处理设备(例如:手机或虚拟/增强现实设备),第二多媒体采集设备连接到多媒体处理设备(例如:手机或虚拟/增强现实设备),多媒体处理设备发送采集控制信号控制两个多媒体采集设备的同步,处理过程在多媒体处理器内进行。图4中的第一多媒体采集设备连接到云服务器,第二多媒体采集设备连接到云服务器,云服务器发送采集控制信号控制两个多媒体采集设备的同步,来自不同多媒体采集设备采集到的多媒体信息发送至云服务器,由云服务器对多媒体信息进行分析以确定计算量,并根据计算量来控制多媒体采集设备的多媒体采集方式与多媒体处理方式,多媒体处理过程在云服务器执行。

优选地,当工作模式为多媒体输出模式时,根据所述设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入二维图像采集模式;当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体采集设备进入三维图像采集模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于各自相应的预设阈值,控制多媒体处理设备进入二维图像输出模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入三维图像输出模式。

例如:当多媒体采集设备的电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值和/或带宽信息小于或等于预设带宽阈值,控制多媒体采集设备进入二维图像采集模式;又例如:当电量信息大于或等于预设电量阈值和/或存储空间信息大于或等于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值和/或带宽信息大于或等于预设带宽阈值,控制多媒体采集设备进入三维图像采集模式;再例如:当电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值和/或带宽信息小于预设带宽阈值,控制多媒体处理设备进入二维图像输出模式;最后,当电量信息大于或等于预设电量阈值和/或存储空间信息大于或等于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值和/或带宽信息大于或等于预设带宽阈值,控制多媒体处理设备进入三维图像输出模式。

需要说明的是:当多媒体采集设备进入二维图像采集模式,控制多媒体采集设备采集二维图像;当多媒体处理设备进入三维图像输出模式,控制多媒体采集设备采集三维图像;当多媒体处理设备进入二维图像输出模式,控制多媒体处理设备输出二维图像;当多媒体处理设备进入三维图像输出模式,控制多媒体处理设备输出三维图像。

优选地,当工作模式为多媒体采集模式时,根据设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入第一采集模式;当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈,控制多媒体采集设备进入第二采集模式;当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈及多媒体信息颜色正确性小于预定颜色正确性阈值,控制多媒体采集设备进入第三采集模式;其中,第一采集模式的图像采集分辨率高于第二采集模式,第一采集模式及第二采集模式的图像采集颜色通道数量大于第三采集模式。

例如:当多媒体采集设备和/或多媒体处理设备的电量信息小于或等于预设电量阈值和/或带宽信息小于或等于预设带宽阈值,确定上述多个多媒体采集设备对应的工作模式均为第一采集模式;又例如:当多媒体采集设备和/或多媒体处理设备的电量信息小于或等于预设电量阈值和/或带宽信息小于预设带宽阈值,且用户或本地终端或云服务器要求快速的、即时的视觉反馈的情况下,确定上述多个多媒体采集设备对应的工作模式为第二采集模式;再例如:当多媒体采集设备和/或多媒体处理设备的在电量信息小于预设电量阈值和/或带宽信息小于或等于预设带宽阈值,且用户或本地终端或云服务器要求快速的、即时的视觉反馈及颜色正确性不是很重要或很关键的情况下,确定上述多个多媒体采集设备对应的工作模式为第三采集模式。

需要说明的是:当多媒体采集设备进入第一采集模式,控制至少一个多媒体采集设备采用彩色第一分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;当多媒体采集设备进入第二采集模式,控制至少一个多媒体采集设备采用彩色第三分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;当多媒体采集设备进入第三采集模式,控制全部多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息,并基于预定时间间隔采集一帧彩色多媒体信息,其中,第一分辨率高于第二分辨率及第三分辨率。其中,图5以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第一采集模式采集到的图像;图6以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第二采集模式采集到的图像;图7以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第三采集模式采集到的图像,而且图7的中间部分的多媒体信息为基于预定时间间隔采集的一帧彩色多媒体信息。

可选地,在根据多媒体设备的设备信息,控制多个多媒体设备进入相应的工作模式的过程中,还包括:若各个多媒体处理设备的存储空间信息的差值大于第一预设阈值,控制各个多媒体处理设备进入第一图像记录质量模式。同时,当多媒体处理设备进入第一图像记录质量模式时,控制各个多媒体处理设备存储黑白、分辨率低于预定第三分辨率阈值、压缩率高于预定压缩率阈值的多媒体信息。其中,在具体实施时,分别计算各个多媒体处理设备的存储空间信息,当一个多媒体处理设备的剩余存储空间明显低于其它多媒体处理设备的剩余存储空间时,或当各个多媒体处理设备的存储空间信息的差值大于第一预设阈值时,控制各个多媒体处理设备进入第一图像记录质量模式,并控制各个多媒体处理设备存储黑白低分辨率、高压缩率的多媒体信息,图8以两个多媒体处理设备为例,具体展示了多个多媒体处理设备的存储空间信息存在明显差值的情况。

可选地,在根据多媒体设备的设备信息确定多个多媒体设备的工作模式的过程中,还包括:若各个多媒体处理设备的电量的差值大于第二预设阈值,控制各个多媒体处理设备进入第一图像计算模式。同时,当多媒体处理设备进入第一图像计算模式,控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息。其中,在具体实施时,分别计算各个多媒体处理设备的电量信息,当一个多媒体处理设备的剩余电量明显低于其它多媒体处理设备的剩余电量时,或当各个多媒体处理设备的电量信息的差值大于第二预设阈值时,控制各个多媒体处理设备进入第一图像计算模式,并控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息,图9以两个多媒体处理设备为例,具体展示了多个多媒体处理设备的电量信息存在明显差值的情况。

本发明实施方式,给出了在任一应用场景下,根据设备信息动态调整或切换多媒体设备的工作模式与相应操作的具体情况,具体展示了设备信息对多媒体设备的工作模式的影响,及多媒体设备根据各种设备信息自适应调整或切换工作模式及相应操作的各种情况。

优选地,根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设置信息,确定多媒体设备的应用场景;随后,根据应用场景来确定多媒体设备的工作模式,下面具体给出根据应用场景来确定多媒体设备的工作模式的实施方式。

本发明第三实施方式涉及一种控制多媒体设备的工作模式的方法,在本发明第三实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应的工作模式的过程,如图10所示。

在步骤1001中,确定多媒体设备的应用场景。

具体地,在步骤1001中检测多媒体处理设备的设置信息是否包括开启多媒体共享功能,如果是,则执行步骤1002,否则执行步骤1003。

具体地说,根据多媒体处理设备的设置信息,确定相应的应用场景,具体包括:若检测到多媒体处理设备的设置信息包括开启多媒体共享功能,确定相应的应用场景为交互式应用场景;也就是说,检测多媒体处理设备的设置信息是否包括开启多媒体共享功能,即检测多媒体处理设备的多媒体共享功能是否被开启,如果检测到多媒体设备的设置信息包括开启多媒体共享功能,即检测到多媒体共享功能被开启,则确定该多媒体处理设备的应用场景为交互式应用场景,此时执行步骤1002,控制多媒体处理设备进入云服务器处理模式,如果未检测到多媒体处理设备的设置信息包括开启多媒体共享功能,即检测到多媒体共享功能未被开启,此时则执行步骤1003,控制多媒体处理设备进入相应的本地终端处理模式,图11以多个多媒体采集设备与多媒体处理设备处于交互式应用场景为例,具体展示了多个多媒体设备的具体工作过程。

在步骤1002中,控制多媒体处理设备进入云服务器处理模式。

具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:当应用场景为交互式应用场景时,控制多媒体处理设备进入云服务器处理模式,也就是说,当检测到多媒体处理设备的设备信息包括开启多媒体共享功能,即该多媒体处理设备的应用场景为交互式应用场景时,控制该多媒体处理设备进入相应的云服务器处理模式。

在步骤1003中,控制多媒体处理设备进入本地终端处理模式。

具体地说,当未检测到多媒体处理设备的设备信息包括开启多媒体共享功能,即该多个多媒体处理设备的应用场景为非交互式应用场景时,控制该多媒体处理设备进入相应的本地终端处理模式。

本发明实施方式,给出了在任一确定的设备信息下,根据应用场景动态调整或切换多媒体设备的工作模式的具体情况,具体展示了不同应用场景对多媒体设备的工作模式的影响。

本发明第四实施方式涉及一种控制多媒体设备工作的方法,在本发明第四实施方式中,具体给出了在任一确定的设备信息下,根据应用场景确定多个多媒体设备的工作模式的过程,如图12所示。

在步骤1201中,确定多媒体设备的应用场景。

具体地,在步骤1201中,检测当前应用场景是否为运动式应用场景,如果是,则执行步骤1202,否则执行步骤1203。

需要说明的是,检测当前应用场景是否为运动式应用场景的方式包括但不限于:通过陀螺仪对多媒体处理设备的运动速度进行检测,或通过对多媒体采集设备采集的多媒体信息进行分析,或通过检测用户对多媒体处理设备的设置等。

在步骤1202中,控制多媒体处理设备进入第一质量渲染模式。

具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:若检测到应用场景为运动式应用场景,控制多媒体处理设备进入第一质量渲染模式;其中,第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度,具体地,第一质量渲染模式的图像深度的计算量、图像修复的计算量、及图像分辨率,均低于第二质量渲染模式。

同时,当多媒体处理设备进入第一质量渲染模式时,控制多媒体设备输出基于图像底层特征计算深度匹配、基于图像邻域修复图像、及分辨率低于预定第一分辨率阈值的多媒体信息。

在步骤1203中,控制多媒体处理设备进入第二质量渲染模式。

具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:若检测到应用场景为静止式应用场景,控制多媒体处理设备进入第二质量渲染模式;其中,第二质量渲染模式的图像深度的计算量和/或图像修复的计算量和/或图像分辨率,高于第一质量渲染模式。

同时,当多媒体处理设备进入第二质量渲染模式时,控制多媒体处理设备输出基于图像高层特征计算深度匹配、基于深度神经元网络模型修复图像、及分辨率高于预定第二分辨率阈值的多媒体信息。

可选地,当检测到应用场景为静止式应用场景时,例如:会议场景,控制多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式,同时,当多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式,控制多媒体采集设备仅针对运行及焦点物体进行持续性多媒体采集。也就是说,在此种情形下,多媒体采集设备对静态背景(例如会议室布局)或物体(例如座椅)等,只进行一次多媒体信息采集,而对运动物体(例如:会议主讲人、参会人员)及焦点物体或高显著性物体(例如:参加会议的人员、投影设备、会议过程中的主要展示对象等)进行持续性多媒体采集。

本发明第五实施方式涉及一种控制多媒体设备工作的方法,在本发明第五实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应工作模式的过程,如图13所示。

在步骤1301中,确定多媒体设备的应用场景。

具体地,在步骤1301中,检测当前应用场景是否为导航应用场景或无人机应用场景或机器人应用场景,如果是,则执行步骤1302,否则执行步骤1303。

具体地说,检测当前应用场景是否为导航应用场景或无人机应用场景或机器人应用场景,即检测当前应用场景是否为导航、无人机及机器人中的任一种应用场景,也即检测多媒体设备是否被应用于导航系统中或无人机上或机器人上,其中,在具体的检测过程中,可以依据多媒体设备的设置信息是否被设置为导航或无人机或机器人等情况进行相应检测,当然也可以依据其它的有效方法进行相应检测,如果检测到当前应用场景为导航应用场景或无人机应用场景或机器人应用场景,则执行步骤1302,控制多媒体处理设备进入仅生成深度图像的图像处理模式,否则,执行步骤1303,控制多媒体设备进入其它相应图像处理模式。

在步骤1302中,控制多媒体处理设备进入仅生成深度图像的图像处理模式。

具体地说,当确定当前应用场景为导航应用场景或无人机应用场景或机器人应用场景时,控制多媒体处理设备进入仅生成深度图像的图像处理模式,同时,控制多媒体处理设备仅生成深度图像,也就是说,多媒体处理设备以低计算量、低延迟、不进行图像渲染的图像处理方法,仅生成深度图像。

优选地,当应用场景为导航、无人机及机器人中的任一种应用场景,且要求即时视觉反馈时,控制多媒体采集设备进入采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及控制多媒体处理设备进入仅生成深度图像的图像处理模式,同时,控制多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息、以及控制多媒体处理设备仅生成深度图像。

在步骤1303中,控制多媒体设备进入其它相应图像处理模式。

具体地说,当应用场景不是导航应用场景、并且不是无人机应用场景、同时也不是机器人应用场景时,根据当时的实际应用场景和/或设备信息,控制多媒体设备进入本发明实施方式中的其它相应图像处理模式,同时,控制多媒体处理设备生成相应图像处理模式的图像。

本发明第六实施方式涉及一种控制多媒体设备工作的方法,在本发明第六实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应工作模式的过程,如图14所示。

在步骤1401中,确定多媒体设备的应用场景。

具体地,在步骤1401中,检测当前应用场景是否为单用户观看场景,如果是,则执行步骤1402,否则执行步骤1403。

具体地说,检测当前应用场景是否为单用户观看场景,也即检测当前多媒体采集设备采集到的图像是否正在仅被一个用户使用多媒体处理设备进行观看,其中,可以通过检测多媒体设备的设置信息是否被设置为单用户使用的情况,如果被设置为单用户使用的情况,则确认当前应用场景为单用户观看场景,当然,在具体检测过程中,也可以使用其它的有效方法进行相应检测,在此不一一列举说明。如果检测到当前应用场景为单用户观看场景,则执行步骤1402,控制多媒体采集设备进入用户视角图像采集模式、控制多媒体处理设备进入仅生成用户视角图像的图像处理模式、或者控制所述多媒体采集设备或所述多媒体处理设备进入传输用户视角图像的图像传输模式,否则,执行步骤1403,控制多媒体设备进入其它相应图像处理模式。

在步骤1402中,控制多媒体采集设备进入用户视角图像采集模式、控制多媒体处理设备进入仅生成用户视角图像的图像处理模式、或者控制多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式。

具体地说,当多媒体采集设备进入用户视角图像采集模式,获取用户视角,控制多媒体采集设备仅采集用户视角的图像;当多媒体处理设备进入仅生成用户视角图像的图像处理模式,获取用户视角及图像采集设备采集的图像,控制多媒体处理设备仅生成用户视角的图像;当多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式时,控制多媒体采集设备或多媒体处理设备仅传输用户视角的图像。也就是说,当检测到应用场景为单用户观看场景,即只有一个用户正在使用多媒体处理设备(例如:虚拟现实头戴式显示设备)观看多媒体采集设备采集到的图像时,多媒体处理设备只需计算并显示用户视角范围内的部分图像即可。其中,图15以多媒体采集设备与多媒体处理设备处于单用户观看场景为例,展示了多个多媒体设备的具体工作过程。

在步骤1403中,控制多媒体设备进入其它相应图像处理模式。

具体地说,当应用场景不是单用户观看场景时,根据当时的实际应用场景和/或设备信息,控制多媒体设备进入本发明实施方式中的其它相应图像处理模式,同时,控制多媒体处理设备生成相应图像处理模式的图像。

本发明第七实施方式涉及一种控制多媒体设备工作的方法,在本发明第六实施方式中,具体给出了根据应用场景和设备信息确定多个多媒体设备的工作模式的过程,如图16所示。

在步骤1601中,确定多个多媒体设备的应用场景,并检测多个多媒体设备的设备信息。

具体地说,根据多个多媒体设备当前采集到的多媒体信息,或多个多媒体设备的设备信息,确定多个多媒体设备的应用场景;其中,设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。

在步骤1602中,根据应用场景和设备信息,控制多媒体设备进入相应的工作模式。

具体地说,根据当前确定的应用场景和当前检测到的设备信息,实时控制多媒体设备进入相应的工作模式,实现对多媒体设备的工作模式的动态调整。

可选地,根据应用场景和/或设备信息,控制多个多媒体设备进入相应的工作模式,具体包括:根据应用场景和/或设备信息和/或存储内容,控制多个多媒体设备进入相应的多媒体存储模式;多媒体存储模式包括云服务器存储模式、本地存储模式、用户设备存储模式中的任一项。

其中,多媒体设备基于根据本发明实施方式一至实施方式七中任一情况确定的应用场景和/或设备信息,和/或媒体采集设备采集到的多媒体信息(即存储内容),也就是说,可以根据多媒体设备的设备信息、需要存储的内容、多媒体设备的应用场景等选择相应的多媒体存储模式,其中,多媒体存储模式可以为云服务器存储模式、本地存储模式、用户设备存储模式等,云服务器存储模式对应的存储地点为云服务器设备,本地存储模式对应的存储地点为本地终端设备(例如:多媒体处理设备),用户设备存储模式对应的存储地点为用户设备(例如:手机、机器人、头戴式显示器),各多媒体存储模式所对应的存储内容包括:存储内容一、存储内容二、存储内容三、存储内容四与存储内容五,其中,存储内容一为存储上下立体图像,存储内容二为存储上下立体图像与左右立体图像,存储内容三为存储上下立体图像、左右立体图像及深度图像,存储内容四为存储左右立体图像,存储内容五为存储深度图像。

存储地点、存储的内容、多媒体设备的应用场景等与相应存储模式、存储内容的对应关系如表1所示。

表1

其中,表1中存储模式一栏的“1”代表云服务器存储模式,“2”代表本地存储模式,“3”代表用户设备存储模式。

上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包含相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第八实施方式涉及一种控制多媒体设备工作的装置,如图17所示,包括确定模块171与控制模块172。

确定模块171,用于确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息。

控制模块172,用于根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进入相应的工作模式。

不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。

本技术领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory,只读存储器)、ram(randomaccessmemory,随即存储器)、eprom(erasableprogrammableread-onlymemory,可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1