视角模式切换方法、装置及直播数据的传输方法、装置与流程

文档序号:15925308发布日期:2018-11-14 01:04阅读:381来源:国知局

本发明涉及数据传输技术领域,尤其涉及一种穿戴式眼镜的视角模式切换方法、装置及一种直播数据的传输方法、装置。

背景技术

视频直播是指利用互联网及流媒体技术进行直播,视频因融合了图像、文字、声音等丰富元素,声形并茂,效果极佳,逐渐成为互联网的主流表达方式。视频通过真实、生动的传播,营造出强烈的现场感,吸引眼球,达成印象深刻、记忆持久的传播效果,能够真实、直观、全面的宣传、展示自己一个完整的流媒体平台。

在视频直播的持续发展过程中,出现了移动直播,在采用穿戴式眼镜(包括手机、平板、穿戴类等移动拍摄设备)进行视频直播时,因为受限于移动设备的物理体积和空间的限制,在镜头的选择上一般为定焦镜头(指的是镜头的焦距不能进行物理调节),所以在进行视频录制或者视频直播时只能提供一种拍摄视角,不能很好的满足视频直播的需求。



技术实现要素:

本发明针对现有方式的缺点,提出了一种穿戴式眼镜的视角模式切换方法,用于解决现有技术中在视频直播过程中的穿戴式眼镜不能切换多种视角模式进行视频信息采集的技术问题。

本发明提供一种穿戴式眼镜的视角模式切换方法,包括如下步骤:

在直播时,接收到采集视频数据的视角模式切换指令;

停止直播数据的编码,所述直播数据包括视频数据和音频数据;

将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

恢复直播数据的编码。

可选的,所述方法还包括:

设定采集视频数据的视频传感器的配置信息,根据所述配置信息进行视角模式初始化处理;

其中,所述配置信息包括视角模式,和与所述视角模式一一对应的帧率、输出窗口位置与大小;所述视角模式包括不限于近景、中景和远景。

可选的,所述接收到采集视频数据的视角模式切换指令,包括:

获取本终端在物理按键上按下的视角模式切换指令,确认在所述按键上按下的视角模式切换指令为由远到近的视角模式切换指令或由近到远的视角模式切换指令。

另外,本发明实施过程中还提供一种直播数据的传输方法,包括如下步骤:

上述任意一项所述的视角模式切换方法;和

对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。

可选的,所述对直播数据进行编码,获取i帧数据以及对应的音频编码数据,包括:

获取切换视角模式后的直播数据中的视频数据和音频数据;

采用dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,获取i帧数据以及对应的音频编码数据。

可选的,所述采用dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,获取i帧数据以及对应的音频编码数据,包括:

采用dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据、p帧数据及对应的第一时间戳;

采用aac音频编码对音频数据进行编码,获取音频编码数据及对应的第二时间戳;

通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取i帧数据以及对应的音频编码数据。

可选的,所述采用dsp视频编码对视频数据进行编码,包括:

采用dsp视频编码对视频数据按照预设编码参数进行编码。

可选的,所述预设编码参数包括不限于编码的码率、i帧数据和p帧数据分布间隔时间。

另外,本发明实施过程中还提供一种直播数据的传输方法,包括上述的所述传输方法,向直播流服务器发送传输协议帧数据;

直播流服务器接收所述传输协议帧数据,向客户端推送所述传输协议帧数据。

本发明还提供一种穿戴式眼镜的视角模式切换装置,其包括:

指令接收模块:用于在直播时,接收到采集视频数据的视角模式切换指令;

编码停止模块:用于停止直播数据的编码,所述直播数据包括视频数据和音频数据;

视角模式切换模块:用于将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

编码恢复模块:用于恢复直播数据的编码。

可选的,所述装置还包括:

初始化模块:用于设定采集视频数据的视频传感器的配置信息,根据所述配置信息进行视角模式初始化处理;

其中,所述配置信息包括视角模式,和与所述视角模式一一对应的帧率、输出窗口位置与大小;所述视角模式包括不限于近景、中景和远景。

可选的,所述指令接收模块包括:

获取单元:用于获取本终端在物理按键上按下的视角模式切换指令;

确认单元:用于确认在所述按键上按下的视角模式切换指令为由远到近的视角模式切换指令或由近到远的视角模式切换指令。

另外,本发明实施例还提供了一种直播数据的传输装置,包括:

上述任意一项所述的视角模式切换装置;和

编码模块:用于对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

发送模块:用于将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。

可选的,所述编码模块包括:

直播数据获取单元:用于获取切换视角模式后的直播数据中的视频数据和音频数据;

音视频重新编码单元:用于采用dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,获取i帧数据以及对应的音频编码数据。

可选的,所述音视频重新编码单元包括:

视频重编码子单元:用于采用dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据、p帧数据及对应的第一时间戳;

音频重编码子单元:用于采用aac音频编码对音频数据进行编码,获取音频编码数据及对应的第二时间戳;

同步子单元:用于通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取i帧数据以及对应的音频编码数据。

可选的,所述视频重编码子单元包括:

用于采用dsp视频编码对视频数据按照预设编码参数进行编码。

可选的,所述预设编码参数包括不限于编码的码率、i帧数据和p帧数据分布间隔时间。

本发明还提供一种穿戴式眼镜,其包括:

处理器;

摄像头;

麦克风;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:

在直播时,用于接收到采集视频数据的视角模式切换指令;

停止直播数据的编码,向摄像头发送所述视角模式切换指令,所述直播数据为摄像头采集的视频数据和麦克风采集的音频数据;

摄像头在接收到所述视角模式切换指令后,将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

恢复直播数据的编码。

在本发明具体实施过程中,通过在直播时,接收到采集视频数据的视角模式切换指令;停止直播数据的编码,所述直播数据包括视频数据和音频数据;将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;恢复直播数据的编码。实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换;并且在直角模式切换过程中,不存在直播视频的抖动、模糊等,提高用户的观看体验。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例中的穿戴式眼镜的视角模式切换方法的流程示意图;

图2为本发明实施例中的直播数据的传输方法的流程示意图;

图3为本发明另一实施例中的穿戴式眼镜的视角模式切换方法的流程示意图;

图4为本发明实施例中的基于穿戴式眼镜和直播流服务器的直播数据的传输方法的流程示意图;

图5为本发明实施例中的穿戴式眼镜的视角模式切换装置的结构组成示意图;

图6为本发明实施例中的直播数据的传输装置的结构组成示意图;

图7为本发明又一实施例中的直播数据的传输装置的结构组成示意图;

图8为本发明实施例中的穿戴式眼镜的部分结构的框图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

下列实施例中的缩写注释:

dsp(digitalsignalprocessing),数字信号处理单元。

mipi(mobileindustryprocessorinterface),移动行业处理器接口是mipi联盟发起的为移动应用处理器制定的开放标准,用于系统内部器件之间进行视频数字信号的传输。

i2s(integratedinterchipsound),飞利浦定义的数字音频传输标准,用于数字音频数据在系统内部器件之间传输。

h.264,是由itu-t视频编码专家组(vceg)和iso/iec动态图像专家组(mpeg)联合组成的联合视频组(jvt,jointvideoteam)提出的高度压缩数字视频编解码器标准。

i帧,也称为关键帧,可以独立构成完整图像的帧。

p帧,也称参考帧前向预测编码帧,需要结合前面传输的i帧或者p帧才能构成完整图像。

aac(advancedaudiocoding),高级音频编码,是一种专为声音数据设计的编码压缩格式。

实施例:

请参阅图1,图1为本发明实施例中的穿戴式眼镜的视角模式切换方法的流程示意图。

如图1所示,一种穿戴式眼镜的视角模式切换方法,包括如下步骤:

s11:在直播时,接收到采集视频数据的视角模式切换指令;

在具体实施过程中,在直播之前需要设定采集视频数据的视频传感器的配置信息,根据所述配置信息进行视角模式初始化处理;其中,所述配置信息包括视角模式,和与所述视角模式一一对应的帧率、输出窗口位置与大小;所述视角模式包括不限于近景、中景和远景。

即还包括对穿戴式眼镜上的视频传感器的配置信息进行相应的设定,并进行相应的初始化设置,将视频传感器的视角模式初始化为默认的视角模式,如假设,设定的默认视角模式为中景,在进行相应的初始化之后,该视频传感器的视角模式即为中景。

在直播过程中,穿戴式眼镜上的视频传感器在采集直播视频数据的过程中,可能随时接收到用户发送的切换视频传感器在采集直播视频数据的视角模式切换指令。该用户发送的切换视频传感器采集直播视频数据的视角模式切换指令为直播用户在穿戴式眼镜上按下的视角模式切换指令。

在直播过程中,穿戴式眼镜上设置有用于切换视角模式的物理按键;在直播过程中,直播用户在可穿戴式眼镜上可以随时按下视角模式切换的指令,进行视角模式切换在接收到物理按键上的视角切换指令后,首先是需要确认该视角切换指令为由远到近的视角模式切换指令或由近到远的视角模式切换指令。

当然,在进一步上,接收到的视角模式切换指令还可以包括:观众发送的视角模式切换指令和本终端抖动发送的视角模式切换指令。

进一步的,所述接收视角模式切换指令,包括:接收观众发送的视角模式切换指令;判断所述视角模式切换指令为从远到近的视角模式切换指令,还是从近到远的视角模式切换指令;若为从远到近的视角模式切换指令,确认所述观众为第一授权用户;若为从近到远的视角模式切换指令,确认所述观众为第二授权用户;其中,所述第一授权用户的授权方式为,观众通过发送第一虚拟礼物得到授权;所述第二授权用户的授权方式为,观众通过发送第二虚拟礼物得到授权。

在接收直播视频信息的客户端上的观众用户,可以发送调节切换视角模式的切换指令,但是需要具有特殊权限的客户端上的观众用户发送的切换指令才具有切换视角模式的权限;并且每一种切换视角模式的指令对应着可能不一样的权限;比如从远到近的视角模式切换指令需要发送第一虚拟礼物的观众用户才能拥有的权限,即发送第一虚拟礼物的观众用户在发送从远到近的视角模式切换指令,在确认该观众用户的权限之后,可以根据切换指令将视角模式从远到近进行视角模式切换;又比如从近到远的视角模式切换指令需要发送第二虚拟礼物的观众用户才能拥有的权限,即发送第二虚拟礼物的观众用户在发送从近到远的视角模式切换指令,在确认该观众用户的权限之后,可以根据切换指令将视角模式从近到远的进行视角模式切换。当然,在直播过程中,为了维护直播秩序,穿戴式眼镜上的直播用户或者辅助用户可以有权设置客户终端观看用户发送视角模式切换的指令的频度、或者每个观众用户发送的次数等。并且客户终端的观看用户发送的视角切换指令包括不限于上述的从近到远的视角模式切换指令和从远到近的视角模式切换指令,可根据实际情况进行相应的设置,其切换指令对应的权限也可以对应设置,形式不限于此。

进一步的,所述接收视角模式切换指令,停止直播数据的音视频编码包括:获取本终端在水平方向连续n次顺时针动抖动第一倾斜角度,判断所述第一倾斜角度是否大于预设角度,若是,确认产生为从远到近的视角模式切换指令;获取本终端在水平方向连续n次逆时针动抖动第一倾斜角度,判断所述第一倾斜角度是否大于预设角度,若是,确认产生从近到远的视角模式切换指令;其中,n为预设整数。

穿戴式眼镜的用户可以通过控制穿戴式眼镜的顺时针或者逆时针转动,从而实现对视角模式的切换,尤其是在采用穿戴设备作为穿戴式眼镜时,该项切换视角模式的功能的将具有较好的应用场景。

比如通过设置当穿戴式眼镜在水平方向上连续n次顺时针抖动的倾斜角度时,判断该倾斜角度是否大于预设角度的值,若大于预设角度的值,则可以视为穿戴式眼镜用户发送从远到近的视角模式切换指令;又或者是通过设置当穿戴式眼镜在水平方向上连续n次逆时针抖动倾斜角度时,判断该倾斜角度是否大于预设角度的值,若大于预设角度的值,则可以视为穿戴式眼镜用户发送从近到远的视角模式切换指令。

上述的n次可以为1次、2次或者更多次,用户可根据具体需求而设置;上述的预设角度的值可以根据用户习惯设置,可以设置为10度、15度或者其他大于0度的值。

在此不限于设置顺时针或者逆时针抖动的方式,可以设置为上下或者左右抖动的形式,在此不再做详细示例。

s12:停止直播数据的编码,所述直播数据包括视频数据和音频数据;

在具体实施过程中,在上述的s11步骤中,在接收到视角模式切换指令,确认该指令为有效指令之后,可穿戴式眼镜第一时间停止直播数据的编码工作。其中直播数据包括视频数据和音频数据,在视频数据编码的过程中,不允许突然改变被编码的视频数据的格式(包括视频的大小、分辨率等)突然改变被编码的视频数据的格式,会导致视频数据编码出错;在停止直播数据的编码之后,也对应的停止向直播流服务器发送传输协议帧数据,此时,客户端(观看直播视频使用的终端)会出现短暂的画面卡顿,但是并不影响客户端的观看体验,因为后续的整个视角模式切换过程的时间非常短,在600ms之内完成,卡顿的时间非常短暂,几乎可以省略。这样可以使得视角模式切换时,直播画面不抖动、不模糊或者不花屏等,提高观看用户的观看体验。

s13:将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

在接收到直播用户在穿戴式眼镜上按下的视角模式切换指令之后,立刻将当前采集视频数据的视频传感器的视角模式切换至与穿戴式眼镜接收到的视角模式切换指令相对应的视角模式。如视频直播用户在穿戴式眼镜上按下将视频传感器采集视频数据的视角模式切换至远景模式,则穿戴式眼镜在接收到该指令之后,将当前的穿戴式眼镜上的视频传感器采集视频数据的视角模式切换至远景模式。

其中,在穿戴式眼镜上视角模式切换之后,将切换后的视角模式对应的其他配置信息更新至直播端上的视频传感器上。

s14:恢复直播数据的编码。

在具体实施过程中,在视角模式切换之后,视频传感器采用新的视角模式进行视频数据的采集,当前的视频数据的格式为稳定的形式,因此恢复直播数据的编码。

通过视角模式切换指令对穿戴式眼镜上的视频传感器的视角模式进行随时切换,可以使得穿戴式眼镜上的视频传感器根据需求采集不同视角模式下的视频信息,并且在切换视角模式过程中,不存在直播画面不抖动、不模糊或者不花屏等情况;有利于在直播过程中向观众用户展现不同视角下的直播数据,提高观众用户的观看体验。

可选的,本发明提供的实施例:

请参阅图2,图2为本发明实施例中的直播数据的传输方法的流程示意图。

如图2所示,一种直播数据的传输方法,包括如下步骤:

s21:在直播时,接收到采集视频数据的视角模式切换指令;

s22:停止直播数据的编码,所述直播数据包括视频数据和音频数据;

s23:将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

s24:恢复直播数据的编码;

s21、s22、s23和s24的具体实施方式可参详上述的实施例,再次不再赘述。

s25:对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

在具体实施过程中,视频直播的穿戴式眼镜在切换好直播数据采集的视角模式之后,重启直播数据的音视频编码,并对切换后的视角模式采集的音视频进行相应的编码。

进一步的,获取切换视角模式后直播的视频数据和音频数据;重启dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,获取最新的i帧数据以及对应的音频编码数据。

其中,所述重启dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,包括:重启dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据和p帧数据及对应的第一时间戳;重新启动aac音频编码对音频数据进行编码,获取音频编码数据与对应的第二时间戳;通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取i帧数据以及对应的音频编码数据。

其中,所述重启dsp视频编码对视频数据进行编码,包括:重启dsp视频编码对视频数据按照预设编码参数进行编码,获取按时间顺序输出的i帧数据和p帧数据及对应的第一时间戳。所述预设编码参数包括不限于编码的码率、i帧数据和p帧数据分布间隔时间。

在具体实施过程中,穿戴式眼镜根据切换后的视角模式开始采集直播数据中的视频数据和音频数据;同时重启dsp视频编码和aac音频编码分别对穿戴式眼镜重新采集到的视频数据和音频数据进行编码;dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据和p帧数据及对应的第一时间戳;aac音频编码对音频数据进行编码,获取音频编码数据与对应的第二时间戳;通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取最新的i帧数据以及对应的音频编码数据。

其中,dsp视频编码对视角模式切换后采集的视频数据进行编码是按照预先设定的编码参数进行的编码,该预设的编码参数包括编码的码率、i帧数据和p帧数据分布的间隔时间。

s26:将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。

在具体实施过程中,直播端在进行上述步骤中的一系列处理之后,获取到了视角模式切换之后的i帧数据及对应的音频编码数据;直播端将i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据;发送传输协议帧数据所使用的传输协议包括不限于:rtsp、rtmp。

传输协议帧数据是将i帧数据及对应的音频编码数据封装在相应的传输协议中,然后通过传输通道(有线或者无线)传输至直播流服务器中。

在本发明具体实施过程中,通过在视角模式切换后,获取i帧数据以及对应的音频编码数据;将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感;根据接收客户终端的观众用户或穿戴式眼镜的用户发送视角模式的切换指令,可以更好的增加客户终端的观众用户与穿戴式眼镜的用户之间的互动,有利于增加直播的乐趣,提升用户的使用体验;解决在视角模式切换过程中,存在的视频编码错误导致输出的视频可能存在抖动、模糊或者花屏等情况。

可选的,本发明提供的又一实施例:

请参阅图3,图3为本发明另一实施例中的穿戴式眼镜的视角模式切换方法的流程示意图。

如图3所示,一种穿戴式眼镜的视角模式切换方法,包括如下步骤:

s31:将视频传感器初始化在默认的视角模式;

在具体实施过程中,在穿戴式眼镜采集直播数据之前,首先在穿戴式眼镜上先定义穿戴式眼镜上的视频传感器的配置信息,其中可能存在多个视频传感器。视频传感器的配置信息包括:视角模式和与视角模式一一对应帧率、输出窗口位置与大小。

根据视频传感器的配置信息,在视频直播开始之前设定直播数据采集基于默认视角模式进行。如:直播数据采集的视角模式有三个,分别为近景视角模式、中景视角模式和远景视角模式。在直播开始之前将视角模式设置为默认的视角模式;如将默认视角模式设置为中景视角模式;同理,默认视角模式可以设置为上述三种模式或更多模式中的任意一种模式。

s32:启动音视频编码;

在具体实施过程中,启动dsp视频编码和aac音频编码分别穿戴式眼镜采集到的视频数据和音频数据进行编码。

s33:判断帧编码数据是否就绪;若否,则继续判断,若是进入下一步;

在具体实施过程中,dsp视频编码和aac音频编码分别对视频数据和音频数据的编码是否就绪。

s34:获取音视频帧数据并传输到直播流服务器;

在具体实施过程中,通过对音视频编码,获取i帧数据以及对应的音频编码数据,并将i帧数据以及对应的音频编码数据作为传输协议帧数据传输到直播流服务器中。

s35:判断用户是否按下视角模式切键;若否,返回s33;若是,进入下一步;

在具体实施过程中,为判断穿戴式眼镜是否接收到用户按下视角模式切换键发出视角切换的指令。

s36:停止音视频编码;

在具体实施过程中,当接到视角切换指令之后,立刻停止音视频编码工作。

s37:根据按键类型将视频传感器的配置在相应的视角模式上,返回s32。

在具体实施过程中,根据用户按下的按键的类型,将视角模式切换至与按键类型相对应的视角模式上;

按键类型包括不同的按键代表切换的视角模式的不一样,每个按键对应一个视角模式。

在本发明具体实施过程中,通过在穿戴式眼镜中设定视角模式的切换指令,用户通过控制切换指令,实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感。

可选的,本发明提供的又一实施例:

请参阅图4,图4为本发明实施例中的基于穿戴式眼镜和直播流服务器的直播数据的传输方法的流程示意图。

如图4所示,一种直播数据的传输方法,包括如下步骤:

s41:在直播时,接收到采集视频数据的视角模式切换指令;

s42:停止直播数据的编码,所述直播数据包括视频数据和音频数据;

s43:将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

s44:恢复直播数据的编码;

s45:对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

s46:将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据;

上述的s41-s46的具体实施方式可参阅上述实施例中的实施方法,在此不再赘述。

s47:直播流服务器接收所述传输协议帧数据,向客户端推送所述传输协议帧数据。

在具体实施过程中,直播流服务器在接收到传输协议帧数据之后,立即向客户端推送该传输协议帧数据,客户端通过对传输协议帧数据进行相应的解析(视频解析和音频解析),将直播的画面和直播声音通过客户端呈现,观看直播的用户即可通过客户端观赏到相应的直播的视频和声音。

在本发明具体实施过程中,通过在穿戴式眼镜中设定视角模式的切换指令,用户通过控制切换指令,并将切换视角模式后的直播数据向客户端推送,实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感;给予客户端的用户观看到更多视角模式下的直播数据的内容,使得客户端收看到更多更丰富的直播数据,有利于增加客户端的观看用户。

根据接收客户终端的观众用户或穿戴式眼镜的用户发送视角模式的切换指令,可以更好的增加客户终端的观众用户与穿戴式眼镜的用户之间的互动,有利于增加直播的乐趣,提升用户的使用体验。

实施例:

请参阅图5,图5为本发明实施例中的穿戴式眼镜的视角模式切换装置的结构组成示意图。

如图5所示,一种穿戴式眼镜的视角模式切换装置,包括:

指令接收模块11:用于在直播时,接收到采集视频数据的视角模式切换指令;

在具体实施过程中,所述装置还包括:初始化模块:用于设定采集视频数据的视频传感器的配置信息,根据所述配置信息进行视角模式初始化处理;其中,所述配置信息包括视角模式,和与所述视角模式一一对应的帧率、输出窗口位置与大小;所述视角模式包括不限于近景、中景和远景。

即还包括对穿戴式眼镜上的视频传感器的配置信息进行相应的设定,并进行相应的初始化设置,将视频传感器的视角模式初始化为默认的视角模式,如假设,设定的默认视角模式为中景,在进行相应的初始化之后,该视频传感器的视角模式即为中景。

所述指令接收模块11包括:获取单元:用于获取本终端在物理按键上按下的视角模式切换指令;确认单元:用于确认在所述按键上按下的视角模式切换指令为由远到近的视角模式切换指令或由近到远的视角模式切换指令。

在直播过程中,穿戴式眼镜上的视频传感器在采集直播视频数据的过程中,可能随时接收到用户发送的切换视频传感器在采集直播视频数据的视角模式切换指令。该用户发送的切换视频传感器采集直播视频数据的视角模式切换指令为直播用户在穿戴式眼镜上按下的视角模式切换指令。

在直播过程中,穿戴式眼镜上设置有用于切换视角模式的物理按键;在直播过程中,直播用户在可穿戴式眼镜上可以随时按下视角模式切换的指令,进行视角模式切换在接收到物理按键上的视角切换指令后,首先是需要确认该视角切换指令为由远到近的视角模式切换指令或由近到远的视角模式切换指令。

当然,在进一步上,接收到的视角模式切换指令还可以包括:观众发送的视角模式切换指令和本终端抖动发送的视角模式切换指令。

所述指令接收模块11包括:接收单元:用于接收观众发送的视角模式切换指令;判断单元:用于判断所述视角模式切换指令为从远到近的视角模式切换指令,还是从近到远的视角模式切换指令;第一确认单元:用于若为从远到近的视角模式切换指令,确认所述观众为第一授权用户;第二确认单元:用于若为从近到远的视角模式切换指令,确认所述观众为第二授权用户;其中,所述第一授权用户的授权方式为,观众通过发送第一虚拟礼物得到授权;所述第二授权用户的授权方式为,观众通过发送第二虚拟礼物得到授权。

在接收直播视频信息的客户端上的观众用户,可以发送调节切换视角模式的切换指令,但是需要具有特殊权限的客户端上的观众用户发送的切换指令才具有切换视角模式的权限;并且每一种切换视角模式的指令对应着可能不一样的权限;比如从远到近的视角模式切换指令需要发送第一虚拟礼物的观众用户才能拥有的权限,即发送第一虚拟礼物的观众用户在发送从远到近的视角模式切换指令,在确认该观众用户的权限之后,可以根据切换指令将视角模式从远到近进行视角模式切换;又比如从近到远的视角模式切换指令需要发送第二虚拟礼物的观众用户才能拥有的权限,即发送第二虚拟礼物的观众用户在发送从近到远的视角模式切换指令,在确认该观众用户的权限之后,可以根据切换指令将视角模式从近到远的进行视角模式切换。当然,在直播过程中,为了维护直播秩序,穿戴式眼镜上的直播用户或者辅助用户可以有权设置客户终端观看用户发送视角模式切换的指令的频度、或者每个观众用户发送的次数等。并且客户终端的观看用户发送的视角切换指令包括不限于上述的从近到远的视角模式切换指令和从远到近的视角模式切换指令,可根据实际情况进行相应的设置,其切换指令对应的权限也可以对应设置,形式不限于此。

所述指令接收模块11包括:第一获取单元:用于获取本终端在水平方向连续n次顺时针动抖动第一倾斜角度,判断所述第一倾斜角度是否大于预设角度,若是,确认产生为从远到近的视角模式切换指令;第二获取单元:用于获取本终端在水平方向连续n次逆时针动抖动第一倾斜角度,判断所述第一倾斜角度是否大于预设角度,若是,确认产生为从近到远的视角模式切换指令;其中,n为预设整数。

穿戴式眼镜的用户可以通过控制穿戴式眼镜的顺时针或者逆时针转动,从而实现对视角模式的切换,尤其是在采用穿戴设备作为穿戴式眼镜时,该项切换视角模式的功能的将具有较好的应用场景。

比如通过设置当穿戴式眼镜在水平方向上连续n次顺时针抖动的倾斜角度时,判断该倾斜角度是否大于预设角度的值,若大于预设角度的值,则可以视为穿戴式眼镜用户发送从远到近的视角模式切换指令;又或者是通过设置当穿戴式眼镜在水平方向上连续n次逆时针抖动倾斜角度时,判断该倾斜角度是否大于预设角度的值,若大于预设角度的值,则可以视为穿戴式眼镜用户发送从近到远的视角模式切换指令。

上述的n次可以为1次、2次或者更多次,用户可根据具体需求而设置;上述的预设角度的值可以根据用户习惯设置,可以设置为10度、15度或者其他大于0度的值。

在此不限于设置顺时针或者逆时针抖动的方式,可以设置为上下或者左右抖动的形式,在此不再做详细示例。

编码停止模块12:用于停止直播数据的编码,所述直播数据包括视频数据和音频数据;

在具体实施过程中,在上述的s11步骤中,在接收到视角模式切换指令,确认该指令为有效指令之后,可穿戴式眼镜第一时间停止直播数据的编码工作。其中直播数据包括视频数据和音频数据,在视频数据编码的过程中,不允许突然改变被编码的视频数据的格式(包括视频的大小、分辨率等)突然改变被编码的视频数据的格式,会导致视频数据编码出错;在停止直播数据的编码之后,也对应的停止向直播流服务器发送传输协议帧数据,此时,客户端(观看直播视频使用的终端)会出现短暂的画面卡顿,但是并不影响客户端的观看体验,因为后续的整个视角模式切换过程的时间非常短,在600ms之内完成,卡顿的时间非常短暂,几乎可以省略。这样可以使得视角模式切换时,直播画面不抖动、不模糊或者不花屏等,提高观看用户的观看体验。

视角模式切换模块13:用于将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

在接收到直播用户在穿戴式眼镜上按下的视角模式切换指令之后,立刻将当前采集视频数据的视频传感器的视角模式切换至与穿戴式眼镜接收到的视角模式切换指令相对应的视角模式。如视频直播用户在穿戴式眼镜上按下将视频传感器采集视频数据的视角模式切换至远景模式,则穿戴式眼镜在接收到该指令之后,将当前的穿戴式眼镜上的视频传感器采集视频数据的视角模式切换至远景模式。

其中,在穿戴式眼镜上视角模式切换之后,将切换后的视角模式对应的其他配置信息更新至直播端上的视频传感器上。

编码恢复模块14:用于恢复直播数据的编码。

在具体实施过程中,在视角模式切换之后,视频传感器采用新的视角模式进行视频数据的采集,当前的视频数据的格式为稳定的形式,因此恢复直播数据的编码。

通过视角模式切换指令对穿戴式眼镜上的视频传感器的视角模式进行随时切换,可以使得穿戴式眼镜上的视频传感器根据需求采集不同视角模式下的视频信息,并且在切换视角模式过程中,不存在直播画面不抖动、不模糊或者不花屏等情况;有利于在直播过程中向观众用户展现不同视角下的直播数据,提高观众用户的观看体验。

可选的,另一实施例:

请参阅图6,图6为本发明实施例中的直播数据的传输装置的结构组成示意图。

如图6所示,一种直播数据的传输装置,包括:

指令接收模块21:用于在直播时,接收到采集视频数据的视角模式切换指令;

编码停止模块22:用于停止直播数据的编码,所述直播数据包括视频数据和音频数据;

视角模式切换模块23:用于将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

编码恢复模块24:用于恢复直播数据的编码;

上述指令接收模块21、编码停止模块22、视角模式切换模块23和视编码恢复模块24的具体实施方式请参详上述实施例,在此不再赘述。

编码模块25:用于对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

在具体实施过程中,视频直播的穿戴式眼镜在切换好直播数据采集的视角模式之后,重启直播数据的音视频编码,并对切换后的视角模式采集的音视频进行相应的编码。

进一步的,所述编码模块25包括:直播数据获取单元:用于获取切换视角模式后的直播数据中的视频数据和音频数据;音视频重新编码单元:用于采用dsp视频编码和aac音频编码分别对视频数据和音频数据进行编码,获取i帧数据以及对应的音频编码数据。

其中,所述音视频重新编码单元包括:视频重编码子单元:用于采用dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据和、p帧数据及对应的第一时间戳;音频重编码子单元:用于采用aac音频编码对音频数据进行编码,获取音频编码数据及对应的第二时间戳;同步子单元:用于通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取i帧数据以及对应的音频编码数据。

其中,所述视频重编码子单元包括:用于采用dsp视频编码对视频数据按照预设编码参数进行编码。所述预设编码参数包括不限于编码的码率、i帧数据和p帧数据分布间隔时间。

在具体实施过程中,穿戴式眼镜根据切换后的视角模式开始采集直播数据中的视频数据和音频数据;同时重启dsp视频编码和aac音频编码分别对穿戴式眼镜重新采集到的视频数据和音频数据进行编码;dsp视频编码对视频数据进行编码,获取按时间顺序输出的i帧数据和p帧数据及对应的第一时间戳;aac音频编码对音频数据进行编码,获取音频编码数据与对应的第二时间戳;通过采用所述第一时间戳和所述第二时间戳进行同步判断,获取最新的i帧数据以及对应的音频编码数据。

其中,dsp视频编码对视角模式切换后采集的视频数据进行编码是按照预先设定的编码参数进行的编码,该预设的编码参数包括编码的码率、i帧数据和p帧数据分布的间隔时间。

发送模块26:用于将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。

在具体实施过程中,直播端在进行上述步骤中的一系列处理之后,获取到了视角模式切换之后的i帧数据及对应的音频编码数据;直播端将i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据;发送传输协议帧数据所使用的传输协议包括不限于:rtsp、rtmp。

传输协议帧数据是将i帧数据及对应的音频编码数据封装在相应的传输协议中,然后通过传输通道(有线或者无线)传输至直播流服务器中。

在本发明具体实施过程中,通过在视角模式切换后,获取i帧数据以及对应的音频编码数据;将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据。实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感;根据接收客户终端的观众用户或穿戴式眼镜的用户发送视角模式的切换指令,可以更好的增加客户终端的观众用户与穿戴式眼镜的用户之间的互动,有利于增加直播的乐趣,提升用户的使用体验;解决在视角模式切换过程中,存在的视频编码错误导致输出的视频可能存在抖动、模糊或者花屏等情况。

在本发明具体实施过程中,通过在穿戴式眼镜中设定视角模式的切换指令,用户通过控制切换指令,实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感。

根据接收客户终端的观众用户或穿戴式眼镜的用户发送视角模式的切换指令,可以更好的增加客户终端的观众用户与穿戴式眼镜的用户之间的互动,有利于增加直播的乐趣,提升用户的使用体验。

可选的,另一实施例:

请参阅图7,图7为本发明又一实施例中的直播数据的传输装置的结构组成示意图。

如图7所示,一种直播数据的传输装置,包括:

指令接收模块31:用于在直播时,接收到采集视频数据的视角模式切换指令;

编码停止模块32:用于停止直播数据的编码,所述直播数据包括视频数据和音频数据;

视角模式切换模块33:用于将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

编码恢复模块34:用于恢复直播数据的编码;

编码模块35:用于对直播数据进行编码,获取i帧数据以及对应的音频编码数据;

发送模块36:用于将所述i帧数据及对应的音频编码数据作为传输协议帧数据,向直播流服务器发送传输协议帧数据;

上述指令接收模块21、编码停止模块22、视角模式切换模块23、视编码恢复模块24、编码模块25和发送模块26的具体实施方式请参详上述实施例,在此不再赘述。

推送模块37:用于直播流服务器接收所述传输协议帧数据,向客户端推送所述传输协议帧数据。

在具体实施过程中,直播流服务器在接收到传输协议帧数据之后,立即向客户端推送该传输协议帧数据,客户端通过对传输协议帧数据进行相应的解析(视频解析和音频解析),将直播的画面和直播声音通过客户端呈现,观看直播的用户即可通过客户端观赏到相应的直播的视频和声音。

在本发明具体实施过程中,通过在穿戴式眼镜中设定视角模式的切换指令,用户通过控制切换指令,并将切换视角模式后的直播数据向客户端推送,实现对受限于物理体积和空间的穿戴式眼镜直播设备进行实时视角模式切换,提升视频直播的直播使用体验感;给予客户端的用户观看到更多视角模式下的直播数据的内容,使得客户端收看到更多更丰富的直播数据,有利于增加客户端的观看用户。

根据接收客户终端的观众用户或穿戴式眼镜的用户发送视角模式的切换指令,可以更好的增加客户终端的观众用户与穿戴式眼镜的用户之间的互动,有利于增加直播的乐趣,提升用户的使用体验。

在上述实施例实施过程中,穿戴式眼镜一般包括以下一个关键元器件:

1、编码和主处理器芯片,集成为dsp+arm的形式,编码部分内置dsp实现,用于将采集到的直播数据进行编码,比如编码成h.264视频数据帧以及acc音频数据格式。

2、视频传感器,用于视频图像采集,通过原始视频数据传输接口(比如mipi)将采集到的视频数据传输到编码和主处理器芯片。

3、麦克风,比如数字硅麦,用于音频数据采集,通过音频数据接口(比如i2s)将采集到的原始音频数据已pcm的格式传输到编码和主处理器芯片。

4、传输芯片,根据系统设计的不同,可以有线(比如以太网)或者无线传输(比如4g,wifi或者蓝牙等)。

本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一项上述实施例的所述的传输方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory,只读存储器)、ram(randomaccessmemory,随即存储器)、eprom(erasableprogrammableread-onlymemory,可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、穿戴式眼镜)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。

参详图8,图8为本发明实施例中的穿戴式眼镜的部分结构的框图。

下面结合图8对穿戴式眼镜的各个构成部件进行具体的介绍:

rf电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1580处理;另外,将设计上行的数据发送给基站。通常,rf电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,lna)、双工器等。此外,rf电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,gsm)、通用分组无线服务(generalpacketradioservice,gprs)、码分多址(codedivisionmultipleaccess,cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、长期演进(longtermevolution,lte)、电子邮件、短消息服务(shortmessagingservice,sms)等。

存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而执行穿戴式眼镜的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声纹播放功能、图像播放功能等)等;存储数据区可存储根据穿戴式眼镜的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息,以及产生与穿戴式眼镜的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及穿戴式眼镜的各种菜单。显示单元1540可包括显示面板1541,可选的,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1541。进一步的,触控面板1531可覆盖显示面板1541,当触控面板1531检测到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图7中,触控面板1531与显示面板1541是作为两个独立的部件来实现穿戴式眼镜的输入和输入功能,但是在某些实施例中,可以将触控面板1531与显示面板1541集成而实现穿戴式眼镜的输入和输出功能。

穿戴式眼镜还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度,接近传感器可在穿戴式眼镜移动到耳边时,关闭显示面板1541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别穿戴式眼镜姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于穿戴式眼镜还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路1560、扬声器1561,传声器1562可提供用户与穿戴式眼镜之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声纹信号输出;另一方面,传声器1562将收集的声纹信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经rf电路1510以发送给比如另一穿戴式眼镜,或者将音频数据输出至存储器1520以便进一步处理。

wi-fi属于短距离无线传输技术,穿戴式眼镜通过wi-fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了wi-fi模块1570,但是可以理解的是,其并不属于穿戴式眼镜的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是穿戴式眼镜的控制中心,利用各种接口和线路连接整个穿戴式眼镜的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行穿戴式眼镜的各种功能和处理数据,从而对穿戴式眼镜进行整体监控。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。

穿戴式眼镜还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,穿戴式眼镜还可以包括摄像头、麦克风、蓝牙模块等,在此不再赘述。

在本发明实施例中,该穿戴式眼镜包括

处理器1580;

摄像头;

麦克风;

用于存储处理器可执行指令的存储器1520;

其中,所述处理器1580被配置为:

在直播时,用于接收到采集视频数据的视角模式切换指令;

停止直播数据的编码,向摄像头发送所述视角模式切换指令,所述直播数据为摄像头采集的视频数据和麦克风采集的音频数据;

摄像头在接收到所述视角模式切换指令后,将视角模式切换至与所述视角模式切换指令相对应的视角模式,采集切换视角模式后的视频数据;

恢复直播数据的编码。

本发明实施例提供的一种直播数据的传输系统,包括:

穿戴式眼镜,用于通过上述实施例中任意一项所述传输方法,向直播流服务器发送传输协议帧数据;

直播流服务器,用于接收所述传输协议帧数据,向客户端推送所述传输协议帧数据。

该直播数据的传输系统的实现过程具体可参考上述实施例,在此不再赘述。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1