基于显示设备的通话方法、显示设备及存储介质与流程

文档序号:25538205发布日期:2021-06-18 20:32阅读:29来源:国知局
基于显示设备的通话方法、显示设备及存储介质与流程

本申请涉及通信技术领域,尤其涉及一种基于显示设备的通话方法、显示设备及存储介质。



背景技术:

随着移动互联网技术的发展,大屏终端已逐渐被用户所接受,并成为一种趋势。以智能电视为例,将摄像头应用于智能电视,用户能够进行远程视频交互,实现视频通话、视频会议等功能,为人们的生活和工作提供了便利。然而,当用户在使用智能电视的摄像头进行视频通话时,虽然可以使对方看到智能电视的用户以及该用户所处的场景的画面,但是也带来了泄漏用户隐私的风险,降低了用户体验。因而,有必要提供一种智能电视的通话方法,以保证用户远程通话交流的同时又能够有针对性地给用户选择是否让对方看到自己,从而提高用户的通话体验。



技术实现要素:

本申请的主要目的在于提供一种基于显示设备的通话方法、显示设备及存储介质,旨在保证用户远程通话交流的同时又能够有针对性地给用户选择是否让对方看到自己,提升了用户的通话体验。

为实现上述目的,本申请提供一种基于显示设备的通话方法,所述显示设备包括显示屏、摄像头、麦克风和设于所述显示屏上的调节结构,所述摄像头和所述麦克风设于所述调节结构上;所述方法包括:

当接收到来自目标联系人的视频通话请求时,获取通话参考信息;根据所述通话参考信息确定目标通话方式;根据所述目标通话方式,启动所述麦克风,或启动所述麦克风与所述摄像头;并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置;采集与所述目标联系人远程通话的通话数据。

此外,为实现上述目的,本申请还提供一种显示设备,所述显示设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的基于显示设备的通话方法。

此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上所述的基于显示设备的通话方法。

本申请提供一种基于显示设备的通话方法、显示设备及存储介质,可以通过摄像头和麦克风进行视频通话,也可以通过麦克风进行语音通话,也可以拒绝目标联系人的视频通话请求,其具体选择哪种通话方式依赖于通话参考信息。通过通话参考信息,确定进行视频通话或语音通话以采集与目标联系人进行远程通话时的通话数据,从而满足用户远程通话时麦克风采集语音要求的同时,还能兼顾与该目标联系人进行远程通话时用户隐私的公开程度,从而保护用户隐私,保证用户远程通话交流的同时又能够有针对性地给用户选择是否让对方看到自己,提升了用户的通话体验。

附图说明

图1是本申请一实施例提供的通信系统的架构示意图;

图2是本申请一实施例提供的基于显示设备的通话方法的流程示意图;

图3是本申请一实施例提供的基于显示设备的通话方法的应用场景示意图;

图4是本申请实施例提供的显示设备的结构示意图。

本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请实施例涉及的基于显示设备的通话方法主要应用于显示设备中。该显示设备可以包括具有用于显示预览界面的显示屏的电视机、冰箱、电脑、洗衣机等。下面以显示设备为电视机为例进行说明,但该显示设备不限于电视机。

所述显示设备包括显示屏、摄像头、麦克风和设于所述显示屏上的调节结构,所述摄像头和所述麦克风设于所述调节结构上。麦克风用户将声音信号转换为电信号。

在一些实施例中,所述调节结构包括驱动机构、动力机构和传动机构。所述驱动机构用于驱动所述摄像头升起或下降。所述动力机构和所述传动机构用于驱动所述摄像头转动。具体地,所述动力机构和/或所述传动机构能够驱动所述摄像头沿第一轴和/或第二轴转动。即所述动力机构能够驱动所述摄像头沿第一轴转动;传动机构能够驱动摄像头沿第二轴转动。示例性地,第一轴沿水平方向延伸,第二轴与第一轴垂直,第二轴沿竖直方向延伸。

示例性地,所述摄像头设于所述动力机构上。所述动力机构设于所述传动机构上。所述传动机构设于所述驱动机构上。所述驱动机构驱动所述传动机构沿竖直方向移动,从而带动所述摄像头升起或下降。动力机构能够所述摄像头沿第一轴转动。所述传动机构能够驱动所述动力机构沿第二轴转动,以使所述摄像头沿第二轴转动。当然,在其他实施例中,第一轴和第二轴也可以相交且非正交设置。即,第一轴与第二轴之间的夹角可以根据实际需求进行设置,例如二者的夹角为10°、30°、50°、70°、80°以及10°至90°之间任意其他合适角度,在此不作限定。

上述实施例提供的显示设备,可以根据实际使用需求,通过动力机构和/或传动机构驱动摄像头沿第一轴和/或第二轴转动,从而能够全方位调节摄像头的位置,提高摄像头捕捉影像的效果,满足用户的不同需求或不同用户的使用需求,提高用户的使用体验度。当调节结构位于收回位置时,摄像头隐藏于显示屏的非显示面一侧,此时摄像头被显示屏遮挡,保证了用户隐私需求;同时也不会因设置摄像头对电视机的整体外观造型和美观造成影响。当调节结构位于升起位置时,摄像头位于电视机的显示屏的上方,此时,摄像头不会被电视机的显示屏遮挡,能够进行正常的拍摄、录制或摄像等工作。

动力机构可以为任意合适的动力结构,例如为齿轮电机传动结构或者齿轮箱,该齿轮箱内设有齿轮和用于驱动齿轮转动的电机。动力机构的数量可以根据实际需求进行设置,例如一个、两个、三个或者更多,只要能够驱动摄像头沿第一轴转动即可。动力机构为齿轮电机传动结构,能够高速地使摄像头沿第一轴转动至预设位置,且对结构件的劳损程度低,提高产品多次重复使用的能力。

传动机构可以为任意合适的传动结构,例如为齿轮电机传动结构。传动机构为齿轮电机传动结构时,能够高速地使摄像头沿第二轴转动至预设位置,且对结构件的劳损程度低,提高产品多次重复使用的能力。

驱动机构可以为任意合适的驱动结构,例如为齿轮电机传动结构。驱动机构的数量可以根据实际需求进行设置,例如一个、两个、三个或者更多,只要能够驱动摄像头沿竖直方向往复移动即可。

请参阅图1,图1是本申请一实施例提供的通信系统100的架构示意图,该通信系统100可以包括显示设备(例如电视机101)和电子设备(例如电子设备102)。示例性地,电视机101可以通过一个或多个通信网络与电子设备102连接(例如有线或无线)。示例性地,电视机101可以通过无线保真(wirelessfidelity,wi-fi)协议与电子设备102建立wi-fi连接,但通信网络还可以使用其他任意网络通信协议来实现,在此不作限定。

在一些实施例中,该通信系统100还可以包括应用服务器103。应用服务器103可以为一个或多个。应用服务器103用于通过一个或多个通信网络与电视机101、电子设备102上安装的应用(application,app)进行通信。

以具有视频通话功能的视频通话app举例,目标联系人可使用电子设备102中的视频通话app与用户进行视频通话或语音通话。例如,目标联系人可在电子设备102的视频通话app中邀请用户进行视频通话,进而,电子设备102可向应用服务器103发送邀请用户的视频通话请求。该视频通话请求中可以携带用户在视频通话app中的标识(例如,用户的昵称、账号)等参数。应用服务器103接收到该视频通话请求后,可根据视频通话请求中用户在视频通话app中的标识确定本次通话请求的接收方为用户,并查询与用户关联的电子设备为电视机101。进而,应用服务器103可将电子设备102发送的视频通话请求转发给用户的电视机101。

如果电视机101检测到用户接受了目标联系人本次发送的视频通话请求且通话方式为视频通话,则电视机101可继续通过应用服务器103将采集到的语音和图像实时发送给电子设备102。同时,电子设备102也可通过应用服务器103将采集到的语音和图像实时发送给电视机101,使得目标联系人可与用户进行视频通话。

如果电视机101检测到用户接受了目标联系人本次发送的视频通话请求且通话方式为语音通话,则电视机101可继续通过应用服务器103将采集到的语音实时发送给电子设备102。同时,电子设备102也可通过应用服务器103将采集到的语音实时发送给电视机101,使得目标联系人可与用户进行语音通话。此时,目标联系人不能看到用户的图像,同样地,用户也不能看到目标联系人的图像。

示例性地,视频通话app可以为微信app、qqapp、短信app等。用户在使用视频通话app与联系人进行视频通话时,视频通话app可将麦克风采集到的语音实时发送给联系人,同时也可以将摄像头采集到的图像实时发送给联系人。

电子设备102与电视机101的具体结构可以相同,也可以不同。示例性的,电子设备102可以是手机、平板电脑、具备无线通信功能的可穿戴电子设备(如智能手表)、具有无线通信功能的智能电视、台式计算机、膝上型计算机(laptop)等。

请参阅图2,图2是本申请一实施例提供的基于显示设备的通话方法的流程示意图。该基于显示设备的通话方法可以包括步骤s101至s105等,具体可以如下:

s101、当接收到来自目标联系人的视频通话请求时,获取通话参考信息。

示例性地,以目标联系人为jimmy为例,目标联系人jimmy使用上述电子设备102向用户peter发送视频通话请求,邀请peter进行视频通话。电子设备102检测到jimmy邀请peter进行视频通话的操作后,可向应用服务器103发送邀请peter视频通话的视频通话请求。进而,应用服务器103可将该视频通话请求发送给peter的电视机。

s102、根据所述通话参考信息确定目标通话方式。

具体地,所述通话参考信息包括以下至少一项:与所述目标联系人对应的常用通话方式,所述常用通话方式包括:视频连接方式和语音连接方式中的至少一者;当前时间。

其中,与所述目标联系人对应的常用通话方式是指与目标联系人远程通话时的常用通话方式。所述当前时间即与目标联系人进行视频通话连接时的当前时间。当前位置即与目标联系人进行视频通话连接时的当前位置。

在一些实施例中,所述通话参考信息包括与所述目标联系人对应的常用通话方式,步骤s102中根据所述通话参考信息确定目标通话方式,包括:将所述常用通话方式确定为目标通话方式。

需要说明的是,所述常用通话方式为与所述目标联系人的历史远程通话中使用次数超过预设次数的通话方式。也就是说,根据电视机之前该目标联系人远程通话交流时的通话方式使用习惯,确定在本次视频通话时需要选择的通话方式。所述通话方式包括视频连接方式、语音连接方式和拒绝通话。当与所述目标联系人对应的常用通话方式为拒绝通话时,电视机在接收到来自目标联系人的视频通话请求时,拒绝本次视频通话请求。

比如,若习惯使用语音连接方式进行远程通话交流,则直接确定语音连接方式为目标通话方式。若习惯使用视频连接方式进行远程通话交流,则直接确定视频连接方式为目标通话方式。若习惯拒接目标联系人的视频通话请求,则直接确定拒接通话未目标通话方式。

可以理解的,与所述目标联系人的历史远程通话中通话方式使用次数记录在电视机,在与目标联系人进行视频通话连接时,电视机会读取记录的该通话方式使用次数,用以确定是否存在常用通话方式;或者存在常用通话方式时,其具体对应的是哪种通话方式。

在一些实施例中,所述通话参考信息包括当前时间;所述根据所述通话参考信息确定目标通话方式,包括:根据所述当前时间以及预先记录的与所述目标联系人在历史远程通话时的不同时间所对应启动的通话方式,确定与所述当前时间对应的目标通话方式。

需要说明的是,所述当前时间为预先记录的与所述目标联系人在历史远程通话时的不同时间中的时间。

在该实施例中,通过预先记录的与目标联系人在历史远程通话时的不同时间所对应确定的通话方式,说明用户对于远程通话时的不同时间有着不同隐私要求,也可以理解为用户对于不同时间的隐私公开程度不同。而本实施方式能够满足用户对于远程通话时的不同时间的不同隐私要求。

具体地,可以通过机器学习算法,得到与目标联系人在历史通话时的不同时间所对应启动的通话方式。也就是,通过机器学习算法,得到目标联系人在历史远程通话时的不同时间与其所对应启动的通话方式之间的对应关系。

示例性地,对于电视机的所属用户,通过历史远程通话记录,得到用户与目标联系人的远程通话发生在上午,比如9:00am~12:00am,使用视频连接方式进行远程通话;用户与目标联系人的远程通话发生在下午,比如7:00pm~10:30pm,使用语音连接方式进行远程通话;目标联系人发送的视频通话请求发生在凌晨,比如1:00am~6:30am,使用拒绝通话的通话方式拒绝目标联系人的视频通话请求。

那么,此时若与目标联系人远程通话时的当前时间为上午10:00am,与9:00am~12:00am这一时间对应,则将视频连接方式作为目标通话方式进行远程通话。若与目标联系人远程通话时的当前时间为下午9:00pm,与7:00pm~10:30pm这一时间对应,则将语音连接方式作为目标通话方式进行远程通话。若目标联系人发送的视频通话请求时的当前时间发生在凌晨2:00am,与1:00am~6:30am这一时间对应,则将拒绝通话的通话方式作为目标通话方式,拒绝目标联系人在当前时间的视频通话请求。

在一些实施例中,所述通话参考信息包括当前时间;所述根据所述通话参考信息确定目标通话方式,包括:根据所述当前时间以及预先设置的与所述目标联系人在远程通话时的不同时间所对应启动的通话方式,确定与所述当前时间对应的目标通话方式。

为了满足不同用户对于远程通话时不同时间的不同隐私要求,用户可以根据自身需求,预先设置与目标联系人在远程通话时的不同时间所对应启动的通话方式,也就是,预先设置与目标联系人在远程通话时的不同时间与对应启动的摄像头之间的对应关系。

具体地,可以以一天内的小时为单位,将24小时划分为多个时间单元,设置在不同的时间单元里进行远程通话所对应启动的通话方式不同。

比如,将24小时划分为三个时间单元,0:00am~8:00am为第一时间单元,8:00am~6:00pm为第二时间单元,6:00am~12:00pm为第三时间单元。其中,若目标联系人发送的视频通话请求发生在第一时间单元,则将拒绝通话的通话方式作为目标通话方式,拒绝目标联系人在当前时间的视频通话请求。若用户与目标联系人的远程通话发生在第二时间单元,则将视频连接方式作为目标通话方式进行远程通话。若用户与目标联系人的远程通话发生在第三时间单元,则将语音连接方式作为目标通话方式进行远程通话。

那么,此时若目标联系人发送的视频通话请求时的当前时间发生在凌晨2:00am,与0:00am~8:00am这一时间对应,则将拒绝通话的通话方式作为目标通话方式,拒绝目标联系人在当前时间的视频通话请求。若与目标联系人远程通话时的当前时间为上午10:00am,与8:00am~6:00pm这一时间对应,则将视频连接方式作为目标通话方式进行远程通话。若与目标联系人远程通话时的当前时间为下午9:00pm,与6:00am~12:00pm这一时间对应,则将语音连接方式作为目标通话方式进行远程通话。

在一些实施例中,所述通话参考信息包括至少两项信息时,所述至少两项信息包括当前时间和与所述目标联系人对应的常用通话方式;所述根据所述通话参考信息确定目标通话方式,包括:在根据所述至少两项信息确定出的待启动通话方式不一致时,根据预先设置的对应所述通话参考信息的通话方式优先级,将所述待启动通话方式中优先级最高的通话方式作为目标通话方式;在根据所述至少两项信息确定出的待启动通话方式一致时,将所确定的一致的通话方式作为目标通话方式。

本步骤中,根据当前时间和与所述目标联系人对应的常用通话方式分别确定出待启动通话方式,其中,确定出的待启动通话方式存在一致和不一致两种情况。

若确定出待启动通话方式一致,即待启动通话方式相同,则将所确定一致的通话方式作为目标通话方式。若确定出的待启动通话方式不一致,则根据预先设置的对应所述通话参考信息的通话方式优先级,将所述待启动通话方式中优先级最高的通话方式作为目标通话方式。

示例性地,若当前时间,结合预先记录的与所述目标联系人在历史远程通话时的不同时间所对应启动的通话方式,其中,当前时间为9:30am,而若预先记录的与所述目标联系人在历史远程通话时的9:00am~12:00am所对应启动的通话方式为视频连接方式。与所述目标联系人对应的常用通话方式为语音连接方式。

这样,对应当前时间和与所述目标联系人对应的常用通话方式所确定出的待启动通话方式不一致。若预先设置的对应通话参考信息的通话方式启动优先级由高至低依次为与所述目标联系人对应的常用通话方式;当前时间。此时,将语音连接方式作为目标通话方式。

s103、根据所述目标通话方式,启动所述麦克风,或启动所述麦克风与所述摄像头;并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置。

在确定目标通话方式后,可以根据该目标通话方式,启动麦克风但不启动摄像头进行语音通话;或同时启动麦克风与摄像头进行视频通话。并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置。

可以理解地,启动麦克风和/或摄像头的步骤可以在控制麦克风和/或摄像头升起的步骤之前或之后,也可以二者同时进行。即所述启动所述麦克风,或启动所述麦克风与所述摄像头可以在所述通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置之前或之后进行,或者两个步骤同时进行,在此不作限定。

在一些实施例中,所述根据所述目标通话方式,启动所述麦克风,或启动所述麦克风与所述摄像头;并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置,包括:若所述目标通话方式为语音连接方式,启动所述麦克风;若所述目标通话方式为视频连接方式,启动所述麦克风和所述摄像头,并通过所述调节结构控制所述摄像头,和/或所述麦克风以及所述摄像头移动至升起位置;若所述目标通话方式为拒绝通话的通话方式,保持所述麦克风和所述摄像头不动,即既不开启所述摄像头和/或所述麦克风,又不升起所述摄像头和/或所述麦克风。

可以理解地,在另一些实施例中,若所述目标通话方式为语音连接方式,可以只启动所述麦克风,但不升起所述摄像头和所述麦克风,即不执行所述通过所述调节结构控制所述摄像头和所述麦克风移动至升起位置的步骤。当然,若所述目标通话方式为语音连接方式,可以既启动所述麦克风,又升起所述摄像头和所述麦克风,即执行通过所述调节结构控制所述摄像头和所述麦克风移动至升起位置的步骤。

示例性地,在打开摄像头和/或麦克风之前,可根据通话参考信息先确定目标通话方式。若所确定的目标通话方式为语音连接方式,启动所述麦克风不启动摄像头,并控制调节结构的驱动机构驱动麦克风和摄像头移动至升起位置,使得麦克风更好地采集用户的语音信号。若所确定的目标通话方式为视频连接方式,启动所述麦克风和摄像头,并控制调节结构的驱动机构驱动麦克风和摄像头移动至升起位置。若所述目标通话方式为拒绝通话的通话方式,保持所述麦克风和所述摄像头不动,即既不开启所述摄像头和/或所述麦克风,又不升起所述摄像头和/或所述麦克风。

如此,在远程通话未接通或用户拒绝目标联系人的本次视频通话请求时,电视机不会弹出摄像头和/或麦克风,也不会开启摄像头和/或麦克风,避免干扰用户的使用体验。同时,若用户未接听本次视频通话请求或用户拒绝目标联系人的本次视频通话请求时,则电视机可减少一次摄像头和/或麦克风的弹出,以及减少一次摄像头和/或麦克风的升降,从而提高摄像头和/或麦克风的使用寿命。

s104、采集与所述目标联系人远程通话的通话数据。

若所述目标通话方式为语音连接方式,启动所述麦克风,并向该麦克风发送语音采集指令。麦克风接收到该语音采集指令后采集与所述目标联系人远程通话的语音通话数据。该麦克风可以采集帧语音数据。所述语音通话数据包括至少一帧语音数据。

若所述目标通话方式为视频连接方式,启动所述麦克风和所述摄像头,控制调节结构的驱动机构驱动麦克风和摄像头移动至升起位置,并向该麦克风发送语音采集指令以及向该摄像头发送拍摄指令。麦克风接收到该语音采集指令后采集与所述目标联系人远程通话的语音通话数据。所述语音通话数据包括至少一帧语音数据。摄像头接收到该拍摄指令后采集与所述目标联系人远程通话的视频数据。该摄像头可以采集帧图像数据。所述视频数据包括至少一帧预览图像数据。

以目标联系人jimmy发来的视频通话请求举例。当摄像头和麦克风从电视机的显示屏的非显示侧完全升起后,电视机可打开摄像头开始采集图像并打开麦克风采集语音。或者电视机也可在升起摄像头和麦克风的过程中打开摄像头开始采集图像并打开麦克风采集语音。如图3,摄像头10和麦克风(图未示)从电视机的显示屏的非显示侧完全升起后,电视机的显示屏可以呈现预设用户界面201。电视机在预设用户界面201中可实时显示摄像头10采集到的图像内容202。并且,电视机可在预设用户界面201中实时显示目标联系人jimmy发来的图像内容203。同时,在开启所述摄像头10和所述麦克风后,电视机还可以将麦克风采集到的语音内容实时发送给目标联系人jimmy,并且,电视机可接收并播放目标联系人jimmy实时发送来的语音内容,实现本次视频通话过程。

在一些实施例中,所述基于显示设备的通话方法还包括:在预设下降条件时,通过所述调节结构控制所述摄像头和所述麦克风移动至收回位置。具体地,在满足预设下降条件下,通过所述调节结构的驱动机构驱动所述摄像头和麦克风移动至收回位置,从而使得摄像头和麦克风隐藏于电视机的显示屏的非显示侧。其中,预设下降条件可以根据实际需求进行设置,例如在用户由视频聊天切换至语音聊天时,或者在远程通话结束时或者用户拒绝目标联系人的视频通话请求时等,在此不作限定。如此,在用户不需要进行视频通话时电视机的摄像头不会采集到用户相关的图像内容,从而可降低用户隐私泄露的安全风险。

在一些实施例中,所述基于显示设备的通话方法还包括:若所述目标通话方式为视频连接方式,根据所述通话数据通过所述调节结构调节所述摄像头的位置,以使所述摄像头对准拍摄目标。

具体地,若所述目标通话方式为视频连接方式,在摄像头根据拍摄指令采集与所述目标联系人远程通话的通话数据后,根据该通话数据通过调节结构的动力机构和/或调节结构的传动机构调节摄像头的位置,直至所述摄像头对准上述用户。如此,可以对电视机的摄像头进行调节,以便适应不同用户或同一用户的不同需求,即使用户移动或不同用户身高差异较大等情况下,无需用户肢体动作即可自动调整摄像头到合适拍摄角度,从而更加全面捕捉用户图像,提高了摄像头的使用效果以及提高了用户的使用体验。

可以理解地,当通话数据中包括多个用户时,其中一个用户移动,摄像头不进行调整。当用户图像包括多个用户时,摄像头的移动也可以根据实际需求进行设计,在此不作限定。

在一些实施例中,所述通话数据包括用户图像。所述根据所述通话数据通过所述调节结构调节所述摄像头的位置,包括:对所述用户图像进行人脸识别,以确定拍摄目标的人脸图像;根据所述人脸图像和所述用户图像,判断所述摄像头是否对准所述拍摄目标;若所述摄像头未对准所述拍摄目标,确定所述摄像头的拍摄角度信息;根据所述摄像头的拍摄角度信息和目标拍摄角度信息,通过所述动力机构驱动所述摄像头在竖直方向转动和通过所述传动机构驱动所述摄像头在水平方向转动。

具体地,所述用户图像可以为摄像头采集的电视机前方周边区域人物图像,周边区域人物一般为电视机的用户,人物图像传送给显示屏,从而使电视机获取该摄像头采集的用户图像。

在一些实施方式中,所述对所述用户图像进行人脸识别,以确定用户的人脸图像,具体包括:将所述用户图像输入预先训练好的人脸识别模型,以输出用户的人脸图像。

其中,预先训练好的人脸识别模型可以是基于大量人脸样本图像对原始神经网络进行模型训练所得到。原始神经网络可以为卷积神经网络(cnn,convolutionalneuralnetworks)、循环神经网络(rnn,recurrentneuralnetworks)、长短期记忆(lstm,long/shorttermmemory)网络、yolo9000网络、alexnet网络或vggnet等。

在确定用户的人脸图像后,基于所述人脸图像和所述用户图像,判断所述摄像头是否对准所述用户。若所述摄像头未对准所述用户,则执行确定所述摄像头的拍摄角度信息,并确定所述摄像头的目标拍摄角度信息的步骤。若所述摄像头对准所述用户,则保持所述摄像头的拍摄方向不变,并执行所述获取所述摄像头采集的用户图像的步骤。

在一些实施方式中,所述根据所述人脸图像和所述用户图像,判断所述摄像头是否对准所述用户,具体包括:根据所述人脸图像的中心点坐标以及所述用户图像的中心点坐标,判断所述摄像头是否对准所述用户;若所述人脸图像的中心点坐标与所述用户图像的中心点坐标相同,判定所述摄像头对准所述用户;若所述人脸图像的中心点坐标与所述用户图像的中心点坐标不相同,判定所述摄像头未对准所述用户。

其中,所述人脸图像的中心点坐标以及所述用户图像的中心点坐标可以是在对所述用户图像进行人脸识别过程中获取的,即在确定用户的人脸图像的过程中,也获得该人脸图像的中心点坐标和所述用户图像的中心点坐标。所述人脸图像的中心点坐标以及所述用户图像的中心点坐标也可以是在所述对所述用户图像进行人脸识别,以确定用户的人脸图像之后,根据所述人脸图像的轮廓尺寸获取所述人脸图像的中心点坐标,并根据所述用户图像的轮廓尺寸获取所述用户图像的中心点坐标。

示例性的,所述人脸图像的中心点坐标(x1,y1)为用户的两个眼部区域的中点坐标,x1为所述人脸图像的中心点横坐标,y1为所述人脸图像的中心点纵坐标。用户图像的中心点坐标(x2,y2)为所述用户图像对角线的交点,x2为用户图像的中心点横坐标,y2为用户图像的中心点纵坐标。若x2与x1相同,以及y2与y1相同,则判定所述摄像头对准所述用户。若x2与x1不同,或者y2与y1不同,则判定所述摄像头未对准所述用户。

在一些实施方式中,根据所述人脸图像的中心点坐标以及所述用户图像的中心点坐标是否满足预设对准条件,判断所述摄像头是否对准所述用户。若所述人脸图像的中心点坐标以及所述用户图像的中心点坐标满足预设对准条件,判定所述摄像头对准所述用户;若所述人脸图像的中心点坐标与所述用户图像的中心点坐标不满足预设对准条件,判定所述摄像头未对准所述用户。预设对准条件可以根据实际需求进行灵活设置,例如所述人脸图像的中心点与用户图像的中心点之间的距离小于等于预设距离阈值时,判定所述摄像头对准所述用户;所述人脸图像的中心点与用户图像的中心点之间的距离大于预设距离阈值时,判定所述摄像头未对准所述用户。预设距离阈值可以根据实际需求进行灵活设计。

在判断所述摄像头是否对准所述用户后,若判定所述摄像头未对准所述用户,则可确定所述摄像头的拍摄角度信息和所述摄像头的目标拍摄角度信息。

在一些实施例中,所述确定所述摄像头的拍摄角度信息,具体包括:计算所述用户在所述用户图像中的面积;根据所述面积,确定所述用户与所述摄像头之间的第一距离;根据所述第一距离、所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头的拍摄角度信息。

在一些实施方式中,获取所述用户图像中用户的轮廓面积,将该轮廓面积作为所述用户在所述用户图像中的面积。其中,获取轮廓面积的方式可以根据实际需要灵活设置,例如将用户图像输入预先训练好的人体轮廓识别模型以输出所述用户在所述用户图像中的面积,又如以所述用户图像中人体的肩部宽度作为用户的宽度,以所述用户图像中等。所述根据所述面积,确定所述用户与所述摄像头之间的第一距离,包括:根据预先建立的第一映射关系,确定所述面积对应的第一距离,该第一距离是指所述用户与所述摄像头之间的距离。其中所述第一映射关系中记录有在不同拍摄距离下所述摄像头拍摄到的样本人体在所拍摄的用户图像中的面积。

在另一些实施方式中,所述计算所述用户在所述用户图像中的面积包括:获取所述用户的人脸区域在所述用户图像中的面积。其中,获取所述用户的人脸区域在所述用户图像中的面积的方式可以根据实际需要灵活设置,例如在前述人脸识别过程中即可输出所述用户的人脸区域在所述用户图像中的面积,即在确定用户的人脸图像过程中,也获得了所述用户的人脸区域在所述用户图像中的面积。所述根据所述面积,确定所述用户与所述摄像头之间的第一距离,包括:根据预先建立的第二映射关系,确定所述面积对应的第一距离,该第一距离是指所述用户与所述摄像头之间的距离。其中所述第二映射关系中记录有在不同拍摄距离下所述摄像头拍摄到的样本人体的人脸区域在所拍摄的用户图像中的面积。

在一些实施方式中,所述根据所述第一距离、所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头的拍摄角度信息,包括:根据所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头在所述水平方向的第一相对方位和所述摄像头在所述竖直方向的第二相对方位;根据所述第一距离、所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头在所述水平方向的所述第一拍摄角度;根据所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头在所述竖直方向的所述第二拍摄角度;将所述第一相对方位、所述第二相对方位、所述第一拍摄角度和所述第二拍摄角度作为所述摄像头的拍摄角度信息。

示例性的,若用户图像的中心点坐标为(0,0),用户图像中人脸区域的中心点坐标为(1,-2),则所述摄像头在所述水平方向的第一相对方位为“位于右方”,所述摄像头在所述竖直方向的第二相对方位为“位于下方”。

其中,所述根据所述第一距离、所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,确定所述摄像头在所述水平方向的所述第一拍摄角度,具体包括:根据所述用户图像的中心点坐标以及所述用户图像中人脸区域的中心点坐标,计算所述用户图像的中心点与所述用户图像中人脸区域的中心点之间的第二距离;根据所述第一距离和所述第二距离,计算所述摄像头在所述水平方向的所述第一拍摄角度。具体地,用户与所述摄像头的连接线,以及所述用户图像的中心点与所述用户图像中人脸区域的中心点的连接线呈正交设置,即两连接线的夹角为90度,因而根据所述第一距离和所述第二距离,可以计算出所述摄像头在所述水平方向的所述第一拍摄角度。

在一些实施方式中,根据第三映射关系,确定所述用户图像的中心点坐标和所述用户图像中人脸区域的中心点坐标对应的第二拍摄角度。该第二拍摄角度为所述摄像头在所述竖直方向的拍摄角度。其中所述第三映射关系中记录有所述摄像头拍摄样本人体在不同所述用户图像中人脸区域的中心点坐标和相同用户图像的中心点坐标下所述摄像头在所述竖直方向的拍摄角度。

具体地,目标拍摄角度信息包括在所述水平方向的第一目标拍摄角度和在竖直方向的第二目标拍摄角度。第一目标拍摄角度和第二目标拍摄角度可以根据实际需要进行灵活设置。示例性的,所述第一目标拍摄角度为所述摄像头对准样本人体的人脸区域拍摄时,所述摄像头在水平方向的拍摄角度。所述第二目标拍摄角度为所述摄像头对准样本人体的人脸区域拍摄时,所述摄像头在竖直方向的拍摄角度。

在一些实施例中,所述根据所述摄像头的拍摄角度信息和目标拍摄角度信息,通过所述动力机构驱动所述摄像头在竖直方向转动和通过所述传动机构驱动所述摄像头在水平方向转动,具体包括:根据所述第一拍摄角度和所述第一目标拍摄角度,通过所述传动机构驱动所述摄像头在水平方向转动;根据所述第二拍摄角度和所述第二目标拍摄角度,通过所述动力机构驱动所述摄像头在所述竖直方向转动。

其中,所述根据所述第一拍摄角度和所述第一目标拍摄角度,通过所述传动机构驱动所述摄像头在水平方向转动,包括:根据所述第一拍摄角度和所述第一目标拍摄角度,计算第一拍摄偏移角度;通过所述传动机构驱动所述摄像头在水平方向转动所述第一拍摄偏移角度。

例如,将第一拍摄角度与第一目标拍摄角度作差,所得的差值即为第一拍摄偏移角度。若所述第一拍摄偏移角度为20度,其大于0度,则控制所述传动机构驱动所述摄像头在水平方向向左转动20度。若所述第一拍摄偏移角度为-20度,其小于0度,则控制所述传动机构驱动所述摄像头在水平方向向右转动20度。若所述第一拍摄偏移角度等于0度,则所述传动机构停止运转,从而使所述摄像头在水平方向的位置保持不变。

又如,将第一拍摄角度与第一目标拍摄角度作差,所得差值的绝对值作为第一拍摄偏移角度。则所述摄像头在所述水平方向的第一相对方位为“位于右方”,确定第一移动方向为向左移动。控制所述传动机构驱动所述摄像头在水平方向转动所述第一拍摄偏移角度。

在一些实施例中,所述根据所述第二拍摄角度和所述第二目标拍摄角度,通过所述动力机构驱动所述摄像头在所述竖直方向转动,包括:根据所述第二拍摄角度和所述第二目标拍摄角度,计算第二拍摄偏移角度;所述动力机构驱动所述承载机构在竖直方向转动所述第二拍摄偏移角度,以使所述摄像头沿竖直方向转动所述第二拍摄偏移角度。

例如,将第二拍摄角度与第二目标拍摄角度作差,所得的差值即为第二拍摄偏移角度。若所述第二拍摄偏移角度为30度,其大于0度,则所述动力机构驱动所述承载机构在竖直方向向下转动,从而使所述摄像头在竖直方向向下转动30度,即摄像头沿第二轴向外做翻转运动。若所述第二拍摄偏移角度为-30度,其小于0度,则所述动力机构驱动所述承载机构在竖直方向向上转动,从而使所述摄像头在竖直方向向上转动30度,即摄像头沿第二轴向里做翻转运动。若所述第二拍摄偏移角度等于0度,则所述动力机构停止驱动所述承载机构运动,从而使所述摄像头在竖直方向的位置保持不变。

又如,将第二拍摄角度与第二目标拍摄角度作差,所得差值的绝对值作为第二拍摄偏移角度。则所述摄像头在所述水平方向的第二相对方位为“位于下方”,确定第二移动方向为向上移动。所述动力机构驱动所述承载机构在竖直方向向上转动,从而使所述摄像头在竖直方向向上转动第二拍摄偏移角度,即摄像头沿第二轴向里翻转第二拍摄偏移角度。

上述基于显示设备的通话方法,可以通过摄像头和麦克风进行视频通话,也可以通过麦克风进行语音通话,也可以拒绝目标联系人的视频通话请求,其具体选择哪种通话方式依赖于通话参考信息。通过通话参考信息,确定进行视频通话或语音通话以采集与目标联系人进行远程通话时的通话数据,从而满足用户远程通话时麦克风采集语音要求的同时,还能兼顾与该目标联系人进行远程通话时用户隐私的公开程度,从而保护用户隐私,保证用户远程通话交流的同时又能够有针对性地给用户选择是否让对方看到自己,提升了用户的通话体验。

请参阅图4,图4是本申请实施例提供的一种显示设备的结构示意性框图。

如图4所示,该显示设备300可以包括通过系统总线301连接的处理器302、存储器303和通信接口304,其中,存储器303可以包括非易失性计算机可读存储介质和内存储器。

非易失性计算机可读存储介质可存储计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种基于显示设备的通话方法。

处理器302用于存储计算机程序。

存储器303用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的基于显示设备的通话方法。

该通信接口304用于通信。本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的显示设备300的限定,具体的显示设备300可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

应当理解的是,该总线301比如为i2c(inter-integratedcircuit)总线,存储器303可以是flash芯片、只读存储器(rom,read-onlymemory)磁盘、光盘、u盘或移动硬盘等,处理器302可以是中央处理单元(centralprocessingunit,cpu),该处理器302还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中,在一些实施例中,所述显示设备包括显示屏、摄像头、麦克风和设于所述显示屏上的调节结构,所述摄像头和所述麦克风设于所述调节结构上;处理器302用于运行存储在存储器303中的计算机程序,以执行如下步骤:

当接收到来自目标联系人的视频通话请求时,获取通话参考信息;根据所述通话参考信息确定目标通话方式;根据所述目标通话方式,启动所述麦克风,或启动所述麦克风与所述摄像头;并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置;采集与所述目标联系人远程通话的通话数据。

在一些实施方式中,所述通话参考信息包括与所述目标联系人对应的常用通话方式;所述根据所述通话参考信息确定目标通话方式时,处理器302用于执行:将所述常用通话方式确定为目标通话方式。

在一些实施方式中,所述通话参考信息包括当前时间;所述根据所述通话参考信息确定目标通话方式时,处理器302用于执行:根据所述当前时间以及预先记录的与所述目标联系人在历史远程通话时的不同时间所对应启动的通话方式,确定与所述当前时间对应的目标通话方式;和/或,根据所述当前时间以及预先设置的与所述目标联系人在远程通话时的不同时间所对应启动的通话方式,确定与所述当前时间对应的目标通话方式。

在一些实施方式中,所述通话参考信息包括至少两项信息时,所述至少两项信息包括当前时间和与所述目标联系人对应的常用通话方式;在所述根据所述通话参考信息确定目标通话方式时,处理器302用于执行:在根据所述至少两项信息确定出的待启动通话方式不一致时,根据预先设置的对应所述通话参考信息的通话方式优先级,将所述待启动通话方式中优先级最高的通话方式作为目标通话方式。

在一些实施方式中,在所述根据所述目标通话方式,启动所述麦克风,或启动所述麦克风与所述摄像头;并通过所述调节结构控制所述摄像头和/或所述麦克风移动至升起位置时,处理器302用于执行:若所述目标通话方式为语音连接方式,启动所述麦克风;若所述目标通话方式为视频连接方式,启动所述麦克风和所述摄像头,并通过所述调节结构控制所述摄像头,和/或所述麦克风以及所述摄像头移动至升起位置。

在一些实施方式中,处理器302还用于执行:在预设下降条件时,通过所述调节结构控制所述摄像头和所述麦克风移动至收回位置。

在一些实施方式中,处理器302还用于执行:若所述目标通话方式为视频连接方式,根据所述通话数据通过所述调节结构调节所述摄像头的位置,以使所述摄像头对准拍摄目标。

在一些实施方式中,在所述调节结构包括动力机构和所述传动机构;所述通话数据包括用户图像;所述根据所述通话数据通过所述调节结构调节所述摄像头的位置时,处理器302用于执行:对所述用户图像进行人脸识别,以确定拍摄目标的人脸图像;根据所述人脸图像和所述用户图像,判断所述摄像头是否对准所述拍摄目标;若所述摄像头未对准所述拍摄目标,确定所述摄像头的拍摄角度信息;根据所述摄像头的拍摄角度信息和目标拍摄角度信息,通过所述动力机构驱动所述摄像头在竖直方向转动和通过所述传动机构驱动所述摄像头在水平方向转动。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对基于显示设备的通话方法的详细描述,此处不再赘述。

本申请实施例显示设备可以通过摄像头和麦克风进行视频通话,也可以通过麦克风进行语音通话,也可以拒绝目标联系人的视频通话请求,其具体选择哪种通话方式依赖于通话参考信息。通过通话参考信息,确定进行视频通话或语音通话以采集与目标联系人进行远程通话时的通话数据,从而满足用户远程通话时麦克风采集语音要求的同时,还能兼顾与该目标联系人进行远程通话时用户隐私的公开程度,从而保护用户隐私,保证用户远程通话交流的同时又能够有针对性地给用户选择是否让对方看到自己,提升了用户的通话体验。

本申请的实施例中还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序中包括程序指令,处理器执行程序指令,实现本申请实施例提供的任一基于显示设备的通话方法。

其中,计算机可读存储介质可以是前述实施例的显示设备的内部存储单元,例如显示设备的硬盘或内存。计算机可读存储介质也可以是显示设备的外部存储设备,例如显示设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。

由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种基于显示设备的通话方法,因此,可以实现本申请实施例所提供的任一种基于显示设备的通话方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅是本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1