一种被动式数字电视终端的人机交互方法和装置与流程

文档序号:26751179发布日期:2021-09-25 02:32阅读:110来源:国知局

1.本技术涉及到数字电视领域,特别是涉及到一种被动式数字电视终端的人机交互方法和装置。


背景技术:

2.涉及数字电视的人机交互,一般是指自然人与数字电视终端之间的信号交互。传统的数字电视终端的人机交互方案,是通过遥控器或者更进一步地语音识别技术来实现控制信号的输入。但是,数字电视终端具有自身的特性,即,数字电视终端的观看者一般是坐或躺在沙发上观看节目,此时观看者的姿态并不适合输入控制信号,尤其是输入复杂的控制信号,而传统的遥控器控制方案或者语音识别的控制方案,都不能有效解决数字电视终端的人机交互问题。因此,涉及数字电视终端的人机交互方案有待改进。


技术实现要素:

3.本技术提出一种被动式数字电视终端的人机交互方法,包括以下步骤:s1、数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;s2、数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;s3、数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;s4、数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;s5、数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;s6、数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;s7、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,
对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;s8、数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;s9、若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。
4.进一步地,所述数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心的步骤s3中的聚类算法为k

means聚类算法。
5.进一步地,所述数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数的步骤s5,包括:s501、数字电视终端根据公式:计算出对应于一个播放参数集合的偏移数值p,从而获取对应于所述n个播放参数集合的n个偏移数值;其中,被计算的播放参数集合的成员为t个,bi为被计算的播放参数集合的第i个成员,ai为对应于bi的初始播放参数;s502、根据公式:、...、,计算出第二播放参数、第三播放参数、

、第n+1播放参数;其中,为第一播放参数,为第二播放参数,为第三播放参数,为第n+1播放参数。
6.进一步地,所述数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像的步骤s7,包括:s701、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部的局部区域进行第一图像采集处理,以得到仅包括鼻子和嘴部的第一面部图像;所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤s8之前,包括:s71、获取预先收集的样本图像集;其中,所述样本图像是在对观看视频时的自然人进行图像采集得的,并且所述样本图像仅包括自然人的鼻子和嘴部;所述样本图像集包括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;s72、对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识;
s73、将所述样本图像集划分为训练图像集和验证图像集;其中,所述训练图像集中的标记有否定标识的图像所占比例,等于所述验证图像集中的标记有否定标识的图像所占比例;s74、调取预设的深度卷积神经网络模型,并将所述训练图像集中的数据输入所述深度卷积神经网络模型中进行训练,以得到初步预测模型;s75、采用所述验证图像集中的数据对所述初步预测模型进行验证处理,以得到验证结果,并判断所述验证结果是否为合格;s76、若所述验证结果为合格,则将所述初步预测模型作为否定信息预测模型。
7.进一步地,所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤s8之后,包括:s81、若所述第一预测结果为否定,则数字电视终端将播放参数调整回所述第一播放参数,以继续播放所述指定视频;s82、数字电视终端采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第二图像采集处理,以得到第二面部图像;s83、数字电视终端将所述第二面部图像输入所述否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第二预测结果,并判断所述第二预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;s84、若所述第二预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据所述第一播放参数继续播放所述指定视频。
8.本技术提供一种被动式数字电视终端的人机交互装置,包括:第一播放参数获取单元,用于指示数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;播放参数序列获取单元,用于指示数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;时间点聚类获取单元,用于指示数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;播放参数集合建立单元,用于指示数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;
偏移数值计算单元,用于指示数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;播放参数修改单元,用于指示数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;第一面部图像采集单元,用于指示数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;第一预测结果判断单元,用于指示数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;继续播放指令生成单元,用于指示若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。
9.本技术提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
10.本技术提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
11.本技术的被动式数字电视终端的人机交互方法、装置、计算机设备和存储介质,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;获取m个移动终端;获取m个播放参数序列,得到m个筛选后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;得到第一面部图像;得到否定信息预测模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播放参数调节在内的人机交互的目的。
附图说明
12.图1 为本技术一实施例的被动式数字电视终端的人机交互方法的流程示意图;图2 为本技术一实施例的计算机设备的结构示意框图。
13.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
14.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对
本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
15.参照图1,本技术实施例提供一种被动式数字电视终端的人机交互方法,包括以下步骤:s1、数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;s2、数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;s3、数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;s4、数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;s5、数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;s6、数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;s7、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;s8、数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;s9、若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。
16.本技术的数字电视终端,指的是通过播放数字电视信号的终端,其一般以电视机的方式呈现,一般被设置在客厅处,以供多人尤其是多个家庭成员观看电视节目。并且数字电视终端所播放的节目,不仅可以为传统的电视台所发送的电视节目,也可以为从其他任意可行来源发送的视频节目,例如通过双向通信网络(互联网)获取的视频节目。
17.本技术实施的一个依据在于,随着信息技术的发展,视频信号的传输也越来越容易,因此出现了大量的视频节目。而对于这些视频节目,人们会考虑进行一些播放参数的调
整,例如对于不讨喜的某些片段,人们会考虑以两倍速的播放参数来快速略过。而这些播放参数的调整,在传统技术中是需要观看者手动输入控制信号来与数字电视终端进行人机交互的,操作繁琐不便;并且由于缺少例如鼠标或者键盘之类的快速输入设备(因为数字电视终端不适合布设这些输入设备),因此若依靠观看者手动调节播放参数,则更进一步地增加了操作繁琐程度。
18.而本技术通过被动式的人机交互方案,来解决这个问题。所述被动式的人机交互,指的是不需要观看者主动调整播放参数,实际上,在整个方案中只需要利用否定信息预测模型,以确定观看者是否有否定的倾向,因此对于观看者而言,只需要被动输出肯定或者否定的信息即可。其中更具体的实施细节,将结合具体步骤详细阐述。
19.如上述步骤s1

s4所述,数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合。
20.第一播放参数可为任意可行参数,例如为播放速度、视频亮度、音量大小等等。虽然本技术只是以第一播放参数这种术语进行描述,其中未对第一播放参数的数量进行限定,但实际上,本技术在实施过程中,可以针对一种播放参数进行实施,也可以针对一种以上的播放参数进行实施。所述指定视频可为任意可行视频,优选为来自于互联网络的视频。第一播放参数的获取可为任意可行方式,例如为默认播放参数,或者观看者在指定视频的播放之初手动控制遥控器修改而生成。
21.由于本技术应用于数字电视终端,是通过数字信号进行数据传播的,因此能够接入双向通信网络,从而不仅只能被动接收信号,还能返回信号。因此,能够通过预设的双向通信网络,与其他终端进行通信。所述双向通信网络指的,在网络中的任意两个终端之间均能进行双向通信的网络。以终端播放内容是否为所述指定视频为选取标准,其含义在于,移动终端必须是播放了指定视频,也即,所述m个移动终端正在播放所述指定视频。
22.需要注意的是,本技术选择的是m个移动终端,而由于移动终端与数字电视终端是不同的,因为移动终端距离持有者很近,并且易于接收持有者的输入信息(例如通过触摸屏实现),因此移动终端的持有者能够相对容易地进行播放参数的调整。而本技术的一个特点就在于此,即利用移动终端相对于数字电视终端而言更易进行人机交互的特性,借助移动终端的播放参数的调整,间接实现数字电视终端的播放参数的调整,以使数字电视终端的被动式人机交互的实现成为可能。
23.m个播放参数序列是与m个移动终端一一对应的,指的是m个移动终端在播放指定视频时的播放参数随时间变化的序列。若某个移动终端的播放参数保持不变,那么其对应的播放参数序列的每个成员均是相等的。以播放参数发生变化的筛选规则,目的在于将发生变化的播放参数筛选出来,以构成筛选后参数序列。例如,对于a移动终端(以播放速度作为播放参数来举例说明)的播放参数序列(1,1,1,1.2,1.2,1.2,1,1,1

),其第四和七个成员发生了变化,因此筛选后得到的序列为(1.2,1),当然,此处是略去了对应的时间点,但是可以确知的是,无论是筛选前的序列还是筛选后的序列,均是与时间相关的,因此能够得到对应的时间点序列,即“根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列”。其中,对于播放参数无变化的播放参数序列而言,筛选后的序列则为空集。
24.生成时间点集合,从而将所有发生参数变化的时间点汇总起来,这是为了确定哪些时间点是应当进行参数调整的时间点。通过这种方式,能够降低误差。所述聚类算法可为任意可行算法,例如为k

means聚类算法。k

means聚类算法,是通过计算不同时间点之间的距离来判断他们的相近关系的,相近的就会放到同一个类别中去。最终得到n个时间点聚类和n个第一聚类中心,而n个第一聚类中心即为应当对数字电视终端进行播放参数调节的时间点。所述n个时间点聚类和n个第一聚类中心一一对应,指的是,每个聚类中心均为一个时间点聚类的中心。
25.再根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合。而之所以建立n个播放参数集合,是为了确定应当如何调整播放参数。
26.如上述步骤s5

s9所述,数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。
27.由于不同人观看视频的习惯参数不同,并且移动终端与数字电视终端的播放参数也不一致,因此无法直接将n个播放参数集合应用于数字电视终端中。而为了解决这个问题,本技术采用偏移数值计算的方式,再在第一播放参数的基础上,对应叠加上所述n个偏移数值,从而得到应当调整的播放参数。其中,叠加的方式与偏移数值的计算方式对应,例如可以采用加和法,或者比例法进行叠加。偏移数值是衡量发生变化的播放参数与原始参数之间的偏移程度,而只需要对数字电视终端的第一播放参数也相应进行对应的偏移调整,即可得到对应的播放参数。
28.另外,需要提及的一点是,本技术中所指的时间点(例如n个第一聚类中心的第一成员、第二成员、

、第n成员),指的是相对时间点,即指定视频播放的相对时间(相对于指定视频的初始播放时间),而并非是绝对时间,这是因为不同人观看指定视频的速度有快有慢,以及观看时间点有先有后(虽然前文有提及所述m个移动终端正在播放所述指定视频,但这与开始观看指定视频的时间点存在一定程度的差异,并不矛盾)。
29.播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,表明应当进行播放参数的修改,从而将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数。由于这些修改并非是观看者主动进行的,因此本技术通过特别的方式,来确定这些修改是否适应于观看者。
30.具体地,数字电视终端利用第一面部图像和否定信息预测模型来确定观看者是否被动式输出否定信息,这实际上是数字电视终端与观看者的唯一直接人机交互(前述的参数修改,属于间接人机交互)。
31.进一步地,在再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端的步骤中,还可以增加另一限定,即限定m个移动终端的持有者的观看行为特征(观看习惯)与数字电视终端的观看者相同。
32.人的一些反应会体现在面部表情上,尤其是在观看视频时,此时观看者处于放松状态,因此遵从于人的自然反应。据此,可以利用否定信息预测模型,以第一面部图像为基础,来预测出观看者对于调整后的播放参数的接受程度。其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到。所述深度卷积神经网络模型适合于对图像信息的处理,进行预测或分类的任务。若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。这表明观看者接受修改后的播放参数,因此维持修改后的播放参数即可。
33.进一步地,所述数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数的步骤s5,包括:s501、数字电视终端根据公式:计算出对应于一个播放参数集合的偏移数值p,从而获取对应于所述n个播放参数集合的n个偏移数值;其中,被计算的播放参数集合的成员为t个,bi为被计算的播放参数集合的第i个成员,ai为对应于bi的初始播放参数;s502、根据公式:、...、,计算出第二播放参数、第三播放参数、

、第n+1播放参数;其中,为第一播放参数,为第二播放参数,为第三播放参数,为第n+1播放参数。
34.从而提高偏移数值的准确性,提高播放参数修改的合适程度。其中采用的公式不仅考虑到播放参数之间的数值差异程度,还考虑到了播放参数之间的离散程度,因此在数
据越丰富的情况下,计算得到的偏移数值越合适准确。其中,ai为对应于bi的初始播放参数,指的是第i个移动终端在播放指定视频时之初的播放参数。
35.进一步地,所述数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像的步骤s7,包括:s701、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部的局部区域进行第一图像采集处理,以得到仅包括鼻子和嘴部的第一面部图像;所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤s8之前,包括:s71、获取预先收集的样本图像集;其中,所述样本图像是在对观看视频时的自然人进行图像采集得的,并且所述样本图像仅包括自然人的鼻子和嘴部;所述样本图像集包括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;s72、对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识;s73、将所述样本图像集划分为训练图像集和验证图像集;其中,所述训练图像集中的标记有否定标识的图像所占比例,等于所述验证图像集中的标记有否定标识的图像所占比例;s74、调取预设的深度卷积神经网络模型,并将所述训练图像集中的数据输入所述深度卷积神经网络模型中进行训练,以得到初步预测模型;s75、采用所述验证图像集中的数据对所述初步预测模型进行验证处理,以得到验证结果,并判断所述验证结果是否为合格;s76、若所述验证结果为合格,则将所述初步预测模型作为否定信息预测模型。
36.从而提高了模型的处理速度。本技术采用的训练数据以及预测的图像均为特制的,这是因为在观看视频的过程中,观看者由于处于放松状态,其呼吸状态也趋于一种稳定的状态。当修改后的播放参数不被观看者接受时,观看者的呼吸状态会不自觉得发生改变,这就是本技术得到仅包括鼻子和嘴部的第一面部图像的原因。对应地,采用的训练图像也应是仅包括自然人的鼻子和嘴部。相对于普通的人脸识别模型需要整个面部图像,本技术只需要仅包括鼻子和嘴部的图像即可,从而效率得到了提高。对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识,使得本技术的训练方式,采用的是有监督学习的方式。
37.其中尤其需要注意的一点是,在训练过程中,是对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识;而且所述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的。这与预测模型在正式使用时,将不接受修改后的播放参数的面部图像预测为否定,是不矛盾的,反而应当说是正好匹配。因为第一样
本图像标记上否定标识,是指第一样本图像输出的是否定信息,即自然人意图进行手动修改播放参数,表明自然人对当前的播放参数不满意。而预测模型在正式使用时,若观看者不满意修改后的播放参数,这会体现在面部图像上,从而预测模型正好输出否定信息,因此是相互匹配的。
38.进一步地,所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤s8之后,包括:s81、若所述第一预测结果为否定,则数字电视终端将播放参数调整回所述第一播放参数,以继续播放所述指定视频;s82、数字电视终端采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第二图像采集处理,以得到第二面部图像;s83、数字电视终端将所述第二面部图像输入所述否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第二预测结果,并判断所述第二预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;s84、若所述第二预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据所述第一播放参数继续播放所述指定视频。
39.从而被动地接收到观看者的否定信息。观看者不接受修改后的播放参数时,其反应例如为改变原有的呼吸状态而变为深吸一口气等。因此,将播放参数修改为第一播放参数,并继续利用否定信息预测模型,以确定观看者是否认可第一播放参数。若认可,则生成继续播放指令,以指示根据所述第一播放参数继续播放所述指定视频。
40.另外,本技术的面部图像采集的时机与否定信息预测模型的时机均是有限制的,这保证了方案实施的可靠性。因为,人的面部表情,尤其是呼吸状态,会不时发生变化。而本技术限定在特定时间点(即修改播放参数时)才进行面部图像采集和否定信息预测模型的使用,而此时人会发生误操作的可能性就降低了,从而提高了整体方案的可靠性。
41.本技术的被动式数字电视终端的人机交互方法,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;获取m个移动终端;获取m个播放参数序列,得到m个筛选后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;得到第一面部图像;得到否定信息预测模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播放参数调节在内的人机交互的目的。
42.本技术实施例提供一种被动式数字电视终端的人机交互装置,包括:第一播放参数获取单元,用于指示数字电视终端在播放视频之前,获取第一播放
参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;播放参数序列获取单元,用于指示数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;时间点聚类获取单元,用于指示数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;播放参数集合建立单元,用于指示数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;偏移数值计算单元,用于指示数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;播放参数修改单元,用于指示数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、

、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;第一面部图像采集单元,用于指示数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;第一预测结果判断单元,用于指示数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;继续播放指令生成单元,用于指示若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。
43.其中上述单元分别用于执行的操作与前述实施方式的被动式数字电视终端的人机交互方法的步骤一一对应,在此不再赘述。
44.本技术的被动式数字电视终端的人机交互装置,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;获取m个移动终端;获取m个播放参数序列,得到m个筛选后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二
播放参数、第三播放参数、

、第n+1播放参数;将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;得到第一面部图像;得到否定信息预测模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播放参数调节在内的人机交互的目的。
45.参照图2,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储被动式数字电视终端的人机交互方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种被动式数字电视终端的人机交互方法。
46.上述处理器执行上述被动式数字电视终端的人机交互方法,其中所述方法包括的步骤分别与执行前述实施方式的被动式数字电视终端的人机交互方法的步骤一一对应,在此不再赘述。
47.本领域技术人员可以理解,图中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定。
48.本技术的计算机设备,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;获取m个移动终端;获取m个播放参数序列,得到m个筛选后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、

、第n+1播放参数;将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、

、第n+1播放参数;得到第一面部图像;得到否定信息预测模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播放参数调节在内的人机交互的目的。
49.本技术一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现被动式数字电视终端的人机交互方法,其中所述方法包括的步骤分别与执行前述实施方式的被动式数字电视终端的人机交互方法的步骤一一对应,在此不再赘述。
50.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序或指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
51.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
52.以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1