用于视频数据处理的方法和系统的制作方法_3

文档序号:9633934阅读:来源:国知局
02可以操作为基于从远程服务器106接收到的简档数据检测人类对象112。在实施例中,处理器202可以操作为检测人类对象112的对象区域,诸如除面部区域之外的暴露的皮肤区域。在实施例中,处理器202可以操作为确定一个或多个生理参数,诸如皮肤纹理、皮肤模式和/或与人类对象112相关联的一个或多个特征。在这种实施例中,处理器202可以操作为基于从远程服务器106接收到的简档数据和与人类对象112相关联的一个或多个生理参数检测人类对象112。
[0056]在实施例中,处理器202可以操作为执行所获得的关键帧的分割。基于分割,处理器202可以操作为将关键帧划分为多个像素集合。多个像素集合中的每个像素集合可以包括一个或多个像素。在每个像素集合中,每个像素基于一个或多个特性或计算出的属性,诸如像素颜色、像素强度或像素纹理,类似于相邻的像素。相邻的像素集合基于相同的特性或计算出的属性可以明显地不同于彼此。
[0057]在实施例中,处理器202可以操作为基于对象区域的X-坐标和y_坐标计算所获取帧中的对象区域的感兴趣区域(R0I),诸如人类对象112的面部。对象区域的X-坐标和y-坐标可以由处理器202基于存储在存储器204中的开源计算机视觉(OpenCV)库中的一种或多种计算机视觉算法,诸如V1la-Jones (VJ)面部检测算法来确定。尽管如此,本公开内容可以不限于此,并且在不限制本公开内容的范围的情况下,也可以使用其它计算机视觉算法检测人类对象112的面部/皮肤。
[0058]在实施例中,对象区域可以不是人类对象112的面部区域。在这种实施例中,处理器202,与远程服务器106相结合,可以操作为将识别标签关联到与人类对象112相关联的对象区域。在这种实施例中,人类对象112的身份可以基于从远程服务器106接收到的简档数据经识别标签与所确定的对象区域相关联。
[0059]在实施例中,处理器202可以操作为基于一个或多个生理参数跟踪所确定的对象区域。这种跟踪可以在帧序列上执行。
[0060]在实施例中,IPPG计算块206可以配置为基于帧序列的每一帧中的视频数据的信号分离确定多个通道分量。基于信号分离,IPPG计算块206可以确定在帧序列的每一帧中的多个通道分量,诸如红色(R)分量、绿色(G)分量和蓝色⑶分量。在实施例中,IPPG计算块206可以操作为基于一个或多个标准,诸如最大化的信号熵、最小化的信号互信息或特征矩阵联合近似对角化(JADE)方法,估计信号分离算法中的混合矩阵。IPPG计算块206可以利用混合矩阵来确定与多个通道分量相关联的多个谱分量。在实施例中,IPPG计算块206可以基于多个通道分量的傅里叶分析确定多个谱分量。
[0061]在实施例中,IPPG计算块206可以操作为确定对应于多个谱分量的第一峰和第二峰。处理器202可以确定第一峰和第二峰,使得第一峰和第二峰的幅度超过第一阈值。在实施例中,第一阈值可以被处理器202自动地基于人类对象112的正常皮肤反射率变化和正常脉搏率的值来确定。
[0062]在实施例中,IPPG计算块206可以操作为确定对应于多个谱分量中的每个谱分量的第一峰和第二峰之间的峰间距。在这种实施例中,处理器202可以操作为选择多个谱分量中的一个,使得所确定的峰间距在预定的范围之内。在实施例中,预定的范围可以对应于正常的人类心率范围。正常的人心率范围可能在每分钟40周期和每分钟120周期之间。多个谱分量中的这种选定的一个谱分量可以包括原始的源信号。多个谱分量中的其它谱分量可以包括噪声信号。
[0063]在实施例中,IPPG计算块206可以操作为当峰间距在预定的范围之内时选择第一峰和第二峰中的一个。在实施例中,IPPG计算块206可以操作为当第一峰和第二峰在预定的范围之内时,基于之前确定的人类对象112的心率从第一峰和第二峰中选择一个峰。在实施例中,处理器202可以操作为基于选定的峰确定人类对象112的心率。
[0064]在实施例中,IPPG计算块206可以确定峰间距不在预定的范围之内。在实施例中,IPPG计算块206可以确定来自第一峰和第二峰中的至少一个峰在预定的范围之内。在其中第一峰在预定的范围之内的情况下,IPPG计算块206可以确定第一峰的幅度,使得该幅度超过第二阈值。处理器202可以丢弃第二峰并且基于第一峰确定人类对象112的心率。
[0065]在实施例中,当峰间距不在预定的范围之内时,IPPG计算块206可以确定第二峰在预定的范围之内。IPPG计算块206可以确定第二峰的幅度,使得该幅度超过第二阈值。处理器202可以丢弃第一峰并且基于第二峰确定人类对象112的心率。在实施例中,处理器202可以通过通知服务器108将确定的心率发送到人类对象112和/或与人类对象112相关联的临床操作员。
[0066]在实施例中,IPPG计算块206可以确定峰间距不在预定的范围之内。IPPG计算块206还可以确定第一峰或第二峰都不在预定的范围之内。在这种实施例中,处理器202可以通过通知服务器108向人类对象112和/或与人类对象112相关联的临床操作员发送错误消息。
[0067]在实施例中,处理器202可以操作为在第一时间段(诸如8秒)提供对应于人类对象112的确定的心率的初始读数。该初始读数可以被处理器202在第二时间段(诸如8秒)中的每一秒之后迭代地更新。处理器202可以操作为在从第二时间段直到第三时间段(诸如12秒)提供所确定的心率的实际稳定的读数。
[0068]参考本公开内容的另一个示例性方面,可以包括帧序列的人类对象112的视频数据可以被感测设备212接收到。在实施例中,帧序列中的一帧或多帧可以包括一个或多个物体。在实施例中,该一个或多个物体可以包括在运动中的一个或多个人类对象(诸如人类对象112)、一个或多个静止的物体(诸如灯)、以及一个或多个非静止的物体(诸如可能由于风或空气气流而移动的窗帘)。感测设备212可以操作为将接收到的视频数据发送到处理器202。处理器202可以将与电子信号相关联的一个或多个环境条件的值,诸如亮度,与预定的阈值相比较。在实施例中,与一个或多个环境条件相关联的值可能小于预定的阈值。在这种实施例中,处理器202可以将照明不佳的视频数据转换成增强的电子信号。
[0069]处理器202可以从包括一个或多个物体的增强的帧序列中获取关键帧。在实施例中,处理器202可以确定与关键帧中的一个或多个物体相关联的多个轮廓点。多个轮廓点可以基于与多个轮廓点中的每个轮廓点相关联的曲率值来确定,使得曲率大于曲率阈值。在实施例中,VDP设备102可以基于第一组轮廓点的循环运动确定来自帧序列中的一个或多个物体的第一组物体。第一组轮廓点可以包括多个轮廓点中的一个或多个轮廓点。
[0070]处理器202还可以基于第二组轮廓点的非循环运动确定来自帧序列中的一个或多个物体的第二组物体。第二组轮廓点可以包括多个轮廓点中的一个或多个轮廓点。在实施例中,处理器202可以操作为过滤接收到的一个或多个物体,以去除所确定的具有非循环运动的第二组物体。
[0071]在实施例中,处理器202可以分析第一组轮廓点以及与一个或多个非静止物体相关联的第二组轮廓点相对于参考点的位移。第一组轮廓点和第二组轮廓点的位移的分析可以对应于包括所获取的关键帧的增强的关键帧序列。在实施例中,处理器202可以分析与人类对象112相关联的第一组轮廓点和与一个或多个非静止物体相关联的第二组轮廓点相对于彼此的位移。
[0072]在实施例中,分析可以基于运动分布图,诸如第一组轮廓点和第二组轮廓点的静止分布图、循环运动和/或非循环运动。在实施例中,处理器202可以从增强的帧序列中的一个或多个物体中确定包括人类对象112的第一组物体。人类对象112的确定可以基于第一组轮廓点的循环运动。在实施例中,第一组轮廓点的循环运动可以与相对于参考轮廓点的非零量值位移的周期性重现相关联。这种位移可以在预定义的一组相反的方向中发生,诸如在向上-向下的方向,或向后-向前的方向中发生。
[0073]在实施例中,处理器202可以基于第二组轮廓点的非循环运动确定包括一个或多个非静止物体的第二组物体。在实施例中,第二组轮廓点的非循环运动可以与相对于参考轮廓点的非零量值位移的非周期性重现相关联。这种位移可以在随机的方向中发生,诸如向左的方向或向右的方向。在实施例中,第二组轮廓点的非循环运动可以与相对于参考轮廓点的零量值的位移相关联。
[0074]在实施例中,处理器202可以过滤与关键帧中的一个或多个静止物体相关联的第二组轮廓点。在实施例中,处理器202可以执行第一组物体的循环运动分布图的谱分析,以便为诸如人类对象112的第一组物体估计频谱。处理器202可以分析第一组轮廓点的移动,并且为增强的帧序列产生偏差图。偏差图可以表示在第一组轮廓点和第二组轮廓点中的一个或多个轮廓点相对于参考值的位移的量值。基于偏差图,处理器202还可以产生频谱图,其可以对应于第一组轮廓点的循环运动。频谱图可以包括对应于第一轮廓点和第二轮廓点相对于参考值的位移的一个或多个峰值。
[0075]在实施例中,处理器202可以从所确定的一个或多个峰值中选择峰值。可以选择峰值,使得选定的峰值的幅度超过预先指定的阈值。在实施例中,处理器202可以从确定的一个或多个峰值中选择一个峰值,使得选定的峰值的幅度为最大。在实施例中,处理器202可以基于选定的一组峰值计算平均幅度值。基于计算出的平均幅度值或最大幅度值,处理器202可以操作为确定人类对象112的呼吸率。处理器202可以操作为显示在增强的帧序列的一部分中确定的人类对象112的呼吸率。
[0076]在实施例中,处理器202可以操作为在第一时间段(诸如30秒)提供对应于人类对象112的确定的呼吸率的初始读数。该初始读数可以被处理器202在第二时间段(诸如30秒)中的每一秒之后迭代地更新。在实施例中,处理器202可以操作为从第二时间段直到第三时间段(诸如12秒)基于增强的帧序列的使用来计算所确定的呼吸率的实际稳定的读数。在实施例中,处理器202可以操作为从第三时间段到固定的第四时间段(诸如60秒)基于增强的帧序列的使用来计算所确定的呼吸率的实际稳定的读数。
[0077]图3根据本公开内容的实施例说明用于实现所公开的视频数据处理设备和方法的第一示例性情景300。图3结合图1和图2中的元素进行说明。参考图3,其中示出了与IPPG计算块206结合的处理器202的多个处理块的第一布置。处理器202的多个处理块可以包括关键帧获取块202a、面部/皮肤检测块202b、图分割块202d、感兴趣区域(ROI)计算块202e和对象区域跟踪块202f。
[0078]参考图3,关键帧获取块202a可以从视频捕获设备104接收帧序列。帧序列可以对应于由视频捕获设备104捕获的视频数据。关键帧获取块202a可以从帧序列中获取关键帧,使得该关键帧包括对象,诸如人类对象112,的图像。在实施例中,人类对象112可以是静止的。在实施例中,人类对象112可以是非静止的。
[0079]基于获得的关键帧,面部/皮肤检测块202b可以基于从远程服务器106接收到的简档数据检测人类对象112。在实施例中,面部/皮肤检测块202b可以执行存储在存储器204中的面部检测算法,以识别人类对象112。在实施例中,面部可以不由视频捕获设备104捕获,诸如当人类对象的面部被绷带覆盖时。在这种实施例中,面部/皮肤检测块202b可以检测人类对象112的对象区域,诸如皮肤。基于一个或多个生理参数,诸如皮肤纹理和/或皮肤模式,面部/皮肤检测块202b可以将识别标签与检测到的对象区域相关联。
[0080]基于检测到的面部或对象区域,图分割块202d可以分割所获得的包括检测到的人类对象112的关键帧,以确定多个图像片段。基于该多个图像片段,R0I计算块202e可以选择至少一个片段,使得选定的R0I被对象区域跟踪块202f基于一个或多个生理参数跟足示ο
[0081]IPPG计算块206可以配置为从对象区域跟踪块202f接收选定的ROI。IPPG计算块206可以操作为确定峰,诸如第一峰和/或第二峰,以及与确定的峰相关联的峰间距,如在图2中所说明的。在实施例中,处理器202的多个处理块中的一个处理块(未示出)可以操作为选择其中一个确定的峰并且
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1