用于视频数据处理的方法和系统的制作方法_5

文档序号:9633934阅读:来源:国知局
02h可以结合在NIR或SWIR波段中的主动照明源使用成像强化技术。在这种实施例中,低光传感器212b可以在将照明不佳的视频数据转换成增强的电子信号时帮助主动照明器块202ho这种增强的电子信号可以被发送到关键帧获取块202a。
[0109]关键帧获取块202a可以从增强的帧序列510中获取关键帧512。增强的帧序列510可以包括一个或多个物体。参考图5,该一个或多个物体可以包括人类对象112、静止物体504 (诸如墙壁灯)和非静止物体506 (诸如植物)。关键帧获取块202a可以将获得的关键帧512发送到轮廓和几何分析器块202i。轮廓和几何分析器块202i可以确定与关键帧512中的一个或多个物体相关联的多个轮廓点。
[0110]轮廓点绘制块202j可以选择与人类对象112相关联的第一组轮廓点112a。轮廓点绘制块202 j还可以选择与静止物体504相关联的第二组轮廓点504a、与非静止物体506相关联的备选的第二组轮廓点506a。第一组轮廓点112a和这两个第二组轮廓点504a和506a的选择可以基于大于曲率阈值的曲率值。静止点过滤块202k可以从关键帧512中过滤与静止物体504相关联的第二组轮廓点504a。
[0111]运动和谐波分析器块2021可以分析第一组轮廓点112a和第二组轮廓点504a相对于参考点的位移。第一组轮廓点112a和第二组轮廓点504a的位移的分析可以基于增强的帧序列510,其包括关键帧512。在实施例中,运动和谐波分析器块2021可以分析第一组轮廓点112a和第二组轮廓点504a相对于彼此的位移。
[0112]在实施例中,分析可以基于第一组轮廓点112a和第二组轮廓点504a的运动分布图。运动分布图的例子可以包括,但不限于,静止分布图、循环运动和/或非循环运动。在实施例中,运动和谐波分析器块2021可以从增强的帧序列510中的一个或多个物体中确定第一组物体,诸如人类对象112。第一组物体的确定可以基于第一组轮廓点112a的循环运动。在实施例中,第一组轮廓点112a的循环运动可以与相对于参考轮廓点的非零量值位移的周期性重现相关联。这种位移可以在预先定义的一组相反的方向发生,诸如在向上-向下的方向,或者向后-向前的方向发生。
[0113]在实施例中,运动和谐波分析器块2021可以基于第二组轮廓点504a的非循环运动确定第二组物体,诸如静止物体504 (诸如墙壁灯)。在实施例中,第二组轮廓点504a的非循环运动可以与相对于参考轮廓点的零量值的位移相关联。
[0114]在实施例中,运动和谐波分析器块2021可以基于其它第二组轮廓点506a的非循环运动确定另一个第二组物体,诸如非静止物体506 (植物)。在实施例中,其它第二组轮廓点506a的非循环运动可以与相对于参考轮廓点的非零量值位移的非周期性重现相关联。这种移位可以在随机的方向中发生,诸如在向左的方向或向右的方向中发生。
[0115]在实施例中,谱运动分析器块202m可以执行在增强的帧序列510中的第一组物体,诸如人类对象112,的循环运动分布图的谱分析。谱分析可以在一个或多个物体的运动分布图上执行,以便为第一组物体,诸如人类对象112,估计频谱。参考图6,频谱运动分析器块202m可以分析第一组轮廓点,诸如502和504的移动并且为增强的帧序列510产生偏差图602。偏差图602可以表不第一组轮廓点112a中的一个或多个轮廓点,诸如第一轮廓点514和第二轮廓点516,相对于参考值的位移的量值。偏差图602的χ-轴可以表示参数“时间”,并且偏差图602的y-轴可以表示另一个参数“偏差”。
[0116]基于偏差图,谱运动分析器块202m还可以产生频谱图604,其对应于第一组轮廓点112a的循环运动。频谱图604的χ-轴可以表示参数“频率”,并且频谱图604的y-轴可以表示另一个参数“幅度”。频谱图604可以包括对应于第一轮廓点514和第二轮廓点516相对于参考值的位移的一个或多个峰值。在实施例中,谱运动分析器块202m可以从所确定的一个或多个峰值中选择一组峰值。可以选择该组峰值,使得选定的这组峰值中的每一个的幅度超过预先指定的阈值,例如值20的幅度。在这种实施例中,谱运动分析器块202m可以基于选定的这组峰值计算平均幅度值。在实施例中,频谱运动分析器块202m可以从所确定的一个或多个峰值中选择一个峰值,诸如峰606的峰值,使得选定的峰606的幅度为最大。
[0117]基于计算出的平均幅度值或最大幅度值,处理器202可以操作为确定第一组物体,诸如人类对象112的呼吸率。处理器202可以操作为在增强的帧序列510的第一部分518中显示所确定的人类对象112的呼吸率。参考图6,其中示出了,第一部分518示出了值“15”作为所确定的人类对象112的呼吸率。在其中所确定的呼吸率比推荐值,诸如“12”,更小或更大的情况下,VDP设备102可以操作为将所确定的呼吸率发送到通知服务器108。通知服务器108可以将通知消息发送到人类对象112和与人类对象112相关联的医疗医生。
[0118]图7是根据本公开内容的实施例说明用于视频数据处理的方法700的流程图。图7结合图1、图2、图3和图4的元素进行描述。方法700可以在VDP设备102中实现,其中VDP设备102可以通信地耦合到远程服务器106和视频捕获设备104。
[0119]方法700在步骤702开始并且前进到步骤704。在步骤704,可以从帧序列中获取关键帧。帧序列可以对应于接收到的人类对象的视频数据。帧序列中的每一帧可以与多个通道相关联。多个通道中的每个通道可以与多个谱分量相关联。在步骤706,可以检测到在步骤704中获得的关键帧中的人类对象112。在步骤708,选定的关键帧可以被分割以确定多个片段。在步骤710,可以从分割的关键帧中的多个片段中确定检测到的人类对象112的对象区域。所确定的对象区域可以包括人类对象的皮肤区域。
[0120]在步骤712,对象区域可以利用识别标签与人类对象相关联。在步骤714,所确定的对象区域可以基于一个或多个生理参数进行跟踪。多个谱分量可以对应于跟踪的对象区域。在步骤716,可以从对应于多个谱分量的多个峰中确定第一峰和第二峰。所确定的第一峰和第二峰的幅度可以超过第一阈值。在步骤718,所确定的第一峰和所确定的第二峰之间的峰间距可以被确定。
[0121]在步骤720,可以确定峰间距是否在预定的范围之内。在其中峰间距处于预定的范围之内的情况下,控制传递到步骤722。在步骤722,基于之前确定的人类对象的心率,可以选择所确定的第一峰和所确定的第二峰中的一个,使得与第一峰和第二峰相关联的参数在预定的范围之内。在步骤724,人类对象的心率可以基于所确定的第一峰和所确定的第二峰中的选定的峰来确定。控制传递到结束步骤726。
[0122]在其中峰间距不在预定的范围之内的情况下,控制传递到步骤728。在步骤728,可以确定是否第一峰和第二峰中的至少一个峰在预定的范围之内。在其中第一峰和第二峰都不在预定的范围之内的情况下,控制传递到结束步骤726。在其中第一峰和第二峰中的至少一个在预定的范围之内的情况下,控制传递到步骤730。在步骤730,可以确定第一峰是否在预定的范围之内。
[0123]在其中第一峰在预定的范围之内的情况下,控制传递到步骤732。在步骤732,可以确定所确定的第一峰的幅度是否超过第二阈值。在其中第一峰不超过第二阈值的情况下,控制传递到结束步骤726。在其中第一峰超过第二阈值的情况下,控制传递到步骤734。在步骤734,第二峰可以被丢弃。在步骤736,人类对象的心率可以基于所确定的第一峰来确定。控制传递到结束步骤726。
[0124]在其中第二峰在预定的范围之内的情况下,控制传递到步骤738。在步骤738,可以确定所确定的第二峰的幅度是否超过第二阈值。在其中第二峰不超过第二阈值的情况下,控制传递到结束步骤726。在其中第二峰超过第二阈值的情况下,控制传递到步骤740。在步骤740,第一峰可以被丢弃。在步骤742,人类对象的心率可以基于所确定的第二峰来确定。控制传递到结束步骤726。
[0125]图8是根据本公开内容的实施例说明用于视频数据处理的另一种方法800的流程图。图8结合图1、图2、图5和图6的元素进行描述。方法800可以在VDP设备102中实现,其中VDP设备102可以通信地耦合到远程服务器106和视频捕获设备104。
[0126]方法800在步骤802开始并且前进到步骤804。在步骤804,可以接收到包括帧序列的人类对象的视频数据。帧序列中的一帧或多帧可以包括一个或多个物体。在步骤806,包括这一个或多个物体的环境的周围照明可以被确定。在其中周围照明低于预定的阈值的情况下,控制移动到步骤808。在这种情况下,可以提供对这一个或多个物体的主动照明。在其中周围照明大于预定的阈值的情况下,控制移动到步骤810。在步骤810,可以从帧序列中获取关键帧。帧序列可以对应于接收到的视频数据。
[0127]在步骤812,可以确定与帧序列中的一个或多个物体相关联的多个轮廓点。多个轮廓点中的每个轮廓点的曲率可以超过曲率阈值。在步骤814,可以基于第一组轮廓点的循环运动从帧序列中的一个或多个物体中确定第一组物体。第一组轮廓点可以从多个轮廓点中确定。在步骤816,可以基于第二组轮廓点的非循环运动从一个或多个物体中确定第二组物体。第二组轮廓点可以从多个轮廓点中确定。
[0128]在步骤818,可以从接收到的一个或多个物体中过滤第二组物体。在步骤820,可以确定是否有更多的关键帧可用。在其中有更多的关键帧可用的情况下,控制传递回到步骤810。在其中没有更多的关键帧可用的情况下,控制传递到步骤822。
[0129]在步骤822,可以确定第一组轮廓点的循环运动的频谱中的一个或多个峰值。所确定的一个或多个峰值中的一个峰值的幅度可以高于预先指定的阈值。可以执行第一组轮廓点的循环运动的谱分析。在步骤824,可以基于所确定的一个或多个峰值中的一个峰值确定人类对象的呼吸率。控制传递到结束步骤826。
[0130]根据本公开内容的实施例,视频数据处理系统可以包括通信地耦合到视频捕获设备104的VDP设备102 (图1)。VDP设备102可以包括一个或多个处理器,诸如处理器202(图2),其可操作为接收人类对象的视频数据。视频数据的帧序列中的每一帧可以与多个谱分量相关联。处理器202可以操作为从对应于多个谱分量的多个峰中确定第一峰和第二峰。所确定的第一峰和第二峰的幅度可以超过第一阈值。处理器202可以操作为确定所确定的第一峰和所确定的第二峰之间的峰间距。所确定的峰间距可以在预定的范围之内。基于所确定的峰间距,处理器202可以操作为确定人类对象的心率。
[0131]本公开内容的另一个示例性方面可以包括视频数据处理系统。该视频数据处理系统可以包括通信地耦合到视频捕获设备104的电子设备,诸如VDP设备102(图1)。VDP设备102可以包括一个或多个处理器,诸如处理器202 (图2),其可操作为接收人类对象的视频数据。接收到的视频数据的帧序列中的一帧或多帧可以包括一个或多个物体。处理器202还可以确定与帧序列中的一个或多个物体相关联的多个轮廓点,使得与多个轮廓点中的每个轮廓点相关联的曲率超过曲率阈值。处理器202还可以基于多个轮廓点中的第一组轮廓点的循环运动从帧序列中的一个或多个物体中确定第一组物体。处理器202还可以在所确定的第一组轮廓点的循环运动的频谱中确定一个或多个峰值。所确定的一个或多个峰值中的一个峰值的幅度可以高于预先指定的阈值。基于所确定的一个或多个峰值中的一个峰值,处理器202可以确定人类对象的呼吸率。
[0132]本公开内容的各种实施例可以提供非临时性计算机可读介质和/或存储介质,和/或非临时性机器可读介质和/或存储介质,其上具有存储的机器代码和/或计算机程序,机器代码和/或计算机程序具有可被用于视频数据处理的机器和/或计算机执行的至少一个代码段。在电子设备中的该至少一个代码段可以使得机器和/或计算机执行在视频数据处理设备中包括接收人类对象的视频数据的步骤。接收到的视频数据的帧序列中的每一帧可以与多个谱分量相关联。可以从对应于多个谱分量的多个峰中确定第一峰和第二峰。所确定的第一峰和第二峰的幅度可以超过第一阈值。
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1