用于视频数据处理的方法和系统的制作方法_2

文档序号:9633934阅读:来源:国知局
象112。VDP设备102可以将包含检测到的人类对象112的关键帧分割,以确定多个图像片段。基于该多个图像片段,检测到的人类对象112的对象区域可以被确定。在实施例中,确定的对象区域可以包括人类对象112的暴露的皮肤区域。VDP设备102,与远程服务器106相结合,可以操作为将识别标签关联到与人类对象112相关联的对象区域。VDP设备102还可以操作为基于一个或多个生理参数跟踪所确定的对象区域。在实施例中,所确定的对象区域可以基于一个或多个计算机视觉算法来跟踪,算法诸如连续自适应均值漂移(continuously adaptive mean shift,CAMShift)或Kanade-Lucas-Tomasi(KLT) 0
[0034]在实施例中,VDP设备102可以操作为基于帧序列的每一帧中的视频数据的信号分离确定多个通道分量。在实施例中,VDP设备102可以操作为基于多个通道分量的傅里叶分析确定多个谱分量。在实施例中,VDP设备102可以操作为基于在多个通道上执行的信号分离算法,诸如独立分量分析(ICA)算法,确定多个谱分量。
[0035]在实施例中,VDP设备102可以操作为确定对应于多个频谱分量的第一峰和第二峰。在实施例中,VDP设备102可以操作为确定第一峰和第二峰,使得第一峰和第二峰的幅度超过第一阈值。在实施例中,VDP设备102可以操作为确定第一峰和第二峰之间的峰间距,使得峰间距在预定的范围之内。在实施例中,VDP设备102可以操作为基于与第二峰和第一峰相关联的参数之间的差确定峰间距。在实施例中,参数可以对应于单位,诸如“每分钟的跳动”,其对应于多个谱分量的中的一个谱分量的X-轴。
[0036]在实施例中,VDP设备102可以操作为当峰间距在预定的范围之内时,选择第一峰和第二峰中的一个峰。在这种实施例中,VDP设备102可以操作为当第一峰和第二峰在预定的范围之内时,基于之前确定的人类对象112的心率从第一峰和第二峰中选择一个峰。在实施例中,VDP设备102可以操作为基于选定的第一或第二峰确定人类对象112的心率。
[0037]在实施例中,VDP设备102可以确定峰间距不在预定的范围之内。在实施例中,VDP设备102可以确定第一峰和第二峰中的至少一个峰在预定的范围之内。在其中第一峰在预定的范围之内的情况下,VDP设备102可以确定第一峰的幅度,使得该幅度超过第二阈值。VDP设备102可以丢弃第二峰并基于第一峰确定人类对象112的心率。
[0038]在实施例中,当峰间距不在预定的范围之内时,VDP设备102可以确定第二峰在预定的范围之内。VDP设备102可以确定第二峰的幅度,使得该幅度超过第二阈值。VDP设备102可以丢弃第一峰并基于第二峰确定人类对象112的心率。在实施例中,VDP设备102可以经通知服务器108将确定的心率发送到人类对象112和/或与人类对象112相关联的临床操作员。
[0039]在实施例中,VDP设备102可以确定峰间距不在预定的范围之内。VDP设备102还可以确定第一峰和第二峰都不在预定的范围之内。在这种实施例中,VDP设备102可以经通知服务器108向人类对象112和/或与人类对象112相关联的临床操作员发送错误消息。
[0040]在实施例中,VDP设备102可以操作为从接收到的可包括帧序列的人类对象112的视频数据中确定一个或多个物体。一个或多个物体的例子可以包括,但不限于,在运动中的一个或多个人类对象(诸如人类对象112)、非静止的植物和/或静止的墙饰物。该一个或多个物体中的每个物体可以具有相关联的运动分布图,诸如静止运动分布图或非静止运动分布图。在实施例中,静止运动分布图可以对应于零运动。在实施例中,非静止运动分布图可以对应于循环运动。在另一种实施例中,非静止运动分布图可以对应于非循环运动。
[0041]在实施例中,VDP设备102可以操作为确定包括一个或多个物体的环境(诸如房间)的照明水平。在实施例中,当VDP设备102确定环境的周围照明低于预定的阈值时,可以提供一个或多个物体的照明。
[0042]在实施例中,VDP设备102可以确定与帧序列的每个帧中的一个或多个物体相关联的多个轮廓点。多个轮廓点可以基于与多个轮廓点中的每个轮廓点相关联的曲率值来确定,使得曲率大于曲率阈值。在实施例中,VDP设备102可以基于第一组轮廓点的循环运动确定来自帧序列中的一个或多个物体的第一组物体。第一组轮廓点可以包括多个轮廓点中的一个或多个轮廓点。
[0043]在实施例中,VDP设备102可以操作为在第一组轮廓点的循环运动的频谱中确定一个或多个峰值。频谱可以由VDP设备102基于第一组轮廓点的循环运动的谱运动分析来确定。在实施例中,VDP设备102可以操作为从所确定的一个或多个峰值中选择峰值。在实施例中,可以选择峰值,使得选定的峰值的幅度超过预先指定的阈值。在实施例中,选定的峰值可以相对于其它峰具有最大的幅度。在实施例中,VDP设备102可以操作为基于选定的峰值确定人类对象112的呼吸率。在实施例中,VDP设备102可以经通知服务器108将确定的呼吸率发送到人类对象112和/或与人类对象112相关联的临床操作员。
[0044]在实施例中,VDP设备102可以基于第二组轮廓点的非循环运动确定来自帧序列中的一个或多个物体的第二组物体。第二组轮廓点可以包括多个轮廓点中的一个或多个轮廓点。在实施例中,VDP设备102可以操作为过滤接收到的一个或多个物体,以去除所确定的具有非循环运动的第二组物体。
[0045]在实施例中,第一组轮廓点的循环运动可以与相对于参考轮廓点的非零量值位移的周期性重现相关联。这种位移可以在预定义的一组相反的方向中发生。在实施例中,第二组轮廓点的非循环运动可以与相对于参考轮廓点的非零量值位移的周期性重现相关联。这种位移可以在随机的方向中发生。在实施例中,第二组轮廓点的非循环运动与相对于参考轮廓点的零量值的位移相关联。
[0046]图2是根据本公开内容的实施例说明示例性视频数据处理设备(VDP)的框图。图2结合图1的元素进行说明。参考图2,其中示出了 VDP设备102。VDP设备102可以包括诸如处理器202的一个或多个处理器、存储器204、图像光电容积脉搏波(IPPG)计算块206、收发器208、诸如I/O设备210的一个或多个输入/输出(I/O)设备、及感测设备212。处理器202可以经收发器208通信地耦合到远程服务器106和通知服务器108。
[0047]处理器202可以包括可操作为执行存储在存储器204中的一组指令的适当的逻辑、电路系统、接口和/或代码。处理器202可以通信地耦合到存储器204、收发器208和I/O设备210。处理器202可以操作为处理从视频捕获设备104接收到的视频数据。视频数据可以基于一个或多个计算机视觉技术(诸如帧获取、面部/皮肤检测、分割、感兴趣区域(R0I)计算和/或对象区域跟踪操作)被处理器202处理。这一个或多个计算机视觉技术可以基于存储在存储器204中的一个或多个计算机视觉算法来实现。处理器202可以基于本领域已知的多种处理器技术来实现。处理器202的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或任何其它处理器。
[0048]存储器204可以包括可操作为存储可被处理器202执行的指令集的适当的逻辑、电路系统、接口和/或代码。存储器204还可以包括可以被IPPG计算块206执行以执行把一组源信号从对应于接收到的视频数据的一组混合信号中分离的盲源分离(BSS)算法。BSS算法的各种方法可以包括,但不限于,主分量分析方法、奇异值分解方法、独立分量分析方法、非负矩阵分解方法、低复杂度编码和解码方法、固定子空间分析方法和/或公共空间模式方法。存储器204还可以包括可基于由处理器202接收到的视频数据被处理器202执行以产生数字或符号信息的一个或多个计算机视觉算法。存储器204可以基于,但不限于,随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、存储服务器和/或安全数字(SD)卡来实现。
[0049]IPPG计算块206可以包括可操作为基于从视频捕获设备104接收到的视频数据确定人类对象112的心率和呼吸率的适当的逻辑、电路系统、接口和/或代码。在实施例中,IPPG计算块206可以操作为执行存储在存储器204中的BSS算法和一个或多个计算机视觉算法,并且确定人类对象112的心率和呼吸率。
[0050]收发器208可以包括可操作为经各种通信接口与视频捕获设备104、远程服务器106和/或电视广播站(未示出)通信的适当的逻辑、电路系统、接口和/或代码。收发器208可以实现公知的技术,以支持与通信网络110的有线或无线通信。收发器208可以包括,但不限于,天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、用户身份模块(S頂)卡和/或本地缓冲区。收发器208可以经无线通信与诸如因特网、内联网的网络和/或诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)的无线网络通信。无线通信可以使用任何多种的通信标准、协议和技术,诸如全球移动通信系统(GSM),增强数据GSM环境(EDGE),宽带码分多址(W-CDMA),码分多址(CDMA),时分多址(TDMA),蓝牙,无线保真(W1-Fi)(例如IEEE 802.11a、IEEE802.llb、IEEE 802.llg 和 / 或 IEEE 802.lln),因特网协议上的语音(VoIP),Wi_MAX,用于电子邮件、即时消息传送和/或短消息服务(SMS)的协议。
[0051]I/O设备210可以包括可操作为接收输入或向人类对象112提供输出的适当的逻辑、电路系统、接口和/或代码。I/O设备210可以包括可操作为与处理器202通信的各种输入和输出设备。输入设备的例子可以包括,但不限于,键盘、鼠标、操纵杆、触摸屏、麦克风、照相机、和/或插接基座。输出设备的例子可以包括,但不限于,显示屏和/或扬声器。
[0052]感测设备212可以包括可操作为包括一个或多个传感器的适当的逻辑、电路系统和/或接口,其中该一个或多个传感器配置为检测一种或多种环境条件。该一种或多种条件,例如,周围的光、周围的噪音和/或运动检测,可以相对于VDP设备102被检测。
[0053]在操作中,收发器208可以操作为经通信网络110从视频捕获设备104接收人类对象112的实时视频数据。收发器208可以操作为将接收到的视频数据发送给处理器202。在实施例中,接收到的视频数据可以包括帧序列。帧序列的每一帧可以包括彩色的数字图像。彩色数字图像可以包括多个像素。这些多个像素可以对应于多个原色(诸如红色、绿色和/或蓝色)的一种或多种组合。在实施例中,彩色的数字图像可以包括三个通道,诸如红色(R)通道、绿色(G)通道和蓝色(B)通道。在实施例中,彩色的数字图像可以具有四个通道,诸如青色(C)通道、品红色(M)通道、黄色⑴通道和黑色⑶通道。尽管如此,但是本公开内容可以不限于此,并且在不限制本公开内容的范围的情况下,彩色的数字图像可以具有无限的通道及相关联的颜色。
[0054]在实施例中,处理器202可以实现并行处理技术,以处理接收到的视频数据。这种并行处理技术可以包括像素级并行、指令级并行和任务级并行中的一种或多种。接收到的视频数据的并行处理可使得处理时间减少并且最佳地使用诸如存储器204的一个或多个资源。接收到的视频数据的这种流水线处理可以向人类对象112提供增强的观看体验、比色精度、高度的灵活性、低成本、低CPU利用率、降低的带宽使用和/或减少的输入图像的文件大小。可以实现流水线处理的多个视频数据处理块的例子可以包括,但不限于,面部检测块、图分割块、皮肤感兴趣区域(R0I)计算块、皮肤跟踪块、信号混合块、源分离块、非线性优化块、联合对角化块、光条件分析器块、轮廓和几何分析器块和/或运动和谐波分析器块。
[0055]在实施例中,处理器202可以操作为从视频捕获设备104接收人类对象112的实时视频数据的帧序列。在实施例中,处理器202可以操作为从帧序列中获取关键帧。这种关键帧可以包括人类对象112。在实施例中,处理器2
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1