庭审证人画面及视频运动画面保护方法、装置和系统与流程

本发明涉及视频技术领域，尤其涉及一种庭审证人画面保护方法、装置和系统，一种视频运动画面保护方法及装置。

背景技术：

数字法庭庭审过程中，需要把庭审视频进行实时直播，录制备份。在实际的庭审过程中，会遇到证人不希望自己作证的画面被曝光的情况，因此需要对证人画面进行保护。现有技术中提供一种数字庭审证人采集与保护系统，来实现对证人画面的保护。

证人采集与保护系统由证人室视频采集与视频显示系统，法庭庭审主机，法庭视频显示设备组成。证人室一般由一个单独房间组成，与法庭是隔离的。证人室视频采集与视频显示系统由证人视频采集摄像头和视频显示设备(电视/显示器)组成；法庭庭审主机完成法庭法官，原被告以及证人画面的采集；法庭视频显示设备(电视/显示器)对法庭庭审主机采集画面(包含：法庭内画面以及证人画面)进行播放显示。

证人采集与保护系统采用如下步骤完成对证人画面的保护：

1、证人进入证人室，证人室视频采集摄像头采集证人画面；

2、证人室视频采集摄像头将证人画面传给法庭庭审主机，法庭庭审主机将证人画面加上马赛克；

3、法庭庭审主机将加上马赛克的证人画面传给证人室的视频显示设备(电视/显示器)；

4、证人通过证人室的视频显示设备显示的马赛克画面，确认自己不被曝光；

5、证人确认自己不被曝光之后，通知法庭庭审主机，开始庭审；

6、庭审开始后，证人加了马赛克的画面显示在法庭的视频显示设备上，法庭内的人员无法看清楚证人的身体特征；

7、庭审结束，将证人画面移走，证人画面将不再显示在法庭的视频显示设备上。

现有技术中的证人采集与保护系统目前存在以下缺点：

1、证人在作证时，马赛克覆盖的区域是固定的，当证人的身体移动出马赛克的区域时，马赛克就无法遮挡证人的身体，导致证人的体貌特征被曝光；

2、庭审视频是通过网络对外实时直播的，对实时性要求很高，在证人画面采集和编码之间需要额外的图像处理，对证人画面打上马赛克，这样耗费法庭庭审主机很多性能，会导致视频直播产生很大的延时，增加了法庭庭审主机的系统负担。

技术实现要素：

本发明实施例提供一种庭审证人画面保护方法，用以实现运动中证人画面动态保护，减少法庭庭审主机的系统负担，保证庭审直播流实时快速的直播到网络上，该方法包括：

将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，执行如下编码处理过程：

计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域；将当前帧中证人矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出；

将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复上述编码处理过程。

本发明实施例还提供一种庭审证人画面保护装置，用以实现运动中证人画面动态保护，减少法庭庭审主机的系统负担，保证庭审直播流实时快速的直播到网络上，该装置包括：

参考帧及当前帧确定模块，用于将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，触发编码处理模块执行编码处理过程；

编码处理模块，用于按如下方式执行编码处理过程：计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域；将当前帧中证人矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出；

所述参考帧及当前帧确定模块进一步用于将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复触发编码处理模块执行编码处理过程。

本发明实施例还提供一种庭审证人画面保护系统，用以实现运动中证人画面动态保护，减少法庭庭审主机的系统负担，保证庭审直播流实时快速的直播到网络上，该系统包括：

证人室视频采集设备，设于证人室，用于采集证人室视频并传送给法庭庭审主机；

法庭庭审主机，设于法庭，包括上述的庭审证人画面保护装置。

本发明实施例还提供一种视频运动画面保护方法，用以实现运动中画面动态保护，减少视频处理时的系统负担，保证视频直播流实时快速的直播到网络上，该方法包括：

将视频中前一帧画面作为参考帧，后一帧画面作为当前帧，循环重复如下编码处理过程：

计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中运动的矩形区域；将当前帧中运动的矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出。

本发明实施例还提供一种视频运动画面保护装置，用以实现运动中画面动态保护，减少视频处理时的系统负担，保证视频直播流实时快速的直播到网络上，该装置包括：

参考帧及当前帧确定模块，用于将视频中前一帧画面作为参考帧，后一帧画面作为当前帧，循环重复触发编码处理模块执行编码处理过程；

编码处理模块，用于按如下方式执行编码处理过程：计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中运动的矩形区域；将当前帧中运动的矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出。

在本发明实施例中，将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，执行编码处理过程；将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复编码处理过程；在编码处理过程中，计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域，从而通过运动图像检测来实现证人身体移动检测跟踪；保证证人在庭审作证过程中身体即使移动了，马赛克也会随着证人身体的移动而移动，始终覆盖在证人身体画面上方，保证证人的体貌特征不被曝光，保护证人的隐私以及安全，减少证人的疑虑。

在编码处理过程中，将当前帧中证人矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出；从而通过感兴趣区域的H.264编码来实现马赛克的叠加，无需另外在编码前加一个专门的图像处理模块实现马赛克，可以减轻法庭庭审主机的负担，提高运动图像检测的实时性，保证在庭审视频实时直播过程中有很小的时间延时，有利于庭审直播流实时快速的直播到网络上。

本发明实施例还可以推广至视频运动画面保护，而不限于针对庭审证人画面保护，可以实现运动中画面动态保护，减少视频处理的系统负担，保证视频直播流实时快速的直播到网络上。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中庭审证人画面保护方法的示意图；

图2为本发明实施例中庭审证人画面保护装置的示意图；

图3为本发明实施例中庭审证人画面保护系统的示意图；

图4为本发明实施例中视频运动画面保护方法的示意图；

图5为本发明实施例中视频运动画面保护装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例旨在解决数字法庭庭审系统中的证人保护问题，在证人画面中加入马赛克，即使证人身体发生移动，马赛克也可以及时跟随证人身体移动，保证证人不被曝光。在证人的身体部位画面区域中加入马赛克，可以保护证人的隐私以及安全，减少证人的疑虑。本发明实施例还同时保证在庭审视频实时直播过程中有很小的时间延时。

术语说明：

宏块(Macro Block，MB)：将一帧图像划分为16(像素)×16(像素)大小的矩形区域组成；

亮度绝对差值和(Sum of Absolute Difference，SAD)：两幅图像对应宏块之间的亮度绝对值之差的和，SAD越大，两幅图像对应宏块之间的亮度变化越大；

SAD阈值：当两幅图像对应宏块之间的SAD大于或者等于阈值时，可以判断两幅图像对应宏块产生了运动；

H.264编码量化参数(Quantization Parameter，QP)：取值范围0～51，取值越小，画面越清晰，码流越大；取值越大，画面马赛克越多，码流越小；

感兴趣区域(Region of Interest，ROI)：H.264编码可以指定一个画面中的某一个矩形区域为ROI，将ROI的QP值设置为不同于其他区域的QP值，ROI编码出来的画面经过解码的画面清晰度，明显不同于非ROI编码再经过解码的画面。

本发明实施例中庭审证人画面保护方法主要利用到了视频H.264编码技术和图像运动检测技术。该方法可以在庭审过程中实现证人运动过程保护以及法庭庭审主机性能优化，保证证人在庭审作证过程中身体即使移动了，马赛克也会随着证人身体的移动而移动，始终覆盖在证人身体画面的上方，保证证人的体貌特征不被曝光；同时保证在庭审视频实时直播过程中有很小的时间延时。图1为本发明实施例中庭审证人画面保护方法的示意图，如图1所示，该方法可以包括：

步骤101、将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，执行步骤102～106的编码处理过程：

步骤102、计算参考帧与当前帧对应宏块之间的亮度绝对差值和；

步骤103、根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域；

步骤104、将当前帧中证人矩形区域设置为当前帧中感兴趣区域；

步骤105、将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；

步骤106、对当前帧进行H.264编码后发出；

步骤107、将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复步骤102～106的编码处理过程。

由图1所示流程可以得知，本发明实施例中，采用运动图像检测来实现证人身体移动检测跟踪；采用H.264ROI编码来实现马赛克的叠加，不需要另外在编码前加一个专门的图像处理模块实现马赛克，可以减轻法庭庭审主机的负担，提高运动图像检测的实时性。

其中，图像运动检测的实现原理包括：首先，采集一帧画面为参考画面；第二，采集后续画面；第三，后续画面与参考画面，以MB为单位，计算后续画面与参考画面对应的MB之间的SAD；最后，当后续画面与参考画面对应的MB之间的SAD大于等于阈值时，可以认为后续画面与参考画面对应的MB之间发生了图像运动，反之则没有图像移动。

H.264ROI编码实现马赛克的原理包括：H.264编码有一个很重要的参数QP(量化参数)。在H.264编码中，完成DCT(整数变换)后，需要对DCT变换后的数值进行量化。量化的过程就是将DCT变换后的数值除以一个参数，这个参数就是QP；量化过程是整数除法，QP是整数，DCT变换后的数值也是整数；在H.264解码时，在IDCT(逆整数变换)前，需要进行反量化。反量化的过程就是IDCT变换前的数值乘以QP。由此可知，在量化时，QP值越大，反量化时误差就越大，画面图像质量就越差，马赛克就越多；QP值越小，反量化时误差就越小，画面质量就越清晰。当QP值为1时，反量化时不产生任何误差。在H.264编码时，选定一个ROI，QP值设置为较大值，其他非ROI区域的QP值设置为较小值；在H.264解码播放时，ROI的画面会有较多马赛克，而非ROI的画面会较清晰。

本发明实施例中基于图像运动检测和H.264感兴趣区域编码的庭审证人画面保护方法，例如可以包括：开庭前，证人未进入证人席，采集一帧证人席画面作为图像运动检测参考帧；庭审开始，证人进入证人席，采集到一帧证人席画面；将当前采集到的一帧证人席画面与参考帧进行运动检测操作；运动检测结果得到一个运动矩形区域，即证人矩形区域；将证人矩形区域设置为H.264视频编码ROI；设置H.264ROI QP为最大值51；对画面进行编码；将视频编码数据发送到网络同时存储到硬盘上。

在具体的实施例中，编码处理过程中根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域，可以包括：对亮度绝对差值和大于等于阈值的宏块在当前帧中的位置进行统计分析；根据统计分析结果确定当前帧中运动的矩形区域，将运动的矩形区域确定为证人矩形区域。

在具体的实施例中，编码处理过程中将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，可以包括：将当前帧中感兴趣区域的H.264编码量化参数设置为51。如前所述，在当前帧中感兴趣区域的H.264编码量化参数设置为51时，ROI的画面会有很多马赛克，而非ROI的画面会较清晰。此处QP取值51仅为一例，具体实施时也可以根据取其它比51小的值，为了使ROI与非ROI的解码画面效果差别明显，可以使ROI与非ROI的QP取值之间的差值大于一设定值。

基于同一发明构思，本发明实施例中还提供了一种庭审证人画面保护装置及庭审证人画面保护系统，如下面的实施例所述。由于该装置和系统解决问题的原理与庭审证人画面保护方法相似，因此该装置和系统的实施可以参见庭审证人画面保护方法的实施，重复之处不再赘述。

图2为本发明实施例中庭审证人画面保护装置的示意图，如图2所示，该装置可以包括：

参考帧及当前帧确定模块201，用于将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，触发编码处理模块202执行编码处理过程；

编码处理模块202，用于按如下方式执行编码处理过程：计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域；将当前帧中证人矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出；

所述参考帧及当前帧确定模块201可以进一步用于将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复触发编码处理模块202执行编码处理过程。

一个实施例中，所述编码处理模块202可以进一步用于：对亮度绝对差值和大于等于阈值的宏块在当前帧中的位置进行统计分析；根据统计分析结果确定当前帧中运动的矩形区域，将运动的矩形区域确定为证人矩形区域。

一个实施例中，所述编码处理模块202可以进一步用于：将当前帧中感兴趣区域的H.264编码量化参数设置为51。

图3为本发明实施例中庭审证人画面保护系统的示意图，如图3所示，该系统可以包括：

证人室视频采集设备301，设于证人室，用于采集证人室视频并传送给法庭庭审主机302；

法庭庭审主机302，设于法庭，包括图2所示的庭审证人画面保护装置。

一个实施例中，图3所示的庭审证人画面保护系统还可以包括：

证人室视频显示设备303，设于证人室，用于接收并显示法庭庭审主机302编码发出的视频。

一个实施例中，图3所示的庭审证人画面保护系统还可以包括：

法庭显示设备304，设于法庭，用于接收并显示法庭庭审主机302编码发出的视频。

下面给出一个利用庭审证人画面保护系统进行庭审证人画面保护的具体实例。本例中庭审证人画面保护的具体过程可以包括：

1、开庭前，证人室视频采集设备采集一帧证人室画面作为图像运动检测的参考帧(ref Picture)，并将参考帧画面传给法庭庭审主机；

2、证人进入证人室，证人室视频采集设备采集证人画面，将证人画面传给法庭庭审主机；

3、法庭庭审主机接收到证人画面以后，计算证人画面与参考帧(ref Picture)之间对应位置MB的SAD；

4、法庭庭审主机将两帧画面之间对应MB的SAD与阈值进行比较，如果小于阈值，则当前画面与参考帧之间没有发生运动；如果大于或者等于阈值，则当前画面与参考帧之间发生运动；

5、法庭庭审主机将大于或者等于阈值的MB数量进行统计。如果大于或者等于阈值的MB数量为0，则表示当前画面与参考帧之间没有运动，即当前画面与参考帧画面一样，也就是证人没有进入证人席；如果大于或者等于阈值的MB数量大于0，则表示当前画面与参考帧之间有运动，即当前画面与参考帧画面不一样，也就是证人在画面中；

6、法庭庭审主机将大于或者等于阈值的MB在画面中的位置进行统计分析，得出运动的矩形区域，即证人矩形区域；

7、法庭庭审主机将运动检测得到的证人矩形区域，设为H.264ROI；

8、法庭庭审主机设置H.264ROI的QP为51；

9、法庭庭审主机对当前证人画面进行编码；

10、法庭庭审主机将当前证人画面编码数据发送到网络上以及录制到硬盘上；

11、法庭庭审主机将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复编码处理过程(同步骤3～10)。

由上述实施例可以得知，本发明实施例提出的基于图像运动检测和H.264感兴趣区域编码技术的证人画面保护方案，集合数字庭审过程，实现了运动中证人画面动态保护，以及大大减少了法庭庭审主机的系统负担，保证了庭审直播流实时快速的直播到网络上。

本发明实施例还可以推广至视频运动画面保护，而不限于针对庭审证人画面保护，可以实现运动中画面动态保护，减少视频处理的系统负担，保证视频直播流实时快速的直播到网络上。实施时，对于视频画面中相对发生运动的图像区域，进行马赛克的叠加，以保护该区域的图像，使该区域的图像特征不被曝光，以满足可能的需求。

图4为本发明实施例中视频运动画面保护方法的示意图，如图4所示，该方法可以包括：

步骤401、将视频中前一帧画面作为参考帧，后一帧画面作为当前帧，循环重复步骤402～406的编码处理过程：

步骤402、计算参考帧与当前帧对应宏块之间的亮度绝对差值和；

步骤403、根据亮度绝对差值和大于等于阈值的宏块确定当前帧中运动的矩形区域；

步骤404、将当前帧中运动的矩形区域设置为当前帧中感兴趣区域；

步骤405、将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；

步骤406、对当前帧进行H.264编码后发出。

一个实施例中，所述将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，可以包括：将当前帧中感兴趣区域的H.264编码量化参数设置为51。

图5为本发明实施例中视频运动画面保护装置的示意图，如图5所示，该装置可以包括：

参考帧及当前帧确定模块501，用于将视频中前一帧画面作为参考帧，后一帧画面作为当前帧，循环重复触发编码处理模块502执行编码处理过程；

编码处理模块502，用于按如下方式执行编码处理过程：计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中运动的矩形区域；将当前帧中运动的矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出。

一个实施例中，所述编码处理模块502可以进一步用于：将当前帧中感兴趣区域的H.264编码量化参数设置为51。

综上所述，在本发明实施例中，将证人进入证人室前的证人室画面作为参考帧，将证人进入证人室后的证人室画面作为当前帧，执行编码处理过程；将当前帧作为参考帧，将当前帧的下一帧作为当前帧，循环重复编码处理过程；在编码处理过程中，计算参考帧与当前帧对应宏块之间的亮度绝对差值和；根据亮度绝对差值和大于等于阈值的宏块确定当前帧中证人矩形区域，从而通过运动图像检测来实现证人身体移动检测跟踪；保证证人在庭审作证过程中身体即使移动了，马赛克也会随着证人身体的移动而移动，始终覆盖在证人身体画面上方，保证证人的体貌特征不被曝光，保护证人的隐私以及安全，减少证人的疑虑。

在编码处理过程中，将当前帧中证人矩形区域设置为当前帧中感兴趣区域；将当前帧中感兴趣区域的H.264编码量化参数设置为预设值，所述预设值大于当前帧中除感兴趣区域以外其它区域的H.264编码量化参数；对当前帧进行H.264编码后发出；从而通过感兴趣区域的H.264编码来实现马赛克的叠加，无需另外在编码前加一个专门的图像处理模块实现马赛克，可以减轻法庭庭审主机的负担，提高运动图像检测的实时性，保证在庭审视频实时直播过程中有很小的时间延时，有利于庭审直播流实时快速的直播到网络上。

本发明实施例还可以推广至视频运动画面保护，而不限于针对庭审证人画面保护，可以实现运动中画面动态保护，减少视频处理的系统负担，保证视频直播流实时快速的直播到网络上。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。