带数字视频摄像头的电视在家庭保安中的应用的制作方法

专利名称：带数字视频摄像头的电视在家庭保安中的应用的制作方法
技术领域：
本发明主要涉及电视系统，更具体地，涉及附带数字视频摄像头的电视 的应用和系统。
背景技术：
在图像技术方面已经有许多研究成果，其中一些技术已经能够应用于实 际，例如人脸检测和识别。同时，数字视频摄像头，特别是低分辨率的网络
摄像头(webcam)的价格非常便宜，并且广泛应用于日常生活应用中。 这种摄像头能够用于家庭保安。市场上已经有许多家庭保安系统出售，
并且许多家庭中已经安装了家庭保安系统。然而，这些家庭保安系统大多不
包括智能视频监视，它的价格仍然远远超出普通家庭的承受范围。
随着数字电视代替模拟电视，随着数字视频摄像头变得更便宜和普及，
以及随着图像技术已经能够应用于视频监视，对具有智能视频监视能力的廉
价保安系统的需求更加明显。

发明内容
本发明的目的是提供将数字电视与数字视频摄像头和控制器单元组合 在一起的新型系统和应用。
同样地，本发明提供利用控制单元将数字摄像头与电视和数字记录设备 组合在一起用于家庭保安的方法。因此能够执行许多智能视频监视任务并且 相应地利用电视显示器和数字记录设备。提供具有陌生人检测、火灾检测、 运动检测等功能的家庭保安系统。利用检测结果作进一步决定，例如显示或 记录一些场景。
虽然本发明能够容许许多不同形式的实施例，附图中展示了这些实施 例，这里详细描述本发明的优选实施例，同时理解该描述应当被认为是对本 发明原理的示范，而并非意在将本发明的宽泛范畴限制到所示的实施例。正 如本领域技术人员所知，能够以许多方式实现根据本发明的上述示例结构， 例如由处理器所执行的程序指令、逻辑电路、ASIC、固件等。因此，本发明不限于这里所描述的示例实施例。
已经参考本发明的某些优选版本相当详细地描述了本发明；然而，也可
能有其它版本。因此，所附权利要求书的精神和范围不应当被局限于这里所 包含的优选版本的描述。


图1示出根据本发明实施例的实现家庭保安监视系统的功能框图； 图2示出根据本发明实施例的使用无线视频摄像头的功能框图，无线视 频摄像头将视频信号发送给与图1中的控制单元相连的基站接收器；
图3示出根据本发明实施例的实现图1的控制器单元的实例的功能框
图4示出根据本发明实施例的图1的控制器单元的图像/视频处理模块的 功能框图5示出根据本发明实施例的图2的控制器单元的图像/视频分析模块的 实施例的功能框图6示出根据本发明实施例的图5的图像/视频分析模块的陌生人检测模 块的实施例的功能框图；以及
图7示出根据本发明实施例的陌生人检测模块中的人脸检测步骤的示例 流程图。
附图中，相同的参考指代相似的元件。
具体实施例方式
在一个实施例中，本发明提供将数字视频摄像头与由控制单元控制的数 字电视机一起使用的系统和有关方法及应用。
在一个实现中，本发明提供用于家庭保安应用的系统，其包括安装有数 字视频摄像头的电视。提供将数字视频摄像头与电视机一起用于家庭保安的 系统和相关方法，即，视频监视应用。电视与视频摄像头的组合为新的家庭 保安应用提供了可能。根据本发明的家庭保安系统能够监视安装有视频摄像 头的场景，自动检测例如火灾、陌生人靠近等具体的特别事件，将场景馈送 给电视，自动记录这些事件并且每隔一段时间将场景记入曰志。
通过参考以下描述、所附权利要求书以及附图，将理解本发明的这些和
6其它特点、方面和优点。
本申请要求2005年12月5日提交的美国临时专利申请序号60/742,704 的优先权，其全部内容通过引用合并于此。
在本发明的一个实施例中，本发明提供保安监视系统，利用用于显示 来自数字摄像头的视频信号的数字电视；以及遥控器，与监视系统交互。
例如网络摄像头的数字摄像头做得很小，能够不显眼地安装。进一步地， 可以利用图像技术中的研究成果，例如物体识别和运动检测。
在一个实施例中，本发明提供家庭保安监视系统，其将客厅中的数字电 视、数字视频摄像头以及图像技术组合在 一起以提供家庭保安。
图1示出根据本发明实施例的实现家庭保安监视系统100的功能框图。 系统100包含音频/视频(A/V)设备，包括电视显示器(数字或传统制式) 102、数字视频记录设备106和视频摄像头110。系统100进一步包括遥控 器104;以及控制器单元(模块)108，其可以包括独立设备，或者被集成在 电视机102、机顶盒、数字视频记录设备106等设备中。
电视^几102由控制器单元108的控制信号控制，并且可以显示来自控制 器单元108的视频信号。数字视频记录设备106记录特殊事件而且在某些时 刻记录来自视频摄像头IIO的图像。控制器单元108控制视频摄像头IIO并 且将视频信号和控制信号发送给电视显示器102和数字视频记录设备106 二 者。遥控器104是用于控制电视显示器102、控制器单元108和数字视频记 录设备106。将数字视频摄像头IIO安装在感兴趣的地方，并且与控制器单 元108相连4矣。
可以将数字视频摄像头110安装在电视机102电缆连接范围之内的任何 地方。也可以安装无线数字视频摄像头以增加距离和方便安装。如图2中例 子所示，对于无线视频摄像头，可以将无线视频摄像头IIO的基站接收器连 接到控制器单元108,而将无线视频摄像头IIO安装在别处。
不管摄像头是什么类型(无线或有线)，控制器单元108都能够将控制 信号发送给视频摄像头110以便逐个地或者一齐地打开/关闭每个摄像头。将 来自数字视频摄像头110的视频信号发送给控制器单元108以进行处理。基 于来自遥控器104的设置或命令，控制器单元108能够将视频信号输出给电 视显示器102并且输出给数字视频记录设备106进行记录。基于设置和来自 视频摄像头110的视频信号的内容，控制器单元108自身也可以产生控制信
7号，并将其发送给电视显示器102和/或数字视频记录设备106。
正如所提到的，这里将控制器单元108描述为逻辑设备，它可以是独立 设备，可以被集成在机顶盒中，可以被集成在数字电视显示器中，或者甚至 被集成在数字视频记录设备中。不管控制器单元108在物理上如何实现，这 里所描述的控制器单元108的功能都适用。
图3示出根据本发明实施例的控制器单元108的示例实现的功能框图。 控制器单元(模块)108执行包括控制电视102和记录设备106的功能，并 且执行例如陌生人检测、火突检测、运动4企测等的事件检测。
在图3的示例中，控制器单元108包括图像/视频处理模块114、图像/ 视频分析模块116以及决策模块118。视频信号来源于数字视频摄像头110， 被馈送入图像/视频处理模块114,然后从图像/视频处理模块114输出给电视 102和记录i殳备106。
一旦接收到从数字视频摄像头IIO输出的视频流，图像/视频处理模块 114就基于来自决策模块118的设置或控制信号来处理视频流。例如，如果 整个系统被设置为监视所有的视频摄像头110，则输入视频流被一起平铺显 示为适当的分辨率以便在电视102上能看到它们。在这种情况下，图像/视频 处理模块114执行缩放和帧速率转换以便以电视102可接受的格式产生新的 视频。
图4示出根据本发明实施例的图像/视频处理模块114的功能框图。该图 像/视频处理模块包括降噪模块120、视频选择或合并模块122、缩放模块124 和帧速率转换模块126。
降噪模块120对来自数字视频摄像头110的输入视频信号进行处理以减 小来自数字视频摄像头的信号噪声和压缩噪声。将来自降噪模块120的输出 直接提供给控制器单元108中的图像/视频分析模块116。
基于来自控制器单元108的决策模块118的控制信号，将已降噪的视频 信号发送给将所选择视频信号合并在一起的视频选择和/或合并模块122。然 后，缩放模块124将已合并的视频信号缩放到适当的分辨率，帧速率转换模 块126将已合并和已缩放的视频信号转换为适当的帧速率，以便能够在电视 显示器102上显示输出信号。
回来参照图3，图像/视频分析模块116从图像/视频处理模块114接收降 噪后的视频信号。图5示出根据本发明实施例的图像/视频分析模块116的实施例的功能框图。图像/视频分析模块116执行事件检测，而且包括陌生人检
测模块130、火突检测模块132、运动检测模块134和输出模块136。本领域 技术人员能够认识到，图像/视频分析模块116可以包括不同的和/或额外的 分析;漠块。同样地，在其它实施例中，也可以将用于特定事件;险测的其它分 析/检测模块添加到模块116中。
模块130-134中的每一个的输出是在场景中是否检测到特定事件，以及 在哪个摄像头110中捕捉到所检测的场景。输出模块136整合来自所有模块 130-134的结果，并且将信息输出给控制器单元108中的决策才莫块118。
陌生人检测模块130进一步包括人脸检测和人脸分类模块。图6示出根 据本发明实施例的陌生人检测模块130的实施例的功能框图。陌生人检测模 块130包括人脸检测模块138、已登记的人脸数据库140、以及人脸识别模 块142。
将由人脸检测模块138检测到的场景中的人脸与数据库140中的已登记 的人脸进行比较以确定是否是陌生人的脸。这样，在由数字视频摄像头110 捕获到的每个场景中，人脸检测模块138检测场景中是否有任何人脸，如果 有，则人脸分类模块142将检测到的人脸分为两个类别， 一个是家庭成员类， 另 一个是陌生人类。家庭成员应当已经将他们的脸登记在数据库140中以便 人脸分类模块142能够如所预料的执行。如杲在场景中检测到陌生人，则图 像/视频分析模块130将信号与标识哪个场景包含陌生人的信号一起发送给 决策模块118。
火灾检测模块132检测场景中是否有火灾事件，它对于前院和后院的监 视是特别有用的。 一旦检测到火灾事件，图像/视频分析模块116将信号和标 识哪个场景包含火灾事件的信号一起发送给决策模块118。
运动检测模块134用于更通用的目的，其检测每个场景的相继帧之间的 差异以确定场景中是否有任何变化。 一旦检测出场景中有变化，图像/视频分 析模块116将信号和标识哪个场景包含运动(即，场景变化)的信号一起发 送给决策模块118。
控制器单元108的决策模块118实现可以由用户通过遥控器104来设置 的灵活的逻辑。决策模块118的输入包括状态信号和来自遥控器的命令，包 括电视显示器的状态、数字视频记录设备的状态、以及来自遥控器的命令。
决策模块118的输出包括到图像/视频处理模块114的控制信号，用于
9控制输出视频信号；以及设备控制信号，包括用于控制数字视频摄像头的信 号、用于控制电视和数字视频记录设备的信号。
在示例中，决策模块118实现以下决策逻辑
1. 如果从遥控器104发送命令，则遵从命令。这个命令可以包括打开 或关闭每个数字视频摄像头IIO或者所有的摄像头110;监视所有或一些场 景；记录由视频摄像头IOO所捕捉的一些或所有场景。
2. 如果由图像/视频分析模块116检测到一个特定事件，则发送信号给 图像/视频处理模块114，以转换包含特定事件的场景，如果有必要就合并之， 并且以画中画(PIP)模式输出到电视显示器102;与此同时，将场景记录在 数字视频记录设备106中。
3. 如果电视102被关闭，基于设置，输出信号以打开电视和/或发出预 设的报警声音。
4. 基于设置，每隔特定时间量和/或每隔较小时间量(当场景中检测到 运动时)，将所述场景记录在数字^L频设备106中。
如图6中所示，陌生人检测模块130包括人脸检测模块138。有许多用 于人脸检测的方法。可以利用人脸检测模块138实现任何有效的方法。在这 个示例中，简要介绍一种简单的人脸^r测方法，如图7中的示例流程图所示。
通过映射到二元值来测试场景输入帧中的所有候选，并且将4企测到的多 个重叠的人脸融合在一起以获得单一的输出。这样，对于每个输入帧，将每 个可能的人脸候选，不管它的尺寸和位置如何，从输入图像的亮度分量中提 取出来用于测试(步骤150)。首先将候选图像窗口缩放到标准尺寸，例如， 24x24 (步骤152)。因此，每个候选将有24x24=384个不同的灰度值。然后 让384个不同灰度值通过函数&，其输入这些灰度值/并输出度量值，然后 根据阈值获得二元结果。
"训
(步骤154)。如果结果是l，则候选者被;险测为人脸，否则就不是人脸。用 于将标准尺寸窗口的灰度值映射到二元范围的函数包括一组可以脱机获得 的参数。
在脱机训练&参数期间，我们手动地标注大量的人脸乂， [数学式2]1"A^ ，以及非人脸 ， [数学式3]
1W气
，其中， 是人脸的样本数，7V"是非人脸的样本数。我们找到&的一组最 优参数使样本的检测误差最小，表示为 [数学式4]
其中，0为函数&的参数集合。可以使用任何可用的人脸检测方法以便获得 函数&及一组最小参数。
对于视频帧中的真实人脸，在这个人脸的周围可以有许多候选被检测为 人脸。这些检测有交叠，然后基于交叠将他们融合为单一检测(在步骤156 中)，将这个单一^r测结果输出给人脸分类(在步骤158中)。
在人脸分类之前，我们需要在数据库140中登记所有期望的人脸(例如， 朋友、家庭成员等)，这样检测到的人脸将被分为熟人和陌生人。如果检测 到的人脸不匹配数据库140中的任何人脸，则其将被检测为陌生人。
为了在数据库140中登记人脸，使用遥控器104进入人脸登记模式。在 这种模式中，电视机102直接显示来自其前面站着人的所选视频摄像头110 的图像。 一旦捕获到好的视图，用户能够冻结图像。人脸检测模块138检测 人脸并且用方框作标记，然后由遥控器104进行确认。在确认之后，将检测 到的人脸缩放到标准尺寸，然后存储在数据库140中。
在完成所有的人脸登记之后，人脸分类模块142确定检测到的人脸是已 登记的还是陌生人。最简单的人脸分类方法包括计算检测到的(候选)人脸 和存储的已登记人脸之间的欧几里得距离，以确定最小距离并且将该距离与 阈值比较。如果所有的距离大于阈值，则检测为陌生人。也可以使用其它的 分类方法。
与人脸检测类似，有许多可用于检测场景中火突的方法。在火灾检测模 块132中可以利用这样的方法中的任何一种。在一个示例中，4吏用两步的火 灾检测方法。第一步是颜色匹配，第二步是外观匹配。通常，火的颜色为红 色，在场景中能够被识别出来。然而，并不是所有红颜色的都是火。这样，4丸行颜色匹配以识别红颜色的区域。特别地，i殳定一个火颜色的区域，如果 特定颜色处在这个区域内部，则认为是火的颜色。当在一个小候选区域中的 红颜色浓度大于所选择阈值时，利用外观匹配方法来匹配所述区域。
在外观匹配中，仅仅使用亮度信息。外观匹配与上述的人脸^r测类似。
用大量的火突示例和非火灾示例脱机训练分类器。然后分类器判定每个候选 区域是否是火灾。对于火灾检测来说，不需要检测场景帧内的所有可能候选， 而仅仅是那些通过颜色匹配测试的区域。
与人脸检测和火灾检测相类似，有许多可用于运动检测的方法，其可以
在运动检测模块134中实现。能够利用其中的任意方法。在一个示例中，利 用包括4个步骤的简单运动检测。在第一步中，通过分别计算每个帧的总亮 度值丄,和来调节两个相继的场景帧和的亮度变化，将帧调整为 [数学式5]
/ -丄/
在第二步中,
在第三步中
将帧/,.和经调整的帧,+1之间的差值确定为
将差值z)的条目与预设阈值r进行比较以获得二元映射为
，+
在最后一步中，基于二元映射5的和以及另一个预设阈值7;来判定运 动，即，如果 [数学式8]
则检斜到场景中有运动，否则，没有检测到运动。
权利要求
1. 一种保安和监视系统，包括A/V设备，包括电视显示器和一个或多个数字视频摄像头；以及控制器模块，基于来自每个摄像头的视频信号执行事件检测，并且相应地控制A/V设备。
2. 如权利要求l的系统，其中，控制器模块基于用户命令控制A/V设备。
3. 如权利要求l的系统，其中，控制单元包括在机顶盒中所实现的逻 辑单元。
4. 如权利要求1的系统，其中，将摄像头安装在远离电视显示器的地 方，并且通过控制器模块与其相连。
5. 如权利要求l的系统，其中，控制器模块进一步包括 视频分析模块，执行所述的事件检测功能；以及决策模块，基于由视频分析模块所检测的事件控制一个或多个A/V设备。
6. 如权利要求5的系统进一步包括遥控模块，其允许用户给A/V设备 和控制器模块下命令。
7. 如权利要求6的系统，其中，决策模块进一步基于来自遥控模块的 用户命令控制A/V设备。
8. 如权利要求7的系统，其中，A/V设备进一步包括由遥控模块和控 制器模块控制的数字视频记录设备，从而记录来自 一个或多个摄像头的视频 信号，并且在电视显示器上回放已记录的视频信号。
9. 如权利要求8的系统，其中，各A/V设备经由控制单元在彼此之间 交换信号。
10. 如权利要求5的系统，其中，控制器模块进一步包括在由视频分析 模块分析之前处理来自摄像头的信号的视频处理模块，其中视频处理模块提 供降噪、视频选择和合并、缩放、以及帧速率转换中的一个或多个功能。
11. 如权利要求10的系统，其中，决策模块进一步控制视频处理模块。
12. 如权利要求5的系统，其中，事件4企测包括陌生人检测、火灾才企测 和运动4企测中的 一个或多个。
13. 如权利要求12的系统，其中，视频分析模块包括陌生人检测模块，在来自摄像头的场景中，将没有在数据库中登记的人检测为陌生人；火灾检测模块，在来自摄像头的场景中检测火灾的存在；以及 运动检测模块，在来自摄像头的场景中检测运动的存在。
14. 如权利要求13的系统，其中，视频分析模块进一步包括输出模块， 其整合来自所述各检测模块的结果并且将整合后的结果提供给决策模块。
15. 如权利要求13的系统，其中，陌生人检测模块包括 人脸检测模块，在来自摄像头的场景中检测人的脸； 数据库，包括已登记人员的人脸图像；以及人脸分类模块，其将检测到的人脸与数据库中的图像进行比较，使得如 果检测到的人脸不在数据库中就将场景中的该人分类为陌生人。
16. —种保安和监视系统，包括A/V设备，包括电视显示器、数字记录设备以及一个或多个数字视频摄 像头；以及控制器模块，基于来自每个摄像头的视频信号执行事件检测，并且基于 预设的逻辑相应地控制A/V设备。
17. 如权利要求16的系统，其中，控制器模块进一步产生到A/V设备 的信号，其中基于事件检测控制器模块利用画中画功能将来自 一个或多个摄像头的视频信号输出 给电视显示器；控制器模块启动在数字视频记录设备上的记录以便记录视频信号； 控制器模块基于在场景中检测到的运动设置用于记录场景的间隔。
18. 如权利要求16的系统，其中，在电视显示器中实现控制器模块。
19. 如权利要求16的系统，其中，将控制器模块实现为独立的设备。
20. 如权利要求16的系统，其中，在记录设备中实现控制器模块。
21. 如权利要求16的系统，其中，视频摄像头中的至少一个包括具有 与控制器模块相连的接收基站的无线摄像头。
22. 如权利要求16的系统，其中，事件检测包括陌生人检测、火灾检 测和运动检测中的一个或多个。
23. —种包括电视显示器、数字视频摄像头和控制器的监视系统的应用 方法，所述方法包括如下步骤接收来自摄像头的视频信号； 基于视频信号检测事件；以及 基于所识别的人脸执行智能任务。
24. 如权利要求23的方法，其中，检测步骤进一步包括如下步骤当来自摄像头的场景中的人没有在数据库中登记时，执行陌生人检测；在来自摄像头的场景中检测火突；在来自摄像头的场景中检测运动的存在。
25. 如权利要求23的方法，其中，基于所检测事件执行智能任务的步 骤进一步包括启动记录场景的步骤。
26. 如权利要求23的方法，其中，执行智能任务的步骤包括如下步骤 将来自摄像头的视频信号馈送给电视显示器。
全文摘要
一种将数字电视与数字视频摄像头和控制器单元组合在一起的系统和方法，用于将数字视频摄像头与数字电视机一起使用作为家庭保安系统，其允许陌生人检测、火灾检测、运动检测等。检测结果被用于做诸如显示或记录一些场景的进一步决定。
文档编号G08B13/193GK101454811SQ200780018963
公开日2009年6月10日 申请日期2007年5月4日 优先权日2006年6月6日
发明者宁 徐, 李商根, 金永铎 申请人:三星电子株式会社