专利名称：用于在视频显示器中创建目标区域的方法和设备的制作方法
用于在视频显示器中创建目标区域的方法和设备相关申请本申请涉及并主张2010年3月30日申请的美国非临时专利申请No. 12/750507 的权益，该申请主张2009年3月31日申请的美国临时专利申请N0.61/16M27的权益，上述每个申请全部内容结合与此作为参考。
背景技术：
本发明涉及监视系统，特别涉及与来自百万像素相机或监视系统中其他装置的高清视频流一起使用的工作站。许多视频监视相机包含光学变焦特征，允许用户获得放大的景象视图，而不需物理地重新配置相机。近些年，通过数字变焦能力已经增强了常规光学(基于镜头)的变焦， 这通过图像的数字处理扩展了变焦能力。然而，使用标清相机，数字变焦的用处受到了局限，因为在某个放大率之外，图片恶化且失常，使得图像具有有限的功用。通过引入高清相机，出现了新的机会。用户可以配置单个相机以监控广的视场，然后在特定区域数字变焦而不承受图片质量的任何恶化。然而，由于对选定细节的整体情景接入的损失，减少了该优势。此外，用户必须每次在连接相机时设置变焦水平，并且变焦的部分不能被存储用于将来的使用。
发明内容
根据本发明提供了一种在视频景象中创建目标区域的方法，包括以下步骤捕获视频景象；通过网络发送捕获的视频景象；从网络接收捕获的视频景象；使得用户能够识别捕获的视频图像的一部分作为目标区域；复制由用户识别作为目标区域的捕获的视频景象的所述部分；在第一窗口中渲染(render)所述视频景象；以及在独立于第一窗口的第二窗口中渲染捕获的视频景象的复制部分。本发明提供了一种在相机的视场中创建目标区域的方法，允许在实况(从相机发送实况景象)和回放(原来记录的景象被从数字录像机发送)模式中独立地观看和管理目标区域。本发明便于改变百万像素的相机的功率以覆盖大视场同时允许用户独立地选择景象的某个区域从而观看近景而不引起用于支持多个相机的额外网络或处理负载。此外，本发明解决了现有技术系统不能处理的两个问题。用户可以选择视频段，设置期望的变焦水平，并且保存该视图用于将来的会话。用于独立窗口配置的设置，例如区域的位置、区域的尺寸以及区域内的变焦，在实况和回放模式中与用户、相机和工作站相关联地保存。用户可以将选择的区域移动到屏幕的另一个部分，由此使得用户能够同时观看较大的景象情境以及景象细节。此外，可以将光标位于目标窗口的区域，并且用户可以进一步放大并且然后在变焦之后在该窗口内摇摄(pan)和倾斜拍摄(tilt)。在监控领域的实例应用可以是游乐场，其中安全操作员需要监控二十一点牌桌。 相机可以用于提供整体牌桌的概况。然后操作员可以对于在牌桌每一手牌创建一个目标区域，并且为庄家创建一个区域。二十一点牌桌的整体拍摄不需要放大，但是现实每个人的一手牌区域应该被放大，使得可以容易地辨别正在玩的纸牌。本发明允许用户选择景象的若干不同部分，并且在单独的可变焦的窗口观看它们，使得对于用户来说注意和获取在目标区域发生的事件的关键细节是更容易的。此外，本发明允许用户保存区域信息(目标区域和制定的变焦水平)，并且将其分配一个用户友好的名称，用于每次访问相机时便于提取。此外，本发明允许用户同时观察景象的较大的情境以及单个目标细节。视频安全系统的操作员可以在景象的多个选择部分中放大，同时维持景象的概况。本发明的方法和设备不过度消耗主机处理器，而是当可能时处理被卸载到图形卡。由本发明创建的目标窗口区域具有自由浮动、独立的窗口，其可以被调整大小，或者在单独的监控器上打开而不影响原始视频景象。使用本发明的方法的目标区域，用户具有景象的摇摄视图，并且然后放大任何特定位置并且以高清细节观看该部分。用户可以选择在景象中的期望数目的区域并且将其围绕一个或多个监视器的任何地方移动。这允许用户看到整个景象同时获得用户感兴趣的任何地方的细节视图。这仅通过来自百万像素的相机的一个视频流来实现，使得对于中央或主机处理单元、相机或网络资源没有额外的负担或开销。本发明的其他优点和应用将结合附图在下面的具体实施方式
中变得显而易见。
当通过结合附图参考下面的具体实施方式
时，将更好地理解本发明的更完整的理解及其伴随的优点和特征，其中图1是用于实施本发明的监控系统的框图；图2是用于实现本发明的示例工作站的框图；图3是根据本发明的工作站的屏幕显示的图示；图4是根据本发明的工作站的屏幕显示的图示；图5是根据本发明的工作站的屏幕显示的图示；图6是根据本发明的工作站的屏幕显示的图示；图7是根据本发明的工作站的屏幕显示的图示；图8是根据本发明的工作站的屏幕显示的图示；图9是根据本发明的工作站的屏幕显示的图示；图10是根据本发明的工作站的屏幕显示的图示；图11是根据本发明的工作站的屏幕显示的图示；图12是根据本发明的工作站的屏幕显示的图示；图13是根据本发明的工作站的屏幕显示的图示；图14是根据本发明的工作站的屏幕显示的图示；图15是根据本发明的工作站的屏幕显示的图示；图16是根据本发明的工作站的屏幕显示的图示；图17是用于实现本发明的管线的一个实施例的框图；图18是在景象中目标区域的复制的图示；图19是用于实现本发明的渲染器对象的框图20是用于实现本发明的管线对象的框图。
具体实施例方式参考图1，视频监控系统10具有网络12，其可以是封闭的网络、局域网或广域网， 例如因特网。多个视频源14、16、18和22，其可以例如是百万像素视频相机、数字视频录像机或服务器，连接至网络12以提高实时高清视频流。工作站22，其可以例如是监控系统10 中的控制点、个人计算机或通过笔记本电脑登录到监控系统10的用户，它连接至网络12。 源14、16、18和20通过网络12将视频流提供给工作站22。参考图2，以框图形式示出本发明的示例工作站。工作站22具有中央或主机处理器30，其连接至输入缓冲32、R0M 34,RAM 36、视频显示器38、磁盘驱动40和用户输入设备 42。用户输入设备42可以是键盘、鼠标、控制器或其他适合的输入设备。处理器30响应于来自用户输入设备42的用户输入实现在ROM 34或磁盘驱动40中存储的算法和程序，并且将输出信号提供给显示器38。输入缓冲32通过线44连接至网络12，以从图1中的源14、 16、18和20接收视频流。输入端口 45，其可以例如是USB或火线端口，也可以将视频流提供给输入缓冲32。工作站22还包含图形卡46，其包含自身的处理器和RAM。在运行时间载入例如存储在磁盘驱动40中的程序和算法，使得用户能够通过显示器38的图形用户界面与用户输入设备42交互而配置根据本发明的工作站22。目标区域是能够被设置为特定变焦水平相机的视场内的区域。为了配置目标区域，用户从视频控制点击按钮“配置目标区域”。这使得用户进入配置模式。在视频的上面出现了浮动的窗口。这表示区域1。用户可以点击并拖拽该窗口到新的位置，使用滚动鼠标来在景象上放大，并且重新调整窗口直到他选择了允许他看到感兴趣的细节的视图。自动地保存区域。然而，用户具有重新命名该区域的选项，将其分配一个用户友好的名字，以使得将来更容易调用该区域。用户可以对每个细节创建例如最多8个区域。一个时间仅可以配置一个区域。在屏幕上使用图标标记其他区域并且画出其轮廓。当配置目标区域时，用户也可以想要移动或“浮动”一个或多个区域至屏幕的不同部分。在实况监控模式时这帮助用户预览区域如何出现，并且帮助他识别需要哪里进行额外的覆盖。浮动的区域可以被布置在主要监控器上的任何位置。它们可以被转移到辅助监控器。在实况监控模式中，为了打开区域窗口，用户可以点击区域图标或右击并选择用于目标区域的“显示”。每个区域可以被单独打开或关闭，或者在屏幕上全被同时打开(或关闭)。每次用户调用相机，区域出现在用户上次访问该相机时显示区域的位置。当用户从他的工作空间移除相机时，所有相关的区域也被关闭。如果用户想看到单个区域相机必须是可连接的。在实况监控模式中，用户可以数字地放大目标区域，S卩，用户可以增加在配置过程中设置的水平以外的放大率。然后用户摇摄(pan)或倾斜拍摄(tilt)数字变焦的图像以观看剩余区域。然而，当以这种方式数字地变焦时，用户不能摇摄(pan)或倾斜拍摄(tilt) 到配置的区域的周边以外，并且这个额外的数字变焦将不能被保留用于将来的会话。为了永久地增加变焦水平，用户必须回到配置模式并且在那里保存这些改变。通过例如将指针移动到显示器38上显示的工具条中的配置目标区域的按钮并且然后点击鼠标按钮或其他用户输入设备42，用户进入目标区域模式。配置模式可以由视觉指示来指示，例如视频框周围的淡蓝色边界。在一个实施例中，仅当相机在1X1布局中观看视频景象时，目标区域可以被配置。为了创建区域，用户点击如图3所示的显示器的左下角中显示的视频控制工具条中的+按钮。窗口 50出现在图4所示的显示器中示出的视频的顶部。窗口 50表示正在被配置的目标区域。目标区域可以被调整大小，以包括如图5所示的显示器中示出的更多景象。目标区域可以被移动到景象的不同部分以关注于图6所示的显示器中示出的景象内的不同细节。增加变焦水平(放大率)，使得该区间内的细节可以如图7中示出的显示器中所示更清楚地被看到。区域可以被分配用户友好的名称，为了当将来接入时便于参考。在图8中，区域1已经被重新命名为“工作站1”。通常，一个时间仅可以配置一个区域。一旦第二个区域被加入或打开，第一区域就被最小化。如果用户想要观看已经配置的区域同时创建新的区域，他可以通过点击右上角的“浮动”按钮来浮动该区域。在图9中，“工作站1”区域已经被浮动到监视器的左侧，同时用户配置“工作站2”区域。所有这些区域可以被浮动，在配置模式和在实况监控模式均可。 区域窗口可以出现在主要视图的顶部、用户界面的另一个部分或者在次要监视器上(如果附接了次要监视器)。图10示出显示器，其中具有三个已经存在的区域的用户打开并配置第四个区域。图11示出当区域已经被配置时以实况监控模式在主要视频的顶部浮动窗口。 在实况监控模式中，区域窗口可以被调整大小，但是保护视频的宽高比。在图13中，用户可以减小图12所示的窗口的高度从而可以消除视频周围额外的黑色填充。在实况监控模式中，用户具有显示或隐藏区域指示器的选项。这些是小的文件夹图标52，其标记如图14所示已经配置区域的地方。区域窗口本身可以被显示或隐藏。为了打开特定区域窗口，用户可以点击屏幕上一个区域指示器图标52，或者如图15所示从右击(情境)选择区域窗口。用户还可以想要打开或隐藏所有区域窗口，这还可以通过右击菜单实现，如图16所示。本发明利用作为一起工作的一组对象的管线来处理媒体流，例如从百万像素相机接收的高清视频流。管线由处理元件的链组成，例如处理、线程、协同程序等。每个处理元件的输出被提供作为对管线中下一个处理元件的输入。管线被连接至输入源，例如图1中的网络12，其是对象，将媒体提供给管线和输出设备，例如图2中的视频显示器38，码流可以被输出或渲染(render)到输出设备。管线对象可以被布置在每个对象在特定任务指定的级。视频帧数据从一级流到下一级，直到渲染了所有帧。图17示出了实现本发明的一个实施例的管线60。管线60的媒体处理框架包括 RTP接收器62，连接至网络12，用于接收RTP视频帧的码流。RTP接收器62的输出被提供给石英媒体对象64，其调节帧输出并确保平稳的帧速率，以及其他功能。石英媒体对象64 的输出被提供给解码器对象66，其接收压缩的帧并且将其转换为例如原始YUV420p帧。例如，解码器对象66可以利用Intel 集成的性能原语，其实用于多媒体数据处理的软件函数的库，作为用于转换的工具。Y代表亮度分量，即灰度，并且U和V代表色度，即颜色分量。 YUV420p时如下格式其中Y、U和V的值被组成一组以替代被分散，使得图像变得更可压缩。当假定YUV420p格式中图像的阵列时，首先是所有Y值，然后是所有U值，最后是所有 V值。解码器对象66的输出被提供给复制器对象68，其复制管线中数据分量而不加入另一个管线，并且也不影响媒体处理框架管线的正常操作。如果如参考图3-16描述的那样用户与图形用户界面交互选择目标区域，复制器对象68可以被用于如图18所示同时渲染分开的窗口中的景象中的目标区域。在由右面的盒指示的单独的窗口 74中已经复制了由左面的框指示的视频景象72的左上角中选择的目标区域70。复制器对象68通过拷贝一段渲染的帧并且将其显示在视频硬件(例如图2中的图形卡46)上它自己的3D对象上，来复制数据分量。参考图17，示出了管线的例子，该管线处理来自网络12的视频流并且使用两个分离的渲染器对象76和78来对其渲染。结果是在视频景象的上部浮动的独立窗口，其可以被移动并且由用户在显示器38上调整大小，或则发送到由显示器38’指示的分离显示
ο下面是将附加的输出媒体对象添加到复制器的示例步骤。这些步骤重复在管线中需要加入复制的数目。1.在管线上创建并且加入你想要连接至复制器的媒体对象，例如渲染器媒体对象。
PdAutoRef<MPF: IMediaObj ect> pRenderMediaObject; PD_CORE::PdUuidrenderObjId("70D849E3-A4Bl-46cl-AD04-F75BA13D71D7");
PdAutoRef<IPdUnknown> pIPdUnknownRMO;
pIPdUnknownRMO = pIFactory->CreateObj ect( renderObjId.GetUuid()); pIPdUnknownRMO->QueryInterface( MPF::IMediaObject::Uuid()，(void**)&pRenderMediaObject.Raw())； //确保名称是唯一的，管线需要它是唯一的 std::string renderObjName("PelcoDirect3DRenderer2"); _pIPipeline-> AddObj ect( pRenderMediaObject.Raw(), &renderObjName);2.查询用于复制器媒体对象的管线PdAutoRefXMPF:IMediaObject>pR印Iicator ；pReplicator = _pIPipeline_ > FindObjectByName(〃 PelcoReplicator")；PD_ASSERT(pReplicator. IsEmptyO = FALSE)；3.在复制器上创建新的链接PdAutoRefXMPF:ILink>_p0utputLink ；_p0utputLink = pReplicator- > AddNewLink(MPFLINKTYPE_0UTPUT)；PD_ASSERT(_pLink. IsEmptyO = FALSE)；4.如果你希望在整个管线离开之前移除将来的额外输出链接，则保持对 jpOutputLink 的参考。5.获得输入链接，其上你想要连接步骤1创建的媒体对象上的该输出链接。
7
//获得recv链接媒体对象的链接集合 PdAutoRef<MPF: :ICollection> pRecvLinkCollection; pRecvLinkCollection = pRenderMediaObj ect->GetLinks(); Il获得recv输入链接 PdAutoRef<IPdUnknown> pUnk;
pUnk = pRecvLinkCollection->Item(0); // 0 因为渲染器仅具有一个输入链接，其他的确保索引值
PdAutoRef<MPF: :ILink> plnputLink;
pUnk->QueryInterface(MPF::ILink::Uuid(), (void**)&pInputLink.Raw()); PD ASSERT(pInputLink.IsEmpty() == FALSE);6.将在步骤3创建的链接连接至步骤5中的链接_pIPipeline- > Connect(plnputLink, jpOutputLink)；7.在移除附加输出链接之前确保已经将其断开_p0utputLink- > Disconnect(plnputLink)；8.移除复制器上的链接pReplicator- > RemoveLink(j > OutputLink)参考图17、19和20，管线60中的渲染器对象76和78可以利用例如Direct3D，其实微软的DirectX API的一部分，来渲染三维图形。渲染器对象试图创建硬件抽象层(HAL) 设备。如果图形卡不支持恰当版本的像素着色器，那么可以使用参考光栅设备。渲染器载入像素着色器并且设置纹理、渲染器和采样器状态。渲染器对解码器提供的Y、U和V分离地创建三个结构。渲染器创建了顶点缓冲并且将顶点数据存于其中。渲染器使用像素着色器来将分量数据混合为最终渲染的帧。图19中示出了本发明中使用的渲染器的一个实施例的例子。图20以图形形式示出了如下处理接收压缩的视频，将压缩的视频解码为原始 YUV420p,分别对YUV分量结构化，并且将它们提供给渲染器中的像素着色器，并且在显示器上显示渲染器目标的输出。应该理解到本发明可以进行变形和修改而不偏离本发明的范围。还可以理解到本发明的范围不应被解释为仅限于这里描述的具体实施方式
，而应该根据前述公开读取的附带权利要求。
权利要求
1.一种在视频景象中创建目标区域的方法，包括以下步骤捕获视频景象；通过网络发送捕获的视频景象；从网络接收捕获的视频景象；使得用户能够识别捕获的视频图像的一部分作为目标区域；复制由用户识别的作为目标区域的捕获视频景象的所述部分；在第一窗口中渲染所述视频景象；并且在独立于第一窗口的第二窗口中渲染捕获的视频景象的复制部分。
2.根据权利要求1所述的方法，其中使得用户能够识别捕获的视频图像的一部分作为目标区域的步骤包括使得用户放大目标区域的步骤。
3.根据权利要求1所述的方法，还包括使得用户能够调整第二窗口大小的步骤。
4.根据权利要求1所述的方法，还包括使得用户能够移动第二窗口的步骤。
5.根据权利要求2所述的方法，还包括使得用户能够在第二窗口中放大的步骤。
6.根据权利要求2所述的方法，还包括使得用户能够在第二窗口内摇摄的步骤。
7.根据权利要求2所述的方法，还包括使得用户能够在第二窗口内倾斜拍摄的步骤。
8.根据权利要求2所述的方法，还包括使得用户能够保存由用户选择的目标区域的步骤ο
9.根据权利要求9所述的方法，还包括使得用户能够保存由用户为目标区域选择的变焦设置的步骤。
10.根据权利要求1所述的方法，还包括在第一窗口中提供指示识别的目标区域的位置的图标的步骤。
11.根据权利要求10所述的方法，还包括使得用户能够通过与第一窗口中的图标交互而打开用于识别的目标区域的窗口的步骤。
全文摘要
在视频景象中创建目标区域的方法包括以下步骤捕获视频景象，通过网络发送捕获的视频景象，从网络接收捕获的视频景象，使得用户能够将捕获的视频景象的一部分识别为目标区域，复制由用户识别为目标区域的那部分捕获的视频景象，在第一窗口渲染视频景象，并且在独立于第一窗口的第二窗口渲染捕获的视频景象的复制部分。
文档编号G06F3/00GK102369497SQ201080014764
公开日2012年3月7日 申请日期2010年3月31日 优先权日2009年3月31日
发明者克沙玛·维贾亚库马, 尼古拉斯·E·约斯特, 托尼·T·迪克罗斯, 托马斯·J·迪斯特勒, 珍妮弗·L·乔伊那, 约翰·R·米纳相, 蒂姆破·D·贾殷 申请人:派尔高公司