用于信息传输的方法及系统与流程
本发明涉及一种用于重复更新后的信息的可视化传输的方法及系统。
背景技术：
捕捉运动视频图像的视频摄像机通常被用于监控系统、监视系统、门禁系统等。
这种摄像机的许多设置依赖于摄像机安装环境中的参数。对于许多应用而言，将监视摄像机和/或监控摄像机映射到示出所调查/所监控的区域的地图上是非常有用的。例如，地图可被用于定位特定的摄像机以进行修复，或被用于简单地定位在视频中所捕捉的特定事件实际发生的位置。此外，地图上的摄像机可以与源自特定摄像机的视频流相配对，以便于方便地选择与地图中的区域相关的视频流。摄像机的位置数据也可以被记录在视频中，以便实现对在何处捕捉到视频的标识。
这类映射当然可以通过使人们对所有摄像机的位置进行检查并将它们输入到纸质地图或数字地图上来手动执行。数字地图中的地理定位可以通过简单地对在显示器上显示的地图中的位置进行选择或者通过输入表示摄像机的位置的坐标来执行。可以在任何地理坐标系中给出这些坐标，只要位置被唯一地标识。地理位置也可以或者替代地被插入到视频流中，这有时被称为地理标记。因此，针对用于对场景进行监控的摄像机而言有用的一些设置是摄像机的地理位置、摄像机所指向的方向、摄像机相对于水平面的倾斜角度等。针对具有扬声器的摄像机(例如门口机)而言有用的其他设置是音质参数，其在许多情况下取决于扬声器的安装环境。
许多这种设置可以手动进行。例如，人们可以以其他方式来计算或获取摄像机的地理位置、可以使用罗盘来获取在摄像机捕捉图像的方向上的方位、可以使用水平仪以便接近摄像机的倾斜角度，并随后将这些值写入到摄像机中。另一示例涉及扬声器的设置，其中人们聆听扬声器播放一些声音，并且调整用于对扬声器进行控制的设置，直至声音在主观上足够完美。
进行类似这些设置的一种替代方式是提供一种设备，该设备包括：显示器，用于显示用以帮助基于摄像机的系统进行正确设置的信息；gps电路或任何等效的定位电路，用于确定设备的地理位置；加速计，用于确定设备相对于水平面的倾斜或者可能的滚转；罗盘电路，用于确定设备的方向；以及麦克风，用于检测环境中的声音(例如，从摄像机系统的扬声器中发出的音频信号等)。并且，使设备对与摄像机的设置有关的信息进行显示。用以帮助基于摄像机的系统进行正确设置的信息可以在显示器上被显示为图形码，并且图形码可以包括任何上述可由具有显示器的设备检索的信息类型。这种类型的系统便于执行对摄像机系统进行设置的过程。然而，当涉及重复更新后的数据时，这种可视化信息通信存在着问题，例如，当手持带有显示器的设备时，因为手动移动，罗盘读数、地理位置、倾斜角度都会发生变化。此外，当涉及声音时，设备应呈现与通过扬声器发出的声音有关的信息。这些信息可能是动态的且不断变化的。
像这样对重复更新后的信息进行通信的一个问题是存在着如下风险，即，在摄像机的帧捕捉期间，显示器上的用于表示要传输的信息的图形码被更新。这可能是如下应用程序的问题，即，依赖于通过显示器来接收时间关键型信息的应用程序或者包括损坏数据的一个图像帧在其中可能具有某种缺点的应用程序的问题。例如，由于要求系统对未被损坏的下一个图像帧中的信息进行解释而在信息传输中引入延迟，当摄像机中的图像配准和信息传输显示的更新恰好同步或者几乎同步时，从未或者很少实现未受损坏的传输，这一问题会导致摄像机在显示器上的图形信息被更新的期间内捕捉图像。
技术实现要素：
本发明的一个目的在于使用可视化通信方法来提高数据传输中的可靠性，该可视化通信方法包括在显示器上显示信息并使用摄像机来捕捉所显示的信息。
该目的通过根据权利要求1所述的方法、通过根据权利要求8所述的方法、以及通过根据权利要求13所述的系统来实现。本发明的其他实施例被呈现在从属权利要求中。
具体地，根据至少一个实施例，用于重复变更信息的可视化传输的方法包括重复执行以下一组动作：接收要传输的第一组信息，其中第一组信息是先前接收到的一组信息的更新；生成用于表示第一组信息的信息承载第一图案；以第一颜色来显示信息承载第一图案；接收要传输的第二组信息，其中第二组信息是第一组信息的更新；生成用于表示第二组信息的信息承载第二图案；以及以第二颜色来显示信息承载第二图案，其中第二颜色不同于第一颜色，并且其中在信息承载图案中的一个被更新时，信息承载图案中的另一个被静态地显示。在一个信息承载图案被更新的时段期间内静态地显示另一个信息承载图案中的优点在于将一直对有效信息进行解码并且不需要图像显示与图像捕捉同步。此外，使所显示的更新后信息的信息承载图案的颜色交替更迭的方案有助于区分两个不同的信息承载图案。
信息承载图案可以形成一维图形码，其可以是条形码，或者信息承载图案可以形成二维图形码，其可以是qr码。
此外，信息承载第一图案和信息承载第二图案可以在相同的显示区域中被交错编织，而这是有利的，因为信息承载图案中的每一个信息承载图案都可以对大部分显示器资源加以利用，从而可以使信息承载图案的信息密度很高。
此外，一些实施例在每次的重复中还包括：接收要传输的第三组信息，其中第三组信息是第一组信息和/或第二组信息的更新；生成用于表示第三组信息的信息承载第三图案；以及以第三颜色来显示信息承载第三图案，其中第三颜色不同于第一颜色和第二颜色。
根据本发明的另一方面，用于对被可视化地传输并重复更新后的信息进行捕捉和解码的方法包括重复执行以下一组动作：通过数字图像传感器来捕捉显示器的图像，该显示器的图像包括不同颜色的至少两个信息承载图案；从所捕捉的图像中提取第一颜色的信息承载图案；从所提取的第一颜色的信息承载图案中解码信息；从所捕捉的图像中提取第二颜色的信息承载图案；以及从所提取的第二颜色的信息承载图案中解码信息。读取两个不同颜色的信息承载图案的优点在于提高了接收的稳定性，这是由于如果信息承载图案之一的解码(例如作为该信息承载图案的更新结果)失败，则可以代替而解码其他颜色的信息承载图案。因此，即使图像帧在信息承载图案的更新期间内被捕捉，也可以接收到未被损坏的更新数据。
可以响应于对所提取的用于返回损坏数据的第一颜色的图案的解码，来执行对所提取的第二颜色的图案的解码。因此，仅在必要时对附加的信息承载图案进行解码。此外，可以响应于对所提取的用于返回损坏数据的第一颜色的图案的解码，来执行从所捕捉的图像中提取第二颜色的图案。
在另外的实施例中，该方法还包括：从所捕捉的图像中提取第三颜色的图案，并对所提取的第三颜色的图案进行解码。此外，实施例还可以包括：检测所捕捉的图案之一中的信息是否被损坏，并且响应于这种检测而将来自其他图案的信息选择为有效信息。
根据本发明的又一方面，一种包括图像捕捉设备和显示设备的系统，其中显示设备被布置为使用上述任意一个实施例中的方法来显示重复更新后的信息，并且其中图像捕捉设备被布置为使用上述任意一个实施例中的方法来捕捉和解码所显示并重复更新后的信息。这种系统的优点与以上给出的相应特征的优点相对应。
显示设备可以是手持式移动显示设备，并且图像捕捉设备可以是运动视频摄像机，其使得该系统易于实现并高度便携，即，手持式移动设备可以容易地在多个系统中使用并且容易地在它们之间进行传输。在一些实施例中，重复更新后的信息包括手持式移动显示器的位置坐标。
本发明的适用性的进一步的范围将根据下面给出的详细描述而变得显而易见。然而，应当理解，详细描述和具体示例在指示本发明的优选实施例时，仅通过例证的方式来给出，因为对于本领域技术人员而言，根据该详细描述，本发明的范围内的各种变更和修改将变得显而易见。因此，应当理解，本发明并不限于所描述的设备的特定部件部分或被描述为这种设备的方法的步骤，并且方法可以变化。还应当理解，本文所使用的术语仅用于描述特定实施例的目的，并不旨在进行限制。必须指出，如在说明书和所附权利要求中使用的冠词“一”、“该”和“所述”意在表示存在一个或多个元件，除非上下文中另有明确说明。因此，例如提及“一传感器”或“该传感器”可以包括数个传感器，等等。此外，用语“包括”并不排除其他元件或步骤。
附图说明
根据当前优选实施例的下述详细描述并参照附图，本发明的其他特征和优势将变得显而易见，其中：
图1是根据本发明一些实施例的系统的示意性框图；
图2是根据本发明实施例的用于显示可视化传输的信息的过程的流程图；
图3a是包括第一组信息的标准qr码的示例；
图3b是包括第二组信息的标准qr码的示例；
图4是根据本发明一些实施例的信息承载图案的一部分以及该信息承载图案的哪一部分被显示的示例，所述信息承载图案包括来自第一和第二组信息中的信息；
图5是结合图2而描述的从可视化传输中接收信息的过程的流程图；
图6是根据本发明一个实施例的用于确定摄像机在使用中的空间特性的系统的示意性图像；
图7是显示qr码并突出qr码的某些特征的移动设备的示例，所述qr码可被用在本发明的实施例中；
图8是描绘根据本发明一个实施例的由移动设备执行的过程的流程图；
图9是描绘根据本发明一个实施例的由监控摄像机执行的过程的流程图；
图10是根据本发明一个实施例的移动设备的示意性框图；
图11是根据本发明一个实施例的监控摄像机的示意性框图；
图12示出真实世界的点和图像的点之间的线性变换；
图13和图14示出图像坐标系中的场景点和真实世界坐标系的场景点之间的关系；
图15示出在用于计算使用中的透镜的焦距的示例性方法中所使用的特征，以及
图16示出用于计算焦距的示例方法中的其他特征。
另外，在附图中，相同的参考符号在数个附图中自始至终指代相同或相应的部分。
具体实施方式
本发明涉及重复更新后的信息的可视化传输和接收。用于实现可视化传输的系统的基本设置包括：显示设备，用于显示要传输的信息；以及一些图像或运动视频的捕捉设备，用于从显示设备中接收或读取要传输的信息。根据一些实施例并参见图1，显示设备10是具有显示器12的电子设备，例如移动电话、个人数字助理、平板电脑、手表、具有显示器的计算机、或具有合理的大屏幕显示器的任何其他电子设备。在一些实施例中，运动视频捕捉设备14是数字视频摄像机，并且在一些实施例中，摄像机可以连接到扬声器16。在使用显示设备10和数字视频摄像机14的可视化传输中的一个问题是数字视频摄像机14在用新的信息对显示进行更新的时段期间内捕捉显示器12的图像。在这种情况下，所捕捉的视频帧将包括一些新的信息以及一些旧的信息，即，信息不是决定性的甚至是损坏的。如果使用图形码(即用于表示信息的图案)来显示信息，为了正确地对信息进行解码，则很可能必须捕捉整个图形码。因此，如果在对显示器12上的信息进行更新的期间内捕捉视频帧，将无法在数字视频摄像机上正确地对信息进行解码。
如果数字视频摄像机14不同步，则可能会发生数字视频摄像机14捕捉到包括由于对显示设备10上的图形表示进行更新而导致的损坏信息的视频帧这一问题，使得数字视频摄像机14仅捕捉在显示设备10上呈现的完全更新后的图形信息。然而，设备的同步以及保持其同步不易实现。特别地，在要发送的信息被重复更新的应用程序中，该问题是显而易见的，由此增加了捕捉到包括损坏信息的图像帧的风险。
在本发明的实施例中解决了捕捉到信息的非完全更新的图形表示这一问题，本发明的实施例包括：显示设备，其被布置为通过使重复更新后的信息的至少一个图形表示一直呈现在显示器上而能够捕捉到更新后信息的至少一个图形表示。应用程序的示例是摄像机配置、摄像机定位、音频配置等，并且数据的示例可以是位置检测设备的地理位置、测量设备的方向或方位、测量设备的滚翻转或俯仰的程度、在麦克风处捕捉到的声音电平等。位置检测设备、测量设备和/或麦克风可以包括在显示设备10中。
图2的流程图描述了实现该目的的过程的实施例。该过程可以在显示设备10中执行。在s500，开始传输过程。在s502，包括接收第一组信息的步骤。然后，在s504，基于该信息来生成信息承载图案，用以显示该信息以供可视化传输。然后，在s506，在显示设备10的显示器12上以第一颜色来显示所生成的图案。可以以取决于应用程序所需分辨率的预定频率来重复地更新该信息。该分辨率可以是必须的，以便以实时方式向信息接收设备提供数据传感器信息，并且每个时间单位具有足够的采样点以便例如在表示音频或其他时间关键型数据时实现高质量的数据。在某些应用程序中，延迟更为重要，例如，当在图形图案中呈现的数据与由摄像机捕捉到的图像的其余部分相关联时，或者在所捕捉的显示器的图像帧中的位置通过图形图案而与作为数据被传输的位置相关联的情况下。延迟可能取决于显示器的响应时间和摄像机对图像帧进行采样所需的时间。响应于用于向显示设备10提供信息的定位设备的移动、所捕捉的声音上的变化、显示设备10的方向的改变、或单独的罗盘设备、来自加速计的感官输入上的变化等，更新后的信息可以被替代地或互补地更新。在s508，接收更新后的信息。并且，在s510，基于该接收到的更新后信息来生成信息承载图案。然后，该信息承载图案以第二颜色显示在显示器12上。当第一颜色的信息承载图案仍呈现在显示器12上时，显示第二颜色的信息承载图案，因此，第一颜色的信息承载图案和第二颜色的信息承载图案同时呈现在显示器12上。
然后，在s514，该过程继续进行并进一步接收更新后的信息。在s516，根据接收到的更新后信息来生成新的信息承载图案。并且，在s518，当前以第一颜色显示的信息承载图案被替换为也以第一颜色显示的新的信息承载图案。然后，在s520，再接收另一信息的更新。并且，在s522，根据该信息的更新来生成新的信息承载图案。在s524，该信息承载图案以第二颜色来显示并替换先前显示的第二颜色的信息承载图案。然后，过程返回到s514以再次执行步骤s514至s524，从而重复地接收新的更新后信息，根据更新后的信息来生成信息承载图案，并分别交替地以第一颜色和第二颜色来显示它们。该过程一遍遍地重复，直到其通过用户、定时器或其他用于中断该执行的进程被结束为止。
信息承载图案可以是可使用摄像机14来读取和解码的任何图形码。信息承载图案的示例是条形码、qr码、印刷文本等。二维图形码(诸如qr码等)相对于一维图形码(诸如条形码等)的优点在于，二维图形码能够实现比一维图形码更高的信息密度，即每表面单位更多的数据。
在结合图2所描述的过程中描述了以第一颜色来显示第一信息承载图案，并且在相同时间点在同一显示器上以第二颜色来显示第二信息承载图案。在对信息承载图案之一进行更新的期间内，其他信息承载图案被静态地显示在显示设备10上。由此，最新的完全更新后的信息一直都是可读取的。
在图3a和3b中，分别描绘出第一信息承载图案550和第二信息承载图案552的示例。根据本发明的实施例，将两个信息承载图案550、552组合或交错编织在一起，每个信息承载图案550、552具有不同的颜色，以便能够同时显示两个信息承载图案，或至少将信息承载图案中的一个显示为静态图案而其他图案被更新。在图4中被描绘了对两个信息承载图案550、552进行交错编织的一种方式，图4对应于图3a和3b的信息承载图案550、552中的部分553，该部分553由点划线标示出。用于区分两种图案的颜色可以分别为绿色和红色。然而，本领域技术人员认识到可以使用其他颜色。
如图4所描绘的两种不同颜色的信息承载图案的交错编织允许两个图案中的每一个图案被显示在大部分显示器资源上，并且由此，如果两个图案被并排定位，则很可能实现信息承载图案的更高的分辨率。因此，这种布置允许在每个传输中包括更多的信息。两个信息承载图案550、552的交错编织是通过使每个信息承载图形元素，例如qr码中的信息位置554(其与根据该信息位置的状态而通常被着色为白色或黑色的正方形中的每一个正方形相对应)，被细分为更小的区域来形成的。在图4中，每个所描绘的信息位置被细分为16个更小的区域，其被表示为在用于表示信息位置554的正方形之内的较小的正方形。在图4中，不同颜色的信息承载图案550、552由不同的阴影线来描绘。具有垂直的阴影线图案的子区域(诸如子区域556等)可以表示第一颜色(例如，绿色)，并且具有倾斜的阴影线图案的子区域(诸如子区域558等)可以表示第二颜色(例如，红色)。如图4所描绘的，用于表示信息位置554的相同数量的子区域可以分别表示第一颜色和第二颜色，并且可以交替地布置在信息位置554中。因此，用来自图3a和3b中所描绘的单独的信息图案中的部分553中的每一个而组合的如图4所描绘的信息承载图案的结果是，当在信息承载图案中的每一个信息承载图案中的对应位置为白色时信息位置554为全白色；包括由信息承载图案中的每一个信息承载图案中的对应位置所产生的两种颜色的子区域的信息位置554为黑色；包括第一颜色的子区域和白色子区域的信息位置554指示图3a的第一颜色信息图案中的对应位置为黑色并且图3b的第二颜色信息图案中的对应位置为白色；并且包括第二颜色的子区域和白色子区域的信息位置554指示图3b的第二颜色信息图案中的对应位置为黑色并且图3b的第二颜色信息图案中的对应位置为白色。
现将在参考图5，其示出根据本发明实施例的流程图。在s600，开始信息接收过程。该过程在运动视频摄像机中或者在包括处理单元和运动视频摄像机的系统中执行。在s602，运动视频摄像机记录由运动视频摄像机的图像传感器捕捉到的运动视频帧。在s604，对所记录的图像帧进行分析以识别信息承载图案。对信息承载图案的识别是以本领域技术人员已知的方式来执行的，并且可以根据所使用的图形码的类型来改变。在s606，在识别出的信息承载图案中，识别并提取出具有第一颜色的信息位置，以形成第一信息承载图案。然后，在s610，对该第一颜色的信息承载图案进行解码。在s612，如果解码后的信息未被损坏，则在s618，该过程通过根据当前作为所传输的信息的接收者的应用程序来管理解码后的未损坏信息而继续。应用程序是在系统中运行的计算机程序。如上所述，这样的应用程序可以是例如摄像机定位应用程序、摄像机设置应用程序、音频配置应用程序等。然后，当所传输的信息已被传递给适当的接收者时，过程返回到用于记录新的图像的步骤s602以便进行解码。
然而，在s612，如果确定出在步骤s610中解码出的信息被损坏，则在s614，识别并提取出具有第二颜色的信息承载图案的信息位置，以形成第二信息承载图案。然后，在s616，对第二颜色的信息承载图案进行解码，并且，在s618，依据当前作为所传输的信息的接收者的应用程序来管理该解码后的非损坏信息，并且过程返回到s602。
本发明的实施例可以被用在用于确定固定式监视和/或监控摄像机的位置的系统中，这将在下面更详细地描述。下面的描述还给出了在以上所讨论的信息承载图案中包括些什么以及信息承载图案自身的其他用途的示例。摄像机不是移动式的，即其并不经常从一个位置移动到另一位置，在这种意义上，摄像机是固定式的。然而，摄像机很可能是ptz摄像机，即能够平移和倾斜的摄像机。
根据一个实施例，参见图6，具有显示器12的移动设备10被操作以生成qr码，该qr码至少包括用于指示移动设备10的地理位置的信息。当然除了qr码之外还可以使用其他的图形码，例如，任何二维的图形码、任何一维的图形码、纯文本等。但是为了便于理解本发明，将在说明书的其余部分的示例中自始至终使用qr码。可替代地，可采用临时编码，例如，使用显示器上的一个或多个位置处的亮度变化来传输的信息。然而，临时编码可能无法体现出与某些二维图形码相关的全部优点。移动设备可以是移动电话、便携式gps、平板计算机、或者具有显示器及所需功能部件的任何其他设备，所需功能部件在实施例之间有所不同，并且都将在下面被描述。qr码被显示在移动设备10的显示器12上，并且移动设备10的显示器被显示给监控系统中的监控摄像机14，即移动设备的显示器被暂时设置为朝向监控摄像机的光学输入(例如镜头)，以使摄像机捕捉并检测被呈现在移动设备的显示器上的qr码的图像。然后对qr码进行解码，并且监控摄像机以在代码中给出的位置信息来标记，即地理位置信息被存储在摄像机中并被识别为该摄像机的位置，或者地理位置信息被存储在中央服务器中，在该中央服务器，地理位置信息被存储为特定摄像机的位置。
在图7中示出了被呈现在移动设备10的显示器12上的qr码22的示例，图中的qr码22不携带根据本发明的信息而是一示例，该示例被包含用于说明qr码22可以传达给监控摄像机14和/或监控系统的一些附加参数。在一个实施例中，qr码22除了位置之外还可以包括qr码22的显示器特定空间信息。该显示器特定空间信息可以涉及qr码22被呈现在显示器12上时的实际大小或实际距离。例如，显示器特定空间信息可以表示qr码22的两个角部之间的距离lq，其可以表示qr码22中的位置指示器p的宽度wp或高度hp。该显示器特定空间信息可以由监控摄像机14或系统使用，以计算监控摄像机14与移动设备10之间的距离。该计算出的距离可以随后被利用，以对在监控摄像机中接收到的移动设备10的地理位置进行调整，以便更接近地对应于监控摄像机14的实际地理位置。显示器特定空间信息可以被用在更多将在下面讨论的调整以及计算中。
另外，qr码22可以包括与移动设备10朝向的水平方向相关的信息。该方向可以以相对于北的度数的方式来给出，如在罗盘中所使用的那样，并且该水平方向可以通过被包含在移动设备10中的电子罗盘来生成。该水平方向可以被看作是监控摄像机14的平移的角度或方向。此外，qr码22可以包括与移动设备10朝向的垂直方向相关的信息，即倾斜角。该倾斜角可以通过移动设备10中的倾斜传感器来生成。
由移动设备10给出的平移和/或倾斜的方向可以被假定为监控摄像机的近似实际的平移和/或倾斜的方向，尤其是当移动设备10的显示器12在平面内大致保持正交于监控摄像机14的光轴时。如果是这种情况，则移动设备10的背面被设置为朝向与监控摄像机14相同的方向。为了便于用户保持移动设备10的显示器12大致正交于显示器，监控摄像机14可以对移动设备10的显示器12上的图案进行检测，并检查呈现在显示器12上的图案中的直线是否被捕捉为大致上直的线或者呈现在显示器12上的具有相同尺寸的图形特征是否确实被捕捉为相同尺寸的特征。当监控摄像机14识别出移动设备10的显示器12大致正交于光轴时，监控摄像机14可以发出信号或使光源发出光。qr码22或所使用的任何其他代码可被用作这种类型的参考图案。另外，qr码22可以被经常变更以包括移动设备10的改变方向，以便在qr码22的图案被正确对准时，能够使监控摄像机14对真正的方向进行捕捉。
可替代地，监控摄像机14捕捉用于表示qr码22的图案，然后计算光轴与qr码22中给出的方向之间的偏差。该计算可以是基于由监控摄像机14所捕捉的图案的透视变形。这种计算的示例将在下面给出。
在另一实施例中，qr码22可以包括滚转角。在本申请的描述中，滚转角应被解释为一角度，通过该角度，移动设备10必定会围绕正交于显示器12的轴旋转，以使底部或顶部显示器边缘成为水平平面，即真实世界的水平平面。对于监控摄像机14，滚转角被定义为类似的角度，通过该角度，监控摄像机14必定会围绕其光轴旋转，以使所捕捉的图像的底部或顶部边缘成为水平平面，即真实世界的水平平面。在结合陀螺罗盘(gyro)的一些实施例中，移动设备10的滚转角可以通过加速计来检测，并且在显示器12上以qr码22呈现。该信息可随后由监控摄像机14使用，以计算其滚转角。
此外，在一个实施例中，当移动设备10被授权将位置数据和其他可能的可应用数据提供给监控摄像机14及监控系统时，qr码22包括用于对设备10进行认证的加密代码。加密代码可以使用公共密钥加密、对称密钥加密、或任何其他类型的加密来实现。在不同类型的加密中，存在多个众所周知的实施方案。
经由qr码22对位置数据和其他可能的数据进行传输的开始是通过使监控摄像机14频繁运行qr码22的检测过程来实现的。以这种方式，监控摄像机14随时准备经由qr码22来接收坐标和其他数据。一个缺点可能是当没有欲识别的qr码22时，系统资源可能会在较长的时间周期内被浪费。因此，这种方法可能会被用在qr码也被用于其他用途的系统中，并且其中对用于这些其他用途的qr码的使用将在非常高的频率下执行，使得用于频繁运行qr码检测过程的系统资源的使用是可承受的。运行用于检测qr码的过程的频率可依据应用程序而不同。然而，人们不应被要求等待三十秒以上来进行检测。当监控摄像机14已检测到qr码时，监控摄像机14上的一些指示物(声音或光)应当通知对移动设备10进行控制的人们：qr码22已被检测到并且其过程已经开始或者结束。
可替代地，qr码检测时期是由来自被授权对监控网络进行控制的设备的网络信号所发起的。该系统可以被设置为使监控系统中的监控摄像机14的全部或一部分在上述时期内以预定的间隔运行qr检测过程。优选地，该过程在代码被检测到之前应当时常运行，以使将移动设备显示给监控摄像机14的用户不会注意到任何令人讨厌的延迟。在其中频繁运行检测过程的qr码检测周期可被设定为特定的长度，例如，一个小时或三十分钟，所有这一切都取决于监控系统的扩展。可替代地，qr码检测周期可通过从被授权对监控网络进行控制的相同设备中或从也被授权的其他设备中发送信号来手动结束。
根据任何上述实施例的被提供给监控摄像机14的信息可由监控摄像机14或由监控系统使用，以便用于很多用途。例如，位置和方向的信息可以被用来准确地定位地图或建筑物平面图上的监控摄像机14。该位置可以被用于在正确的位置处描绘监控摄像机14。平移方向可以被用于描绘对由监控摄像机14所监控的区域的标示；对该区域的计算可以通过考虑由摄像机所采用的焦距来细化。
监控摄像机14的滚转角与监控摄像机14的倾斜角可以被用于以电子方式对所捕捉的图像进行调整，以便消除倾斜的水平线和透视变形。
此外，监控摄像机14的位置和平移方向可以被用在监控系统中，以便对监控摄像机14之间的跟踪对象进行切换或者识别非监控区域。
根据本发明的一个实施例，用于确定监控摄像机14的位置的过程包括：人或车辆配备有移动设备10，并且移动设备10的显示器12朝向监控摄像机14。当移动设备10处于使其显示器12被监控摄像机14捕捉到的位置时，以下参照图8和图9来描述的过程将给出用于确定监控摄像机14的位置的示例。现在参照图8，在s302，移动设备10从位置传感器中读取地理坐标。由于设备10已被接通，因此对地理坐标的该读取可由移动设备10连续执行，这可以响应于设备10的用户启动包括该过程的应用程序而开始；并且这可以与移动设备10正被用于确定监控摄像机14的位置相关地开始。如果可能，这不是针对所有实施例的情况，在s304，从方向传感器中读取显示器12或移动设备10的背面被定向的方向，在s306，从倾斜传感器中读取倾斜方向，并且在s308，从滚转传感器中读取滚转方向。被用于倾斜方向和滚转方向的数据可以从相同的传感器中被读取。随后在s310，在移动设备10中生成包括从传感器中读取的数据的至少一个帖(post)的消息。存储在移动设备10中的预定的认证码或由用户键入的认证码也被包含在该消息中。此外，如结合图7所讨论的，显示器特定空间信息也可以被包含在该消息中。在s312，当消息已被生成时，其被编码为qr码22。在s314，该qr码22随后被显示在移动设备10的显示器12上。该过程随后返回到s302以读取新的传感器数据，以便显示包括可能被更新的传感器数据的新的qr码22。
现在参考图9，在步骤402，作为监控摄像机的其操作的一部分，监控摄像机14以预定的速率连续捕捉图像。随后在s404，对当前捕捉到的图像检查qr码22。在s406，如果没有发现qr码22，则该过程返回到s404，并且对之后捕捉的图像检查qr码22，这将被重复直到在所捕捉的图像中发现qr码22。不一定对每个被连续捕捉到的图像都检查qr码22。当发现qr码22时，在s408，qr码22被转换或解码为可由监控摄像机14处理的形式。随后在s410，对所获得的消息检查有效的认证码。在s412，如果没有发现有效的认证码，则过程返回到s404，在s404中，该过程对新的图像检查qr码22。然而，如果认证码是有效的，则该消息包括被授权的传感器数据，并且在s414，提取该传感器数据。随后在s416，将所提取的传感器数据帖存储在监控摄像机14中，其被直接使用或者用于通过将传感器数据与如下数据组合来进一步细化，上述数据是由所捕捉的qr码22的图像的分析与被包含在qr码22中的显示器特定空间信息相结合而产生的。然后该过程结束，并且监控摄像机14具有已存储的其通常定位的信息，例如地理坐标、水平方向、垂直方向和/或滚转方向。
现在将参考图10，对能够执行本发明的过程的移动设备10的一个实施例进行描述。移动设备包括：显示器12；处理单元102，被设置为执行代码，该代码用于对移动设备10的功能进行定义；易失性存储器104；非易失性存储器106；显示驱动器108，将显示器12与移动设备10的其余部分相连接，以将移动设备10的信息呈现在显示器12上；输入装置110，用于将数据手动输入到移动设备；gps接收器112，用于通过访问一些地理定位服务来获取移动设备的地理位置；罗盘114，用于提供移动设备10所面对的方向；以及倾斜和滚转传感器116，其可以是单一的传感器，但可替代地为两个单独的传感器。此外，根据本实施例的移动设备10包括：qr码生成器118，被实现为由处理单元102执行的程序模块；以及消息生成器120，也被实现为由处理单元102执行的程序模块。
倾斜和滚转传感器116可以是包括多个加速计的模块，该加速计被设置为至少对这些角度或方向进行检测。然而，倾斜和滚转传感器116也可以是两个倾斜传感器，例如，一个用于从前向后的倾斜也就是俯仰，一个用于从一边到另一边的倾斜，例如滚转。
现在将参考图11，对能够执行本发明的过程的监控摄像机14的一个实施例进行描述。监控摄像机14可以是任何普通的监控和/或监视摄像机。本发明可有利地应用于监控或监视预定区域的固定式摄像机。因此，监控摄像机14包括：普通的监控摄像机的特征(例如镜头202)、图像传感器204、图像处理器206、中央处理单元208、易失性存储器210以及非易失性存储器212。另外，监控摄像机14可以是网络化的监控摄像机，在这种情况下，监控摄像机14包括物理的和逻辑的网络接口214。此外，本发明实施例的监控摄像机14包括qr码解码器216、位置设定模块218、整体平移方向设定模块220、以及整体倾斜和滚转设定模块222。
qr码解码器216被设置为对用于表示qr码的图形进行处理并且重新创建消息，该消息在移动设备10中被编码为qr码22，该处理通过本领域技术人员所公知的算法来执行。在使用其他图形表示的应用中，代替地，将解码器适用于这些图形表示。例如，如果代码是被呈现在移动设备的显示器上的纯文本，则代替地实施基于解码器的光学字符识别(ocr)，并且如果代码是条形码，则代替地实施条形码解码器。
位置设定模块218被设置为在监控摄像机14中存储位置，以供日后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在qr码22中的显示器特定空间信息和在所捕捉的qr码22的图像中测定到的特征而计算出的附加数据来提高位置的精度，则这些精度提高的计算也可在位置模块218中执行。
整体平移方向设定模块220被设置为将用于表示监控摄像机14的观察方向的罗盘方向存储在监控摄像机14中，以供日后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在qr码22中的显示器特定空间信息和在所捕捉的qr码22的图像中测定到的特征而计算出的附加数据来提高平移方向的精度，则这些精度提高的计算也可在整体平移方向设定模块220中执行。
整体倾斜和滚转设定模块222被设置为将用于表示摄像机的倾斜的值及用于表示监控摄像机14的滚转的值存储在监控摄像机14中，以供日后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在qr码22中的显示器特定空间信息和在所捕捉的qr码22的图像中测定到的特征而计算出的附加数据来提高滚转和/或倾斜的精度，则这些精度提高的计算也可在整体倾斜和滚转设定模块222中执行。
监控摄像机还可包括焦距检测器224，该焦距检测器224被设置为提供与监控摄像机14的光学系统202的当前焦距有关的数据。焦距检测器224可被实现为来自步进电机或用于对摄像机的变焦功能进行控制的任何其他控制系统的定位信号，或者其可以是在用于分析所捕捉的图像数据的监控摄像机的处理单元上运行的图像分析方法的一实现方式。而且，在焦距不可改变的系统中，焦距值可被存储在监控摄像机中，以供在计算中使用。
对qr码是否存在于所捕捉的图像中的检测可以在图像处理器206中执行。在之前的流程图中所描述的过程以及移动设备10或监控摄像机14的其他功能可被实现为在相应设备的处理单元(例如移动设备10的处理单元102和监控摄像机14的中央处理单元208)中执行的程序代码，或者这些过程或功能可以利用逻辑电路来实现。
根据一个实施例，监控摄像机14被连接到包括中央服务器20的网络，如上所述获得的任何位置和方向的数据被发送到中央服务器20，以供进一步使用或处理。这种网络化的系统可包括也用于实现本发明的附加的监控摄像机16。与摄像机的位置和方向有关的数据可被用于在分布图上的精确位置处绘制出特定监控摄像机的表示，并且可被用于在其安装方向上对准摄像机和摄像机视图的标示。
如以上所提到的，摄像机的位置和方向的更精准的确定可基于移动设备的位置和方向并且使用在移动设备上显示的qr码或其他图案的尺寸及形状的信息来计算。例如，可以使用用于描述真实世界中的3d坐标与摄像机的3d坐标之间的关系的单应性。
如果移动设备的地理坐标已被确定并且可通过捕捉qr码来获得，并且在qr码中还包含关于qr码的大小及形状的信息，则可以确定移动设备与摄像机的位置之间以及取向之间的关系。因此，摄像机的位置可通过使用本身已知的摄像机校准过程的原则来更精准地确定，以便确定摄像机与移动设备之间在位置上以及方向上的差值，并通过使用这些差值来从移动设备的位置和方向中确定出摄像机的位置和方向。
给定的关于qr码的大小及形状、qr码的各个点的位置(例如，角落或位置指示器)的信息在qr码自身的坐标系中已知。通过对qr码的图像中的点与在移动设备上显示的qr码中的对应点进行匹配来获得坐标对。这样的对中的坐标之间的关系可用下面的公式来表示：
(xi,yi)→(xi,yi,zi)
其中，(xi，yi)表示图像中的2d坐标，(xi，yi，zi)表示真实世界中的3d坐标。
真实世界的点(例如，在所显示的qr码中的点)和图像的点(例如，在被摄像机捕捉时的qr码中的点)可通过齐次向量来表示。参考图12，其中的中央投影是线性变换，其可被表示为如下：
其中，f是摄像机的焦距，(xi，yi，f)表示图像中的点的3d坐标，(xs，ys，zs)表示场景中的对应点的3d坐标。
这里给出的计算可以在没有当前焦距的已有知识的情况下执行，但是，如果焦距是已知的，那么计算将变得更快。之后将在本说明书中给出用于获取当前焦距的方法的一些示例。
可使用被表示为(x0，y0)的图像中心和用于从长度到像素的缩放的、被表示为kx和ky的缩放因子，来进行从长度到像素的变换。在下面的两个等式中，xpix和ypix表示在像素中测量到的坐标。
类似于以上以长度来表示的等式，可使用以像素来表示的如下等式：
其中
αx＝fkx，
αy＝fky，
其可以被视为在像素中给出的焦距。
像素坐标可被表示为如下：
增加偏斜参数s，可被重新整理为如下：
3×3的上三角矩阵k被称为校准矩阵。矩阵k中的参数包含摄像机的内部参数，并且是变换操作中的重要输入。
参考图13和图14，图像坐标系中的场景点(xs，ys，zs)与真实世界坐标系中的场景点(xs，ys，zs)之间的关系可通过将从图像坐标系的开始点到真实世界坐标系的开始点的转换向量co＝t与用于描述真实世界坐标系中的点m的矢量相加来获得。
cm＝co+om，
xsi+ysj+zsk＝txi+tyj+tzk+xsi+ysj+zsk，
xs＝tx+xsi.i+ysj.i+zsk.i，
使用齐次坐标，这可被写为如下形式：
这可被替代地表示为：
cm＝om-oc，
xsi+ysj+zsk＝(xs-xc)i+(ys-ysc)j+(zs-zc)k，
xs＝(xs-xc)i.i+(ys-yc)j.i+(zs-zc)k.i，
摄像机投影矩阵和坐标变换矩阵可被组合成一个矩阵p。
给出：
这可被表示为：
或
x＝px
这可被简化为如下：
该矩阵p具有11个自由度，其中的5个来自三角校准矩阵k，3个来自r，并且3个来自
为了确定摄像机的转换，应当找出场景中的c的齐次坐标。c是矩阵p的零向量。因此：
pc＝0
p的零向量c可以利用奇异值分解来找到。
进一步，可以找到摄像机的取向和内部参数。这里，应当指出，p的左侧3×3子矩阵m形式为m＝kr。k是上三角矩阵，r是正交矩阵。非奇异矩阵m可使用rq因式分解而被分解为k和r乘积。正如已指出的，如果校准矩阵k是已知的，即，摄像机被校准，那么计算将被简化。
矩阵p可通过获得世界坐标系中的3d点xi和xi在图像中的对应图像xi来计算，并且对于所有的i，都写为xi＝pxi。该矩阵p可随后被用于基于移动设备的位置来计算摄像机的位置和取向，正如在通过从矩阵p中计算出的参数来调整的移动设备上显示的qr码中所表明的那样。在矩阵c中给出了在真实世界坐标中相对于qr码的摄像机的位置，即与在由摄像机捕捉的图像平面以外的三维世界有关的坐标，并且在矩阵r中给出了相对于真实世界坐标系的三个轴的摄像机的取向，即摄像机相对于这些轴的旋转。
这样的计算可使用可用的软件代码来执行，例如，在opencv(opensourcecomputervisionlibrary，开放源代码计算机视觉类库)或matlab的摄像机标定工具箱中。
系统的焦距，也就是镜头的焦距，可以从以上的矩阵p中提取出。然而，为了加快计算并且使上述矩阵的求解需要较少的处理能力，可预先提供焦距。在这些情况下，焦距可以是预设的(例如，在带有固定焦距镜头的系统中)或者可以是被键入的。可替代地，监控摄像机可使用自动焦距确定方法。存在着大量的被设计用于标识所用镜头的焦距的方法。参考图15，这种方法的一个示例利用在以下等式中给出的近似值：
在该等式中，h1是具有高度h的对象的捕捉后高度，上述捕捉后高度例如图7中的图形码的距离lq或者整个移动设备的高度。l1是从摄像机到对象的距离，并且f是所用镜头的焦距。参见图16，如果在图像传感器上捕捉到的对象的高度h1通过摄像机在距离摄像机的第一距离l1处被确定，并且随后在图像传感器上捕捉到的对象的高度h2通过摄像机在第二距离l2处被确定，则焦距f可以被计算出。
为了实现这一目标，测量或估计对象的两个捕捉图像之间的移动距离，以下被称为d。
d＝l1-l2
对象的实际高度是独立于位置而相同的，这导致了下述：
和
h1l1＝h2l2＝h2(l1-d)
然后
这导致下面的焦距等式：
因此，通过在两个不同的捕捉时刻，在图形码之间的预定距离处，捕捉图形码的两个图像，摄像机能够计算焦距。
在其他实施例中，监控摄像机14的位置可通过保持移动设备与监控摄像机14的联系来确定。移动设备10可被保持在镜头的前面以使移动设备10被定位于大致与监控摄像机14相同的地理位置，并且如果移动设备10的背面或前面被保持齐平于监控摄像机14的镜头的外边缘，则移动设备10的方向和移动设备的方向将大致上一致。此外，为了使监控摄像机14的滚转角大致对应于移动设备10的滚转角，持有移动设备10的用户可以改变移动设备10的滚转角，直到移动电话的大致上为直线的边缘在可视化地上与监控摄像机14的大致上为直线的特征相对齐，例如，用户可以以保持移动设备的上边缘平行于监控摄像机14的上边缘或表面为目标。当移动设备10被保持于如上所述的位置时，用户将触发一过程，该过程用于至少暂时存储由移动设备10检测到的地理位置、方向和滚转角中任何一个或者任何组合。该存储过程可通过用户在移动设备10上按下按钮或者任何其他可能的触发动作来触发。如上所述，移动设备10生成图形码22，以在移动设备的显示器12上显示。图形码22包括例如地理位置、方向和/或滚转角的所存储的数据中的至少一部分。如本说明书中前面描述的那样，图形码可以是qr码。移动设备10从监控摄像机14的镜头处被移动到一距离处，在该处，移动设备10的显示器可被监控摄像机14自身捕捉到。然后监控摄像机可根据被编码成图形码的特征，对图形码进行解码，并确定其地理位置、其观察方向和/或其滚转角。
滚转角在该设置中可以是动态的，即当移动设备10被触发用于存储其余的位置数据时其不会被锁定于已捕捉的值。于是监控摄像机14可以对如前所述的滚转角数据进行操作，在该情况下，滚转角数据被频繁更新，并且因此qr码被频繁更新。
在其他实施例中，上面的过程可以被采用，以帮助安装或维修监控摄像机14的人在所捕捉的图像中获取水平程度。移动设备10如在以上任何实施例中所描述的那样被保持于摄像机的前面。呈现在移动设备的显示器12上的图形码使用至少与移动设备10的滚转角相关的信息来频繁更新。摄像机基于所捕捉的图形码的图像和由图像码所携带的解码后信息来计算其自身的滚转角，即，监控摄像机计算基于所捕捉的图像和从移动设备10中提供的信息来计算其滚转角。随后对由此获得的监控摄像机的滚转角进行评估，例如，通过监控摄像机自身或通过被连接到摄像机的网络中的计算设备，对由监控摄像机14生成的声音或光进行控制，以指示滚转角是否可接受。还可以生成声音或光用以指示滚转角是可接受的或者其是不可接受的。
为了便于理解这种实现方式，将给出一示例。移动设备被保持于用于示出图形码的监控摄像机14的前面，使得其可被摄像机捕捉到。如果摄像机围绕监控摄像机的光轴并相对于水平线而形成角度，则发光二极管(led)被激活以发光。安装或维修摄像机的人可随后围绕光轴转动摄像机直到led停止发光，这表明滚转角是可接受的。
如果在确定摄像机的位置时希望高精度，则当移动设备在摄像机的前面四处移动时，需要更新在移动设备上显示的qr码或其他图案。但是，由于摄像机捕捉图像的帧速率并不一定与移动设备的显示的更新频率同步，因此这会引发捕捉不完整或破碎的qr码的风险。在更新移动设备的显示的时刻所捕捉的图像可能包含旧的qr码和新的qr码的混合。为了减少捕捉不完整的qr码的问题，可以降低移动设备的显示的更新频率，使得在显示器上的图案每秒被更新的次数少于摄像机的帧速率。例如，可以以对应于由摄像机捕捉的两个或三个帧的间隔，对显示进行更新。然而，这会增加延迟，从而将会降低摄像机的位置确定的精度，并且这也将意味着重复对qr码图像进行不必要的处理。
相反，捕捉不完全的qr码的风险却可通过利用摄像机和显示器的不同颜色通道来降低。当qr码被更新时，首先仅在绿色的颜色通道上进行更新，而红色和蓝色的颜色通道仍显示之前的qr码。下一次qr码被更新时，红色和蓝色的颜色通道被更新，而绿色的颜色通道显示与之前相同的qr码。因此，显示器将使用用于显示与移动设备最新确定的位置相对应的qr码的一个或两个颜色通道、以及用于显示与移动设备之前确定的位置相对应的qr码的其他的一个或两个颜色通道，来同时显示两个qr码。也可以以三步处理的方式来执行更新，首先更新一个颜色通道(例如，红色)，随后更新另一个颜色通道(例如，绿色)，最终更新最后的颜色通道(例如，蓝色)。qr码到地理位置的转换每次在摄像机的一个或在可能时两个的颜色通道中完成。如果所捕捉的图像的一个颜色通道包含不完整或混合的qr码，则仍然可以使用另外的一个颜色通道或多个颜色通道来确定摄像机的位置。有利的是，qr码只需要在由摄像机所捕捉的每个图像中出现一次，然后被解码或转换成位置两次(或三次，这取决于更新被分割的颜色通道的数目)，即每个适用的颜色通道一次。
本领域技术人员将认识到这样的更新方法并不限于qr码，而是如前面所讨论的，可以使用各种图案。这种方法也不限于rgb(红、绿、蓝)色彩空间，而是可以使用由手头的移动设备显示器与摄像机的组合所采用的任何色彩空间。
在替代实施例中，如本说明书中所描述的，针对信息的传输而使用不同颜色的图形码的可视化传输也可以被用在音频校准系统及过程中，如图1中的扬声器所指示的。可以采用运动视频摄像机14和扬声器16被连接到用于对通过扬声器16而生成的音频进行控制的处理设备这种布置，以便对向扬声器16产生电子音频信号的系统的设置进行校准。
显示设备10的麦克风或连接到显示设备10的麦克风记录在麦克风的位置处的音频，分析已登记的音频，并且在显示设备10的显示器12上连续呈现与所记录的音频有关的信息。运动视频摄像机14捕捉显示设备12的运动视频，并且如先前所述地对信息承载图案进行解码。然后可以在设置扬声器的参数过程中使用经由信息承载图案而传输的信息。与可经由信息承载图案而传输的所录音频相关的信息可以是在预定时间段内检测到的声音电平的平均值，可以频繁地更新平均值、表示在一段时期内所记录的声波的数据等。音频系统可以使用用于针对音频信号设置适当的放大电平的信息。在ep-3018917中公开了这种音频系统的示例。
- 还没有人留言评论。精彩留言会获得点赞！