接收装置、接收方法、发送装置、发送方法和通信系统与流程

文档序号:14036228阅读:176来源:国知局
接收装置、接收方法、发送装置、发送方法和通信系统与流程

本公开涉及接收装置、接收方法、发送装置、发送方法和通信系统,更具体地,涉及能够从由选通成像获得的图像中识别id信息的接收装置、接收方法、发送装置、发送方法和通信系统。



背景技术:

选通成像已知为能够通过发射脉冲光并仅使图像传感器在特定时间暴露于反射光来仅对位于特定距离的被摄体进行清晰成像的技术。选通成像也称为主动选通成像、主动成像、距离选通主动成像等(例如,参见非专利文献1)。

参照图1对选通成像的基本原理进行说明。图1示出了在离地面高度d1(例如,100m)处飞行的飞行船10,该飞行船配备有具有朝向地面取向的有效视野(fov)的选通成像装置20,以检测接近地面上存在的建筑物等的监视对象物1的被摄体(嫌疑人)2。

在图1的情况下,在发射脉冲光之后,在时刻t1=(2×d1)/c附近的微小时间内使包含在选通成像装置20中的图像传感器接收光(被曝光)。这里,c表示光速。

根据上述选通成像,即使在地面和飞行船10之间存在雾30、烟雾等,也能够拍摄在距离选通成像装置20距离d1处存在的物体的图像作为清晰图像。因此,可以基于所拍摄的图像检测出接近监视对象物1的被摄体(嫌疑人)2。

[引用文献列表]

[非专利文献]

非专利文献1:davidmonnin,arminl.schneider,frankchristnacher,yveslutz,“a3doutdoorscenescannerbasedonanight-visionrange-gatedactiveimagingsystem,”3ddataprocessingvisualizationandtransmission,internationalsymposiumon,pp.938-945,thirdinternationalsymposiumon3ddataprocessing,visualization,andtransmission(3dpvt'06),2006



技术实现要素:

[发明要解决的技术问题]

需要指出的是,在检测到被摄体(嫌疑人)2的情况下,如图2所示,安保车辆3和无人机(无人驾驶飞行机)4有时由安保公司分派到现场。在这种情况下,由于安保车辆3存在于地面上,所以通过选通成像装置20来拍摄安保车辆3,但是如果在fov中存在另一辆车辆并且在图像中示出了该另一辆车辆,则不能区分该另一辆车辆。此外,由于无人机4不存在于地面上(即,在距离选通成像装置20为距离d1的位置处),所以无人机4不会出现在由选通成像装置20拍摄的图像中。

因此,从由选通成像装置20拍摄的图像中,不能判断安保车辆3是否已经到达,或者不相关的车辆是否偶然到达那里。此外,无法判断无人机4是否已经到达。

需要指出的是,例如,能够想到在安保车辆3和无人机4上提供gps接收装置并从安保车辆3和无人机4将关于安保车辆3和无人机4的位置信息经由预定的通信网络通知到安保公司方的方法。然而,在gps、通信网络等发生系统故障的情况下,也会出现上述问题,因此期望也能够处理这种情况。更具体地,期望能够从由选通成像装置20拍摄的图像中区分存在于地面上的安保车辆3和存在于地面上方的无人机4。

鉴于这种情况而作出了本公开,并且本公开使得能够基于由选通成像装置拍摄的图像来识别存在于地面或天空中的物体。

[解决问题的技术方案]

本公开第一方面的接收装置包括:选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像;和识别部,所述识别部基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

所述识别部可以基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来检测通过对所述id信息进行符号化而获得的id符号,并且对所检测到的id符号进行编码。

所述识别部还可以指定所述发送装置在通过选通成像获得的图像中的位置。

本公开第一方面的接收装置还可以包括提示部,所述提示部将所识别的id信息叠加在所指定的所述发送装置在通过选通成像获得的图像中的位置处,并将其提示给使用者。

本公开第一方面的接收方法是接收装置的接收方法,所述接收装置包括选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像,其中所述接收方法包括由所述接收装置执行的识别步骤,所述识别步骤用于基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

在本公开的第一方面中,基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

本公开第二方面的发送装置包括:受光部,所述受光部接收用于进行选通成像而发射的发射光;发光部,所述发光部发射光学信号;生成部,所述生成部基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和同步检测部,所述同步检测部基于所述受光部的受光量的变化,将所述控制信息输出到所述生成部。

所述同步检测部可以基于所述受光部的受光量的变化来检测所述选通成像的周期的中断,并且与所检测到的周期的中断同步地将所述控制信息输出到所述生成部。

在所述选通成像是单脉冲方式的情况下,所述生成部可以基于在同一周期中发送的id信息,来生成用于指示所述发光部维持发光的状态或指示所述发光部维持不发光的状态的控制信息。

在所述选通成像是伪随机数方式的情况下,所述生成部可以基于在同一周期中发送的id信息,来生成用于指示所述发光部以与所述受光部的受光模式相同的相位闪烁或指示所述发光部以与所述受光部的受光模式相反的相位闪烁的控制信息。

在所述选通成像是伪随机数方式的情况下,所述生成部还可以基于在同一周期中发送的id信息来生成用于指示限制所述受光部的发光量的控制信息。

本公开第二方面的发送装置还可以包括延迟部,所述延迟部用于在所述选通成像是伪随机数方式的情况下,将由所述生成部生成的控制信息延迟任意给定时间,并将所述控制信息发送到所述发光部。

作为本公开第二方面的发送装置还可以包括检测高度的高度检测部,并且所述延迟部可以在延迟对应于所检测到的高度的时间的情况下将由所述生成部生成的控制信息发送到所述发光部。

本公开第二方面的发送方法是发送装置的发送方法,所述发送装置包括:受光部,所述受光部接收用于进行选通成像而发射的发射光;和发光部,所述发光部发射光学信号,其中由所述发送装置执行的发送方法包括:生成步骤,用于基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和控制步骤,用于基于所述受光部的受光量的变化,将所述控制信息输出到所述发光部。

在本公开的第二方面中,基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息,并且基于所述受光部的受光量的变化,将所述控制信息输出到所述发光部。

此外,根据本公开第三方面的通信系统是包括进行选通成像的接收装置和利用光学信号向所述接收装置发送id信息的发送装置的通信系统,并且所述发送装置包括:受光部,所述受光部接收用于进行选通成像而发射的发射光;发光部,所述发光部发射光学信号;生成部,所述生成部基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和同步检测部,所述同步检测部基于所述受光部的受光量的变化,将所述控制信息输出到所述生成部。所述接收装置包括:选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像;和识别部,所述识别部基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

在本公开的第二方面中,所述发送装置基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息,并且基于所述受光部的受光量的变化,将所述控制信息输出到所述发光部。此外,所述接收装置基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

[发明的效果]

根据本公开的第一方面,基于通过周期性选通成像获得的多个时间系列图像,可以识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

根据本公开的第二方面,可以将id信息作为其中可以显示选通成像的图像的光学信号来发送。

根据本公开的第二方面,可以从利用选通成像拍摄的图像中识别id信息。

附图说明

图1是用于说明选通成像的基本原理的图。

图2是用于说明问题的图。

图3是示出了本公开适用的选通成像装置的构成的概要的图。

图4是示出了一个像素的构成例的图。

图5是示出了脉冲光的发光时机与曝光时间之间的关系的图。

图6是示出了在采用单脉冲方式的情况下选通成像的状态的图。

图7是用于说明伪随机数的性质的图。

图8是示出了相关性计算的状态的图。

图9是示出了相关性计算的具体例的图。

图10是用于说明曼彻斯特编码方式的图。

图11是示出了图3所示的选通成像装置的构成例的框图。

图12是示出了本公开适用的id发光装置的构成例的框图。

图13是示出了id符号的发送(发光)和接收(受光)的图。

图14是示出了在进行单脉冲方式的选通成像的情况下id符号的发送和接收的图。

图15是示出了支持单脉冲方式的id符号发送处理的流程图。

图16是说明支持单脉冲方式的id符号接收处理的流程图。

图17是示出了发光模式检测处理的状态的图。

图18是说明发光模式检测处理的细节的流程图。

图19是说明发光模式检测处理的细节的流程图。

图20是说明发光模式检测处理的细节的流程图。

图21是示出了在进行伪随机数方式的选通成像的情况下id符号的发送和接收的图。

图22是示出了在进行伪随机数方式的选通成像的情况下id符号的发送和接收的图。

图23是示出了对应于伪随机数方式的id符号的发送的具体例的图。

图24是说明支持伪随机数方式的id符号发送处理的流程图。

图25是示出了条件和控制信息之间的对应关系的图。

图26是示出了选通成像装置和id发光装置的假设使用例的图。

图27是示出了发光模式检测处理的细节的流程图。

图28是示出了发光模式检测处理的细节的流程图。

图29是示出了发光模式检测处理的细节的流程图。

图30是示出了在进行伪随机数方式的选通成像的情况下如何在1个周期中发送和接收四种类型的信息中的一种的图。

图31是示出了在进行伪随机数方式的选通成像的情况下如何在1个周期中发送和接收四种类型的信息中的一种的图。

具体实施方式

在下文中,参照附图对用于实施本公开的最佳模式(以下称为实施方案)进行详细说明。

<作为本实施方案的选通成像装置的构成的概要>

图3是示出了作为本公开的选通成像装置的构成的概要的图。代替图2所示的选通成像装置20,假设选通成像装置100安装在飞行船10等上。选通成像装置100基于由选通成像获得的图像检测到接近监视对象物1的被摄体(嫌疑人)2,并且基于该图像来识别由存在于fov中的安保车辆3、无人机4等通知的id信息。

选通成像装置100具有发光部110和图像传感器120。发光部110以能够到达至少可以在给定距离d1处存在的被摄体2的发光强度照射脉冲光。图像传感器120包括二维排列的多个像素。一般而言,构成图像传感器的像素的数量在垂直和水平方向上都是几百到几千个像素。

需要指出的是,尽管未示出,但是在图像传感器120的光的入射面侧上形成有透镜。当入射光被透镜聚焦时,被摄体2的光学图像被投影到图像传感器120内部的受光元件121(图4)上。

图4示出了构成图像传感器120的多个像素中的一个像素的构成例。

图像传感器120的各像素具有受光元件121、选择器122、第一电荷累积部(fd1)123、第二电荷累积部(fd2)124、开关125和开关126。

受光元件121根据在曝光时间内接收到的入射光进行光电转换,并将获得的电荷作为结果输出到选择器122。根据来自控制部130(图11)的外部的选择信号,选择器122将在曝光时间内由受光元件121生成的电荷从输出端子122a输出到第一电荷累积部123,或者从输出端子122b输出到第二电荷累积部124。另外,根据该选择信号,选择器122将在曝光时间外从受光元件121输出的电荷从输出端子122c输出到漏极。

将在第一电荷累积部123中累积的电荷经由根据来自控制部130的fd1读出控制信号而打开和关闭的开关125以及经由数据读出线127输出到图像传感器120的外部。类似地,将在第二电荷累积部124中累积的电荷经由根据来自控制部130的fd2读出控制信号而打开和关闭的开关126以及经由数据读出线127输出到图像传感器120的外部。

需要指出的是,在输出所累积的电荷的阶段,根据来自控制部130的复位信号使第一电荷累积部123和第二电荷累积部124复位。

接下来,图5示出了在对位于距选通成像装置100的距离d1处的被摄体2进行成像的情况下,发光部110的脉冲光的发光时机与图像传感器120的曝光时间之间的关系。

同时示出了,当在时机0发射的光是脉冲光时,存在于选通成像装置100和被摄体2之间的来自雾30的反射光首先到达选通成像装置100,此后,来自被摄体2的反射光到达选通成像装置100。

因此,如果在来自雾30的反射光到达选通成像装置100的时机没有进行曝光,并且采用来自被摄体2的反射光到达选通成像装置100的时机t1为中心的微小时间作为曝光时间,则可以对地面上的被摄体2进行清晰成像而不用显示天空中的雾30。

顺便提及地,用于选通成像的脉冲光的发光模式包括单脉冲方式和伪随机数方式。在下文中,对单脉冲方式和伪随机数方式进行说明。作为本实施方案中的前提条件,假设每1/60秒连续进行选通成像。在下文中,其中进行单次选通成像的1/60秒将被称为1个周期。此外,假设选通成像装置100到地面(被摄体2)的距离d1是100m。

在这个假设中,从发光部110照射的脉冲光需要333纳秒(nsec)到达100米远的地面(被摄体2)。此外,在发光之后,光被地面(被摄体2)反射并返回到图像传感器120需要666纳秒。

<单脉冲方式的选通成像>

图6示出了在采用单脉冲方式作为脉冲光的发光模式的情况下的选通成像的状态。

在单脉冲方式中,例如,在1/60秒期间,每2微秒(μsec)发射5000次脉冲宽度为50纳秒的脉冲光。对于图像传感器120的各像素,在当自各发光起已经过666纳秒时的时机进行曝光(更具体地,在自发光起经过(666-25)纳秒之后开始曝光,并且在自发光起经过(666+25)纳秒之后停止曝光)。结果,即使在选通成像装置100和地面之间存在雾30和烟雾,也可以获得地面的清晰图像。需要指出的是,可以根据需要改变微小时间(在该情况下是25纳秒)的值。

需要指出的是,本文所述的“曝光”是指通过根据选择器122的控制信号(选择)而将输出目的地设定到输出端子122a,将来自受光元件121的电荷存储在第一电荷累积部123中。在单脉冲方式中,未使用第二电荷累积部124。

此外,通过仅接收单次脉冲光的反射光,第一电荷累积部123的电荷累积太少,从而使得反射光被累积5000次。更具体地,进行5000次脉冲光的发光和曝光。这产生了有意义的电荷量。另外,与脉冲宽度为50ns相比每2μs的更长时间进行发光,使得第i(i=1~4999)次发光的反射不影响第(i+1)次的曝光。

每2微秒进行5000次“发光和曝光”需要10毫秒(msec),因此,在单次选通成像的时间(1/60秒)中的剩余的6.6毫秒(=1/60秒-10毫秒)期间,通过从各像素的第一电荷累积部123读取电荷并从已经读取的像素的电荷量构造图像,可以获得地面的清晰图像。

<伪随机数方式的选通成像>

接下来,对伪随机数方式的选通成像进行说明,但是在说明之前,对伪随机数的性质进行说明。

图7是用于说明伪随机数的性质的图。顾名思义,伪随机数具有与随机数相同的性质。更具体地,自相关函数仅在原点处具有正值,并且在原点以外变为0。需要指出的是,m序列用作伪随机数。m序列是特定长度的信号,并且是1和-1随时间以50%的概率伪随机改变的二元函数。假设信号sig1是通过重复该m序列获得的信号。

图7中的a所示的信号sig2是与信号sig1相同的信号。信号sig1和信号sig2的相关性(乘积之和)是正值。

图7中的b所示的信号sig3是通过将信号sig1延迟任意时间(严格地说,不包括一个m序列的长度的整数倍)而获得的信号。信号sig1和信号sig3之间的相关性为0。

图7中的c所示的信号sig4是通过使信号sig1反转而获得的信号。信号sig1和信号sig4之间的相关性是负值。

图7中的d所示的信号sig5是直流信号(总是定值(1或-1))。信号sig1和信号sig5之间的相关性是0。

从图7中的a和b所示的伪随机数的性质可以看出,为了接收从发光部110发射的m序列的发光模式的反射光,可以在图像传感器120中进行曝光,以与延迟了时间t1的m序列的信号相关。因此,只能清晰地拍摄到在距离d1处的被摄体。需要指出的是,这里保持t1=(2×d1)/c。

图8是示出了上面说明的相关性计算的状态的图。实际的相关性计算通过图4所示的各像素的构成来实现。更具体地,将延迟了时间t1的m序列的信号作为选择信号输入到选择器122。更具体地,根据m序列的二进制值,例如,当m序列的信号是1时,选择第一电荷累积部123作为输出目的地,并且当m序列的信号是-1时,选择第二电荷累积部124作为输出目的地,因此,来自受光元件121的电荷被累积。然后,计算“(第一电荷累积部123的电荷量)-(第二电荷累积部124的电荷量)”,由此计算“入射到受光元件121上的光的模式”和“延迟了时间t1的m序列的信号”之间的相关性。

图9表示上面说明的相关性计算的具体例。例如,m序列(m-sequence)的一个信号的长度被认为是1000纳秒,并且将考虑通过重复m序列10000次而获得的10毫秒的二进制信号。发光部110被认为是根据10毫秒的二进制信号的发光模式来进行发光。对于图像传感器120的各像素,采用(选择)通过将用于发光的二进制信号延迟t1=666纳秒而获得的信号作为针对选择器122的控制信号,并且图像传感器120的各像素将来自受光元件121的电荷累积在第一电荷累积部123或第二电荷累积部124中。

在单次选通成像的时间(1/60秒)中的剩余6.6毫秒(=1/60秒-10毫秒)期间,各像素的第一电荷累积部123的电荷和第二电荷累积部124的电荷被读出,并且通过使用将由此读出的各像素的两个电荷量相减所获得的值(“(第一电荷累积部123的电荷量)-(第二电荷累积部124的电荷量)”)来形成图像,从而可以获得地面的清晰图像。上面已经描述了关于单脉冲方式和伪随机数方式的选通成像的说明。

<由地面上或天空中存在的物体通知的id信息>

在可以进入作为本实施方案的选通成像装置100的fov内的安保车辆3、无人机4等中安装有将安保车辆3的固有id信息等作为光学信号发送到选通成像装置100的id发光装置200(图12)。

选通成像装置100从由选通成像获得的图像中检测到关于安保车辆3等的id信息。这使得能够在由选通成像获得的图像中指定安保车辆3等的位置。

需要指出的是,在其中id发光装置200将关于安保车辆3等的id信息作为光学信号发送的情况下,id信息作为由任何给定符号化方式(例如,曼彻斯特(manchester)编码方式)符号化的id符号来发送。需要指出的是,id信息的符号化方式不限于曼彻斯特编码方式,可以采用任何符号化方式。

在下文中,对曼彻斯特编码方式进行说明。图10示出了通过对id信息进行曼彻斯特编码来生成id符号的例子。

曼彻斯特符号是将1位数据符号化为2位并在2个周期内发送的一种符号化方式。更具体地,id信息中的“0”符号化为2位“10”。此外,id信息中的“1”符号化为2位“01”。然后,这样符号化的两位在2个周期内发送。曼彻斯特符号的特征在于符号中0和1出现的概率为50%。这具有如下的优点:即使在其上叠加有dc(直流)成分也可以区分符号。

例如,在关于安保车辆3等的id信息是8位“10010010”的情况下,在5位起始码“00001”之后配置与该8位id信息“10010010”相对应的16位“0110100110100110”,并且这21位“000010110100110100110”作为id符号在21个周期内被发送。

在接收侧,按时间系列检测“00001”的模式(起始码),并且一次两位地对跟随起始码的16位进行分析,“01”被解码为1,“10”被解码为0,从而恢复8位id信息。

<作为本实施方案的选通成像装置的构成例>

接下来,图11示出了作为本实施方案的选通成像装置100的构成例。

选通成像装置100不仅包括图3所示的发光部110和图像传感器120,而且包括控制部130、时间方向符号检测部140、图像重写部150和输出端子160。

控制部130控制发光部110的发光时机。另外,控制部130通过将选择信号通知到图像传感器120来控制曝光时机。

时间方向符号检测部140从图像传感器120每1/60秒输出的时间系列选通成像的图像中检测存在id符号带来的光闪烁模式的图像上的位置,通过解码该id符号来恢复id信息,并将由此恢复的id信息和位置输出到图像重写部150。

对于从图像传感器120每1/60秒输出的时间系列选通成像的图像(其中被摄体2被清晰地投影的图像),图像重写部150将通过时间方向符号检测部140获得的表示光闪烁模式的id信号的标记叠加到通过时间方向符号检测部140获得的光闪烁模式的位置上。从输出端子160输出其中表示id信号的标记被叠加的图像。

因此,通过观察从输出端子160输出的图像,可以检测到被摄体(嫌疑人)2,并且可以确认光闪烁模式的位置(其中安装有id发光装置200的安保车辆3等的位置)及其id信息。

<id发光装置200的构成例>

图12示出了设置在安保车辆3等上的id发光装置200的构成例。

id发光装置200包括受光部201、同步检测部202、id符号生成部203、id信息保持存储器204、延迟部205、高度检测部206和id发光部207。

受光部201由pd(光电检测器)等构成,接收从选通成像装置100的发光部110照射的脉冲光,生成与所接收的光的光量相对应的电荷,并将电荷输出到同步检测部202。

同步检测部202基于从受光部201输入的电荷的时间系列的变化来确定id发光部207的发光时机,并且将发光时机输出到id符号生成部203。

id符号生成部203通过对存储在id信息保持存储器204中的固有id信息(8位)进行曼彻斯特编码来生成21位(包括5位起始码)的id符号。此外,id符号生成部203与从同步检测部202输入的发光时机同步,并且将用于指示在21个周期内针对21位id符号的每一位是否使id发光部207发光的控制信息输出到延迟部205。

延迟部205将从id符号生成部203输入的符号id中的1位的控制信息延迟任意给定时间,并将该控制信息发送到id发光部207。需要指出的是,在延迟部205中的任何给定的延迟量基于从高度检测部206通知的id发光装置200的离地高度来确定。然而,在其中id发光装置200的高度相对于地面为0时,延迟量被设定为0,并且将从id符号生成部203输入的控制信息无延迟地立即发送到id发光部207。

高度检测部206检测id发光装置200的离地高度,并将该高度通知到延迟部205。作为高度检测方法,例如,可以使用gps。

根据由延迟部205延迟的发光模式,id发光部207进行朝向天空的发光,从而将与选通成像装置100的发光部110的脉冲光的光闪烁模式同步的id符号发送到选通成像装置100。需要指出的是,表示该id符号的模式化发光由选通成像装置100的图像传感器120光学地接收。

图13示出了其中在每个周期(1/60秒)从id发光装置200逐位发送21位id符号并且由选通成像装置100的图像传感器120接收光的状态。

例如,在其中发送与图10所示的8位id信息“10010010”相对应的21位id符号“000010110100110100110”的情况下,在第1个周期的1/60秒内发送从21位id符号开始的第一位的“0”。在第二个周期的1/60秒内发送从21位id符号开始的第二位的“0”。在第三个周期的1/60秒内发送从21位id符号开始的第三位的“0”。

类似地,在第21个周期的1/60秒内发送从21位id符号开始的第21位的“0”,从而在21个周期内发送21位id符号。

<在其中选通成像装置100进行单脉冲方式的选通成像的情况下id符号的发送和接收>

接下来,图14示出了在其中选通成像装置100进行单脉冲方式的选通成像的情况下id符号的发送和接收。

需要指出的是,图14示出了在21个周期内的21位id符号的发送操作中在第x次的1个周期(1/60秒)内发送从21位id符号开始的第x位的情况。然而,假设id发光装置200安装在地面上的安保车辆3上(更具体地,id发光装置200相对于地面的高度为0m)。

如图14所示,在第x次的1/60秒内,从选通成像装置100的发光部110每2微秒发射脉冲光。类似地,在第x-1次中,自第(x-1)次的最后发光的经过6.6毫秒之后,进行第x次的最初发光。因此,如果检测到在id发光装置200侧发光间隔不是2微秒而是6.6毫秒,则id发光装置200可以与选通成像装置100的周期同步。

更具体地,来自发光部110的每2微秒的5000次脉冲光需要333纳秒达到地面。地面上的id发光装置200的受光部201在所接收的脉冲光中检测出自紧接前面的脉冲光的受光时机的经过6.6毫秒而不是2微秒的脉冲光。然后,为了检测脉冲光,在其中从将要发送的id符号开始的第x次中的1位是1的情况下,如图中的虚线所示,id发光部207开始10毫秒的发光。然而,当从将要发送的id符号开始的第x次中的1位是0时,则如图中单点划线所示,不进行发光。

从id发光部207的发光需要333纳秒到达离地面100米的图像传感器120。在图像传感器120中,通过来自控制部130的控制,每2微秒进行5000次曝光,从而当地面上的id发光部207发光时(当从发送的id符号开始的第x次的1位是1时),发光在选通成像的图像上显现为亮点。相反,当地面上的id发光部207不发光时(当从发送的id符号开始的第x次的1位是0时),在选通成像的图像上不会出现亮点。

当id发光装置200的id发光部207与选通成像装置100的操作周期同步地发光时,可以从由选通成像装置100形成的选通成像的图像接收从id发光装置200发送的id符号,并且可以从id符号解码id信息。

<利用支持单脉冲方式的选通成像的id发光装置200的id符号发送处理>

接下来,图15是示出了在选通成像装置100进行单脉冲方式的选通成像的情况下id发光装置200的id符号发送处理的流程图。

需要指出的是,在以下的说明中,用于检测1个周期的中断的“脉冲光的受光时机的间隔是否为6.6毫秒”的判断在考虑余量的情况下是“间隔是否小于或者等于或大于4.6毫秒”。另外,id发光部207的发光时机(10毫秒)被设定为具有余量的11毫秒。此外,假设id发光装置200位于离地面为0的高度。

在步骤s1中,存储在id信息保持存储器204中的固有的8位id信息被读出到id符号生成部203,并且通过根据曼彻斯特符号方式进行符号化来生成21位id符号。21位符号id中的一位称为d[i](i=1~21)。

在步骤s2中,将变量h设定为1。这里,变量h是表示在当前周期中发送的位数的值。

在步骤s3中,由受光部201根据受光量生成的电荷被供给到同步检测部202。同步检测部202始终检查受光量的时间变化,并且待机直到受光量增加。如果受光量增加,则处理进行到步骤s4。

在步骤s4中,同步检测部202在复位内置计时器之后开始计时以测量受光时机的间隔。在步骤s5中,受光部201进行与步骤s3中的处理类似的处理,并且如果受光量增加,则处理进行到步骤s6。

在步骤s6中,同步检测部202检查计时器的经过时间,如果经过时间小于4.6毫秒,则处理进行到步骤s7。如果计时器的经过时间是4.6毫秒以上,则处理进行到步骤s8。

在步骤s7中,在将变量h设定为1之后,处理返回到步骤s4。需要指出的是,当id发光装置200和选通成像装置100之间的id符号的通信发生故障时,步骤s7的处理起到复位的作用(稍后详细说明)。

通过上述步骤s3~s7检测选通成像中的最初脉冲光的发光。然后,如果在检测到选通成像中的最初脉冲光的发光之后,更具体地,计时器的经过时间是4.6毫秒以上,则处理进行到步骤s8。

在步骤s8中,为了计时id发光部207的发光时机,同步检测部202在复位计时器之后开始计时。之后,处理进行到步骤s9。

在步骤s9中,id符号生成部203检查21位符号id中的一位d[h]的值。如果d[h]是0,则处理进行到步骤s10。

在步骤s10中,id符号生成部203将指示“不发光”的控制信息通知到延迟部205。在这种情况下,延迟部205无延迟地将该控制信息发送到id发光部207。根据该控制信息,id发光部207不发光。此后,处理进行到步骤s12。

在步骤s8中,如果d[h]=1,则处理进行到步骤s11。在步骤s11中,id符号生成部203将指示“发光”的控制信息通知到延迟部205。无延迟地将该控制信息发送到id发光部207。根据该控制信息,id发光部207开始发光。之后,处理进行到步骤s12。

在步骤s12中,同步检测部202检查计时器的经过时间,如果经过时间小于11毫秒,则处理返回到步骤s9,如果是11毫秒以上,则处理进行到步骤s13。

如果在上述步骤s8~s12中,在21位id符号中的与当前周期(h)相对应的一位是0,则id发光部207不进行11毫秒的发光。相反,如果对应于当前周期(h)的1位是1,则id发光部207进行11毫秒的发光。在id发光部207进行11毫秒的发光之后,处理进行到步骤s13。

在步骤s13中,由于当前周期(h)中的id发光部207的发光结束,所以从id发光部207的发光暂时停止。之后,处理进行到步骤s14。

在步骤s14中,检查变量h的值,如果发现变量h不是21,则处理进行到步骤s15,并且在变量h递增1之后,处理返回到步骤s4。

相反,如果在步骤s14中发现变量h是21,则处理进行到步骤s16,并且在将变量h再次设定为1之后,处理返回到步骤s4。

通过上述步骤s4~s13中的处理,在1个周期中发送1位,并且通过步骤s14和s15中的处理重复步骤s4~s13中的处理21次,从而在21个周期内发送21位id符号。此外,由于通过步骤s16的处理持续重复发送相同的21位id符号,所以选通成像装置100可以持续找到id发光装置200的位置。

关于步骤s7,如果处理从步骤s15或步骤s16返回到步骤s4,则在选通成像中最初脉冲光的发光已经经过了11毫秒。换句话说,在下一个选通成像中将要进行最初脉冲光的发光之前有5.6(=16.6-11)毫秒的时间。因此,通常,处理从步骤s6进行到步骤s8。

因此,在处理从步骤s6前进到步骤s7的情况下,这是异常的状况,因而在所发送的21位id符号的第一到第(h-1)位之后连续地发送第h位是没有用的。因此,在这种异常状况的情况下,在步骤s7中将变量h再次设定为1,以便从21位的第一位再次发送,并且处理返回到步骤s4。

需要指出的是,在id发光装置200安装在存在于比地面高的位置处的无人机4上的情况下,图14所示的“id符号的到达时机”略微提前。然而,在单脉冲方式中,id发光部207持续发光11毫秒,所以到达时机提前的时间比该时间小得多,因此不会产生特别的问题。

另外,在步骤s3中,当待机很长时间时,可以确定选通成像装置100没有进行成像(发光部110不发光),并且可以向使用者提示没有进行选通成像的警告。

上面说明了在选通成像装置100进行单脉冲方式的选通成像的情况下id发光装置200的id符号发送处理有关的说明。

<支持单脉冲方式的选通成像的选通成像装置100的id符号接收处理>

接下来,参照图15~20对支持单脉冲方式的选通成像装置100的id符号接收处理进行说明。

图16是说明选通成像装置100的id符号接收处理的流程图。每1个周期(1/60秒)重复进行该id符号接收处理。

在步骤s21中,选通成像装置100在1/60秒内进行单脉冲方式的选通成像,并将所得到的图像输出到时间方向符号检测部140。在步骤s22中,时间方向符号检测部140存储按照时间系列顺序每1/60秒输入的利用选通成像拍摄的图像,并且采用最近累积的21张图像作为处理对象。需要指出的是,由于对最近累积的21张图像进行处理,所以可以丢弃先前的图像。

在步骤s23中,时间方向符号检测部140进行发光模式检测处理。更具体地,从用作处理对象的最近时间系列的21张图像中检测到亮点,并且就检测到的亮点是否是id发光装置200的id发光部207的id符号的发光投影(更具体地,是否是曼彻斯特符号)进行判断。然后,如果判断发光由id发光部207投影,则将该事实报告给使用者。此后,处理返回到步骤s21,并且再次开始该id符号接收处理。

这里,上述“报告”是指图像重写部150在利用选通成像拍摄的图像上将与恢复的8位id信息信号相对应的标记和文本字符叠加在有亮点的位置处,并将该图像提示给使用者。看到以这种方式提示的图像的使用者(例如,安保公司的负责人)不仅可以清楚地看到地面上的被摄体(嫌疑人)2,而且可以直观地找到到达现场的安保车辆3等的位置。

这里,对步骤s23中的发光模式检测处理进行详细说明。

图17示出了发光模式检测处理的状态。然而,在用作处理对象的最近时间系列的21张图像中,在图17中示出了开头的第1~第9张图像,并且省略了第10张及以后的图像。此外,假设在发送21位id符号的21个周期内id发光装置200不移动。

如上所述,在从id发光部207进行发光的周期中,在利用选通成像拍摄的图像中出现亮点(图17中的白圈),并且在未进行发光的周期中,在利用选通成像拍摄的图像中未出现亮点(图17中的黑圈)。

此外,由于id符号(曼彻斯特符号)的最初五位被设定为起始码“00001”,因此首先检测到该起始码。更具体地,如图16所示,从第5张图像检测到与起始码“00001”的第五位的“1”相对应的亮点。

接下来,在从第5张图像检测到亮点的位置处,确认是否在第1~第4张图像中没有亮点,并且如果这被确认,则确定在这个亮点的位置存在起始码。

接下来,在从第5张图像检测到亮点的位置处,确认是否在第6和第7张图像中的一张中存在亮点,并且在另一张图像中没有亮点。如果这被确认,则曼彻斯特符号(起始码除外)的最初两位(更具体地,id信息的第一位)被解码。

接下来,在从第5张图像检测到亮点的位置处,确认是否在第8和第9张图像中的一张中存在亮点,并且在另一张图像中没有亮点。如果这被确认,则曼彻斯特符号(起始码除外)的随后两位(更具体地,id信息的第2位)被解码。

此后,类似地,检查第20和第21张图像,并且曼彻斯特符号(起始码除外)的最后两位(更具体地,id信号的第8位)被解码。

需要指出的是,在不能确认在两张图像中的一张中有亮点而另一张图像中没有亮点的情况下,判断其不是曼彻斯特符号。

接下来,图18~20是说明图16的步骤s23中的子程序(时间方向符号检测部140的发光模式检测处理)的细节的流程图。

然而,在以下的说明中,存在如下的可能性:在21个周期内发送21位id符号的同时id发光装置200可能移动。

在步骤s31中,使用由选通成像获得的图像的像素数来设定在1个周期(1/60秒)内id发光装置200能够移动的移动量d。例如,移动量d被设定为3个像素。

在步骤s32中,保留用于记录将要由后续处理恢复的8位id信息的数据区域。更具体地,保留id[i](i是1~8)。

在步骤s33中,从待处理的21张图像开始的第5张图像被关注,并且检测到第5张图像上的亮点。

在步骤s33之后,顺次关注检测到的各亮点,并且进行下述步骤s34~s45的处理。

更具体地,在步骤s34中,表示当前关注的第5张图像的亮点是否是在21个周期内发送的曼彻斯特符号的标记idflag被设定为true。

在步骤s35中,将当前关注的第5张图像的亮点的位置设定为基准坐标(x0,y0),并将坐标变量(x,y)设定为(x0,y0)。

在步骤s36中,在待处理的21张图像中的第n张图像(其中n是1~4)上,确认在中心是(x,y)且一边是(5-n)×d的正方形内的区域中是否存在亮点。在确认第1~第4张图像中都没有亮点的情况下,这意味着可以检测到起始码,因此,在这种情况下,n被顺次地设定为6,8,10,12,14,16,18,20,并且顺序进行步骤s38~s43中的处理。

需要指出的是,在步骤s36中,在其中可以确认在第1~第4张图像的任一个中存在亮点的情况下,这意味着未检测到起始码,因此,处理前进到步骤s37,idflag被设定为false。之后,处理进行到步骤s44。

在步骤s38中,在第n张图像上,确认在中心是(x,y)且一边是d的正方形内的区域中是否存在亮点。在第(n+1)张图像上,确认在中心是(x,y)且一边是2×d的正方形内的区域中是否存在亮点。

然后,在确认在步骤s38中在第n张图像的任何给定区域中存在亮点并且在第(n+1)张图像的任何给定区域中没有亮点的情况下,在第n和第(n+1)张图像的成像的2个周期内发送曼彻斯特符号的2位“10”,这意味着成功进行接收,因此,处理进行到步骤s39。在步骤s39中,曼彻斯特符号的2位“10”被解码,并且解码结果的“0”存储在id[n/2-2]中。此外,针对下一次处理(当n的值递增2时的处理),更新亮点的位置。

更具体地,由于在第(n+1)张图像上没有亮点,所以处理前进到步骤s40,以基于在第n张图像上提示的亮点的位置来外推第(n+1)张图像上的亮点。在步骤s40中,将第n张图像上的亮点的位置设定为(xtmp,ytmp)。(x,y)+2×{(xtmp,ytmp)-(x,y)}新设定为(x,y)。然后,在将n的值递增2之后,处理返回到步骤s38,并且进行步骤s38~s43。

此外,在步骤s38中,如果确认在第n张图像的任何给定区域中没有亮点,并且在第(n+1)张图像的任何给定区域中存在亮点,则在第n和第(n+1)张图像的成像的2个周期内发送曼彻斯特符号的2位“01”,这意味着成功进行接收,因此,处理前进到步骤s41。在步骤s41中,曼彻斯特符号的2位“01”被解码,并且解码结果的“1”存储在id[n/2-2]中。此外,针对下一次处理(当n的值递增2时的处理),更新亮点的位置。

更具体地,在步骤s42中,第(n+1)张图像的亮点的位置新设定为(x,y)。然后,在n的值递增2之后,处理返回到步骤s38,并且进行步骤s38~s43。

如上所述,在步骤s40和步骤s42中,改变(x,y)。相应地,用于下一个n值的处理(更具体地,为了检测从第(n+2)和第(n+3)张图像的曼彻斯特符号的下一个2位的处理)的亮点的位置的搜索范围以这个新的(x,y)为中心。这使得即使id发光装置200移动也能够追踪id发光装置200。

需要指出的是,在步骤s38中,确认在两张图像(即,第n和第(n+1)张图像)的任何给定区域中存在亮点或者相反地确认在两张图像(即,第n和第(n+1)张图像)的任何给定区域中没有亮点的情况下,这意味着在第n和第(n+1)张图像的成像的2个周期内没有发送曼彻斯特符号。在这种情况下,处理进行到步骤s43,并且idflag被设定为false(意味着当前关注的图像的亮点不是曼彻斯特符号的构成要素)。然后,在n的值递增2之后,处理返回到步骤s38,并且进行步骤s38~s43。

n被顺次地设定为6,8,10,12,14,16,18,20,并且在步骤s38~s43之后或者在步骤s37之后,处理进行到步骤s44。

在步骤s44中,确认idflag是true还是false。如果确认为false,则意味着当前关注的亮点不是曼彻斯特符号的构成要素,因此下一个亮点被关注,并且进行步骤s34~s45的处理。在从第5张图像检测到的所有亮点被顺次关注并且进行步骤s34~s45中的处理之后,结束该发光模式检测处理。

需要指出的是,在其中在步骤s44中确认idflag为true的情况下,当前关注的亮点是曼彻斯特符号的构成要素,因此,处理进行到步骤s45。在步骤s45中,报告从图像的坐标(x0,y0)检测到8位id信息id[i](i=1~8)。之后,作为针对下一个关注亮点的处理,进行步骤s34~s45。然后,在对从第5张图像检测到的所有亮点进行步骤s34~s45之后,结束该发光模式检测处理。

利用id符号接收处理及其子程序,即,发光模式检测处理,选通成像装置100可以将id发光装置200在选通成像的图像上的位置提示给使用者。

<在其中选通成像装置100进行伪随机数方式的选通成像的情况下id符号的发送和接收>

接下来,图21和图22示出了在选通成像装置100进行伪随机数方式的选通成像的情况下id符号的发送和接收的状态。

需要指出的是,图21示出了以下情况:在21个周期内发送21位id符号的操作中,在第x次的1个周期(1/60秒)内从21位id符号开始的第x次的1位是“1”。图22示出了以下情况:在21个周期内发送21位id符号的操作中,在第x次的1个周期(1/60秒)内从21位id符号开始的第x次的1位是“0”。此外,假设id发光装置200安装在地面的安保车辆3上(更具体地,离地高度为0)。

如图21和图22所示,在第x次的1/60秒中,选通成像装置100的发光部110在10毫秒间持续地进行一次需要1000纳秒的m序列的发光。同样地,在第(x-1)次中,当自第(x-1)次的最后发光起经过了6.6毫秒时,进行第x次的最初发光。因此,如果由id发光装置200检测到发光间隔为6.6毫秒,则可以使id发光装置200与选通成像装置100的周期同步。

从发光部110发射的m序列的发光需要333纳秒到达地面。地面上的id发光装置200的受光部201从所接收的脉冲光中检测自最近的受光时机起经过了6.6毫秒的脉冲光。然后,在检测到该脉冲光的情况下,此后根据受光部201中的光的检测或未检测,从id发光部207发送id符号。

更具体地,在从第x个周期中发送的21位id符号开始的第x位为1的情况下,如图21所示,id发光部207以与受光部201的光接收的有或无相同的相位发出。更具体地,当受光部201检测到光时,id发光部207发光,并且当受光部201未检测到光时,id发光部207不发光。发光需要333纳秒到达在天空100米处的图像传感器120。在图像传感器120中,针对各像素,将与受光量相对应的电荷存储在第一电荷累积部123(fd1)或第二电荷累积部124(fd2)中,并且计算各个电荷累积量之间的差(fd1-fd2)。该相减结果是利用选通成像拍摄的图像的像素值,但是在该图像上的绝对值被检测为正值。

相反地,如果从第x个周期中发送的21位id符号开始的第x位是0,则如图22所示,id发光部207以与受光部201的光接收的有或无相反的相位发出。更具体地,当受光部201检测到光时,id发光部207不发光。当受光部201未检测到光时,id发光部207发光。发光需要333纳秒到达在天空100米处的图像传感器120。在图像传感器120中,针对各像素,将与受光量相对应的电荷存储在第一电荷累积部123(fd1)或第二电荷累积部124(fd2)中,并且计算各个电荷累积量之间的差(fd1-fd2)。该相减结果是利用选通成像拍摄的图像的像素值,但是在该图像上的绝对值被检测为大的负值。

如上所述,在选通成像装置100中,作为各周期中的fd1-fd2的值,可以获得绝对值大的正值或绝对值大的负值,并且通过判断fd1-fd2的值是绝对值大的正值还是绝对值大的负值,选通成像装置100可以判断是发送1还是发送0作为来自id发光装置200的id符号(曼彻斯特符号)。

接下来,图23说明了作为在对应于伪随机数方式发送id符号的情况下的具体例的图10中例示的发送21位id符号“000010110100110100110”的操作。

然而,图23示出了21位id符号中的用于发送开始的第1位~第8位的从第一次到第八次的周期。此外,图23中的发送侧是指id发光装置200,接收侧是指选通成像装置100。此外,在有关图23的接收侧的说明中,绝对值大的正值表示为“1”,绝对值大的负值表示为“-1”。

在第一至第四周期中,为了发送id符号的第一至第四个“0”,id发光部207利用其中由受光部201接收到的m序列的发光模式被反转的模式(更具体地,反相的模式)进行发光。在接收侧,计算电荷累积量的差(fd1-fd2),并且由于该相减结果是绝对值大的负值,所以判断所接收的id符号的1位是“0”。

在第五周期中,为了发送id符号的第五个“1”,id发光部207以与由受光部201接收到的m序列的发光模式相同的模式(更具体地,相同相位的模式)进行发光。在接收侧,计算电荷累积量的差(fd1-fd2),并且由于该相减结果是绝对值大的正值,所以判断所接收的id符号的1位是“1”。通过至此的操作,发送和接收配置在id符号开始的5位起始码“00001”。

在第六周期中,为了发送id符号的第六个“0”,id发光部207利用其中由受光部201接收到的m序列的发光模式被反转的模式(更具体地,反相的模式)进行发光。在接收侧,计算电荷累积量的差(fd1-fd2),并且由于该相减结果是绝对值大的负值,所以判断所接收的id符号的1位是“0”。

同样地,当发送id符号的“1”时,id发光部207利用与所接收的m序列的发光模式具有相同相位的模式进行发光。相反地,当发送id符号的“0”时,id发光部207以与所接收的m序列的发光模式相反的模式进行发光。然后,在接收侧,计算电荷累积量的差(fd1-fd2),并且基于该相减结果是绝对值大的负值还是绝对值大的正值来判断所接收的id符号的1位是“0”还是“1”。

需要指出的是,例如,当针对如同地上的路灯那样持续发光的光的投影图像计算电荷累积量的差(fd1-fd2)时,相减结果变为0(对应于图7的d)。因此,能够将诸如路灯等光与从id发光部207的发光区分开来而不会混淆。

<利用支持伪随机数方式的选通成像的id发光装置200的id符号发送处理>

接下来,图24是用于说明在选通成像装置100进行伪随机数方式的选通成像的情况下利用id发光装置200的id符号发送处理的流程图。

需要指出的是,在该id符号发送处理中,与使用图15所述的单脉冲方式的对应id符号发送处理一样,用于检测1个周期的中断的“脉冲光的受光时机的间隔是否为6.6毫秒”的判断在考虑余量的情况下是“间隔是小于4.6毫秒还是等于或大于4.6毫秒”。另外,id发光部207的发光时机(10毫秒)也被设定为具有余量的11毫秒。此外,假设id发光装置200位于离地面0米的高度处。

在步骤s61中,存储在id信息保持存储器204中的固有的8位id信息被读出到id符号生成部203,并且通过根据曼彻斯特符号方式进行符号化来生成21位id符号。21位符号id中的一位称为d[i](i=1~21)。

在步骤s62中,将变量h设定为1。这里,变量h是示出了在当前周期中发送的位数的值。

在步骤s63中,由受光部201根据受光量生成的电荷被供给到同步检测部202。同步检测部202始终检查受光量的时间变化,并且待机直到受光量增加。如果受光量增加,则处理进行到步骤s64。

在步骤s64中,同步检测部202在复位内置计时器之后开始计时以测量受光时机的间隔。在步骤s65中,受光部201进行与步骤s63中的处理类似的处理,并且如果受光量增加,则处理进行到步骤s66。

在步骤s66中,同步检测部202检查计时器的经过时间,并且如果经过时间小于4.6毫秒,则处理进行到步骤s67。如果计时器的经过时间是4.6毫秒以上,则处理进行到步骤s68。

在步骤s67中,在将变量h设定为1之后,处理返回到步骤s64。需要指出的是,与图15中的步骤s7的处理一样,当id发光装置200和选通成像装置100之间的id符号的通信发生故障时,步骤s67的处理起到复位的作用。

通过上述步骤s63~s67检测选通成像中的最初脉冲光的发光。然后,如果在检测到选通成像中的最初脉冲光的发光之后,更具体地,计时器的经过时间是4.6毫秒以上,则处理进行到步骤s68。

在步骤s68中,为了计时id发光部207的发光时机,同步检测部202在使计时器复位之后开始计时。之后,处理进行到步骤s69。

在步骤s69中,id符号生成部203检查21位符号id中的一位d[h]的值,并且基于由同步检测部202通知的受光部201的受光量的增加和减少,根据下述条件将控制信息通知到延迟部205。延迟部205无延迟地将该控制信息发送到id发光部207。

图25示出了在步骤s69中判断的条件和与其相对应的控制信息。

如图25所示,在其中d[h]=0(将要发送的id符号的1位为“0”)并且受光量正在增加(当前有光到达地面)的情况下,id符号生成部203将指示“不发光”的控制信息通知到延迟部205。在其中d[h]=0(将要发送的id符号的1位为“0”)并且受光量正在减少(当前没有光到达地面)的情况下,id符号生成部203将指示“发光”的控制信息通知到延迟部205。

在其中d[h]=1(将要发送的id符号的1位为“1”)并且受光量正在增加(当前有光到达地面)的情况下,id符号生成部203将指示“发光”的控制信息通知到延迟部205。在其中d[h]=1(将要发送的id符号的1位为“1”)并且受光量正在减少(当前没有光到达地面)的情况下,id符号生成部203将指示“不发光”的控制信息通知到延迟部205。

返回到图24,在步骤s70中,同步检测部202获得来自受光部201的光的受光量,始终检查受光量的时间变化,待机直到受光量变化(增加或减少),并且在受光量改变(增加或减少)的情况下,可以判断当前正在进行的选通成像的一个循环已经结束,因此处理进行到步骤s71。然而,即使受光量没有改变(增加或减少),在计时器的经过时间变为等于或大于11毫秒的情况下,同步检测部202也判断当前正在进行的选通成像的一个循环已经结束,因此处理进行到步骤s71。

在步骤s72中,中止发光直到在选通成像之后循环开始。更具体地,id符号生成部203将指示“不发光”的控制信息通知到延迟部205。之后,处理进行到步骤s73。

在步骤s73中,检查变量h的值,并且如果发现变量h不是21,则处理进行到步骤s74,并且在变量h递增1之后,处理返回到步骤s64。

相反,如果在步骤s73中发现变量h是21,则处理进行到步骤s75,并且在变量h被再次设定为1之后,处理返回到步骤s64。

通过上述步骤s64~s72中的处理,在1个周期中发送1位,并且通过步骤s73和s74中的处理重复21次步骤s64~s72中的处理,从而在21个周期内发送21位id符号。此外,由于通过步骤s75的处理持续重复发送相同的21位id符号,所以选通成像装置100可以持续找到id发光装置200的位置。

上面已经说明了在选通成像装置100进行伪随机数方式的选通成像的情况下id发光装置200的id符号发送处理有关的说明。

<假设使用例>

接下来,图26示出了用于选通成像装置100和id发光装置200的假设使用例。

更具体地,假设选通成像装置100安装在漂浮于离地距离d1=100m的飞行船10下方。假设id发光装置200安装在安保车辆3、无人机4等上方。

这里,安装在位于地面的安保车辆3上的id发光装置200称为id发光装置200-1,并且安装在位于空中的无人机4上的id发光装置200称为id发光装置200-2。

安装在位于地面的安保车辆3上的id发光装置200-1距选通成像装置100的距离为100m。当将来自id符号生成部203的控制信息(指示是否发光的信息)发送到id发光部207时,id发光装置200-1的延迟部205立即无延迟地发送该控制信息。id发光部207响应于控制信息而立即迅速地发光(或中止发出)。选通成像装置100的图像传感器120进行操作,从而适时地接收来自位于距离d1=100m处的id发光装置200的发光,由此选通成像装置100的图像传感器120可以及时地接收其发光。

另一方面,安装在地面上空10m飞行的无人机4上的id发光装置200-2距选通成像装置100的距离为90m。在这种情况下,如果当将来自id符号生成部203的控制信息发送到id发光部207时,id发光装置200-2的延迟部205立即无延迟地发送该控制信息,则选通成像装置100的图像传感器120不能及时地接收来自id发光装置200-2的发光。

因此,id发光装置200-2的延迟部205需要将控制信息的发送延迟光往返于id发光装置200-2距离地面的距离(在这种情况下为10m)所需的时间。

更具体地,延迟部205基于由高度检测部206给出的高度值h,将来自id符号生成部203的控制信息以2h/c秒=(6.6×h)纳秒的延迟发送到id发光部207,这使得选通成像装置100的图像传感器120能够及时地接收来自id发光装置200-2的发光。

<支持伪随机数方式的选通成像的选通成像装置100的id符号接收处理>

接下来,对支持伪随机数方式的选通成像装置100的id符号接收处理进行说明。

该id符号接收处理与上面参照图16所述的支持单脉冲方式的id符号接收处理大致相似。在id符号接收处理中,图16的步骤s23中的发光脉冲检测处理可以用下面说明的支持伪随机数方式的发光脉冲检测处理来替换。

图27~29是说明支持伪随机数方式的发光脉冲检测处理的细节的流程图。

在步骤s81中,使用由选通成像获得的图像的像素数来设定在1个周期(1/60秒)内id发光装置200能够移动的移动量d。例如,移动量d被设定为3个像素。

在步骤s82中,保留用于记录将要由后续处理恢复的8位id信息的数据区域。更具体地,保留id[i](i是1~8)。

在步骤s83中,从待处理的21张图像开始(在最早的时刻获得的图像)的第5张图像被关注。在该图像中,通过从各像素的第一电荷累积部123的累积电荷量f1减去第二电荷累积部124的累积电荷量f2而获得的值(fd1-fd2)被设定为像素值。在第5张图像上,提取其像素值是“绝对值大的正值”的像素。在下文中,所提取的像素称为亮点。

需要指出的是,在图27~29中,绝对值大的正值表示为“1”,绝对值大的负值表示为“-1”。

在步骤s83之后,顺次关注检测到的各亮点,并且进行下述步骤s84~s95的处理。

更具体地,在步骤s84中,表示当前关注的第5张图像的亮点是否是在21个周期内发送的曼彻斯特符号的标记idflag被设定为true。

在步骤s85中,将当前关注的第5张图像的亮点的位置设定为基准坐标(x0,y0),并将坐标变量(x,y)设定为(x0,y0)。

在步骤s86中,在待处理的21张图像中的第n张图像(其中n是1~4)上,确认在中心是(x,y)且一边是(5-n)×d的正方形内的区域中是否存在具有绝对值大的负像素值(更具体地,f1-f2)的像素。在其中确认在全部第1~第4张图像中存在具有绝对值大的负像素值的像素的情况下,这意味着可以检测到起始码,因此,在这种情况下,n被顺次地设定为6,8,10,12,14,16,18,20,并且顺序进行步骤s88~s93的处理。

需要指出的是,在步骤s86中,在其中不能确认在第1~第4张图像中的至少一个中存在具有绝对值大的负像素值的像素的情况下,这意味着未检测到起始码,因此,处理进行到步骤s87,idflag被设定为false。之后,处理进行到步骤s94。

在步骤s88中,在第n张图像上,确认在中心是(x,y)且一边是d的正方形内的区域中是否存在具有绝对值大的正或负像素值的像素。另外,在第(n+1)张图像上,确认在中心是(x,y)且一边是2×d的正方形内的区域中是否存在具有绝对值大的正或负像素值的像素。

然后,在确认在步骤s88中在第n张图像的任何给定区域中存在具有绝对值大的正像素值的像素并且在第(n+1)张图像的任何给定区域中存在具有绝对值大的负像素值的像素的情况下,在第n和第(n+1)张图像的成像的2个周期内发送曼彻斯特符号的2位“10”,这意味着成功进行接收,因此,处理进行到步骤s89。

在步骤s89中,曼彻斯特符号的2位“10”被解码,并且解码结果的“0”存储在id[n/2-2]中。此外,针对下一次处理(当n的值递增2时的处理),更新亮点的位置。更具体地,由于在第(n+1)张图像上没有亮点,所以处理前进到步骤s90,以基于在第n张图像上提示的亮点的位置来外推第(n+1)张图像上的亮点。

在步骤s90中,将第n张图像上的亮点的位置设定为(xtmp,ytmp)。(x,y)+2×{(xtmp,ytmp)-(x,y)}新设定为(x,y)。然后,在将n的值递增2之后,处理返回到步骤s88,并且进行步骤s88~s93。

此外,在步骤s88中,如果确认在第n张图像的任何给定区域中存在具有绝对值大的负像素值的像素并且在第(n+1)张图像的任何给定区域中存在具有绝对值大的正像素值的像素,则在第n和第(n+1)张图像的成像的2个周期内发送曼彻斯特符号的2位“01”,这意味着成功进行接收,因此,处理前进到步骤s91。

在步骤s91中,曼彻斯特符号的2位“01”被解码,并且解码结果的“1”存储在id[n/2-2]中。此外,针对下一次处理(当n的值递增2时的处理),更新亮点的位置。更具体地,在步骤s92中,第(n+1)张图像的亮点的位置新设定为(x,y)。然后,在n的值递增2之后,处理返回到步骤s88,并且进行步骤s88~s93。

如上所述,在步骤s90和步骤s92中,改变(x,y)。相应地,用于下一个n值的处理(更具体地,为了检测从第(n+2)和第(n+3)张图像的曼彻斯特符号的下一个2位的处理)的亮点的位置的搜索范围以这个新的(x,y)为中心。这使得即使id发光装置200移动也能够追踪id发光装置200。

需要指出的是,在步骤s88中,在确认在两张图像(即,第n和第(n+1)张图像)的任何给定区域中存在具有绝对值大的正像素值的像素或者相反地确认在两张图像(即,第n和第(n+1)张图像)的任何给定区域中存在具有绝对值大的负像素值的像素的情况下,这意味着在第n和第(n+1)张图像的成像的2个周期内没有发送曼彻斯特符号。在这种情况下,处理进行到步骤s93,并且idflag被设定为false(意味着当前关注的图像的亮点不是曼彻斯特符号的构成要素)。然后,在n的值递增2之后,处理返回到步骤s88,并进行步骤s88~s93。

n被顺次地设定为6,8,10,12,14,16,18,20,并且在步骤s88~s93之后或者在步骤s87之后,处理进行到步骤s94。

在步骤s94中,确认idflag是true还是false。如果确认为false,则意味着当前关注的亮点不是曼彻斯特符号的构成要素,因此下一个亮点被关注,并且进行步骤s84~s95的处理。在从第5张图像检测到的所有亮点被顺次关注并且进行步骤s84~s95中的处理之后,结束该发光模式检测处理。

需要指出的是,在其中在步骤s94中确认idflag为true的情况下,当前关注的亮点是曼彻斯特符号的构成要素,因此,处理进行到步骤s95。在步骤s95中,报告从图像的坐标(x0,y0)检测到8位id信息id[i](i=1~8)。之后,作为针对下一个关注亮点的处理,进行步骤s84~s95。然后,在对从第5张图像检测到的所有亮点进行步骤s84~s95之后,结束该发光模式检测处理。

利用id符号接收处理及其子程序,即,发光模式检测处理,选通成像装置100可以将id发光装置200在选通成像的图像上的位置提示给使用者。

<从id发光装置200在1个周期内发送2位id信息>

如上所述,在利用id发光装置200的支持伪随机数方式的id符号发送处理中,1个周期中发送1位信息,即,0或1的两种信息中的一种。

接下来,图30和图31示出了支持伪随机数方式的选通成像并且在1个周期中发送2位的四种信息中的一种的方法。

在图30所示的id符号的发光时机中,在发送图21所示的id符号的1位“1”时在id符号的发光时机的后半部分(即,5毫秒)中止发光。在这种情况下,前半部分(即,5毫秒)的相关性是正值(对应于图7中的a),但是后半部分的相关性(即,5毫秒)是0(对应于图7中的d)。

因此,在图像传感器120中计算的像素值(fd1-fd2)使得其绝对值在一定程度上为正值,但是由于绝对值变成小于图21的情况下的绝对值,所以能够基于fd1-fd2的结果来区分图21的情况和图30的情况。

同样地,在图31所示的id符号的发光时机中,在发送图22所示的id符号的1位“0”时的后半部分(即,5毫秒)中止发光。在这种情况下,前半部分(即,5毫秒)的相关性是负值(对应于图7中的c),但是最后的相关性(即,5毫秒)是0(对应于图7中的d)。

因此,在图像传感器120中计算的像素值(fd1-fd2)使得其绝对值在一定程度上为大的负值,但是由于绝对值变成小于图22的情况下的绝对值,所以能够基于fd1-fd2的结果来区分图22的情况和图31的情况。

因此,在通过选通成像装置100进行的选通成像所拍摄的图像中,通过判断当前关注的像素的值是下列中的哪一个:绝对值大的正值;绝对值在一定程度上较大的正值;绝对值在一定程度上较大的负值;或者绝对值大的负值而可以将所发送的信息区分为四种类型。换句话说,在1个周期(1/60秒)中,可以发送和接收两位信息。

需要指出的是,与图21和图22的情况相比,代替在发光时机的第二半部分中止发光,发光期间的光强度可以减半。虽然在这种情况下,由图像传感器120计算的像素值(fd1-fd2)变成绝对值在一定程度上较大的正值或负值,但是其绝对值与图21和图22的情况相比变得更小,因此,能够基于fd1-fd2的结果将发送的信息区分为四种类型。

<其他使用例>

如上所述,除了使用飞行船10、安保车辆3等的监视器系统以外,作为本实施方案的选通成像装置100和id发光装置200还可以以各种方式使用。

例如,在用于数字标牌系统的情况下,选通成像装置100安装在数字标牌中,并且进行在特定距离处观看标牌的人的选通成像。观看数字标牌的人拥有id发光装置200,并且通过将id发光装置200导向安装在标牌中的选通成像装置100,可以将id信息发送到数字标牌,并且可以通知其自己的存在。

此外,例如,在用于管理从特定的门进出的进出管理系统的情况下,选通成像装置100对在任意的门附近的人进行选通成像。进出门的人拥有id发光装置200,通过将id发光装置200导向选通成像装置100,可以将id信息发送到进出管理系统。

需要指出的是,本公开的实施方案不限于上述实施方案,并且在不脱离本公开的要旨的情况下能够进行各种修改。

本公开也可以如下构成。

(1)一种接收装置,包括:

选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像;和

识别部,所述识别部基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

(2)根据(1)所述的接收装置,其中所述识别部基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来检测通过对所述id信息进行符号化而获得的id符号,并且对所检测到的id符号进行编码。

(3)根据(1)或(2)所述的接收装置,其中所述识别部还指定所述发送装置在通过选通成像获得的图像中的位置。

(4)根据(3)所述的接收装置,还包括提示部,所述提示部将所识别的id信息叠加在所指定的所述发送装置在通过选通成像获得的图像中的位置处,并将其提示给使用者。

(5)一种接收装置的接收方法,所述接收装置包括选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像,

其中所述接收方法包括由所述接收装置执行的识别步骤,所述识别步骤用于基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

(6)一种发送装置,包括:

受光部,所述受光部接收用于进行选通成像而发射的发射光;

发光部,所述发光部发射光学信号;

生成部,所述生成部基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和

同步检测部,所述同步检测部基于所述受光部的受光量的变化,将所述控制信息输出到所述生成部。

(7)根据(6)所述的发送装置,其中所述同步检测部基于所述受光部的受光量的变化来检测所述选通成像的周期的中断,并且与所检测到的周期的中断同步地将所述控制信息输出到所述生成部。

(8)根据(6)或(7)所述的发送装置,其中在所述选通成像是单脉冲方式的情况下,所述生成部基于在同一周期中发送的id信息,来生成用于指示所述发光部维持发光的状态或指示所述发光部维持不发光的状态的控制信息。

(9)根据(6)或(7)所述的发送装置,其中在所述选通成像是伪随机数方式的情况下,所述生成部基于在同一周期中发送的id信息,来生成用于指示所述发光部以与所述受光部的受光模式相同的相位闪烁或指示所述发光部以与所述受光部的受光模式相反的相位闪烁的控制信息。

(10)根据(9)所述的发送装置,其中在所述选通成像是伪随机数方式的情况下,所述生成部还基于在同一周期中发送的id信息来生成用于指示限制所述受光部的发光量的控制信息。

(11)根据(6)~(10)中任一项所述的发送装置,还包括延迟部,所述延迟部用于在所述选通成像是伪随机数方式的情况下,将由所述生成部生成的控制信息延迟任意给定时间,并将所述控制信息发送到所述发光部。

(12)根据(11)所述的发送装置,还包括检测高度的高度检测部,

其中所述延迟部将由所述生成部生成的控制信息延迟对应于所检测到的高度的时间,并将所述控制信息发送到所述发光部。

(13)一种发送装置的发送方法,所述发送装置包括:

受光部,所述受光部接收用于进行选通成像而发射的发射光;和

发光部,所述发光部发射光学信号,

其中由所述发送装置执行的发送方法包括:

生成步骤,用于基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和

控制步骤,用于基于所述受光部的受光量的变化,将所述控制信息输出到所述发光部。

(14)一种包括进行选通成像的接收装置和利用光学信号向所述接收装置发送id信息的发送装置的通信系统,

其中所述发送装置包括:

受光部,所述受光部接收用于进行选通成像而发射的发射光;

发光部,所述发光部发射光学信号;

生成部,所述生成部基于发送的id信息来生成用于指示所述发光部的闪烁的控制信息;和

同步检测部,所述同步检测部基于所述受光部的受光量的变化,将所述控制信息输出到所述生成部,

其中所述接收装置包括:

选通成像部,所述选通成像部将脉冲光发射到在任意给定距离处存在的被摄体,并且通过基于所发射的脉冲光往返于所述任意给定距离需要的时间来控制曝光时机而接收所述脉冲光从所述被摄体的反射光,从而进行选通成像;和

识别部,所述识别部基于利用所述选通成像部通过周期性选通成像获得的多个时间系列图像,来识别由在所述选通成像的成像方向上存在的发送装置作为光学信号而发送的id信息。

附图标记列表

1监视对象物2被摄体(嫌疑人)

3安保车辆4无人机

10飞行船20选通成像装置

30雾100选通成像装置

110发光部120图像传感器

121受光元件122选择器

123第一电荷累积部124第二电荷累积部

125开关126开关

130控制部140时间方向符号检测部

150图像重写部200id发光装置

201受光部202同步检测部

203id符号生成部204id信息保持存储器

205延迟部206高度检测部

207id发光部

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1