专利名称：实时多目标标记及质心运算方法
技术领域：
本发明属于光电跟踪与测量技术领域，具体地说是一种实时多目标标记及质心运算方法，它用于视频跟踪的实时多目标标记及质心运算的实现技术。
背景技术：
视频跟踪器利用可见光或红外等成像传感器所摄取的图像信息进行实时跟踪，属于无源跟踪，具有良好的隐蔽性，而且成像分辨率高、可靠性好、体积小、重量轻、便于与其他装备集成，因此在跟踪测量等领域得到广泛应用。
质心跟踪是视频跟踪中广泛采用的一种技术，具有跟踪精度高，跟踪稳定，对目标形状和照明条件变化相对不敏感等特点。传统的跟踪算法在对多个目标进行跟踪时，一般是先将所处理的整幅图像信息存储起来再进行运算，这将导致输出相对输入的延迟。当多个目标进入一个跟踪窗口时，由于所需运算量非常大，不能实时对多个目标同时完成标记及质心运算，一般只能将跟踪窗口内的多个目标看作一个目标计算质心，因此导致跟踪精度下降并且跟踪容易受到干扰。
发明内容
为了解决视频跟踪中实时多目标标记及质心运算问题，本发明的目的是提供一种实时多目标标记及质心运算方法，采用该方法，可以根据输入的已经二值化的视频图像以及跟踪窗口信号，实时完成跟踪窗口内多个目标的标记，并同时完成各个目标的质心运算。输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
本发明解决其技术问题所采用的技术方案是接收来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入信号1，设Vi表示像素点i的像素值，Vi＝0表示像素点i，作为背景的一部分，Vi＝1表示像素点i，作为某一目标的一部分；同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni＞0表示类别数为Ni的目标；cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器中；prl表示当前扫描线中cur的前一像素点，保存在缓存器中；当前扫描行与上一行中目标像素点的连通关系为1)当Vi＝0时，表示当前像素点cur是背景，此时不进行处理；2)当Vi＝1时，说明当前像素点cur是某一目标的一部分，其处理有以下4种情况；①当Nprl＝0且Nprh＝0，当前像素点cur是一个新目标的开始，将目标类别存储器中的当前目标类别数加1，同时将累加和存储器中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1；②当Nprl＞0而Nprh＝0，当前像素点cur与prl连通，把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1；③当Nprl＝0而Nprh＞0，当前像素点cur与prh连通，除了目标为Nprh外，其处理方式与②同；④当Nprl＞0且Nprh＞0时，若是Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行更新，存储；若Nprl≠Nprh，表明prl与prh两像素点由于当前点的存在成为同一目标的不同部分，则对这两个标记不同的目标进行合并操作，存储；由输出端口可以读出目标类别存储器及累加和存储器中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数；其中当Nprl＝Nprh表示prl和prh都属于同一目标，cur与prl和prh连通的情况下，对目标Nprl的信息更新操作为将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标；当Nprl≠Nprh表明prl与prh当前两像素点成为同一目标的不同部分情况，对这两个标记不同的目标进行合并操作，具体为将目标类别存储器中的目标类别数Ncur及、Nprl都设为Nprh，同时将累加和存储器中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
本发明的有益效果是1.采用本发明能够在跟踪窗口结束时实时完成窗口内所有目标的标记，同时输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
2.本发明不需要对整幅输入图像进行存储，在跟踪窗口结束后即可输出运算结果；避免了存储整幅图像后再运算导致的输出相对输入的延迟。
3.本发明处理的目标数可以任意多，仅受硬件资源的限制。
图1为本发明电路原理图。
图中1为输入信号，2为先进先出存储器(FIFO)，3为目标类别存储器，4为目标标记及质心运算模块，5为缓存器，6为累加和存储器，7为控制信号发生器，8为输出端口。
图2为本发明方法一个实施例像素点的描述图。
图3为本发明方法一个实施例当前扫描行与上一行中目标像素点的连通关系图(其中a表示Vi＝0时，当前像素点cur是背景；b表示Vi＝1时，当前像素点cur是一个新目标的的一部分；c表示当前像素点cur与前一像素点prl是连通的，属于同一个目标；d表示当前像素点cur与前一行同一位置像素点prh是连通的，属于同一个目标；e表示像素点prl与像素点prh属于同一个目标，当前像素点cur也属于这一目标；f表示像素点prl与像素点prh原来被标记为不同的目标，由于当前点的存在，它们被连接为一个目标)。
具体实施例方式
下面通过实施例结合附图对本发明作进一步详细说明。
本发明实时多目标标记及质心运算方法将视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入，同时跟踪窗口信号也作为输入信号，根据当前扫描行及上一扫描行像素点的信息，并根据目标的位置和连通情况，对跟踪窗口内的多个目标进行实时标记以及质心运算，同时不断地通过对标记进行动态调整实现多目标合并。
其实现装置的结构参见图1，由先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6以及控制信号发生器7、输出端口8组成。来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像以及跟踪窗口信号作为输入信号1，送给先进先出存储器2、目标标记及质心运算模块4以及缓存器5；先进先出存储器2接收来自输入信号1的图像信号，其输出送给目标标记及质心运算模块4，它也接收来自控制信号发生器7的信号；目标类别存储器3及累加和存储器6与目标标记及质心运算模块4双向通讯，一方面保存目标标记及质心运算模块4的运算结果，另一方面给目标标记及质心运算模块4提供数据，另外还给输出端口提供输出数据，它也接收来自控制信号发生器7的信号；目标标记及质心运算模块4接收输入信号1、先进先出存储器2、目标类别存储器3、缓存器5、累加和存储器6、控制信号发生器7的信号，根据当前像素点与其相邻像素点的连通关系对像素点进行标记和判断、并完成目标类别的合并和修改以及累加和的修改操作后将输出信号送至目标类别存储器3及累加和存储器6；缓存器5接收来自输入信号1的图像信号，其输出送给目标标记及质心运算模块4，它也接收来自控制信号发生器7的信号；控制信号发生器7为先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6提供信号；由输出端口8可以读出目标类别存储器3及累加和存储器6中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
工作原理如下输入信号1是视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像，按行、场扫描的顺序逐点输入。先进先出存储器2用于存储当前扫描行上一行各个像素点的信息，并将存储的信息输出给目标标记及质心运算模块4；目标类别存储器3用来存储目标标记及质心运算模块4判断出的目标类别，以及给目标标记及质心运算模块4及输出端口8提供数据。目标标记及质心运算模块4从输入信号1获得当前像素点，从先进先出存储器2及缓存器5获得当前像素点的相邻像素点，并从目标类别存储器3中读出当前像素点的相邻像素点的类别，根据它们的连通关系进行标记和判断，同时也完成目标类别的合并和修改以及对从累加和存储器6读出的每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数进行修改等操作，将修改后的结果保存在目标类别存储器3及累加和存储器6。控制信号发生器7用于产生所需的时序控制信号，包括行、场同步信号，像素时钟及其倍频信号，提供给先进先出存储器2、目标类别存储器3、目标标记及质心运算模块4、缓存器5、累加和存储器6。通过输出端口8可以读出目标类别存储器3及累加和存储器6中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
本发明方法采用目标标记及质心运算模块4、根据当前像素点与其相邻像素点的连通关系对其进行标记和判断，同时也完成目标类别的合并和修改以及对累加和的修改等操作，具体如下用Vi表示像素点i的像素值，Vi＝0表示像素点i是背景的一部分，Vi＝1表示像素点i是某一目标的一部分。同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni＞0表示类别数为Ni的目标。如图2所示，cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器2中；prl表示当前扫描线中cur的前一像素点，保存在缓存器5中。当前扫描行与上一行中目标像素点的连通关系有以下几种情况(图3)1.当Vi＝0时，如图3(a)所示，表示当前像素点cur是背景，此时不进行处理。
2.当Vi＝1时，说明当前像素点cur是某一目标的一部分，它又有以下几种情况。
(1)当Nprl＝0且Nprh＝0，如图3(b)所示，当前像素点cur是一个新目标的开始，将目标类别存储器3中的当前目标类别数加1，同时将累加和存储器6中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1。
(2)当Nprl＞0而Nprh＝0，如图3(c)所示，说明当前像素点cur与prl是连通的，这时把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新将目标类别存储器3中的当前目标类别数Ncur设为Nprl，同时将累加和存储器6中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1。
(3)当Nprl＝0而Nprh＞0，如图3(d)所示，这说明当前像素点cur与prh是连通的。处理与(2)类似，只是目标为Nprh。
(4)当Nprl＞0且Nprh＞0时可能有两种情况第一种情况如图3(e)所示，Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行如下更新将目标类别存储器3中的当前目标类别数Ncur设为Nprl，同时将累加和存储器6中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标。第二种情况如图3(f)所示，Nprl≠Nprh表明prl与prh两像素点在没有连通情况下而被标识成不同的目标，这里，由于当前点的存在，它们是同一目标的不同部分。因此，需要对这两个标记不同的目标进行合并操作将目标类别存储器3中的目标类别数Ncur及、Nprl都设为Nprh，同时将累加和存储器6中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
本发明所述先进先出存储器(FIFO)用于存储当前扫描行上一行各个像素点的信息。目标类别存储器用来存储目标的类别。目标标记及质心运算模块根据当前像素点与其相邻像素点的连通关系对其进行标记和判断，同时也完成目标类别的合并和修改等操作。累加和存储器用于存放每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。缓存器则用于把当前点的信息缓存下来作为下一采样周期像素点的信息，控制信号发生器用于产生所需的时序控制信号。
权利要求
1.一种实时多目标标记及质心运算方法，其特征在于接收来自视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像作为输入信号，设Vi表示像素点i的像素值，Vi＝0表示像素点i，作为背景的一部分，Vi＝1表示像素点i，作为某一目标的一部分；同时，用Ni表示像素点i所属目标的类别数，Ni＝0，表示背景，Ni＞0表示类别数为Ni的目标；cur表示当前所要处理的像素点；prh表示当前扫描线上一扫描行与cur同一位置的像素点，保存在先进先出存储器中；prl表示当前扫描线中cur的前一像素点，保存在缓存器中；当前扫描行与上一行中目标像素点的连通关系为1)当Vi＝0时，表示当前像素点cur是背景，此时不进行处理；2)当Vi＝1时，说明当前像素点cur是某一目标的一部分，其处理有以下4种情况；①当Nprl＝0且Nprh＝0，当前像素点cur是一个新目标的开始，将目标类别存储器中的当前目标类别数加1，同时将累加和存储器中当前目标在方位、俯仰方向质心投影累加和加上目标点当前的坐标，将像素点的个数加1，并将目标数加1；②当Nprl＞0而Nprh＝0，当前像素点cur与prl连通，把当前像素点cur作为目标Nprl的一个点，对Nprl的信息进行更新将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中目标Ncur与目标Nprl在方位、俯仰方向质心投影累加和相加，并将目标Ncur像素点的个数取为Nprl加1；③当Nprl＝0而Nprh＞0，当前像素点cur与prh连通，除了目标为Nprh外，其处理方式与②同；④当Nprl＞0且Nprh＞0时，若是Nprl＝Nprh表示prl和prh都属于同一目标，cur是与prl和prh连通的，对目标Nprl的信息进行更新，存储；若Nprl≠Nprh，表明prl与prh两像素点由于当前点的存在成为同一目标的不同部分，则对这两个标记不同的目标进行合并操作，存储；由输出端口可以读出目标类别存储器及累加和存储器中保存的目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。
2.按照权利要求1所述的实时多目标标记及质心运算方法，其特征在于当Nprl＝Nprh表示prl和prh都属于同一目标，cur与prl和prh连通的情况，对目标Nprl的信息更新操作为将目标类别存储器中的当前目标类别数Ncur设为Nprl，同时将累加和存储器中当前目标与目标Nprl在方位、俯仰方向质心投影累加和相加并将目标Nprl像素点的个数加1，将其值赋给当前目标。
3.按照权利要求1所述的实时多目标标记及质心运算方法，其特征在于当Nprl≠Nprh表明prl与prh当前两像素点成为同一目标的不同部分情况，对这两个标记不同的目标进行合并操作，具体为将目标类别存储器中的目标类别数Ncur及、Nprl都设为Nprh，同时将累加和存储器中当前目标Ncur与目标Nprl及目标Nprh在方位、俯仰方向质心投影累加和相加，将其值赋给当前目标，将目标Nprl及目标Nprh像素点的个数相加后再加1，将其值赋给当前目标，最后将目标数减1。
全文摘要
本发明公开一种实时多目标标记及质心运算方法，它以视频跟踪器成像传感器所摄取的、经采样和二值化后得到的视频图像，及跟踪窗口信号作为输入信号，根据当前扫描行及上一扫描行像素点的信息，及目标的位置和连通情况，对跟踪窗口内的多个目标进行实时标记以及质心运算，同时不断地通过对标记进行动态调整实现多目标合并。采用本发明能够在跟踪窗口结束时实时完成窗口内所有目标的标记，同时输出目标个数、每个目标在方位、俯仰方向质心投影累加和以及像素点的总个数。本发明不需要对整幅输入图像进行存储，避免了存储整幅图像后再运算导致的输出相对输入的延迟，而且本发明处理的目标数可以任意多，仅受硬件资源的限制。
文档编号H04N3/15GK1972370SQ20051004778
公开日2007年5月30日 申请日期2005年11月23日 优先权日2005年11月23日
发明者朱丹, 王振, 肖阳辉 申请人:中国科学院沈阳自动化研究所