条纹集合查找方法、装置以及系统与流程
本申请涉及图像处理领域，尤其涉及一种条纹集合查找方法、装置以及系统。
背景技术：
随着人机交互应用技术得发展，利用手势摆动等运动物体取代直接接触计算机装置，来进行指令的输入，已成为一种发展趋势。进而为跟踪人体手势或者其他物体运动状态成为目前需要解决的技术问题。现有技术提供了一种运动跟踪系统，能够通过图像处理的方法对运动物体的光点进行图像采集，以实现对运动物体的跟踪。
但是，在实际的应用场景中，如果闪烁光源到了卷帘式图像传感器采集的边缘时，闪烁光源所产生的条纹图形在原始图像中是残缺不全的，会对图像识别造成干扰。
技术实现要素：
本发明实施例申请的目的在于提供一种能够排除残缺不全的条纹集合的方法。
本发明第一方面提供了一种条纹集合有效性确定方法，包括：获取二值化图像中的多个第一连通域；从所述多个第一连通域中选择出目标连通域；根据所述目标连通域确定条纹集合，从而确定条纹图形；根据所述条纹集合中的目标连通域计算出所述条纹图形的中心；根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合。
结合第一方面，第一方面的第一种可能的实施方式中，所述获取二值化图像中的多个第一连通域之前还包括：接收卷帘式图像传感器采集得到的单帧原始图像，其中，所述原始图像包括闪烁光源所形成的条纹图形；根据二值化阈值，对所述原始图像进行二值化以得到二值化图像。
结合第一方面，第一方面的第二种可能的实施方式中，从所述多个第一连通域中选择出目标连通域包括：确定所述多个第一连通域中每个第一连通域的宽度差，将所述每个第一连通域的宽度差和预设的宽度差进行比较，根据比较结果确定其中符合条件的第一连通域为目标连通域。
结合第一方面的第二种可能的实施方式，第一方面的第三种可能的实施方式中，将所述每个第一连通域的宽度差和预设的宽度差进行比较，确定其中符合条件的第一连通域为目标连通域，具体包括：根据卷帘式图像传感器成像平面，以预设条纹图像的条纹长度方向为x轴，并令y轴垂直于所述x轴；遍历所述多个第一连通域的所有像素点以获得所述多个第一连通域对应所有像素点的最大列坐标y1和最小列坐标y2，确定所述多个第一连通域中每个第一连通域的宽度差为：每个第一连通域中的像素点最大列坐标y1减去像素点最小列坐标y2；判断所述多个第一连通域中每个第一连通域的宽度差是否≧kh1且≦kh2，其中，kh1为预设的第一边界条件参数，kh2为预设的第二边界条件参数；确定符合宽度差≧kh1且≦kh2的第一连通域为目标连通域。
结合第一方面的第三种可能的实施方式，第一方面的第四种可能的实施方式中，还包括以下步骤：从所述多个第一连通域中删除宽度差﹤kh1或者﹥kh2的第一连通域。
结合第一方面，第一方面的第五种可能的实施方式中，接收卷帘式图像传感器采集得到的原始图像之后，从所述多个第一连通域中选择出目标连通域之前包括：对所述原始图像进行处理以得到条纹图形模板，并根据所述条纹图形模板识别出目标连通域，其中，所述条纹图形模板的形状为所述原始图像中的条纹图形融合而成的斑状。
结合第一方面的第五种可能的实施方式，第一方面的第六种可能的实施方式中，对所述原始图像进行处理以得到条纹图形模板具体为：根据所述滤波的参数对所述原始图像进行滤波以得到模糊图像，其中，所述滤波的参数设置为使得所述原始图像中的各个图形融合成各自对应的斑块；对所述模糊图像进行二值化以得到二值化模糊图像；对所述二值化模糊图像查找连通域以获得多个第二连通域；识别所述多个第二连通域的形状，并根据与预设的所述闪烁光源所形成的条纹图形形状最接近的第二连通域作为条纹图形模板。
结合第一方面的第六种可能的实施方式，第一方面的第七种可能的实施方式中，根据所述条纹图形模板识别出目标连通域具体为：判断所述第一连通域的像素点的坐标是否都包括在所述条纹图形模板的像素点的坐标构成的集合中；如果是，确定所述第一连通域为目标连通域。
结合第一方面至第七种可能的实施方式中的任意一种，第一方面的第八种可能的实施方式中，所述原始图像包括多个闪烁光源所形成的多个条纹图形，根据所述目标连通域确定条纹集合具体为：对所述目标连通域进行分类以获得多个条纹集合。
结合第一方面的第八种可能的实施方式，第一方面的第九种可能的实施方式中，对所述目标连通域进行分类以获得多个条纹集合包括：根据所述目标连通域构成条纹集合的条件，确定初始条纹集合，筛选未归入任何初始条纹集合的所述目标连通域；从未归入任何初始条纹集合的所述目标连通域中，选取第j个目标连通域，其中j为正整数；以所述第j个目标连通域的质心为圆心，以所述第j个目标连通域的长度为直径作圆；判断所述初始条纹集合中的任意一个目标连通域区域是否与所述圆相交；如果相交，则将所述第j个目标连通域归入对应的所述初始条纹集合，从而得到条纹集合。
结合第一方面的第九种可能的实施方式，第一方面的第十种可能的实施方式中，对所述目标连通域进行分类以获得多个条纹集合之后还包括：判断所述条纹集合是否同时满足以下条件：所述条纹集合中的目标连通域的数量是否大于数量阈值；所述条纹集合中最长的目标连通域的长度是否大于长度阈值；如果不是同时满足所述条件，则删除所述条纹集合。
结合第一方面至第十种可能的实施方式中的任意一种，第一方面的第十一种可能的实施方式中，根据所述条纹集合中的目标连通域计算出所述条纹图形的中心具体为：对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心的坐标值。
结合第一方面的第十一种可能的实施方式，第一方面的第十二种可能的实施方式中，对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心的坐标值具体为：根据公式(1)对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心(u0，v0)：
其中，i为所述条纹集合中目标连通域的序号，li为所述条纹集合中目标连通域的数量，
结合第一方面的第十二种可能的实施方式，第一方面的第十三种可能的实施方式中，根据公式(1)对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心(u0，v0)之后，根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合之前，还包括：对矩形区域q中的像素点的像素值进行滤波以得到滤波后的像素值，其中，所述矩形区域q为所述条纹图形的中心(u0，v0)为中心，以所述条纹集合中最大连通域的宽度为边长的矩形区域；以所述滤波后的像素点的像素值作为权值重新计算所述条纹图形的中心(u0，v0)的坐标值。
结合第一方面的第十三种可能的实施方式，第一方面的第十四种可能的实施方式中，对矩形区域q中的像素点的像素值进行滤波以得到滤波后的像素值具体为：根据公式(2)对矩形区域q中的像素点的像素值通过滤波模板进行滤波以得到滤波后的像素值
n为所述滤波模板的行数和列数，
结合第一方面的第十三种可能的实施方式，第一方面的第十五种可能的实施方式中，以所述滤波后的像素点的像素值作为权值重新计算所述条纹图形的中心(u0，v0)的坐标值具体为：
根据公式(3)重新计算所述条纹图形的中心(u0，v0)的坐标值，其中，
(uj,vj)为矩形区域q中的像素点的坐标值，
结合第一方面第十二至第十五种可能的实施方式中的任意一种，第一方面的第十五种可能的实施方式中，根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合具体包括：
判断所述条纹图形的中心(u0，v0)是否满足以下至少一个：
其中，r为所述条纹集合中最大的连通域的宽度，kwide为所述二值化图像的宽度，kheight为所述二值化图像的高度；
如果满足至少一个，则确定所述条纹集合为无效条纹集合，如果不满足任意一个，则确定所述条纹集合为有效条纹集合。
本发明第二方面提供了一种条纹集合有效性确定装置，所述装置包括能够实现上述任一项所述的方法的单元。
本发明第三方面提供了一种终端，包括卷帘式图像传感器、存储器以及分别与所述卷帘式图像传感器、存储器耦合的处理器，所述存储器用于存储所述卷帘式图像传感器采集到的图像以及指令，所述处理器用于执行所述指令，当所述处理器在执行所述指令时，可根据所述指令执行如上述任一项的方法，以实现对所述卷帘式图像传感器采集到的图像进行处理以确定条纹集合的有效性。
本发明第四方面提供了一种运动物体跟踪系统，包括终端、设置有闪烁光源的控制器，其中，所述终端设置有卷帘式图像传感器，所述设置有闪烁光源的控制器被安装在运动物体上，所述终端为如上述的终端。
本发明第五方面提供了一种图像处理装置，包括：处理器以及存储器，其中，所述处理器连接所述存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，当所述处理器在执行所述指令时，可根据所述指令执行如上述任一项的方法，以实现对所述卷帘式图像传感器采集到的图像进行处理以确定条纹集合的有效性。
本发明第六方面提供了一种图像处理系统，包括卷帘式图像传感器以及图像处理装置，所述图像处理装置耦合所述卷帘式图像传感器，其中，所述图像处理装置为如上述所述的图像处理装置。
本发明第七方面提供了一种运动物体跟踪系统，包括卷帘式图像传感器、设置有闪烁光源的控制器以及图像处理装置，所述图像处理装置分别耦合所述卷帘式图像传感器以及所述控制器，其中，所述控制器被安装在运动物体上，所述图像处理装置为如上述所述的图像处理装置。
本发明第八方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储了确定条纹集合有效性的程序代码，所述程序代码包括用于执行如上述任一项所述的方法的指令。
本发明通过从二值化图像中选择出目标连通域，并从目标连通域中选择出条纹集合，在根据条纹集合的目标连通域计算出目标连通域对应的条纹图形的中心，最后再根据条纹图形的中心确定条纹集合是否为有效条纹集合，能够有效地排除残缺的条纹集合。
附图说明
图1是本发明实施例提供的一种运动跟踪系统的结构示意图；
图2是本发明实施例提供的一种运动跟踪系统中卷帘式图像传感器采集到的闪烁光源的条纹图形的示意图；
图3是本发明实施例提供的一种运动跟踪系统中卷帘式图像传感器在实际工作环境中采集到原始图像；
图4是本发明实施例提供的一种条纹集合有效性确定方法的流程图；
图5是本发明实施例提供的一种条纹集合有效性确定方法中执行步骤420后得到的图像；
图6是本发明实施例提供的一种条纹集合查找方法中执行步骤440后得到的图像；
图7是本发明实施例提供的一种条纹集合查找方法中执行步骤450后得到的图像；
图8是本发明实施例提供的一种条纹集合查找方法中执行步骤470后得到的图像；
图9是本发明实施例提供的一种终端的结构示意图。
具体实施方式
如图1以及图2所示，本发明实施例公开了一种运动跟踪系统，包括卷帘式图像传感器110、设置有闪烁光源121的控制器120以及图像处理装置130。
卷帘式图像传感器110为带有卷帘快门(rollingshutter)功能的图像传感器，例如，设置有电子卷帘快门(electronicrollingshutter)的cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)传感器以及设置有卷帘快门(rollingshutter)的ccd(charge-coupleddevice，电荷耦合元件)传感器等等。卷帘式图像传感器可以设置在图像处理装置上，也可以设置在独立的第三方设备上。卷帘式图像传感器为带有卷帘快门(rollingshutter)功能的图像传感器以行扫描或者列扫描的方式进行扫描。
控制器120可以是带有闪烁光源的游戏手柄、指示棒、体感鼠标等等。控制器的数量可以是一个，也可以是多个。每个控制器上的闪烁光源的数量可以是一个，也可以是多个。闪烁光源为具备有较稳定闪烁频率或者变化闪烁频率的光源，例如，led灯等等，通过控制输入到led等的电源的占空比，可以控制led灯按照固定的频率或者非固定的频率进行闪烁。其中，闪烁光源的闪烁频率大于卷帘式图像传感器的扫描频率。
图像处理装置130可以是嵌入式处理器、数字图像处理器、智能手机、计算机、平板电脑、笔记本等具有良好计算能力的实体。图像处理装置上可以设置有卷帘式图像传感器，也可以不设置卷帘式图像传感器。
这里的卷帘式图像传感器110为带有卷帘式快门功能的图像传感器，用于对控制器120上的闪烁光源进行曝光成像以得到原始图像。闪烁光源为具备有较稳定闪烁频率或者变化闪烁频率的光源，能够影响卷帘式图像传感器110在原始图像的水平方向上形成明暗间隔的图形。具体地，当闪烁光源为“亮”时，卷帘式图像传感器110对闪烁光源进行扫描，则原始图像中会对应出现一个亮条纹；当闪烁光源为“灭”时，卷帘式图像传感器110对闪烁光源进行扫描，则原始图像中会对应出现一个暗条纹。由于闪烁光源的闪烁频率大于卷帘式图像传感器110的扫描频率，所以，卷帘式图像传感器110在完成对闪烁光源的扫描后，原始图像中会对应出现一个多个明暗间隔条纹所组成的图形。
以图3为例，由于实际成像环境的影响，曝光成像后，除了对闪烁光源331以及332拍摄所形成的图形外，原始图像中还会不可避免地存在环境中的日光灯310所形成的光斑状的图形和白炽灯320所形成的光斑状的图形。所以，在卷帘式图像传感器110采集到原始图像后，需要将原始图像发送给图像处理装置，并由图像处理装置对原始图像进行图像处理，以排除日光灯310所形成的光斑状的图形和白炽灯320所形成的光斑状的图形的影响，从原始图像中识别出闪烁光源331和332所形成的条纹图形。
其中，在一般情况下，原始图像中的条纹图形是由闪烁光源331和332所曝光形成的明暗间隔的图形中的多个亮条纹或者多个暗条纹组成的。为了便于陈述，下面均以亮条纹为例。原始图像中的条纹图形的轮廓的形状与闪烁光源331和332的形状相关，例如，如果闪烁光源331和332的形状是圆形的，则条纹图形是由长短不一的亮条纹所构成，而且条纹图形的轮廓是圆形，如果闪烁光源331和332的形状是长方形状的，则条纹图形是由长度相同的亮条纹所构成的，而且，条纹图形的轮廓是长方形。条纹图形中的亮条纹的宽度与闪烁光源331和332的闪烁周期相关，闪烁光源331和332的闪烁周期越长，亮条纹的宽度越宽。在极限状况下，如果闪烁光源331和332的闪烁周期为无穷大，则闪烁光源331和332在原始图像上将会形成一个没有条纹的全亮光斑。原始图像中的条纹图形的数量和卷帘式图像传感器采集范围内的闪烁光源331和332的个数一一对应，例如，卷帘式图像传感器110采集范围内的闪烁光源的个数为2个，则原始图像中条纹图形的数量也为2个。
下面进一步具体说明对所述图像处理装置对原始图像进行处理以排除闪烁光源所形成的残缺的条纹图形的过程。如图4所示，
410：接收卷帘式图像传感器采集得到的原始图像，其中，原始图像包括闪烁光源所形成的条纹图形。进一步的，本步骤中，接收卷帘式图像传感器采集得到的单帧原始图像，该单帧原始图像可以为卷帘式图像传感器的拍摄得到的包含一个或多个闪烁光源所形成的具有不同宽度特征条纹的一幅图像。
420：对原始图像进行二值化以得到二值化图像，其中，二值化阈值设置为条纹图形对应的像素点的值为第一值。
430：对二值化图像中像素值为第一值的像素点查找连通域以获得多个第一连通域。
440：从多个第一连通域中选择出目标连通域，其中，目标连通域为所述条纹所形成的连通域。
450：根据目标连通域确定条纹集合，其中，条纹集合为条纹图形对应的目标通域所构成的集合。
460：根据条纹集合中的目标连通域计算出条纹图形的中心。
470：根据条纹图形的中心确定条纹集合是否为有效条纹集合。
在一具体的实施例中，接收卷帘式图像传感器采集得到的原始图像具体为：由于卷帘式图像传感器可以是集成在图像处理装置中的，也可以是设置在独立的第三方设备中的，所以，原始图像可以是图像处理装置直接通过卷帘式图像传感器对闪烁光源进行曝光成像得到的，也可以为图像处理装置间接接收到第三方设备转发的对闪烁光源进行曝光成像的图像得到的。
在一具体的实施例中，终端接收到卷帘式图像传感器采集得到的原始图像后，对图像进行二值化以得到二值化图像。具体地，对于原始图像，可以根据下面的公式进行二值化：
其中，i为原始图像中的像素点的序号，p(i)为原始图像中的像素点i的像素值，x为预设的二值化阈值，p1为预设的第一值，p2为预设的第二值。由于闪烁光源的像素值和白炽灯、日光灯的像素值相近，而闪烁光源的像素值远不同于背景的像素值。所以，可以预先设置二值化阈值x使得闪烁光源所形成的条纹图形和白炽灯、日光灯等所形成的光斑状图形对应的像素点的像素值大于二值化阈值x，背景的像素点的像素值小于或等于二值化阈值x。通常而言，当第一值预设为“1”时，第二值预设为“0”；当第一值预设为“0”时，第二值预设为“1”。如图5所示的，经过二值化后得到的二值化图像中，闪烁光源所形成的条纹图形和白炽灯、日光灯等所形成的光斑状图形对应的像素点的像素值被设置为“1”，背景对应的像素点的像素值被设置为“0”。
在一具体的实施方式中，设置二值化阈值的方式可以包括：全局预设阈值法、自适应阈值法以及局部阈值法等等。
在本发明实施方式中，所述全局预设阈值法可以通过如下方式实现：预设一个全局阈值，对所有帧的原始图像均采用同一个全局阈值作为二值化阈值。对于具体的一帧原始图像，原始图像中的所有像素点均和该二值化阈值进行比较，从而得到二值化图像。其中，全局阈值可以根据经验人工设置。
在本发明实施方式中，所述自适应阈值法可以通过如下方式实现：根据以往的几帧原始图像的信息确定当前帧原始图像的二值化阈值。对于当前帧原始图像，原始图像中的所有像素点均和当前帧原始图像的二值化阈值进行比较，从而得到二值化图像。
在本发明实施方式中，所述局部阈值法可以通过如下方式实现：以从上往下以及从左往右的顺序依次扫描图像,对每个像素i，判断像素i的像素值是否小于预设阈值。如果小于预设阈值，则暂时不作处理。如果大于或者等于预设阈值，在当前像素点i的n×n邻域内计算像素值的平均值或者高斯平均值，并将计算得到的平均值或者高斯平均值作为当前像素点i的二值化阈值，其中，n为大于0的正整数。将像素点i的像素值和像素点i的二值化阈值进行比较，如果大于像素点i的二值化阈值，则设置为第一值，最后，将小于预设阈值的像素点设置为第二值，从而得到二值化图像。
在一具体的实施例中，在得到二值化图像后，对二值化图像中像素值为第一值的像素点查找连通域以获得多个第一连通域。具体地，在二值化图像中，如果像素点a与像素点b为4邻接或者8邻接，则像素点a与像素点b连通。其中，像素点i(x，y)与像素点i(x-1，y)、像素点i(x+1，y)、像素点i(x，y-1)、像素点i(x，y+1)4邻接；像素点i(x，y)与像素点i(x-1，y-1)、像素点i(x-1，y)、像素点i(x-1，y+1)、像素点i(x，y-1)、像素点i(x，y+1)、像素点i(x+1，y-1)、像素点i(x+1，y)、像素点i(x+1，y+1)8邻接。如果像素点a与像素点b连通，像素点b与像素点c连通，则像素点a、b和c均属于同一个连通域。通过two-pass法或者seed-filling种子填充法等算法查找连通域后，可以得到多个第一连通域。以图5为例，这些第一连通域中，包括：闪烁光源331和332所形成的条纹图形所对应的第一连通域，其中，条纹图形中的每个条纹对应得到一个第一连通域；白炽灯320所形成的光斑状图形对应的第一连通域，其中，一个白炽灯320所形成的光斑状图形对应得到一个第一连通域；日光灯310所形成的光斑状图形对应的第一连通，其中，一个日光灯310所形成的光斑状图形对应得到一个第一连通域。
在一具体的实施例中，在得到多个第一连通域后，从多个第一连通域中选择出闪烁光源形成的条纹图形对应的第一连通域以作为目标连通域。具体地，可以通过以下的两种方式获得目标连通域：
在第一种方式中，确定多个第一连通域中每个第一连通域的宽度差，将每个第一连通域的宽度差和预设的宽度差进行比较，根据比较结果确定其中符合条件的第一连通域为目标连通域。具体地，由于条纹图形中的条纹对应的第一连通域的宽度差远小于日光灯和白炽灯对应的第一连通域的宽度差，而且，条纹图形中的条纹对应的第一连通域的宽度差不可能太小，所以，可以通过下面的方法判断第一连通域是否为目标连通域。首先，根据卷帘式图像传感器成像平面，以预设条纹图像的条纹长度方向为x轴，并令y轴垂直于所述x轴。遍历多个第一连通域的所有像素点以获得多个第一连通域对应所有像素点的最大列坐标y1和最小列坐标y2，确定多个第一连通域中每个第一连通域的宽度差为：每个第一连通域中的像素点最大列坐标y1减去像素点最小列坐标y2；判断多个第一连通域中每个第一连通域的宽度差是否≧kh1且≦kh2，其中，kh1为预设的第一边界条件参数，kh2为预设的第二边界条件参数。确定符合宽度差≧kh1且≦kh2的第一连通域为目标连通域，不符合宽度差≧kh1且≦kh2的第一连通域不是目标连通域。将不是目标连通域的第一连通域删去。以图6为例，将不是目标连通域的第一连通域删去后，如图示的结果。
在一具体的实施方式中，第一边界条件参数kh1以及第二边界条件参数kh2可以根据如下方式确定：如果闪烁光源的闪烁周期为t，闪烁光源的调制信号的占空比为φ，卷帘式图像传感器行或列曝光时间为t，则第一边界条件参数kh1＝(φ*t)/(2t)，第二边界条件参数kh2＝k*(φ*t)/(2t)，其中k为调优参数。
在第二种方式中，对原始图像进行处理以得到条纹图形模板，并根据条纹图形模板识别出目标连通域，其中，条纹图形模板的形状为原始图像中的条纹图形融合而成的斑状。具体地，根据滤波的参数对原始图像进行滤波以得到模糊图像，其中，滤波的参数设置为使得原始图像中的各个图形融合成各自对应的斑块。然后，对模糊图像进行二值化以得到二值化模糊图像。之后，对二值化模糊图像查找连通域以获得多个第二连通域。识别多个第二连通域的形状，并根据与预设的闪烁光源所形成的条纹图形形状最接近的第二连通域作为条纹图形模板。如此处理后所得到的第二连通域包括：条纹图形所构成的斑状图形对应的第二连通域，其中，一个条纹图形对应得到一个第二连通域；白炽灯所形成的光斑状图形对应的第二连通域，其中，一个白炽灯所形成的光斑状图形对应得到一个第二连通域；日光灯所形成的光斑状图形对应的第二连通，其中，一个日光灯所形成的光斑状图形对应得到一个第二连通域。而且，由于条纹图形所构成的斑状图形对应的第二连通域、白炽灯所形成的光斑状图形对应的第二连通域和日光灯所形成的光斑状图形对应的第二连通域的形状各不相同，所以，可以识别多个第二连通域的形状，并选择与预设的闪烁光源所形成的条纹图形形状最接近的第二连通域作为条纹图形模板。此后，找出条纹图形模板中的像素点的坐标的集合。如果判断第一连通域的所有像素点的坐标都落入条纹图形模板的像素点的坐标构成的集合内，则可以确定第一连通域为目标连通域，反之，则可以确定第一连通域不是目标连通域。对每一个第一连通域都进行上述的判断，就可以将条纹图形对应的所有目标连通域都查找出来。
在一具体的实施例中，如果原始图像包括多个闪烁光源所形成的多个条纹图形，则还需要对查找到的目标连通域进行分类以获得多个条纹集合。具体地，根据目标连通域构成条纹集合的条件，确定初始条纹集合，筛选未归入任何初始条纹集合的目标连通域。其中，目标连通域构成条纹集合的条件可以是随机选择一个未归入任何一个条纹集合的目标连通域，将选择出来的目标连通域归入初始条纹集合，从而得到初始条纹集合。然后，从未归入任何条纹集合的目标连通域中，选取第j个目标连通域，其中j为正整数。以第j个目标连通域的质心为圆心，以第j个目标连通域的长度为直径作圆；判断初始条纹集合中的任意一个目标连通域区域是否与圆相交。如果相交，则将第j个目标连通域归入对应的初始条纹集合。对所有未归入任何一个条纹集合的目标连通域按上述的方法进行判断后，则初始条纹集合被对应更新为条纹集合。完成查找后，查找的结果如图7所示。
在一具体的实施例中，由于目标连通域个数太少的条纹集合和最长的目标连通域长度太短的条纹集合都是不及格的条纹集合，所以，为了提高查找条纹集合的准确性，还可以在完成查找后进行如下判断，以将不符合的条纹集合去掉。具体地，判断条纹集合是否同时满足以下条件：条纹集合中的目标连通域的数量是否大于数量阈值；条纹集合中最长的目标连通域的长度是否大于长度阈值。如果不是同时满足所述条件，则删除条纹集合，如果同时满足所述条件，则保留条纹集合。
在一具体的实施例中，根据条纹集合中的目标连通域计算出条纹图形的中心可以包括：对条纹集合中的目标连通域的中心的坐标值求平均以得到条纹图形的中心的坐标值，或者，对条纹集合中的目标连通域的所有像素点的坐标值求平均以得到条纹图形的中心的坐标值等等。
在具体的实现中，对条纹集合中的目标连通域的中心的坐标值求平均以得到条纹图形的中心的坐标值可以是：根据公式(1)对条纹集合中的目标连通域的中心的坐标值求平均以得到条纹图形的中心(u0，v0)：
其中，i为条纹集合中目标连通域的序号，li为条纹集合中目标连通域的数量，
在具体的实现中，对条纹集合中的目标连通域的中心的坐标值求平均以得到条纹图形的中心的坐标值还可以是：首先，根据公式(1)对条纹集合中的目标连通域的中心的坐标值求平均以得到条纹图形的中心(u0，v0)：
其中，i为条纹集合中目标连通域的序号，li为条纹集合中目标连通域的数量，
其中，n为滤波模板的行数和列数，
其中，(uj,vj)为矩形区域q中的像素点的坐标值，
在一具体的实施例中，可以通过如下的方法判断确定条纹集合是否为有效条纹集合，具体地：判断所述条纹图形的中心(u0，v0)是否满足以下至少一个：
其中，r为条纹集合中最大的连通域的宽度，kwide为二值化图像的宽度，kheight为二值化图像的高度；如果满足至少一个，则确定条纹集合为无效条纹集合，如果不满足任意一个，则确定条纹集合为有效条纹集合。经过判断确定条纹集合是否为有效条纹集合之后，得到的图像如图8所示。
参阅图9，本发明还提供了一种终端，具体来讲：终端500可以包括rf(radiofrequency，射频)电路510、包括有一个或一个以上计算机可读存储介质的存储器520、输入单元530、显示单元540、传感器550、音频电路5160、wifi(wirelessfidelity，无线保真)模块570、包括有一个或者一个以上处理核心的处理器580、以及电源590等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
rf电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器580处理；另外，将涉及上行的数据发送给基站。通常，rf电路510包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、lna(lownoiseamplifier，低噪声放大器)、双工器等。此外，rf电路510还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma(codedivisionmultipleaccess，码分多址)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、lte(longtermevolution,长期演进)、电子邮件、sms(shortmessagingservice，短消息服务)等。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端500的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器520还可以包括存储器控制器，以提供处理器580和输入单元530对存储器520的访问。
输入单元530可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元530可包括触敏表面531以及其他输入设备532。触敏表面531，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面531上或在触敏表面531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面531。除了触敏表面531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及终端500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元540可包括显示面板541，可选的，可以采用lcd(liquidcrystaldisplay，液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等形式来配置显示面板541。进一步的，触敏表面531可覆盖显示面板541，当触敏表面531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图8中，触敏表面531与显示面板541是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面531与显示面板541集成而实现输入和输出功能。
终端500还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在终端500移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端500还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与终端500之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经rf电路510以发送给比如另一终端，或者将音频数据输出至存储器520以便进一步处理。音频电路560还可能包括耳塞插孔，以提供外设耳机与终端500的通信。
wifi属于短距离无线传输技术，终端500通过wifi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了wifi模块570，但是可以理解的是，其并不属于终端500的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是终端500的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行终端500的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理核心；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
终端500还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源590还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端500还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端的显示单元是触摸屏显示器，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令：
获取二值化图像中的多个第一连通域；
从所述多个第一连通域中选择出目标连通域；
根据所述目标连通域确定条纹集合，从而确定条纹图形；
根据所述条纹集合中的目标连通域计算出所述条纹图形的中心；
根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合。
可选地，所述获取二值化图像中的多个第一连通域之前还包括：接收卷帘式图像传感器采集得到的单帧原始图像，其中，所述原始图像包括闪烁光源所形成的条纹图形；根据二值化阈值，对所述原始图像进行二值化以得到二值化图像。
可选地，从所述多个第一连通域中选择出目标连通域包括：确定所述多个第一连通域中每个第一连通域的宽度差，将所述每个第一连通域的宽度差和预设的宽度差进行比较，根据比较结果确定其中符合条件的第一连通域为目标连通域。
可选地，将所述每个第一连通域的宽度差和预设的宽度差进行比较，确定其中符合条件的第一连通域为目标连通域，具体包括：根据卷帘式图像传感器成像平面，以预设条纹图像的条纹长度方向为x轴，并令y轴垂直于所述x轴；遍历所述多个第一连通域的所有像素点以获得所述多个第一连通域对应所有像素点的最大列坐标y1和最小列坐标y2，确定所述多个第一连通域中每个第一连通域的宽度差为：每个第一连通域中的像素点最大列坐标y1减去像素点最小列坐标y2；判断所述多个第一连通域中每个第一连通域的宽度差是否≧kh1且≦kh2，其中，kh1为预设的第一边界条件参数，kh2为预设的第二边界条件参数；确定符合宽度差≧kh1且≦kh2的第一连通域为目标连通域。
可选地，还包括以下步骤：从所述多个第一连通域中删除宽度差﹤kh1或者﹥kh2的第一连通域。
可选地，接收卷帘式图像传感器采集得到的原始图像之后，从所述多个第一连通域中选择出目标连通域之前包括：对所述原始图像进行处理以得到条纹图形模板，并根据所述条纹图形模板识别出目标连通域，其中，所述条纹图形模板的形状为所述原始图像中的条纹图形融合而成的斑状。
可选地，对所述原始图像进行处理以得到条纹图形模板具体为：根据所述滤波的参数对所述原始图像进行滤波以得到模糊图像，其中，所述滤波的参数设置为使得所述原始图像中的各个图形融合成各自对应的斑块；对所述模糊图像进行二值化以得到二值化模糊图像；对所述二值化模糊图像查找连通域以获得多个第二连通域；识别所述多个第二连通域的形状，并根据与预设的所述闪烁光源所形成的条纹图形形状最接近的第二连通域作为条纹图形模板。
可选地，根据所述条纹图形模板识别出目标连通域具体为：判断所述第一连通域的像素点的坐标是否都包括在所述条纹图形模板的像素点的坐标构成的集合中；如果是，确定所述第一连通域为目标连通域。
可选地，所述原始图像包括多个闪烁光源所形成的多个条纹图形，根据所述目标连通域确定条纹集合具体为：对所述目标连通域进行分类以获得多个条纹集合。
可选地，对所述目标连通域进行分类以获得多个条纹集合包括：根据所述目标连通域构成条纹集合的条件，确定初始条纹集合，筛选未归入任何初始条纹集合的所述目标连通域；从未归入任何初始条纹集合的所述目标连通域中，选取第j个目标连通域，其中j为正整数；以所述第j个目标连通域的质心为圆心，以所述第j个目标连通域的长度为直径作圆；判断所述初始条纹集合中的任意一个目标连通域区域是否与所述圆相交；如果相交，则将所述第j个目标连通域归入对应的所述初始条纹集合，从而得到条纹集合。
可选地，对所述目标连通域进行分类以获得多个条纹集合之后还包括：判断所述条纹集合是否同时满足以下条件：所述条纹集合中的目标连通域的数量是否大于数量阈值；所述条纹集合中最长的目标连通域的长度是否大于长度阈值；如果不是同时满足所述条件，则删除所述条纹集合。
可选地，根据所述条纹集合中的目标连通域计算出条纹图形的中心具体为：对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心的坐标值。
可选地，对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心的坐标值具体为：
根据公式(1)对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心(u0，v0)：
其中，i为所述条纹集合中目标连通域的序号，li为所述条纹集合中目标连通域的数量，
可选地，根据公式(1)对所述条纹集合中的目标连通域的中心的坐标值求平均以得到所述条纹图形的中心(u0，v0)之后，根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合之前，还包括：对矩形区域q中的像素点的像素值进行滤波以得到滤波后的像素值，其中，所述矩形区域q为所述条纹图形的中心(u0，v0)为中心，以所述条纹集合中最大连通域的宽度为边长的矩形区域；以所述滤波后的像素点的像素值作为权值重新计算所述条纹图形的中心(u0，v0)的坐标值。
可选地，对矩形区域q中的像素点的像素值进行滤波以得到滤波后的像素值具体为：根据公式(2)对矩形区域q中的像素点的像素值通过滤波模板进行滤波以得到滤波后的像素值
n为所述滤波模板的行数和列数，
可选地，以所述滤波后的像素点的像素值作为权值重新计算所述条纹图形的中心(u0，v0)的坐标值具体为：
根据公式(3)重新计算所述条纹图形的中心(u0，v0)的坐标值，其中，
(uj,vj)为矩形区域q中的像素点的坐标值，
可选地，根据所述条纹图形的中心确定所述条纹集合是否为有效条纹集合具体包括：
判断所述条纹图形的中心(u0，v0)是否满足以下至少一个：
其中，r为所述条纹集合中最大的连通域的宽度，kwide为所述二值化图像的宽度，kheight为所述二值化图像的高度；如果满足至少一个，则确定所述条纹集合为无效条纹集合，如果不满足任意一个，则确定所述条纹集合为有效条纹集合。
为进一步优化运动跟踪系统，本发明实施例还公开了另一种运动跟踪系统，与图1所示的运动跟踪系统的不同之处在于，所述卷帘式图像传感器和所述图像处理装置均集成在终端中。其中，终端可以是智能手机、笔记本电脑、平板电脑、行车记录仪、录像机、投影仪等等。
本发明实施例还公开了一种图像处理系统，与图1所示的运动跟踪系统的不同之处在于，所述图像处理系统只包括卷帘式图像传感器以及图像处理装置，不包括控制器。
本发明实施例还提供了一种条纹集合查找装置，所述装置包括能够实现如图4所示的方法的单元，具体请参阅图4以及相关描述，此处不再展开描述。
本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 还没有人留言评论。精彩留言会获得点赞！