一种多点触摸轨迹跟踪方法与流程

本发明涉及触摸控制技术领域，尤其涉及一种多点触摸轨迹跟踪的方法。

背景技术：
随着多媒体技术的发展，触摸控制技术已成为当今人机交互中的热点技术。许多产品的人机交互的方式（如键盘、鼠标等）都逐渐被触摸控制技术所代替。在触摸控制技术的各种应用中，用户通常希望计算机能够理解用户的各种触摸操作，从而理解用户意图并快速地作出相应的响应，进而为用户提供更加方便、智能的服务。用户通过手指、手写笔等触摸物在触摸检测表面滑动是一种常用的触摸操作，在这种情况下，机器通过分析触摸物在触摸屏上的移动轨迹来判断用户预执行的操作，能否对触摸物的运动轨迹进行正确的跟踪关系到机器能否正确响应用户的操作，所以正确地捕捉、跟踪到触摸物的轨迹非常重要。对于单点触摸屏，当触摸物在触摸屏上运动时，机器通过关联前后两帧（或前后两个扫描周期，或前后两个时刻）的触摸点就能够正确得到触摸点的运动轨迹，但是随着触摸点数的增加，前后两帧（或前后两个扫描周期，或前后两个帧）的触摸点都不止为一个，没法直接对前后两帧（或前后两个扫描周期，或前后两个帧）的触摸点进行一对一的关联，因此无法得到触摸物的正确轨迹。在目前的多点轨迹跟踪中，进行触摸点跟踪的一种常用方法为前后帧间触摸点最小欧式距离匹配法，即，针对前一帧的所有触摸点，在当前帧的所有触摸点中搜索欧式距离最近的触摸点进行关联。这种方法简单、实时性非常好，但是这种方法只用到了前后两帧的触摸点之间的关系，是基于局部最优的，如图1a和图1b所示，当触摸物101在触摸表面102快速滑动时，会出现如图1a所示的错误，即将本来平行的轨迹（图1a中的实线）跟踪为交叉的轨迹（图1a中的虚线），当有两个触摸物101在触摸表面102交叉运动时，会出现如图1b所示的错误，即将本来交叉的轨迹（图1b中的实线）跟踪为平行的轨迹（图1b中的虚线），因此传统的触摸跟踪方法容易出现轨迹串扰的问题。专利号为201110030430.4的中国专利申请提出了一种采用半卡尔曼滤波的方法进行轨迹跟踪，并通过三帧迭代和最小距离限制的方法来消除噪声，该专利申请所述的方法中搜索与预测位置欧氏距离最近的触摸点，若找到，则与前一帧中相应的触摸点关联，这种仅仅通过欧氏距离最近的方法进行轨迹跟踪的方法无法解决触摸点相冲突的问题，即下一帧中同一个触摸点与前一帧的两个触摸点相关联，这种情况下，同样会出现轨迹串扰的问题，不能实现全局最优关联。

技术实现要素：
针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能够改善轨迹串扰问题并能够实现全局最优的多点触摸轨迹跟踪方法。为解决上述技术问题，本发明采用的技术方案如下：一种多点触摸轨迹跟踪方法，所述方法包括：A、预测第N帧中各个触摸点的预测位置，N为大于或等于3的整数；B、识别出第N帧中的各个触摸点；C、在给定的窗口阈值范围内，针对每一个所述预测位置，搜索与该预测位置距离最小的触摸点，并将该触摸点与第N-1帧中的相应被预测的触摸点关联；D、判断第N-1帧中是否存在至少两个触摸点同时与第N帧中的一个触摸点相关联；若存在，进入步骤D，否则，N的数值加1，并转到步骤A；E、在第N帧的各个触摸点中搜索分别与所述至少两个触摸点对应的预测位置的距离次小的触摸点，针对所述至少两个触摸点的每一个，在距离其预测位置最小的触摸点和次小的触摸点中选择偏离其预测方向较小的一个与其相关联，N的数值加1，并转到步骤A。如上所述的多点触摸轨迹跟踪方法，所述步骤A中所述预测第N帧中各个触摸点的预测位置的方法具体为：计算第N-1帧中各个触摸点的状态向量，所述状态向量中包含坐标数据、速度数据和加速度数据；根据所述状态向量利用半卡尔曼滤波法进行预测。如上所述的多点触摸轨迹跟踪方法，所述步骤C进一步包括：在第N帧和第N-1帧之间的各个关联中，判断相关联的两个触摸点间的速度变化量和/或加速度变化量，若速度变化量大于给定的速度变化阈值，和/或加速度变化量大于给定的加速度变化阈值，则断开该关联；否则保持该关联。如上所述的多点触摸轨迹跟踪方法，所述至少两个触摸点包括触摸点B1和B2，所述步骤E由以下步骤代替：在第N帧的各个触摸点中分别搜索与B1和B2的预测位置距离次小的触摸点，针对B1，若距离最小的触摸点和距离次小的触摸点偏离B1的预测方向的角度都大于设定的角度阈值，则断开B1所在的轨迹，否则在距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联；针对B2，若距离最小的触摸点和距离次小的触摸点偏离B2的预测方向的角度都大于设定的角度阈值，则断开B2所在的轨迹，否则在距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。如上所述的多点触摸轨迹跟踪方法，针对每一条轨迹中的前三帧，采用前三帧迭代的方法进行轨迹跟踪，具体为：A1、记录第一帧中各触摸点坐标数据；A2、记录第二帧中各触摸点的坐标数据，在给定的窗口阈值范围内，搜索第二帧中与第一帧中各触摸点位置最近的触摸点，若找到则与第一帧中的相应触摸点关联，并计算水平与垂直方向速度，若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点，则第一帧中该触摸点为噪声，进行清除；A3、在第三帧中，同样记录各触摸点坐标数据，在给定的窗口阈值范围内，搜索第三帧中与第二帧中各触摸点位置最近的触摸点，若找到则与第二帧中相应触摸点关联，并计算水平与垂直方向速度，并与第二帧中相应触摸点的速度求平均，以此作为初始速度，若没有搜索到则认为第二帧中该触摸点为噪声，进行清除。如上所述的多点触摸轨迹跟踪方法，所述步骤E还包括判断是否有新触摸点加入的步骤，具体为：判断第N帧中是否存在未被关联的触摸点，若存在，则计算该未被关联的触摸点与距离该点最近的触摸点之间的距离，如果该距离大于指定的距离阈值，则为新增点，否则为噪声点，并进行清除。如上所述的多点触摸轨迹跟踪方法，在所述步骤E还包括判断是否有轨迹结束的步骤，具体为：判断第N-1帧中是否存在未和第N帧中触摸点相关联的触摸点，若存在，则第N-1帧中未被关联触摸点所在的轨迹结束，否则，没有要结束的轨迹。。如上所述的多点触摸轨迹跟踪方法，所述步骤A和所述步骤B互换。本发明提供一种多点触摸轨迹跟踪方法，通过搜索与预测触摸点之间的距离最小的点建立前后两帧触摸点之间的关联，能够减少轨迹串扰问题；本对于存在冲突点的情况，考虑到触摸物的运动不能发生突变的特点及用户的操作习惯，引入一个运动方向的判断，将相对于预测方向变化较小的一个方向作为实际触摸点的轨迹方向，这种轨迹跟踪的方法比较符合实际，因此能够实现全局最优关联，还可以进一步减少轨迹串扰问题。附图说明图1a和图1b为现有技术的轨迹跟踪的方法中出现的轨迹串扰的两种情形；图2为本发明第一种实施方式中多点触摸轨迹跟踪方法的流程图；图3为将当前帧中的各个触摸点与前一帧中各触摸点建立关联的示意图；图4a和图4b为存在冲突点的情况下针对冲突点建立最优关联的两种情况的示意图；图5为当两条轨迹距离较近时出现轨迹串扰的一种情形。具体实施方式下面结合实施例和附图对本发明进行清楚完整地描述。本发明中提供的触摸轨迹跟踪方法适用于各种触摸屏，如红外触摸屏、光学触摸屏等，本发明中提到的“相关联”是指将前后两帧中的两个触摸点识别为同一条轨迹上的点。第一种实施方式本实施方式提供一种多点触摸轨迹跟踪方法，可以应用于基于红外光网络技术的红外触摸屏和基于光学影像技术的光学触摸屏等各种触摸屏。如图2所示，该多点触摸轨迹跟踪方法包括：步骤201：对每一条轨迹进行初始化，也即跟踪出每一条轨迹的初始轨迹。本步骤中可以采用前三帧迭代的方法对每一条轨迹进行初始化，也即针对每一条轨迹中的前三帧，采用前三帧迭代的方法进行轨迹跟踪，具体包括以下步骤：步骤2011：当检测到有触摸点时，将当前帧记为第一帧，记录第一帧各触摸点坐标数据（包括水平方向坐标x和垂直方向坐标y）；步骤2012：接下来的一帧记为第二帧，同样记录各触摸点的坐标数据（包括水平方向坐标x和垂直方向坐标y），针对第一帧中的各触摸点，在给定的窗口阈值范围内，搜索第二帧中与第一帧中各触摸点位置最近的触摸点，若找到，则将该位置最近的触摸点与第一帧中相应的触摸点作为同一轨迹上的不同时刻的两个触摸点，因此将该位置最近的触摸点与第一帧中的相应触摸点关联，并计算水平与垂直方向速度，若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点，则第一帧中该触摸点为噪声，进行清除；步骤2013：在第三帧中，同样记录各触摸点坐标数据（包括水平方向坐标x和垂直方向坐标y），针对第二帧中各触摸点，在给定的窗口阈值范围内，搜索第三帧中与第二帧中各触摸点位置最近的触摸点，若找到则与第二帧中相应触摸点关联，并计算水平与垂直方向速度，并与第二帧中相应速度求平均，以此作为初始速度，若没有搜索到则可认为第二帧中该触摸点为噪声，进行清除。这种初始化的方法称为三帧迭代初始化法，采用前三帧的信息即判断前一帧中检测的触摸点是否为噪声点，又通过求取前两帧的平均速度作为初始速度，提高了检测精度。该方法中所指“位置最近的触摸点”是指欧式距离最小的触摸点，假定第一帧中有一触摸点A，在第二帧中检测到一触摸点B，则A、B之间的欧式距离为：水平速度：垂直速度：其中，xA，yA，xB，yB分别为触摸点A、B的横坐标与纵坐标，Δt为相邻两帧的时间间隔，同样根据A、B的速度数据也可以求出加速度数据（ax，ay）。采用三帧迭代初始化法之后，可以得到真实触摸点的状态向量，触摸点的状态向量可以包括坐标数据和速度数据，还可以进一步根据速度数据获取加速度数据，如某触摸点的状态向量为：SA＝(xA,yB,vx,vy,ax,ay)，其各分量的意义如上。本实施方式中所指的“窗口阈值”是指欧氏距离窗口阈值，这里的窗口可以为矩形窗口，如3×4的矩形窗口，还可以为圆形窗口，如半径为3的窗口，在实际应用中，窗口阈值的大小及单位可以根据实际需要或实验结果来选取，这里对“窗口阈值”的说明也适用于本发明的其他实施方式。如果不要求精度，采用两帧迭代初始化也能获得第二帧中触摸点的状态向量。步骤202：根据前一帧（第N-1帧）中触摸点的状态向量预测各触摸点在下一帧（第N帧）的预测位置，其中N为大于等于3的整数。为了描述的清楚，下面采用第N-1帧和第N帧的方式进行描述。在得到第N-1帧中各触摸点的状态向量之后，预测各触摸点在第N帧中出现的位置（即预测位置），具体预测的方法可以有多种，可以采用专利号为201110030430.4的中国专利申请中提到的半卡尔曼滤波法进行预测，在精度要求不高的情况下，可以直接根据前一帧中各触摸点的位置数据和速度数据，采用运动方程获取预测位置坐标，即：xt+1＝xt+vxΔtyt+1＝yt+vyΔt其中xt、yt为t帧中某触摸点的水平和垂直坐标，xt+1、yt+1为t+1帧中该触摸点的水平和垂直坐标，vx和vy为t帧中该触摸点的水平速度和垂直速度。步骤203：识别出第N帧中的各个触摸点，具体的识别触摸点的方法可以采用现有技术中的任一种方法。由于步骤201、步骤202和步骤203在现有技术中均有记载，这里就不再赘述。步骤204：在第N帧中，在给定的窗口阈值范围内，针对每一个预测位置，搜索与该预测位置距离最小的触摸点，将该距离最小的触摸点与第N-1帧中的相应被预测的触摸点关联，也即该距离最小的触摸点与前一帧中的相应触摸点归属为同一条轨迹，若在给定的窗口阈值范围内搜索不到与该预测位置距离最小的触摸点，则可以判断是否有轨迹结束。如图3所示，示出了将当前帧中的各个触摸点与前一帧中各触摸点建立关联的示意图，图中将实际的触摸点用实心点表示真实触摸点，用空心点表示预测的触摸点，以三条轨迹为例，实心点A1、A2、A3为第5帧中的三个触摸点，实心点B1、B2、B3为第6帧（也即前一帧）中的三个触摸点，实心点P1、P2、P3为第7帧（也即当前帧）中的触摸点，空心点P1’、P2’、P3’所在的位置为根据第6帧（也即前一帧）中的三个触摸点B1、B2、B3的状态向量预测在第7帧中出现的位置，在P1、P2、P3中，在一定的窗口阈值范围内，分别搜索与P1’、P2’、P3’的欧氏距离最小的触摸点，搜索的结果为P1与P1’距离最近，P2与P2’的距离最近，因此将B1与P1相关联，将B2与P2相关联，而在图示中的窗口阈值范围内，没有搜索到距离P3’最近的触摸点，则可以判断B3所在的轨迹是否结束。以上步骤中，通过首先预测各触摸点在下一帧中可能出现的位置，然后再进行与预测点的最小欧氏距离搜索建立前后两帧触摸点之间的关联，能够减少轨迹串扰的问题，但是在前面建立的各种关联中，可能存在如图4a和图4b的情况，即P1既为在图中的窗口阈值范围内距离P1’最近的触摸点也为距离P2’最近的触摸点，按照前面的方法，就会将P1同时与B1和B2相关联，称P1点存在冲突，为了解决冲突点得问题，需要继续执行下面的步骤。步骤205：在第N帧中，搜索同时与第N-1帧中的两个触摸点B1和B2相关联的触摸点，若搜索到，则执行步骤206，否则使N的数值加1，并转至步骤202。步骤206：在第N帧的各个触摸点中搜索分别与B1和B2的预测位置距离次小的触摸点，针对B1，在与预测位置距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联；针对B2，在与预测位置距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。如图4a和图4b，P1同时与B1和B2相关联，在当前帧得各个触摸点中分别搜索与B1、B2的预测位置P1’、P2’的欧氏距离次小的触摸点，图4a和图4b中与P1’、P2’的欧氏距离次小的触摸点为同一个触摸点P2，在P1和P2中选择偏离B1的预测方向（P1’相对于B1的方向）较小的一个与B1相关联，也即在P1和P2中选择它们与B1的连线偏离直线B1P1’的方向的角度较小的一个作为与B1的最优关联，即如果直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角，则将B1与P1相关联，否则将B1与P2相关联；同样，在P1和P2中选择偏离B2的预测方向（P2’相对于B2的方向）较小的一个与B2相关联，也即在P1和P2中选择它们与B2的连线偏离直线B2P2’的方向的角度较小的一个作为与B2的最优关联，即如果直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角，则将B2与P1相关联，否则将B2与P2相关联，上述的预测方向为前一帧的触摸点与当前帧的预测位置连线的方向。在图4a中，直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角，因此B1与P1的关联为最优关联，直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角，因此B2与P1的关联为最优关联；在图4b中，直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角，因此B1与P1的关联为最优关联，直线B2P1和B2P2’的夹角大于B2P2和B2P2’的夹角，因此B2与P2的关联为最优关联。本步骤中对于冲突点的处理是基于触摸物（一般是人来操作）的运动特点，一般情况下，触摸物在触摸表面画线时，触摸物的运动方向不会突变，从一个方向变到另一个方向会有一个过度的过程，因此，在轨迹跟踪时，将运动方向相对于预测方向变化较小的一个作为正确的轨迹，这样处理比较符合触摸物的运动特点。在上述步骤的基础上，还可以增加后续的一些处理，例如判断是否有新增点的加入，判断当前帧中轨迹是否已经结束等，具体如下：步骤207：判断当前帧（第N帧）中是否有新增点加入，若有则对新增点执行步骤201，否则转至步骤208。本步骤中，判断是否有新增点加入的方法可以为：判断当前帧中是否存在未被关联的触摸点，若存在，则计算该未被关联的触摸点与距离该点最近的触摸点之间的距离，如果该距离大于指定的距离阈值，则为新增点，否则为噪声点，并进行清除。这里判断新触摸点的方法可以减少环境光的影响带来的噪声，进而能够提高真实触摸点检测的正确率。步骤208：判断当前帧中是否有轨迹结束，若有则结束相应触摸点的轨迹跟踪，否则是N的数值加1，并转至步骤202。本步骤中判断是否有轨迹结束的方法可以为：判断前一帧中是否存在未和当前帧中准触摸点相关联的真实触摸点，若存在，则说明条轨迹在此断开，因此前一帧中未被关联触摸点所在的轨迹结束，否则，没有要结束的轨迹，继续按照前面所述的方法进行轨迹跟踪。本实施方式提供一种多点触摸轨迹跟踪方法，通过搜索与预测触摸点之间的距离最小的点建立前后两帧触摸点之间的关联，能够减少轨迹串扰问题；对于存在冲突点的情况，引入一个运动方向的判断，将相对于预测方向变化较小的一个方向作为实际触摸点的轨迹方向，考虑到的触摸物的运动特点，比较符合实际，因此能够实现全局最优关联，进一步减少轨迹串扰问题。第二种实施方式本实施方式提供第二种多点触摸轨迹跟踪方法，本实施方式是对第一种实施方式的进一步改进，本实施方式是在第一种实施方式的基础上，在步骤206和步骤207之间增加了步骤207’。为了简单起见，本实施方式只对与第一种实施方式的不同之处进行详细说明。步骤207’：设定一个速度变化阈值，在前一帧和当前帧触摸点之间的各个关联中，判断相关联的两个触摸点间的速度变化量，若速度变化量大于给定的速度变化阈值，则断开该关联，将该相关联的两个触摸点分别属于两条不同轨迹上的点；否则保持该关联，该相关联的两个触摸点同属于一条轨迹上的点。如图5所示为操作者在触摸表面画两条距离较近的线时出现轨迹串扰的情形，操作者在触摸表面绘出两条轨迹：一条曲线和一条直线，根据曲线上的A点预测A点的预测点为C，经搜索B点为距离C点最近的点，因此按照第一种实施方式中的方法，会将A点和B点关联起来，但实际上A和B属于两条不同的轨迹，A点和D点位于同一条轨迹上，应该将A和D进行关联，为了避免这种情况的产生，本实施方式中增加了一个速度变化阈值，通过判断A点和B点的速度，如果两点的速度差别比较大，大于设定的速度阈值，则将A和B断开，从而将图5中的两条轨迹断开。此步骤是基于触摸物（一般是人来操作）的运动极限来考虑的，一般情况下，同一条轨迹上相关联的两个触摸点之间的速度变化不会太快，如果相关联的两个触摸点的速度变化大于一定的阈值，可以将这两个触摸点归属于两条不同的轨迹，通过本步骤的处理，可以进一步修正第一种实施方式中跟踪错误的轨迹。本实施方式中，也可以设定加速度变化阈值，通过判断相关联的两个触摸点的加速度变化，若两个相关联的触摸点之间的加速度差值大于设定的加速度变化阈值，则这两个触摸点不属于同一条轨迹；还可以同时设定速度变化阈值和加速度变化阈值，通过判断相关联的两个触摸点的速度变化和加速度变化，若相关联的两个触摸点的速度差值大于速度变化阈值，加速度差值大于加速度变化阈值，则这两个触摸点不属于同一条轨迹。第三种实施方式本实施方式提供第三种多点触摸轨迹跟踪方法，本实施方式是对前两种实施方式的进一步改进，与前两种实施方式的不同之处在于：步骤206由步骤206’代替，具体为：步骤206’：在当前帧的各个触摸点中分别搜索与B1和B2的预测位置距离次小的触摸点，针对B1，若与预测位置距离最小的触摸点和距离次小的触摸点偏离B1的预测方向的角度都大于设定的角度阈值，则断开B1所在的轨迹，否则在距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联；针对B2，若与预测位置距离最小的触摸点和距离次小的触摸点偏离B2的预测方向的角度都大于设定的角度阈值，则断开B2所在的轨迹，否则在距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。如图4a和图4b，在当前帧的各个触摸点中分别搜索与B1、B2的预测位置P1’、P2’的欧氏距离次小的触摸点，图4a和图4b中与P1’、P2’的欧氏距离次小的触摸点为同一个触摸点P2，若P1和P2偏离B1的预测方向的角度都大于设定的角度阈值，说明触摸点运动的方向发生了很大的变化，在实际情况中，运动方向一般不会发生突变，因此可以判定P1和P2都不是B1所在轨迹上的点，可以断开B1所在的轨迹，若P1和P2偏离B1的预测方向的角度不都大于设定的角度阈值，则在P1和P2中选择偏离B1的速度方向较小的一个与B1相关联，也即在P1和P2中选择它们与B1的连线偏离直线B1P1’的方向的角度较小的一个作为与B1的最优关联，即如果直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角，则将B1与P1相关联，否则将B1与P2相关联；同样，若P1和P2偏离B2的速度方向的角度都大于设定的角度阈值，则断开B2所在的轨迹，在P1和P2中选择偏离B2的速度方向较小的一个与B2相关联，也即在P1和P2中选择它们与B2的连线偏离直线B2P2’的方向的角度较小的一个作为与B2的最优关联，即如果直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角，则将B2与P1相关联，否则将B2与P2相关联。图4a和图4b中，P1和P2偏离B1的预测方向的角度不满足都大于设定的角度阈值的条件，因此B1所在的轨迹没有断开，P1和P2偏离B2的预测方向的角度不满足都大于设定的角度阈值的条件，因此B2所在的轨迹没有断开，具体角度阈值大小的设定，可以根据实际情况及实验结构来定。本实施方式提供一种多点触摸轨迹跟踪方法，考虑的触摸物运动方向变化的特性，一般情况下，前后相邻的两帧之间，触摸物的速度变化一般不会发生突变，在轨迹跟踪过程中，如果遇到运动方向突变的问题，可以将正在跟踪的轨迹断开，这种方法可以防止将本来需要断开的两个轨迹连在一起，同时，通过运动方向的变化建立最优前后两帧触摸点之间的关联，能够实现全局最优关联。在本发明的各种实施方式中，不一定在整个轨迹跟踪的过程中都采用本发明提供的跟踪方法，可以是一条轨迹中的某一段轨迹采用本发明的方法，如果只有轨迹中的某一段采用本发明的方法，则可以省略步骤201的初始化的过程。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，例如，步骤207中判断是否有新触摸点加入的方法可以采用前三帧迭代法判断是否为新增点，步骤208中判断是否有轨迹结束的方法可以采用三帧迭代结束判断法，也可以采用现有技术中的其他方法判断，步骤202中预测触摸点在当前帧在当前帧中出现的位置时，也可以考虑当前帧之前的三帧触摸点的速度的方向变化进行预测，这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。