用于活性分析的系统及方法与流程

相关申请案交叉参考

本申请案是标题为“用于活性分析的系统及方法(systemsandmethodsforlivenessanalysis)”的于2014年9月9日提出申请的第14/480,802号同在申请中美国专利申请案的接续申请案且主张其优先权，所述专利申请案的揭示内容以全文引用方式并入本文中。

本发明大体来说涉及图像分析，且特定来说涉及用于检测图像中所描绘的被摄体是否是活的图像处理技术。

背景技术：

限制特定个人对财物或资源的访问通常是合意的。可使用生物识别系统来验证个人的身份以授予或否决对资源的访问。举例来说，生物识别安全系统可使用虹膜扫描仪来基于个人的虹膜中的独特结构而识别个人。然而，如果冒充者呈现经授权人的脸的预记录图像或视频进行扫描，那么此系统可错误地授权给所述冒充者。此伪造图像或视频可显示于固持于用于扫描的摄像头前面的监视器(例如使用光面照片的阴极射线管(crt)或液晶显示器(lcd)屏幕等)上。一些所谓的欺骗检测系统可通过确认眼睛移动而检测伪造图像。但此系统在识别包含眼睛的预期移动的伪造视频上可为无效的。因此需要用于从由经授权人提供为活动的那些图像及视频高效地确定伪造图像及视频的经改进系统及方法。

技术实现要素：

在本文中所描述的各种实施方案中，使用真/真实脸及冒充者脸的反射性质的差异来区分具有活性的真实脸及/或眼睛与冒充者图像/视频。此部分地通过以下方式实现：在固持于可为真脸或伪造图像的目标前面的屏幕上再现参考信号、记录目标对参考信号的反射及计算经反射与经再现信号之间的一或多个相关性。

因此，在一个方面中，一种用于确定经呈现以用于验证的图像是否具有活性的计算机实施的方法包含在显示装置上再现时变第一信号，所述时变第一信号包含在相位上彼此分离的数个不同相应信号。所述方法还包含在所述再现期间，捕获由所述经再现第一信号照明的目标的若干个图像，及在时间上将带通滤波应用于所述图像以产生多个经滤波图像。所述方法进一步包含从所述经滤波图像提取第二信号，及至少基于所述第一信号与所述第二信号的时间相关性而产生第一度量。另外，所述方法包含针对数个像素位置中的每一像素位置，基于所述像素位置的相应值在若干个所述经滤波图像中随时间的改变而提取所述像素位置的相应信号，及基于所述像素位置中的每一者的所述相应经提取信号与所述第一信号的相关性而计算所述像素位置的相应像素位置相关性得分。所述方法进一步包含至少基于数个所述像素位置相关性得分而产生第二度量，及至少基于所述第一及第二度量而接受或拒绝所述目标。

所述第一信号中的每一相应信号可具有不同色彩，且所述色彩中的每一者可为使用同一频率再现。在一些实施方案中，所述第一信号中的每一相应信号是不同单色信号，且所述第一信号可为正弦型的。所述第一信号中的每一相应信号可为相异正弦曲线，且所述正弦曲线可叠加于所述第一信号中。所述第一信号中的所述相应信号可为随机产生的。在一些实施方案中，像素位置的特定相应值可为色彩。

每一图像可包含若干个相应图像，所述若干个相应图像各自经历相应变换、处于不同相应分辨率或包含对应于选定照明现象的不同相应空间频带。所述第一度量可进一步基于所述第一信号的相位是否匹配所述第二信号的相位。从所述经滤波图像提取第二信号可包含从所述经滤波图像中的每一者的相应主导色彩值提取所述第二信号。在一些实施方案中，所述方法进一步包含在应用所述带通滤波之前在所述数个经捕获及/或经处理图像中对所述目标进行稳定化。可在频域中或在时域中应用所述带通滤波。

在一些实施方案中，至少基于若干个所述像素位置相关性得分而产生所述第二度量包括组合所述像素位置相关性得分以产生所述第二度量。所述目标可为人脸，且所述经组合像素位置相关性得分可针对所述脸的特定区域的像素位置。可使用以下各项中的一或多者而确定所述脸的所述特定区域：(i)动态图像分析，以至少部分地避开所述脸的在所述多个图像中被遮挡或过度曝光的一或多个部分，及(ii)面罩或加权映射，从而表示关于所述脸的可能使所述经再现第一信号反射的特征的认识。

每一像素位置可表示数个图像数据元素，所述数个图像数据元素中的一些或全部可处于不同分辨率。每一像素位置可为所述像素位置的相应图像数据元素的经加权组合。所述数个经捕获图像可表示高斯(gaussian)金字塔或拉普拉斯(laplacian)金字塔。所述经滤波图像中的特定经滤波图像可表示若干个金字塔层级的经加权组合。此方面的其它实施例包含对应系统、设备及计算机程序。

本说明书中所描述的标的物的特定实施方案可实现以下优点中的一或多者。举例来说，检测技术取决于在执行检测时再现的多光谱图案信号。来自经提供以用于验证的任何预记录视频/图像的人的脸及/或眼睛的图像不可能与在活性检测期间提供的多光谱图案信号相关。此外，从再现此视频/图像的屏幕对多光谱图案信号的任何反射可能本质上不同于来自活人的脸及/或眼睛的反射。本文中所描述的各种实施方案可检测这些异常(如下文所解释)，且如此可在区分活的经授权人与伪造视频及/或图像方面更稳健。

下文的附图及描述中陈述本说明书中所描述的标的物的一或多个实施方例的细节。根据描述、图式及权利要求书将明了标的物的其它特征、方面及优点。

附图说明

本专利或申请案文件含有制成彩色的至少一个图式。在要求并支付必要费用之后专利局将提供本专利或本专利申请公开案带彩图的副本。

图1图解说明用于确定两个活性度量的实例性过程。

图2(a)到2(c)分别描绘实例性经捕获视频帧、对应经正规化且经稳定化视频帧及对应经时间带通滤波帧。

图3(a)到3(c)分别描绘对应于经捕获视频帧序列的实例性经恢复rgb信号、经恢复rgb信号的带通滤波响应及对应经再现参考rgb信号。

图4(a)到4(c)从上到下分别描绘图3(a)到3(c)中所描绘的信号的快速傅里叶(fourier)变换(fft)周期图。

图4(d)描绘用于产生图3(b)中所描绘的带通滤波响应的时间巴特沃思(butterworth)滤波。

图5(a)描绘实例性平均经正规化且经稳定化图像帧。

图5(b)到5(d)分别描绘对应二维(2d)相关图像、经处理相关图像及对应饱和图像。

图5(e)描绘实例性面罩。

图5(f)到5(k)描绘用来计算图5(b)中所展示的2d相关图像的对应于参考rgb信号的完整循环的实例性经捕获视频帧。

图6描绘再现伪造图像的lcd监视器与捕获且分析伪造图像的电话的实例性配置。

图7描绘再现伪造图像的lcd监视器与捕获且分析伪造图像的电话的另一实例性配置。

图8(a)到8(k)描绘从如图6中所展示配置的lcd监视器捕获的伪造平均图像帧、对应2d相关图像及用来计算图8(b)中所展示的2d相关图像的对应于rgb信号的完整循环的视频帧。

图9(a)到9(k)描绘从如图7中所展示配置的lcd监视器捕获的伪造平均图像帧、对应2d相关图像及用来计算图9(b)中所展示的2d相关图像的对应于rgb信号的完整循环的视频帧。

图10(a)到10(c)分别描绘对应于图9(f)到9(k)中所展示的经捕获伪造视频帧序列的经恢复rgb信号、经恢复rgb信号的带通滤波响应及对应经再现参考rgb信号。

图11(a)到11(c)从上到下分别描绘图10(a)到10(c)中所描绘的信号的快速傅里叶变换(fft)周期图。

图11(d)描绘用于产生图10(b)中所描绘的带通滤波响应的时间巴特沃思滤波。

图12描绘与伪造图像相关联的莫尔(moire)图案。

图13图解说明用以检测眼睛的活性的另一实例性过程。

图14(a)及14(b)分别描绘反射捕获眼睛的图像的电话的的实例性眼睛及对应2d相关图像。

图15(a)以较高分辨率展示图12中所描绘的伪造图像。

图15(b)及15(c)展示图15(a)中所描绘的图像的高分辨率经裁剪部分及根据图13中所展示的过程计算的局部2d相关性。

各个图式中的相似参考编号及名称指示相似元件。

具体实施方式

图1图解说明用于计算两个度量的大体框架，所述两个度量可用于区分从实际活人获得的眼睛图像与伪造图像(例如，先前经捕获的活人的图片或视频)。在步骤102中，在显示装置上再现多光谱图案，使得通过所述图案照明人的脸(或“目标”)。在一些实施方案中，将所述图案显示约一秒，但其它持续时间是可能的。所述显示装置可为数据处理设备(例如，智能电话、智能眼镜、智能手表、平板计算机、膝上型计算机等)的显示装置。其它显示装置是可能的。在步骤104中，由数字摄像头捕获通过多光谱图案照明的目标的图像。在一些实施方案中，所述数字摄像头为数据处理设备的前置数字摄像头。可使用其它数字摄像头，包含其它装置上的数字摄像头。

在各种实施方案中，多光谱图案包含三个叠加正弦信号。举例来说，可使用红色、绿色及蓝色(rgb)正弦曲线来匹配用于常见拜耳(bayer)图案数字摄像头上的每一色彩通道的本机滤波器的敏感性。可在基本上单个频率下再现正弦信号，使得可使用单个带通滤波器进行后续分析(下文所描述)。另外，可跨越三个色彩通道将三个正弦信号在相位上均匀地分开(例如，红色＝0，绿色＝(2*pi)/3，且蓝色＝(2*pi)*2/3)，以改进经恢复信号的可分性且减小照明间隙，所述照明间隙可加剧对一些用户来说可能不舒服的闪光效应。在一个实施方案中，使用约4hz的频率，其低于光敏性癫痫的阈值但足够快而可在短时间段内容易地与典型低频率照明噪声分开。除rgb正弦曲线外，还可使用其它多光谱图案，包含(举例来说)具有较少或较多分量信号的图案、红色与蓝色正弦曲线。

在步骤104中记录包含由数字摄像头捕获的图像的视频信号。在一些实施方案中，所述视频信号为以大致25hz(即，25帧/秒)进行的0.75秒视频剪辑。其它持续时间及帧速率是可能的。在步骤106中，可用大约在捕获图像帧时在步骤102中再现于显示装置上的图案的值(例如，rgb值)标记经记录视频信号中的每一帧。通常为了提供周围照明的度量以进行自动阈值调整，还可在步骤106中存储可交换图像文件(exif)元数据(或其它元数据)。元数据可包含周围亮度、曝光时间、iso设定及/或光圈值。

在一些实施方案中，在步骤108中可对经记录视频信号执行视频稳定化(配准及扭曲)以便将场景中的点映射到共用参考坐标系统。在稳定化及扭曲之后，可将帧转换为经正规化rgb色彩空间以减小对阴影及环境中的其它照明假影的敏感性，且因此在步骤108中获得经稳定化且经正规化视频信号。

在步骤110中，使用经调谐为经再现正弦曲线的频率(例如，在一个实例中为4hz)的时间带通滤波处理经稳定化且经正规化视频。通过说明的方式，可将滤波应用于对应于经稳定化且经正规化视频帧的高斯金字塔。可执行时间带通滤波以便隔离对应于在步骤102中再现的多光谱图案的响应信号与在步骤108中获得的经正规化信号。最后，将经带通滤波视频信号与先前经再现多光谱图案(例如，处于不同尺度)进行比较以获得：(1)步骤112中的基于全局帧的时间相关性，及/或(2)步骤114中的局部逐像素相关性，如下文所描述。

为了计算全局时间相关性度量，在步骤122中可用主导rgb值表示在步骤110中获得的经滤波响应信号的每一帧。预期在步骤122中指派的主导rgb值对应于如由在步骤106中标记给经记录视频信号的rgb值表示的经再现rgb多光谱图案色彩。通过说明的方式，可经由稳健模式从色度直方图计算主导rgb值，或将主导rgb值计算为每一帧的像素值的经加权平均值。确定主导rgb值的其它方式是可能的。

从经滤波响应信号计算平均饱和图像(步骤110)，且可使用所述平均饱和图像来提供用于经加权平均方法的权重(步骤122)。在一些实施方案中，平均饱和图像是距对应于待处理的帧的灰度图像的距离。所得二维(2d)饱和图像与经反射rgb多光谱图案强度成比例。接下来，在步骤124中，在所估计红色、绿色及蓝色信号中的每一者中独立地执行线性校正(detrend)，以便从数据移除任何斜坡分量，从而使数据更适合于与参考rgb多光谱图案信号做比较。举例来说，可使用线性m估计量来计算线性校正。

图3(a)展示实例性全局rgb信号。信号被称为“全局”是因为其表示对应于一个帧而非对应于所述帧中的任一特定像素的主导rgb值。在步骤126中，在频域中用时间带通巴特沃思滤波处理此全局信号以提取对应于经记录信号的适当频率。图2(b)及2(c)分别展示经滤波rgb信号及经再现参考信号(即，rgb多光谱图案)。在步骤128中使用经正规化交叉相关性将这两个信号进行比较，且所得值(标示为nxcorr)指示第一活性度量。在一个实施方案中，在步骤128中执行小一维(1d)时间搜索以补偿摄像头驱动器中的延时，所述延时可导致经测量与经再现rgb信号之间的小移位。所述搜索是1d搜索，这是因为图2(a)中的经组合波形中的每一点表示完整帧。图4(a)到4(c)分别描绘图3(a)到3(c)中所描绘的信号的快速傅里叶变换(fft)周期图。

局部逐像素相关

在步骤114中，计算在经滤波视频响应(即，在步骤110中通过经由时间带通滤波对经稳定化且经正规化所记录信号进行滤波而获得的信号)中的每一像素位置处计算的局部时间经正规化交叉相关性的空间平均值。空间求平均可产生2d相关图像(例如，在[-1…+1]的范围内)，所述2d相关图像可指示经滤波响应中的每一像素匹配经再现rgb信号的准确程度。举例来说，图5(b)展示对应于图5(a)中所描绘的实例性经稳定化且经正规化所记录图像的相关图像。图5(c)展示(举例来说)通过选择左及右相关图像的最大值而获得的经处理2d相关图像，如下文所描述。为了计算2d相关性，在步骤132中可应用面罩(例如)以限制对脸的皮肤部分的处理，且借此移除脸的具有不良反照率的暗特征及/或移除来自眼睛的独立运动的噪声。图5(e)描绘实例性面罩。接着在步骤134中(举例来说)针对图5(f)到5(k)中所展示的图像帧中的每一者计算局部逐像素相关性。这些图像对应于rgb多光谱图案的完整循环，且可对相应逐像素相关性进行求平均及处理以获得图5(c)中所展示的最后2d相关图像。

在一些实施方案中，在计算局部逐像素相关性时，在步骤134中可使用从上文全局相关性恢复的相位滞后，以避免对在对应于在步骤110中获得的经稳定化且经正规化帧的体数据中进行昂贵相关性搜索的需要。在一些实施方案中，分别在步骤136、138中针对面罩的左侧及右侧单独计算平均经正规化空间交叉相关值。在步骤140中可选择两个空间相关性中的最大值。此可提供比单个平均值更稳健的相关性度量，这是因为极端光照条件通常仅限于脸的一侧。替代地，如果来自exif元数据的周围亮度值足够低从而使得饱和不可能(例如可发现于大多数室内环境中)，那么可使用面罩的所有像素的全局平均值。图5(d)描绘对应于图5(c)中所展示的2d相关图像的饱和图像。最后平均局部相关性度量(标示为nxcorr2)可为第二活性度量。

通常，真实脸的皮肤以高反照率提供相对分散反射，且同样地，每一像素处的相关值可为高的。相关图像也趋向于相当均匀，具有相对较低的空间变化。相比来说，当视频监视器用于冒充者回放时，监视器趋向于表现得像镜子，且取决于从在其上再现rgb多光谱图案的显示屏幕发射的光的反射角度，光主要局部往回反射于在屏幕上捕获的脸的图像的一小部分中(如图6中所描绘)或经反射远离显示屏幕(如图7中所展示)。

举例来说，图8(a)描绘显示于固持于待被授权进行访问的装置(例如，电话)(如图6中所展示)前面的lcd屏幕上的经捕获冒充者图像。图8(b)及8(c)展示对应2d相关图像，图8(d)展示对应饱和图像，图8(e)展示所应用面罩，且图8(f)到8(k)描绘对应于如图1中的步骤102中所展示地提供的rgb多光谱图案的完整循环的各种经捕获图像帧。在此实例中，第二度量nxcorr2是高的(约0.63)，这是因为lcd屏幕是平行于用于捕获图像的电话而固持且因为lcd屏幕充当镜子。然而，第一度量nxcorr(即，全局相关性)是低的，从而指示经捕获图像可能不是从活源获得。如果显示冒充者图像的lcd屏幕是相对于用于再现rgb多光谱图案的屏幕以一角度固持(举例来说，如图7中所展示)，那么预期nxcorr2及nxcorr值两者均为低的(即，小于选定阈值(例如0.5、0.4、0.3等))。对应于其中光经反射远离摄像头的此情形的典型实例展示于图9(a)到9(k)中。在此情形中，全局或平均局部相关性度量两者均不对应于预期rgb信号，这通常致使度量nxcorr及nxcorr2两者均为低的。如此，在步骤124中获得的经滤波响应信号可含非常多噪声，如图10(a)到10(c)中所展示的1drgb信号图解说明。

除利用许多视频回放屏幕的与镜子相似的性质外，相关性度量还可从视频回放反映其它异常(例如，对假影(例如经时间带通滤波输出图像中的垂直条纹)进行取样)，如图9中的后六个帧中可看出。在一个实施方案中，用于以经滤波响应信号表示的每一色彩信号的经正规化fft为被摄体是冒充者的强指示物，如图11中可看出。前三行是对应于从经滤波响应信号(在图1步骤110中获得)获得的红色、绿色及蓝色通道的周期图。最后一行是经调谐为经记录视频中的信号的预期周期的时间带通巴特沃思滤波。经滤波带通信号与信号的总能量的低比率是可用于检测冒充者情形的另一度量。

当(例如)nxcor2为高但nxcorr为低时(如参考图8(a)到8(k)所描述)，对来自固持于图像捕获装置(例如，手机摄像头)前面的lcd屏幕的反射的分析可用于辅助对冒充者的检测。举例来说，图12(a)到12(c)展示显示于固持于摄像头前面的lcd屏幕上的伪造图像、脸的接近眼睛的区域的经裁剪图像及对应于所述经裁剪图像的边缘图像，其描绘对用于捕获显示于lcd屏幕上的伪造图像的电话的反射。另一假影是来自监视器的在2d相关图像中可见的莫尔图案，如图12(d)中可看出。例如哈尔(haar)分类器等2d分类器可经训练以识别相关图像中的为冒充者情形所特有的图案。大体来说，在各种实施方案中，在且仅在全局相关性(nxcorr)及全局相关性(nxcorr2)两者均超过预定阈值的情况下返回真实性分类。

图13图解说明利用典型眼睛的反射性质的另一冒充者检测技术。具体来说，如上文参考图1所描述类似地执行再现rgb多光谱图案的步骤1302、捕获视频信号的步骤1304、用rgb值标记每一帧的步骤1306及对经记录且经标记视频信号进行稳定化的步骤1306。此后，在步骤1308中，执行空间-时间带通分解以利用眼睛的凸面反射性质。观察到眼睛通常具有凸面反射表面，使得在步骤1304中捕获的每一图像帧包含眼睛对环境的经减小镜面图像，所述经减小镜面图像可包含在步骤1302中再现于显示屏幕上的rgb图案的小型图像。

在步骤1310中，将时间带通滤波应用于对应于经稳定化所标记信号的拉普拉斯金字塔。拉普拉斯金字塔可提供对输入视频的空间带通分解以帮助隔离从眼睛反射的rgb多光谱图案的主要高空间频率。

接着在步骤1312中经由参考信号与视频经带通滤波输出之间的时间经正规化交叉相关性而产生局部逐像素2d相关图像。主导峰值的小邻域中的局部平均值可用作额外活性度量。大体来说，与使用上文所描述的第一及第二度量检测脸活性相反，此方法可检测眼睛活性。在仅针对具有活性的真实眼睛的眼睛区域的局部逐像素相关性中，预期对应于眼睛的瞳孔对经再现rgb信号的反射的仅一个亮光点，如图14(a)及14(b)中可看出。如果看出多个光点或未检测到光点，那么确定经捕获图像可能是由冒充者提供。

本文所描述的系统及技术可实施于计算系统中，所述计算系统包含后端组件(例如，作为数据服务器)或包含中间件组件(例如，应用程序服务器)或包含前端组件(例如，具有用户可通过其与本文所描述的系统及技术的实施方案交互作用的图形用户接口或web浏览器的客户端计算机)或者此类后端、中间件或前端组件的任何组合。系统的组件可通过任何数字数据通信形式或媒体(例如，通信网络)互连。通信网络的实例包含局域网(“lan”)、广域网(“wan”)及因特网。

所述计算系统可包含客户端及服务器。客户端与服务器通常彼此远离且可透过通信网络交互作用。客户端与服务器的关系是借助于在相应计算机上运行且彼此之间具有客户端-服务器关系的计算机程序而产生的。已描述了若干个实施例。然而，将理解，在不背离本发明的精神及范围的情况下可做出各种修改。

本说明书中所描述的标的物及操作的实施例可以数字电子电路实施或以包含本说明书中所揭示的结构及其结构等效物的计算机软件、固件或硬件实施或者以其中的一或多者的组合实施。可将本说明书中所描述的标的物的实施例实施为一或多个计算机程序，即，编码于计算机存储媒体上以供数据处理设备执行或用以控制数据处理设备的操作的一或多个计算机程序指令模块。替代地或另外，程序指令可编码于人为产生的经传播信号(例如，机器产生的电信号、光学信号或电磁信号)上，所述人为产生的经传播信号经产生以对信息进行编码以发射到适合接收器设备以供数据处理设备执行。计算机存储媒体可为以下各项或包含于以下各项中：计算机可读存储装置、计算机可读存储衬底、随机或串行存取存储器阵列或装置或者其中的一或多者的组合。此外，虽然计算机存储媒体并非经传播信号，但计算机存储媒体可为编码于人为产生的经传播信号中的计算机程序指令的来源或目的地。计算机存储媒体还可为以下各项或包含于以下各项中：一或多个单独物理组件或媒体(例如，多个cd、磁盘或其它存储装置)。

本说明书中所描述的操作可实施为由数据处理设备对存储于一或多个计算机可读存储装置上或从其它来源接收的数据执行的操作。

术语“数据处理设备”涵盖用于处理数据的所有种类的设备、装置及机器，包含(通过实例的方式)可编程处理器、计算机、系统单芯片或者前述各项中的多者或组合。所述设备可包含专用逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。除硬件外，所述设备还可包含为所讨论计算机程序创建执行环境的代码，例如，构成处理器固件、协议堆叠、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或者其中的一或多者的组合的代码。所述设备及执行环境可实现各种不同计算模型基础设施，例如web服务、分布式计算及网格计算基础设施。

可以包含编译语言或解释语言、陈述性语言或过程语言的任何形式的编程语言来书写计算机程序(还称为程序、软件、软件应用程序、脚本或代码)，且可将所述计算机程序部署成任何形式，包含部署为独立程序或部署为模块、组件、子例程、对象或适合在计算环境中使用的其它单元。计算机程序可以但无需对应于文件系统中的文件。程序可存储于保持其它程序或数据(例如，存储于标记语言资源中的一或多个脚本)的文件的一部分中、存储于专用于所讨论的程序的单个文件中或存储于多个协调文件(例如，存储一或多个模块、子程序或代码的部分的文件)中。计算机程序可经部署以在一个计算机上或在位于一个地点处或跨越多个地点分布且通过通信网络互连的多个计算机上执行。

本说明书中所描述的标的物的实施例可实施于计算系统中，所述计算系统包含后端组件(例如，作为数据服务器)或包含中间件组件(例如，应用程序服务器)或包含前端组件(例如，具有图形用户接口的客户端计算机或用户可通过其与本说明书中所描述的标的物的实施方案交互作用的web浏览器)或者一或多个此类后端、中间件或前端组件的任何组合。所述系统的所述组件可通过任何数字数据通信形式或媒体(例如，通信网络)来互连。通信网络的实例包含局域网(“lan”)及广域网(“wan”)、互联网络(例如，因特网)及对等网络(例如，临时对等网络)。

计算系统可包含客户端及服务器。客户端与服务器通常彼此远离且可通过通信网络交互作用。客户端与服务器的关系是借助于在相应计算机上运行且彼此之间具有客户端-服务器关系的计算机程序而产生的。在一些实施例中，服务器将数据(例如，html页面)发射到客户端装置(例如，出于向与所述客户端装置交互作用的用户显示数据及从所述用户接收用户输入的目的)。可在服务器处从客户端装置接收在客户端装置处产生的数据(例如，用户交互作用的结果)。

一或多个计算机的系统可经配置以借助于将软件、固件、硬件或其组合安装于所述系统上而执行特定操作或动作，所述软件、固件、硬件或其组合在操作时致使所述系统执行所述动作。一或多个计算机程序可经配置以借助于包含指令而执行特定操作或动作，所述指令在由数据处理设备执行时致使所述设备执行所述动作。

虽然本说明书含有许多特定实施方案细节，但这些细节不应被解释为对任何发明或可主张的内容的范围的限制，而是解释为对特定发明的特定实施例所特有的特征的描述。还可将在本说明书中在单独实施例的上下文中描述的特定特征以组合形式实施于单个实施例中。相反地，在单个实施例的上下文中描述的各种特征还可单独地或以任何适合子组合实施于多个实施例中。此外，尽管上文可将特征描述为以某些组合形式起作用且甚至最初是如此主张，但在一些情形中，可从所主张组合去除来自所述组合的一或多个特征，且所主张组合可针对于子组合或子组合的变化形式。

类似地，虽然在所述图式中以特定次序描绘操作，但不应将此理解为要求以所展示的特定次序或以顺序次序执行此些操作或执行所有所图解说明的操作以实现合意的结果。在某些情况下，多任务及并行处理可为有利的。此外，不应将上文所描述的实施例中的各种系统组件的分离理解为在所有实施例中需要此分离，且应理解，通常可将所描述的程序组件及系统共同集成于单个软件产品中或封装成多个软件产品。

因此，已描述了标的物的特定实施例。其它实施例均在所附权利要求书的范围内。在一些情形中，权利要求书中所陈述的动作可以不同次序执行且仍实现合意的结果。另外，附图中所描绘的过程并不比需要所展示的特定次序或顺序次序以实现合意的结果。在某些情况下，多任务及平行处理可为有利的。