专利名称：一种场所广告与电子广告数据实时交互的系统的制作方法
技术领域：
本发明属与模式识别与信息处理技术领域，涉及一种场所广告与电子广告的实时
交互系统，具体的是一种广告图片的处理方法。
背景技术：
广告，是为了某种特定的需要，通过一定形式的媒体，公开而广泛地向公众传递信 息的宣传手段。广告有广义和狭义之分，广义广告包括非经济广告和经济广告。非经济广 告指不以盈利为目的的广告，又称效应广告，其主要目的是推广；狭义广告仅指经济广告或 商业广告，通常是商品生产者、经营者和消费者之间沟通信息的重要手段，用广告方式传达 品牌独特、鲜明的个性主张，使商品得以与目标消费群建立某种联系，顺利进入消费者的生 活和视野，达到与之心灵的深层沟通，并在其心中树立某种印象和地位，使品牌变成一个有 意义的带有附加价值的符码。这里所说的广告，我们采用国家《广告法》对广告的定义，即， 广告是指商品经营者或者服务提供者承担费用，通过一定媒介和形式直接或者间接地介绍 自己所推销的商品或者所提供的服务的商业广告。 早在奴隶社会初期，古希腊就出现了世界上最早，最原始的广告形式，口头广告或 叫卖广告。此后，随着商品经济的发展，科学技术的进步，广告形式也日新月异从商标字号 到报纸、期干IJ、图书、名录等印刷广告，从在街道、广场、机场、车站、码头等的建筑物或空间 设置路牌、霓虹灯、电子显示牌、橱窗、灯箱、墙壁到广播、电视、电影、录像、幻灯，所有这些 无不反映了这种变化。而互联网的出现，更是开创了广告的新纪元。电子网络广告作为一 种新兴的广告形式，随着互联网的发展悄然兴起并呈现蓬勃发展之势。许多公司竞相建立 自己的网络服务，如，商品主页、论坛(BBS)、网上交易平台等，借此宣传自身形象并把商品 展示在全世界互联网用户的面前。目前，传统的广告形式，如电视、杂志，传单、广告牌等，还 是广告的主流形式。然而，电子网络广告，因为价格便宜，宣传范围广，形式生动活泼，交互 方式灵活，用户检索方便，无时间地域限制，实时性能好等优点，受到越来越多用户及商家 的青睐。在互联网广泛迅猛发展的今天，借助于互联网的电子网络广告的前景，更为人们看 好。 然而，由于人类的生活习惯和场所广告固有的优点，电子网络广告不会也不能完 全取代场所广告在人们生活中的地位，而是互有优缺点、长期共存。比如，场所广告由于受 媒体的时间和版面的限制，其内容只能删繁就简，突出重点。因此，人们可以在可忍受的时 间内，获得大量不同商品的信息；而当我们对其中某种商品感兴趣的时候，场所广告提供的 信息以及互动性等却远远不能满足我们的需要，这时候网络广告就发挥它的作用了。但是， 如果没有场所广告提供的信息，在令人眼花缭乱网络信息海洋中，我们也很难或者根本不 知道如何有目的地找自己满意的商品以及相应信息。
发明内容
为了解决现有技术的问题，本发明的目的是提供一种综合场所广告和电子网络广告优点的新型广告形式。新型广告形式成了广告商亟待解决的问题，然而，成功的广告文化 是贴近大众生活，而不是脱离实际的高雅艺术。在今后相当长一段时期内，我们面对的将 还是这两种广告并存的局面，而广告商需要的是一种能够综合场所广告与电子网络广告优 点、方便用户使用的系统。 为了达成所述目的，本发明旨在设计一种场所广告与电子广告数据实时交互的系 统，该系统是由场所广告摄取单元、客户端、广告商服务器、图像内容分析与检索单元、商品 信息数据库和广告图片数据库组成，其中 场所广告摄取单元，用户对感兴趣的场所广告进行拍摄，获得场所广告图片；
客户端与场所广告摄取单元连接，客户端读取场所广告图片，并输出场所广告图 片，实时显示广告商服务器返回的电子广告信息；客户端的用户利用电子广告信息可进行 拨打感兴趣场所广告中商品的厂商电话、登录商品信息主页操作； 广告商服务器与客户端连接，广告商服务器全天候的接收并输出各个客户端发送 的场所广告图片；广告商服务器接收图片内容分析与检索单元返回的电子广告信息并转发 送给客户端； 图像内容分析与检索单元与广告商服务器、广告图片数据库和商品信息数据库连 接，接收广告商服务器提供的场所广告图片，在广告图片数据库中检索与场所广告图片对 应的数据库图片，然后利用得到的数据库图片索引商品信息数据库中的电子广告信息，并 把电子广告信息返回给广告商服务器； 广告图片数据库由大量电子广告图片构成，由广告商拍摄、收集并更新；这些数据 库图片的标签包括商品的名称、系列、图片中出现的文字；数据库图片与商品信息数据库 中的商品信息电子广告信息存在多对一的索引关系，对每一幅数据库图片，都可以索引到 商品信息数据库中对应的电子广告信息； 商品信息数据库由广告图片数据库中的图片中商品的信息构成；商品信息数据库 中的商品的信息包括商品的名称、商品的系列号、商品信息主页链接、商品的促销信息、商 品生产或提供厂家联系方式；商品信息数据库中的商品信息与广告图片数据库中的图片存 在一对多的索引关系；对每一条产品信息，都可以所引导一幅或者几幅广告图片数据库中 的图片。 本发明的有益效果与现有的场所广告以及电子网络广告相比，本方法具有如下 特点 1.与场所广告相比，本发明可以根据用户的兴趣，实时提供更多的但非海量的有 用信息。 2.与电子网络广告相比，本发明可以利用场所广告的信息给用户提供一个方向， 使用户可以在信息的海洋中有的放矢。 3.方便，快捷。在场所广告中，当用户对某商品感兴趣的时候，用户需要记住商品 的名字，厂商的联系方式或商品主页。然后手工输入搜索引擎才能获得商品更详细的资料， 需要人工输入电话号码才能完成与厂商的交互。但是，受时间和空间的限制，完成这个过程 是很不方便的。例如，在快速跳转的电视画面前，在广告牌飞速后移的汽车里，要正确记住 电话号码和网站名称，对人的记忆力提出了很大的挑战。而本发明的场所广告与电子广告 数据实时交互的系统，只需要利用手中的手机或其他便携通信装置对感兴趣的广告牌或电视屏幕拍摄一张图片，即可获得目标商品的全部广告信息，并可利用电话、互联网等方式实 现与厂商实时交互。 对于一种面向用户的实用系统，系统的稳定性是很重要的。因为受拍摄视角，光照 条件，距离远近的影响，加上数据库图片本身具有一定的相似性，使得单单利用画面分析检 索得到的图片有可能是来自不同的厂家的相似数据库图片；而且，相同厂家的商品由于在 外观上具有极大的相似性，单纯的利用图片内容的画面，很难确定用户感兴趣的到底是那 一款型号。而单纯的利用图片文字抽取和识别系统也是不够的。同样受拍摄角度，光照条 件，拍摄距离，艺术字型的影响，能够让场所广告图片把文字拍摄清楚这本身就很困难。即 使场所广告图片拍摄的比较理想，要在复杂的广告背景下把场所广告图片中文字检测出来 并全部正确识别，也是很不现实的。而本发明的系统很好的解决了这个问题，它综合利用基 于图片画面内容检索和文字检测识别系统的优点，使得系统具有更大的稳定性和可靠性。 例如，对于相似的数据库图片，场所广告图片文字中的几个字(如商品名称中的一个字，促 销信息中的价格，电话号码)都可以帮助图片内容分析与检索单元定位到正确的数据库图 片上面；我们无需全部检测识别所有场所广告图片内的文字即可极大地增加系统结果的可 靠性和稳定性。
图1示出本发明场所广告与电子广告数据实时交互的系统示意图；
图2示出本发明图像内容分析与检索单元流程图； 图3示出本发明文字区域检测中用到的四方向索伯(sobel)边缘检测子；
图4示出本发明5X5平滑滤波器。
具体实施例方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，
所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。 本发明旨在设计一种实用的场所广告与电子广告数据实时交互的系统，准确的捕
获场所广告中的用户感兴趣信息，实时地获取用户感兴趣商品的主页，同类商品参数比较，
商品论坛(BBS)以及厂商的联系方式等，并实现用户与商品、厂商实时、方便地信息互动。
在手机以及其它任意信息通信设备上装载系统的客户端以后，用户可以方便的获取从场所
广告中得不到的电子网络广告信息，并实现与供应商的实时交互，在现实生活中有着广泛
的应用价值。本发明的场所广告与电子广告数据实时交互的系统，由多个步骤的图像处理
和信息传输过程组成，该系统的结构见图1。 该系统是由场所广告摄取单元1、客户端2、广告商服务器3、图像内容分析与检索 单元4、广告图片数据库5和商品信息数据库6组成，其中 场所广告摄取单元l，用户对感兴趣的场所广告进行拍摄，获得场所广告图片；客 户端2与场所广告摄取单元1连接，客户端1读取场所广告图片，并输出场所广告图片，实 时显示广告商服务器3返回的电子广告信息；客户端2的用户利用电子广告信息可进行拨 打感兴趣场所广告中商品的厂商电话、登录商品信息主页操作；广告商服务器3与客户端2 连接，广告商服务器3全天候的接收并输出各个客户端2发送的场所广告图片；广告商服务器3接收图片内容分析与检索单元4返回的电子广告信息并转发送给客户端2 ;图像内容 分析与检索单元4与广告商服务器3、广告图片数据库5和商品信息数据库6连接，接收广 告商服务器3提供的场所广告图片，在广告图片数据库5中检索与场所广告图片对应的数 据库图片，然后利用得到的数据库图片索引商品信息数据库6中的电子广告信息，并把电 子广告信息返回给广告商服务器5 ;广告图片数据库5由大量电子广告图片构成，由广告商 拍摄、收集并更新；这些数据库图片的标签包括商品的名称、系列、图片中出现的文字；数 据库图片与商品信息数据库6中的商品信息电子广告信息存在多对一的索引关系，对每一 幅数据库图片，都可以索引到商品信息数据库6中对应的电子广告信息；商品信息数据库 6由广告图片数据库5中的图片中商品的信息构成；商品信息数据库6中的商品的信息包 括商品的名称、商品的系列号、商品信息主页链接、商品的促销信息、商品生产或提供厂家 联系方式；商品信息数据库6中的商品信息与广告图片数据库5中的图片存在一对多的索 引关系；对每一条产品信息，都可以所引到一幅或者几幅广告图片数据库5中的图片。
所述场所广告摄取单元1是具有照相功能的手机、数码相机、摄像头及具有照相 功能的设备其中的一种，具有拍摄并储存场所广告图片功能。 所述客户端2安装在具有上网功能的手机、计算机或者其它具有上网功能的设备 上面；所述客户端2可以随时读取广告摄取单元1保存的场所广告图片，并发送到广告商服 务器3 ;实时接收并显示广告商服务器3发送的商品电子广告信息。 所述广告图片数据库5随场所广告的变化而变动；对于新建的场所广告，广告商 收集对应的数据库图片，建立新增数据库图片与对应商品信息的索引关系并保存数据库图 片到广告图片数据库5中；对过时的场所广告，解除广告图片数据库中与之对应的过时的 数据库图片与商品信息数据库6中对应的过时的商品信息之间的索引关系，并删除广告图 片数据库5中过时的数据库图片。 所述商品信息数据库6随广告图片数据库的变动而实时更新；将新建立的与广告 数据库图5片建立索引关系的商品信息存入商品信息数据库6 ;从商品信息数据库6中删 除被解除了 一切索引关系的商品信息。 如图2示出，图像内容分析与检索单元4的结构，图像内容分析与检索单元4包含
图片画面分析模块41和图片文字分析模块42 ;所述图像内容与分析单元4采用图片画面
内容检索与图片内文字分析相结合的方式，增加了检索结果的准确性。 所述图像内容分析与检索单元4中的图片画面分析模块41包括对数据库图片预
处理、对场所广告图片实时表示和对数据库图片实时索引三个环节； 数据库图片预处理的过程包括数据库图片局部区域特征提取、码本生成和数据 库图片向量化表示三个步骤；步骤11 :数据库图片局部特征提取采用尺度不变特征变换 (SIFT)检测数据库图片中显著区域并将检测到的所有显著区域描述为128维向量，称之为 数据库图片局部特征；步骤12 :随机选择一部分数据库图片局部特征进行k-均值聚类，生 成k个聚类中心称之为码字，这k个码字构成码本，这里我们选择k = 1000 ;步骤13 :将提 取的数据库图片局部特征全部按照最近邻原则映射到码本中的码字上，然后统计所有码字 在每一幅数据库图片中出现的次数，形成码字出现次数直方图；这样每一幅数据库图片对 应着一个维数为k二 1000直方图向量；将这个直方图向量作为数据库图片的画面的向量描 述，称之为数据库图片向量；将这些向量与生成这些向量的图片建立一对一的索引，并将这些向量保存在一个临时文件夹T中； 场所广告图片实时表示包含场所广告图片局部区域特征提取和场所广告图片向 量化两个步骤；步骤21 :采用数据库图片预处理步骤11中所述相同的方式，提取场所广告 图片局部特征；步骤22 :采用数据库图片预处理步骤13中所述相同的方式，生成当前场所 广告图片的向量描述； 数据库图片实时索引指的是计算临时文件夹T中的所有向量与场所广告图片向 量之间的距离D(/， Vi)为: 其中，/指的是场所广告图片的向量描述，Vi是第i幅数据库图片在临时文件夹T 中对应的向量描述，v(j)指的是向量v的第j维的数值。将临时文件夹T中的向量按照与 场所广告图片向量之间距离从小到大的顺序排列；因为临时文件夹中数据库图片向量与数 据库图片存在一对一索引关系，因此得到了数据库图片的一个排列R1，称这个排列为图像 内容分析与检索单元4中图片画面分析模块41的检索结果。 所述图像内容分析与检索单元4中的图片文字分析模块42包括场所广告图片的 文字区域检测和光学字符识别(OCR)两个环节； 场所广告图片文字区域检测包括图片灰度图转换、边缘检测、连通域分析三步；灰 度图转换即将三信道R， G， B彩色图像转换为灰度图像Gray，通过公式
Gray = 0. 212671*R+0. 715160*G+0. 072169*B 得到场所广告图片的灰度图；图3示出本发明文字区域检测中用到的四方向索伯 (sobel)边缘检测子，利用0。 ，45° ，90° ，135°四个方向的索伯(Sobel)检测子与灰度图 Gray做巻积，得到四个方向的边缘图E。。 ，E45。 E9。。 E135。；最终得到的边缘图在位置(x，y)点 的像素值为E(x，y) = max{E。。 (x， y) ， E45。 (x， y) ， E9。。 (x， y) ， E135。 (x， y)};然后在得到的 边缘图E上面，用5X5滤波器对边缘图E滤波来减少噪声的影响，如图4示出本发明5X5 平滑滤波器；对得到的边缘图利用大律法进行二值化；在得到的二值图片上进行图像处理 中形态学"闭"操作，联接被断开的边缘；利用滑动窗的方式计算每个点周围的边缘密度，并 将密度相同的点组成连通域；去除太小或者太细的连通域；把剩余的具有相似连通域大小 的连通域融合，作为文本候选区域；因为图像中的文字大小不同，因此文字检测应该在多个 尺度上进行，每个尺度，也就是不同的滑动窗大小，对应着一系列候选文字区域；然后这些 候选文字区域被输入到光学字符识别(OCR)单元； 光学字符识别单元(OCR)检测到输入以后，读入候选区域，进行光学字符识别，并 输出所有候选区域中包含的文字，保存在变量C中。 所述图像内容分析与检索单元4中图片文字分析模块42的输出结果优化场所广 告图片画面检索的准确性；取初步检索结果Rl中前M幅数据库图片R2 ;对R2中的第i幅 数据库图片，可以得到所述的第i幅数据库图片的标签信息，统计所述C变量中的每个字 符在标签中出现的次数并累加，得到第i幅数据库图片与场所广告图片的文字相似度Si ; 相同的方式可以得到R2中其他数据库图片与场所广告图片的文字相似度；将R2中第i幅 数据库图片的在检索队列中的当前位置i减去加权后的文字相似度"XSi得到新的位置 i-" XSi，"为文字相似度权值；将R2中所有数据库图片按照新的位置从小到大的顺序重新排序，得到优化后的检索结果R3 ;取R3中的第一幅数据库图片，根据广告商服务器3上 广告图片数据库5中数据库图片与商品信息数据库6中商品信息的索引找到对应的商品信 息，返回给广告商服务器3。 本发明的场所广告与电子网络广告实时交互系统大致描述如下首先用户利用场 所广告摄取单元拍摄感兴趣的场所广告形成场所广告图片；客户端读取场所广告图片并按 照C/S(客户端/服务器)原理通过互联网将场所广告图片发送给广告商服务器；广告商服 务器接收到场所广告图片以后，将场所广告图片交给图像内容分析与检索单元；图像内容 分析与检索单元读取场所广告图片并按照所述对图像进行场所广告图片向量化表示形成 数据库图片的初步检索结果；同时图像内容分析与检索单元所述进行文字区域检测和光学 字符识别(OCR);图像内容分析与检索单元所述利用OCR识别结果对初步检索结果进行优 化；其中R2内数据库图片数目为100，文字相似度权值"=10 ;图像内容分析与检索单元 选择优化后检索结果中的第一幅数据库图片，利用所述广告图片数据库与商品信息数据库 之间的索引关系得到第一幅数据库图片对应的商品信息数据库中的商品信息并返回给广 告商服务器。广告商服务器得到图像内容分析与检索单元返回的商品信息后，按照C/S(客 户端/服务器)原理通过互联网将商品信息发送给客户端。客户端接收到商品信息之后， 显示给用户供用户选择操作。 上述场所广告与电子网络广告实时交互系统具有高度的实用性和应用价值。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
一种场所广告与电子广告数据实时交互的系统，其特征在于，该系统是由场所广告摄取单元、客户端、广告商服务器、图像内容分析与检索单元、商品信息数据库和广告图片数据库组成，其中场所广告摄取单元，用户对感兴趣的场所广告进行拍摄，获得场所广告图片；客户端与场所广告摄取单元连接，客户端读取场所广告图片，并输出场所广告图片，实时显示广告商服务器返回的电子广告信息；客户端的用户利用电子广告信息可进行拨打感兴趣场所广告中商品的厂商电话、登录商品信息主页操作；广告商服务器与客户端连接，广告商服务器全天候的接收并输出各个客户端发送的场所广告图片；广告商服务器接收图片内容分析与检索单元返回的电子广告信息并转发送给客户端；图像内容分析与检索单元与广告商服务器、广告图片数据库和商品信息数据库连接，接收广告商服务器提供的场所广告图片，在广告图片数据库中检索与场所广告图片对应的数据库图片，然后利用得到的数据库图片索引商品信息数据库中的电子广告信息，并把电子广告信息返回给广告商服务器；广告图片数据库由大量电子广告图片构成，由广告商拍摄、收集并更新；这些数据库图片的标签包括商品的名称、系列、图片中出现的文字；数据库图片与商品信息数据库中的商品信息电子广告信息存在多对一的索引关系，对每一幅数据库图片，都可以索引到商品信息数据库中对应的电子广告信息；商品信息数据库由广告图片数据库中的图片中商品的信息构成；商品信息数据库中的商品的信息包括商品的名称、商品的系列号、商品信息主页链接、商品的促销信息、商品生产或提供厂家联系方式；商品信息数据库中的商品信息与广告图片数据库中的图片存在一对多的索引关系；对每一条产品信息，都可以索引到一幅或者几幅广告图片数据库中的图片。
2. 如权利要求1所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 场所广告摄取单元是具有照相功能的手机、数码相机、摄像头及具有照相功能的设备其中 的一种，具有拍摄并储存场所广告图片功能。
3. 如权利要求1所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 客户端安装在具有上网功能的手机、计算机或者其它具有上网功能的设备上面；所述客户 端可以随时读取广告摄取单元保存的场所广告图片，并发送到广告商服务器；实时接收并 显示广告商服务器发送的商品电子广告信息。
4. 如权利要求1所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 广告图片数据库随场所广告的变化而变动；对于新建的场所广告，广告商收集对应的数据 库图片，建立新增数据库图片与对应商品信息的索引关系并保存数据库图片到广告图片数 据库中；对过时的场所广告，解除广告图片数据库中与之对应的过时的数据库图片与商品 信息数据库中对应的过时的商品信息之间的索引关系，并删除广告图片数据库中过时的数 据库图片。
5. 如权利要求1所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 商品信息数据库随广告图片数据库的变动而实时更新；将新建立的与广告数据库图片建立 索引关系的商品信息存入商品信息数据库；从商品信息数据库中删除被解除了一切索引关系的商品信息。
6. 如权利要求l所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 图像内容分析与检索单元包含图片画面分析模块和文字分析模块；所述图像内容与分析单 元采用图片画面内容检索与图片内文字分析相结合的方式，增加了检索结果的准确性。
7. 如权利要求6所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 图像内容分析与检索单元中的图片画面分析模块包括对数据库图片预处理、对场所广告图 片实时表示和对数据库图片实时索引三个环节；数据库图片预处理的过程包括数据库图片局部区域特征提取、码本生成和数据库图片 向量化表示三个步骤；步骤11 :数据库图片局部特征提取采用尺度不变特征变换检测数据库图片中显著区 域并将检测到的所有显著区域描述为128维向量，称之为数据库图片局部特征；步骤12 :随机选择一部分数据库图片局部特征进行k-均值聚类，生成k个聚类中心称 之为码字，这k个码字构成码本；步骤13 :将提取的数据库图片局部特征全部按照最近邻原则映射到码本中的码字上， 然后统计所有码字在每一幅数据库图片中出现的次数，形成码字出现次数直方图；这样每 一幅数据库图片对应着一个直方图向量；将这些直方图向量作为数据库图片的画面的向量 描述，称之为数据库图片向量；将这些向量与生成这些向量的图片建立一对一的索引，并将 这些向量保存在一个临时文件夹T中；场所广告图片实时表示包含场所广告图片局部区域特征提取和场所广告图片向量化 两个步骤；步骤21 :采用数据库图片预处理步骤ll中所述相同的方式，提取场所广告图片局部特征；步骤22 :采用数据库图片预处理步骤13中所述相同的方式，生成当前场所广告图片的 向量描述；数据库图片实时索引指的是计算临时文件夹T中的所有向量与场所广告图片向量之 间的距离D(/， Vi)为:<formula>formula see original document page 3</formula>其中，/指的是场所广告图片的向量描述，Vi是第i幅数据库图片在临时文件夹T中 对应的向量描述，v(j)指的是向量v的第j维的数值，将临时文件夹T中的向量按照与场 所广告图片向量之间距离从小到大的顺序排列；因为临时文件夹中数据库图片向量与数据 库图片存在一对一索引关系，因此得到了数据库图片的一个排列R1，称这个排列为图像内 容分析与检索单元图片画面分析模块的检索结果。
8.如权利要求l所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 图像内容分析与检索单元中的图片内文字分析模块包括场所广告图片的文字区域检测和 光学字符识别两个环节；场所广告图片文字区域检测包括图片灰度图转换、边缘检测、连通域分析三步；灰度图 转换即将三信道R， G， B彩色图像转换为灰度图像Gray，通过公式<formula>formula see original document page 3</formula>得到场所广告图片的灰度图；利用(T ，45° ，90° ，135°四个方向的索伯(Sobel)检 测子与灰度图Gray做巻积，得到四个方向的边缘图EO。 ，E45。 E9。。 E135。；最终得到的边缘图 在位置(x，y)点的像素值为E (x， y) = max {E0。 (x， y) ， E45。 (x， y) ， E90。 (x， y) ， E135。 (x， y)};然后在得到的边缘图E上面，用5X5滤波器对边缘图E滤波；对得到的边缘图利用大 律法进行二值化；在得到的二值图片上进行图像处理中形态学"闭"操作，联接被断开的边 缘；利用滑动窗的方式计算每个点周围的边缘密度，并将密度相同的点组成连通域；去除 太小或者太细的连通域；把剩余的具有相似连通域大小的连通域融合，作为文本候选区域； 在多个尺度上对图像中大小不同的文字进行检测，每个尺度是不同大小的滑动窗，对应着 一系列候选文字区域；然后这些候选文字区域被输入到光学字符识别单元；光学字符识别单元检测到输入以后，读入候选区域，进行光学字符识别，并输出所有候 选区域中包含的文字，保存在变量C中。
9.如权利要求7所述的场所广告与电子广告数据实时交互的系统，其特征在于，所述 图像内容分析与检索单元中文字分析模块的输出结果优化场所广告图片画面检索的准确 性；取初步检索结果R1中前M幅数据库图片R2 ;对R2中的第i幅数据库图片，得到所述的 第i幅数据库图片的标签信息，统计所述C变量中的每个字符在标签中出现的次数并累加， 得到第i幅数据库图片与场所广告图片的文字相似度Si ;相同的方式可以得到R2中其他数 据库图片与场所广告图片的文字相似度；将R2中第i幅数据库图片的在检索队列中的当前 位置i减去加权后的文字相似度"XSi得到新的位置i-" XSi，"为文字相似度权值；将 R2中所有数据库图片按照新的位置从小到大的顺序重新排序，得到优化后的检索结果R3 ; 取R3中的第一幅数据库图片，根据广告商服务器上广告图片数据库中数据库图片与商品 信息数据库中商品信息的索引找到对应的商品信息，返回给广告商服务器。
全文摘要
本发明为一种场所广告与电子广告数据实时交互的系统，该系统包括用户利用场所广告摄取单元拍摄场所广告图片，客户端读取场所广告图片并发送给广告商服务器；广告商服务器将接收的场所广告图片交给图像内容分析与检索单元；图像内容分析与检索单元在广告图片数据库中检索对应的数据库图片并将检索结果中数据库图片对应的商品信息数据库中的相关信息返回给广告商服务器；广告商服务器将图像内容分析与检索单元返回的商品信息发送给客户端。图像内容分析与检索单元采用图像画面内容检索和文字区域检测与文字识别相结合，增加了系统的稳定性和可靠性；利用手机信号，互联网可实时方便的完成用户与广告提供商、厂商的交互。
文档编号G06F17/30GK101789111SQ20091024451
公开日2010年7月28日 申请日期2009年12月30日 优先权日2009年12月30日
发明者张琳波, 王春恒, 肖柏华 申请人:中国科学院自动化研究所