垂直搜索引擎的现状与发展探究,本文主要内容关键词为:现状论文,搜索引擎论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
中图分类号:G250.73 文献标识码:A 文章编号:1007-7634(2010)03-0477-04
目前,网上综合性的传统搜索引擎发展日益成熟,能够较好地满足广大用户的检索需求。但网络技术发展与网络信息增长迅速,网络信息的用户也越来越多,相比之下,综合搜索引擎在索引数据库建设、信息收集等方面存在很多不足,导致了信息查准率低、有用信息含量低等问题。尤其在满足用户的专业检索需求时这些问题更为突出,这样难以满足专业人士的检索需求。因此,应开发搜索质量更准确、相关性更复杂的搜索引擎,以追求在某一学科或某一行业领域有最佳的检索效率及效果,各种垂直搜索引擎随之产生。垂直搜索引擎的应运而生,成为搜索引擎发展史上的一块里程碑。
1 垂直搜索引擎概述
垂直搜索引擎(Vertical Search Engine)是指应用于搜索某一学科领域或某一类信息(如图像、影像)的专业搜索引擎,又称为专题搜索引擎、专门搜索引擎,是搜索引擎的细分和延伸[1]。是专为查询某一学科或主题的信息而产生的查询工具,是相对综合搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式。
(1)垂直搜索引擎的特点。垂直搜索引擎抓取的数据来源于垂直搜索引擎关注的行业站点:例如:找工作的搜索引擎www.deepdo.com的数据来源于:www.51job.com,www.zhaoping.com,www.chinahr.com等等;
(2)垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索,抓取的数据倾向于结构化数据和元数据:例如:比如在某个购物类的垂直搜索引擎上输入“mp3”,就会出现该产品的相关属性如:内存,尺寸、大小、电池型号、价格、生产厂家等相关技术属性,有的还提供比价服务。
(3)不同于传统广告收费的新模式。由于数据来源得到了详细划分,使得用户在使用垂直搜索引擎时一方面操作简单,另一方面,通常使用垂直搜索引擎的用户目标性都比较明确,购买的可能性相对比较大。企业针对这种用户在广告投放或者其他方面进行合作,显然更为准确有效,所以垂直搜索采用每行动成本的收费模式[6]。
垂直搜索引擎和综合搜索引擎都是帮助网络用户查找网络相关信息的工具,这是它们最重要的相同点。起初,人们对搜索引擎的要求是从网络上如何找到更多的信息,随着网络信息的迅速膨胀,发展到如何找到准确、有用的信息。这正是综合搜索引擎面临的最大挑战,垂直搜索引擎能解决以上问题,它专门用来检索某一主题范围或某一类型信息,追求专业性与服务深度[4]。垂直搜索引擎与综合搜索引擎相比,信息服务模式有所变化,它更加注重信息的专深性,更体现“以人为本”的理念。它们之间最大区别是垂直搜索引擎对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据。
2 国内外垂直搜索引擎现状
根据易观国际对2008年第1、2季度中国搜索引擎市场的季度监测研究表明,2008年上半年,中国搜索引擎市场规模为21.5亿元,到2008年底,中国搜索引擎市场规模达到53.2亿元。其中,各类异军突起的垂直搜索引擎占了相当大的分量。
垂直搜索引擎的应用领域很多,比如找工作的搜索、旅游搜索、医药搜索、图书搜索、购物搜索,各行各业都可以进一步细化成各类的垂直搜索引擎,相比综合性的搜索引擎,垂直搜索引擎更能匹配大众在某些方面的一些特定需求。国内最具有代表性的是赛迪IT罗盘(http://itsearch.ccidnet.com),它是由赛迪网推出的国内第一个中文IT垂直搜索引擎,是中文领域首个真正意义上的垂直搜索引擎。目前收录了2万多条IT网址和数百万IT网页数据,涵盖了IT领域的绝大多数网络信息资源。同以往搜索引擎不同的是,赛迪“IT罗盘”提供经过人工加工和精选的网页检索功能,而且网站目录也全部经过人工分类、整理,收录了大量经过严格过滤和人工加工的网站,分类科学,查询简捷;充分融入了人性化的设计,为用户提供开放的接口,允许用户参与网站评价,同时允许用户定制自己的搜索需求;还充分考虑了多种中文的需求,能够支持主流的中文编码标准,包括GBK、GB2312、BIG5,并且能够在不同的编码之间转换,更加符合中文用户的搜索习惯;在检索功能方面支持布尔逻辑检索;搜索速度快,平均响应间低于0.15秒[3]。其他垂直搜索引擎还有比价购物类搜索引擎,供求信息类搜索引擎、工作类搜索引擎、博客类搜索引擎等等,更贴切地满足用户需求。
2006年以来,国内垂直搜索引擎与相关行业相结合,在房地产、IT信息、招聘、购物、生活服务及证券投资方面发展迅猛。但是尽管国内的垂直搜索引擎发展较快,但与国外的相比,无论是在数据挖掘、开放接口、信息共享等技术层面还是在行业经验上都还有很多差距,这就大大的限制了垂直搜索引擎的发展,使得专业化搜索服务还无法在社会的各个领域得到广泛发展。国外的垂直搜索引擎正处于一个蓬勃发展的时期,各种专业搜索引擎层出不穷,许多专门领域都有自己的垂直搜索引擎,以下几个是最有代表性的。
LIBClient-IRISWeb系统是North Carolina大学计算机科学系和法学院联合开发研制的,可以用自然语言对网上的法律信息进行全文检索,使得用户获得全面高质的法律专业信息的效率大大提高;Elsevier的Scirus系统是一种专为搜索高度相关的科学信息而设计的搜索引擎,是目前互联网上最全面、综合性最强的科技文献门户网站之一。它只面向包含有科学内容的网站。WallStreet Research Network是由美国WSRN公司开发建立的经济与财经类的专业搜索引擎,专门检索经济研究、工商企业、市场新闻、共同基金、投资中介商和经济研究出版物等各类信息[8]。在国外,垂直搜索引擎已经开始向行业收费。以旅行网站Expedia为例,当有旅行者通过Expedia搜索向美国航空公司订票的时候,依照二者的合作协议,前者将向后者收取一定的服务费,从几美元到几十美元不等[9]。
目前垂直搜索引擎主要盈利模式是基于竞价排名的广告模式,具体广告在向垂直搜索引擎购买该项服务后,通过注册一定数量的关键词,按照付费最高者排名靠前的原则,购买了同一关键词的网站按不同的顺序进行排名,这就带来了一系列问题。出价高的网页排列在前,出价少的就必然排列在后,一味地根据广告费用来决定页面的排列方式,这将会带来用户的不信任,但是如果没有广告收入,对垂直搜索行业也是无法承受的[12]。
3 垂直搜索引擎的发展
垂直搜索引擎从诞生开始就被人们关注,从理论上来说,它的查准率应该比综合搜索引擎高得多。经过几年的发展,垂直搜索引擎已经以其智能化、个性化、精确化、专业化等特点得到越来越多的网络用户的认可。但是,其数量和规模还远远不够,而且在信息服务方面还有待深入和加强,随着新技术的发展和门槛的降低,垂直搜索引擎将向着以下适应不同用户需求的方向不断发展。
(1)目录精细化方向发展。由于垂直搜索引擎相对于综合搜索引擎的最大优势,是对信息进行深度的、精细化的处理。与早期的网址分类搜索引擎相似,但垂直搜索引擎只选定了某一特定行业或某一主题进行目录的细化分类,结合机器抓取行业相关站点的信息提供专业化的搜索服务。这种专业化的分类目录,很容易让用户迅速知道自己要找的是什么,并且按目录点击就能找到。looksmart在日本推出了专门搜索饮食方面文章的垂直搜索引擎LooksmartJapanesefood,Looksmart又推出了多达19个独立的垂直搜索引擎,分别涉足汽车、城市、教育、健康、家庭生活、赚钱、音乐、娱乐、运动、时尚、科技、游戏、旅行等。还有比如作为电子书搜索引擎的爱搜书,它不仅提供全方位的电子书精准搜索,而且还为读者提供了一套全面的阅读服务,只要是爱看书的读者到这个平台一定不会漫无目的,因为这个平台包含了许多个分类频道,想看什么直接进去看就会一目了然,都是垂直搜索引擎进行目录细化分类的结果。未来的垂直搜索引擎将会更加精细的划分不同的行业,用户想要什么就可以得到什么[10]。
(2)深度挖掘分析元数据。其特点是:元数据模型再组织、再整合、深度数据挖掘、互动性。通过对元数据信息进入深度加工,该类垂直搜索引擎为用户提供综合搜索引擎无法做到的专业性、功能性、关联性,有的加入了用户信息管理以及信息发布互动功能,能很好地满足了用户对专业性、准确性、功能性、个性化的需求。目前网上的深度挖掘型垂直搜索引擎涉及领域已经相当广,一些发展的相当成熟。行业从业人员非常关注行业的历史发展、最新动向、趋势等话题。垂直搜索引擎集中了行业海量的信息和数据,基于这些信息和数据的商务智能分析,将为行业创造非常有价值的信息增值服务。目前,各个垂直搜索引擎开始加强数据分析功能,分析的结果尚未向公众免费开放。中国雅虎的“一页搜索”,就是一个智能化搜索,搜集并分析使用者的搜索意图,提供优化后的搜索结果;然后通过这个整合平台,把综合搜索和垂直搜索整合到一起,使搜索化繁为简,引领了搜索引擎的又一个发展。再例如Healthline的医疗垂直搜索平台使用组合语义查寻技术和全面消费健康分类学,分类数据由超过850,000项医疗相关元数据,和50000条相互关联的医疗概念组成。这些独特资源使Healthline翻译每天用户使用语言以便精确地匹配医疗术语,使得消费者能迅速从结果中判断确切的需要信息[9]。
(3)向交易平台发展。垂直搜索引擎由于自身对行业的专注,使得它可以提供行业信息深度和广度的整合提供更加细致周到的服务。对消费领域可以推出针对某一行业的搜索交易平台。搜索交易平台提供行业内商家和顾客直接沟通、咨询不再需要转到第三方平台再进行交易。搜索交易平台有可能发展成ebay,taobao那样的购物平台,如餐饮搜索引擎gudumami.cn上你可以搜索到几乎任何一种饭店的菜。垂直搜索交易平台和一般的垂直搜索平台最大的区别在于数据源的来源和服务的专业化。就像比较购物网站,其主要功能是通过对网上购物信息的采集和整理,提供商品和商家的各种信息供消费者进行比较,包括商品种类、价格、经销商等信息,从而为消费者提供网上购物参考。我国网络购物搜索引擎经过近10年来的发展,取得了快速的发展,未来两三年内将步入快速上升期[5]。
(4)本地搜索。来自咨询机构The Kelsey Group数据表明全球本地搜索的市场规模在2006年就达到41亿美元,2011年将达到111亿美元,年均复合增长率为22.3%。到目前为止,各大搜索引擎Google、Yahoo、MSN都推出了本地搜索而且都相对成熟。本地搜索的关键需求在于人们大多是在本地购物、就餐、娱乐、健身、修车、工作等。国内的几大综合搜索引擎的本地搜索从2005年初开始到现在仍停留在地图+黄页+公交指路的地图搜索水平阶段。国内做本地搜索的citysee等同样没提供地图定位功能。总体来说国内的本地搜索在数据挖掘、开放接口、信息共享方面和国外相比存在很大差距,国外的垂直搜索已经形成了事实上的数据供应链关系。当然随着国内垂直搜索的发展,各种合作肯定会使本地搜索能提供好的服务。以目前最火爆的酷讯搜房为例,利用GPS、卫星地图等定位技术和地图搜索方式让用户得到的地理信息更加确凿,终于成为行业楷模。
4 结论
垂直搜索引擎概念的提出,可以简单的说成是搜索引擎领域的行业化分工。众多专业性网站、行业网站独立服务于互联网的成功,恰恰证明了互联网的格局应该是多方面的。通用搜索引擎的性质,决定了其不能满足特殊领域、特殊人群的精准化信息需求服务。市场需求多元化决定了搜索引擎的服务模式必将出现细分,针对不同行业提供更加精确的行业服务模式。可以说通用搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间,势必将出现垂直搜索引擎在互联网中占据部分市场的趋势,也是搜索引擎行业细分化的必然趋势。
网易新搜索引擎的构架师之一周枫认为,未来的搜索应该是简单、直观、智能,同时也是个性化与人性化的统一,这比较全面地概括了未来搜索的方向。因此垂直搜索引擎还要逐步实现支持自然语言检索,实现基本的人机对话;提供交叉语言检索;支持跨平台多语言的文档处理;扩大检索范围;建立用户反馈机制,增强用户与搜索引擎的交互;用户界面也朝着智能化、个性化方向发展等。
垂直引擎作为整个Internet信息海洋中获取行业信息的有力工具之一,将随着计算机网络技术、人工智能技术和数据库技术的发展,应用越来越广泛。未来的搜索也必然是以满足各类互联网用户的需求为目的,这决定了它的更直观、精准、智能化、人性化的发展方向。垂直搜索引擎的目标是帮助用户解决问题,而不只是向通用搜索引擎一样发现信息,这一点是垂直搜索引擎的终极目标。在未来几年,垂直搜索引擎将会有更大的发展空间和机会。
标签:搜索引擎论文; 垂直搜索论文; 搜索引擎收录论文; 垂直行业论文; 国外搜索引擎论文; 用户需求论文; 信息发展论文; 综合搜索论文; 元数据论文;