根据搜索结果来源的不同,全文搜索引擎可分为两类,一类拥有自己的检索程序(Indexer),俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序,能自建网页数据库,搜索结果直接从自身的数据库中调用,上面提到的Google和百度就属于此类;另一类则是租用其他搜索引擎的数据库,并按自定的格式排列搜索结果,如Lycos搜索引擎。
每一个搜索引擎都由三个主要部分组成:
1、蜘蛛
蜘蛛的工作职责是发现新的网页并收集这些网页的快照,然后分析该网页。
蜘蛛以抓取页面为主,比如扫描网页,所有的搜索引擎都能够实现深层检索和快速检索。在深层检索中,蜘蛛可以查找和扫描网页内的所有内容;在快速检索中,蜘蛛不遵循深层检索的规则,只搜索重要的关键词部分,而不检查和扫描网页里的所有内容。
大家都知道网站最重要的是快照时间,也就是说蜘蛛爬行和收录的网页速度越快,就说明这个网站在搜索引擎心中越重要,比如新华网和人民网,蜘蛛每小时爬4次以上,有的网站一个月也不见得能被蜘蛛爬一次。快照的抓取程度取决于网站内容的流行度、更新速度与网站域名的新旧。
在蜘蛛的爬行规则中,如果有许多外部链接指向这个网站,那就说明这个网站比较重要,所以抓取这个网站的频率很高。当然,搜索引擎这样做也是为了省钱,如果都以同样的频率爬行所有网站,这样需要更多的时间和成本,才能得到更全面的搜索结果。
2、指数
蜘蛛在爬行的过程中,可能会重复检查网页的内容,然后查看网站内容是否是复制其他网站的,以保证网站原创内容的指数,该指数的结果一般都是基本保持复制内容的排序搜索结果。当你进行搜索时,搜索引擎不会从网络上搜索,它会从指数中选择搜索结果,所以搜索得到的网页数量并不能代表整个网站,但蜘蛛会在后台扫描和保存网站的网页数量。 在搜索结果数量中,谷歌1-10个搜索结果约为16.05万,还有每个区域的搜索结果排名,这些都可以用搜索引擎的算法指数来控制,或者说是控制一部分。
每个搜索引擎在全国或全世界各地都建立数据中心,当你输入需要搜索的关键词的时候,会由于数据更新的时间不同而致搜索结果同步,所以在不同的地区就会出现不同的搜索结果。
3、Web界面
当你使用搜索引擎所看到的界面(比如google.com、baidu.com),搜索结果取决于复杂的算法,算法都是从指数内调用结果,通过查询并分析才能在前台显示,所以算法的制作时间比较长,谷歌在这个技术领域上领先。
还有一些搜索引擎的“一站式”特性,这类特性在英文搜索上比较常见,一般来说,搜索引擎忽略“一站式”的话,这样的搜索结果将更加正确,比如搜索“猫,狗”的时候,搜索引擎会排除“猫和狗”,只搜索“猫”“狗”。
关键词密度是衡量一个关键词出现在网页上的频率,一般搜索引擎看到某网页上的关键词超过密度范围,那它就会分析该网页是否作弊,现在搜索引擎可以做到任何地域的字词相关度处理。所以在一般情况下,关键词应该在整个网页中分散,但一定要有某个标题或段落长期不变。
搜索引擎还有个核心分析技术就是链接的相关性分析,除了网页排名和一般的链接,谷歌还看重锚文本链接,锚文本链接主要在于链接的年龄和位置,还有该链接的网页是否属于权威网站等。
链接是最大的网站质量指标,搜索引擎都很关注着,因为现在友情链接比较难找,而你又很需要友情链接,所以链接中很少有垃圾信息。比如大学的网站在谷歌的权重很高,那是由于大学有很多高质量的外部链接。随着大家都了解到外部链接的重要性后,很多网站开始买卖链接,这也是现在搜索引擎比较头疼的问题,不过ask现在判定网站排名更多在于网站的质量。
所有的搜索引擎都希望得到用户反馈的信息,他们期待在查询之前、搜索查询、时间间隔、和语义关系等方面,能更加了解到用户的意图,他们还会跟踪用户的点击,如果用户点击一个物品,然后又马上回到搜索页面,那搜索引擎就会认为这个购买不成功,会删除跟踪清单,其实这种做法已经在向电子商务靠近了。
由此可以看出,搜索引擎已经开始注重用户体验,为了做让用户肯定自己的劳动成果,并成为搜索引擎行业的一个标准,或许未来的发展就在个性化搜索。
随着搜索市场竞争的白热化,搜索引擎不仅开始深挖自己的战壕,还开始打起了口水战,而山寨搜索引擎在高举着“整合”的大旗,开始大摇大摆地进入这个本来只有巨头垄断的市场。国人充分发挥着其无比的想象力,准备让国内的互联网“步入搜索新时代”。 |