createboy super's List: 搜索技术实现

• • 、链接指向A的网页越多，A的级别越高。即A的级别和指向A的网页个数成正比，在公式中表示，N越大， A的级别越高； 
  • 、链接指向A的网页，其网页级别越高， A的级别也越高。即A的级别和指向A的网页自己的网页级别成正比，在公式中表示，网页N级别越高， A的级别也越高； 
  • 、链接指向A的网页，其链出的个数越多，A的级别越低。即A的级别和指向A的网页自己的网页链出个数成反比，在公式中现实，网页N链出个数越多，A的级别越低。
• HillTop算法的指导思想和PageRank的是一致的，都是通过网页被链接的数量和质量来确定搜索结果的排序权重
• HillTop认为只计算 来自具有相同主题的相关文档链接对于搜索者的价值会更大：即主题相关网页之间的链接对于权重计算的贡献比主题不相关的链接价值要更高
• 锚文本就是链接文本
• 锚文本可以做为锚文本所在的页面的内容的评估
• 另一方面，锚文本能做为对所指向页面的评估
• 锚文本对搜索引擎起的作用还表现为可以收集一些搜索引擎不能索引的文件
• 这张照片链接的锚文本为“张曼玉的照片”
• 搜索引擎也会利用这些版式来识别搜索词与页面内容的相关程度
• 在提取内容的时候，搜索引擎就可以记录所有版式信息，包括：哪些词是在标题 中出现，哪些词是在正文中出现，哪些词的字体比其他的字体大，哪些词是加粗过，哪些词是用KeyWord标识过的等等
• 没有真正解决相关性
• 搜索结果的单一化
• 但最理想的结果应该是针对每个访问者，排序结果直接和他们的搜索习惯和意愿有关。搜索“体育”，对喜欢足球的人应该把足球的相关结果排在前面
• 这两个不足的方向发展：语意相关性和排序个性化

12 more annotations...

• 用户体验度则反映在三个方面：准、全、快
• ：查准率、查全率和搜索速度（即搜索耗时）
• 保证搜索的前几十条结果都和搜索词十分相关，这 需由“分词技术”和“排序技术”来决定
• 网络蜘蛛即Web Spider
• 网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网 站所有的网页都抓取完为止。
• 广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中 的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度
• 深度优先是指网络蜘蛛会从 起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易
• 有些网络蜘蛛对一些不太重要的网站，设置了访问的层数
• 对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
• 网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索
• 有多种方法可以让网站和网络蜘蛛进行交 流。一方面让网站管理员了解网络蜘蛛都来自哪儿，做了些什么，另一方面也告诉网络蜘蛛哪些网页不应该抓取，哪些网页应该更新。
• 网络蜘蛛进入一个网站，一般会访问一个特殊的文本文件Robots.txt，这个文件一般放在网站服务器的根目录下
• 网络蜘蛛在下载网页的时候，会去识别网页的HTML代码，在其代码的部分，会有META标识
• 厂商都会提供相应的文本提取接口。网络蜘蛛只需要调用这些插件的接口，就可以轻松的提取文档中的文本信息和文件其它相关的信息
• 取文本信息时需要把这些标识符都过滤掉。过滤标识符并非难事，因为这些标识符都有一定的规则，只要按照不同的标识符取得相应的信息即可。
• 需要同步记录许多版式信息，例如文字的字体大小、是否是标题、是否是加粗显示、是否是页面的关键词等，这些信息有助于计算单词在网页中的重要程 度。
• 许多广告链接以及公共的频道链接，
• 滤这些无用的链接。
• 对于多媒体、图片等文件，一般是通过链接的锚文本（即，链接文本）和相关的文件注释来判断这些文件的内容
• 如果要完 善的处理好这些网页，网络蜘蛛需要有自己的脚本解释程序。
• 对于许多数据是放在数据库的网站，需要通过本网站的数据库搜索才能获得信息
• 整个系统一般采用插件的形式，通过一个插件管理服务程序，遇到不同格式的网页采用不同的插件处理。这种 方式的好处在于扩充性好，以后每发现一种新的类型，就可以把其处理方式做成一个插件补充到插件管理服务程序之中。

20 more annotations...