揭秘搜索引擎的架构和工作原理图 -足球竞猜app

网站收录 04-08 13:23:00

【网址收录,快速审核联系右上角q,6元/站/永久

网站名称:揭秘搜索引擎的架构和工作原理图
网址:http://www.chenpingping.cn/a/seojiaocheng/2018/0928/206.html
网站简介:搜索引擎发展史:分类目录(网址导航)是史前时代、文本检索是第一代、链接分析是第二代、以用户中心是第三代, 搜索引擎的3个目标:更全、更快、更准。 搜索引擎的3个核心问题:
网站关键词:搜索引擎原理
文本快照:
搜索引擎发展史:分类目录(网址导航)是史前时代、文本检索是第一代、链接分析是第二代、以用户中心是第三代, 搜索引擎的3个目标:更全、更快、更准。 搜索引擎的3个核心问题:1.用户真正的需求是什么,2.哪些信息是和用户需求是真正相关的,3.哪些信息是用户可以信赖的。 搜索引擎的架构,一张图可以说明情况:   搜索引擎的整体架构示意图:
  我们来看一下搜索引擎的架构(上图): 网络爬虫爬行互联网连接; 网页计算去重; 添加索引; 内容,链接计算; 网页排序; 形成对应词典,存入cache系统; 用户检索; 分析内容,调出词典内容 这基本上是一个网页从产生到呈现的过程,当然这个过程很复杂,这里只是简单的比拟出来。不过我们可以看到,网络的爬虫对我们网站是何等的重要,这也是很多卖蜘蛛池的原因吧。其次是网页的去重,因为现在百度自身服务器内部很多的网页缓存,蜘蛛爬去过得内容百度会经过一系列的计算后去除重复网页,这里面有一个比较复杂的算法,这个以后可以详细来讲。` 我们看网页的排序有两个方面因素的影响:内容的相似性 链接分析,大概这就是我们常说的seo 内容为王,外链为皇 理论依据吧。其实网页排序的影响因素有很多,但是内容和链接是基础的比较重要的影响因素。 网页排序之后就是生成关键词的词典存入搜索引擎的cache系统,一方面可以快速的提供用户查询信息,另一方面就是减轻搜索引擎的计算压力。 除了上述的子功能模块, 反作弊 模块也日益重要。 互联网页面划分为五个部分:1.已下载网页集合、2.已过期网页集合、3.待下载网页集合、4.可知网页集合、5.不可知网页集合。 网络爬虫分为:批量性爬虫、增量型爬虫、垂直型爬虫。 爬虫抓取的策略:1.宽度优先遍历、2.非完全pagerank、3.opic(online page importantance computation)、4.大站优先。 网页更新策略:1.历史参考策略、2.用户体验策略、3.聚类抽样策略