当前位置: 主页 > 技术学堂 > 关键词优化 >

探索关键词百度搜索引擎工作原理

时间:2019-07-16 21:25   点击次数:
 
网络己经成为人们获取和发布信息的重要媒介。虽然网络给我们带来获取信息的方便,但如此海量的网络信息,很难用浏览的方式找到真正需要的信息。于是搜索引擎应运而生,并且成为Internet上非常重要的网络探索导航服务的重要工具。
 
搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。搜索器,也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。索引器。它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。检索器。其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。用户接口。它为用户提供可视化的查询输入和结果输出的界面。
 
搜索引擎的工作原理:根据技术原理,可将多元化的搜索引擎归为三大主要类型,即全文搜索引擎、基于目录索引型(catalog)和元(meta)搜索引擎。其中,基于全文的robot搜索引擎原理具有典型性、普遍性。robot的全文搜索引擎的技术基础文是全文检索技术。基于全文的robot搜索引擎实际上是全文检索技术的一种应用。一搜索引擎是架构在衡量搜索引擎的优劣标准体系范围之上的。衡量搜索引擎的评价指标,包括数据库模和内容、索引方法、检索功能、检索结果、用户界面等。随着互联网的深度发展,主流的搜索引擎设计更看重查询时间,能实现即时互动。搜索引擎实际工作过程是极其繁杂的,图1所示是其工作过程简化图。便于梳理和理解,可将其整个工作过程视为三个部分:一是蜘蛛在互联网上爬行和抓取网页信息,并存入原始网页数据库;二是对原始网页数据库中的信息进行提取和组织,并建立索引库;三是根据用户输入的关键词,快速找到相关文档,并对找到的结果进行排序,并将查询结果返回给用户。下面对其工作原理做进一步分析。
 
网页内容抓取:Spider每遇到一个新文档,都要搜索其页面的链接网页。搜索引擎蜘蛛访问web页面的过程类似普通用户使用浏览器访问其页面,即B/S模式。引擎蜘蛛先向页面提出访问请求,服务器接受其访问请求并返回HTML代码后,把获取的HTML代码存入原始页面数据库。搜索引擎使用多个蜘蛛分布爬行以提高爬行速度。搜索引擎的服务器遍布世界各地,每一台服务器都会派出多只蜘蛛同时去抓取网页。如何做到一个页面只访问一次,从而提高搜索引擎的工作效率。在抓取网页时,搜索引擎会建立两张不同的表,一张表记录已经访问过的网站,一张表记录没有访问过的网站。当蜘蛛抓取某个外部链接页面URL的时候,需把该网站的URL下载回来分析,当蜘蛛全部分析完这个URL后,将这个URL存入相应的表中,这时当另外的蜘蛛从其他的网站或页面又发现了这个URL时,它会对比看看已访问列表有没有,如果有,蜘蛛会自动丢弃该URL,不再访问。
 
预处理,建立索引:为了便于用户在数万亿级别以上的原始网页数据库中快速便捷地找到搜索结果,搜索引擎必须将spider抓取的原始web页面做预处理。网页预处理最主要过程是为网页建立全文索引,之后开始分析网页,最后建立倒排文件(也称反向索引)。Web页面分析有以下步骤:判断网页类型,衡量其重要程度,丰富程度,对超链接进行分析,分词,把重复网页去掉。经过搜索引擎分析处理后,web网页已经不再是原始的网页页面,而是浓缩成能反映页面主题内容的、以词为单位的文档。数据索引中结构最复杂的是建立索引库,索引又分为文档索引和关键词索引。每个网页唯一的doc ID号是有文档索引分配的,每个word ID出现的次数、位置、大小格式都可以根据doc ID号在网页中检索出来。最终形成word ID的数据列表。
 
搜索查询:在搜索引擎界面输入关键词,点击“搜索”按钮之后,搜索引擎程序开始对搜索词进行以下处理:分词处理、根据情况对整合搜索是否需要启动进行判断、找出错别字和拼写中出现的错误、把停止词去掉。接着搜索引擎程序便把包含搜索词的相关网页从索引数据库中找出,而且对网页进行排序,最后按照一定格式返回到“搜索”页面。查询服务最核心的部分是搜索结果排序,其决定了搜索引擎的量好坏及用户满意度。实际搜索结果排序的因子很多,但最主要的因素之一是网页内容的相关度。
关键词常用程度,经过分词后的多个关键词,对整个搜索字符串的意义贡献并不相同。越常用的词对搜索词的意义贡献越小,越不常用的词对搜索词的意义贡献越大。常用词发展到一定极限就是停止词,对页面不产生任何影响。
 
所以搜索引擎用的词加权系数高,常用词加权系数低,排名算法更多关注的是不常用的词。词频及密度,通常情况下,搜索词的密度和其在页面中出现的次数成正相关,次数越多,说明密度越大,页面与搜索词关系越密切。关键词位置及形式,关键词出现在比较重要的位置,如标题标签、黑体、H1等,说明页面与关键词越相关。在索引库的建立中提到的,页面关键词出现的格式和位置都被记录在索引库中。关键词距离,关键词被切分之后,如果匹配的出现,说明其与搜索词相关程度越大,当“搜索引擎”在页面上连续完整的出现或者“搜索”和“引擎”出现的时候距离比较近,都被认为其与搜索词相关。链接分析及页面权重,页面之间的链接和权重关系也影响关键词的相关性,其中最重要的是锚文字。页面有越多以搜索词为锚文字的导入链接,说明页面的相关性越强。链接分析还包括了链接源页面本身的主题、锚文字周围的文字等。
网络推广推荐上海首排网络科技有先公司!
上一篇: 网站关键词排名怎样做排名更加稳定?
下一篇:定期更新站内文章有利于关键词优化

推荐案例

最新资讯

联系首排云

资讯热线:181-1255-6717

加盟一部 加盟二部 加盟三部