【谷歌seo学习】利用服务器日志分析seo

　　文中将教您怎样运用网站网络服务器日志做为SEO分析工具，以能够更好地掌握百度搜索引擎智能机器人与网站的交互技术。在文中中，大家将只关心Google的Googlebot和Googlebot Smartphone。因而，从今天开始，每每提及智能机器人时，是在指Google。(本实例教程适用百度搜索)

　　一样特别注意的是，网络服务器日志一般也包括别的互动数据信息，可是大家在这儿只涉及到百度搜索引擎智能机器人总流量。

　　什么叫网络服务器日志文档?

　　简单点来说，网络服务器日志文档是网络服务器自动生成的纪录，列举了百度搜索引擎智能机器人与在其中包括的网页页面/資源的每一次互动。简单点来说，每一次数据漫游器要求网络服务器上的网页页面时，都是会建立一个日志项，在其中表明了各种各样数据信息点，比如：

　　*Warning: Jargon Zone*

　　要求了哪些网页页面或資源?

　　要求了哪一种資源?(HTML，JavaScript等)

　　应用什么方法?(获得或公布)

　　该要求什么时候产生?

　　要求的回应代码是什么?(200、301、404、500等)

　　也有最重要的数据信息点…* drumroll * …哪一个百度搜索引擎智能机器人传出了要求及其传出了是多少要求!(Googlebot，Googlebot Smartphone，Bingbot，Baidu等)

　　为何智能机器人爬取这般关键?

　　可以一目了然地明确智能机器人在一段时间内已经要求什么网页页面，这使大家可以鉴别潜在性的“难题”网页页面。

　　什么叫“难题”网页页面?

　　我将这种网页页面界定为在一个特殊的时间段内(最少一个月或三个月)基本上沒有智能机器人要求的网页页面。为了更好地开展考量，假定在一个月内一切具备10个或更少的数据漫游器要求的网页页面全是潜在性的“难题”网页页面。因为这是一个可放缩的占比，请依据网址尺寸(比如，低于10，低于30，低于50等)随便此后数据逐渐并再次进到目录。

　　智能机器人总流量低的缘故有什么?

　　网页页面坐落于网站导航的最深处，造成智能机器人均值必须更长的時间才可以抵达。

　　跨好几个网页页面的內容稀缺或反复，造成数据漫游器在要求网页页面时沒有那麼迫切性或必要性。

　　网页页面未包括在XMLsitmap中，造成数据漫游器仅借助当然爬网开展搜索。

　　缺乏偏向网页页面的內部/外链，进而使智能机器人寻找他们的方式少得多。

　　技术性难题，比如文件格式有误的robots.txt文件阻拦了bot爬取网址上的一些地区。

　　智能机器人总流量低有哪些危害?

　　网页页面压根沒有被捡取和数据库索引。

　　假如在数据库索引网页页面上升级网页页面内容，则更新后的內容很有可能必须更长的時间才可以被查找和创建数据库索引，代表着网址的来访者很有可能会见到落伍的內容。

　　话虽那么说，关键的是要留意，具备低数据漫游器总流量的网页页面并不一直造成大家关心的。这仅仅为了更好地协助鉴别潜在性难题网页页面的气象图，并不确保事实上有一切不正确。

　　网址尺寸怎样危害智能机器人爬取?

　　大中型 – 假如商业网站包括1000好几个网页页面，则智能机器人很有可能会碰到一个难题，即根据当然的爬网进展不断抵达较深的网页页面。这种可能是将与日志文档一起审批的网页页面，以明确必要性和优先。

　　大中小型网址 – 针对中小型网址和中小型网址来讲，其网页页面大概低于500页，因而数据漫游器应当可以没什么难题地爬取绝大多数网页页面。在这类状况下，您很有可能已经审批日志文档，以搜索逻辑性应该更经常地开展爬网的网页页面。

　　运用网络服务器日志剖析seo

　　1.浏览网址的网络服务器日志

　　得到对网站日志文档的访问限制并将之分析后，逐渐审批潜在性的“难题”网页页面。(我将应用Screaming Frog的Log Analyzer专用工具开展此特殊演习)

　　就最好作法来讲，必须审批最少一个月的数据信息，以精确勾画出网址上智能机器人主题活动的情况。要剖析的信息量事实上在于网站的尺寸，网页页面越多，将有着大量的“事情”，这事实上会缓减导进速率。

　　2.认证智能机器人

　　逐渐导进全过程后，将发生一个框，了解您是不是要在导进时“认证”智能机器人。该全过程本质上涉及到对向网络服务器发出请求的每一个数据漫游器的IP地址实行反方向DNS搜索，以鉴别假智能机器人。(自然，还可以运用nslookup命令符开展鉴别IP)

　　3.挑选和过虑

　　导进要剖析的日志文档信息量后，能够 自主调节主视图构造，一定要注意下边提及的2个Googlebot列，这大家稍候将关键探讨的列。

　　下面导出数据，便于能够更好地过虑和解决数据信息，在“行”列上边的左边寻找导出来按键。

　　4.审批数据信息

　　数据信息导出来到Excelexcel表后，能够 根据Googlebot和Googlebot Smartphone过虑数据信息，将要求总数数最多的网页页面过虑到总数至少的网页页面将防护潜在性的“难题”网页页面。

　　以下所显示，网址上面有许多网页页面，在一个月的時间里，他们仅接到一个Googlebot要求!这可能是一个难题，可是大家必须进一步调研。

　　编译程序好要剖析的网页页面目录后，就该再次探讨前边相关智能机器人总流量低的很有可能缘故的一部分。

　　结果

　　网络服务器日志文档为大家出示了百度搜索引擎智能机器人怎样与特殊网址互动的主视图，为进一步的seo优化出示了必需的信息内容，以能够更好地掌握智能机器人为什么会忽视网址上的一些网页页面及其怎样开展最好提升。