作为一名seoer，学会分析网站日志是必须要掌握的一项基本的技能，通过日志分析可以分析爬虫抓取页面是否具有价值性,通过日志分析蜘蛛返回的状态码能及时发现网站里面是否存在错误或者蜘蛛无法爬取的页面，排查网站页面中存在的404错误页面，500服务器错误等这些噪音内容上噪音页面上(重复页面，低质量页面，空内容页面，404页面，不排名页面等)。

一、网站日志可以为我们做什么?
1、 可以分析爬虫抓取页面有效性(减少搜索引擎在一些噪音页面上：重复页面，低质量页面，空内容页面，404页面，不排名页面 的抓取频率);
2、排查网站页面中存在的404错误页面，500服务器错误等；
3、页面重要内容是否被爬虫完整爬到；
4、正确分辨蜘蛛爬虫真假。
二、常见HTTP状态码解读
1、200代码，表示蜘蛛爬取正常
2、404代码，访问的这个链接是错误链接
3、301代码，永久重定向
4、302代码，表示临时重定向
5、304代码，客户端已经执行了GET，但文件未变化。
6、500代码，表示网站内部程序或服务器有错
日志里的含义，可以让大家看到网站日志中各个数据都代表什么意思，总之这个文件是记录的一天发生在网站上的一些行为。当我们拿到这么一个网站日志，我们就可以审视我们的日志，并且通过对日志文件分析解决网站存在的问题。