热搜关键词

建站常识

[摘要] 网站日志，对于这个行业的人来说都知道他的重要性。在分析日志的时候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。我们应该从哪几个维度来进行数据的整理分析呢?我们从基础信息、目录抓取、时间段抓取、IP抓取、状态码几点分布给大家讲解。第…

　　网站日志，对于这个行业的人来说都知道他的重要性。在分析日志的时候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。我们应该从哪几个维度来进行数据的整理分析呢?我们从基础信息、目录抓取、时间段抓取、IP抓取、状态码几点分布给大家讲解。

　　第一、基础信息

　　我们从日志中能够获取哪里基础信息呢?总抓取量、停留时间(h)及访问次数这三个基础信息，可以从光年日志分析工具中统计出来。然后，通过这三个基础信息算出：平均每次抓取页数、单页抓取停留时间。然后用我们的MSSQL提取蜘蛛唯一抓取量，根据以上的数据算出爬虫重复抓取率。

　　平均每次抓取页数=总抓取量/访问次数

　　单页抓取停留时间=停留时间*3600/总抓取量

　　爬虫重复抓取率=100%—唯一抓取量/总抓取量

　　而以上这些数据，我们需要统计出一段时间的数据，看这个时间的整体趋势是怎么样的，这样才能够发现问题，才能够调整网站的整体策略。

　　爬虫单页的停留的时间，提高网页加载速度，减少爬虫单页停留时间，可以为爬虫的总抓取做出贡献，进而增加网站收录，从而提高网站整体流量。在16号至20号左右服务器出现一些问题，之后进行调整后，速度明显变快，单页停留时间也相应的下来了。

　　而对此进行相应调整如下：

　　综合分析，需要从站内链接和站外的链接进行调整。站内的链接尽量的带锚文本，如果不能带的话，可以推荐其他页面的超链接，让蜘蛛尽可能的深层次的抓取。站外链接的话，需要多方面的发布。站外平台要广，发布的链接要多样话，不能直发首页的，栏目及文章页面需要加大力度。

关键词：

多一份参考，总有益处联系我们，免费获得专属《策划方案》及报价

部分内容来自网络，如涉及侵权，请通知我们，我们将在24小时之内删除sitemap

姓名：

必填

手机：

必填