网站日志最重要是记录网站在运营过程中存在的各种问题，经过网站日志能够清楚地得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下拜访了你网站的哪个页面，是否拜访成功。

    网站日志数据剖析解读如下。

    (1)拜访次数、逗留时间、抓取量

    从这些项数据中能够得知:均匀每欢抓取页面数、单页抓取逗留时间和均匀每次逗留时间。均匀每次抓取页面数=总抓取量/拜访次数，单页面抓取逗留时间=每次逗留/每次抓取，均匀每次逗留时间=总逗留时间拜访次数。

    (2)目录抓取统计

    经过日志剖析咱们能够看到网站哪些目录受蜘蛛喜欢、抓取目录深度、重要页面目录抓取情况、无效页面目录抓取情况等。

    (3)页面抓取

    在网站日志剖析中，咱们能够看到具体被蜘蛛爬取的页面。在这些页面中，咱们能够剖析出蜘蛛爬取了哪些需要被制止爬取的页面、爬取了哪些无收录价值页面、爬取了哪些重复页面URL等。为充分利用蜘蛛资源，咱们需要将这些地址在Robots.txt中制止爬取。

    (4)蜘蛛拜访IP

    经过蜘蛛的IP段和前三项数据来判断网站的降权情况，IP剖析的更多用处是判断是否存在采集蜘蛛、假蜘蛛、歹意蜘蛛等，从而对那些拜访来历进行屏蔽、制止拜访优化，以节省带宽资源及减轻服务器压力，留给访客及蜘蛛更好的拜访体验。