DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
用日誌說話:從IIS日志定位網站SEO問題的實戰思路
編輯:SEO優化集錦     

從做SEO開始,老大就一直給我灌輸一個觀念:“要做科學的SEO,無論流量是漲是跌,都要清楚它的來源;而要摸清這些、判斷流量的走向,就必須靠日誌分析,而不是憑感覺去猜是哪些因素讓流量發生了變化。”因此,我從一開始就從數據入手,對網站數據實時監控,從中判斷問題所在,再做出相應調整。這也正是我們網站能穩步發展、從流量直線下滑到回升、再到大幅上漲的重要原因。

最近網站流量漲得很快,可某一部分的抓取量卻直線下降,不過索引量還在不斷提升,流量也在上漲。正因如此,早在8月底我就發現了抓取量的下滑,但一直被眼前的流量所迷惑,沒能對抓取下降做個數據分析;加上當時忙於一些優化,忽略了抓取量這一塊,直到今天才對這部分數據做了初步分析。下面就把一個簡單的分析思路和結果分享給大家。

首先,為了準確定位抓取量在哪一天出現了明顯變化,同時便於與每月做對比,我先統計了日誌裡從6月份到9月17號每天的抓取量,如下圖:

從這張統計圖可以看出:6月份抓取量還在正常波動,7月底抓取上有明顯上升;但從8月10號開始往下波動後,就再也沒回到過原來的至高點;到了9月8號左右,更是呈直線下降趨勢。由此可以初步判斷,網站在7月26號做過針對抓取方面的優化,而10號、11號、12號左右的波動,說明這期間網站應該做過某次調整,而正是這個調整影響了蜘蛛對網站的抓取。此外,網站從9月4號開始抓取量上升、8號開始下降,這兩個時間點也值得進一步分析。

接下來,按照以往分析網站的慣例,我先看了網站的響應時間走勢,如下圖:

兩圖對比分析:

首先,9月份的響應時間曲線波動非常大,抓取量的波動也很大,而且兩條曲線的走向恰恰相反。4號開始響應時間下降,同時抓取量上升,一直到8號響應時間降到最低點,抓取量也升到最高點;從9號開始響應時間上升,抓取量隨之下降,而且一路下滑再也沒回漲過。雖然13號開始響應時間又降了下來,但抓取量卻仍在下降。

從9月的分析可以看出,這段時間影響蜘蛛抓取最明顯的因素是網站的響應時間——隨着流量上漲,服務器壓力增大,響應速度下降了很多,從而拖累蜘蛛抓取。但13號之後抓取量仍在降,則說明除響應速度外,可能還有別的原因。於是,我接著分析了8月份的數據曲線圖:

8月份,10號抓取量達到最高點後便開始下降,且再也沒回到那個至高點。按道理說,網站每天定期更新大批量數據,抓取量應該上升才對,可它偏偏在降。而對比下圖發現,8月26號以前響應時間非常平穩、也比較快。這一對比說明,8月份抓取量的波動與網站響應速度並無關係。

於是,我轉而分析了蜘蛛在8月份抓取時返回的狀態碼,如下圖:

從上圖可以看出,蜘蛛在8月份抓取過程中出現了約2%的500狀態碼。而據數據統計,這2%全部集中在8月11號到13號——也就是說,這三天網站出現過嚴重的內部錯誤,服務器無法完成請求。

於是,我又排查了8月10號前後對網站的改動。通過分析網站代碼(因為做技術,代碼的改動時間很容易查出),發現8月11號時網站新增了一個功能,而這個功能取數涉及三張表,開發時忽略了一個環節,導致功能上線後的三天內產生了大量錯誤頁面,直到三天後才被發現並修復。

綜合以上兩方面分析,近期抓取量下降主要有兩個原因:

1、網站訪問量大,導致響應速度下降;

2、網站內部錯誤,讓蜘蛛對網站產生了一個新的、不利的判斷。

當然,這只是初步分析得出的兩個結論,日誌還得繼續挖——在後續分析中,我還發現最近網站產生了很多垃圾鏈接,而這些鏈接的來源,很可能也是程序出了問題。所有的問題,都在IIS日誌的分析中慢慢浮出了水面。原因一旦找到,解決方案就很簡單了——針對相應問題逐一處理即可。

原文地址:天涯獨行的博客

注:相關網站建設技巧閱讀請移步到建站教程頻道。

收藏本文

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved