DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> SEO優化
認識百度蜘蛛,並讓它自願常來
編輯:SEO優化     

我們每天發出來的文章被收錄了,但這背後到底發生了什麼?答案在網絡蜘蛛身上。

百度蜘蛛(Baiduspider)是百度搜尋引擎的自動程序,負責訪問互聯網上的網頁並建立索引庫,讓用戶能在百度搜到你的頁面。

一、抓取是怎麼發生的

搜尋引擎內部維護著一個網址索引庫。蜘蛛從伺服器出發,沿著索引庫中已有的網址逐頁爬行,把內容抓回來。

頁面抓回後,搜尋引擎會先做分析,把內容與鏈接分離。抽出的鏈接並不會立刻派蜘蛛去抓,而是連同錨文本一起交給網址索引庫做分析、對比和計算,計算完成後才入庫,入庫之後才有蜘蛛上門。

這意味著兩件事:出現了一條指向你站的外鏈,不一定馬上就有蜘蛛過來,中間隔著一套計算流程;即便這條外鏈之後被刪,只要它已被記錄,未來仍有被抓取的可能。而蜘蛛下次爬到原頁面發現鏈接不見了,或頁面已 404,通常只是讓這條外鏈的權重下降,並不會把它從索引庫中抹掉。

二、關於 Baiduspider 的四個基本事實

它會自動調節壓力。蜘蛛會依據伺服器負載能力調整訪問密度,連續抓取一段時間後主動暫停,一般不會給站點造成過大壓力。

你可以拒絕它。通過根目錄的 robots.txt 可以完全禁止或部分禁止 Baiduspider 訪問。但要注意:一旦禁止,你的頁面在百度及其合作搜尋網路中都不會被檢索到。

可以只建索引不留快照。通過網頁 meta 設置,能讓百度僅對該頁建立索引,而不在結果中展示快照。

要警惕冒充。如果帶寬異常佔滿,有可能是有人在偽裝 Baiduspider 惡意抓取。發現可疑 agent 造成帶寬堵塞,可以向百度官方投訴渠道反饋。

三、怎麼讓蜘蛛願意常來

1. 導航必須是文字

很多企業站喜歡用圖片導航,而且往往沒有任何標註。蜘蛛識別不了未加 alt 的圖片和 Flash,而導航恰好位於首屏最黃金的位置,寸土寸金卻白白浪費。更別說网速不佳時圖片加載緩慢,用戶體驗也一起塌方。所以頭部導航請務必用文字。

2. 代碼必須精簡

蜘蛛讀的是源代碼,和人眼看到的完全是兩回事。如果站內到處是 JS、iframe 這類它處理不了的代碼,就像一家餐館做的菜全不合你口味——去過兩次就不會再來。降低信噪比,按 W3C 規範用 CSS + Div 重構,是讓蜘蛛願意進門的前提。

3. 內鏈必須四通八達

看過蜘蛛網就明白,那種結構四通八達、每個節點都相互連接。站內鏈接也該做成這樣:既提升收錄量,又改善用戶的瀏覽路徑,還能讓權重更高效地在站內流動。

4. 更新必須持續

這是最難堅持的一條。很多人三天打魚兩天曬網,更新一段時間後頻率越來越低,最後徹底停更。蜘蛛第一次來沒更新,第二次來沒更新,第三次還是沒有——幾次之後,它就不再把抓取預算分配給你了。

認清蜘蛛的運作邏輯,優化才會事半功倍。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved