我叫蜘蛛。我的工作是自動抓取網頁內容。一開始我的名字叫機器人 robots,後來人們把互聯網比喻成一張蜘蛛網,從那時起,我們這些在網上爬來爬去的機器人,就正式改名為蜘蛛。
我們種類很多,在中國被最多人所知曉並青睞的,是蜘蛛界的 baiduspider,中文名叫百度蜘蛛。
我們生活在互聯網裡,和人類一樣靠路徑抵達目的地,只不過我們的路徑是網頁的鏈接地址。
我們喜歡到處串門,進了別人家喜歡四處看看,但參觀順序其實很有規律,一般採用兩種策略:廣度優先和深度優先。
廣度優先是我們到一個站後,先把所有房間大致掃一眼,然後挑一個房間進去,繼續觀察這個房間能連通的其他房間。這是最常用的套路,因為多個同胞可以同時作業,參觀速度更快。
深度優先偶爾才用:進門後一個房間一個房間看下去,看完這一邊,回到門口,再去看另一邊。好處是我們行動起來更省腦子,不必做太複雜的判斷。
可能很多人類朋友還沒理解我們的行為方式,不要緊,下面我舉例說明我們喜歡的房子結構是什麼樣的。
首先,房子要是樹狀結構。好處在哪?這樣的結構邏輯清晰:進門後房子分為若干房間,房間 A 又分為 A1、A2,A1 下面可能還有更多房間。層級分明,房間之間的隸屬關係一目了然,我們最喜歡這種。
但它也有短板:不是每隻蜘蛛都勤勞。有些同胞看過幾個房間就不想再往深處走了——太深,進去要花大量時間和精力,於是就在這裡止步,後面的內容根本沒看到,也就無法向其他朋友宣傳這個房子有多好。
所以好客的人類,為了方便我們參觀,會把樹狀結構做得更扁平——顧名思義,讓所有房間盡可能靠近房子門口。
聰明的人類應該已經猜到了:房子就是你們建設的網站,房間就是網站裡的頁面。
我們很樂意到處串門,特別喜歡好客的人。但也得說句題外話:有些人類朋友為了讓我們更頻繁地光顧,用了一些不正當的手段(也就是所謂的垃圾鏈接),或者一些不受我們蜘蛛界歡迎的方法。這種做法不可取。
也許我不說,並不代表我不知道。哪天你的行為觸到我們的心理底線,我們就再也不去你家作客了。
我們更希望的是:人類朋友按正常手段經常打掃房子衛生(精簡 HTML 代碼),做一個結構良好、符合樹狀並且足夠扁平的房子,往裡面添加更多內容。讓我們每次來,都有一種煥然一新的感覺——這樣我們會主動向四處宣傳你的房子有多好,相信也會有更多人認同。
還有些朋友喜歡跑到別人家裡說自己房子多好(也就是做外部鏈接)。宣傳自己並沒有錯,只是我們更希望聽到的是別人說你好,而不是王二賣瓜自賣自誇。
作為一隻勤勞的蜘蛛,關於我們的喜好和習性就說明到這裡。祝願所有站長的優化之路順風。