搜尋引擎大致可以拆成四個部分:抓取、過濾、索引、查詢。多數人對前三段有概念,唯獨「過濾」這一步最難理解。但如果你把過濾的邏輯想通了,對整個搜尋引擎的理解就完整了,後面怎麼優化網站自然有答案。
過濾這個概念在現實生活裡很好懂,就是把不想要的東西濾掉。在搜尋引擎裡也是同一回事:把沒有價值、或者平台不喜歡的內容濾掉,因為搜尋結果存在的意義是幫使用者解決問題、找到他要的東西。具體來說,過濾大概處理以下幾類情況。
相同網址會被去重,避免佔用資料庫空間。這裡有個細節值得注意:網站的信任度越高,被刪掉的機率越低。
一個網頁能給出去的投票分數是有限的。用100分來算,若A頁面裡有兩個對外連結,每條大約只能分到50分。由此可知,同一頁面上盡量只放一個連結,才能讓它拿到相對高的分數——這一點做外鏈的人要特別留意。
站內外都是如此:除了主關鍵詞的錨文本,也要搭配長尾詞的錨文本。同一個網頁若出現多個指向相同URL、卻使用完全相同錨文本的情況,抓取後進入網址庫時就會被過濾篩選。
在被K的站上發連結,可能反而拖累自己的站。原因很簡單:這個站已經不被認同、不再收錄,傳遞不了分數給你。所以發外鏈之前,先用站長工具查一下對方是否被K、快照是否正常、還在不在收錄中。
抓取時會先判斷你的頁面應答標頭是否發生變化,有變化才會繼續往下讀取,沒有就不再深入,以此節省抓取時間。所以站內更新最好固定時間、固定頻率、固定數量,讓蜘蛛容易建立預期。
robots是一個協議,不是命令。它是搜尋蜘蛛拜訪網站時會先看的第一個檔案,用來告知哪些內容允許被查看。蜘蛛進入站點時會先檢查根目錄有沒有robots.txt:存在就照裡面的規則決定抓取範圍;不存在則所有未被密碼保護的頁面都可能被抓。
修改robots後一般約72小時生效,權重高的站會更快,也可以透過站長平台的robots工具生成來加速。另外提醒一個常被忽略的細節:Windows與Linux環境下的robots設定是有大小寫差異的。
寫文章的時候盡量寫原創。全世界都喜歡有自己見解的東西,搜尋引擎也是一樣,你寫出獨一無二的內容,它會更願意親近你的站。
動態重寫後的URL如果又長又複雜,讓程式難以判斷,通常就直接放棄寫入。這道理跟現實一樣:你去跟投資人提案,方案寫得又厚又繞、對方看不懂也不願看,他會投你嗎?網站也是同樣邏輯——程式碼簡單明了、路徑短,才有利於讀取。
以上是我個人的理解與歸納,寫出來是為了跟做SEO和程式的朋友交流。把過濾這一步想清楚,很多優化上的爭論其實會自動消失。