先聲明兩件事:以下內容是 7 月 19 日在北京站現場邊聽邊記的手寫筆記整理而來;除了缺少現場的 case 展示,其餘內容與官方簡報差異不大。轉載請保留原作者:吳秀龍。
1、邏輯清晰的鏈接層次結構
A、以首頁為根節點的樹狀連通圖;
B、避免過度扁平化;
C、避免孤島鏈接。
推薦路徑:首頁 → 頻道 → 索引 → 內容頁。
注意,以下情況不利於 Spider 抓取:
1、只能透過 query(搜尋)才能抵達的內頁;
2、需要先做相應設置才能訪問的內頁。
2、PC/移動適配
1)建立適配關係:PC 與移動端 URL 之間要有規則級的對應關係,並彼此關聯;
2)不建議:單一域名下混用多種配置方式;把移動站做成 PC 站的下級目錄,例如 3w.a.com/m/。
3、數據主動提交
新產出的鏈接,以及資源發生變化的鏈接,都應及時提交,以免累積死鏈。
4、避免目錄被黑或被販售
1、不建議用 JS 載入頁面內容
1)內容放在 JS 裡會影響索引;
2)會影響鏈接與錨文本的傳遞。
兩種常見的問題實現:索引頁要靠 JS 渲染、點擊事件才產生鏈接;頁面只顯示一部分,需點擊才載入全文或下拉。
2、移動友好性標準
3、索引頁友好性
1)排版布局:按發布時間順序排列,忌諱時間錯亂(置頂內容可以模組化處理);不要漏鏈,避免孤島。
2)內容質量:只收錄同主題的內容頁;與內容保持同步更新;避免交叉泛濫的索引頁。
4、索引頁翻頁友好性(PC 端)
1)用 1、2、3 的順序排序;可能的話盡量列出全部翻頁,至少要保留最近一段時間的所有內容。
2)不友好的做法:只有上一頁/下一頁;URL 用頁碼起始數量控制;翻頁後的鏈接與頁碼失去關聯。
5、索引頁翻頁友好性(移動端)
A、沿用 PC 端的翻頁建議;
B、用下拉動作觸發載入,下拉次數上限三次;
C、針對百度 UA 特殊處理,回傳更完整的翻頁內容。
不友好的做法:無限下拉、點擊載入更多。
1、避免預期之外的封禁
1)UA/IP 封禁的三種常見來源:建站模板中夾帶的封禁資訊被一併遷移;伺服器自動封禁策略誤傷;主機商層面封鎖 IP。
2)建議:逐項排查伺服器設定,確認 robots、UA、IP 規則是否符合預期。
3)死鏈接要給明確回饋:對百度蜘蛛的抓取回傳 404 等狀態碼。
高級工程師 劉立
1、主動提交(即時提交)的原理
傳統路徑:網站發布新頁面 → 等待百度爬蟲逐層遍歷發現 → 爬蟲抓取網頁。
即時路徑:網站發布新頁面 → 爬蟲直接發現並抓取網頁。少了中間那段「等」。
2、大量提交垃圾頁面與重複頁面的站點,會被限制提交甚至關閉提交權限。
(原文作者:吳秀龍/百度站長社區)