DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> 關於SEO
robots 文件到底支不支持中文目錄?工程師親自解答
編輯:關於SEO     

先說說什麼是 robots 文件。它是站點與搜索引擎蜘蛛(spider)溝通的重要橋樑,站點可以通過它聲明哪些內容不希望被收錄,或指定只允許收錄特定部分。需要提醒的是,只有當你的網站確實存在不希望被搜索引擎抓取的內容時,才有必要使用 robots.txt。

此前有同學向百度站長學院提出過這樣一個問題:某站點的目錄結構採用中文命名,形如 www.tianyaseo.com/教程/123.html,那麼在制作 robots 文件和 sitemap 文件時,能否直接使用中文?百度能否正常識別?實測中發現,sitemap 裡的中文路徑似乎可以生效,但 robots 的封禁卻毫無反應,因此想確認 robots 文件究竟支不支持中文。

工程師答覆:截至 2016 年 10 月,Baiduspider 在 robots 中尚不支持中文寫法。

同學追問:那如果改用 UrlEncode 編碼呢?例如 https://www.a.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97 這種形式。

(小知識:UrlEncode 是一種編碼函數,可將字符串按 URL 規則進行轉義處理。)

工程師答覆:robots 文件支持這種編碼寫法。但能否真正生效,還取決於當時 Baiduspider 抓取到的是哪一種形式的鏈接——若抓取到的是 UrlEncode 編碼形式,就能生效;若不巧是中文形式,那就無法匹配了。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved