
先要搞懂什麼是 robots 文件。比如,在安徽人才庫的首頁網址後面加上「/robots.txt」,就能打開該網站的 robots 文件,如圖所示。文件裡顯示的內容,是在告訴搜索引擎:哪些網頁希望被抓取,哪些不希望。因為網站裡總有一些無關緊要的頁面,比如「給我留言」「聯繫方式」,它們並不參與 SEO 排名,只是給用戶看的,這時就可以用 robots 文件把它們屏蔽,即告訴搜索引擎別抓。

蜘蛛抓取網頁的精力是有限的。它每次來,不會把網站所有文章、所有頁面一次性抓完,尤其當內容越來越多時,每次只能抓一部分。那麼,怎麼讓它在有限的時間和精力下,每次多抓一些我們希望的內容、提高效率呢?
這時就該用上 robots 文件。小型網站沒有這文件無所謂,但對中大型網站而言,robots 文件就格外重要——這些網站數據庫龐大,蜘蛛來時,要像對待好朋友一樣,把最重要的東西給它看,因為這個「朋友」精力有限,每次看不完所有內容,所以需要 robots 文件屏蔽掉一些無關緊要的東西。此外,基於種種原因,某些文件不想被抓取(比如隱私保護內容),也可以用 robots 文件把搜索引擎擋在外面。
當然,有人會問:如果 robots 文件沒用好或寫錯了,會影響整個網站的收錄,那為什麼還要有它?這句話裡的「寫錯了」,指的是把不該屏蔽的網址屏蔽了,導致蜘蛛抓不到這些頁面,搜索引擎自然也就不收錄,更別提排名。所以 robots 文件的格式一定要正確。下面一起來看它的用法:
1、「user-agent:* disallow:/」表示「禁止所有搜索引擎訪問網站的任何部分」,這相當於該網站在搜索引擎裡沒有記錄,也就談不上排名。
2、「user-agent:* disallow:」表示「允許所有 robots 訪問」,即允許蜘蛛任意抓取並收錄該網站。這裡要注意,前兩條語法只差一個「/」。
3、「user-agent:badbot disallow:/」表示「禁止某個搜索引擎訪問」。
4、「user-agent:baiduspider disallow: user-agent:* disallow:/」表示「允許某個搜索引擎訪問」。這裡的「baiduspider」是百度蜘蛛的名稱,這條語法即允許百度抓取,而不允許其他搜索引擎抓取。
說了這麼多,舉個例子:某網站以前做人才招聘,現在轉做汽車行業,內容要全部更換,刪掉職場資訊文章後,就會出現大量 404 頁面和死鏈接。這些鏈接以前已被百度收錄,換網站後蜘蛛再來,發現頁面都不在了,就會留下很不好的印象。此時就可以用 robots 文件把死鏈接全部屏蔽,不讓百度訪問這些已不存在的頁面。
最後看看使用 robots 文件要注意什麼。首先,在不確定格式怎麼寫之前,可以先新建一個文本文檔,注意文件名必須是 robots.txt,後綴是 txt 且小寫,不能隨便改,否則搜索引擎識別不了。然後打開文件,可以直接複製粘貼別人的格式。
Robots 文件格式是一條命令一行,下一條命令必須換行。還有,「disallow:」後面必須有一個空格,這是規範寫法。
文章由萬馬奔騰原創 https://www.400815.com,轉載請註明。