DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
新手建站必讀:robots.txt 文件到底怎麼寫
編輯:SEO優化集錦     

robots.txt 是搜尋引擎蜘蛛拜訪你站點時第一個查看的文件,作用很直接:告訴蜘蛛哪些內容可以看、哪些不可以看。目前主流搜尋引擎基本都遵守這個約定。筆者自己的站點是在 20 號晚上 11 點左右解禁 robots.txt、允許蜘蛛訪問,21 號早上查百度已經收錄,第二天谷歌也收了,效果立竿見影。

言歸正傳。robots.txt 是一個純文本文件,必須命名為「robots.txt」並上傳到站點根目錄,放到子目錄是無效的——因為蜘蛛只會在域名根目錄查找它。基礎語法在百度搜索幫助中心和谷歌中文管理員博客都能查到,這裡主要從 SEO 角度談談它在優化過程中的作用。

一、有利於優化的幾個用法

1、上線初期先封住站點。域名解析完成、站點能訪問了,但這時佈局還沒做完、meta 標簽一團亂。若此刻被蜘蛛抓取收錄,後續大改會非常不利於優化。這時可以用 robots.txt 禁止所有蜘蛛訪問全站:

User-agent: *
Disallow: /

2、按需定制抓取範圍。這有兩層意思。第一是定制搜尋引擎,比如只允許某一家抓取:

User-agent: baiduspider
Disallow: /

常見蜘蛛名稱對照:Baiduspider(百度)、Scooter(Altavista)、ia_archiver(Alexa)、Googlebot(Google)、FAST-WebCrawler(AllTheWeb)、Slurp(Inktomi)、MSNBOT(MSN Search)。

第二是定制站點內容,指定某些目錄允許抓、某些禁止抓。例如允許 abc 目錄、禁止 def 目錄:

User-agent: *
Allow: /abc/
Disallow: /def/

3、引導蜘蛛抓取。最典型的兩種做法:一是引導蜘蛛抓取網站地圖,語法為 User-agent: * 加 sitemap:sitemap-url;二是防止抓取重複內容。

4、注意 404 頁面問題。如果你的服務器自定義了 404 錯誤頁面,但根目錄沒有配置 robots.txt,蜘蛛可能把 404 頁面當成 robots.txt 來讀,從而影響收錄。

二、常見程序的 robots.txt 寫法

以下提供通用版本,具體情況還需自行斟酌。

DedeCMS:

User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member

WordPress:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.***.com/sitemap.xml

phpcms:

User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video

Discuz 論壇:

User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php

話題雖然舊,但需要學的東西還很多。有人擔心設置 robots.txt 會招致「有心人」攻擊,但作為草根,這點顧慮並不大——真要碰上你也沒轍,畢竟除了建站程序本身,還有服務器安全等一堆環節。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved