昨天查收錄數據,發現最近一週有三篇文章被重複收錄。同一篇文章在站內出現多個版本,對讀者和搜尋引擎都不是好事——一篇佔了三個位置,另外兩篇就成了冗餘。

點進那些多出來的連結,除了原網頁,還出現了:
https://www.stcash.com/5273/comment-page-1 https://www.stcash.com/5273?replytocom=1989
一個多出了三級目錄,一個長得像動態網址。我的文章裡並沒有這兩個連結,於是去查了網頁原始碼,找到端倪。

?replytocom=1989 來自文章的迴應連結。四則評論剛好對應四個 replytocom 參數,蜘蛛的判斷有點聰明又不夠聰明——四個網址裡只收了一個,卻沒意識到評論連結與原文連結指向的是同一份內容。
comment-page-1 同樣來自評論連結,代表評論頁面的第一頁。如果評論多到一頁顯示不完,就會出現 comment-page-2、comment-page-3……這是評論分頁功能,本意是避免頁面被拉得太長、拖慢載入速度。蜘蛛目前仍然分不清它和原文的關係。
做法一:在WordPress後台關閉評論分頁。

做法二:修改 robots.txt,加上一行:
Disallow: /comment-page-
robots.txt 位於網站根目錄,用「網址/robots.txt」即可查看目前設定。如果根目錄下沒有這個檔案,WordPress 是在 wp-includes/function.php 裡動態產生的,相關片段大致如下:
$output = "User-agent: *\n";
$public = get_option( 'blog_public' );
if ( '0' == $public ) {
$output .= "Disallow: /\n";
} else {
$site_url = parse_url( site_url() );
...
}
針對 ?replytocom= 這一類參數網址,同樣可以在 robots.txt 中加上對應的 Disallow 規則,或直接關閉評論迴應連結。改完之後回到站長平台看抓取與收錄情形,重複收錄的問題通常一兩週內就會收斂。