文章內(nèi)容

Discuz論壇SEO優(yōu)化指南

發(fā)布時(shí)間: 2012/9/14 15:13:30

4，解決重復(fù)URL的問題和屏蔽垃圾頁(yè)面

Discuz! X1.5 還是不可避免的出現(xiàn)重復(fù)url的問題。 (希望有渠道的朋友能把這些問題反饋給Discuz相關(guān)人員)
這些重復(fù)的url即浪費(fèi)了爬蟲大量的時(shí)間，又使網(wǎng)站的原創(chuàng)性受到損害。所以一定要屏蔽很多重復(fù)頁(yè)面。
另外還要干掉一些垃圾頁(yè)面，所謂垃圾頁(yè)面就是一些沒什么SEO價(jià)值的頁(yè)面，也幫助爬蟲節(jié)約時(shí)間。

解決這個(gè)問題，最好是用robots.txt文件來解決。因?yàn)槔锩娴囊?guī)則是最強(qiáng)勢(shì)的，所有爬蟲第一次訪問一個(gè)域名，第一個(gè)動(dòng)作都是下載這個(gè)robots.txt文件并讀取里面的規(guī)則。其他一些nofollow和rel=canonical等標(biāo)簽適當(dāng)?shù)臅r(shí)候再用。

雖然Discuz默認(rèn)寫了一些robots規(guī)則，但是還是不夠理想。

根據(jù)從首頁(yè)的代碼中發(fā)現(xiàn)的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /forum.php$ （這條規(guī)則在第3節(jié)中去掉了）
Disallow: /search-search-adv-yes.html
Disallow: /space-username-*
Disallow: /forum.php?gid=
Disallow: /home.php?mod=space&username=
Disallow: /forum.php?showoldetails=
Disallow: /home-space-do-friend-view-online-type-member.html
Disallow: /space-uid-*

復(fù)制代碼

根據(jù)在板塊帖子列表頁(yè)面發(fā)現(xiàn)的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /search.php$
Disallow: /forum-forumdisplay-fid-*

復(fù)制代碼

根據(jù)在帖子詳細(xì)信息頁(yè)面看到的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /forum-viewthread-tid-*-extra-page%3D.html$
Disallow: /forum.php?mod=viewthread&tid=
Disallow: /forum-viewthread-tid-*-page-*-authorid-*.html
Disallow: /forum-viewthread-tid-*-extra-page%3D-ordertype-*.html
Disallow: /forum-viewthread-action-printable-tid-*.html
Disallow: /home-space-uid-*

復(fù)制代碼

至于為什么要寫這些規(guī)則，由于描述起來實(shí)在啰嗦，所以大家自行到源代碼里查看為什么。

robots的寫法是很靈活的。
可以看一下百度的robots寫法指南：
http://www.baidu.com/search/robots.html
以及google網(wǎng)站管理員中心的說明：
http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=156449

robots.txt寫到這里并不是結(jié)束，還有兩件事情要做。

1，因?yàn)閞obots.txt和nofollow是不同的意思，所以robots.txt并不能代替nofollow。以上這些需要屏蔽的地方還需要用nofollow標(biāo)注一下。不過因?yàn)橐牡脑创a太多，暫時(shí)先不動(dòng)。需要用nofollow，還有一個(gè)原因是某些搜索引擎并不遵守自己所定下的robots規(guī)則。

2，因?yàn)橹豢催^論壇中的三類主要頁(yè)面，還有很多頁(yè)面沒查看過，難免會(huì)有漏掉的地方，所以需要以后經(jīng)常到日志中查看爬蟲的軌跡，看看爬蟲還有哪些抓取問題。
本文出自：億恩科技【www.ibaoshan.net】

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]