用織夢(mèng)dedecms建站的站長(zhǎng)會(huì)發(fā)現(xiàn),dedecms自帶的robots.txt文件設(shè)置很簡(jiǎn)單(開發(fā)者基于每個(gè)網(wǎng)站的目錄結(jié)構(gòu)和優(yōu)化目的不同的 考慮),并不能完全滿足網(wǎng)站的優(yōu)化要求,那怎樣才能結(jié)合自己網(wǎng)站的情況,做好robots.txt優(yōu)化呢?以下介紹一點(diǎn)自己的想法,僅供參考。
適用于未偽靜態(tài)的dedecms網(wǎng)站。
user-agent: *
disallow: /dede 管理后臺(tái)目錄,需要改名,具體設(shè)置后面具體講
disallow: /include 程序核心文件目錄
disallow: /member 會(huì)員管理目錄,有些文件可以開放
disallow: /plus 插件及輔助功能目錄 ,有些文件可以開放,如search.php
disallow: /templets 默認(rèn)模板存放目錄
disallow: /data 系統(tǒng)緩存或其它可寫入數(shù)據(jù)存放目錄
disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話,禁止
disallow: /images 系統(tǒng)默認(rèn)模板圖片存放目錄
disallow: /index.php 網(wǎng)站默認(rèn)首頁(yè),靜態(tài)化的話,最好禁止
disallow: /404.html
allow: /plus/search.php 開放禁止目錄里的具體文件
...
基本設(shè)置就是這樣,下面著重講下后臺(tái)管理目錄和欄目頁(yè)的設(shè)置:
1.dede目錄,為了網(wǎng)站安全考慮需要改名。然而改名之后,大家不免疑惑:改了名,在robots.txt文件里怎么設(shè)置呢?直接禁止抓取,還是 泄露了后臺(tái)目錄,等于改名無(wú)效。那么該如何解決這個(gè)問題呢?我們可以通過下面的設(shè)置解決這個(gè)問題,如后臺(tái)目錄為dedecms:
disallow: /d*ms
這樣我們就能即禁止了搜索引擎的抓取,又不會(huì)泄露了后臺(tái)目錄名稱。
2.欄目頁(yè)。有些人會(huì)注意到,如果網(wǎng)站不做偽靜態(tài)優(yōu)化的話,欄目分頁(yè)后會(huì)有兩個(gè)鏈接指向欄目首頁(yè),如*/web/和*/web /list_1_1.html,為了網(wǎng)站優(yōu)化,建議先將欄目分頁(yè)優(yōu)化以下(具體做法大家可以在網(wǎng)上找),把首頁(yè)和第一頁(yè)的鏈接改為*/web/的形式,然 后在robots.txt文件里做以下設(shè)置:
disallow: /*1.html$
以上就是dedecms robots.txt文件的設(shè)置,大家可以根據(jù)自己網(wǎng)站的情況具體設(shè)置。
注意事項(xiàng):
1.按官方說明設(shè)置好目錄權(quán)限;
2.后臺(tái)目錄改后的名稱開頭字母和結(jié)尾字母不要和其他目錄一樣;
3.用百度站長(zhǎng)工具測(cè)試一下robots.txt文件設(shè)置是否有效。