站長(zhǎng)朋友應(yīng)該是知道robots文件的作用的，在這里小編就簡(jiǎn)單為不知道的朋友解釋一下，大家建站之后為了就是收錄，那么肯定會(huì)有各種蜘蛛來爬取網(wǎng)站，然而蜘蛛的爬取也會(huì)爬取到一些敏感或者隱私的信息，很多站長(zhǎng)朋友就希望蜘蛛不要爬取這些目錄，所以就有了robots，左右就是屏蔽蜘蛛爬取某些目錄。而用織夢(mèng)DEDECMS建站的朋友們就會(huì)發(fā)現(xiàn)，dedecms自帶的robots.txt文件設(shè)置非常的簡(jiǎn)單，不能完全滿足網(wǎng)站的優(yōu)化的高要求，那要怎么樣把robots.txt文件的優(yōu)化做到最好呢？接下來小編提供一些方法，希望有幫助。（出于安全性考慮，無憂主機(jī)小編建議扎安裝朋友使用dedecms 的時(shí)候配合無憂主機(jī)php獨(dú)立ip空間） 首先先介紹一下基本設(shè)置： User-agent: * Disallow: /dede 管理后臺(tái)目錄，需要改名 Disallow: /include 程序的核心文件 Disallow: /member 會(huì)員管理目錄，有些文件可以開放 Disallow: /plus 插件及輔助功能目錄 ，有些文件可以開放，如search.php Disallow: /templets 默認(rèn)模板存放目錄 Disallow: /data 系統(tǒng)緩存或其它可寫入數(shù)據(jù)存放目錄 Disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話，禁止 Disallow: /images 系統(tǒng)默認(rèn)模板圖片存放目錄 Disallow: /index.php 網(wǎng)站默認(rèn)首頁(yè)，靜態(tài)化的話，最好禁止 Disallow: /404.html Allow: /plus/search.php 開放禁止目錄里的具體文件 接下來一一介紹后臺(tái)管理目錄和欄目頁(yè)的設(shè)置： 1、dede后臺(tái)目錄，為了網(wǎng)站安全考慮，必須要改名。然而改名之后在robots.txt文件里怎么設(shè)置呢？直接禁止抓取，還是泄露了后臺(tái)目錄，等于沒有改名。那么該如何解決這個(gè)問題呢?可以通過下面的設(shè)置解決這個(gè)問題，如后臺(tái)目錄為dedecms： Disallow: /d*ms 這樣我們就能即禁止了搜索引擎的爬取，又不會(huì)泄露后臺(tái)目錄名稱。 2、大家會(huì)注意到，如果網(wǎng)站不做偽靜態(tài)設(shè)置話，欄目分頁(yè)后會(huì)有兩個(gè)鏈接指向欄目首頁(yè)，如*/web/和*/web /list_1_1.html，為了網(wǎng)站的優(yōu)化，可以先做一下偽靜態(tài)的設(shè)置（無憂主機(jī)的會(huì)員中心有偽靜態(tài)設(shè)置的工單）把首頁(yè)和第一頁(yè)的鏈接改為*/web/的形式，然后在robots.txt文件里做以下設(shè)置: Disallow: /*1.html$ 以上就是DEDECMS robots.txt文件的設(shè)置，大家可以根據(jù)自己網(wǎng)站的情況具體去設(shè)置。 希望可以幫助到各位站長(zhǎng)朋友們！ 無憂主機(jī)相關(guān)文章推薦閱讀： DEDECMS后臺(tái)模塊管理空白的解決方法 織夢(mèng)程序中PLUS文件作用介紹及安全設(shè)置 DEDECMS安裝WAP之后登錄后臺(tái)報(bào)錯(cuò)的解決方法 利用HTTP協(xié)議修改DEDECMS首頁(yè)代碼來實(shí)現(xiàn)網(wǎng)站重定向

本文地址：http://www.gle-technology.com/dedecms/17829.html