站長朋友應(yīng)該是知道robots文件的作用的,在這里小編就簡單為不知道的朋友解釋一下,大家建站之后為了就是收錄,那么肯定會有各種蜘蛛來爬取網(wǎng)站,然而蜘蛛的爬取也會爬取到一些敏感或者隱私的信息,很多站長朋友就希望蜘蛛不要爬取這些目錄,所以就有了robots,左右就是屏蔽蜘蛛爬取某些目錄。而用織夢DEDECMS建站的朋友們就會發(fā)現(xiàn),dedecms自帶的robots.txt文件設(shè)置非常的簡單,不能完全滿足網(wǎng)站的優(yōu)化的高要求,那要怎么樣把robots.txt文件的優(yōu)化做到最好呢?接下來小編提供一些方法,希望有幫助。(出于安全性考慮,無憂主機小編建議扎安裝朋友使用dedecms 的時候配合無憂主機php獨立ip空間)