關(guān)于robots.txt的應(yīng)用很多，概括的來講就兩個，一是拒絕收錄，二開放收錄。 用wp開博，無憂主機（www.gle-technology.com）認(rèn)為當(dāng)前世界上你找不到第二款比他牛逼的開源個人博客發(fā)布系統(tǒng)。無憂主機（www.gle-technology.com）下面就robots.txt文件針對wordpress簡單說說。 Robots.txt拒絕收錄 當(dāng)我們的wordpress博客站點正在建設(shè)調(diào)試中，這個時候，我們肯定不喜好搜索引擎蜘蛛過來“打擾”，收錄不該收錄的東西，爬去不該爬取的內(nèi)容。這個時候，我們最簡單方便的方法，就是寫一個robots.txt文件放到wordpress安裝目錄下，拒絕所有搜索引擎蜘蛛。寫法如下： User-agent: * Disallow: /   Wordpress最好的robots.txt寫法： 無憂主機（www.gle-technology.com）在售后中經(jīng)常于一些用戶討論robots.txt的寫法，同時也見過非常多robots.txt寫法，綜合起來，無憂主機小編認(rèn)為，下面的寫法是最適合wordpress站點的有關(guān)robots.txt寫法，大家可以參照。 User-agent: * Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /?s= Sitemap: http://你的域名/sitemap.xml     純Linux環(huán)境下高端免備案［香港獨立IP地址］?php空間，僅僅只需199元一年起。商務(wù)中國域名核心代理直銷50元注冊國際頂級域名

本文地址：http://www.gle-technology.com/wordpress/5421.html