網(wǎng)站推廣，我們都要寫一個robots.txt文件，這個是啥文件類？這是搜索引擎訪問網(wǎng)站第一個要查看的文件，蜘蛛會根據(jù)robots.txt內(nèi)容那些是可以訪問的，簡單說，就是你希望蜘蛛去訪問你網(wǎng)站那些內(nèi)容，那些不被訪問，如你的網(wǎng)站如果建設(shè)過程中，不希望搜索引擎開始收錄，等網(wǎng)站正式運營后，才運行蜘蛛爬行，那么我們就可以在網(wǎng)站根目錄下新建一個robots.txt文件，告訴搜索引擎暫時別來，我現(xiàn)在不需要您。記得，robots.txt一定要小寫哦，不能大寫。文本將在drupal站點的中如何添加一個自定義robots.txt文件來引導(dǎo)蜘蛛爬行網(wǎng)站內(nèi)容。下面我們來就看一下面的詳細說明。下面我們就一起來學(xué)習(xí)下吧。 如何創(chuàng)建一個robots.txt文件 簡單的回答：在您php虛擬主機上相應(yīng)站點的根目錄。 詳細的回答：比方說，蜘蛛要爬“http://www.gle-technology.com/shop/index.html”,它是會把“/shop/index.html” 移除掉，并把“/robots.txt”置換上去，也就是最終訪問“http://ww.51php.com/robots.txt”。 所以呢作為網(wǎng)站所有者的我們需要將robots.txt放在服務(wù)器正確的地方。通常情況下是您放主索引頁面的地方，當(dāng)然這一切都要取決于您WEB服務(wù)器配置。 NOTE：記得要用小寫字母“robots.txt”，而不要用“Robots.TXT”去命名您的robots.txt文件。 在robots.txt文件中應(yīng)該放些什么指令 Robots.txt是一個文本文件，通常情況下包含下列記錄。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ 在上面的指令中，有三個目錄是禁止蜘蛛訪問的。 NOTE：一個目錄占一行。不要使用在一單行使用“Disallow:/cgi-bin/ /tmp/”這樣的格式,并且不要插入空白行！ 也要注意的是，通配符和正則表達式在User-agent或者是Disallow里都是不被支持的。*符號對User-agent字段的的意義就是任何蜘蛛的意思。尤其的是不能用“User-agent:*bot*”，和“Disallow: *.gif”。 當(dāng)然這一切都要以您的服務(wù)器的配置環(huán)境來決定，下面就跟隨無憂主機(www.gle-technology.com)一起來看一些例子。 User-agent: * Disallow: / 這兩句是拒絕所有的蜘蛛訪問我們的站點。當(dāng)然把“Disallow:/”的這一“/”去掉話就是允許訪問服務(wù)器上的所有文件。把“/”去掉的話也就等于不創(chuàng)建robots.txt文件了。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/ 這里是禁止訪問php虛擬主機上的部分文件夾。 User-agent: BadBot Disallow: / 禁止單一蜘蛛。 User-agent: baidu Disallow: User-agent: * Disallow: / 只允許baidu蜘蛛。 User-agent: * Disallow: /~joe/stuff/ 只能訪問這一個文件夾。 OK，看完上面這么多例子，是不是對robots.txt文件了解更多了呢？！當(dāng)然，不要試圖用robots.txt來隱藏您的文件信息，因為這個文件是在公共文件區(qū)！別人要用惡意的蜘蛛來掃描您站點的安全漏洞，這個robots.txt是可以被被忽視的。 原文地址：http://www.robotstxt.org/robotstxt.html   純Linux環(huán)境下高端免備案【香港獨立IP地址】 php空間，僅僅只需199元一年起。商務(wù)中國域名核心代理直銷50元注冊國際頂級域名

本文地址：http://www.gle-technology.com/drupal/8025.html