之前認(rèn)為robots是肯定有作用的站長(zhǎng)注意了，今天無(wú)憂主機(jī)小編要提一件事情就是關(guān)于robots.txt協(xié)議的問(wèn)題。很多站長(zhǎng)都知道robots.txt是一種存放在網(wǎng)站空間根目錄下的文本文件，是一種協(xié)議，用來(lái)告訴搜索蜘蛛網(wǎng)站中哪些可被爬行抓取，哪些不可被爬行抓取。 但是今天無(wú)憂主機(jī)小編遇到一個(gè)客戶，他在robots.txt屏蔽了wordpress中的目錄文件呀，為什么蜘蛛每日仍然照常爬行呢？”而后，葉劍輝自然便查網(wǎng)站robots.txt文檔，以下便是對(duì)wordpress目錄屏蔽設(shè)置： Disallow: /wp-admin Disallow: /wp-content Disallow: /wp-includes 但是確無(wú)法屏蔽，是什么問(wèn)題造成的呢？ 經(jīng)過(guò)研究，無(wú)憂主機(jī)小編發(fā)現(xiàn)，只需要在這三段代碼后面都加上”/”就可以；原來(lái)在后邊加上與未加上/,對(duì)于蜘蛛而言是兩種概念，加上了是告訴蜘蛛，這是一個(gè)文件夾，而未加上即告訴蜘蛛這是一個(gè)文件，也因此導(dǎo)致明明在robots.txt上做好了設(shè)置，卻沒(méi)能有效的屏蔽。 還有一個(gè)問(wèn)題，那么就是這樣屏蔽之后，真的就是蜘蛛就完全被屏蔽了么？ 這里小編要提出的是：robots.txt協(xié)議并非是一個(gè)標(biāo)準(zhǔn)，一個(gè)規(guī)范，只是約定俗成而已罷了，就像法律里面道德的定義，并不是一定執(zhí)行的。通常搜索引擎會(huì)識(shí)別這個(gè)文件，但也有一些特殊情況。（如之前的360事件：強(qiáng)制爬行所有的頁(yè)面。） 在百度還有谷歌的算法里，某個(gè)頁(yè)面只要有其他網(wǎng)站鏈接到該頁(yè)面的話，同樣有可能會(huì)被索引和收錄。想要徹底屏蔽頁(yè)面文件被谷歌索引的話，則需要在頁(yè)面head中插入以下代碼： <meta name="googlebot" content="noindex"> 這個(gè)標(biāo)簽的作用是，當(dāng)谷歌蜘蛛爬行遇到這個(gè)代碼時(shí)候，就會(huì)將此頁(yè)從谷歌搜索結(jié)果中完全丟棄，無(wú)視是否還有其他頁(yè)鏈接到此頁(yè)。 那百度呢？對(duì)于百度而言，百度跟谷歌又不一樣，具體語(yǔ)句如下： <meta name="Baiduspider" content="noarchive"> 但是上面這個(gè)標(biāo)記只是禁止百度顯示該頁(yè)面快照，百度仍會(huì)為其建索引，并在搜索結(jié)果中顯示網(wǎng)頁(yè)摘要。 因此看來(lái)，網(wǎng)站只能禁止百度快照的顯示，卻無(wú)法做到禁止百度為網(wǎng)頁(yè)建索引。 無(wú)憂主機(jī)相關(guān)文章推薦閱讀： WORDPRESS博客怎么推廣 SEO教程之百度判斷文章的標(biāo)準(zhǔn) 無(wú)憂主機(jī)SEO教程之：如何寫出讓百度喜歡的文章 SEO教程之為什么關(guān)鍵字在不同的省份的排名不一樣

本文地址：http://www.gle-technology.com/seo/16616.html