首先大家對(duì)robots.txt文件的作用都知道吧，蜘蛛首先要爬取你網(wǎng)站中的robots.txt文件，如果無(wú)法訪問(wèn)的robots.txt文件，那么你的網(wǎng)站就無(wú)法控制所有的蜘蛛抓取，像一些小有名氣的爬蟲(chóng)，我們是可以避免讓其爬行的，禁止的話，就需要在這個(gè)文件操作。那么我不想完好控制谷歌爬蟲(chóng)來(lái)爬取，而谷歌爬蟲(chóng)無(wú)法訪問(wèn)robots.txt文件，并且提示如下英文信息。 現(xiàn)象描述：google提示：Unreachable: robots.txt Using a web browser, attempt to access http://www.fc2hermes.com/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot. 查看錯(cuò)誤記錄：登陸你的谷歌站長(zhǎng)工具，并選中你想查詢網(wǎng)站的域名，左邊的信息中心>>抓取>>Google抓取方式，內(nèi)容如下圖所示： 問(wèn)題分析：這個(gè)是網(wǎng)站設(shè)置目標(biāo)地理區(qū)域不同，導(dǎo)致google蜘蛛的IP地址無(wú)法訪問(wèn)到你的網(wǎng)站文件。 解決方法： 登陸你的谷歌站長(zhǎng)工具，選中點(diǎn)你要設(shè)置的域名。 然后在右上角“幫助”邊上的齒輪點(diǎn)一下，會(huì)出現(xiàn)“網(wǎng)站設(shè)置”，進(jìn)去后，就可以看到“目標(biāo)地理位置”，改成“香港”。如下圖所示： 注：目標(biāo)地理區(qū)域默認(rèn)是美國(guó)，用戶使用的是無(wú)憂主機(jī)香港空間，所以這個(gè)需要設(shè)置成“香港”即可,也可以選擇大陸，這個(gè)主要看你的選擇，因?yàn)楣雀柙诓煌牡貐^(qū)有不同蜘蛛來(lái)爬去內(nèi)容。更重要的是，谷歌在大陸的事件，做站長(zhǎng)的都懂的，大陸就不太建議選擇。大家可以嘗試變更網(wǎng)站的區(qū)域，引導(dǎo)谷歌的蜘蛛來(lái)爬取網(wǎng)站。

本文地址：http://www.gle-technology.com/others/13086.html