新聞中心
答客戶問：網(wǎng)站為什么已經(jīng)拒絕蜘蛛收錄，而搜索引擎還能抓取網(wǎng)站內(nèi)容
作者 / 無憂主機 時間 2012-09-26 04:06:11
“網(wǎng)站為什么已經(jīng)拒絕蜘蛛收錄，而搜索引擎還能抓取網(wǎng)站內(nèi)容”這是為什么類？這是今天一位尊敬的無憂主機用戶的提問，對于這個問題，確實比較難回答，無憂主機（www.gle-technology.com）售后工程師們相互討論下下，根據(jù)我們自己的維護(hù)經(jīng)驗淺淺的說下搜索引擎收錄的問題。 要先說明白這個問題，首先我們先了解下搜索引擎爬蟲（蜘蛛）的工作原理： 搜索引擎是使用spider（蜘蛛）程序抓起用戶網(wǎng)頁的內(nèi)容，在搜索引擎蜘蛛訪問網(wǎng)站時會先查看網(wǎng)站是否有robots.txt文件，如果有蜘蛛程序會先去訪問robots.txt文件讀取文件的內(nèi)容，這個文件中說明網(wǎng)站那些內(nèi)容是希望被抓取的或拒絕抓取的。蜘蛛程序查看robots.txt協(xié)議后會知道它應(yīng)該做那些工作，是執(zhí)行拒絕還是抓取動作。 現(xiàn)在我們回到文章標(biāo)題的話題來，小編發(fā)現(xiàn)搜索引擎有時也會在搜索結(jié)果中顯示已經(jīng)拒絕收錄的php虛擬主機頁面或者顯示網(wǎng)頁快照，這是什么呢？原因有很多我就舉幾個最常見的原因： 1、用戶設(shè)置 robots.txt文件時可能出錯或者并不是放在網(wǎng)站的根目錄下，這樣搜索引擎就不會收到您拒絕收錄的正確信息； 2、搜索引擎收錄的網(wǎng)頁并不是通過直接訪問網(wǎng)站所得，可能是通過外鏈對網(wǎng)站拒絕頁面進(jìn)行收錄； 3、可能在robots.txt文件建立之前，網(wǎng)站已經(jīng)被搜索引擎收錄了，搜索引擎沒有及時更新導(dǎo)致spider程序不準(zhǔn)守robots協(xié)議，這個原因只有等搜索引擎下次更新收錄才有辦法解決 在上述情況發(fā)生時我們要防止所有搜索引擎顯示您網(wǎng)站的快照，可以將這段代碼加入到網(wǎng)頁的頭部代碼<head></head>部分： <meta name="robots" content="noarchive"> 如果用戶想要搜索引擎顯示快照，但有不希望搜索引擎收錄網(wǎng)頁，可以使用以下代碼進(jìn)行標(biāo)記： <meta name="Baiduspider(搜索引擎蜘蛛名)" content="noarchive"> 純Linux環(huán)境下高端免備案【香港獨立IP地址】 php空間，僅僅只需199元一年起。商務(wù)中國域名核心代理直銷50元注冊國際頂級域名
本文地址：http://www.gle-technology.com/seo/8767.html
