新聞中心
答客戶問：網(wǎng)站為什么已經(jīng)拒絕蜘蛛收錄，而搜索引擎還能抓取網(wǎng)站內(nèi)容
作者 / 無憂主機(jī) 時(shí)間 2012-09-26 04:06:11
“網(wǎng)站為什么已經(jīng)拒絕蜘蛛收錄，而搜索引擎還能抓取網(wǎng)站內(nèi)容”這是為什么類？這是今天一位尊敬的無憂主機(jī)用戶的提問，對(duì)于這個(gè)問題，確實(shí)比較難回答，無憂主機(jī)（www.gle-technology.com）售后工程師們相互討論下下，根據(jù)我們自己的維護(hù)經(jīng)驗(yàn)淺淺的說下搜索引擎收錄的問題。 要先說明白這個(gè)問題，首先我們先了解下搜索引擎爬蟲（蜘蛛）的工作原理： 搜索引擎是使用spider（蜘蛛）程序抓起用戶網(wǎng)頁的內(nèi)容，在搜索引擎蜘蛛訪問網(wǎng)站時(shí)會(huì)先查看網(wǎng)站是否有robots.txt文件，如果有蜘蛛程序會(huì)先去訪問robots.txt文件讀取文件的內(nèi)容，這個(gè)文件中說明網(wǎng)站那些內(nèi)容是希望被抓取的或拒絕抓取的。蜘蛛程序查看robots.txt協(xié)議后會(huì)知道它應(yīng)該做那些工作，是執(zhí)行拒絕還是抓取動(dòng)作。 現(xiàn)在我們回到文章標(biāo)題的話題來，小編發(fā)現(xiàn)搜索引擎有時(shí)也會(huì)在搜索結(jié)果中顯示已經(jīng)拒絕收錄的php虛擬主機(jī)頁面或者顯示網(wǎng)頁快照，這是什么呢？原因有很多我就舉幾個(gè)最常見的原因： 1、用戶設(shè)置 robots.txt文件時(shí)可能出錯(cuò)或者并不是放在網(wǎng)站的根目錄下，這樣搜索引擎就不會(huì)收到您拒絕收錄的正確信息； 2、搜索引擎收錄的網(wǎng)頁并不是通過直接訪問網(wǎng)站所得，可能是通過外鏈對(duì)網(wǎng)站拒絕頁面進(jìn)行收錄； 3、可能在robots.txt文件建立之前，網(wǎng)站已經(jīng)被搜索引擎收錄了，搜索引擎沒有及時(shí)更新導(dǎo)致spider程序不準(zhǔn)守robots協(xié)議，這個(gè)原因只有等搜索引擎下次更新收錄才有辦法解決 在上述情況發(fā)生時(shí)我們要防止所有搜索引擎顯示您網(wǎng)站的快照，可以將這段代碼加入到網(wǎng)頁的頭部代碼<head></head>部分： <meta name="robots" content="noarchive"> 如果用戶想要搜索引擎顯示快照，但有不希望搜索引擎收錄網(wǎng)頁，可以使用以下代碼進(jìn)行標(biāo)記： <meta name="Baiduspider(搜索引擎蜘蛛名)" content="noarchive"> 純Linux環(huán)境下高端免備案【香港獨(dú)立IP地址】 php空間，僅僅只需199元一年起。商務(wù)中國(guó)域名核心代理直銷50元注冊(cè)國(guó)際頂級(jí)域名
本文地址：http://www.gle-technology.com/seo/8767.html
