網(wǎng)站與網(wǎng)站之間互相連接，所以才有了網(wǎng)絡(luò)，才稱為了互聯(lián)網(wǎng)。是以搜索引擎基于這個(gè)原理發(fā)明了蜘蛛（spider）.或者也被稱為機(jī)器人（bot）.這是一個(gè)很形象的比喻，網(wǎng)站和網(wǎng)站的互聯(lián)，就好比一只蜘蛛在結(jié)網(wǎng)，蜘蛛爬行的網(wǎng)站越多，織的網(wǎng)就越大。蜘蛛的作用就是依據(jù)網(wǎng)站與網(wǎng)站的鏈接訪問(wèn)和爬行互聯(lián)網(wǎng)上的網(wǎng)站。他的工作流程：搜索引擎的蜘蛛爬行到一個(gè)IP或者網(wǎng)址，當(dāng)他爬行到這個(gè)IP或者網(wǎng)址的時(shí)候首先要訪問(wèn)一個(gè)名為robots.txt的文件，這是一個(gè)網(wǎng)站站長(zhǎng)給蜘蛛的一個(gè)指導(dǎo)性質(zhì)的文件，他告訴了搜索引擎，是否允許被收錄，不允許哪些文件被收錄。然后蜘蛛根據(jù)robots.txt的指示進(jìn)行有序的爬行。這個(gè)時(shí)候蜘蛛會(huì)對(duì)域名或者IP網(wǎng)站的服務(wù)器發(fā)出一個(gè)訪問(wèn)這個(gè)網(wǎng)站網(wǎng)頁(yè)內(nèi)容的請(qǐng)求，請(qǐng)求訪問(wèn)允許被收錄的頁(yè)面。網(wǎng)站所在服務(wù)器根據(jù)蜘蛛的請(qǐng)求,以HTML代碼的形式反饋給蜘蛛請(qǐng)求頁(yè)面。蜘蛛得到代碼后，如同螞蟻搬家，將代碼存入搜索引擎自己的服務(wù)器中的原始頁(yè)數(shù)據(jù)庫(kù)。 搜索引擎的蜘蛛名稱： 谷歌:googlebot 百度:baiduspider MSN:MSNbot?????? Yahoo:Slurp ?（雅虎的和其他的搜索引擎不一樣，帶著自己的名字，雅虎的是用一個(gè)擬聲詞命名。這個(gè)詞是形容機(jī)器人在吃東西的時(shí)候發(fā)出的聲音，比較形象。估計(jì)科幻主題類型的素材沒(méi)少看）   純Linux環(huán)境下高端免備案［香港獨(dú)立IP地址］?php空間，僅僅只需199元一年起。商務(wù)中國(guó)域名核心代理直銷50元注冊(cè)國(guó)際頂級(jí)域名。

本文地址：http://www.gle-technology.com/seo/3959.html