網站與網站之間互相連接，所以才有了網絡，才稱為了互聯(lián)網。是以搜索引擎基于這個原理發(fā)明了蜘蛛（spider）.或者也被稱為機器人（bot）.這是一個很形象的比喻，網站和網站的互聯(lián)，就好比一只蜘蛛在結網，蜘蛛爬行的網站越多，織的網就越大。蜘蛛的作用就是依據(jù)網站與網站的鏈接訪問和爬行互聯(lián)網上的網站。他的工作流程：搜索引擎的蜘蛛爬行到一個IP或者網址，當他爬行到這個IP或者網址的時候首先要訪問一個名為robots.txt的文件，這是一個網站站長給蜘蛛的一個指導性質的文件，他告訴了搜索引擎，是否允許被收錄，不允許哪些文件被收錄。然后蜘蛛根據(jù)robots.txt的指示進行有序的爬行。這個時候蜘蛛會對域名或者IP網站的服務器發(fā)出一個訪問這個網站網頁內容的請求，請求訪問允許被收錄的頁面。網站所在服務器根據(jù)蜘蛛的請求,以HTML代碼的形式反饋給蜘蛛請求頁面。蜘蛛得到代碼后，如同螞蟻搬家，將代碼存入搜索引擎自己的服務器中的原始頁數(shù)據(jù)庫。 搜索引擎的蜘蛛名稱： 谷歌:googlebot 百度:baiduspider MSN:MSNbot?????? Yahoo:Slurp ?（雅虎的和其他的搜索引擎不一樣，帶著自己的名字，雅虎的是用一個擬聲詞命名。這個詞是形容機器人在吃東西的時候發(fā)出的聲音，比較形象。估計科幻主題類型的素材沒少看）   純Linux環(huán)境下高端免備案［香港獨立IP地址］?php空間，僅僅只需199元一年起。商務中國域名核心代理直銷50元注冊國際頂級域名。

本文地址：http://www.gle-technology.com/seo/3959.html