最近有一個(gè)客戶(hù)問(wèn)無(wú)憂(yōu)主機(jī)小編我關(guān)于robots.txt怎么寫(xiě)，說(shuō)實(shí)話(huà)，小編自己也好久沒(méi)寫(xiě)過(guò)這個(gè)規(guī)則了，其實(shí)百度下還是有很多教程的，但是今天無(wú)憂(yōu)主機(jī)小編給大家分享一個(gè)比較另類(lèi)的方法，就是通過(guò)在模板里面加入meta標(biāo)簽來(lái)控制蜘蛛爬行的頁(yè)面。 具體代碼如下： ＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞ 然后將這段代碼添加到不想被抓取頁(yè)面的header標(biāo)簽范圍內(nèi)。 不過(guò)相對(duì)來(lái)說(shuō)，這個(gè)控制方法更精準(zhǔn)一點(diǎn)，只是沒(méi)有robots方便，所以如果是需要大批量的禁用蜘蛛抓取頁(yè)面的話(huà)，建議是學(xué)會(huì)robots.txt的寫(xiě)法 Robots.txt教程： http://wenku.baidu.com/link?url=b-aQ2digYMmSx9cHFtSZ-vY_4KojyQf2T99oiC7MUrHIjKx7O7eoeThHL0jP6-D2rYNXcco9fsc4VGPqTizw_S3LEXJiyyUgv0BUTg00ODW

本文地址：http://www.gle-technology.com/others/14902.html