最近有一個客戶問無憂主機小編我關(guān)于robots.txt怎么寫，說實話，小編自己也好久沒寫過這個規(guī)則了，其實百度下還是有很多教程的，但是今天無憂主機小編給大家分享一個比較另類的方法，就是通過在模板里面加入meta標簽來控制蜘蛛爬行的頁面。 具體代碼如下： ＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞ 然后將這段代碼添加到不想被抓取頁面的header標簽范圍內(nèi)。 不過相對來說，這個控制方法更精準一點，只是沒有robots方便，所以如果是需要大批量的禁用蜘蛛抓取頁面的話，建議是學(xué)會robots.txt的寫法 Robots.txt教程： http://wenku.baidu.com/link?url=b-aQ2digYMmSx9cHFtSZ-vY_4KojyQf2T99oiC7MUrHIjKx7O7eoeThHL0jP6-D2rYNXcco9fsc4VGPqTizw_S3LEXJiyyUgv0BUTg00ODW

本文地址：http://www.gle-technology.com/others/14902.html