同一篇文章在一個(gè)網(wǎng)站中多次出現(xiàn)是搜索引擎不喜歡的，同一片文章在很多網(wǎng)站上出現(xiàn)也是搜索引擎厭惡的，特別是當(dāng)用戶搜索的時(shí)候前幾頁(yè)都是這同樣一篇文章對(duì)于搜素引擎來(lái)認(rèn)為他是不利于用戶體驗(yàn)的。
預(yù)處理中必不可少的一個(gè)環(huán)節(jié)是去停止詞，不管是中文還是英文中總是有一些詞在文章中必須出現(xiàn)但是又沒(méi)有意義的存在，比如中文文章中經(jīng)常出現(xiàn)的“的”、“地”、“得”這些助詞，又或者一些感嘆詞比如嘿、哈、哇，還有一些副詞和介詞的比如，從而、以、卻。
不同的搜索引擎對(duì)于分詞的掌控能力和認(rèn)識(shí)各有不同比如百度會(huì)把連在一起，在互聯(lián)網(wǎng)相同類型文章中經(jīng)常出現(xiàn)的詞作為一個(gè)詞來(lái)看待。
搜索引擎抓取了大量的原始頁(yè)面后并不能直接用來(lái)排名，用戶搜索的時(shí)候開(kāi)程序來(lái)計(jì)算排名無(wú)法在1秒2秒內(nèi)算出結(jié)果，是以抓取了之后必須先預(yù)處理這樣來(lái)為存庫(kù)之后的查詢做準(zhǔn)備。
搜索引擎為了避免重復(fù)性的工作浪費(fèi)大量的時(shí)間于資源會(huì)建立一個(gè)地址庫(kù)，這里面記載了已經(jīng)被抓取和訪問(wèn)的鏈接，也記錄了已經(jīng)被發(fā)現(xiàn)但是還沒(méi)有去抓取和爬行的頁(yè)面比如那些從其他網(wǎng)站看到的鏈接但是還沒(méi)有來(lái)得及去訪問(wèn)的鏈接。
根據(jù)抓取和爬行的知識(shí)點(diǎn)，我們可以得知蜘蛛在理論上可以抓取和爬行整個(gè)網(wǎng)站全部的頁(yè)面，其實(shí)不然，蜘蛛也不會(huì)這樣去做，作為SEO就是盡可能的讓蜘蛛收錄更多的頁(yè)面。
搜索引擎依靠蜘蛛來(lái)實(shí)行對(duì)頁(yè)面的爬行和抓取，當(dāng)由一個(gè)導(dǎo)入鏈接進(jìn)入一個(gè)新站的時(shí)候，要做的第一件事就是進(jìn)行訪問(wèn)robots.txt文件，這個(gè)文件準(zhǔn)確清晰的給蜘蛛以本站的指引，站長(zhǎng)可以規(guī)定搜索引擎訪問(wèn)哪些頁(yè)面和不允許訪問(wèn)哪些頁(yè)面。
在谷歌中對(duì)于權(quán)重比較高的網(wǎng)站谷歌總會(huì)給一些福利，比如全站鏈接，也就是用戶在正常搜索的時(shí)候，谷歌對(duì)于搜索結(jié)果中出現(xiàn)的一些權(quán)重比較高的網(wǎng)站給予更多的顯示一般來(lái)說(shuō)在自然搜索的URL下面會(huì)出現(xiàn)1行四個(gè)的兩行鏈接。
?當(dāng)我們?cè)诠雀栎斎胍粋€(gè)關(guān)鍵詞顯示頁(yè)面一般會(huì)有兩個(gè)最重要的顯示方式。一個(gè)是廣告，一個(gè)是自然搜索結(jié)果。
SEO這些年來(lái)一直圍繞不斷的一個(gè)話題就是“偽原創(chuàng)”很多SEO以為把別人網(wǎng)站的原創(chuàng)文章拿過(guò)來(lái)，然后按照一些的、地、得加入一下，最后在掉換一下原來(lái)文章的段落。以為這樣就可以讓搜索引擎以為這是一篇原創(chuàng)的文章。
