在SEO工作中，有的時(shí)候我們很少關(guān)心搜索引擎蜘蛛是如何工作的，雖然，它是一個(gè)相對(duì)復(fù)雜的工作系統(tǒng)，但對(duì)于SEO人員而言，我們有必要進(jìn)行詳盡的了解，它有利于指導(dǎo)我們有效的工作。

下面解讀主流搜索引擎蜘蛛是如何工作的：

一、常見(jiàn)搜索引擎蜘蛛抓取策略：

1、深度優(yōu)先遍歷策略

簡(jiǎn)單理解，深度優(yōu)先遍歷策略主要是指建立一個(gè)起點(diǎn)，按照這個(gè)起點(diǎn)的順序，順序抓取鏈條上，沒(méi)有被抓取的每個(gè)節(jié)點(diǎn)。但有的時(shí)候，面對(duì)“無(wú)限循環(huán)”節(jié)點(diǎn)的時(shí)候，這一策略便顯得捉禁見(jiàn)肘。

2、寬度優(yōu)先遍歷策略

寬度優(yōu)先便利策略，是早期搜索引擎常用的一種抓取策略，主要流程是提取整個(gè)頁(yè)面中的URL，其中未被抓取的URL，就被放入待抓取列隊(duì)，以此循環(huán)。

3、PR優(yōu)先策略

RP優(yōu)先策略是一個(gè)非常注明的鏈接分析方法，它用于衡量網(wǎng)頁(yè)的重要性，通常它會(huì)計(jì)算一個(gè)頁(yè)面上URL的PR，按照從高到低的順序進(jìn)行抓取。

由于PR值的計(jì)算，需要不斷的迭代更新，通常這里所采用的都是非完全PageRank策略。

4、反鏈策略

反鏈策略，并沒(méi)有一個(gè)明確的官方文檔說(shuō)明，這里小編認(rèn)為，它主要是基于反鏈的數(shù)量以及種子頁(yè)面的權(quán)威度，二者進(jìn)行加權(quán)評(píng)估后，按照優(yōu)先順序抓取。

5、社會(huì)化媒體分享策略

社會(huì)化媒體分析策略，主要是指一個(gè)URL在社交媒體中的流行度，它的轉(zhuǎn)載量，評(píng)論，轉(zhuǎn)發(fā)量，綜合指標(biāo)的評(píng)估。

如果你的URL最先沒(méi)有在百度網(wǎng)址提交，而是出現(xiàn)在社交媒體中，比如：頭條文章，也是很有可能被百度抓取的。

6、爬行原理

搜索引擎蜘蛛訪(fǎng)問(wèn)網(wǎng)頁(yè)的過(guò)程，就好比用戶(hù)使用的瀏覽器。

搜索引擎蜘蛛向頁(yè)面發(fā)出訪(fǎng)問(wèn)請(qǐng)求，該頁(yè)面的服務(wù)器則返回該頁(yè)面的HTML代碼。

搜索引擎蜘蛛將收到的HTML代碼存入搜索引擎的原始頁(yè)面數(shù)據(jù)庫(kù)中。

7、如何爬行

為了提高搜索引擎蜘蛛的工作效率，通常采用多個(gè)蜘蛛并發(fā)分布爬行。

同時(shí)，分布爬行還分為兩種模式：深度優(yōu)先和廣度優(yōu)先。

深度優(yōu)先：沿著發(fā)現(xiàn)的鏈接一直爬行，直到?jīng)]有任何鏈接。

廣度優(yōu)先：先這一頁(yè)面上的所有鏈接爬行完畢之后，才會(huì)沿著第二層頁(yè)面繼續(xù)這樣爬行。

8、蜘蛛必遵守的協(xié)議

搜索引擎蜘蛛在訪(fǎng)問(wèn)網(wǎng)站之前，都會(huì)先訪(fǎng)問(wèn)網(wǎng)站根目錄下的robots.txt文件。

搜索引擎蜘蛛不會(huì)去抓取robots.txt文件中禁止爬行的文件或目錄。

9、常見(jiàn)搜索引擎蜘蛛

• 百度蜘蛛：Baiduspider

• 谷歌蜘蛛：Googlebot

• 360蜘蛛：360Spider

• SOSO蜘蛛：Sosospider

• 有道蜘蛛：YoudaoBot，YodaoBot

• 搜狗蜘蛛：Sogou News Spider

• 必應(yīng)蜘蛛：bingbot

• 頭條蜘蛛：Bytespider

• Alexa蜘蛛：ia_archiver

二、如何吸引更多搜索引擎蜘蛛

互聯(lián)網(wǎng)信息爆炸，搜索引擎蜘蛛不可能將所有網(wǎng)站的所有鏈接全部爬行到，那么如何吸引更多的搜索引擎蜘蛛到我們網(wǎng)站上來(lái)爬行變得非常重要。

1、 導(dǎo)入鏈接

無(wú)論是外部鏈接，還是內(nèi)部鏈接，只有有導(dǎo)入，才能被搜索引擎蜘蛛知道該頁(yè)面的存在。所以，多多做外鏈建設(shè)有助于吸引更多蜘蛛來(lái)訪(fǎng)。

2、頁(yè)面更新頻率

頁(yè)面更新頻率越高，搜索引擎蜘蛛來(lái)訪(fǎng)的次數(shù)也會(huì)越多。

3、網(wǎng)站和頁(yè)面權(quán)重

整個(gè)網(wǎng)站的權(quán)重以及某一頁(yè)面的權(quán)重（包括首頁(yè)也是頁(yè)面）影響著蜘蛛的來(lái)訪(fǎng)頻率，權(quán)重高、權(quán)威性強(qiáng)的網(wǎng)站一般都會(huì)增加搜索引擎蜘蛛的好感。

4、與首頁(yè)的距離

首頁(yè)>一級(jí)目錄>二級(jí)目錄>三級(jí)目錄>四級(jí)目錄…很顯然，目錄越深蜘蛛來(lái)訪(fǎng)的幾率和次數(shù)就會(huì)越少，因?yàn)橐话阃怄湺际侵赶蚴醉?yè)的，首頁(yè)再向下爬行，只會(huì)越來(lái)越少。

這里給大家的建議是，做外鏈的時(shí)候，不要只做首頁(yè)外鏈，偶爾做一做欄目和聚合頁(yè)面的外鏈也還是不錯(cuò)的哦~

有些時(shí)候，URL短，蜘蛛可能也會(huì)覺(jué)得這個(gè)鏈接的權(quán)重哦，所以，最好只做一級(jí)欄目，然后就是文章頁(yè)面。

三、搜索引擎蜘蛛地址庫(kù)

搜索引擎蜘蛛有一個(gè)專(zhuān)門(mén)的地址庫(kù)，用來(lái)存放已經(jīng)被發(fā)現(xiàn)的URL（已被抓取和未被抓取的都算，只要是被發(fā)現(xiàn)的URL都算），這樣就不會(huì)出現(xiàn)重復(fù)爬行和抓取頁(yè)面的情況了。

1、地址庫(kù)URL來(lái)源

蜘蛛抓取的頁(yè)面中發(fā)現(xiàn)的新的URL；

站長(zhǎng)后臺(tái)自主提交的URL；

站長(zhǎng)后臺(tái)提交的XML地圖中的URL；

站長(zhǎng)后臺(tái)提交的網(wǎng)站URL；

2、對(duì)于未被抓取的URL

對(duì)于未被抓取的URL，不管是以什么方式獲取的，哪怕是搜索引擎蜘蛛自己發(fā)現(xiàn)的，也會(huì)先放入地址庫(kù)中，然后在做統(tǒng)一抓取。

四、頁(yè)面數(shù)據(jù)存儲(chǔ)

搜索引擎蜘蛛將抓取的頁(yè)面數(shù)據(jù)會(huì)存入搜索引擎的原始頁(yè)面數(shù)據(jù)庫(kù)中，其實(shí)，就可以理解為快照中看到的頁(yè)面數(shù)據(jù)，和用戶(hù)看到的是一樣的，每一個(gè)頁(yè)面的URL地址都有一個(gè)唯一的編號(hào)。

五、原創(chuàng)內(nèi)容檢測(cè)

搜索引擎蜘蛛在爬行的過(guò)程中，會(huì)進(jìn)行一定程度的原創(chuàng)內(nèi)容檢測(cè)。如果是權(quán)重低的網(wǎng)站上，發(fā)現(xiàn)了大量的轉(zhuǎn)載或抄襲內(nèi)容時(shí)，可能會(huì)停止爬行，這些頁(yè)面可能也會(huì)不抓取與收錄。

但并不是說(shuō)網(wǎng)站就不能轉(zhuǎn)載，像一些權(quán)重很高的平臺(tái)，哪怕是轉(zhuǎn)載了一篇舊聞排名也可以很好，因?yàn)樗阉饕嬷┲肟赡軙?huì)覺(jué)得，就算是舊聞可能也是高質(zhì)量的吧。

本文鏈接：http://www.azlx8.cn/article/677.html