對(duì)于網(wǎng)站的seo人員來說，搜索引擎蜘蛛都一定有所了解，因?yàn)樵谶M(jìn)行網(wǎng)站優(yōu)化時(shí)都需要研究搜索引擎蜘蛛的工作原理。搜索引擎大致分為4個(gè)部分，第一個(gè)部分就是蜘蛛爬蟲，第二個(gè)部分就是數(shù)據(jù)分析系統(tǒng)，第三個(gè)部分是索引系統(tǒng)，第四個(gè)就是查詢系統(tǒng)，當(dāng)然這只是基本的4個(gè)部分!

什么是搜索引擎蜘蛛，什么是爬蟲程序?

搜索引擎蜘蛛程序，其實(shí)就是搜索引擎的一個(gè)自動(dòng)應(yīng)用程序，它的作用是什么呢?其實(shí)很簡(jiǎn)單，就是在互聯(lián)網(wǎng)中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務(wù)器上，然后建立索引庫等等，我們可以把搜索引擎蜘蛛當(dāng)做一個(gè)用戶，然后這個(gè)用戶來訪問我們的網(wǎng)站，然后在把我們網(wǎng)站的內(nèi)容保存到自己的電腦上!比較好理解。

搜索引擎蜘蛛是怎樣抓取網(wǎng)頁的呢?

發(fā)現(xiàn)某一個(gè)鏈接 → 下載這一個(gè)網(wǎng)頁 → 加入到臨時(shí)庫 → 提取網(wǎng)頁中的鏈接 → 在下載網(wǎng)頁 → 循環(huán)

首先搜索引擎的蜘蛛需要去發(fā)現(xiàn)鏈接，至于怎么發(fā)現(xiàn)就簡(jiǎn)單了，就是通過鏈接鏈接鏈接。搜索引擎蜘蛛在發(fā)現(xiàn)了這個(gè)鏈接后會(huì)把這個(gè)網(wǎng)頁下載下來并且存入到臨時(shí)的庫中，當(dāng)然在同時(shí)，會(huì)提取這個(gè)頁面所有的鏈接，然后就是循環(huán)。搜索引擎蜘蛛幾乎是24小時(shí)不休息的，那么蜘蛛下載回來的網(wǎng)頁怎么辦呢?這就需要到了第二個(gè)系統(tǒng)，也就是搜索引擎的分析系統(tǒng)。

一、搜索引擎蜘蛛簡(jiǎn)介

搜索引擎蜘蛛，在搜索引擎系統(tǒng)中又被稱之為“蜘蛛”或“機(jī)器人”，是用來爬行和訪問頁面的程序。

① 爬行原理

搜索引擎蜘蛛訪問網(wǎng)頁的過程，就好比用戶使用的瀏覽器。

搜索引擎蜘蛛向頁面發(fā)出訪問請(qǐng)求，該頁面的服務(wù)器則返回該頁面的HTML代碼。

搜索引擎蜘蛛將收到的HTML代碼存入搜索引擎的原始頁面數(shù)據(jù)庫中。

② 如何爬行

為了提高搜索引擎蜘蛛的工作效率，通常采用多個(gè)蜘蛛并發(fā)分布爬行。

同時(shí)，分布爬行還分為兩種模式：深度優(yōu)先和廣度優(yōu)先。

深度優(yōu)先：沿著發(fā)現(xiàn)的鏈接一直爬行，直到?jīng)]有任何鏈接。

廣度優(yōu)先：先這一頁面上的所有鏈接爬行完畢之后，才會(huì)沿著第二層頁面繼續(xù)這樣爬行。

③ 蜘蛛必遵守的協(xié)議

搜索引擎蜘蛛在訪問網(wǎng)站之前，都會(huì)先訪問網(wǎng)站根目錄下的robots.txt文件。

搜索引擎蜘蛛不會(huì)去抓取robots.txt文件中禁止爬行的文件或目錄。

④ 常見搜索引擎蜘蛛

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

有道蜘蛛：YoudaoBot，YodaoBot

搜狗蜘蛛：Sogou News Spider

必應(yīng)蜘蛛：bingbot

Alexa蜘蛛：ia_archiver

二、如何吸引更多搜索引擎蜘蛛

互聯(lián)網(wǎng)信息爆炸，搜索引擎蜘蛛不可能將所有網(wǎng)站的所有鏈接全部爬行到，那么如何吸引更多的搜索引擎蜘蛛到我們網(wǎng)站上來爬行變得非常重要。

① 導(dǎo)入鏈接

無論是外部鏈接，還是內(nèi)部鏈接，只有有導(dǎo)入，才能被搜索引擎蜘蛛知道該頁面的存在。所以，多多做外鏈建設(shè)有助于吸引更多蜘蛛來訪。

② 頁面更新頻率

頁面更新頻率越高，搜索引擎蜘蛛來訪的次數(shù)也會(huì)越多。

③ 網(wǎng)站和頁面權(quán)重

整個(gè)網(wǎng)站的權(quán)重以及某一頁面的權(quán)重（包括首頁也是頁面）影響著蜘蛛的來訪頻率，權(quán)重高、權(quán)威性強(qiáng)的網(wǎng)站一般都會(huì)增加搜索引擎蜘蛛的好感。

④ 與首頁的距離

首頁>一級(jí)目錄>二級(jí)目錄>三級(jí)目錄>四級(jí)目錄…很顯然，目錄越深蜘蛛來訪的幾率和次數(shù)就會(huì)越少，因?yàn)橐话阃怄湺际侵赶蚴醉摰?，首頁再向下爬行，只?huì)越來越少。

這里給大家的建議是，做外鏈的時(shí)候，不要只做首頁外鏈，偶爾做一做欄目和聚合頁面的外鏈也還是不錯(cuò)的哦~

有些時(shí)候，URL短，蜘蛛可能也會(huì)覺得這個(gè)鏈接的權(quán)重哦，所以，最好只做一級(jí)欄目，然后就是文章頁面。

三、搜索引擎蜘蛛地址庫

搜索引擎蜘蛛有一個(gè)專門的地址庫，用來存放已經(jīng)被發(fā)現(xiàn)的URL（已被抓取和未被抓取的都算，只要是被發(fā)現(xiàn)的URL都算），這樣就不會(huì)出現(xiàn)重復(fù)爬行和抓取頁面的情況了。

① 地址庫URL來源

蜘蛛抓取的頁面中發(fā)現(xiàn)的新的URL；

站長(zhǎng)后臺(tái)自主提交的URL；

站長(zhǎng)后臺(tái)提交的XML地圖中的URL；

站長(zhǎng)后臺(tái)提交的網(wǎng)站URL；

② 對(duì)于未被抓取的URL

對(duì)于未被抓取的URL，不管是以什么方式獲取的，哪怕是搜索引擎蜘蛛自己發(fā)現(xiàn)的，也會(huì)先放入地址庫中，然后在做統(tǒng)一抓取。

四、頁面數(shù)據(jù)存儲(chǔ)

搜索引擎蜘蛛將抓取的頁面數(shù)據(jù)會(huì)存入搜索引擎的原始頁面數(shù)據(jù)庫中，其實(shí)，就可以理解為快照中看到的頁面數(shù)據(jù)，和用戶看到的是一樣的，每一個(gè)頁面的URL地址都有一個(gè)唯一的編號(hào)。

五、復(fù)制內(nèi)容檢測(cè)

搜索引擎蜘蛛在爬行的過程中，會(huì)進(jìn)行一定程度的復(fù)制內(nèi)容檢測(cè)。如果是權(quán)重低的網(wǎng)站上，發(fā)現(xiàn)了大量的轉(zhuǎn)載或抄襲內(nèi)容時(shí)，可能會(huì)停止爬行，這些頁面可能也會(huì)不抓取與收錄。

但并不是說網(wǎng)站就不能轉(zhuǎn)載，像一些權(quán)重很高的平臺(tái)，哪怕是轉(zhuǎn)載了一篇舊聞排名也可以很好，因?yàn)樗阉饕嬷┲肟赡軙?huì)覺得，就算是舊聞可能也是高質(zhì)量的吧。

作為SEO優(yōu)化人員則要讓蜘蛛盡量的抓取到網(wǎng)站的核心內(nèi)容，那么影響到搜索引擎抓取網(wǎng)站的因素有哪些呢？

1、網(wǎng)站權(quán)重

網(wǎng)站權(quán)重越高，搜索引擎蜘蛛爬行的深度越深，抓取的頁面內(nèi)容也就相對(duì)越多了，搜索引擎對(duì)權(quán)重高的網(wǎng)站信任度很高，收錄的網(wǎng)站頁面也更多。

2、網(wǎng)站更新頻率

搜索引擎的蜘蛛每次爬行抓取網(wǎng)站的時(shí)候，都會(huì)把網(wǎng)站的數(shù)據(jù)儲(chǔ)存起來，下一次爬行的時(shí)候發(fā)現(xiàn)和第一次的抓取的數(shù)據(jù)是一樣的，則說明網(wǎng)站沒有更新，蜘蛛多次爬行未更新的網(wǎng)站，肯定會(huì)降低網(wǎng)站爬行的頻率，如果網(wǎng)站定期更新，每次蜘蛛都能抓取到新鮮的有價(jià)值的內(nèi)容，搜索引擎蜘蛛的體驗(yàn)度就越高，蜘蛛就會(huì)頻繁的抓取網(wǎng)站數(shù)據(jù)。

3、外鏈內(nèi)鏈和URL結(jié)構(gòu)

網(wǎng)站優(yōu)化的時(shí)候不管是外部鏈接，還是內(nèi)部相互鏈接，都是會(huì)被搜索引擎的蜘蛛抓取到的，蜘蛛會(huì)根據(jù)URL的結(jié)構(gòu)開始爬行抓取，結(jié)構(gòu)目錄越短的爬行體驗(yàn)越好，高質(zhì)量的外鏈能增加搜索引擎蜘蛛爬行的深度

4、網(wǎng)站首頁距離

網(wǎng)站首頁是網(wǎng)站權(quán)重最高的地方，而且用戶訪問和蜘蛛的抓取也是最頻繁的，做外鏈建設(shè)的時(shí)候通常也是發(fā)的首頁地址，距離首頁越近的距離，搜索引擎的蜘蛛爬行的幾率也就越大，頁面的權(quán)重也就越高。

本文鏈接：http://www.azlx8.cn/article/596.html