我們都知道做網(wǎng)絡(luò)推廣的最終目的是為了帶來(lái)流量、排名和訂單，那么至關(guān)重要的前提是，搜索引擎能對(duì)你的網(wǎng)站和文章進(jìn)行很好的收錄。然而，當(dāng)面對(duì)收錄效果差的時(shí)候，很多伙伴并不知道是為什么，很大程度上是因?yàn)椴惶私庖粋€(gè)關(guān)鍵所在——搜索引擎蜘蛛。

一、什么是搜索引擎蜘蛛？

搜索引擎是如何通過(guò)蜘蛛對(duì)網(wǎng)站進(jìn)行收錄和排名的呢?如何才能提升蜘蛛爬取效果呢?

確實(shí)如同白話理解的一般，互聯(lián)網(wǎng)可以理解成一張巨大的“蜘蛛網(wǎng)”，搜索引擎蜘蛛是類(lèi)似實(shí)質(zhì)的“機(jī)器人”。

蜘蛛的主要任務(wù)就是在巨大的蜘蛛網(wǎng)(互聯(lián)網(wǎng))中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務(wù)器上，建立索引庫(kù)。就好比機(jī)器人瀏覽我們的網(wǎng)站，然后把內(nèi)容保存到自己的電腦上。

每家獨(dú)立的搜索引擎都會(huì)有自己的網(wǎng)頁(yè)抓取程序爬蟲(chóng)。蜘蛛爬蟲(chóng)順著網(wǎng)頁(yè)中的超鏈接分析連續(xù)訪問(wèn)抓去更多網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱(chēng)之為網(wǎng)頁(yè)快照。毋庸置疑，搜索引擎蜘蛛抓取網(wǎng)頁(yè)是有一定規(guī)律的。

如下：

1.權(quán)重優(yōu)先：先參照鏈接的權(quán)重，再綜合深度優(yōu)先和寬度優(yōu)先策略抓取。打個(gè)比方，如果這條鏈接的權(quán)重還不錯(cuò)，就采用深度優(yōu)先;如果權(quán)重很低，則采用寬度優(yōu)先。

2.蜘蛛深度抓?。?/strong>指蜘蛛發(fā)現(xiàn)一個(gè)鏈接進(jìn)行爬行的過(guò)程中，一直向前，直到最深層級(jí)不可再爬行為止，然后返回最初爬行頁(yè)面，再進(jìn)行下一個(gè)鏈接爬行。就好比從網(wǎng)站的首頁(yè)，爬行到網(wǎng)站的第一個(gè)欄目頁(yè)，再通過(guò)欄目頁(yè)爬行一個(gè)內(nèi)容頁(yè)，然后跳出首頁(yè)，對(duì)第二個(gè)網(wǎng)站進(jìn)行爬行。

3.蜘蛛廣度抓?。?/strong>指蜘蛛爬行一個(gè)頁(yè)面時(shí)，存在多個(gè)鏈接，并非對(duì)一個(gè)鏈接進(jìn)行深入抓取，例如：蜘蛛進(jìn)入網(wǎng)站首頁(yè)后，對(duì)所有欄目頁(yè)進(jìn)行有效爬行，再對(duì)所有欄目頁(yè)下的二級(jí)欄目或者內(nèi)容頁(yè)進(jìn)行爬行，也就是一層層的爬行方式，不是一個(gè)個(gè)的爬行方式。

4.重訪抓?。?/strong>這個(gè)就可以直接從字面上理解。因?yàn)樗阉饕媸褂脝蝹€(gè)重訪與全部重訪結(jié)合的居多。所以我們做網(wǎng)站內(nèi)容要記得定期維護(hù)日常更新，讓蜘蛛多來(lái)訪多抓取才能收錄快。

二、搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛來(lái)抓取頁(yè)面

搜索引擎的工作過(guò)程大體可以分成三個(gè)階段：

(1)爬行和抓取：搜索引擎蜘蛛通過(guò)跟蹤鏈接發(fā)現(xiàn)和訪問(wèn)頁(yè)面，讀取頁(yè)面HTML代碼，存到數(shù)據(jù)庫(kù)。

(2)預(yù)處理：索引程序?qū)ψト?lái)的頁(yè)面數(shù)據(jù)進(jìn)行文字提取、中文分詞、索引、倒排索引等處理，以備排名程序調(diào)用。

(3)排名：用戶輸入查詢(xún)?cè)~(關(guān)鍵詞)后，排名程序調(diào)用索引數(shù)據(jù)，計(jì)算相關(guān)性，然后按一定格式生成搜索結(jié)果頁(yè)面。

搜索引擎的工作原理爬行和抓取是搜索引擎工作的第一步，完成數(shù)據(jù)收集的任務(wù)。搜索引擎用來(lái)抓取頁(yè)面的程序被稱(chēng)為蜘蛛(spider)

一個(gè)合格的SEOer，要想讓自己的更多頁(yè)面被收錄，就要想法設(shè)法吸引蜘蛛來(lái)抓取。

蜘蛛抓取頁(yè)面有幾方面因素：

(1)網(wǎng)站和頁(yè)面的權(quán)重，質(zhì)量高、時(shí)間長(zhǎng)的網(wǎng)站一般被認(rèn)為權(quán)重比較高，爬行深度也會(huì)比較高，被收錄的頁(yè)面也會(huì)更多。

(2)頁(yè)面的更新頻率，蜘蛛每次爬行都會(huì)把頁(yè)面數(shù)據(jù)儲(chǔ)存起來(lái)，如果第二次，第三次的抓取和第一次的一樣，說(shuō)明沒(méi)有更新，久而久之，蜘蛛也就沒(méi)有必要經(jīng)常抓取你的頁(yè)面啦。如果內(nèi)容經(jīng)常更新，蜘蛛就會(huì)頻繁訪問(wèn)頁(yè)面，來(lái)抓取新的頁(yè)面。

(3)導(dǎo)入鏈接，不管是內(nèi)部鏈接還是外部鏈接，要想被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛就不會(huì)知道頁(yè)面的存在。

(4)與首頁(yè)的點(diǎn)擊距離，一般網(wǎng)站上權(quán)重最高的是首頁(yè)，大部分外部鏈接都會(huì)指向首頁(yè)，那么蜘蛛訪問(wèn)最頻繁的頁(yè)面就是首頁(yè)，離首頁(yè)點(diǎn)擊距離越近，頁(yè)面權(quán)重越高，被爬行的機(jī)會(huì)越大。

吸引百度蜘蛛如何吸引蜘蛛來(lái)抓取我們的頁(yè)面?

堅(jiān)持有頻率的更新網(wǎng)站內(nèi)容，最好是高質(zhì)量的原創(chuàng)內(nèi)容。

主動(dòng)向搜索引擎提供我們的新頁(yè)面，讓蜘蛛更快的發(fā)現(xiàn)，如百度的鏈接提交、抓取診斷等。

搭建外部鏈接，可以和相關(guān)的網(wǎng)站做友情鏈接交換，可以去別的平臺(tái)發(fā)布高質(zhì)量的文章指向自己的頁(yè)面，內(nèi)容要相關(guān)。

制作網(wǎng)站地圖，每個(gè)網(wǎng)站都應(yīng)該有一個(gè)sitemap，網(wǎng)站所有的頁(yè)面都在sitemap中，方便蜘蛛抓取。

三、搜索引擎蜘蛛SPIDER不能順利爬行的原因分析

1.服務(wù)器連接異常

服務(wù)器連接異常會(huì)有兩種情況：一種是站點(diǎn)不穩(wěn)定，Baidu spider嘗試連接您網(wǎng)站的服務(wù)器時(shí)出現(xiàn)暫時(shí)無(wú)法連接的情況；一種是Baidu spider一直無(wú)法連接上您網(wǎng)站的服務(wù)器。

造成服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器過(guò)大，超負(fù)荷運(yùn)轉(zhuǎn)。也有可能是您的網(wǎng)站運(yùn)行不正常，請(qǐng)檢查網(wǎng)站的web服務(wù)器（如apache、iis）是否安裝且正常運(yùn)行，并使用瀏覽器檢查主要頁(yè)面能否正常訪問(wèn)。您的網(wǎng)站和主機(jī)還可能阻止了Baidu spider的訪問(wèn)，您需要檢查網(wǎng)站和主機(jī)的防火墻。

2.網(wǎng)絡(luò)運(yùn)營(yíng)商異常

網(wǎng)絡(luò)運(yùn)營(yíng)商分電信和聯(lián)通兩種，Baidu spider通過(guò)電信或網(wǎng)通無(wú)法訪問(wèn)您的網(wǎng)站。如果出現(xiàn)這種情況，您需要與網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商進(jìn)行聯(lián)系，或者購(gòu)買(mǎi)擁有雙線服務(wù)的空間或者購(gòu)買(mǎi)cdn服務(wù)。

3.DNS異常

當(dāng)Baidu spider無(wú)法解析您網(wǎng)站的IP時(shí)，會(huì)出現(xiàn)DNS異常?？赡苁悄木W(wǎng)站IP地址錯(cuò)誤，或者域名服務(wù)商把Baidu spider封禁。請(qǐng)使用WHOIS或者h(yuǎn)ost查詢(xún)自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無(wú)法解析，請(qǐng)與域名注冊(cè)商聯(lián)系，更新您的IP地址。

4.IP封禁

IP封禁為：限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問(wèn)，在這里特指封禁了Baidu spiderIP。當(dāng)您的網(wǎng)站不希望Baidu spider訪問(wèn)時(shí)，才需要該設(shè)置，如果您希望Baidu spider訪問(wèn)您的網(wǎng)站，請(qǐng)檢查相關(guān)設(shè)置中是否誤添加了Baidu spiderIP。也有可能是您網(wǎng)站所在的空間服務(wù)商把百度IP進(jìn)行了封禁，這時(shí)您需要聯(lián)系服務(wù)商更改設(shè)置。

5.UA封禁

UA即為用戶代理（User-Agent），服務(wù)器通過(guò)UA識(shí)別訪問(wèn)者的身份。當(dāng)網(wǎng)站針對(duì)指定UA的訪問(wèn)，返回異常頁(yè)面（如402，500）或跳轉(zhuǎn)到其他頁(yè)面的情況，即為UA封禁。當(dāng)您的網(wǎng)站不希望Baidu spider訪問(wèn)時(shí)，才需要該設(shè)置，如果您希望Baidu spider訪問(wèn)您的網(wǎng)站，useragent相關(guān)的設(shè)置中是否有Baidu spider UA，并及時(shí)修改。

6.死鏈

頁(yè)面已經(jīng)無(wú)效，無(wú)法對(duì)用戶提供任何有價(jià)值信息的頁(yè)面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。協(xié)議死鏈，頁(yè)面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見(jiàn)的如404、402、502狀態(tài)等；內(nèi)容死鏈，服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無(wú)關(guān)的信息頁(yè)面。

對(duì)于死鏈，我們建議站點(diǎn)使用協(xié)議死鏈，并通過(guò)百度站長(zhǎng)平臺(tái)--死鏈工具向百度提交，以便百度更快地發(fā)現(xiàn)死鏈，減少死鏈對(duì)用戶以及搜索引擎造成的負(fù)面影響。

7.異常跳轉(zhuǎn)

將網(wǎng)絡(luò)請(qǐng)求重新指向其他位置即為跳轉(zhuǎn)，異常跳轉(zhuǎn)指的是以下幾種情況。

1.當(dāng)前該頁(yè)面為無(wú)效頁(yè)面（內(nèi)容已刪除、死鏈等），直接跳轉(zhuǎn)到前一目錄或者首頁(yè)，百度建議站長(zhǎng)將該無(wú)效頁(yè)面的入口超鏈接刪除掉。

2.跳轉(zhuǎn)到出錯(cuò)或者無(wú)效頁(yè)面。

tips：對(duì)于長(zhǎng)時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，百度建議使用201跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

8.其他異常

1.針對(duì)百度refer的異常：網(wǎng)頁(yè)針對(duì)來(lái)自百度的refer返回不同于正常內(nèi)容的行為。

2.針對(duì)百度ua的異常：網(wǎng)頁(yè)對(duì)百度UA返回不同于頁(yè)面原內(nèi)容的行為。

3.JS跳轉(zhuǎn)異常：網(wǎng)頁(yè)加載了百度無(wú)法識(shí)別的JS跳轉(zhuǎn)代碼，使得用戶通過(guò)搜索結(jié)果進(jìn)入頁(yè)面后發(fā)生了跳轉(zhuǎn)的情況。

4.壓力過(guò)大引起的偶然封禁：百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問(wèn)量等信息，自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請(qǐng)?jiān)诜祷卮a中返回502(其含義是“Service Unavailable”)，這樣Baidu spider會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì)被成功抓取。

四、利用蜘蛛池使新網(wǎng)站盡快被收錄

依據(jù)很多年搜索引擎營(yíng)銷(xiāo)推廣的工作經(jīng)驗(yàn)，當(dāng)新站連接搜索引擎的情況下都是進(jìn)到沙盒期，有的新站可以被搜索引擎收益迅速，短周期擺脫沙盒期，其關(guān)鍵的緣故包含以下要素：

1、技術(shù)性配備

我們知道搜索引擎的收錄越來(lái)越方便快捷，一般人們必須把網(wǎng)站標(biāo)準(zhǔn)化為SEO。從技術(shù)性的視角，你將會(huì)必須：

①高度重視網(wǎng)頁(yè)頁(yè)面客戶體驗(yàn)，它包含視覺(jué)效果感受及其網(wǎng)頁(yè)頁(yè)面的載入速率。

②創(chuàng)建sitemap，依照網(wǎng)頁(yè)頁(yè)面優(yōu)先，合理流動(dòng)有關(guān)URL。

③配備百度熊掌號(hào)ID，可快速提交高質(zhì)量的URL到百度搜索官方網(wǎng)站。

所述內(nèi)容，針對(duì)新站來(lái)講，是一個(gè)必需的規(guī)范化配備。

利用蜘蛛池加速新的網(wǎng)站收錄

2、網(wǎng)頁(yè)頁(yè)面品質(zhì)

對(duì)于搜索引擎收錄來(lái)說(shuō)，網(wǎng)頁(yè)質(zhì)量是首要的考核標(biāo)準(zhǔn)，理論上，他是由幾個(gè)層次組成的，對(duì)于這些新站收入相對(duì)較快的網(wǎng)站來(lái)說(shuō)，除了要做百度網(wǎng)址提交之外，他們還重點(diǎn)關(guān)注以下方面：

①時(shí)事性?xún)?nèi)容

對(duì)于新站來(lái)說(shuō)，假如你想讓搜索引擎收錄速度越來(lái)越快，經(jīng)過(guò)了人們多年的具體檢驗(yàn)，人們發(fā)現(xiàn)：制造業(yè)的熱門(mén)新聞更容易快速收錄。

他的及時(shí)搜索關(guān)鍵詞量將會(huì)很高，也可能是相對(duì)性一般，但這一并并不是根本性要素。

②專(zhuān)題性?xún)?nèi)容

站在專(zhuān)業(yè)權(quán)威的角度，建立一個(gè)網(wǎng)站內(nèi)部的小專(zhuān)題講座，能最大限度地與某一制造行業(yè)進(jìn)行探討，最重要的是相關(guān)內(nèi)容，它一般是多層次的有機(jī)化學(xué)成分。

例如：來(lái)自于KOL的看法，制造行業(yè)組織權(quán)威專(zhuān)家的很多年小結(jié)，及其社會(huì)發(fā)展科學(xué)研究團(tuán)隊(duì)的有關(guān)數(shù)據(jù)信息適用等。

③多樣化內(nèi)容

對(duì)于網(wǎng)頁(yè)的多樣化，它通常由多媒體系統(tǒng)元素組成，如：小視頻、數(shù)據(jù)圖表、高清圖片等，這些都是視頻的干預(yù)，看起來(lái)很重要。

利用蜘蛛池加速新的網(wǎng)站收錄

3、外界資源

對(duì)于搜索引擎收錄，人們這里所指的外部資源，一般還是指外部鏈接，假如你發(fā)現(xiàn)一個(gè)新站前期發(fā)布，其收錄和排名都會(huì)迅速上升，甚至是垂直型、折線型的指數(shù)值圖，那么起關(guān)鍵作用的要素就是外部鏈接。

這兒并不一定徹底根據(jù)高質(zhì)量外鏈，它有的情況下還在于總數(shù)，而人們一般提議是挑選前面一種。

4、站群引流方法

站群，即一個(gè)人或一個(gè)團(tuán)體實(shí)際操作好幾個(gè)網(wǎng)址，目地是根據(jù)搜索引擎得到很多總流量，或是是將連接偏向同一個(gè)網(wǎng)址，以提升自然排名。在2005-2012年中國(guó)一些從業(yè)SEO的工作人員明確提出了站群的定義：好幾個(gè)單獨(dú)網(wǎng)站域名（含二級(jí)域）的網(wǎng)址統(tǒng)一管理方法、相互之間關(guān)系。2008年剛開(kāi)始，站群軟件開(kāi)發(fā)者開(kāi)發(fā)設(shè)計(jì)出一種更便于實(shí)際操作的網(wǎng)址收集方式，即根據(jù)關(guān)鍵字開(kāi)展全自動(dòng)收集網(wǎng)站內(nèi)容，在這以前的收集方式均為撰寫(xiě)標(biāo)準(zhǔn)方法。

5、蜘蛛池引流方法

蜘蛛池便是一堆由網(wǎng)站域名構(gòu)成的站群，在每一個(gè)網(wǎng)站下都轉(zhuǎn)化成大量網(wǎng)頁(yè)頁(yè)面（抓一堆文字內(nèi)容互相組成），頁(yè)面設(shè)計(jì)與一切正常網(wǎng)頁(yè)頁(yè)面沒(méi)多少差別。因?yàn)槊恳粋€(gè)網(wǎng)站都是有大量的網(wǎng)頁(yè)頁(yè)面，因此全部站群的搜索引擎蜘蛛總爬取量也是極大的。給未收錄的網(wǎng)頁(yè)頁(yè)面引搜索引擎蜘蛛，便是在站群一切正常網(wǎng)頁(yè)頁(yè)面的模版中獨(dú)立開(kāi)一個(gè)DIV，塞外未收錄網(wǎng)頁(yè)頁(yè)面的連接，網(wǎng)絡(luò)服務(wù)器不設(shè)緩存文件，搜索引擎蜘蛛每一次瀏覽，這方面DIV中呈現(xiàn)的連接全是不一樣的。簡(jiǎn)言之，蜘蛛池實(shí)際上便是給這些未收錄的網(wǎng)頁(yè)頁(yè)面，在短期內(nèi)內(nèi)出示很多的真正的外部鏈接，通道曝出多了，被爬取概率就大，收錄率當(dāng)然也就上來(lái)了，又由于是外部鏈接，因此在排行上也是有一定的順向大大加分。