頭條搜索的爬蟲(chóng)UA為“Bytespider”首寫(xiě)字母為大寫(xiě)。每個(gè)獨(dú)立的搜索引擎都有自己的網(wǎng)頁(yè)抓取程序爬蟲(chóng)（Spider）。爬蟲(chóng)順著網(wǎng)頁(yè)中的超鏈接，從這個(gè)網(wǎng)站爬到另一個(gè)網(wǎng)站，通過(guò)超鏈接分析連續(xù)訪(fǎng)問(wèn)抓取更多網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱(chēng)之為網(wǎng)頁(yè)快照！

一、頭條搜索UA介紹

頭條搜索的爬蟲(chóng)UA為“Bytespider”首寫(xiě)字母為大寫(xiě)。

例如：

例如：Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML,like Gecko)Chrome/41.0.6633.1032 Mobile Safari/537.36;
    Bytespider;bytespider@bytedance.com

二、頭條搜索ip字段介紹

頭條搜索的ip字段總共涉及6個(gè)，具體字段如下：

110.249.201.0/24
    110.249.202.0/24
    111.225.148.0/24
    111.225.149.0/24
    220.243.135.0/24
    220.243.136.0/24

三、基本流程

1.抓取網(wǎng)頁(yè)。

每個(gè)獨(dú)立的搜索引擎都有自己的網(wǎng)頁(yè)抓取程序爬蟲(chóng)（Spider）。爬蟲(chóng)順著網(wǎng)頁(yè)中的超鏈接，從這個(gè)網(wǎng)站爬到另一個(gè)網(wǎng)站，通過(guò)超鏈接分析連續(xù)訪(fǎng)問(wèn)抓取更多網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱(chēng)之為網(wǎng)頁(yè)快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上，從一定范圍的網(wǎng)頁(yè)出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁(yè)。

2.處理網(wǎng)頁(yè)。

搜索引擎抓到網(wǎng)頁(yè)后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞，建立索引庫(kù)和索引。其他還包括去除重復(fù)網(wǎng)頁(yè)、分詞（中文）、判斷網(wǎng)頁(yè)類(lèi)型、分析超鏈接、計(jì)算網(wǎng)頁(yè)的重要度/豐富度等。

3.提供檢索服務(wù)。

用戶(hù)輸入關(guān)鍵詞進(jìn)行檢索，搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè)；為了用戶(hù)便于判斷，除了網(wǎng)頁(yè)標(biāo)題和URL外，還會(huì)提供一段來(lái)自網(wǎng)頁(yè)的摘要以及其他信息。

四、問(wèn)題反饋

1.如果您的網(wǎng)站發(fā)現(xiàn)有頭條spider的UA“Bytespider”抓取存在抓取量過(guò)大，導(dǎo)致您的網(wǎng)站出現(xiàn)緩慢、掛掉等問(wèn)題，您可以通過(guò)“抓取頻次”功能，對(duì)網(wǎng)站進(jìn)行設(shè)置抓取要求，我們會(huì)在1天內(nèi)時(shí)間內(nèi)生效。

2.關(guān)于spider有其他問(wèn)題，可以向zhanzhang@bytedance.com提交反饋，我們會(huì)在及時(shí)處理。

本文鏈接：http://www.azlx8.cn/article/639.html