有沒有擔心過自己的隱私會在強大的搜索引擎面前無所遁形？想象一下，如果要向世界上所有的人公開你的私人日記，你能接受嗎？的確是很矛盾的問題，站長們大都憂慮“如何讓搜索引擎收錄的我的網(wǎng)站？”，而我們還是要研究一下“如何讓搜索引擎不收錄我們的網(wǎng)站”，也許我們同樣也用的到。

一、搜索引擎如何工作的？

簡單的說，搜索引擎實際上依靠的龐大的網(wǎng)頁數(shù)據(jù)庫。按搜索方式可以分為 全文搜索 和 目錄搜索 兩種。

所謂全文搜索，是搜索引擎通過從網(wǎng)頁自動提取信息來建立數(shù)據(jù)庫的過程。至于提取的原理，就是SEO狂熱者們所研究的算法，在他們的理想情況下，網(wǎng)頁應(yīng)該是針對搜索引擎設(shè)計的，具有最好的收錄效果。當然，不是本文的話題。搜索引擎的自動信息搜集功能分兩種。一種是定期搜索，即每隔一段時間（比如Google一般是28天），搜索引擎主動派出“蜘蛛”程序，對一定IP地址范圍內(nèi)的互聯(lián)網(wǎng)站進行檢索，一旦發(fā)現(xiàn)新的網(wǎng)站，它會自動提取網(wǎng)站的信息和網(wǎng)址加入自己的數(shù)據(jù)庫。另一種是提交網(wǎng)站搜索，即網(wǎng)站擁有者主動向搜索引擎提交網(wǎng)址，它在一定時間內(nèi)（2天到數(shù)月不等）定向向你的網(wǎng)站派出“蜘蛛”程序，掃描你的網(wǎng)站并將有關(guān)信 息存入數(shù)據(jù)庫，以備用戶查詢。

與全文搜索引擎相比，目錄索引有許多不同之處。目錄索引完全是手工操作的。

首先，搜索引擎屬于自動網(wǎng)站檢索，而目錄索引則完全依賴手工操作。用戶提交網(wǎng)站后，目錄編輯人員會親自瀏覽你的網(wǎng)站，然后根據(jù)一套自定的評判標準甚至編輯人員的主觀印象，決定是否接納你的網(wǎng)站。

其次，搜索引擎收錄網(wǎng)站時，只要網(wǎng)站本身沒有違反有關(guān)的規(guī)則，一般都能登錄成功。而目錄索引對網(wǎng)站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo!這樣的超級索引，登錄更是困難。

最后，搜索引擎中各網(wǎng)站的有關(guān)信息都是從用戶網(wǎng)頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權(quán)；而目錄索引則要求必須手工另外填寫網(wǎng)站信息，而 且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網(wǎng)站的目錄、網(wǎng)站信息不合適，他可以隨時對其進行調(diào)整，當然事先是不會和你商量的。

目錄索引，顧名思義就是將網(wǎng)站分門別類地存放在相應(yīng)的目錄中，因此用戶在查詢信息時，可選擇關(guān)鍵詞搜索，也可按分類目錄逐層查找。如以關(guān)鍵詞搜索，返回的結(jié)果跟搜索引擎一樣，也是根據(jù)信息關(guān)聯(lián)程度排列網(wǎng)站，只不過其中人為因素要多一些。

二、如何拒絕搜索引擎？

其實很簡單的，只需要在網(wǎng)站的根目錄中放一個名稱為Robots.txt的文件，該文件的寫法很有講究的哦，務(wù)必按要求寫，寫法如下：

1、什么是Robots.txt？
Robots.txt是一個文本文件，關(guān)鍵是這個文件所在的位置：在網(wǎng)站的根目錄下。弄錯了，就不起作用了！

2、Robots.txt如何起作用?

前面提到過搜索引擎的自動提取信息會遵循一定的算法，但是，無論算法如何，第一步都是在尋找這個文件。其含義是，“貴站對我們這些Robots有什么限制？”所謂的Robots就是搜索引擎派出的蜘蛛或者機器人。如果沒有得到回應(yīng)（沒有找到這個文件），代表沒有什么限制，盡管來抓取吧。如果真的有這個文件，機器人會讀來看看，如果自己被拒絕就會停止抓取過程了。

3、怎么寫Robots.txt文件？

遵循語法的Robots.txt才可能被機器人識別，至于語法，介紹起來很繁瑣，現(xiàn)簡單舉例如下：

1）禁止所有搜索引擎訪問網(wǎng)站的任何部分（也就是網(wǎng)站徹底的拒絕所有搜索引擎收錄）

  User-agent: * 
  Disallow: /

2）允許所有的robot訪問（也就是網(wǎng)站允許所有搜索引擎收錄）

  User-agent: * 
  Disallow:

3）禁止某個搜索引擎的訪問（比如禁止百度收錄，按如下的方式寫）

  User-agent: baiduspider
  Disallow: /

4）允許某個搜索引擎的訪問（比如允許百度收錄，按如下的方式寫）

  User-agent: baiduspider
  Disallow: 
  User-agent: * 
  Disallow: /

5）禁止搜索引擎訪問某些目錄 

  User-agent: *             
  Disallow: /cgi-bin/
  Disallow: /tmp/
  Disallow: /images/

使用方法：很簡單，將代碼存為一個文本文件，命名為Robots.txt ，放在網(wǎng)頁根目錄即可。

注意：所有語句都是單規(guī)則的，即每行僅聲明一條規(guī)則，比如例五中三個目錄必須分三行列出來。

本文鏈接：http://www.azlx8.cn/article/342.html