搜索引擎抓取策略：

 

哪些網(wǎng)頁(yè)是我們需要去下載的，

哪些是無(wú)需下載的，

哪些網(wǎng)頁(yè)是我們優(yōu)先下載的，

定義清楚之后，能節省很多無(wú)謂的爬取。

更新策略：監控列表頁(yè)來(lái)發(fā)現新的頁(yè)面；定期check 頁(yè)面是否過(guò)期等等。抽取策略：我們應該如何的從網(wǎng)頁(yè)中抽取我們想要的內容，不僅僅包含最終的目標內容，還有下一步要抓取的url.抓取頻率：我們需要合理的去下載一個(gè)網(wǎng)站，卻又不失效率。

　　讓我對“如何和爬蟲(chóng)對話(huà) ”這個(gè)課題有了一些思考，下面歸納的主要用于迎合上面提到的爬蟲(chóng)“抓取策略”。

　　1、通過(guò) robots.txt 和爬蟲(chóng)對話(huà)：搜索引擎發(fā)現一個(gè)新站，原則上第一個(gè)訪(fǎng)問(wèn)的就是 robots.txt 文件，可以通過(guò) allow/disallow 語(yǔ)法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。

　　關(guān)于 robots.txt 的詳細介紹：about /robots.txt另外需要注意的是：allow/disallow 語(yǔ)法的順序是有區別的

　　2、通過(guò) meta tag 和爬蟲(chóng)對話(huà)：比如有的時(shí)候我們希望網(wǎng)站列表頁(yè)不被搜索引擎收錄但是又希望搜索引擎抓取，那么可以通過(guò) ＜meta name=“robots” content=“noindex，follow”＞ 告訴爬蟲(chóng)，其他常見(jiàn)的還有 noarchive，nosnippet，noodp 等。

　　3、通過(guò) rel=“nofollow” 和爬蟲(chóng)對話(huà)：關(guān)于 rel=“nofollow” 最近國平寫(xiě)了一篇文章《如何用好 nofollow》很值得一讀，相信讀完之后你會(huì )有很大的啟發(fā)。

　　4、通過(guò) rel=“canonical” 和爬蟲(chóng)對話(huà)：關(guān)于 rel=“canonical” 谷歌網(wǎng)站站長(cháng)工具幫助有很詳細的介紹：深入了解 rel=“canonical”

　　5、通過(guò)網(wǎng)站地圖和爬蟲(chóng)對話(huà)：比較常見(jiàn)的是 xml 格式 sitemap 和 html 格式 sitemap，xml 格式 sitemap 可以分割處理或者壓縮壓縮，另外，sitemap 的地址可以寫(xiě)入到 robots.txt 文件。

　　6、通過(guò)網(wǎng)站管理員工具和搜索引擎對話(huà)：我們接觸最多的就是谷歌網(wǎng)站管理員工具，可以設定 googlebot 抓取的頻率，屏蔽不想被抓取的鏈接，控制 sitelinks 等，另外，Bing 和 Yahoo 也都有管理員工具，百度有一個(gè)百度站長(cháng)平臺，內測一年多了仍舊在內測，沒(méi)有邀請碼無(wú)法注冊。

　　另外，這里面還衍生出一個(gè)概念，就是我一直比較重視的網(wǎng)站收錄比，所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數/網(wǎng)站真實(shí)數據量，網(wǎng)站收錄比越高，說(shuō)明搜索引擎對網(wǎng)站的抓取越順利。

　　暫時(shí)就想到這些，目的在于嘗試性的探討如何更有效的提高網(wǎng)站在搜索引擎的收錄量。

　　權當拋磚引玉，歡迎各位補充！

　　備注：

　　網(wǎng)絡(luò )爬蟲(chóng)（web crawler）又稱(chēng)為網(wǎng)絡(luò )蜘蛛（web spider）是一段計算機程序，它從互聯(lián)網(wǎng)上按照一定的邏輯和算法抓取和下載互聯(lián)網(wǎng)的網(wǎng)頁(yè)，是搜索引擎的一個(gè)重要組成部分。

---