一、網頁蜘蛛的定義

網頁蜘蛛（又被稱為網絡爬蟲，網絡機器人）是一種依照一定的規則，主動地爬行抓取互聯網信息的程序或腳本。

通俗解說：互聯網類似于蜘蛛網，網絡爬蟲在其間不斷的爬行抓取，就像是蜘蛛經過蛛網進行捕食，每逢發現新的資源蜘蛛當即出動并對其進行抓取并將抓取到的內容存入數據庫。

二、網絡爬蟲的技能概述

網絡爬蟲協助查找引擎從萬維網上下載網頁，是一個主動提取網頁信息的程序，因而網絡爬蟲也是查找引擎的重要組成部分。已知的網絡爬蟲分為傳統爬蟲和聚集爬蟲。

傳統爬蟲：就像蜘蛛在蛛網上爬行，網頁的URL就類似于彼此相關的蛛網，網頁蜘蛛從一些初始網頁的URL開端，獲得初始網頁上的URL，在爬蟲抓取網頁的過程中，又不斷從爬取到的頁面上從頭抽取新的URL放入預抓取行列,如此重復，直到滿足系統的中止條件，終究中止抓取。

聚集爬蟲：聚集爬蟲的作業流程較傳統爬蟲更為復雜，它依據網頁剖析算法過濾與初始抓取主題無關的URL，保留有用的鏈接放入預抓取行列，如此重復，直到達到系統的某一條件時中止。

三、為什么要有“蜘蛛”

隨著網絡的迅速發展，互聯網成為許多信息的載體，怎么有效地提取并利用這些信息成為一個巨大的挑戰。作為協助用戶拜訪互聯網的入口和指南，查找引擎也存在著許多局限性。

1、通用查找引擎的目標是將網絡掩蓋率盡可能做到最大化，因而有限的查找引擎服務器資源與無限的網絡信息資源之間發生了巨大的對立。

2、通用查找引擎所回來的結果過于寬泛，其間包括許多與用戶查找目的不相關的網頁。

3、互聯網數據方式和網絡技能的不斷發展，圖片、音頻、視頻等多種多媒體數據許多涌出，通用查找引擎對這類信息不能很好的發現和獲取。

4、通用查找引擎依據關鍵字查找，不支持依據語義查詢。

以上問題的呈現也促使了定向抓取相關網頁資源的聚集爬蟲的呈現。聚集爬蟲能夠主動下載網頁，它依據既定的抓取目標，有挑選的拜訪互聯網上的網頁與相關的鏈接，從中搜集需要的信息。與通用爬蟲不同，聚集爬蟲并不追求大的掩蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢預備數據資源。

了解查找引擎的作業原理關于網站SEO優化起著重要的效果，許多的SEO技巧都是依據查找引擎的作業原理而發生，因而關于查找引擎作業原理的解讀是SEO作業者的重要基本功。

獲取web頁面。每個獨立的查找引擎都有自己的網絡爬蟲程序（Spider）。爬蟲沿著網頁中的超鏈接從這個網站爬到另個網站，并剖析經過超鏈接剖析獲取更多網頁的接連拜訪。捕獲的web頁面稱為web快照。由于超鏈接在Internet中的使用十分遍及，理論上，從定范圍的web頁面開端，我們可以搜集絕大多數的web頁面。

處理web頁面。捕獲網頁后，查找引擎還需要做許多的預處理作業來供給檢索服務。其間重要的是提取關鍵字，樹立索引庫和索引。其他包括刪除重復的網頁、分詞（中文）、斷定網頁類型、剖析超鏈接、計算網頁的重要性和豐厚度等。

供給檢索服務。用戶輸入檢索的關鍵字，查找引擎找到與索引數據庫中關鍵字匹配的web頁面。為了便于用戶判斷，除了頁面標題和URL之外，還將供給web頁面的摘要和其他信息。查找引擎的主動信息搜集功用提交網站查找。站長主動將網站提交給查找引擎。它會在守時間內將爬蟲發送到您的網站，掃描您的網站并將信息存儲到數據庫中以供用戶使用。由于查找引擎索引規則發生了很大變化相關于過去，主動提交的網站并不確保你的網站能進入查找引擎數據庫，所以站長應加大網站的內容，讓查找引擎有更多機會找到你并主動搜集你的網站。

當用戶用關鍵詞查找信息時，查找引擎將在數據庫中查找。假如你找到個網站，契合用戶要求的內容，個特別的算法--一般依據網頁中關鍵詞的匹配程度，位置、頻率，鏈接質量，等等--計算網頁的相關性和排名。然后，依據相關程度，將這些鏈接依次回來給用戶。