蜘蛛?yún)f(xié)議又稱網(wǎng)絡(luò)蜘蛛。搜索引擎一直專注于提升用戶的體驗(yàn)度，其用戶體驗(yàn)度則反映在三個(gè)方面： 準(zhǔn)、全、快 。用專業(yè)術(shù)語講是：查準(zhǔn)率、查全率和搜索速度（即搜索耗時(shí)）。
---在抓取網(wǎng)頁的時(shí)候，網(wǎng)絡(luò)蜘蛛一般有兩種策略：廣度優(yōu)先和深度優(yōu)先(如下圖所示)。---廣度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會(huì)先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后再選擇其中 的一個(gè)鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。
在抓取網(wǎng)頁的時(shí)候，網(wǎng)絡(luò)蜘蛛一般有兩種策略：廣度優(yōu)先和深度優(yōu)先（如下圖所示）。廣度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會(huì)先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后再選擇其中的一個(gè)鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。
超鏈接等內(nèi)在關(guān)系，使搜索引擎因?yàn)閮?nèi)頁關(guān)鍵詞鏈接次數(shù)較多而被優(yōu)先抓取。重視單頁面的鏈接 每個(gè)企業(yè)都會(huì)在不同時(shí)期有不同的優(yōu)惠或是有新的業(yè)務(wù)產(chǎn)品出現(xiàn)，在網(wǎng)站上配合宣傳，做一些單頁面鏈接優(yōu)化。
(2) 蜘蛛抓取頁面后，從HTML中解析出新的鏈接URL，與地址庫中的數(shù)據(jù)進(jìn)行對(duì)比，如果是地址庫中沒有的網(wǎng)址，就存入待訪問地址庫。(3) 搜索引擎自帶的一種表格提供站長，方便站長提交網(wǎng)址。
網(wǎng)頁抓取 Spider每遇到一個(gè)新文檔，都要搜索其頁面的鏈接網(wǎng)頁。搜索引擎蜘蛛訪問web頁面的過程類似普通用戶使用瀏覽器訪問其頁面，即B/S模式。
搜索引擎抓取東西只在讀取網(wǎng)頁的HTML，于是必須正確引導(dǎo)搜尋器優(yōu)化的權(quán)力范疇和網(wǎng)站內(nèi)容。把在標(biāo)題關(guān)鍵字，描述和地區(qū)中添加更多的關(guān)鍵字流量字。不要忘記將H1至H6中應(yīng)用關(guān)鍵字。 ALT標(biāo)簽必須放在盡可能的圖像上。
抓取 搜索引擎為想要抓取互聯(lián)網(wǎng)站的頁面，不可能手動(dòng)去完成，那么百度，google的工程師就編寫了一個(gè)程序，他們給這個(gè)自動(dòng)抓取的程序起了一個(gè)名字，蜘蛛（也可以叫做“機(jī)器人”或者“網(wǎng)絡(luò)爬蟲”）。
只需通過合適的過濾和操作，Wireshark也可抓取HTTP請(qǐng)求和響應(yīng)。下面便說明具體操作。
①搜索引擎安排蜘蛛到互聯(lián)網(wǎng)上的網(wǎng)站去抓取網(wǎng)頁數(shù)據(jù)，然后將抓取的數(shù)據(jù)帶回搜索引擎的原始頁面數(shù)據(jù)庫中。蜘蛛抓取頁面數(shù)據(jù)的過程是無限循環(huán)的，只有這樣我們搜索出來的結(jié)果才是不斷更新的。
網(wǎng)站流暢性：當(dāng)用戶在訪問一個(gè)頁面時(shí)，如果在打開速度方面就讓客戶等著急的話，對(duì)于70%的用戶來說，是肯定會(huì)關(guān)閉網(wǎng)頁離開的。對(duì)于搜索引擎來說， 那也是相當(dāng)?shù)氖。瑢?duì)于搜索引擎來說，當(dāng)然會(huì)選擇運(yùn)行速度比較快的網(wǎng)站。
超鏈接等內(nèi)在關(guān)系，使搜索引擎因?yàn)閮?nèi)頁關(guān)鍵詞鏈接次數(shù)較多而被優(yōu)先抓取。重視單頁面的鏈接 每個(gè)企業(yè)都會(huì)在不同時(shí)期有不同的優(yōu)惠或是有新的業(yè)務(wù)產(chǎn)品出現(xiàn)，在網(wǎng)站上配合宣傳，做一些單頁面鏈接優(yōu)化。
1、跪爬。是以兩手和兩膝著地，手膝交替依次爬行的方法。姿勢：頭抬起，五指分開著地，兩臂與肩同寬，兩膝著地，與肩同寬。手足爬。是以兩手和兩腳著地，手足交替依次爬行的方法。
2、在網(wǎng)絡(luò)爬蟲的爬行策略中應(yīng)用最為基礎(chǔ)的是：深度優(yōu)先遍歷策略和廣度優(yōu)先遍歷策略。深度優(yōu)先遍歷策略 深度優(yōu)先遍歷策略很好理解，這跟我們有向圖中的深度優(yōu)先遍歷是一樣的，因?yàn)榫W(wǎng)絡(luò)本身就是一種圖模型嘛。
3、一般而言，蜘蛛爬行有這幾種策略：寬度優(yōu)化遍歷策略 寬度優(yōu)化遍歷是一種簡單的蜘蛛策略實(shí)施的方法，在搜索引擎爬蟲出現(xiàn)的時(shí)候這種方法就可以使用了。
4、深度優(yōu)先遍歷策略 深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲會(huì)從起始頁開始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁，繼續(xù)跟蹤鏈接。
