1、要防止爬蟲爬你的網站，就必須區(qū)分出爬蟲和正常用戶的行為區(qū)別。單單就單次請求你是無法區(qū)分出來的，因為前端的所有用戶行為，爬蟲都可以模擬。
2、---- 這是第二種防采集方法。在文章正文頁面插入重復特征頭尾代碼的注釋。當然，這個可以用正則去掉，但足于對付通用的采集系統(tǒng)。
3、方法八：限制IP地址單位時間的訪問次數 分析：沒有哪個常人一秒鐘內能訪問相同網站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的采集器了。弊端：一刀切，這同樣會阻止搜索引擎對網站的收錄。
這是第二種防采集方法。在文章正文頁面插入重復特征頭尾代碼的注釋。當然，這個可以用正則去掉，但足于對付通用的采集系統(tǒng)。
限制IP地址單位時間的訪問次數 分析：沒有哪個常人一秒鐘內能訪問相同網站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的采集器了。
解 決這個問題的辦法是，將 PHP 的內置 mysql_real_escape_string() 函數用作任何用戶輸入的包裝器。這個函數對字符串中的字符進行轉義，使字符串不可能傳遞撇號等特殊字符并讓 MySQL 根據特殊字符進行操作。
在內容外圍加上DIV層，并加上為文檔的ID，比如：文章內容 那么每篇文章的ID就不一樣，別人采集時一般是要利用內容開頭跟結尾的代碼來獲取的，現(xiàn)在每篇文章都不一樣，一次只能采一篇，所以沒人去采你的了。
---- 這是第二種防采集方法。在文章正文頁面插入重復特征頭尾代碼的注釋。當然，這個可以用正則去掉，但足于對付通用的采集系統(tǒng)。
防止惡意采集 招數一 ：經常查看服務器日志，屏蔽掉異常IP，阻止惡意采集者進入網站。采集文章網站的IP。很多網站所在服務器和采集服務器是同一個。流量過大的IP。此類IP一般都是采集爬蟲，直接屏蔽掉。
.還是得經常檢查自己的網站，被掛黑鏈是小事，被掛木馬或刪程序就很慘了，運氣不好的話，排名也會跟著掉。
關鍵信息通過ajax請求來獲取，最好是需要帶有臨時token作為參數的請求。網站在發(fā)布的時候需要做javascript代碼壓縮和混淆，這樣程序人員就很難通過閱讀代碼或者捕獲請求來建立模擬采集。
網站內容采用多套模板，隨機模板，給采集程序設置過高的門檻；但這招對整站采集器不起作用。
1、①關鍵詞的堆砌會造成搜索引擎不爬取，影響網站收錄 ② 網站的url路徑層級是否過多，圖片的alt屬性的設置是否合理也會影響收錄。
2、比如開啟了防火墻規(guī)則、屏蔽了網站端口、開啟防采集規(guī)則、開啟防攻擊規(guī)則等，導致了搜索引擎同一時間由于大量訪問網站，而導致被安全軟件攔截。
3、新網站未收錄。如果是由于新網站的原因未收錄是很好處理的，主要繼續(xù)堅持原創(chuàng)并做一些外鏈來吸引蜘蛛，就會很快被收錄了；網站被K或者降權了。如果網站被K了或者降權了，收錄肯定是會受到影響的。
4、后果便是權重嚴重降低，搜索引擎甚至會將網站拉黑從搜索引擎中刪除。因此網站的穩(wěn)定性非常影響網站的排名。網站頁面的收錄量 優(yōu)質網站往往帶來的是高權重、高流量、高排名。
5、網站結構主要是從整體上規(guī)劃一個適合搜索引擎收錄的內容結構，比如：不用過于深的目錄做欄目等，搜索引擎認為：二級域名的權重二級目錄根目錄文檔。文檔和目錄的命名時，用拼音更好。
