如果您的網(wǎng)站在被百度收錄之后才設(shè)置Robots文件禁止抓取，那么新的Robots文件通常會在48小時內(nèi)生效，生效以后的新網(wǎng)頁，將不再建入索引。
您可以寫一個Robots文件以限制您的網(wǎng)站全部網(wǎng)頁或者部分目錄下網(wǎng)頁不被百度收錄。具體寫法，參見：如何撰寫Robots文件。
您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot 訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜 索引擎只收錄指定的內(nèi)容。
禁止搜索引擎收錄的方法 什么是robots.txt文件？搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
修改robots文件并取消對該頁面的阻止。機(jī)器人的標(biāo)準(zhǔn)寫法詳見百度百科：網(wǎng)頁鏈接。更新百度站長平臺(更名為百度資源平臺)上的網(wǎng)站機(jī)器人。過一段時間，你的網(wǎng)站會被正常抓取收錄。
登錄網(wǎng)站。因為這個網(wǎng)站的robots.txt文件有限制指令(限制搜索引擎抓取)，所以系統(tǒng)無法提供這個頁面。我該怎么辦？原因：百度無法抓取網(wǎng)站，因為其robots.txt文件屏蔽了百度。方法：修改robots文件并取消對該頁面的阻止。
Robots.txt - 禁止爬蟲robots.txt用于禁止網(wǎng)絡(luò)爬蟲訪問網(wǎng)站指定目錄。robots.txt的格式采用面向行的語法：空行、注釋行（以#打頭）、規(guī)則行。規(guī)則行的格式為：Field： value。常見的規(guī)則行：User-Agent、Disallow、Allow行。
網(wǎng)絡(luò)爬蟲機(jī)器人： bot 也用來描述網(wǎng)絡(luò)爬蟲程序，這些程序自動掃描互聯(lián)網(wǎng)上的網(wǎng)頁，收集信息或執(zhí)行其他任務(wù)。例句：Search engines use bots to index and analyze web pages.(搜索引擎使用機(jī)器人來索引和分析網(wǎng)頁。
Spider又叫WebCrawler或者Robot，是一個沿著鏈接漫游Web 文檔集合的程序。Spider是一款智能的點擊式網(wǎng)頁抓取工具。使用Spider，您可以將網(wǎng)站轉(zhuǎn)換為有組織的數(shù)據(jù)，將其下載為JSON或電子表格。
爬蟲可以根據(jù)Robots.txt文件中的規(guī)則來判斷是否可以訪問某個頁面。 反爬蟲策略：可以通過一些技術(shù)手段來防止爬蟲的訪問，例如動態(tài)生成頁面、使用Ajax加載數(shù)據(jù)、對敏感數(shù)據(jù)進(jìn)行加密等。
采集，一般指定向?qū)⒅付ǚ秶木W(wǎng)頁內(nèi)容拷貝下來。網(wǎng)絡(luò)爬蟲，包含采集功能，但有一定的自主性，可以自主決定要訪問的網(wǎng)頁，看起來帶有一定的“智能”性，但都是按事先擬定的程序邏輯運行。
1、Robots協(xié)議通常被稱為是爬蟲協(xié)議、機(jī)器人協(xié)議，主要是在搜素引擎中會見到，其本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競爭的工具。
2、Robots協(xié)議是網(wǎng)站出于安全和隱私原因設(shè)置的，旨在防止搜索引擎抓取敏感信息。搜索引擎的原理是通過一個爬蟲蜘蛛程序，自動收集互聯(lián)網(wǎng)上的網(wǎng)頁，獲取相關(guān)信息。
3、robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它 。robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
4、Robots是一個英文單詞，對英語比較懂的朋友相信都知道，Robots的中文意思是機(jī)器人。
