Googlebot 可識(shí)別稱為“Allow”的 robots.txt 標(biāo)準(zhǔn)擴(kuò)展名。其他搜索引擎的漫游器可能無(wú)法識(shí)別此擴(kuò)展名，因此請(qǐng)使用您感興趣的其他搜索引擎進(jìn)行查找。“Allow”行的作用原理完全與“Disallow”行一樣。
robots是一個(gè)協(xié)議，是建立在網(wǎng)站根目錄下的一個(gè)以（robots.txt）結(jié)尾的文本文件，對(duì)搜索引擎蜘蛛的一種限制指令。
Robots簡(jiǎn)單來(lái)說(shuō)就是搜索引擎和我們網(wǎng)站之間的一個(gè)協(xié)議，用于定義搜索引擎抓取和禁止的協(xié)議。
網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪問網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪問網(wǎng)站。
最簡(jiǎn)單的robots.txt只有兩個(gè)規(guī)則：User-agent：指定對(duì)哪些爬蟲生效 Disallow：指定要屏蔽的網(wǎng)址 接下來(lái)以亞馬遜的robots協(xié)議為例，分析其內(nèi)容。首先，先來(lái)分析亞馬遜對(duì)于網(wǎng)絡(luò)爬蟲的限制。
1、robots 含義：機(jī)器人。robot的復(fù)數(shù)。用法：直接源自捷克語(yǔ)的robotnik，意為奴隸。These robots will save us a lot of labor.這些機(jī)器人可以節(jié)省我們大量勞工。will 含義：aux. 將；愿意；必須。
2、robots意思：機(jī)器人。robots讀音：英音[rbts]美音[robts]。robots基本解釋：n.機(jī)器人（robot的名詞復(fù)數(shù)）；遙控裝置；自動(dòng)機(jī)；機(jī)械呆板的人。
3、自動(dòng)機(jī)； 機(jī)械呆板的人；[例句]They have docked a robot module alongside the orbiting space station 他們已經(jīng)將一個(gè)自動(dòng)操作艙與沿軌道運(yùn)行的空間站并行對(duì)接上了。[其他] 復(fù)數(shù)：robots robodog 機(jī)器狗的意思哦。
robots協(xié)議是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件。用于對(duì)外宣誓主權(quán)，規(guī)定按照允許范疇訪問網(wǎng)站，有效保護(hù)網(wǎng)站的隱私。
方法一： 通過(guò)輸入網(wǎng)址“https：//”，進(jìn)入百度搜索引擎頁(yè)面。
屏蔽網(wǎng)站內(nèi)的死鏈接。屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁(yè)面。阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。（例如用戶賬戶信息等）Robots.txt放在哪？robots.txt 文件應(yīng)該放置在網(wǎng)站根目錄下（/robots.txt）。
使用Python編寫網(wǎng)絡(luò)爬蟲程序的一般步驟如下： 導(dǎo)入所需的庫(kù)：使用import語(yǔ)句導(dǎo)入所需的庫(kù)，如BeautifulSoup、Scrapy和Requests等。 發(fā)送HTTP請(qǐng)求：使用Requests庫(kù)發(fā)送HTTP請(qǐng)求，獲取網(wǎng)頁(yè)的HTML源代碼。
