Googlebot 可識(shí)別稱為“Allow”的 robots.txt 標(biāo)準(zhǔn)擴(kuò)展名。其他搜索引擎的漫游器可能無(wú)法識(shí)別此擴(kuò)展名，因此請(qǐng)使用您感興趣的其他搜索引擎進(jìn)行查找?！癆llow”行的作用原理完全與“Disallow”行一樣。
robots是一個(gè)協(xié)議，是建立在網(wǎng)站根目錄下的一個(gè)以（robots.txt）結(jié)尾的文本文件，對(duì)搜索引擎蜘蛛的一種限制指令。
Robots簡(jiǎn)單來(lái)說(shuō)就是搜索引擎和我們網(wǎng)站之間的一個(gè)協(xié)議，用于定義搜索引擎抓取和禁止的協(xié)議。
網(wǎng)站改版正確使用robots文件的方法是：在改版期間，將robots文件設(shè)置為“disallow： /”以阻止搜索引擎訪問(wèn)網(wǎng)站，然后在改版完成后，根據(jù)新網(wǎng)站的結(jié)構(gòu)和內(nèi)容，更新robots文件以允許搜索引擎重新訪問(wèn)網(wǎng)站。
最簡(jiǎn)單的robots.txt只有兩個(gè)規(guī)則：User-agent：指定對(duì)哪些爬蟲(chóng)生效 Disallow：指定要屏蔽的網(wǎng)址 接下來(lái)以亞馬遜的robots協(xié)議為例，分析其內(nèi)容。首先，先來(lái)分析亞馬遜對(duì)于網(wǎng)絡(luò)爬蟲(chóng)的限制。
robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨(dú)定義搜索引擎的漫游器訪問(wèn)子目錄時(shí)的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）。
1、robots協(xié)議是一個(gè)純文本文件，通常是搜索引擎第一個(gè)爬取的文件，搜索引擎該文件了解該網(wǎng)站哪些是所有者不想被收錄的內(nèi)容，進(jìn)行有選擇的爬取和收錄。robots協(xié)議命名為robots.txt，放在網(wǎng)站的根目錄下。
2、Robots簡(jiǎn)單來(lái)說(shuō)就是搜索引擎和我們網(wǎng)站之間的一個(gè)協(xié)議，用于定義搜索引擎抓取和禁止的協(xié)議。
3、Robots協(xié)議通常被稱為是爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議，主要是在搜素引擎中會(huì)見(jiàn)到，其本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競(jìng)爭(zhēng)的工具。
1、Robots是一個(gè)英文單詞，對(duì)英語(yǔ)比較懂的朋友相信都知道，Robots的中文意思是機(jī)器人。而我們通常提到的主要是Robots協(xié)議，這也是搜索引擎的國(guó)際默認(rèn)公約。
2、瀏覽器需要遵守Robots協(xié)議。協(xié)議簡(jiǎn)單理解可以理解成大家共同遵守的一個(gè)標(biāo)準(zhǔn)，只要是網(wǎng)頁(yè)瀏覽器肯定需要支持最常見(jiàn)的協(xié)議，一些不常用的就看各瀏覽器是否支持了。
3、Robots協(xié)議是建議但非約束性，網(wǎng)絡(luò)爬蟲(chóng)可以不遵守，但存在法律風(fēng)險(xiǎn)。 原則：類人行為可以不參考Robots協(xié)議。
Robots協(xié)議通常被稱為是爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議，主要是在搜素引擎中會(huì)見(jiàn)到，其本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競(jìng)爭(zhēng)的工具。
簡(jiǎn)單來(lái)說(shuō)即：robots協(xié)議是一個(gè)君子協(xié)議，是網(wǎng)站所有者編寫(xiě)的，用來(lái)告訴搜索引擎該網(wǎng)站下的哪些內(nèi)容可以爬取、收錄，哪些內(nèi)容不可以爬取和收錄。
Robots簡(jiǎn)單來(lái)說(shuō)就是搜索引擎和我們網(wǎng)站之間的一個(gè)協(xié)議，用于定義搜索引擎抓取和禁止的協(xié)議。
您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。Robots.txt作用 屏蔽網(wǎng)站內(nèi)的死鏈接。屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁(yè)面。
robots協(xié)議是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件。用于對(duì)外宣誓主權(quán)，規(guī)定按照允許范疇訪問(wèn)網(wǎng)站，有效保護(hù)網(wǎng)站的隱私。
1、簽訂了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》 ，同意Robots協(xié)議的設(shè)置應(yīng)遵循“公平、開(kāi)放和促進(jìn)信息自由流動(dòng)”的原則，“限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由”。
2、robots協(xié)議命名為robots.txt，放在網(wǎng)站的根目錄下。 簡(jiǎn)單的robots協(xié)議如下：其中 User-agent 代表要遵守該協(xié)議的搜索引擎，如果是通配符‘*’，代表所有搜索引擎都要遵守該協(xié)議。
3、Robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（RobotsExclusionProtocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。
1、/ 在允許和禁止的文件和文件夾前寫(xiě)；通配符，能夠匹配所有的英文字符包括數(shù)字0；表示結(jié)束符，用于屏蔽圖片時(shí)候用。
2、定義： robots.txt 是存放在站點(diǎn)根目錄下的一個(gè)純文本文件，讓搜索蜘蛛讀取的txt文件，文件名必須是小寫(xiě)的“robots.txt”。
3、Disallow： 說(shuō)明允許 robot 訪問(wèn)該網(wǎng)站的所有 url，在 /robots.txt 文件中，至少要有一條 Disallow 記錄。如果 /robots.txt 不存在或者為空文件，則對(duì)于所有的搜索引擎 robot，該網(wǎng)站都是開(kāi)放的。
4、具體來(lái)說(shuō)，我們需要根據(jù)新網(wǎng)站的實(shí)際情況，編寫(xiě)適合的robots文件規(guī)則，以允許搜索引擎訪問(wèn)和抓取新網(wǎng)站的頁(yè)面。
5、robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
