1、User杠agent：Disallow：或者User杠agent：Allow允許所有搜索引擎訪問(wèn)網(wǎng)站的所有部分。Disallow說(shuō)明允許robot訪問(wèn)該網(wǎng)站的所有url，在robots.txt文件中，至少要有一條Disallow記錄訪問(wèn)。
2、User-agent： *Allow是robots文件中的一句語(yǔ)法，代表的意思是：允許所有的搜索引擎可以按照robots文件中的限制語(yǔ)法進(jìn)行合理的抓取網(wǎng)站中的文件、目錄。User-agent： *Disallow：是允許所有搜索引擎收錄的意思。
3、Disallow： 說(shuō)明允許 robot 訪問(wèn)該網(wǎng)站的所有 url，在 /robots.txt 文件中，至少要有一條 Disallow 記錄。如果 /robots.txt 不存在或者為空文件，則對(duì)于所有的搜索引擎 robot，該網(wǎng)站都是開(kāi)放的。
1、因?yàn)橐恍┫到y(tǒng)中的URL是大小寫(xiě)敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
2、robots.txt撰寫(xiě)方法：（1），允許所有的搜索引擎訪問(wèn)網(wǎng)站的所有部分或者建立一個(gè)空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪問(wèn)網(wǎng)站的所有部分。
3、我們可以建立一個(gè)空白的文本文檔，命名為robots.txt放在網(wǎng)站的根目錄下即可。
1、另外，robots.txt主要用于保證網(wǎng)絡(luò)安全和網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過(guò)根目錄下創(chuàng)建的純文本文件robots.txt，網(wǎng)站可以聲明哪些頁(yè)面不想被百度蜘蛛抓取收錄。
2、robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
3、可以寫(xiě)入sitemap文件的鏈接，方便搜索引擎蜘蛛爬行整站內(nèi)容。盡量少用Allow指令，因?yàn)椴煌乃阉饕鎸?duì)不同位置的Allow指令會(huì)有不同看待。
4、如果 /robots.txt 不存在或者為空文件，則對(duì)于所有的搜索引擎 robot，該網(wǎng)站都是開(kāi)放的。
5、包括目錄下的文件，比如tmp/23html 具體使用方法百度和谷歌都有解釋?zhuān)俣萮ttp：// Robots.txt文件可以幫助我們讓搜索引擎刪除已收錄的頁(yè)面，大概需要30-50天。
1、robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
2、ROBOTS文件嚴(yán)格意義上來(lái)講，是用來(lái)禁止搜索引擎抓取的。如果沒(méi)有這個(gè)必要的話，我們也就沒(méi)有用ROBOTS文件的意義了。
3、robots是英語(yǔ)中的一個(gè)詞匯，意思是“機(jī)器人（們）”。
4、robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見(jiàn)的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它。robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。
5、搜索引擎爬去我們頁(yè)面的工具叫做搜索引擎機(jī)器人，也生動(dòng)的叫做“蜘蛛”蜘蛛在爬去網(wǎng)站頁(yè)面之前，會(huì)先去訪問(wèn)網(wǎng)站根目錄下面的一個(gè)文件，就是robots.txt。
6、robotx.txt是一種用于限制搜索引擎爬蟲(chóng)訪問(wèn)網(wǎng)站的文件。通常，網(wǎng)站管理員可以將不希望搜索引擎訪問(wèn)的內(nèi)容，包括網(wǎng)站目錄下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
另外，robots.txt主要用于保證網(wǎng)絡(luò)安全和網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過(guò)根目錄下創(chuàng)建的純文本文件robots.txt，網(wǎng)站可以聲明哪些頁(yè)面不想被百度蜘蛛抓取收錄。
在計(jì)算機(jī)科學(xué)中，“robots.txt”是一種文件格式，一般位于一個(gè)網(wǎng)站的根目錄，用來(lái)告訴搜索引擎爬蟲(chóng)訪問(wèn)該網(wǎng)站時(shí)應(yīng)該遵守哪些規(guī)則，例如哪些頁(yè)面應(yīng)該被允許抓取，哪些頁(yè)面不應(yīng)該抓取等。
在網(wǎng)絡(luò)爬蟲(chóng)領(lǐng)域，robots.txt是一個(gè)非常重要的文件，它指定了網(wǎng)站上哪些頁(yè)面可以被爬取，哪些頁(yè)面不能被爬取。b站也有一個(gè)robots.txt文件，用于指定其網(wǎng)站上的爬取規(guī)則。
robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限，也就是說(shuō)robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。
robots.txt撰寫(xiě)方法：（1），允許所有的搜索引擎訪問(wèn)網(wǎng)站的所有部分或者建立一個(gè)空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪問(wèn)網(wǎng)站的所有部分。
Robots.txr文件是一個(gè)純文本文件，可以告訴蜘蛛哪些頁(yè)面可以爬?。ㄊ珍洠?，哪些頁(yè)面不能爬取。
